CN105574921B - 根据图像的自动化纹理映射和动画绘制 - Google Patents

根据图像的自动化纹理映射和动画绘制 Download PDF

Info

Publication number
CN105574921B
CN105574921B CN201510736352.8A CN201510736352A CN105574921B CN 105574921 B CN105574921 B CN 105574921B CN 201510736352 A CN201510736352 A CN 201510736352A CN 105574921 B CN105574921 B CN 105574921B
Authority
CN
China
Prior art keywords
image
reflected
view
target object
good product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510736352.8A
Other languages
English (en)
Other versions
CN105574921A (zh
Inventor
J-j·格里莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes SE
Original Assignee
Dassault Systemes SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dassault Systemes SE filed Critical Dassault Systemes SE
Publication of CN105574921A publication Critical patent/CN105574921A/zh
Application granted granted Critical
Publication of CN105574921B publication Critical patent/CN105574921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

根据图像的自动化纹理映射和动画绘制。一种用于生成用于现实世界对象的3D模型的纹理图的系统,包括:照相机和照相机的视野中的反射面。反射面被放置以向照相机反射目标对象的一个或多个反射视图。照相机捕获目标对象的直接图像和来自于反射面的反射图像。图像处理器设备通过检测反射视图中的失真来将所捕获的图像中的目标对象的反射视图/图像与直接图像分离。图像处理器减小反射视图中的失真,并且基于目标对象的3D空间特性并且基于反射视图来生成纹理图。减小反射视图中的失真可以包括对反射视图进行缩放以与照相机的视野中的目标对象的尺寸相对应。

Description

根据图像的自动化纹理映射和动画绘制
技术领域
本发明的技术领域涉及根据目标对象的照片来生成用于物理对象的3D模型表示的纹理图。
背景技术
许多消费品具有相对简单的形状,这些相对简单的形状可以被分成有限数量的可能的通用形状,诸如,盒子和圆柱体。给定通用形状的消费品,则可以利用相应的尺寸、形状和外观来生成该产品或对象的数字表示。特别地,通过下列各项来生成数字表示:(i)对由主题通用形状所形成的3D模型的一个或两个维度进行缩放,以及(ii)将消费品的外表面的图像应用到3D模型的表面上。在申请人的美国专利No.8,570,343中公开了一种用于根据对象的校准的2D图像来生成这样的3D模型的自动化方法。
与消费品的一般尺寸和形状不同,对于每一个个体产品来说,产品的纹理和外观通常是独特的,以足以将该个体产品与任何其它产品区分开。为了生成产品的准确的数字表示,必须捕获该产品的纹理并且应用到相应的3D模型,该过程被称为纹理映射。通常,为了生成对象(产品)的纹理图,从不同的角度来捕获对象的图像,并且随后被拼接在一起以形成2D纹理图,所述2D纹理图具有与相应的3D模型的表面匹配的形状。假定消费用商品的多个零售商具有计数超过一百万的独特产品,则生成它们的库存的数字表示涉及针对每一个产品来获得并且生成纹理图,这是一项有潜力成为极端劳动密集型的任务。存在针对以低成本和高容量来获得现实世界对象(例如,产品)的纹理图,并且将该纹理图表达为数字形式,作为该对象的3D表示的需求。
发明内容
本发明的实施例提供了用于根据对象的图像来生成用于对象的3D模型的纹理图的方法和装置。所纹理映射的3D模型可以使得内容生成能够用于3D交互式体验和3D交互式模拟,包括但不限于,在线购物/观看和视频游戏。
本发明的示例性实施例是一种方法,其包括:捕获用于观看目标对象的视野的图像。所捕获的图像具有:(i)目标对象的直视图,以及(ii)从至少一个反射面产生目标对象的一个或多个反射视图的至少一个反射。所捕获的图像中的直视图被称为目标对象的直接图像,以及反射视图被称为目标对象的反射图像。该方法还包括:将所捕获的图像中的目标对象的反射图像与直接图像分离,减小反射图像中的失真以提供至少一个失真减小的反射图像,根据目标对象的直接图像和目标对象的失真减小的反射图像来生成至少一个纹理图,以及将纹理图投影到表示目标对象的3D模型上。
减小反射图像中的失真可以包括下列各项中的至少一项:按照目标对象的尺寸对反射图像进行缩放,校正反射图像中的透视失真,以及基于至少一个反射面(在目标对象的视野中)的位置和目标对象的形状来对反射图像进行整形。
该方法还可以包括:随着目标对象从第一位置移动到第二位置,捕获目标对象的(或许不同视野中的)多个图像,以及根据多个图像来生成多个纹理图。
在一些实施例中,该方法还包括:检测目标对象的直接图像和反射图像之间的、以及第一反射图像和第二反射图像之间的重叠。在一些实施例中,该方法还包括:从所捕获的图像中去除所检测到的重叠。
在另一个实施例中,该方法包括:检测目标对象的运动,使所检测到的目标对象的运动与3D模型相关以生成3D模型的相应的运动,以及基于3D模型的相应的运动来从相应的第一位置到相应的第二位置动画绘制3D模型。
在一些实施例中,分离所捕获的图像中的目标对象的反射图像包括:检测所捕获的图像中的失真区域,以及将所检测到的区域标记为目标对象的反射图像。
在一个实施例中,反射面包括第一反射面和第二反射面,以及相应的目标对象的第一反射视图和第二反射视图。反射图像包括第一反射视图的图像(被称为第一反射图像)和第二反射视图的图像(被称为第二反射图像)。在一些实施例中,目标对象的第一反射视图和第二反射视图以及直视图观测目标对象的周围的至少一部分。
在另一个实施例中,反射面包括第一反射面、第二反射面和第三反射面。至少一个反射包括来自于第一反射面的目标对象的第一反射视图、来自于第二反射面的目标对象的第二反射视图和来自于第三反射面的目标对象的第三反射视图。反射图像包括第一反射视图、第二反射视图和第三反射视图各自的第一反射图像、第二反射图像和第三反射图像。在一些实施例中,目标对象的第一反射视图和第二反射视图以及直视图观测目标对象的周围的至少一部分,同时第三反射视图对目标对象的顶面或者底面进行成像。
另一个示例性实施例是一种用于利用单个图像来生成用于由目标对象产生的3D模型的纹理图的系统。该系统包括:照相机(其具有视野)、照相机的视野中的一个或多个反射面、以及图像处理设备。一个或多个反射面被放置以向照相机反射目标对象的一个或多个反射图像。照相机捕获具有下列各项的单个图像:(i)目标对象的直接图像,以及(ii)目标对象的反射图像。图像处理设备对所捕获的图像中的目标对象的一个或多个反射图像进行分离,减小一个或多个反射图像中的失真,以及基于目标对象的形状、直接图像和减小失真的一个或多个反射图像来生成纹理图。减小一个或多个反射图像中的失真可以包括:对反射图像进行缩放以与视野中的目标对象的尺寸相对应。图像处理可以从直接图像中去除失真。
将所捕获的图像中的目标对象的一个或多个反射图像与直接图像分离可以包括:检测所捕获的图像中的一个或多个失真区域,以及将所检测到的区域标记为目标对象的反射图像。
在一个实施例中,图像处理设备检测直接图像和反射图像中的任何图像之间的重叠,并且从所捕获的图像中去除所检测到的重叠。
在一些实施例中,随着目标对象从第一位置移动到第二位置,照相机生成视野的多个捕获的图像,以及图像处理设备根据多个图像来生成多个纹理图。
在一些实施例中,图像处理设备检测目标对象的运动,使所检测到的目标对象的运动与3D模型相关以生成3D模型的相应的运动,以及基于3D模型的相应的运动来从相应的第一位置到相应的第二位置动画绘制3D模型。
附图说明
如在附图中所示出的,根据下面对本发明的示例实施例的更具体的描述,前述内容将是显而易见的,在附图中,贯穿不同的视图,相同的附图标记指代相同的部件。这些图不必依比例进行绘制,而是将重点放在说明本发明的实施例上。
图1是示出了根据所公开的实施例的方面的本发明的三反射镜图像捕获系统的示意图。
图2是示出了根据所公开的实施例的方面具有挡板的图像捕获系统的示意图。
图3A-3B是根据所公开的实施例的方面的对象和由三反射镜图像捕获系统产生的图像捕获的图示。
图4A-4B是根据所公开的实施例的方面对图3B的所捕获的图像中的梯形畸变进行检测和去除的图示。
图5A-5B是根据所公开的实施例的方面使用反射镜的尺寸和位置来对反射的图像片段进行缩放的图示。
图6A-6B是根据所公开的实施例的方面按照对象的尺寸来对反射的片段进行缩放的图示。
图7A-7B是根据所公开的实施例的方面对反射的图像片段进行缩放和对准的图示。
图8A、8C和8D是根据所公开的实施例的方面的目标对象上的共同区域的两个反射的图示。
图8B是两个反射镜以及它们的交叉线的示意图。
图9A-9C是根据所公开的实施例的方面对重叠消除以生成共同表面的图示。
图10A是根据所公开的实施例的方面包括图7B的所缩放的和所对准的反射片段以及图9C的合并的共同表面的图像的图示。
图10B是根据所公开的实施例的方面、根据图10A的图像所生成的纹理图的图示。
图11A是根据所公开的实施例的方面的圆柱体对象的图示。
图11B是由对图11A的圆柱体对象进行成像的本发明的实施例所产生的纹理图的图示。
图12A是根据本发明的三反射镜实施例的方面的运动对象的多个图像捕获中的一个图像捕获的图示。
图12B是根据所公开的实施例的方面、根据图12A的运动对象的图像所生成的纹理图和相关联的矢量。
图12C是根据所公开的实施例的方面的图12A的运动对象的3D模型以及相关联的平移和旋转矢量。
图13A-13B是根据所公开的实施例的方面、根据图像来生成纹理图的流程图。
图14A是部署本发明的实施例的示例性计算机网络。
图14B是实现本发明的实施例的示例性计算机。
具体实施方式
下面描述本发明的示例性实施例。
在本文中所引用的所有专利、公开的申请和参考资料的教导都通过引用方式将其全部内容合并于此。
已经使用计算机3D建模技术来建立3D包装的商品以用于在商店内部的交互式3D模拟中展示。特别地,已经使用3D建模来实现终端用户观看产品和/货架背景的虚拟体验,以及“拿起”产品来观看并且在线阅读产品包装文字的虚拟体验。
在为了店内展示而建立包装商品的3D模型的应用中,已经使用两种策略来建立3D模型内容和纹理图货架或包装商品。
第一策略使用已知的通用建模应用来根据照片和产品测量信息使用对3D模型的手动生成。虽然可以对用于系统地产生较大数量的3D模型的工作流进行规划和组织,但是工作单元仍然是基于对形状的手动建模和对纹理图的手动生成。
第二策略使用通用的基于照片的3D建模应用。存在各种各样的用于解决根据物理对象来生成3D模型的通常问题的商用软件和方法。现有的方法使用标准的数码相机捕获现实世界对象作为完全纹理的3D模型。
通用的产品(包装商品)的照片建模很好地工作,以产生小数量的产品模型。该技术的主要限制在于根据多张数码照片所生成的3D模型需要大量的手动劳动来校正缺陷和对几何形状进行重新缩放用于在在线3D应用中使用。现有解决方案的限制是基于处理3D模型用于在计算机应用中使用所需要的手动(专家级3D艺术家)工作的量的。由于(在复杂的、通用的3D建模应用中)必须部分地或完全地用手来生成每一个模型,所以基于该过程的任何建模工作流都是不可扩展的。
利用基于照片建模系统的3D模型所观察到的第二问题是几何网格的不规则性。不规则的网格使得下游对模型的调整大小/处理更加困难,并且将工作流锁定到将来的对模型内容的手动编辑和手动调整的循环中。
现有技术的缺点是在内容制作过程中对3D模型的下游编辑的依赖。这是个问题,因为输入数据随着新图像而不断地被更新,以及输出规格可能由于在线顾客体验应用中的新需求/改善而转变。对手动编辑的依赖将内容制作锁定到连续不断的手工编辑的循环中。
用于处理现有技术中的这些缺陷的一种策略是使用标准化的3D模型。给定相似类型的不同产品之间的广泛的相似性,则可以生成通用的3D模型来近似许多不同种类的产品的形状。可以基于现实世界产品的校准图像来对这些通用的3D模型进行缩放,以及可以将个体的纹理图应用到缩放的模型来表示该产品。
用于根据现实世界对象来生成纹理图的现有技术的设备和方法通常获得对象的多张照片,其中当将所述多张照片拼接在一起来匹配3D模型的表面时,将该对象重新放置在每一张照片之间,以生成该对象的完整的纹理图。使用两张照片的现有技术系统是最简单的,以及可以仅从两个面来对像平板的一些对象进行有效地拍摄。由于两张照片被拼接在一起的区域中的失真,所以增加容量的对象在现实世界对象和根据仅两个图像所生成的纹理映射的3D模型之间出现不一致。在双照片系统中,由照相机和对象的表面之间的浅角度(shallow angle)造成的失真是最高的。并且现实世界对象的某些形状(像立方体)具有特定的方位(例如,垂直于一个面),这阻碍了双图像系统对该对象的外围的一半的观测。当该对象具有单个主纵轴时,以及当水平横截面为圆形的或凸面的时,使用两个图像的现有技术系统具有失真的结果。这样的系统使用来自于正面的图像和来自于后面的图像。通常,3D模型上的纹理在正面图像和后面图像结合的该模型的接缝区域、左区域和右区域中是失真的。
现实世界对象的额外的照片通过使得所有表面能够被成像并且通过减小图像接缝处由于各个图像之间的重叠的增加而引起的失真来改善数字表示。其它现有技术系统采用旋转台或者具有旋转台的伸缩臂来准确地捕获目标对象的多个图像。然而,这些旋转台系统需要高精度来将目标对象放置在该台的中央,这增加了时间和那些系统的复杂度。存在针对下述的需求:根据从单个照相机拍摄的而且在没有针对将目标对象精确地放置在照相机的视野中的需求的情况下拍摄的单个图像来生成对象的纹理图的纹理映射系统。
由申请人在本文中所公开的本系统和相应的方法利用单个照相机将目标对象的多个视图捕获在单个图像中,并且生成具有与该目标对象的形状相类似的形状的3D模型的纹理图。
图1是示出了本发明的三反射镜图像捕获系统实施例的示意图。图像捕获系统100包括照相机110、反射镜120a、120b、120c和图像处理器150。图1示出了照相机110的视野111和放置在其中(在照相机110的视野111中)的三个反射镜120a、120b、120c。更具体地,将目标对象130放置在照相机的视野111中,并且将两个反射镜120a、120b放置在照相机的视野111中的目标对象130的任一侧。将第三反射镜120c放置在目标对象130之上。利用该配置,照相机110在单个图像中捕获目标对象130的正视图、顶视图和外围视图(peripheryview)。目标对象130的底面未被捕获。
反射镜120a-b在照相机的视野111中具有相关联的视场122a-b。反射镜120a-b均向照相机110反射目标对象130的外围的一部分。放置顶部反射镜120c,以向照相机110反射包括对象130的顶面的视图。
在操作中,照相机的视野111使照相机110能够一起捕获对象130的正面图像以及来自于反射镜120a和120b的对象130的两个反射图像121a-b。由顶部反射镜120c向照相机110提供第三反射图像(未示出),使得对象130的顶面在照相机的视野111中是可见的。因此,照相机110在(视野111的)单个数字图像中捕获对象130的直视图和对象130的三个反射视图。
耦合图像处理器150以从照相机110接收数字图像。所捕获的数字图像(即,视野111中的图像)是由照相机110输出的,并且由图像处理器150接收为输入。随后并且如在图3-11中详述的,图像处理器150生成对象130的纹理图。
图2是示出了具有挡板的图像捕获系统的示意图。图2示出了在照相机210的视野211中采用两个反射镜220a-b来生成包括目标对象230的正视图和反射视图225a-b的单个图像(图3B的300)的图像捕获系统200。在所示出的图像捕获系统200中,照相机210面对要被纹理化的目标对象230。可以将目标对象230放置在表面202上。可以以已知的角度将两个反射镜220a-b放置在目标对象230后面的表面202上,并且每一个反射镜220a-b向照相机210发送目标对象230的反射视图225a-b,而不干扰视野211中目标对象230的正面的直视图对于照相机210的可见。每一个反射视图225a、225b向照相机210提供目标对象230的后面的一部分和相应的面。照相机210捕获视野211中的(图3B中所示出的)图像,并且向图像处理器250提供该图像以生成对象230的纹理图。
由于反射镜220a-b反射比目标对象230的反射视图225a-b更宽的视图,所以虚线(其被示出为反射镜的视野222a-b)表示每一个反射镜220a-b的最大反射角(并且因此整个视图)。两个白色挡板240a-b简化由照相机210所成像的视野211。如果第三反射镜(未示出)被用在对象230的顶部的后上部中,则第三反射镜反射目标对象230的顶部以及后面的一部分的图像,而不干扰目标对象230的正面图像。将两个挡板240a-b放置在反射镜220a-b的视野222a-b中,以生成照相机210的视野211中的反射镜220a-b的反射视图225a-b周围的背景。挡板240a-b通过提供例如与目标对象230上所发现的任何项不相同的均匀颜色的无特征表面来改善对视野211中的反射视图225a-b的检测。转而,这使得图像处理器250能够容易地识别来自于照相机210的所捕获的图像中的目标对象230。
由于照相机210相对于反射镜220a-b的位置是固定的和已知的,所以由照相机210所捕获的图像中的每一个像素与任何一个位于从目标对象230到反射镜220a-b的已知的入射线上的点相对应(例如,在反射视图225a-b中),或者与任何一个位于目标对象230的表面上的点相对应。在反射镜220a-b的图像之间存在重叠270,使得目标对象230的一部分在两个反射视图225a-b的接合处被表示了两次。这使得目标对象230的纹理能够对相似形状的相应的3D模型进行连续地覆盖(wrap)。另外,由于反射镜220a-b仅看到目标对象230的投影,所以重叠270趋向于显示不必然存在的边缘。反射镜220a-b的两个反射视图225a-b之间的重叠区域270中的目标对象230的表面是在入射线在这两个反射镜220a-b上的交叉处的。图像处理器250可以确定重叠270,并且选择具有最佳清晰度的重叠用于纹理图。照相机220和反射镜220a-b的固定位置使得重叠区域270中的目标对象230的3D形状能够被确定。该检测到的3D形状可以被用于缩放并且应用来自于目标对象230的相应的通用的3D模型形状的仿射函数。通过使用被设置为孔径足够小以将目标对象230和反射镜220a-b的反射视图225a-b二者聚焦在视野211中的照相机镜头(未示出)来处理任何景深问题。
从目标对象230至照相机的距离不是决定性的,这是由于可以根据对象的已知测量结果(例如,对象的高度或宽度)来推断该距离。换言之,可以根据已知的测量结果来近似目标对象230相对于照相机210的位置。另外,目标对象230相对于照相机210的方位不是决定性的,这是由于图像处理器250基于相应的通用的3D模型的表面来调整所生成的纹理图。有利地是,与具有旋转台的现有技术系统需要将对象精确地放置在旋转台的中央相比,所示出的图像捕获系统200对于目标对象230的偏离中心的放置具有明显更高的容忍度。
图3A-B是根据所公开的实施例的方面的目标对象330和由三反射镜图像捕获系统所捕获的作为结果的图像300的图示。图3A示出了具有包括可视的正(F)面、右(R)面和顶(T)面以及不可视的左(L)面和后(B)面的立方体形状的目标对象330。例如,对象330表示容纳消费品的盒子或者具有六个面的相似形状的任何通用的消费包装。图3B是利用与图1和图2中所示出的系统(其具有另外的顶面反射镜)相类似的图像捕获100、200系统所拍摄的目标对象330的数字图像300。数字图像300包括均匀的背景311和对象330的正面F的直视图312。在图像300中,右镜面反射325a、左镜面反射325b和顶部的镜面反射325c存在于该对象的直视图312的周围。镜面反射325a-c的位置与照相机的视野中的反射镜的物理位置相对应。右镜面反射325a包括目标对象330的右(R)面和后面的右反射视图330a。左镜面反射325b包括目标对象330的左(L)面和后面的左反射视图330b。顶部的镜面反射325c包括目标对象330的顶部(T)和后面的顶部反射视图330c。与正视图312相比,目标对象的反射视图330a-c包括由反射镜的角度产生的透视失真和长度压缩,并且包括由至照相机的距离的增加产生的缩放效果。
图4A-B是根据所公开的实施例的方面使用图3B的示例性捕获的图像300来进行透视校正和镜像的图示。图4A示出了与图3B中所示出的所捕获的图像300相类似的数字图像400,但是其中去除了目标对象330的正面的直视图(图3B中的312)。相应的轮廓化的镜面反射325a-c中的目标对象的反射视图330a-c包括较小的梯形畸变效应,还被称为梯形失真或者透视失真。出于说明的目的,在图3B和图4A中对该效应进行了极大地夸大。在图像处理之前,图像处理器150、250删除并且去除所捕获的图像400中的背景311,只留下该目标对象的反射视图330a-c和该目标对象的直视图(未示出)。
存在于镜面反射325a-c和反射视图330a-c(或者由每一个反射镜所反射的对象的图像)中的梯形畸变效应是每一个反射镜相对于照相机的角度的结果。反射镜-照相机的角度导致如由照相机镜头所接收的该对象的失真的反射。例如,由以相对于照相机110,210一角度放置的反射镜120、220对方形对象的反射(反射图像121a-b、225a-b)呈梯形的形状。图像处理器150、250通过扩大反射图像121a-b、225a-b的短边(即,离照相机最远的镜面反射325a-c或反射视图330a-c的边缘),或者通过缩短反射图像121a-b、225a-b的长边(即,最靠近照相机的镜面反射325a-c或反射视图330a-c的边缘),来消除这样的透视失真。在图4B的示例中,图像处理器150、250对反射图像视图330a-c应用透视校正,其在工作数字图像401中产生无透视失真的图像431a-c。在消除透视失真之后,图像处理器150、250对目标对象330的无失真图像431a-c进行反转,例如,针对右侧的镜面反射426(图4B)进行从左到右的反转。因此,图像处理器150、250在工作图像401中生成目标对象330的适当的纹理和轮廓。
图5A-B是根据所公开的实施例的方面的图像处理器150、250使用反射镜的位置来对反射的图像片段进行缩放的图示。图5A示出了具有被应用了透视校正和镜像的(图4B的)工作图像401。由于相干反射镜相对于目标对象330的位置,所以镜面反射426从目标对象330后面的位置反射该对象的右面视图431a。因此,目标对象的后面在右面视图431a中是可见的。如由图5A中的镜面反射426的坐标499所示,确定镜面反射426的方向具有:(i)镜面反射426的视野平行于照相机的视野的中心线,以及(ii)X-Y平面垂直于照相机的视野的中心线。可选地,给定已知的镜面反射426相对于X、Y和Z轴的位置,则对反射镜位置的调整可以近似形成目标对象的反射视图431a的Y-Z平面中的目标对象表面的校正形状。可以使用已知的反射镜的位置将类似的校正应用于目标对象的所有反射视图431a-c。对于工作图像401,反射镜位置校正是适当的,这是由于,例如已知目标对象的右面是近似平行于Y-Z平面599的。
图5B示出了与图5A的工作图像401相对应的数字图像501,但是使反射镜位置调整校正应用于目标对象的顶部反射视图、右反射视图和左反射视图532a-c。虽然该校正尚未正确地对每一个反射视图532a-c中的目标对象的后面的反射视图进行变形,但是目标对象的右面、顶面和左面的反射视图532a-c现在近似地具有正确的形状。另外,由于图像处理器150、250可以精确地确定任何重叠区域的表面(例如,目标对象的后表面)的3D空间位置,所以可以在稍后的处理阶段处对那些区域中的任何失真进行校正。
图6A-B是根据所公开的实施例的方面的图像处理器150、250按照对象尺寸对图像进行缩放的图示。图6A示出了图5B的具有反射镜位置校正的反射视图532a-c的数字图像501,并且还包含来自于图3B的直接正视图312。由于光线从反射面到照相机传播更远的距离,所以反射视图532a-c按照比直接正视图312更小的方式存在于数字图像501中。
图6B示出了相应的数字图像601,其表示图像处理器150、250基于对(图6A的)反射视图532a-c和相邻的正视图312的边缘检测来进行缩放的操作。使用三个相邻的检测到的边缘662a-c,按照直接正视图312上的相邻边缘的尺寸对反射视图从532a-c到632a-c进行缩放。当在直接正视图312和相邻的反射视图532a-c之间没有检测到重叠区域时,该操作是适当的。在没有重叠区域存在的情况下,目标对象正确地包含边缘对662a-c,或者以其它方式在结果的反射视图632a-c和直接正视图312之间存在间隙。然而,可以通过比较边缘对662a-c的相似性来确定间隙的存在,即,如果边缘对662a的构件是相似的并且可以被对准,则它们表示目标对象上的真实边缘的可能性较高,如所示出的,反射视图632a-c是按照直接正视图312中的相邻边缘662a的尺寸来适当地缩放的。
图7A-7B示出了根据所公开的实施例的方面的图像处理器150、250对工作图像501、601中的反射视图进行缩放和对准。图7A示出了在由图像处理器150、250进行重叠检测处理情况下的图6B的数字图像601。图像处理器150、250检测(图6B的)边缘对662a-c作为图7A的共同区域线760a-c。共同区域线是图像片段(其可能仅一个像素的厚度),其似乎表示两个或更多个图像片段(还被称为目标对象的反射视图632a-c和直视图312)中的目标对象的相同部分,尽管它们可能具有不同的缩放或者失真。相应地,给定已知的顶部反射视图632c的位置,则图像处理器150、250检测垂直的共同区域线760d-e。右反射视图632a和左反射视图632b包含目标对象770a-b的后面的反射视图,并且如下面在图8A和图8B中所进一步解释的,在这些区域中,图像处理器150、250检测相应的共同区域对761a-b。所检测到的共同区域761a-b的存在将周围的图像片段/反射视图632a-b标记为可能需要修剪的可能的重叠区域。
图7B示出了数字图像701,在数字图像701中,图像处理器150、250使用重叠边缘760a-c来将(来自于工作图像601的反射视图632a-c的)目标对象的反射视图733a-c与直接正视图312对准。图像处理器150、250沿着反射视图733a-c和直接正视图312的共同的边缘760a-c将它们拼接在一起,以生成单个工作图像701。结果的工作图像701表示在该数字图像中可见的目标对象的整体,但是包含共同区域761a-b,共同区域761a-b均反映从两个或更多个视角所看到的目标对象的同一区域的视图。
图8A是根据所公开的实施例的方面的目标对象上的共同区域的两个反射的图示。重叠消除是由所公开的图像处理技术自动地处理的。照相机(图1中的110)以及该照相机的传感器相对于反射镜(图1中的120a-b)的位置是固定的并且是已知的,包括每一个反射镜相对于照相机的偏航角与倾斜度。照相机的位置以及反射镜的位置和方位是独立于目标对象来设置的。对于给定的反射镜,照相机110的(图1中的)视野111内的任何点与位于从(图1的)对象130到反射镜的(图1中的)入射线122a-b上的点相对应。由于照相机110和反射镜120a-b的固定的位置,所以该射线的位置和方位是已知的。如果从照相机到反射镜的(图1中的)反射线121a-b是使用相关联的反射镜来反射的,则入射线122a-b完全由照相机相对于相关联的反射镜的位置和方位来限定。从(图1的)照相机110的CCD上的像素开始透过镜头的射线将碰到相关联的反射镜120a-b,该相关联的反射镜120a-b将反射单个唯一限定的入射线。这对于来自于照相机的视野中的每一个特定的反射镜的反射图像(121a-b)的每一个像素来说是成立的。
任何两个反射镜220a-b之间的可能的重叠区域270(在图2中)是固定的,并且可以由照相机和反射镜的位置的几何约束来确定。当(图2的)两个反射镜的反射视图225a-b在对象的覆盖面中重叠时,与重叠270中的对象的表面相对应的图像点是入射线在两个反射镜上的交叉点。可能发生以下两种情况。
在图8A中示出的第一种交叉情况下,两个反射镜820a-b具有反射827a-b,每一个反射包含对象830的表面上的共同区域861a-b的反射视图832a-b。换言之,反射镜820a-b的反射在对照相机(未示出)可视的目标对象830的表面上至少交叉一个点。该交叉点的3D空间中的位置可由几何约束来确定,其中如上面解释的,第二反射镜820b反射与第一反射镜820a相同的点的一部分。
以及在第二种交叉情况下,两个或更多个反射镜不反射该对象的表面上的任何共同点。例如,如果反射镜中的一个反射镜被该对象的微小凸出物所遮挡,该对象的微小凸出物阻止了该反射镜观看到被其它反射镜所观看到的相同点。反射镜的视图的射线可能交叉,但是不在该对象的表面上。
因此,两个或更多个反射镜之间的重叠区域具有两种可能类型的区域。第一区域类型(共同区域861a-b)是由第一种交叉情况产生的。第一区域类型是两个反射镜820a-b从照相机的视角反射来自于目标对象830的表面的相同的点或者共同区域861a-b。共同区域861a-b是完全由目标对象830的表面上满足如上面解释的第一种交叉情况的点来生成的。目标对象830的3D形状和共同区域861a-b的3D形状是可精确地确定的。共同区域861a-b对于对该对象的相应的3D模型的通用的形状进行缩放并且应用仿射函数可能是有用的。另外,目标对象830的重叠区域870a-b的反射视图832a-b中的仅一个反射视图可以被选择用于纹理图。通常,图像处理器150、250选择两个表示中的较大者,这是由于共同区域861a-b中的较大的图像表示可视对象表面的较高分辨率的视图。在一些情况下,如稍后在图9A中所示出的,共同区域861a-b的部分是基于分辨率从两个反射视图832a-b中选择的。
当反射镜A 820a的视野821a的部分包含与在反射镜B 820b的视野821b中所观看到的区域相同的区域的相应的部分不相同的视图时,生成第二区域类型(重叠区域870a-b)。该情形可能起因于例如存在于对象表面上的反射、遮挡、两个反射镜820a-b之间的角度差异、或者阻止对象表面区域被检测为与从不同的反射镜位置所观看到的表面相同的表面的其它情形。通常,重叠区域870a-b是由两个反射镜820a-b反射的目标对象830的区域,但是具有未被检测为共同区域861a-b的区域。图像处理器150、250可以保留仅来自于两个反射镜820a-b中的一个反射镜的重叠区域870a-b用于纹理图。如下面解释的,图像处理器150、250可以基于重叠区域870a-b相对于反射镜的交叉点的位置,或者可以改善产生的纹理图的质量(例如,消除由于光照而造成的反射或者高亮)的其它参数来做出该选择。
图8B是两个反射镜以及它们的交叉线的图。图8B示出了两个镜像投影890a-b相交并且在它们的投影890a-b的交叉处定义反射镜交叉线891。在该示例中,例如根据反射镜在照相机的视野(未示出)中的方位,将镜像投影890a-b和它们的交叉线891表示为2D投影。虽然两个镜像投影890a-b可能以三维的方式相交,但是它们的交叉的任何2D切片相对于固定平面(例如,照相机的视野)的方位是不变的。可以使用反射镜的交叉线891在照相机的视野中的方位来修剪来自于目标对象830的多个反射视图832a-b的(图8A的)重叠区域870a-b,以便减小如在图8C和8D中示出的后续的图像处理的复杂度。
通常,在图8C和图8D中分别示出了重叠消除、合并和拼接的两个示例性实施例。图8C示出了具有重叠区域870a-b和共同区域861a-b二者的目标对象830的两个镜面反射(图像)827a-b。将两条修剪线V1、V2放置在共同区域861a-b的对侧上,并且相对于反射镜交叉线(未示出)来定向。图像处理器150、250可以删除或者保留(示出为渐淡线(faded line)的)反射视图832a-b中的修剪线V1、V2之外的图像数据,用于集成到纹理图中以减小后续图像处理的复杂度。对于修剪线V1、V2之间的图像数据,图像处理器150、250依据共同区域861a-b的可确定的3D参数将它们整形成两个相等大小的区域,并且随后基于它们的图像质量、分辨率或者其它参数来合并所调整尺寸的区域。按照定义的重叠区域870a-b缺乏使它们的3D参数被确定的能力,但是仍然可以被图8D中所示出的第三修剪线V3选择性地修剪。图像处理器150、250基于重叠区域870a-b的图像质量或者其它参数(诸如例如,反射的存在性)来选择性地修剪重叠区域870a-b。
图8D示出了具有重叠区域870a-b和共同区域861a-b的目标对象830的两个反射图像827a-b。可以平分共同区域861a-b的放置单个修剪线V3。使用共同区域861a-b的可确定的3D参数,图像处理器150、250可以将修剪线V3放置在两个反射图像827a-b中的相同位置。图像处理器150、250删除修剪线V3之外的图像数据以避免重复,并且修剪线V3的放置可以是基于例如共同区域861a-b或重叠区域870a-b的分辨率或图像质量或者其它参数的。
更复杂的目标对象表面的反射可能具有包含多于共同区域861a-b的重叠区域,并且因此对于(图8C的)重叠区域870a-b独自地存在于剪切线V1、V2之间是可能的,在剪切线V1、V2之间不完全包含共同区域861a-b。可以使用如图8D中所示出的单条修剪线V3来确定纹理图中来自于重叠区域870a-b的保留数据。
图9A-9C示出了根据所公开的实施例的方面进行重叠消除以生成接合的表面。图9A示出了具有两条修剪线V1、V2的图7B中检测到的共同区域761a-b,其中确定这两条修剪线V1、V2的方向平行于反射共同区域761a-b的反射镜的交叉线。将修剪线V1、V2放置在共同区域761a-b的对侧上,并且修剪线V1、V2表示周围的图像数据已经被去除以便处理共同区域761a-b。如图7B中所示,由于目标对象的立方体形状,所以重叠区域770a-b完全由共同区域761a-b组成。继续使用图9A,如所示出的,修剪线V1、V2之外的图像数据可以由图像处理器150、250去除,以减小合并共同区域761a-b的复杂度。在共同区域761a-b中,相对更高分辨率的区域962a-b可以被检测并标记用于保留。如图9B中所示,已知的照相机和反射镜的位置使得图像处理器150、250能够确定共同区域761a-b的三维表面,并且将共同区域761a-b转换成关于任何轴的近似正确的几何投影。
图9B示出了图9A的共同区域761a-b的校正的共同区域971a-b。所校正的共同区域971a-b是根据图9A的共同区域761a-b(在图3A-3B中示出为目标对象330的后面)的确定的尺寸和形状来校正的。因此,如上面解释的,校正的更高分辨率的片段963a-b被图像处理器150、250保留在校正的共同区域971a-b中并且被接合在一起,以形成图9C中的完整的共同区域。图9C示出了被拼接在一起以形成合成的图像部分934的校正的共同区域(图9B的971a-b)。产生的合成的图像部分934表示在原始数字图像的左反射和右反射(在图3B中被示出为数字图像300和反射325a-b)中可见的目标对象830的后面的部分。
图10A是根据所公开的实施例的方面具有图7B的缩放的和对准的片段以及图9C的合并的共同表面的图像的图示。图10A示出了具有与直接正面反射312合并的校正的和对准的右反射、顶部反射和左反射733a,并且包含来自于图9C的合成的重叠区域934的数字图像1000。假定已知目标对象的形状(例如,立方体(如在图3A中被示出为330))和相应的3D模型的形状,则将数字图像1000的图像片段组装成表示相应的3-D模型的表面的纹理图。图10B是根据图10A的工作图像1000所生成的并且具有表示目标对象(图3A中的330)的立方体的五个面的纹理图1001的图示。
图11A示出了圆柱体对象1130,如上面所概述的,将本发明的方法应用于圆柱体对象1130以生成相应的3D模型的相应的纹理图1101。图11B是由对图11A的圆柱体对象1130进行成像的本发明的实施例所产生的纹理图1101的图示。给定三反射镜系统实施例(如图1中所示),根据直接正视图1111、处理的左反射视图、右反射视图和顶部反射视图1125a-c以及四个重叠区域1170a-d来生成纹理图1101。第一重叠区域1170a在直接正视图1111和右反射视图1125a之间,第二重叠区域1170b在直接正视图1111和左反射视图1125b之间。第三重叠区域1170c表示右视图1125a和左视图1125b之间的重叠的一部分,在该区域中,来自于右视图1125a的图像片段被保留。第四重叠区域1170d表示右视图1125a和左视图1125b各自之间的重叠区域的剩余的一半,在该区域中,左视图1125b被保留。
图12A是根据所公开的实施例的方面由三反射镜系统对运动对象进行的多个图像捕获中的一个图像捕获。当应用于动画绘制的对象或者人物时,在给定足够的计算资源的情况下,可以实时地使用上面的方法,并且产生的模型被发送至远程位置。只要对象或者多个对象是空间连续的,则该方法将支持动画绘制的对象。如果它们是非连续的(例如,从图像跳到另一个位置中的图像),则需要对每一个对象的本质进行更为复杂地确定。例如,如果校准的对象的纹理图(还被称为图集)是不同的,则可能存在一种用于识别哪个是哪个的方法。相反,如果对象的图集是相同的,则区分哪个是哪个可能是不可行的。在人物的情况下,可以选择人物的相应的3D模型。如果该相应的3D模型不具有适当的形状(例如,太短或者太宽),则该3D模型可以被缩放到由照相机所捕获的图像。接下来,进行校准以尽可能多地(理想上全部的)暴露真实对象的纹理。随后,3D模型可以通过使现实世界对象按照已知的运动方式移动,并且捕获结果的数字图像,并且将它们与预定的运动相关联来被校准到运动的现实世界对象。在对3D模型的校准和缩放完成之后,可以观测真实对象的新运动,以动画绘制3D模型。
图12A示出了立方体目标对象(图3A的立方体目标对象330)的数字图像1200。在目标对象的纹理图(图10B的1001)已经被生成并且与相应的3D模型(未示出)相关联之后,本发明的实施例通过在照相机的视野中捕获运动目标对象的多个数字图像1200来动画绘制相应的3D模型。在每一个数字图像1200中,基于照相机的位置,已知的坐标集存在于正视图1212中和反射1225a-c中的每一个反射中。对多个所捕获的数字图像1200中的两个或更多个所捕获的数字图像进行分析,以确定用于目标对象的直视图1212和用于反射视图1230a-c中的每一个反射视图的平移矢量和旋转矢量。例如,在直接正视图1212中,沿Y和X方向的平移被确定,以及沿Z轴的旋转被确定。
图12B是根据图12A的运动对象的多个图像捕获中的至少两个图像捕获所生成的纹理图1201和相关联的矢量1290、1291、1293。图12B示出了与图12A的每一个工作数字图像1200相对应的纹理图1201。对于数字图像的每一个图像片段(F、R、T、L、后面),使用被本领域技术人员所公知的矢量数学运算来计算相应的平移和旋转矢量1290、1291、1293。图12C示出了图12A的运动对象的3D模型1231和相关联的平移和旋转矢量1294。根据对目标对象拍摄的给定的图像序列1200,可以将相应的平移和旋转矢量1290、1291、1293应用于相应的纹理图,并且因此在平移和旋转轴1294的三个轴中动画绘制如在图12C中所示的相应的3D模型。
图13A-13B是根据所公开的实施例的方面根据图像来生成纹理图的方法的流程图。图13A是根据单个视图的图像来生成3D纹理图的示例性方法的流程图1300。在步骤1310中,视野的图像是由照相机捕获的。视野具有目标对象的直视图和来自于反射面的目标对象的反射视图。接下来,在步骤1320处,在所捕获的图像中,将目标对象的反射视图与目标对象的直视图分离。接下来,在步骤1330处,反射视图是通过去除失真来校正的。接下来,在步骤1340处,可选地检测并且去除所捕获的图像中的视图中的任何视图之间的重叠。在步骤1350处,目标对象的3D模型表示的纹理图是通过合并直视图和校正的反射视图来生成的。最后,在步骤1360处,纹理图被投影在目标对象的3D模型表示上。
图13B是步骤1340的示例性方法的流程图1301,其包括:当所捕获的图像包括至少两个反射视图时,检测并且去除步骤1310的所捕获的图像中的视图中的任何视图之间的重叠。在步骤1341中,检测直视图、第一反射视图和第二反射视图中的任何视图之间的重叠,并且识别存在于视图中的任何视图中的任何共同区域。接下来,在步骤1342中,从它们的相应的视图中分离或者去除所检测到的共同区域。接下来,在步骤1343中,使用已知的第一反射面和第二反射面的位置来计算任何共同区域的3D空间中的(或者目标对象上的)尺寸和形状。接下来,在步骤1344中,通过步骤1343的计算结果来校正分离的共同区域的尺寸和形状,以表示存在于共同区域中的目标对象的表面的一部分。接下来,在步骤1345中,确定每一个检测到的共同区域的图像质量,并且依照它们的图像质量的函数将共同区域合并成单个合并的区域。最后,在步骤1346中,所合并的共同区域被用在步骤1350中来生成与共同区域相对应的目标对象的区域的纹理图。
图14A示出了可以在其中部署本发明的实施例的计算机网络或者类似的数字处理环境。客户端计算机/设备1450和服务器计算机1460提供用于执行应用程序等的处理、存储和输入/输出设备。客户端计算机/设备1450还可以通过通信网络1470链接到包括其它客户端设备/处理1460和服务器计算机1450的其它计算设备。通信网络1470可以是远程接入网、全球网(例如,互联网)、世界范围的计算机集合、局域网或者广域网以及网关的一部分,其中网关当前使用各自的协议(TCP/IP、蓝牙等)来彼此通信。其它电子设备/计算机网络架构也是适合的。
图14B是可以在其中实现本发明的各个实施例(例如,图13A-B的示例性方法/计算机例程1300、1301以及图1-2的示例性图像处理装置150、250)的计算机(例如,图14A的客户端处理器/设备1450或者服务器计算机1460)的内部结构的框图。每一个计算机1450、1460包含系统总线1479,其中总线是用于在计算机或处理系统的部件之间进行数据传送的一组硬件线。总线1479在本质上是连接计算机系统的不同元件(例如,处理器、磁盘存储、存储器、输入/输出端口、网络端口等)、实现元件之间的信息传送的共享导线管。被连接到系统总线1479的是用于将各种输入和输出设备(例如,键盘、鼠标、显示器、打印机、扬声器等)连接到计算机1450、1460的I/O设备接口1482。网络接口1486使计算机能够连接到被附到网络(例如,图14A的网络1470)的各种其它设备。存储器1490为用于实现上面所详述的方法/例程1300、1301和图像系统处理器150、250的计算机软件指令1492和数据1494提供易失性存储。磁盘存储1495为用于实现本发明的实施例的计算机软件指令1492和数据1494提供非易失性存储。中央处理器单元1484也被附到系统总线1479,并且提供对计算机指令的执行。
在一个实施例中,处理器例程1492和数据1494是计算机程序产品(通常被引用为1492),其包括为本发明的系统提供软件指令的至少一部分的计算机可读介质(例如,诸如一个或多个DVD-ROM的、CD-ROM的、磁盘、磁带等的可移动存储介质)。可以通过如在本领域中所公知的任何适当的软件安装过程来安装计算机程序产品1492。在另一个实施例中,还可以通过电缆、通信和/或无线连接来下载软件指令中的至少一部分。在其它实施例中,本发明的程序是被体现在传播介质(例如,无线电波、红外波、激光波、声波或者在诸如互联网的全球网或者其它网络上传播的电波)上的所传播的信号上的计算机程序传播的信号产品1471。这样的载波介质或者信号为本发明的例程/程序1492提供软件指令的至少一部分。
在替代实施例中,所传播的信号是传播介质上携带的模拟载波波形或数字信号。例如,所传播的信号可以是在全球网(例如,互联网)、电信网或者其它网络上传播的数字化信号。在一个实施例中,所传播的信号是在一段时间内在传播介质上发送的信号,例如,针对在毫秒、秒、分钟或更长的一段时间内在网络上的分组中发送的软件应用的指令。在另一个实施例中,如上面针对计算机程序传播的信号产品所描述的,计算机程序产品1492的计算机可读介质是计算机系统1460可以例如通过接收传播介质并且识别被体现在传播介质中的传播的信号来接收并且读取的传播介质。
一般而言,术语“载波介质”或者瞬时载波包含前述的瞬时信号、传播的信号、传播的介质、存储介质等。
此外,本发明可以用各种各样的计算机架构来实现。图14A和图14B的计算机是出于说明的目的的,而不是对本发明的限制。
应当理解的是,框图和流程图可以包括更多个或更少个元件、可以以不同的方式安排、或者可以以不同的方式来表示。应当理解的是,实现方式可以指示用于说明对本发明的实施例的执行的框图/流程图/网络图,以及框图/流程图/网络图的数目。
应当理解的是,上面所描述的框图和流程图的要素可以用软件、硬件或者固件来实现。此外,在软件、硬件或者固件中,可以以任何方式对上面所描述的框图/流程图/网络图中的要素进行组合或者分割。如果用软件来实现,则可以用能够支持本文所公开的实施例的任何语言来编写软件。可以将软件存储在任何形式的计算机可读介质上,例如,随机存取存储器(RAM)、只读存储器(ROM)、压缩磁盘只读存储器(CD-ROM)等。在操作中,通用或者专用处理器以本领域中很好理解的方式来加载并且执行软件。
虽然已经参考本发明的示例性实施例具体地示出并且描述了本发明,但是本领域技术人员将理解的是,在不脱离由所附的权利要求书所覆盖的本发明的范围的情况下,可以在其中对形式和细节做出各种改变。

Claims (12)

1.一种用于生成纹理图的方法,包括:
捕获视野的图像,所述视野具有消费用商品产品的直视图和来自于至少一个平面反射面的所述消费用商品产品的至少一个反射视图,捕获的图像具有所述消费用商品产品的所述直视图的直接图像和所述至少一个反射视图的至少一个反射图像(1310);
其中,所述至少一个平面反射面包括第一平面反射面和第二平面反射面,所述至少一个反射视图包括来自于所述第一平面反射面的所述消费用商品产品的第一反射视图和来自于所述平面第二反射面的所述消费用商品产品的第二反射视图,以及所述至少一个反射图像包括来自于所述第一反射视图的第一反射图像和来自于所述第二反射视图的第二反射图像;
基于捕获的图像将所述消费用商品产品的通用3D模型表示缩放至所述消费用商品产品的尺寸;
将捕获的图像中的所述至少一个反射图像与所述直接图像分离(1320);
减小分离的反射图像中的失真以提供至少一个失真减小的反射图像(1330),所述减小失真包括:
检测至少一个分离的反射图像与所述直接图像的至少一个相邻边缘对;以及
基于检测到的至少一个相邻边缘对,在所述直接图像上缩放和对准所述至少一个分离的反射图像;
根据所述直接图像和所述至少一个失真减小的反射图像来生成纹理图(1350);以及
将生成的纹理图投影到所述消费用商品产品的缩放的通用3D模型表示上(1360),
所述方法还包括:
检测所述第一反射图像和所述第二反射图像之间的重叠区域,所述重叠区域包括所述第一反射图像和所述第二反射图像中的共同区域;以及
消除检测到的重叠区域,其中,所述消除包括基于至少两条修剪线调整尺寸和合并所述共同区域,所述修剪线相对于在所述第一平面反射面和所述第二平面反射面的投影的交叉处限定的反射镜交叉线来定向。
2.根据权利要求1所述的方法,其中,所述消费用商品产品的所述第一反射视图和所述第二反射视图以及所述直视图观测所述消费用商品产品的周围的至少一部分。
3.根据权利要求1所述的方法,其中,所述至少一个平面反射面还包括第三平面反射面,所述至少一个反射视图还包括来自于所述第三平面反射面的所述消费用商品产品的第三反射视图,以及所述至少一个反射图像还包括所述第三反射视图的第三反射图像。
4.根据权利要求3所述的方法,其中,所述第一反射视图和所述第二反射视图以及所述直视图观测所述消费用商品产品的周围的至少一部分,所述第三反射视图观测所述消费用商品产品的顶面或者底面。
5.根据权利要求1所述的方法,其中,检测重叠还包括:
检测具有检测到的重叠的所述图像中的至少两个图像中的每一个图像中的共同区域(1341);
从具有检测到的重叠的所述图像中的所述至少两个图像中的每一个图像中去除所述共同区域(1342);
使用已知的所述第一平面反射面的位置和所述第二平面反射面的位置来计算所述共同区域的尺寸和形状(1343);
校正所述共同区域以表示计算的所述消费用商品产品的表面的一部分(1344);
确定每一个校正的共同区域的图像质量,并且使用所确定的图像质量将校正的共同区域合并成合并的区域(1345);以及
在生成所述至少一个纹理图的过程中使用接合的区域(1346)。
6.根据权利要求1所述的方法,其中,将捕获的图像中的消费用商品产品的所述至少一个反射图像与所述直接图像分离包括:
检测捕获的图像中的失真区域(1330);以及
将检测到的区域标记为所述消费用商品产品的所述至少一个反射图像(1330)。
7.根据权利要求1所述的方法,其中,减小所述至少一个反射图像中的失真包括下列各项中的至少一项:按照所述消费用商品产品的尺寸对所述至少一个反射图像进行缩放,校正所述至少一个反射图像中的透视失真,以及基于所述至少一个反射面的位置和所述消费用商品产品的形状来对所述至少一个反射图像进行整形(431)。
8.根据权利要求1所述的方法,其中,捕获所述视野的图像还包括:
随着所述消费用商品产品从第一位置移动到第二位置,捕获所述视野的具有消费用商品产品的多个捕获的图像(1200),每个产生的捕获的图像具有所述消费用商品产品的直视图的直接图像和所述消费用商品产品的至少一个反射视图的至少一个反射图像;以及
根据所述多个图像来生成多个纹理图。
9.根据权利要求8所述的方法,还包括:
检测所述消费用商品产品的运动(1290,1291,1293);
使检测到的所述消费用商品产品的运动与所述通用3D模型相关以生成所述通用3D模型的相应的运动(1294);以及
基于所述通用3D模型的所述相应的运动和生成的多个纹理图来从相应的第一位置到相应的第二位置动画绘制所述通用3D模型(1231)。
10.根据权利要求1至9中的任一项所述的方法,还包括将生成的纹理图投影到所述消费用商品产品的通用3D模型表示上。
11.一种被配置为根据权利要求1至9中的任一项所述的方法来利用单个图像来生成用于来自于消费用商品产品的通用3D模型的纹理图的系统,所述系统包括照相机(110),其适于执行对图像的捕获,以及图像处理设备(150、250),其适于接收捕获的图像并执行所述分离、所述减小和所述生成。
12.一种包括指令的计算机可读介质,所述指令在被处理器执行时,使所述处理器执行根据权利要求1-10中的任一项所述的方法。
CN201510736352.8A 2014-11-04 2015-11-03 根据图像的自动化纹理映射和动画绘制 Active CN105574921B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/532,683 US20160125638A1 (en) 2014-11-04 2014-11-04 Automated Texturing Mapping and Animation from Images
US14/532683 2014-11-04

Publications (2)

Publication Number Publication Date
CN105574921A CN105574921A (zh) 2016-05-11
CN105574921B true CN105574921B (zh) 2021-06-08

Family

ID=54477855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510736352.8A Active CN105574921B (zh) 2014-11-04 2015-11-03 根据图像的自动化纹理映射和动画绘制

Country Status (6)

Country Link
US (1) US20160125638A1 (zh)
EP (1) EP3018632B1 (zh)
JP (1) JP6704238B2 (zh)
KR (1) KR20160052441A (zh)
CN (1) CN105574921B (zh)
CA (1) CA2910649A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
US9525863B2 (en) * 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10070080B2 (en) * 2015-05-18 2018-09-04 The Boeing Company Multi-directional, multi-spectral star tracker with a common aperture and common camera
US10447999B2 (en) * 2015-10-20 2019-10-15 Hewlett-Packard Development Company, L.P. Alignment of images of a three-dimensional object
US9727957B2 (en) * 2015-12-18 2017-08-08 Ebay Inc. Source image providing multiple item views
US11281287B2 (en) * 2017-07-13 2022-03-22 Devar Entertainment Limited Method of generating an augmented reality environment
CN110473294B (zh) * 2018-05-11 2023-09-01 杭州海康威视数字技术股份有限公司 一种基于三维模型的纹理映射方法、装置及设备
EP3706076B1 (en) * 2019-03-07 2021-02-24 Siemens Healthcare GmbH Method and device to determine the dimensions and distance of a number of objects in an environment
CN111028338B (zh) * 2019-12-06 2023-08-08 珠海金山数字网络科技有限公司 一种基于Unity3D的图像绘制方法及装置
US11120638B2 (en) * 2019-12-26 2021-09-14 TCL Research America Inc. Director hint based auto-cinematography
CN111192223B (zh) * 2020-01-07 2022-09-30 腾讯科技(深圳)有限公司 人脸纹理图像的处理方法、装置、设备及存储介质
KR102366695B1 (ko) * 2020-06-25 2022-02-22 동서대학교 산학협력단 Center Pivot 지정을 통한 Mirror Pose 생성기법
CN113112407B (zh) * 2021-06-11 2021-09-03 上海英立视电子有限公司 基于电视的照镜视野生成方法、系统、设备及介质
EP4124014A1 (en) * 2021-07-20 2023-01-25 Spiideo AB Devices and methods for wide field of view image capture

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046890A (zh) * 2006-03-30 2007-10-03 西门子公司 用于扩展表示三维图像数据组的图像处理装置
CN102077243A (zh) * 2008-07-30 2011-05-25 松下电器产业株式会社 3d纹理的超分辨率的图像生成设备及方法
CN102132091A (zh) * 2007-09-21 2011-07-20 皇家飞利浦电子股份有限公司 借助投影仪以3d对象的更改的2d图像来照明该3d对象的方法,以及适合于执行该方法的投影仪
CN103258344A (zh) * 2013-04-10 2013-08-21 山东华戎信息产业有限公司 一种植物三维重建中纹理的自动提取方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100419890B1 (ko) * 2003-03-08 2004-02-26 박배억 가상 현실 구현을 위한 실사 이미지 촬영용 광학 튜브 조립체 및 이를 이용한 실사 이미지 합성 방법
AU2006217569A1 (en) * 2005-02-23 2006-08-31 Craig Summers Automatic scene modeling for the 3D camera and 3D video
US20070139408A1 (en) * 2005-12-19 2007-06-21 Nokia Corporation Reflective image objects
DE102006042311B4 (de) * 2006-09-06 2013-12-05 3D-Shape Gmbh Dreidimensionale Vermessung von Objekten in einem erweiterten Winkelbereich
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8570343B2 (en) 2010-04-20 2013-10-29 Dassault Systemes Automatic generation of 3D models from packaged goods product images
US8963927B2 (en) * 2010-12-15 2015-02-24 Microsoft Technology Licensing, Llc Vertex-baked three-dimensional animation augmentation
US9100587B2 (en) * 2011-07-22 2015-08-04 Naturalpoint, Inc. Hosted camera remote control
TWI456987B (zh) * 2011-11-09 2014-10-11 Inst Information Industry 植栽影像擷取裝置及其影像擷取方法
US20150228106A1 (en) * 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US20150279121A1 (en) * 2014-03-27 2015-10-01 Knockout Concepts, Llc Active Point Cloud Modeling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046890A (zh) * 2006-03-30 2007-10-03 西门子公司 用于扩展表示三维图像数据组的图像处理装置
CN102132091A (zh) * 2007-09-21 2011-07-20 皇家飞利浦电子股份有限公司 借助投影仪以3d对象的更改的2d图像来照明该3d对象的方法,以及适合于执行该方法的投影仪
CN102077243A (zh) * 2008-07-30 2011-05-25 松下电器产业株式会社 3d纹理的超分辨率的图像生成设备及方法
CN103258344A (zh) * 2013-04-10 2013-08-21 山东华戎信息产业有限公司 一种植物三维重建中纹理的自动提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automated Texture Registration and Stitching for Real World Models;Hendrik P. A. Lensch等;《computer graphics fic conference on hongkong》;20001231;正文第2.3节、第7节 *
Multiview Radial Catadioptric Imaging for Scene Capture;Sujit Kuthirummal等;《ACM TRANSACTIONS ON GRAPHICS ACM USA》;20060731;第25卷(第3期);第916-923页 *

Also Published As

Publication number Publication date
EP3018632B1 (en) 2021-05-12
JP2016091553A (ja) 2016-05-23
CA2910649A1 (en) 2016-05-04
JP6704238B2 (ja) 2020-06-03
CN105574921A (zh) 2016-05-11
KR20160052441A (ko) 2016-05-12
US20160125638A1 (en) 2016-05-05
EP3018632A1 (en) 2016-05-11

Similar Documents

Publication Publication Date Title
CN105574921B (zh) 根据图像的自动化纹理映射和动画绘制
US11616919B2 (en) Three-dimensional stabilized 360-degree composite image capture
US9760994B1 (en) Building a three-dimensional composite scene
EP2272050B1 (en) Using photo collections for three dimensional modeling
US9378584B2 (en) Systems and methods for rendering virtual try-on products
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US20100328308A1 (en) Three Dimensional Mesh Modeling
EP3131060A1 (en) Method and apparatus for constructing three dimensional model of object
US20130038696A1 (en) Ray Image Modeling for Fast Catadioptric Light Field Rendering
Balzer et al. Multiview specular stereo reconstruction of large mirror surfaces
EP3115741B1 (en) Position measurement device and position measurement method
US9147279B1 (en) Systems and methods for merging textures
US20120177283A1 (en) Forming 3d models using two images
US20160005221A1 (en) Photometric optimization with t-splines
Kumara et al. Real-time 3D human objects rendering based on multiple camera details
JP7394566B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7487266B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20230260204A1 (en) Rapid target acquisition using gravity and north vectors
JP2024025894A (ja) 画像処理装置、画像処理方法及びプログラム
Denker Acquisition and On-line Reconstruction of 3D Point Data from Hand-held Laser Scanners and Multi-camera Stereo-matching
Mikamo et al. A triangle mesh reconstruction method taking into account silhouette images
JP2003323639A (ja) 画像の三次元モデル復元装置及び三次元モデル復元方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant