CN105574921A - 根据图像的自动化纹理映射和动画绘制 - Google Patents
根据图像的自动化纹理映射和动画绘制 Download PDFInfo
- Publication number
- CN105574921A CN105574921A CN201510736352.8A CN201510736352A CN105574921A CN 105574921 A CN105574921 A CN 105574921A CN 201510736352 A CN201510736352 A CN 201510736352A CN 105574921 A CN105574921 A CN 105574921A
- Authority
- CN
- China
- Prior art keywords
- image
- reflected
- destination object
- views
- reflecting surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title abstract description 3
- 230000000007 visual effect Effects 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 51
- 230000033001 locomotion Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 4
- 238000007493 shaping process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 40
- 238000012937 correction Methods 0.000 description 11
- 241000193935 Araneus diadematus Species 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000000644 propagated effect Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 244000141353 Prunus domestica Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000013396 workstream Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
根据图像的自动化纹理映射和动画绘制。一种用于生成用于现实世界对象的3D模型的纹理图的系统,包括:照相机和照相机的视野中的反射面。反射面被放置以向照相机反射目标对象的一个或多个反射视图。照相机捕获目标对象的直接图像和来自于反射面的反射图像。图像处理器设备通过检测反射视图中的失真来将所捕获的图像中的目标对象的反射视图/图像与直接图像分离。图像处理器减小反射视图中的失真,并且基于目标对象的3D空间特性并且基于反射视图来生成纹理图。减小反射视图中的失真可以包括对反射视图进行缩放以与照相机的视野中的目标对象的尺寸相对应。
Description
技术领域
本发明的技术领域涉及根据目标对象的照片来生成用于物理对象的3D模型表示的纹理图。
背景技术
许多消费品具有相对简单的形状,这些相对简单的形状可以被分成有限数量的可能的通用形状,诸如,盒子和圆柱体。给定通用形状的消费品,则可以利用相应的尺寸、形状和外观来生成该产品或对象的数字表示。特别地,通过下列各项来生成数字表示:(i)对由主题通用形状所形成的3D模型的一个或两个维度进行缩放,以及(ii)将消费品的外表面的图像应用到3D模型的表面上。在申请人的美国专利No.8,570,343中公开了一种用于根据对象的校准的2D图像来生成这样的3D模型的自动化方法。
与消费品的一般尺寸和形状不同,对于每一个个体产品来说,产品的纹理和外观通常是独特的,以足以将该个体产品与任何其它产品区分开。为了生成产品的准确的数字表示,必须捕获该产品的纹理并且应用到相应的3D模型,该过程被称为纹理映射。通常,为了生成对象(产品)的纹理图,从不同的角度来捕获对象的图像,并且随后被拼接在一起以形成2D纹理图,所述2D纹理图具有与相应的3D模型的表面匹配的形状。假定消费用商品的多个零售商具有计数超过一百万的独特产品,则生成它们的库存的数字表示涉及针对每一个产品来获得并且生成纹理图,这是一项有潜力成为极端劳动密集型的任务。存在针对以低成本和高容量来获得现实世界对象(例如,产品)的纹理图,并且将该纹理图表达为数字形式,作为该对象的3D表示的需求。
发明内容
本发明的实施例提供了用于根据对象的图像来生成用于对象的3D模型的纹理图的方法和装置。所纹理映射的3D模型可以使得内容生成能够用于3D交互式体验和3D交互式模拟,包括但不限于,在线购物/观看和视频游戏。
本发明的示例性实施例是一种方法,其包括:捕获用于观看目标对象的视野的图像。所捕获的图像具有:(i)目标对象的直视图,以及(ii)从至少一个反射面产生目标对象的一个或多个反射视图的至少一个反射。所捕获的图像中的直视图被称为目标对象的直接图像,以及反射视图被称为目标对象的反射图像。该方法还包括:将所捕获的图像中的目标对象的反射图像与直接图像分离,减小反射图像中的失真以提供至少一个失真减小的反射图像,根据目标对象的直接图像和目标对象的失真减小的反射图像来生成至少一个纹理图,以及将纹理图投影到表示目标对象的3D模型上。
减小反射图像中的失真可以包括下列各项中的至少一项:按照目标对象的尺寸对反射图像进行缩放,校正反射图像中的透视失真,以及基于至少一个反射面(在目标对象的视野中)的位置和目标对象的形状来对反射图像进行整形。
该方法还可以包括:随着目标对象从第一位置移动到第二位置,捕获目标对象的(或许不同视野中的)多个图像,以及根据多个图像来生成多个纹理图。
在一些实施例中,该方法还包括:检测目标对象的直接图像和反射图像之间的、以及第一反射图像和第二反射图像之间的重叠。在一些实施例中,该方法还包括:从所捕获的图像中去除所检测到的重叠。
在另一个实施例中,该方法包括:检测目标对象的运动,使所检测到的目标对象的运动与3D模型相关以生成3D模型的相应的运动,以及基于3D模型的相应的运动来从相应的第一位置到相应的第二位置动画绘制3D模型。
在一些实施例中,分离所捕获的图像中的目标对象的反射图像包括:检测所捕获的图像中的失真区域,以及将所检测到的区域标记为目标对象的反射图像。
在一个实施例中,反射面包括第一反射面和第二反射面,以及相应的目标对象的第一反射视图和第二反射视图。反射图像包括第一反射视图的图像(被称为第一反射图像)和第二反射视图的图像(被称为第二反射图像)。在一些实施例中,目标对象的第一反射视图和第二反射视图以及直视图观测目标对象的周围的至少一部分。
在另一个实施例中,反射面包括第一反射面、第二反射面和第三反射面。至少一个反射包括来自于第一反射面的目标对象的第一反射视图、来自于第二反射面的目标对象的第二反射视图和来自于第三反射面的目标对象的第三反射视图。反射图像包括第一反射视图、第二反射视图和第三反射视图各自的第一反射图像、第二反射图像和第三反射图像。在一些实施例中,目标对象的第一反射视图和第二反射视图以及直视图观测目标对象的周围的至少一部分,同时第三反射视图对目标对象的顶面或者底面进行成像。
另一个示例性实施例是一种用于利用单个图像来生成用于由目标对象产生的3D模型的纹理图的系统。该系统包括:照相机(其具有视野)、照相机的视野中的一个或多个反射面、以及图像处理设备。一个或多个反射面被放置以向照相机反射目标对象的一个或多个反射图像。照相机捕获具有下列各项的单个图像:(i)目标对象的直接图像,以及(ii)目标对象的反射图像。图像处理设备对所捕获的图像中的目标对象的一个或多个反射图像进行分离,减小一个或多个反射图像中的失真,以及基于目标对象的形状、直接图像和减小失真的一个或多个反射图像来生成纹理图。减小一个或多个反射图像中的失真可以包括:对反射图像进行缩放以与视野中的目标对象的尺寸相对应。图像处理可以从直接图像中去除失真。
将所捕获的图像中的目标对象的一个或多个反射图像与直接图像分离可以包括:检测所捕获的图像中的一个或多个失真区域,以及将所检测到的区域标记为目标对象的反射图像。
在一个实施例中,图像处理设备检测直接图像和反射图像中的任何图像之间的重叠,并且从所捕获的图像中去除所检测到的重叠。
在一些实施例中,随着目标对象从第一位置移动到第二位置,照相机生成视野的多个捕获的图像,以及图像处理设备根据多个图像来生成多个纹理图。
在一些实施例中,图像处理设备检测目标对象的运动,使所检测到的目标对象的运动与3D模型相关以生成3D模型的相应的运动,以及基于3D模型的相应的运动来从相应的第一位置到相应的第二位置动画绘制3D模型。
附图说明
如在附图中所示出的,根据下面对本发明的示例实施例的更具体的描述,前述内容将是显而易见的,在附图中,贯穿不同的视图,相同的附图标记指代相同的部件。这些图不必依比例进行绘制,而是将重点放在说明本发明的实施例上。
图1是示出了根据所公开的实施例的方面的本发明的三反射镜图像捕获系统的示意图。
图2是示出了根据所公开的实施例的方面具有挡板的图像捕获系统的示意图。
图3A-3B是根据所公开的实施例的方面的对象和由三反射镜图像捕获系统产生的图像捕获的图示。
图4A-4B是根据所公开的实施例的方面对图3B的所捕获的图像中的梯形畸变进行检测和去除的图示。
图5A-5B是根据所公开的实施例的方面使用反射镜的尺寸和位置来对反射的图像片段进行缩放的图示。
图6A-6B是根据所公开的实施例的方面按照对象的尺寸来对反射的片段进行缩放的图示。
图7A-7B是根据所公开的实施例的方面对反射的图像片段进行缩放和对准的图示。
图8A、8C和8D是根据所公开的实施例的方面的目标对象上的共同区域的两个反射的图示。
图8B是两个反射镜以及它们的交叉线的示意图。
图9A-9C是根据所公开的实施例的方面对重叠消除以生成共同表面的图示。
图10A是根据所公开的实施例的方面包括图7B的所缩放的和所对准的反射片段以及图9C的合并的共同表面的图像的图示。
图10B是根据所公开的实施例的方面、根据图10A的图像所生成的纹理图的图示。
图11A是根据所公开的实施例的方面的圆柱体对象的图示。
图11B是由对图11A的圆柱体对象进行成像的本发明的实施例所产生的纹理图的图示。
图12A是根据本发明的三反射镜实施例的方面的运动对象的多个图像捕获中的一个图像捕获的图示。
图12B是根据所公开的实施例的方面、根据图12A的运动对象的图像所生成的纹理图和相关联的矢量。
图12C是根据所公开的实施例的方面的图12A的运动对象的3D模型以及相关联的平移和旋转矢量。
图13A-13B是根据所公开的实施例的方面、根据图像来生成纹理图的流程图。
图14A是部署本发明的实施例的示例性计算机网络。
图14B是实现本发明的实施例的示例性计算机。
具体实施方式
下面描述本发明的示例性实施例。
在本文中所引用的所有专利、公开的申请和参考资料的教导都通过引用方式将其全部内容合并于此。
已经使用计算机3D建模技术来建立3D包装的商品以用于在商店内部的交互式3D模拟中展示。特别地,已经使用3D建模来实现终端用户观看产品和/货架背景的虚拟体验,以及“拿起”产品来观看并且在线阅读产品包装文字的虚拟体验。
在为了店内展示而建立包装商品的3D模型的应用中,已经使用两种策略来建立3D模型内容和纹理图货架或包装商品。
第一策略使用已知的通用建模应用来根据照片和产品测量信息使用对3D模型的手动生成。虽然可以对用于系统地产生较大数量的3D模型的工作流进行规划和组织,但是工作单元仍然是基于对形状的手动建模和对纹理图的手动生成。
第二策略使用通用的基于照片的3D建模应用。存在各种各样的用于解决根据物理对象来生成3D模型的通常问题的商用软件和方法。现有的方法使用标准的数码相机捕获现实世界对象作为完全纹理的3D模型。
通用的产品(包装商品)的照片建模很好地工作,以产生小数量的产品模型。该技术的主要限制在于根据多张数码照片所生成的3D模型需要大量的手动劳动来校正缺陷和对几何形状进行重新缩放用于在在线3D应用中使用。现有解决方案的限制是基于处理3D模型用于在计算机应用中使用所需要的手动(专家级3D艺术家)工作的量的。由于(在复杂的、通用的3D建模应用中)必须部分地或完全地用手来生成每一个模型,所以基于该过程的任何建模工作流都是不可扩展的。
利用基于照片建模系统的3D模型所观察到的第二问题是几何网格的不规则性。不规则的网格使得下游对模型的调整大小/处理更加困难,并且将工作流锁定到将来的对模型内容的手动编辑和手动调整的循环中。
现有技术的缺点是在内容制作过程中对3D模型的下游编辑的依赖。这是个问题,因为输入数据随着新图像而不断地被更新,以及输出规格可能由于在线顾客体验应用中的新需求/改善而转变。对手动编辑的依赖将内容制作锁定到连续不断的手工编辑的循环中。
用于处理现有技术中的这些缺陷的一种策略是使用标准化的3D模型。给定相似类型的不同产品之间的广泛的相似性,则可以生成通用的3D模型来近似许多不同种类的产品的形状。可以基于现实世界产品的校准图像来对这些通用的3D模型进行缩放,以及可以将个体的纹理图应用到缩放的模型来表示该产品。
用于根据现实世界对象来生成纹理图的现有技术的设备和方法通常获得对象的多张照片,其中当将所述多张照片拼接在一起来匹配3D模型的表面时,将该对象重新放置在每一张照片之间,以生成该对象的完整的纹理图。使用两张照片的现有技术系统是最简单的,以及可以仅从两个面来对像平板的一些对象进行有效地拍摄。由于两张照片被拼接在一起的区域中的失真,所以增加容量的对象在现实世界对象和根据仅两个图像所生成的纹理映射的3D模型之间出现不一致。在双照片系统中,由照相机和对象的表面之间的浅角度(shallowangle)造成的失真是最高的。并且现实世界对象的某些形状(像立方体)具有特定的方位(例如,垂直于一个面),这阻碍了双图像系统对该对象的外围的一半的观测。当该对象具有单个主纵轴时,以及当水平横截面为圆形的或凸面的时,使用两个图像的现有技术系统具有失真的结果。这样的系统使用来自于正面的图像和来自于后面的图像。通常,3D模型上的纹理在正面图像和后面图像结合的该模型的接缝区域、左区域和右区域中是失真的。
现实世界对象的额外的照片通过使得所有表面能够被成像并且通过减小图像接缝处由于各个图像之间的重叠的增加而引起的失真来改善数字表示。其它现有技术系统采用旋转台或者具有旋转台的伸缩臂来准确地捕获目标对象的多个图像。然而,这些旋转台系统需要高精度来将目标对象放置在该台的中央,这增加了时间和那些系统的复杂度。存在针对下述的需求:根据从单个照相机拍摄的而且在没有针对将目标对象精确地放置在照相机的视野中的需求的情况下拍摄的单个图像来生成对象的纹理图的纹理映射系统。
由申请人在本文中所公开的本系统和相应的方法利用单个照相机将目标对象的多个视图捕获在单个图像中,并且生成具有与该目标对象的形状相类似的形状的3D模型的纹理图。
图1是示出了本发明的三反射镜图像捕获系统实施例的示意图。图像捕获系统100包括照相机110、反射镜120a、120b、120c和图像处理器150。图1示出了照相机110的视野111和放置在其中(在照相机110的视野111中)的三个反射镜120a、120b、120c。更具体地,将目标对象130放置在照相机的视野111中,并且将两个反射镜120a、120b放置在照相机的视野111中的目标对象130的任一侧。将第三反射镜120c放置在目标对象130之上。利用该配置,照相机110在单个图像中捕获目标对象130的正视图、顶视图和外围视图(peripheryview)。目标对象130的底面未被捕获。
反射镜120a-b在照相机的视野111中具有相关联的视场122a-b。反射镜120a-b均向照相机110反射目标对象130的外围的一部分。放置顶部反射镜120c,以向照相机110反射包括对象130的顶面的视图。
在操作中,照相机的视野111使照相机110能够一起捕获对象130的正面图像以及来自于反射镜120a和120b的对象130的两个反射图像121a-b。由顶部反射镜120c向照相机110提供第三反射图像(未示出),使得对象130的顶面在照相机的视野111中是可见的。因此,照相机110在(视野111的)单个数字图像中捕获对象130的直视图和对象130的三个反射视图。
耦合图像处理器150以从照相机110接收数字图像。所捕获的数字图像(即,视野111中的图像)是由照相机110输出的,并且由图像处理器150接收为输入。随后并且如在图3-11中详述的,图像处理器150生成对象130的纹理图。
图2是示出了具有挡板的图像捕获系统的示意图。图2示出了在照相机210的视野211中采用两个反射镜220a-b来生成包括目标对象230的正视图和反射视图225a-b的单个图像(图3B的300)的图像捕获系统200。在所示出的图像捕获系统200中,照相机210面对要被纹理化的目标对象230。可以将目标对象230放置在表面202上。可以以已知的角度将两个反射镜220a-b放置在目标对象230后面的表面202上,并且每一个反射镜220a-b向照相机210发送目标对象230的反射视图225a-b,而不干扰视野211中目标对象230的正面的直视图对于照相机210的可见。每一个反射视图225a、225b向照相机210提供目标对象230的后面的一部分和相应的面。照相机210捕获视野211中的(图3B中所示出的)图像,并且向图像处理器250提供该图像以生成对象230的纹理图。
由于反射镜220a-b反射比目标对象230的反射视图225a-b更宽的视图,所以虚线(其被示出为反射镜的视野222a-b)表示每一个反射镜220a-b的最大反射角(并且因此整个视图)。两个白色挡板240a-b简化由照相机210所成像的视野211。如果第三反射镜(未示出)被用在对象230的顶部的后上部中,则第三反射镜反射目标对象230的顶部以及后面的一部分的图像,而不干扰目标对象230的正面图像。将两个挡板240a-b放置在反射镜220a-b的视野222a-b中,以生成照相机210的视野211中的反射镜220a-b的反射视图225a-b周围的背景。挡板240a-b通过提供例如与目标对象230上所发现的任何项不相同的均匀颜色的无特征表面来改善对视野211中的反射视图225a-b的检测。转而,这使得图像处理器250能够容易地识别来自于照相机210的所捕获的图像中的目标对象230。
由于照相机210相对于反射镜220a-b的位置是固定的和已知的,所以由照相机210所捕获的图像中的每一个像素与任何一个位于从目标对象230到反射镜220a-b的已知的入射线上的点相对应(例如,在反射视图225a-b中),或者与任何一个位于目标对象230的表面上的点相对应。在反射镜220a-b的图像之间存在重叠270,使得目标对象230的一部分在两个反射视图225a-b的接合处被表示了两次。这使得目标对象230的纹理能够对相似形状的相应的3D模型进行连续地覆盖(wrap)。另外,由于反射镜220a-b仅看到目标对象230的投影,所以重叠270趋向于显示不必然存在的边缘。反射镜220a-b的两个反射视图225a-b之间的重叠区域270中的目标对象230的表面是在入射线在这两个反射镜220a-b上的交叉处的。图像处理器250可以确定重叠270,并且选择具有最佳清晰度的重叠用于纹理图。照相机220和反射镜220a-b的固定位置使得重叠区域270中的目标对象230的3D形状能够被确定。该检测到的3D形状可以被用于缩放并且应用来自于目标对象230的相应的通用的3D模型形状的仿射函数。通过使用被设置为孔径足够小以将目标对象230和反射镜220a-b的反射视图225a-b二者聚焦在视野211中的照相机镜头(未示出)来处理任何景深问题。
从目标对象230至照相机的距离不是决定性的,这是由于可以根据对象的已知测量结果(例如,对象的高度或宽度)来推断该距离。换言之,可以根据已知的测量结果来近似目标对象230相对于照相机210的位置。另外,目标对象230相对于照相机210的方位不是决定性的,这是由于图像处理器250基于相应的通用的3D模型的表面来调整所生成的纹理图。有利地是,与具有旋转台的现有技术系统需要将对象精确地放置在旋转台的中央相比,所示出的图像捕获系统200对于目标对象230的偏离中心的放置具有明显更高的容忍度。
图3A-B是根据所公开的实施例的方面的目标对象330和由三反射镜图像捕获系统所捕获的作为结果的图像300的图示。图3A示出了具有包括可视的正(F)面、右(R)面和顶(T)面以及不可视的左(L)面和后(B)面的立方体形状的目标对象330。例如,对象330表示容纳消费品的盒子或者具有六个面的相似形状的任何通用的消费包装。图3B是利用与图1和图2中所示出的系统(其具有另外的顶面反射镜)相类似的图像捕获100、200系统所拍摄的目标对象330的数字图像300。数字图像300包括均匀的背景311和对象330的正面F的直视图312。在图像300中,右镜面反射325a、左镜面反射325b和顶部的镜面反射325c存在于该对象的直视图312的周围。镜面反射325a-c的位置与照相机的视野中的反射镜的物理位置相对应。右镜面反射325a包括目标对象330的右(R)面和后面的右反射视图330a。左镜面反射325b包括目标对象330的左(L)面和后面的左反射视图330b。顶部的镜面反射325c包括目标对象330的顶部(T)和后面的顶部反射视图330c。与正视图312相比,目标对象的反射视图330a-c包括由反射镜的角度产生的透视失真和长度压缩,并且包括由至照相机的距离的增加产生的缩放效果。
图4A-B是根据所公开的实施例的方面使用图3B的示例性捕获的图像300来进行透视校正和镜像的图示。图4A示出了与图3B中所示出的所捕获的图像300相类似的数字图像400,但是其中去除了目标对象330的正面的直视图(图3B中的312)。相应的轮廓化的镜面反射325a-c中的目标对象的反射视图330a-c包括较小的梯形畸变效应,还被称为梯形失真或者透视失真。出于说明的目的,在图3B和图4A中对该效应进行了极大地夸大。在图像处理之前,图像处理器150、250删除并且去除所捕获的图像400中的背景311,只留下该目标对象的反射视图330a-c和该目标对象的直视图(未示出)。
存在于镜面反射325a-c和反射视图330a-c(或者由每一个反射镜所反射的对象的图像)中的梯形畸变效应是每一个反射镜相对于照相机的角度的结果。反射镜-照相机的角度导致如由照相机镜头所接收的该对象的失真的反射。例如,由以相对于照相机110,210一角度放置的反射镜120、220对方形对象的反射(反射图像121a-b、225a-b)呈梯形的形状。图像处理器150、250通过扩大反射图像121a-b、225a-b的短边(即,离照相机最远的镜面反射325a-c或反射视图330a-c的边缘),或者通过缩短反射图像121a-b、225a-b的长边(即,最靠近照相机的镜面反射325a-c或反射视图330a-c的边缘),来消除这样的透视失真。在图4B的示例中,图像处理器150、250对反射图像视图330a-c应用透视校正,其在工作数字图像401中产生无透视失真的图像431a-c。在消除透视失真之后,图像处理器150、250对目标对象330的无失真图像431a-c进行反转,例如,针对右侧的镜面反射426(图4B)进行从左到右的反转。因此,图像处理器150、250在工作图像401中生成目标对象330的适当的纹理和轮廓。
图5A-B是根据所公开的实施例的方面的图像处理器150、250使用反射镜的位置来对反射的图像片段进行缩放的图示。图5A示出了具有被应用了透视校正和镜像的(图4B的)工作图像401。由于相干反射镜相对于目标对象330的位置,所以镜面反射426从目标对象330后面的位置反射该对象的右面视图431a。因此,目标对象的后面在右面视图431a中是可见的。如由图5A中的镜面反射426的坐标499所示,确定镜面反射426的方向具有:(i)镜面反射426的视野平行于照相机的视野的中心线,以及(ii)X-Y平面垂直于照相机的视野的中心线。可选地,给定已知的镜面反射426相对于X、Y和Z轴的位置,则对反射镜位置的调整可以近似形成目标对象的反射视图431a的Y-Z平面中的目标对象表面的校正形状。可以使用已知的反射镜的位置将类似的校正应用于目标对象的所有反射视图431a-c。对于工作图像401,反射镜位置校正是适当的,这是由于,例如已知目标对象的右面是近似平行于Y-Z平面599的。
图5B示出了与图5A的工作图像401相对应的数字图像501,但是使反射镜位置调整校正应用于目标对象的顶部反射视图、右反射视图和左反射视图532a-c。虽然该校正尚未正确地对每一个反射视图532a-c中的目标对象的后面的反射视图进行变形,但是目标对象的右面、顶面和左面的反射视图532a-c现在近似地具有正确的形状。另外,由于图像处理器150、250可以精确地确定任何重叠区域的表面(例如,目标对象的后表面)的3D空间位置,所以可以在稍后的处理阶段处对那些区域中的任何失真进行校正。
图6A-B是根据所公开的实施例的方面的图像处理器150、250按照对象尺寸对图像进行缩放的图示。图6A示出了图5B的具有反射镜位置校正的反射视图532a-c的数字图像501,并且还包含来自于图3B的直接正视图312。由于光线从反射面到照相机传播更远的距离,所以反射视图532a-c按照比直接正视图312更小的方式存在于数字图像501中。
图6B示出了相应的数字图像601,其表示图像处理器150、250基于对(图6A的)反射视图532a-c和相邻的正视图312的边缘检测来进行缩放的操作。使用三个相邻的检测到的边缘662a-c,按照直接正视图312上的相邻边缘的尺寸对反射视图从532a-c到632a-c进行缩放。当在直接正视图312和相邻的反射视图532a-c之间没有检测到重叠区域时,该操作是适当的。在没有重叠区域存在的情况下,目标对象正确地包含边缘对662a-c,或者以其它方式在结果的反射视图632a-c和直接正视图312之间存在间隙。然而,可以通过比较边缘对662a-c的相似性来确定间隙的存在,即,如果边缘对662a的构件是相似的并且可以被对准,则它们表示目标对象上的真实边缘的可能性较高,如所示出的,反射视图632a-c是按照直接正视图312中的相邻边缘662a的尺寸来适当地缩放的。
图7A-7B示出了根据所公开的实施例的方面的图像处理器150、250对工作图像501、601中的反射视图进行缩放和对准。图7A示出了在由图像处理器150、250进行重叠检测处理情况下的图6B的数字图像601。图像处理器150、250检测(图6B的)边缘对662a-c作为图7A的共同区域线760a-c。共同区域线是图像片段(其可能仅一个像素的厚度),其似乎表示两个或更多个图像片段(还被称为目标对象的反射视图632a-c和直视图312)中的目标对象的相同部分,尽管它们可能具有不同的缩放或者失真。相应地,给定已知的顶部反射视图632c的位置,则图像处理器150、250检测垂直的共同区域线760d-e。右反射视图632a和左反射视图632b包含目标对象770a-b的后面的反射视图,并且如下面在图8A和图8B中所进一步解释的,在这些区域中,图像处理器150、250检测相应的共同区域对761a-b。所检测到的共同区域761a-b的存在将周围的图像片段/反射视图632a-b标记为可能需要修剪的可能的重叠区域。
图7B示出了数字图像701,在数字图像701中,图像处理器150、250使用重叠边缘760a-c来将(来自于工作图像601的反射视图632a-c的)目标对象的反射视图733a-c与直接正视图312对准。图像处理器150、250沿着反射视图733a-c和直接正视图312的共同的边缘760a-c将它们拼接在一起,以生成单个工作图像701。结果的工作图像701表示在该数字图像中可见的目标对象的整体,但是包含共同区域761a-b,共同区域761a-b均反映从两个或更多个视角所看到的目标对象的同一区域的视图。
图8A是根据所公开的实施例的方面的目标对象上的共同区域的两个反射的图示。重叠消除是由所公开的图像处理技术自动地处理的。照相机(图1中的110)以及该照相机的传感器相对于反射镜(图1中的120a-b)的位置是固定的并且是已知的,包括每一个反射镜相对于照相机的偏航角与倾斜度。照相机的位置以及反射镜的位置和方位是独立于目标对象来设置的。对于给定的反射镜,照相机110的(图1中的)视野111内的任何点与位于从(图1的)对象130到反射镜的(图1中的)入射线122a-b上的点相对应。由于照相机110和反射镜120a-b的固定的位置,所以该射线的位置和方位是已知的。如果从照相机到反射镜的(图1中的)反射线121a-b是使用相关联的反射镜来反射的,则入射线122a-b完全由照相机相对于相关联的反射镜的位置和方位来限定。从(图1的)照相机110的CCD上的像素开始透过镜头的射线将碰到相关联的反射镜120a-b,该相关联的反射镜120a-b将反射单个唯一限定的入射线。这对于来自于照相机的视野中的每一个特定的反射镜的反射图像(121a-b)的每一个像素来说是成立的。
任何两个反射镜220a-b之间的可能的重叠区域270(在图2中)是固定的,并且可以由照相机和反射镜的位置的几何约束来确定。当(图2的)两个反射镜的反射视图225a-b在对象的覆盖面中重叠时,与重叠270中的对象的表面相对应的图像点是入射线在两个反射镜上的交叉点。可能发生以下两种情况。
在图8A中示出的第一种交叉情况下,两个反射镜820a-b具有反射827a-b,每一个反射包含对象830的表面上的共同区域861a-b的反射视图832a-b。换言之,反射镜820a-b的反射在对照相机(未示出)可视的目标对象830的表面上至少交叉一个点。该交叉点的3D空间中的位置可由几何约束来确定,其中如上面解释的,第二反射镜820b反射与第一反射镜820a相同的点的一部分。
以及在第二种交叉情况下,两个或更多个反射镜不反射该对象的表面上的任何共同点。例如,如果反射镜中的一个反射镜被该对象的微小凸出物所遮挡,该对象的微小凸出物阻止了该反射镜观看到被其它反射镜所观看到的相同点。反射镜的视图的射线可能交叉,但是不在该对象的表面上。
因此,两个或更多个反射镜之间的重叠区域具有两种可能类型的区域。第一区域类型(共同区域861a-b)是由第一种交叉情况产生的。第一区域类型是两个反射镜820a-b从照相机的视角反射来自于目标对象830的表面的相同的点或者共同区域861a-b。共同区域861a-b是完全由目标对象830的表面上满足如上面解释的第一种交叉情况的点来生成的。目标对象830的3D形状和共同区域861a-b的3D形状是可精确地确定的。共同区域861a-b对于对该对象的相应的3D模型的通用的形状进行缩放并且应用仿射函数可能是有用的。另外,目标对象830的重叠区域870a-b的反射视图832a-b中的仅一个反射视图可以被选择用于纹理图。通常,图像处理器150、250选择两个表示中的较大者,这是由于共同区域861a-b中的较大的图像表示可视对象表面的较高分辨率的视图。在一些情况下,如稍后在图9A中所示出的,共同区域861a-b的部分是基于分辨率从两个反射视图832a-b中选择的。
当反射镜A820a的视野821a的部分包含与在反射镜B820b的视野821b中所观看到的区域相同的区域的相应的部分不相同的视图时,生成第二区域类型(重叠区域870a-b)。该情形可能起因于例如存在于对象表面上的反射、遮挡、两个反射镜820a-b之间的角度差异、或者阻止对象表面区域被检测为与从不同的反射镜位置所观看到的表面相同的表面的其它情形。通常,重叠区域870a-b是由两个反射镜820a-b反射的目标对象830的区域,但是具有未被检测为共同区域861a-b的区域。图像处理器150、250可以保留仅来自于两个反射镜820a-b中的一个反射镜的重叠区域870a-b用于纹理图。如下面解释的,图像处理器150、250可以基于重叠区域870a-b相对于反射镜的交叉点的位置,或者可以改善产生的纹理图的质量(例如,消除由于光照而造成的反射或者高亮)的其它参数来做出该选择。
图8B是两个反射镜以及它们的交叉线的图。图8B示出了两个镜像投影890a-b相交并且在它们的投影890a-b的交叉处定义反射镜交叉线891。在该示例中,例如根据反射镜在照相机的视野(未示出)中的方位,将镜像投影890a-b和它们的交叉线891表示为2D投影。虽然两个镜像投影890a-b可能以三维的方式相交,但是它们的交叉的任何2D切片相对于固定平面(例如,照相机的视野)的方位是不变的。可以使用反射镜的交叉线891在照相机的视野中的方位来修剪来自于目标对象830的多个反射视图832a-b的(图8A的)重叠区域870a-b,以便减小如在图8C和8D中示出的后续的图像处理的复杂度。
通常,在图8C和图8D中分别示出了重叠消除、合并和拼接的两个示例性实施例。图8C示出了具有重叠区域870a-b和共同区域861a-b二者的目标对象830的两个镜面反射(图像)827a-b。将两条修剪线V1、V2放置在共同区域861a-b的对侧上,并且相对于反射镜交叉线(未示出)来定向。图像处理器150、250可以删除或者保留(示出为渐淡线(fadedline)的)反射视图832a-b中的修剪线V1、V2之外的图像数据,用于集成到纹理图中以减小后续图像处理的复杂度。对于修剪线V1、V2之间的图像数据,图像处理器150、250依据共同区域861a-b的可确定的3D参数将它们整形成两个相等大小的区域,并且随后基于它们的图像质量、分辨率或者其它参数来合并所调整尺寸的区域。按照定义的重叠区域870a-b缺乏使它们的3D参数被确定的能力,但是仍然可以被图8D中所示出的第三修剪线V3选择性地修剪。图像处理器150、250基于重叠区域870a-b的图像质量或者其它参数(诸如例如,反射的存在性)来选择性地修剪重叠区域870a-b。
图8D示出了具有重叠区域870a-b和共同区域861a-b的目标对象830的两个反射图像827a-b。可以平分共同区域861a-b的放置单个修剪线V3。使用共同区域861a-b的可确定的3D参数,图像处理器150、250可以将修剪线V3放置在两个反射图像827a-b中的相同位置。图像处理器150、250删除修剪线V3之外的图像数据以避免重复,并且修剪线V3的放置可以是基于例如共同区域861a-b或重叠区域870a-b的分辨率或图像质量或者其它参数的。
更复杂的目标对象表面的反射可能具有包含多于共同区域861a-b的重叠区域,并且因此对于(图8C的)重叠区域870a-b独自地存在于剪切线V1、V2之间是可能的,在剪切线V1、V2之间不完全包含共同区域861a-b。可以使用如图8D中所示出的单条修剪线V3来确定纹理图中来自于重叠区域870a-b的保留数据。
图9A-9C示出了根据所公开的实施例的方面进行重叠消除以生成接合的表面。图9A示出了具有两条修剪线V1、V2的图7B中检测到的共同区域761a-b,其中确定这两条修剪线V1、V2的方向平行于反射共同区域761a-b的反射镜的交叉线。将修剪线V1、V2放置在共同区域761a-b的对侧上,并且修剪线V1、V2表示周围的图像数据已经被去除以便处理共同区域761a-b。如图7B中所示,由于目标对象的立方体形状,所以重叠区域770a-b完全由共同区域761a-b组成。继续使用图9A,如所示出的,修剪线V1、V2之外的图像数据可以由图像处理器150、250去除,以减小合并共同区域761a-b的复杂度。在共同区域761a-b中,相对更高分辨率的区域962a-b可以被检测并标记用于保留。如图9B中所示,已知的照相机和反射镜的位置使得图像处理器150、250能够确定共同区域761a-b的三维表面,并且将共同区域761a-b转换成关于任何轴的近似正确的几何投影。
图9B示出了图9A的共同区域761a-b的校正的共同区域971a-b。所校正的共同区域971a-b是根据图9A的共同区域761a-b(在图3A-3B中示出为目标对象330的后面)的确定的尺寸和形状来校正的。因此,如上面解释的,校正的更高分辨率的片段963a-b被图像处理器150、250保留在校正的共同区域971a-b中并且被接合在一起,以形成图9C中的完整的共同区域。图9C示出了被拼接在一起以形成合成的图像部分934的校正的共同区域(图9B的971a-b)。产生的合成的图像部分934表示在原始数字图像的左反射和右反射(在图3B中被示出为数字图像300和反射325a-b)中可见的目标对象830的后面的部分。
图10A是根据所公开的实施例的方面具有图7B的缩放的和对准的片段以及图9C的合并的共同表面的图像的图示。图10A示出了具有与直接正面反射312合并的校正的和对准的右反射、顶部反射和左反射733a,并且包含来自于图9C的合成的重叠区域934的数字图像1000。假定已知目标对象的形状(例如,立方体(如在图3A中被示出为330))和相应的3D模型的形状,则将数字图像1000的图像片段组装成表示相应的3-D模型的表面的纹理图。图10B是根据图10A的工作图像1000所生成的并且具有表示目标对象(图3A中的330)的立方体的五个面的纹理图1001的图示。
图11A示出了圆柱体对象1130,如上面所概述的,将本发明的方法应用于圆柱体对象1130以生成相应的3D模型的相应的纹理图1101。图11B是由对图11A的圆柱体对象1130进行成像的本发明的实施例所产生的纹理图1101的图示。给定三反射镜系统实施例(如图1中所示),根据直接正视图1111、处理的左反射视图、右反射视图和顶部反射视图1125a-c以及四个重叠区域1170a-d来生成纹理图1101。第一重叠区域1170a在直接正视图1111和右反射视图1125a之间,第二重叠区域1170b在直接正视图1111和左反射视图1125b之间。第三重叠区域1170c表示右视图1125a和左视图1125b之间的重叠的一部分,在该区域中,来自于右视图1125a的图像片段被保留。第四重叠区域1170d表示右视图1125a和左视图1125b各自之间的重叠区域的剩余的一半,在该区域中,左视图1125b被保留。
图12A是根据所公开的实施例的方面由三反射镜系统对运动对象进行的多个图像捕获中的一个图像捕获。当应用于动画绘制的对象或者人物时,在给定足够的计算资源的情况下,可以实时地使用上面的方法,并且产生的模型被发送至远程位置。只要对象或者多个对象是空间连续的,则该方法将支持动画绘制的对象。如果它们是非连续的(例如,从图像跳到另一个位置中的图像),则需要对每一个对象的本质进行更为复杂地确定。例如,如果校准的对象的纹理图(还被称为图集)是不同的,则可能存在一种用于识别哪个是哪个的方法。相反,如果对象的图集是相同的,则区分哪个是哪个可能是不可行的。在人物的情况下,可以选择人物的相应的3D模型。如果该相应的3D模型不具有适当的形状(例如,太短或者太宽),则该3D模型可以被缩放到由照相机所捕获的图像。接下来,进行校准以尽可能多地(理想上全部的)暴露真实对象的纹理。随后,3D模型可以通过使现实世界对象按照已知的运动方式移动,并且捕获结果的数字图像,并且将它们与预定的运动相关联来被校准到运动的现实世界对象。在对3D模型的校准和缩放完成之后,可以观测真实对象的新运动,以动画绘制3D模型。
图12A示出了立方体目标对象(图3A的立方体目标对象330)的数字图像1200。在目标对象的纹理图(图10B的1001)已经被生成并且与相应的3D模型(未示出)相关联之后,本发明的实施例通过在照相机的视野中捕获运动目标对象的多个数字图像1200来动画绘制相应的3D模型。在每一个数字图像1200中,基于照相机的位置,已知的坐标集存在于正视图1212中和反射1225a-c中的每一个反射中。对多个所捕获的数字图像1200中的两个或更多个所捕获的数字图像进行分析,以确定用于目标对象的直视图1212和用于反射视图1230a-c中的每一个反射视图的平移矢量和旋转矢量。例如,在直接正视图1212中,沿Y和X方向的平移被确定,以及沿Z轴的旋转被确定。
图12B是根据图12A的运动对象的多个图像捕获中的至少两个图像捕获所生成的纹理图1201和相关联的矢量1290、1291、1293。图12B示出了与图12A的每一个工作数字图像1200相对应的纹理图1201。对于数字图像的每一个图像片段(F、R、T、L、后面),使用被本领域技术人员所公知的矢量数学运算来计算相应的平移和旋转矢量1290、1291、1293。图12C示出了图12A的运动对象的3D模型1231和相关联的平移和旋转矢量1294。根据对目标对象拍摄的给定的图像序列1200,可以将相应的平移和旋转矢量1290、1291、1293应用于相应的纹理图,并且因此在平移和旋转轴1294的三个轴中动画绘制如在图12C中所示的相应的3D模型。
图13A-13B是根据所公开的实施例的方面根据图像来生成纹理图的方法的流程图。图13A是根据单个视图的图像来生成3D纹理图的示例性方法的流程图1300。在步骤1310中,视野的图像是由照相机捕获的。视野具有目标对象的直视图和来自于反射面的目标对象的反射视图。接下来,在步骤1320处,在所捕获的图像中,将目标对象的反射视图与目标对象的直视图分离。接下来,在步骤1330处,反射视图是通过去除失真来校正的。接下来,在步骤1340处,可选地检测并且去除所捕获的图像中的视图中的任何视图之间的重叠。在步骤1350处,目标对象的3D模型表示的纹理图是通过合并直视图和校正的反射视图来生成的。最后,在步骤1360处,纹理图被投影在目标对象的3D模型表示上。
图13B是步骤1340的示例性方法的流程图1301,其包括:当所捕获的图像包括至少两个反射视图时,检测并且去除步骤1310的所捕获的图像中的视图中的任何视图之间的重叠。在步骤1341中,检测直视图、第一反射视图和第二反射视图中的任何视图之间的重叠,并且识别存在于视图中的任何视图中的任何共同区域。接下来,在步骤1342中,从它们的相应的视图中分离或者去除所检测到的共同区域。接下来,在步骤1343中,使用已知的第一反射面和第二反射面的位置来计算任何共同区域的3D空间中的(或者目标对象上的)尺寸和形状。接下来,在步骤1344中,通过步骤1343的计算结果来校正分离的共同区域的尺寸和形状,以表示存在于共同区域中的目标对象的表面的一部分。接下来,在步骤1345中,确定每一个检测到的共同区域的图像质量,并且依照它们的图像质量的函数将共同区域合并成单个合并的区域。最后,在步骤1346中,所合并的共同区域被用在步骤1350中来生成与共同区域相对应的目标对象的区域的纹理图。
图14A示出了可以在其中部署本发明的实施例的计算机网络或者类似的数字处理环境。客户端计算机/设备1450和服务器计算机1460提供用于执行应用程序等的处理、存储和输入/输出设备。客户端计算机/设备1450还可以通过通信网络1470链接到包括其它客户端设备/处理1460和服务器计算机1450的其它计算设备。通信网络1470可以是远程接入网、全球网(例如,互联网)、世界范围的计算机集合、局域网或者广域网以及网关的一部分,其中网关当前使用各自的协议(TCP/IP、蓝牙等)来彼此通信。其它电子设备/计算机网络架构也是适合的。
图14B是可以在其中实现本发明的各个实施例(例如,图13A-B的示例性方法/计算机例程1300、1301以及图1-2的示例性图像处理装置150、250)的计算机(例如,图14A的客户端处理器/设备1450或者服务器计算机1460)的内部结构的框图。每一个计算机1450、1460包含系统总线1479,其中总线是用于在计算机或处理系统的部件之间进行数据传送的一组硬件线。总线1479在本质上是连接计算机系统的不同元件(例如,处理器、磁盘存储、存储器、输入/输出端口、网络端口等)、实现元件之间的信息传送的共享导线管。被连接到系统总线1479的是用于将各种输入和输出设备(例如,键盘、鼠标、显示器、打印机、扬声器等)连接到计算机1450、1460的I/O设备接口1482。网络接口1486使计算机能够连接到被附到网络(例如,图14A的网络1470)的各种其它设备。存储器1490为用于实现上面所详述的方法/例程1300、1301和图像系统处理器150、250的计算机软件指令1492和数据1494提供易失性存储。磁盘存储1495为用于实现本发明的实施例的计算机软件指令1492和数据1494提供非易失性存储。中央处理器单元1484也被附到系统总线1479,并且提供对计算机指令的执行。
在一个实施例中,处理器例程1492和数据1494是计算机程序产品(通常被引用为1492),其包括为本发明的系统提供软件指令的至少一部分的计算机可读介质(例如,诸如一个或多个DVD-ROM的、CD-ROM的、磁盘、磁带等的可移动存储介质)。可以通过如在本领域中所公知的任何适当的软件安装过程来安装计算机程序产品1492。在另一个实施例中,还可以通过电缆、通信和/或无线连接来下载软件指令中的至少一部分。在其它实施例中,本发明的程序是被体现在传播介质(例如,无线电波、红外波、激光波、声波或者在诸如互联网的全球网或者其它网络上传播的电波)上的所传播的信号上的计算机程序传播的信号产品1471。这样的载波介质或者信号为本发明的例程/程序1492提供软件指令的至少一部分。
在替代实施例中,所传播的信号是传播介质上携带的模拟载波波形或数字信号。例如,所传播的信号可以是在全球网(例如,互联网)、电信网或者其它网络上传播的数字化信号。在一个实施例中,所传播的信号是在一段时间内在传播介质上发送的信号,例如,针对在毫秒、秒、分钟或更长的一段时间内在网络上的分组中发送的软件应用的指令。在另一个实施例中,如上面针对计算机程序传播的信号产品所描述的,计算机程序产品1492的计算机可读介质是计算机系统1460可以例如通过接收传播介质并且识别被体现在传播介质中的传播的信号来接收并且读取的传播介质。
一般而言,术语“载波介质”或者瞬时载波包含前述的瞬时信号、传播的信号、传播的介质、存储介质等。
此外,本发明可以用各种各样的计算机架构来实现。图14A和图14B的计算机是出于说明的目的的,而不是对本发明的限制。
应当理解的是,框图和流程图可以包括更多个或更少个元件、可以以不同的方式安排、或者可以以不同的方式来表示。应当理解的是,实现方式可以指示用于说明对本发明的实施例的执行的框图/流程图/网络图,以及框图/流程图/网络图的数目。
应当理解的是,上面所描述的框图和流程图的要素可以用软件、硬件或者固件来实现。此外,在软件、硬件或者固件中,可以以任何方式对上面所描述的框图/流程图/网络图中的要素进行组合或者分割。如果用软件来实现,则可以用能够支持本文所公开的实施例的任何语言来编写软件。可以将软件存储在任何形式的计算机可读介质上,例如,随机存取存储器(RAM)、只读存储器(ROM)、压缩磁盘只读存储器(CD-ROM)等。在操作中,通用或者专用处理器以本领域中很好理解的方式来加载并且执行软件。
虽然已经参考本发明的示例性实施例具体地示出并且描述了本发明,但是本领域技术人员将理解的是,在不脱离由所附的权利要求书所覆盖的本发明的范围的情况下,可以在其中对形式和细节做出各种改变。
Claims (22)
1.一种方法,包括:
捕获视野的图像,所述视野具有目标对象的直视图和来自于至少一个反射面的所述目标对象的至少一个反射视图,所捕获的图像具有所述目标对象的所述直视图的直接图像和所述至少一个反射视图的至少一个反射图像;
将所捕获的图像中的所述至少一个反射图像与所述直接图像分离;
减小所分离的反射图像中的失真以提供至少一个失真减小的反射图像;
根据所述直接图像和所述至少一个失真减小的反射图像来生成纹理图;以及
将所生成的纹理图投影到所述目标对象的3D模型表示上。
2.根据权利要求1所述的方法,其中,所述至少一个反射面包括第一反射面和第二反射面,所述至少一个反射视图包括来自于所述第一反射面的所述目标对象的第一反射视图和来自于所述第二反射面的所述目标对象的第二反射视图,以及所述至少一个反射图像包括来自于所述第一反射视图的第一反射图像和来自于所述第二反射视图的第二反射图像。
3.根据权利要求2所述的方法,其中,所述目标对象的所述第一反射视图和所述第二反射视图以及所述直视图观测所述目标对象的周围的至少一部分。
4.根据权利要求1所述的方法,其中,所述至少一个反射面包括第一反射面、第二反射面和第三反射面,所述至少一个反射视图包括来自于所述第一反射面的所述目标对象的第一反射视图、来自于所述第二反射面的所述目标对象的第二反射视图和来自于所述第三反射面的所述目标对象的第三反射视图,以及所述至少一个反射图像包括所述第一反射视图、第二反射视图和第三反射视图各自的第一反射图像、第二反射图像和第三反射图像。
5.根据权利要求4所述的方法,其中,所述第一反射视图和所述第二反射视图以及所述直视图观测所述目标对象的周围的至少一部分,所述第三反射视图观测所述目标对象的顶面或者底面。
6.根据权利要求2所述的方法,还包括:
检测下列各项中的至少两项之间的重叠:所述目标对象的所述直接图像、所述第一反射图像和所述第二反射图像;以及
从所述至少一个图像中去除所检测到的重叠。
7.根据权利要求6所述的方法,其中,检测重叠还包括:
检测具有所检测到的重叠的所述图像中的至少两个图像中的每一个图像中的共同区域;
从具有所检测到的重叠的所述图像中的所述至少两个图像中的每一个图像中去除所述共同区域;
使用已知的所述第一反射面的位置和所述第二反射面的位置来计算所述共同区域的尺寸和形状;
校正所述共同区域以表示所计算的所述目标对象的所述表面的一部分;
确定每一个校正的共同区域的图像质量,并且使用所确定的图像质量将所校正的共同区域合并成合并的区域;以及
在生成所述至少一个纹理图的过程中使用所接合的区域。
8.根据权利要求1所述的方法,其中,将所捕获的图像中的目标对象的所述至少一个反射图像与所述直接图像分离包括:
检测所捕获的图像中的失真区域;以及
将所检测到的区域标记为所述目标对象的所述至少一个反射图像。
9.根据权利要求1所述的方法,其中,减小所述至少一个反射图像中的失真包括下列各项中的至少一项:按照所述目标对象的尺寸对所述至少一个反射图像进行缩放,校正所述至少一个反射图像中的透视失真,以及基于所述至少一个反射面的位置和所述目标对象的形状来对所述至少一个反射图像进行整形。
10.根据权利要求1所述的方法,还包括:
随着所述目标对象从第一位置移动到第二位置,捕获视野的具有目标对象的多个捕获的图像;以及
根据所述多个图像来生成多个纹理图。
11.根据权利要求10所述的方法,还包括:
检测所述目标对象的运动;
使所检测到的所述目标对象的运动与所述3D模型相关以生成所述3D模型的相应的运动;以及
基于所述3D模型的所述相应的运动来从相应的第一位置到相应的第二位置动画绘制所述3D模型。
12.一种用于利用单个图像来生成用于由目标对象产生的3D模型的纹理图的系统,所述系统包括:
照相机,其具有视野,所述照相机捕获所述视野的图像,所捕获的图像包括目标对象的直接图像;
一个或多个反射面,其在所述照相机的所述视野中,所述一个或多个反射面被放置以向所述照相机反射所述目标对象的一个或多个反射视图,所捕获的图像还包括所述一个或多个反射视图的一个或多个反射图像;以及
图像处理设备,其用于接收所捕获的图像,将所述一个或多个反射图像与所述直接图像分离,减小所述一个或多个反射图像中的失真,以及基于直接图像和所述一个或多个分离的反射图像来生成纹理图。
13.根据权利要求12所述的系统,其中,所述一个或多个反射面包括第一反射面和第二反射面,以及所述目标对象的所述一个或多个反射图像包括第一反射图像和第二反射图像。
14.根据权利要求13所述的系统,其中,所述目标对象的所述第一反射图像和所述第二反射图像以及所述直接图像对所述目标对象的实质上所有的周围进行成像。
15.根据权利要求13所述的系统,其中,所述视野还包括第三反射面,以及所述一个或多个反射视图包括所述目标对象的第三反射图像。
16.根据权利要求15所述的系统,其中,所述第一反射图像和所述第二反射图像以及所述直接图像观测所述目标对象的实质上所有的周围,以及所述第三反射图像观测所述目标对象的顶面或者底面。
17.根据权利要求13所述的系统,还包括:所述图像处理设备检测下列各项中的至少两项之间的重叠:所述目标对象的所述直接图像、所述第一反射图像和所述第二反射图像,以及从所捕获的图像中去除所检测到的重叠。
18.根据权利要求17所述的系统,其中,所述图像处理设备检测重叠还包括所述图像处理设备:
检测具有所检测到的重叠的所述图像中的至少两个图像中的每一个图像中的共同区域;
从具有所检测到的重叠的所述图像中的所述至少两个图像中的每一个图像中去除所述共同区域;
使用给定的所述第一反射面的位置和所述第二反射面的位置来计算所述共同区域的尺寸和形状;
校正所述共同区域以表示所计算的所述目标对象的所述表面的一部分;
确定每一个校正的共同区域的图像质量,以及使用所确定的图像质量来将所校正的共同区域合并成合并的区域;以及
在生成所述至少一个纹理图的过程中使用所接合的区域。
19.根据权利要求12所述的系统,其中,所述图像处理设备将所捕获的图像中的所述一个或多个反射视图与所述目标对象分离包括:
检测所捕获的图像中的一个或多个梯形失真区域;以及
将检测到的区域标记为所述至少一个反射视图。
20.根据权利要求12所述的系统,其中,所述图像处理设备减小所述一个或多个反射视图中的失真包括:对所述至少一个或多个反射视图进行缩放以与所述目标对象的尺寸相对应。
21.根据权利要求12所述的系统,其中,随着所述目标对象从第一位置移动到第二位置,所述照相机捕获所述视野的多个图像,所述图像处理设备接收所述多个捕获的图像并且生成多个纹理图。
22.根据权利要求21所述的系统,其中,所述图像处理设备检测所述目标对象的运动,使所检测到的所述目标对象的运动与所述3D模型相关以生成所述3D模型的相应的运动,以及基于所述3D模型的所述相应的运动来从相应的第一位置到相应的第二位置动画绘制所述3D模型。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/532683 | 2014-11-04 | ||
US14/532,683 US20160125638A1 (en) | 2014-11-04 | 2014-11-04 | Automated Texturing Mapping and Animation from Images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105574921A true CN105574921A (zh) | 2016-05-11 |
CN105574921B CN105574921B (zh) | 2021-06-08 |
Family
ID=54477855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510736352.8A Active CN105574921B (zh) | 2014-11-04 | 2015-11-03 | 根据图像的自动化纹理映射和动画绘制 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160125638A1 (zh) |
EP (1) | EP3018632B1 (zh) |
JP (1) | JP6704238B2 (zh) |
KR (1) | KR20160052441A (zh) |
CN (1) | CN105574921B (zh) |
CA (1) | CA2910649A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110473294A (zh) * | 2018-05-11 | 2019-11-19 | 杭州海康威视数字技术股份有限公司 | 一种基于三维模型的纹理映射方法、装置及设备 |
CN111028338A (zh) * | 2019-12-06 | 2020-04-17 | 珠海金山网络游戏科技有限公司 | 一种基于Unity3D的图像绘制方法及装置 |
CN111667526A (zh) * | 2019-03-07 | 2020-09-15 | 西门子医疗有限公司 | 用于确定环境中的多个对象的尺寸和距离的方法和设备 |
CN113055609A (zh) * | 2019-12-26 | 2021-06-29 | Tcl科技集团股份有限公司 | 一种在三维动画环境下自动生成动画电影的装置及方法 |
CN113112407A (zh) * | 2021-06-11 | 2021-07-13 | 上海英立视电子有限公司 | 基于电视的照镜视野生成方法、系统、设备及介质 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9098931B2 (en) | 2010-08-11 | 2015-08-04 | Apple Inc. | Scanning projectors and image capture modules for 3D mapping |
US9651417B2 (en) | 2012-02-15 | 2017-05-16 | Apple Inc. | Scanning depth engine |
US9525863B2 (en) * | 2015-04-29 | 2016-12-20 | Apple Inc. | Time-of-flight depth mapping with flexible scan pattern |
US10070080B2 (en) * | 2015-05-18 | 2018-09-04 | The Boeing Company | Multi-directional, multi-spectral star tracker with a common aperture and common camera |
US10447999B2 (en) * | 2015-10-20 | 2019-10-15 | Hewlett-Packard Development Company, L.P. | Alignment of images of a three-dimensional object |
US9727957B2 (en) * | 2015-12-18 | 2017-08-08 | Ebay Inc. | Source image providing multiple item views |
RU2736008C1 (ru) * | 2017-07-13 | 2020-11-11 | Девар Энтертеймент Лимитед | Способ формирования среды дополненной реальности |
CN111192223B (zh) * | 2020-01-07 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 人脸纹理图像的处理方法、装置、设备及存储介质 |
KR102366695B1 (ko) * | 2020-06-25 | 2022-02-22 | 동서대학교 산학협력단 | Center Pivot 지정을 통한 Mirror Pose 생성기법 |
EP4124014A1 (en) * | 2021-07-20 | 2023-01-25 | Spiideo AB | Devices and methods for wide field of view image capture |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101046890A (zh) * | 2006-03-30 | 2007-10-03 | 西门子公司 | 用于扩展表示三维图像数据组的图像处理装置 |
US20080074648A1 (en) * | 2006-09-06 | 2008-03-27 | 3D-Shape Gmbh | Method and Apparatus for Three-Dimensional Measurement of Objects in an Extended angular range |
CN102077243A (zh) * | 2008-07-30 | 2011-05-25 | 松下电器产业株式会社 | 3d纹理的超分辨率的图像生成设备及方法 |
CN102132091A (zh) * | 2007-09-21 | 2011-07-20 | 皇家飞利浦电子股份有限公司 | 借助投影仪以3d对象的更改的2d图像来照明该3d对象的方法,以及适合于执行该方法的投影仪 |
US20130113922A1 (en) * | 2011-11-09 | 2013-05-09 | Szu-Hsuan WANG | Plant image capture device and image capture method thereof |
CN103258344A (zh) * | 2013-04-10 | 2013-08-21 | 山东华戎信息产业有限公司 | 一种植物三维重建中纹理的自动提取方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100419890B1 (ko) * | 2003-03-08 | 2004-02-26 | 박배억 | 가상 현실 구현을 위한 실사 이미지 촬영용 광학 튜브 조립체 및 이를 이용한 실사 이미지 합성 방법 |
AU2006217569A1 (en) * | 2005-02-23 | 2006-08-31 | Craig Summers | Automatic scene modeling for the 3D camera and 3D video |
US20070139408A1 (en) * | 2005-12-19 | 2007-06-21 | Nokia Corporation | Reflective image objects |
US20080298674A1 (en) * | 2007-05-29 | 2008-12-04 | Image Masters Inc. | Stereoscopic Panoramic imaging system |
US8933884B2 (en) * | 2010-01-15 | 2015-01-13 | Microsoft Corporation | Tracking groups of users in motion capture system |
US8570343B2 (en) | 2010-04-20 | 2013-10-29 | Dassault Systemes | Automatic generation of 3D models from packaged goods product images |
US8963927B2 (en) * | 2010-12-15 | 2015-02-24 | Microsoft Technology Licensing, Llc | Vertex-baked three-dimensional animation augmentation |
US9100587B2 (en) * | 2011-07-22 | 2015-08-04 | Naturalpoint, Inc. | Hosted camera remote control |
US20150228106A1 (en) * | 2014-02-13 | 2015-08-13 | Vixs Systems Inc. | Low latency video texture mapping via tight integration of codec engine with 3d graphics engine |
US20150278155A1 (en) * | 2014-03-27 | 2015-10-01 | Knockout Concepts, Llc | Identifying objects using a 3d scanning device, images, and 3d models |
-
2014
- 2014-11-04 US US14/532,683 patent/US20160125638A1/en not_active Abandoned
-
2015
- 2015-10-28 JP JP2015212133A patent/JP6704238B2/ja active Active
- 2015-10-29 CA CA2910649A patent/CA2910649A1/en not_active Abandoned
- 2015-10-31 EP EP15192477.6A patent/EP3018632B1/en active Active
- 2015-11-03 KR KR1020150153959A patent/KR20160052441A/ko unknown
- 2015-11-03 CN CN201510736352.8A patent/CN105574921B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101046890A (zh) * | 2006-03-30 | 2007-10-03 | 西门子公司 | 用于扩展表示三维图像数据组的图像处理装置 |
US20080074648A1 (en) * | 2006-09-06 | 2008-03-27 | 3D-Shape Gmbh | Method and Apparatus for Three-Dimensional Measurement of Objects in an Extended angular range |
CN102132091A (zh) * | 2007-09-21 | 2011-07-20 | 皇家飞利浦电子股份有限公司 | 借助投影仪以3d对象的更改的2d图像来照明该3d对象的方法,以及适合于执行该方法的投影仪 |
CN102077243A (zh) * | 2008-07-30 | 2011-05-25 | 松下电器产业株式会社 | 3d纹理的超分辨率的图像生成设备及方法 |
US20130113922A1 (en) * | 2011-11-09 | 2013-05-09 | Szu-Hsuan WANG | Plant image capture device and image capture method thereof |
CN103258344A (zh) * | 2013-04-10 | 2013-08-21 | 山东华戎信息产业有限公司 | 一种植物三维重建中纹理的自动提取方法 |
Non-Patent Citations (2)
Title |
---|
HENDRIK P. A. LENSCH等: "Automated Texture Registration and Stitching for Real World Models", 《COMPUTER GRAPHICS FIC CONFERENCE ON HONGKONG》 * |
SUJIT KUTHIRUMMAL等: "Multiview Radial Catadioptric Imaging for Scene Capture", 《ACM TRANSACTIONS ON GRAPHICS ACM USA》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110473294A (zh) * | 2018-05-11 | 2019-11-19 | 杭州海康威视数字技术股份有限公司 | 一种基于三维模型的纹理映射方法、装置及设备 |
CN110473294B (zh) * | 2018-05-11 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 一种基于三维模型的纹理映射方法、装置及设备 |
CN111667526A (zh) * | 2019-03-07 | 2020-09-15 | 西门子医疗有限公司 | 用于确定环境中的多个对象的尺寸和距离的方法和设备 |
CN111028338A (zh) * | 2019-12-06 | 2020-04-17 | 珠海金山网络游戏科技有限公司 | 一种基于Unity3D的图像绘制方法及装置 |
CN111028338B (zh) * | 2019-12-06 | 2023-08-08 | 珠海金山数字网络科技有限公司 | 一种基于Unity3D的图像绘制方法及装置 |
CN113055609A (zh) * | 2019-12-26 | 2021-06-29 | Tcl科技集团股份有限公司 | 一种在三维动画环境下自动生成动画电影的装置及方法 |
CN113055609B (zh) * | 2019-12-26 | 2023-12-26 | Tcl科技集团股份有限公司 | 一种在三维动画环境下自动生成动画电影的装置及方法 |
CN113112407A (zh) * | 2021-06-11 | 2021-07-13 | 上海英立视电子有限公司 | 基于电视的照镜视野生成方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2016091553A (ja) | 2016-05-23 |
KR20160052441A (ko) | 2016-05-12 |
EP3018632A1 (en) | 2016-05-11 |
CA2910649A1 (en) | 2016-05-04 |
CN105574921B (zh) | 2021-06-08 |
EP3018632B1 (en) | 2021-05-12 |
US20160125638A1 (en) | 2016-05-05 |
JP6704238B2 (ja) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105574921A (zh) | 根据图像的自动化纹理映射和动画绘制 | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
CN111292364B (zh) | 一种三维模型构建过程中图像快速匹配的方法 | |
US6858826B2 (en) | Method and apparatus for scanning three-dimensional objects | |
US8447099B2 (en) | Forming 3D models using two images | |
US8452081B2 (en) | Forming 3D models using multiple images | |
US9207069B2 (en) | Device for generating a three-dimensional model based on point cloud data | |
Hornacek et al. | Depth super resolution by rigid body self-similarity in 3d | |
JP5955028B2 (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
US7098435B2 (en) | Method and apparatus for scanning three-dimensional objects | |
JP5343042B2 (ja) | 点群データ処理装置および点群データ処理プログラム | |
US8848201B1 (en) | Multi-modal three-dimensional scanning of objects | |
JP5465128B2 (ja) | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム | |
US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
EP2568253B1 (en) | Structured-light measuring method and system | |
WO2012061945A1 (en) | System and method for object searching using spatial data | |
US9147279B1 (en) | Systems and methods for merging textures | |
US20160005221A1 (en) | Photometric optimization with t-splines | |
WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
CN111208138A (zh) | 一种智能木料识别装置 | |
Furferi et al. | A RGB-D based instant body-scanning solution for compact box installation | |
JP2016114445A (ja) | 3次元位置算出装置およびそのプログラム、ならびに、cg合成装置 | |
Fiala et al. | Feature extraction and calibration for stereo reconstruction using non-svp optics in a panoramic stereo-vision sensor | |
Setti et al. | Shape measurement system for single point incremental forming (SPIF) manufacts by using trinocular vision and random pattern | |
Isa et al. | Laser triangulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |