CN109155073A - 材料感知三维扫描 - Google Patents

Abstract

一种用于产生对象的一或多个二维纹理图的方法包含从图像俘获装置接收包含所述对象的至少一部分的图像帧。所述方法还包含在处理器处使用所述图像帧确定所述对象的特定部分的色彩并且使用所述图像帧确定所述对象的所述特定部分的材料。所述方法进一步包含基于所述材料确定所述对象的所述特定部分的至少一个其它特性。所述方法还包含产生表示所述对象的所述特定部分的所述色彩并且表示所述对象的所述特定部分的所述至少一个其它特性的像素值。所述方法还包含基于所述像素值产生至少一个二维纹理图。

Description

材料感知三维扫描

相关申请的交叉参考

本申请主张在2016年6月8日提交的共同拥有的第15/177,180号美国非临时专利申请的优先权，所述申请的内容以全文引用的方式明确地并入本文中。

技术领域

本发明大体上涉及三维(3D)扫描。

背景技术

技术进步已经产生更小且更强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线电话，例如移动和智能电话、平板计算机和膝上型计算机，其体积小、重量轻，且便于用户携带。这些装置可通过无线网络传送语音和数据包。另外，许多此类装置并入有额外功能性，例如，数字静态相机、数码摄像机、数字记录器和音频文件播放器。并且，此类装置可处理可执行指令，包含可用于接入因特网的软件应用程序，例如，网络浏览器应用程序。因而，这些装置可以包含大量计算能力。

无线电话、无人驾驶运载工具(例如，无人机)、机器人、飞机、汽车、固定式相机、个人相机和其它装置可经配置以俘获图像。此类图像可用于产生对象的三维(3D)模型。通常，为了产生随附对象的3D模型的纹理图，纹理图产生器可以产生用于3D模型的光现实渲染的二维(2D)纹理图。纹理图产生器通常基于图像帧的序列确定与对象相关联的色彩信息(例如，RGB色彩信息)，并且2D纹理图通常基于色彩信息产生。举例来说，纹理图产生器可以确定对象的特定部分是红色(R)、绿色(G)、蓝色(B)，或其组合。基于色彩，纹理图产生器可以产生2D纹理图，在所述2D纹理图中表示特定部分的相关联的色彩。

然而，2D纹理图可能无法充分地反映对象的其它特性。作为非限制性实例，2D纹理图可能无法充分地描绘对象的透明度、对象的材料、对象的表面特性(例如，高低不平度、光滑度等)、对象的发光特性、双向反射分布函数(BRDF)等。因此，仅包含对象的色彩的2D纹理图可能无法充分地描绘允许通过软件渲染器或硬件渲染器的更多的光现实渲染的其它特性。

发明内容

根据所公开的技术的实施方案，一种用于产生对象的一或多个二维纹理图的方法包含从图像俘获装置接收包含对象的至少一部分的图像帧。所述方法还包含在处理器处使用图像帧确定对象的特定部分的色彩并且使用图像帧确定对象的特定部分的材料。所述方法进一步包含基于材料确定对象的特定部分的至少一个其它特性。所述方法还包含产生表示对象的特定部分的色彩并且表示对象的特定部分的至少一个其它特性的像素值。所述方法还包含基于像素值产生至少一个二维纹理图。

根据所公开的技术的另一实施方案，一种用于产生对象的一或多个二维纹理图的设备包含处理器和可由所述处理器执行以执行操作的存储器存储指令。所述操作包含使用包含对象的至少一部分的图像帧确定对象的特定部分的色彩。所述图像帧由图像俘获装置俘获。所述操作还包含使用图像帧确定对象的特定部分的材料。所述操作进一步包含基于材料确定对象的特定部分的至少一个其它特性。所述操作还包含产生表示对象的特定部分的色彩并且表示对象的特定部分的至少一个其它特性的像素值。所述操作还包含基于像素值产生至少一个二维纹理图。

根据所公开的技术的另一实施方案，非暂时性计算机可读媒体包含用于产生对象的一或多个二维纹理图的指令。所述指令在由处理器执行时使得所述处理器执行包含使用包含对象的至少一部分的图像帧确定对象的特定部分的色彩的操作。所述图像帧由图像俘获装置俘获。所述操作还包含使用图像帧确定对象的特定部分的材料。所述操作进一步包含基于材料确定对象的特定部分的至少一个其它特性。所述操作还包含产生表示对象的特定部分的色彩并且表示对象的特定部分的至少一个其它特性的像素值。所述操作还包含基于像素值产生至少一个二维纹理图。

根据所公开的技术的另一实施方案，一种用于产生对象的一或多个二维纹理图的设备包含用于俘获包含对象的至少一部分的图像帧的装置以及用于使用图像帧确定对象的特定部分的色彩的装置。所述设备还包含用于使用图像帧确定对象的特定部分的材料的装置。所述设备进一步包含用于基于材料确定对象的特定部分的至少一个其它特性的装置。所述设备还包含用于产生表示对象的特定部分的色彩并且表示对象的特定部分的至少一个其它特性的像素值的装置。所述设备还包含用于基于像素值产生至少一个二维纹理图的装置。

附图说明

图1是可操作以产生对象的一或多个二维(2D)纹理图的系统的框图；

图2是说明多个相机姿势的图；

图3是可操作以产生对象的一或多个2D纹理图的纹理映射单元的框图；

图4是描绘图像帧、基于图像帧产生的材料特性图像和基于材料特性图像产生的纹理图的图；

图5是产生对象的一或多个2D纹理图的方法的流程图；以及

图6是包含经配置以执行相对于图1到5所描述的技术、方法和过程中的一或多个的组件的计算装置的框图。

具体实施方式

参考图式描述本发明的特定实施方案。在描述中，贯穿图式由常用参考数字指示常用特征。下文所描述的技术通常适用于移动装置。然而，将了解所述技术同样适用于无人驾驶运载工具(例如，无人机)、机器人、飞机、汽车、固定式相机、个人相机、通信地耦合到固定式相机的处理系统、附接到处理装置(或包含于处理装置内)的兼容以产生纹理图的其它装置等。

图1是经配置以产生对象的一或多个二维(2D)纹理图的系统100的框图。举例来说，系统100可以基于所俘获图像102的集合产生对象的一或多个2D纹理图。所俘获图像102的集合可以包含由图像俘获装置俘获的图像帧的序列，所述图像俘获装置例如，二维(2D)相机、3D相机、3D传感器、深度感测相机(例如，红色-绿色-蓝色-深度(RGB-D)相机)，或经配置以俘获图像的任何其它装置。在替代的实施方案中，多个相机可以由图像俘获装置使用以获得所俘获图像102的集合。图像俘获装置可以与显示器104相关联，所述显示器可以基于所俘获图像102呈现(例如，视觉地显示)3D模型的表示。3D模型的所显示的表示可经配置以使得用户能够在3D模型的初始产生之后校正或增强3D模型。

所俘获图像102可以包含表示场景的多个图像(例如，2D图像、3D图像、图像数据等)。举例来说，场景可以包含一或多个对象以及一或多个对象的背景或其它情境。在特定实施方案中，所俘获图像102中的一或多个可以经由显示器104表示。举例来说，当用户使用相机俘获场景的图像时，显示器104(或另一用户接口，例如，投影仪)可将图像呈现给用户。另外，显示器104(和/或另一用户接口，例如，小键盘或按钮)可经配置以使得用户能够提供与图像相关的输入。举例来说，显示器104可接收用户选择106。用户选择106可使得用户能够选择包含场景内的特定对象的关注区域。

用户选择106可以包含规定围绕场景内的特定对象的限界框的信息。限界框可对应于由用户定义的关注区域。关注区域可以相对于在显示器104处的所俘获图像中的一或多个显示。由用户定义的关注区域可由限界框确定模块108使用以确定限界框。限界框可以基于所俘获图像102与三维模型中的对象(例如，对象的二维表示)相关联。举例来说，限界框可以基于当相机相对于对象移动时的对象追踪包含或对应于关注区域。

在特定实施方案中，限界框可以对应于立方体或呈三维形式的其它几何区域，所述几何区域对应于或包含经由显示器104由用户定义的关注区域的部分(例如，音量)。当相机继续俘获图像时，对象追踪模块112可用于从一个图像帧到后续图像帧追踪关注区域或对应于关注区域的对象。基于对象追踪，可以在限界框更新模块110处更新限界框。举例来说，当相机移动到更接近或更远离对象时在三维模型的产生期间，限界框的大小参数可以基于对象追踪得到调节。限界框可以与多个大小参数(例如，(x,y,z)尺寸参数、中心点(x,y,z)坐标和球面半径等)相关联。特定大小参数可以与限界框的特定尺寸(例如，长度、宽度或深度)相关联或对应于限界框的特定尺寸(例如，长度、宽度或深度)。大小参数的值可以基于确定在一个图像中的限界框中的对象与在先前图像中相比更大或更小而得到调节。

图像的序列可用于确定相机姿势113(例如，相机姿势数据)。举例来说，对象追踪模块112可经配置以当图像俘获装置与对象的3D扫描相关联时确定图像俘获装置的相机姿势。相机姿势113、对象追踪模块112或这两者可用于确定装置速度。举例来说，在所俘获图像102的产生期间，装置速度检验单元114可基于多个相机姿势、基于与相机姿势相关联的多个时间戳或这两者来确定图像俘获装置相对于对象的速度。举例来说，可基于对相机的对应于每一相机姿势的相对位置和与相机姿势相关联的时间戳的计算而确定所述速度。当速度满足速度阈值时，可经由显示器104呈现通知。

在一些实施方案中，当速度大于或等于速度阈值时速度可满足速度阈值。在替代实施方案中，如果速度处于对应于速度阈值的速度的范围内，那么速度可满足速度阈值。在一些实施方案中，通知可建议应减小图像俘获装置的速度，这是因为速度大于或等于速度阈值。举例来说，可减小速度以便减少错误，或使得能够在特定空间内俘获更多图像以便改善3D模型产生。在另一实施方案中，当速度小于或等于速度阈值时速度可满足速度阈值。举例来说，可增大速度以减小被俘获或利用额外处理能力的冗余图像的数量。另外，如果速度历时某一时间周期而小于或等于第二速度阈值，那么可经由显示器104呈现通知，且可暂停对图像帧的序列的俘获。举例来说，第二速度阈值和时间可指示移动的缺少(例如，相机不移动或相对静止)。当相机恢复移动时图像帧的序列的俘获可以恢复或复原。

因此，装置速度检验单元114可计算与图像俘获装置相对于对象的移动相关联的速度，且可基于图像俘获装置的移动的相对速度与速度阈值的比较而经由显示器104选择性地输出通知。响应于确定速度满足速度阈值，系统100可暂停俘获图像的序列，同时向用户提供通知。

相机姿势113还可由3D模型产生单元115使用以产生3D模型(例如，初始3D模型或“点云”)。异常检测单元116可分析3D模型以确定3D模型是否包含异常(例如，表面的不连续性、缺失或不完全区域等)。如果异常检测单元116在3D模型中检测到异常，那么异常检测单元116可使得显示器104显示识别3D模型中的异常的位置的指示符。替代地，指示符可以经由另一用户接口(例如，音频扬声器、发光二极管(LED)等)呈现。异常检测单元116还可将3D模型(或表示3D模型的数据)提供到3D模型优化器118。

3D模型优化器118或异常检测单元116可使得显示器104呈现实现对异常的校正的一或多个可选选项。在一些实施方案中，选项是经由显示器(例如，显示器104)可选的。在其它实施方案中，选项是经由一或多个其它用户接口(例如，扬声器、麦克风、小键盘等)可选的。选项可包含启动改进器单元120以使得系统100能够俘获额外图像以便校正异常的选项。选项还可包含启动孔填充器单元122以(例如，基于孔填充算法而)自动地产生填充数据的选项。如果改进器单元120用于俘获额外图像，那么可将额外图像添加到所俘获图像102以待由系统100的其它单元进行处理以产生新的或经更新的3D模型，其还可由异常检测单元116分析。

3D模型优化器118可经配置以校正与对象的3D扫描相关联的像素值。3D模型优化器118可产生增强型3D模型(例如，增强型模型数据)，所述增强型3D模型可被提供到显示器104。所述增强型3D模型还可被提供到色彩校正单元124、提供到纹理映射单元126，或提供到这两者，以基于3D模型中的所俘获图像102而执行色彩、光和/或纹理校正，以进一步优化3D模型以用于在显示器104处显示。增强型3D模型与在俘获图像的序列期间所产生的3D模型相比包含更多细节。举例来说，更多细节可以包含较高分辨率、改进的纹理映射等。

纹理映射单元126可经配置以基于所俘获图像102产生一或多个2D纹理图。举例来说，根据一个实施方案，所俘获图像102可以被直接地提供到纹理映射单元126。纹理映射单元126包含材料特性图像产生器140，所述材料特性图像产生器经配置以产生增强型图像(例如，材料特性图像)。如本文中所使用，“增强型图像”包含具有带指示色彩和至少一个其它特性的值的像素的任何图像。至少一个其它特性的非限制性实例可以包含透明度质量、反射质量、折射质量、环境质量、扩散质量、表面下散射特性等。根据另一实施方案，材料特性图像产生器140可经配置以产生“非增强型”像素的一或多个图像。举例来说，材料特性图像产生器140可以产生色彩图像、透明度图像、发亮图像等。一个图像中的特定像素可具有类似于另一图像中的特定像素的像素位置的像素位置(例如，通过x坐标和y坐标用符号表示)。作为非限制性实例，透明度图像中的特定像素可具有如同透明度图像的发亮图像中的相同像素位置。

增强型图像可由纹理映射单元126使用以产生2D纹理图(例如，材料特性纹理图)。材料特性纹理图的非限制性实例包含半透明纹理图、半透明深度纹理图、偏心率纹理图、普通图、位移图、半透明性色彩纹理图、余弦电力图、镜面纹理图、透明度纹理图、凸块纹理图、发光特性纹理图、双向反射分布函数(BRDF)纹理图等。根据一个实施方案，BRDF纹理图可以通过定制识别编号系统识别不同BRDF函数(例如，冯氏(Phong)、兰伯特(Lambert)、宾氏(Blinn)、各向异性等)。

根据一个实施方案，材料纹理映射单元126可经配置以使用所俘获图像102确定对象的一部分的色彩。材料特性图像产生器140可经配置以使用所俘获图像102确定对象的特定部分的材料。材料特性图像产生器140还可经配置以基于材料确定对象的特定部分的至少一个其它特性。举例来说，响应于识别材料，材料特性图像产生器140可以访问规定材料的不同特性(例如，透明度特性、反射特性、折射特性、扩散特性、表面下散射特性等)的数据库。材料特性图像产生器140可以产生表示对象的特定部分的色彩且表示对象的特定部分的至少一个其它特性的像素值。基于像素值，材料特性图像产生器140可以产生增强型图像。纹理映射单元126可经配置以基于增强型图像产生2D纹理图。

图1的系统100可以实现充分地描绘对象的非色彩特性(除色彩特性之外)的增强型2D纹理图的产生。举例来说，通过确定对象的材料，纹理映射单元126可以产生增强型2D纹理图，所述增强型2D纹理图充分地描绘对象的透明度、对象的表面特性(例如，高低不平度、光滑度等)、对象的发光特性等。增强型2D纹理图可用于使用计算机视觉技术形成对象的更加“栩栩如生的”3D模型。

参考图2，示出了图1的系统100的操作的说明性实施方案并且一般将其表示为200。在图2中，图像俘获装置202(例如，二维相机、深度感测相机、三维相机等)相对于对象210沿路径204(例如，弧线)移动，所述对象例如，如图2中所示的杯子。在图像俘获装置202沿着路径204的移动期间，图像俘获装置202位于通过相机姿势206A、206B、206C、206D、206E和206F在图2中所说明的各种位置和定向。相机姿势206A到206F对应于产生由图像俘获装置202俘获的图像帧的序列中的图像帧的图像俘获操作。应注意，图2中所示的相机姿势206A到206F的数量、间隔和定向是仅用于说明而示出，且不应被视为限制性的。举例来说，可按在连续(或邻近)相机姿势之间的不同间隔使用更多相机姿势或更少相机姿势。

基于图像俘获装置202如何围绕对象210移动，路径204可具有任何配置。当图像俘获装置202沿着路径204从与相机姿势206A相关联的位置移动到与相机姿势206F相关联的位置时，可基于相机姿势206A到206F和图像帧的序列而实时或近实时产生对象210的3D点云。举例来说，如在207A处所示，在相机姿势206A处(其表示在沿着路径204的第一位置处图像俘获装置202的初始相机姿势)可在图像俘获装置202处产生第一部分3D点云210A。在图像俘获装置202继续沿着路径204移动时，可俘获额外数据且将其用于向局部3D点云添加点。举例来说，如在207D处所示，当图像俘获装置202已沿着路径204移动到与相机姿势206D相关联的位置时，可产生更完整的3D点云210D。如在207F处所示，在所述图像俘获装置202到达与相机姿势206F相关联的位置之后，可产生完整的3D点云210F。

虽然图2是相对于图像俘获装置202沿着路径204移动以俘获静态对象的图像帧描述的，但是在其它实施方案中，对象(或包含对象的场景)可以相对于静态图像俘获装置(例如，固定相机)移动以产生图像帧。在其它实施方案中，对象和图像俘获装置202在图像帧的产生期间可以都移动。

参考图3，示出了纹理映射单元300。根据一个实施方案，纹理映射单元300可以包含图1的纹理映射单元126(或以与图1的纹理映射单元126实质上类似的方式操作)。举例来说，纹理映射单元300可以在图1的系统100中实施。纹理映射单元300可以是可操作的以产生对象的一或多个2D纹理图。纹理映射单元300包含材料特性图像产生器340和纹理图产生器328。根据一个实施方案，材料特性图像产生器340可以包含图1的材料特性图像产生器140(或以与图1的材料特性图像产生器140实质上类似的方式操作)。

图像帧302可以由图像俘获装置(在图3中未示出)俘获。根据一个实施方案，图像帧302可以由图2的图像俘获装置202俘获。举例来说，当图像俘获装置202在与相机姿势206D相关联的位置处时图像帧302可以被俘获。在图4中示出了图像帧302的描述。如图4中所说明，图像帧302包含图2的对象210(例如，杯子)和对象402(例如，桌子)。根据一个实施方案，图像帧302可以是色彩图像。返回参考图3，图像帧302可以被提供到材料特性图像产生器340。根据一些实施方案，图像帧302可以被提供到纹理图产生器328。

材料特性图像产生器340包含对象辨识器304、对象隔离器306、子对象分析器310、材料辨识器312、数据库314、像素值产生器322和增强型图像产生器324。根据一些实施方案，材料特性图像产生器340可以包含更少(或额外组件)。根据一个实施方案，材料特性图像产生器340中的一或多个组件可以组合到单个组件中。

对象辨识器304可经配置以从图像俘获装置接收图像帧302。对象辨识器304可经配置以在图像帧302上执行对象辨识。举例来说，对象辨识器304可以识别图像帧302中的对象210。在对象辨识之后，对象隔离器306可经配置以使用图像分割隔离图像帧302中的对象210。举例来说，对象隔离器306可以提取对应于对象210的图像帧302的部分并且将所提取部分(例如，对象210)提供到材料辨识器312。

根据一些实施方案，在对象隔离之后，子对象分析器310可以分析图像帧302以确定额外对象是否存在于图像帧302中、对象210是否包含任何较小对象(例如，“子对象”)或其组合。举例来说，子对象分析器310可以确定对象402存在于图像帧302中，并且可以将与确定相关联的数据提供到对象辨识器304。响应于接收到数据，对象辨识器304可以识别图像帧302中的对象402。以如上文所描述的类似方式，对象隔离器306可以使用图像分割隔离图像帧302中的对象402。举例来说，对象隔离器306可以提取对应于对象402的图像帧302的部分并且将所提取部分(例如，对象402)提供到材料辨识器312。

材料辨识器312可经配置以确定对象210的材料。为了说明，材料辨识器312可以访问数据库314以基于对象辨识识别对象210的材料。数据库314可以包含与第一对象相关联的第一材料信息316、与第二对象相关联的第二材料信息318，以及与第N对象相关联的第N材料信息320。N可为大于零的任何整数。举例来说，如果N等于九，那么数据库314可以存储与九个不同对象相关联的材料信息的九个不同项。

如果第一对象包含杯子，那么材料辨识器312可以访问数据库314以检索与第一对象相关联的第一材料信息316。第一材料信息316可以指示对象210(例如，杯子)包括的材料(或类似对象包括的材料)。作为非限制性实例，第一材料信息316可以指示杯子通常包括玻璃。第一材料信息316也可以指示所确定的材料(例如，玻璃)的特性。作为非限制性实例，第一材料信息316可以指示玻璃的透明度质量、玻璃的反射质量、玻璃的折射质量、玻璃的环境质量、玻璃的扩散质量、玻璃的表面下散射特性、基于BRDF的特性，或其组合。因此，材料辨识器312可以访问与不同对象相关联的数据库314以基于对象辨识识别对象210的材料和材料的特性。第一材料信息316可以被提供到像素值产生器322。

在一些实施方案中，材料辨识器312可以基于对象210的检测到的特征确定对象210的材料而不需要对象辨识。举例来说，对象辨识操作(与对象辨识器304、对象隔离器306和子对象分析器310相关联)可以被绕过并且材料辨识器312可以检测对象210的特定特征。基于检测到的特征，材料辨识器312可以确定对象210的材料和材料的特性。为了说明，材料辨识器312可以确定对象210是光滑的、闪亮的和相对透明的而无需执行对象辨识操作。基于所述特征，材料辨识器312可以确定对象210由玻璃制成。根据一个实施方案，材料辨识器312可以使用计算机视觉、机器学习或其组合以在绕过对象辨识操作时确定对象210的材料。

像素值产生器322可经配置以产生表示对象210的色彩且表示对象210的至少一个其它特性的像素值(用于对象210的不同像素)。对象210的其它特性可基于第一材料信息316。作为非限制性实例，第一材料信息316可以指示玻璃是部分透明的。为了说明，第一材料信息316可以指示玻璃具有四的透明度值(在从一到十的标度上)，其中一指示零透明度并且十指示绝对透明度(例如，透明)。作为另一非限制性实例，第一材料信息316也可以指示玻璃具有在从一到十的标度上的五的折射值。因此，对象210(例如，杯子)在渲染之后可以表现为对人类眼睛相对的“闪亮”，这是因为当光触碰杯子的表面时它可以弯曲。

为了产生像素值，像素值产生器322可以将第一材料信息316应用到红色-绿色-蓝色-阿尔法(RGBA)信道。为了说明，材料辨识器312可以对使用32位识别符针对特定材料识别的所有特性进行编码。举例来说，第一材料信息316可以被编码为第一32位识别符、第二材料信息318可以被编码为第二32位识别符，并且第N材料信息320可以被编码为第N 32位识别符。像素值产生器322可以将位值(例如，第一32位识别符)应用到RGBA信道以产生对象210的像素值。根据一个实施方案，像素值产生器322也可以将色彩信息(与对象210的色彩相关联)的位值应用到RGBA信道以产生对象210的像素值。像素值可以被提供到增强型图像产生器324(例如，材料图像产生器)。

增强型图像产生器324可经配置以基于像素值产生增强型图像326。参考图4，增强型图像326中的对象210与图像帧302中的对象210相比更加闪亮。举例来说，在像素值产生器322处通过第一材料信息316对RGBA信道进行编码可以产生具有相对高折射质量的像素值。增强型图像326中的对象210与图像帧302中的对象210相比更加透明。举例来说，在像素值产生器322处通过第一材料信息316对RGBA信道进行编码可以产生描绘相对高水平的透明度的像素值。

增强型图像326中的对象402看起来也与图像帧302中的对象402不同。举例来说，增强型图像中的对象402看起来比图像帧302中的对象402更加“木制”和“更加粒状”。如关于增强型图像326中的对象210所描述的类似技术可用于在增强型图像326中产生对象402。举例来说，如果第二对象(与第二材料信息318相关联)是桌子，那么材料辨识器312可以访问数据库314以检索第二材料信息318。第二材料信息318可以指示对象402(例如，桌子)包括的材料(或类似对象包括的材料)。作为非限制性实例，第二材料信息318可以指示用于桌子的材料通常是木材。第二材料信息318也可以指示材料的特性。作为非限制性实例，第二材料信息318可以指示木材通常是粗糙的(例如，“粒状”)并且可以指示木材的其它特性(例如，折射、透明度、扩散等)。像素值产生器322可产生表示对象402的色彩且表示对象402的至少一个其它特性的像素值(用于对象402的不同像素)。对象402的其它特性可基于第二材料信息318。像素值产生器322可以将位值(例如，第二32位识别符)应用到RGBA信道以产生对象402的像素值，并且增强型图像产生器324可以基于像素值产生增强型图像326，如上文所描述。

返回参考图3，材料特性图像产生器340可以将增强型图像326提供到纹理图产生器328。如上文所描述，根据一个实施方案，图像帧302也可以被提供到纹理图产生器328。纹理图产生器328可经配置以基于增强型图像326产生纹理图330(例如，2D纹理图)。举例来说，纹理图产生器328可以使用增强型图像326(例如，“材料识别图像”)以访问在数据库(未示出)中的特性值的集合并且可以基于特性值产生纹理图330。为了说明，纹理图产生器328可以对增强型图像326中的每个图像像素的特性值进行编码以产生纹理图330。特性值可以是32位浮点数或32位整数。特性值还可被用作像素的32位RGBA色彩的代理值。在图4中示出了纹理图330的描述。根据一个实施方案，纹理图330可以被应用于对象210的3D模型以使用计算机视觉技术产生“现实”3D模型。

替代地，纹理图产生器328可以产生多个纹理图(基于多个增强型图像)而不是产生单个纹理图330。举例来说，每个增强型图像可基于单个特性，并且纹理图产生器328可以针对每个特性产生纹理图。作为非限制性实例，纹理图产生器328可以产生半透明图、半透明深度图、镜面图、偏心率图、凸块图、普通图、位移图、半透明性色彩图、余弦电力图，或其组合。

图3的纹理映射单元300可以实现充分地描绘对象的非彩色特性(除色彩特性之外)的增强型2D纹理图的产生。举例来说，通过确定对象的材料，纹理映射单元300可以产生增强型2D纹理图，所述增强型2D纹理图充分地描绘对象的透明度、对象的表面特性(例如，高低不平度、光滑度等)、对象的发光特性等。增强型2D纹理图可用于使用计算机视觉技术形成对象的更加“栩栩如生的”3D模型。

参考图5，描绘了产生对象的一或多个2D纹理图的方法500。方法500可通过图1的纹理映射单元126、图3的纹理映射单元300或两者执行。

方法500包含在502处从图像俘获装置接收包含对象的至少一部分的图像帧。举例来说，参考图2和3，图像帧302可以由图像俘获装置202俘获。对象辨识器304可以从图像俘获装置202接收图像帧302。

在504处，可以使用图像帧确定对象的特定部分的色彩。举例来说，参考图1，色彩校正单元124或纹理映射单元126可以确定对象210的特定部分的色彩。

在506处，可以使用图像帧确定对象的特定部分的材料。举例来说，参考图3，材料辨识器312可以确定对象210的材料。为了说明，材料辨识器312可以访问数据库314以基于对象辨识识别对象210的材料。举例来说，材料辨识器312可以访问数据库314以检索与第一对象相关联的第一材料信息316。第一材料信息316可以指示对象210(例如，杯子)包括的材料(或类似对象包括的材料)。作为非限制性实例，第一材料信息316可以指示对象210的材料是玻璃。

根据方法500的另一实施方案，确定对象的特定部分的材料包含检测对象的特定部分的至少一个特定特征并且基于特定特征确定对象的特定部分的材料。举例来说，材料辨识器312可以基于对象210的检测到的特征确定对象210的材料而不需要对象辨识。举例来说，对象辨识操作可以被绕过并且材料辨识器312可以检测对象210的特定特征。基于检测到的特征，材料辨识器312可以确定对象210的材料和材料的特性。为了说明，材料辨识器312可以确定对象210是光滑的、闪亮的和相对透明的而无需执行对象辨识操作。基于所述特征，材料辨识器312可以确定对象210由玻璃制成。

在508处，可以基于材料确定对象的特定部分的至少一个其它特性。举例来说，参考图3，材料辨识器312也可以访问数据库314以检索玻璃的特性(例如，对象210的所确定的材料的特性)。作为非限制性实例，第一材料信息316可以指示玻璃的透明度质量、玻璃的反射质量、玻璃的折射质量、玻璃的环境质量、玻璃的扩散质量、玻璃的表面下散射特性、基于BRDF的特性，或其组合。因此，材料辨识器312可以访问与不同对象相关联的数据库314以基于对象辨识识别对象210的材料和材料的特性。

在510处，可以产生表示对象的特定部分的色彩并且表示对象的特定部分的至少一个其它特性的像素值。举例来说，参考图3，像素值产生器322可以产生表示对象210的色彩并且表示对象210的至少一个其它特性的像素值(用于对象210的不同像素)。为了产生像素值，像素值产生器322可以将与材料相关联的材料信息(例如，第一材料信息316)应用到RGBA信道并且可以将与色彩相关联的色彩信息应用到RGBA信道。

在512处，至少一个二维纹理图可以基于像素值产生。举例来说，参考图3，增强型图像产生器324可以基于像素值产生增强型图像326，并且纹理图产生器328可以基于增强型图像326产生纹理图330。

根据方法500的一个实施方案，在508处，确定对象的特定部分的至少一个其它特性包含确定对象的特定部分的第一特性并且确定对象的特定部分的第二特性。在512处，产生至少一个二维纹理图可以包含产生第一二维纹理图并且产生第二二维纹理图。第一二维纹理图可基于第一特性并且第二二维纹理图可基于第二特性。替代地，在512处，产生至少一个二维纹理图可以包含产生与第一特性和第二特性相关联的二维纹理图。

图5的方法500可以实现充分地描绘对象的非色彩特性(以及色彩特性)的增强型2D纹理图的产生。举例来说，通过确定对象的材料，纹理映射单元300可以产生增强型2D纹理图，所述增强型2D纹理图充分地描绘对象的透明度、对象的表面特性(例如，高低不平度、光滑度等)、对象的发光特性等。增强型2D纹理图可用于使用计算机视觉技术形成对象的更加“栩栩如生的”3D模型。

参考图6，描绘了例如无线通信装置的电子装置的特定说明性实施方案的框图，且所述装置通常表示为600。装置600包含耦合到存储器632的处理器610，例如，数字信号处理器(DSP)。处理器610可以包含使得所述处理器执行图5的方法500的硬件或可执行指令。根据一些实施方案，处理器610可以包含图1的系统100。存储器632可以是存储计算机可执行指令652以执行参考图1到5所描述的一或多个操作的全部或一部分的非瞬时性或非暂时性计算机可读取媒体。

图6还示出了耦合到数字信号处理器610以及耦合到显示器628(例如，图1的显示器104)的显示控制器626。译码器/解码器(编解码器)634也可以耦合到数字信号处理器610。扬声器636和麦克风638可以耦合到编解码器634。

图6还指示无线接口640可耦合到处理器610且耦合到天线642。相机662可以经由相机控制器660耦合到处理器610。举例来说，相机控制器660可以包含经配置以接收对象的图像帧的接口电路。接口电路可以对应于从相机662接收所俘获图像帧并且将所俘获图像帧提供到处理器610的电路。图像帧可以与对象的三维扫描相关联。相机662可以包含2D相机、3D相机、3D传感器、深度感测相机(例如，RGB-D相机)，或经配置以俘获图像的任何其它装置。根据一个实施方案，相机662可以包含图2的图像俘获装置202。在特定实施方案中，处理器610、显示控制器626、相机控制器660、存储器632、编解码器634和无线接口640包含于封装内系统或芯片上系统装置622中。在特定实施方案中，输入装置630和电源644耦合到芯片上系统装置622。此外，在特定实施方案中，如图6中所说明，显示器628、输入装置630、扬声器636、麦克风638、天线642、相机662和电源644在芯片上系统装置622的外部。然而，显示器628、输入装置630、扬声器636、麦克风638、天线642、相机662和电源644中的每一个可耦合到芯片上系统装置622的组件，例如，接口或控制器。

结合所描述的实施方案，一种用于产生对象的一或多个二维纹理图的设备包含用于俘获包含对象的至少一部分的图像帧的装置。举例来说，所述用于俘获图像帧的装置可以包含图2的图像俘获装置202、图6的相机662、图6的相机控制器660、一或多个其它结构、装置、电路，或其组合。

所述设备还可包含用于使用图像帧确定对象的特定部分的色彩的装置。举例来说，所述用于确定对象的特定部分的色彩的装置可以包含图1的色彩校正单元124、图1的纹理映射单元126、图3的纹理映射单元300、图6的处理器610、一或多个其它结构、装置、电路，或其组合。

所述设备还可包含用于使用图像帧确定对象的特定部分的材料的装置。举例来说，所述用于确定对象的特定部分的材料的装置可以包含图1的纹理映射单元126、图3的纹理映射单元300、图3的材料辨识器312、图3的数据库314、图6的处理器610、一或多个其它结构、装置、电路，或其组合。

所述设备还可包含用于基于材料确定对象的特定部分的至少一个其它特性的装置。举例来说，所述用于确定对象的特定部分的至少一个其它特性的装置可以包含图1的纹理映射单元126、图3的纹理映射单元300、图3的材料辨识器312、图3的数据库314、

图6的处理器610、一或多个其它结构、装置、电路，或其组合。

所述设备还可包含用于产生表示对象的特定部分的色彩且表示对象的特定部分的至少一个其它特性的像素值的装置。举例来说，所述用于产生像素值的装置可以包含图1的纹理映射单元126、图3的纹理映射单元300、图3的像素值产生器322、图6的处理器610、一或多个其它结构、装置、电路，或其组合。

所述设备还可包含用于基于像素值产生至少一个二维纹理图的装置。举例来说，所述用于产生2D纹理图的装置可以包含图1的纹理映射单元126、图3的纹理映射单元300、图3的纹理图产生器328、图6的处理器610、一或多个其它结构、装置、电路，或其组合。

所属领域的技术人员将进一步了解结合本文中所公开的实施方案所描述的各种说明性的逻辑块、配置、模块、电路以及算法步骤可以实施为电子硬件、通过处理器执行的计算机软件，或两者的组合。上文已大体就其功能性而言描述了各种说明性组件、块、配置、模块、电路和步骤。此功能性是实施为硬件还是处理器可执行指令取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可以针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解释为引起脱离本发明的范围。

结合本文中所公开的实施方案而描述的方法或算法的步骤可直接实施于硬件、由处理器执行的软件模块或两者的组合中。软件模块可驻留在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘、压缩光盘只读存储器(CD-ROM)或所属领域中已知的任何其它形式的非暂时性存储媒体中。示例性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息并且将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成整体。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在计算装置或用户终端中。在替代方案中，处理器和存储媒体可以作为离散组件驻留在计算装置或用户终端中。

提供所公开的实施方案的先前描述以使所属领域的技术人员能够制作或使用所公开的实施方案。对于所属领域的技术人员来说，对这些实施方案的各种修改将显而易见，且本文中所定义的原理可在不脱离本发明的范围的情况下应用于其它实施方案。因此，本发明并非意图限于本文中所示的实施方案，而应符合与如通过所附权利要求书定义的原理及新颖特征一致的可能的最广范围。

Claims (30)

1.一种用于产生对象的一或多个二维纹理图的方法，所述方法包括：

从图像俘获装置接收包含所述对象的至少一部分的图像帧；

在处理器处使用所述图像帧确定所述对象的特定部分的色彩；

使用所述图像帧确定所述对象的所述特定部分的材料；

基于所述材料确定所述对象的所述特定部分的至少一个其它特性；

产生表示所述对象的所述特定部分的所述色彩并且表示所述对象的所述特定部分的所述至少一个其它特性的像素值；以及

基于所述像素值产生至少一个二维纹理图。

2.根据权利要求1所述的方法，其中产生所述至少一个二维纹理图包括：

基于所述像素值产生增强型图像；以及

基于所述增强型图像产生所述至少一个二维纹理图。

3.根据权利要求1所述的方法，其中确定所述对象的所述特定部分的所述材料包括：

在所述对象上执行对象辨识；以及

访问与不同对象相关联的材料的数据库以基于所述对象辨识识别所述材料。

4.根据权利要求1所述的方法，其中确定所述对象的所述特定部分的所述材料包括：

检测所述对象的所述特定部分的至少一个特定特征；

基于所述特定特征确定所述对象的所述特定部分的所述材料。

5.根据权利要求1所述的方法，其中产生所述像素值包括：

将与所述材料相关联的材料信息应用到红色-绿色-蓝色-阿尔法信道；

将与所述色彩相关联的色彩信息应用到所述红色-绿色-蓝色-阿尔法信道；以及基于所述红色-绿色-蓝色信道的输出产生所述像素值。

6.根据权利要求1所述的方法，其中确定所述对象的所述特定部分的所述至少一个其它特性包括确定所述对象的所述特定部分的第一特性并且确定所述对象的所述特定部分的第二特性。

7.根据权利要求6所述的方法，其中产生所述至少一个二维纹理图包括：

产生第一二维纹理图，所述第一二维纹理图与所述第一特性相关联；

产生第二二维纹理图，所述第二二维纹理图与所述第二特性相关联。

8.根据权利要求6所述的方法，其中产生所述至少一个二维纹理图包括产生与所述第一特性和所述第二特性相关联的二维纹理图。

9.根据权利要求1所述的方法，其中所述对象的所述特定部分的所述至少一个其它特性包含透明度质量、反射质量、折射质量、环境质量、扩散质量、表面下散射特性、基于双向反射分布函数BRDF的特性，或其组合。

10.根据权利要求1所述的方法，其中所述对象的所述特定部分的所述至少一个其它特性基于选自由以下项组成的群组的图：半透明图、半透明深度图、镜面图、偏心率图、凸块图、普通图、位移图、半透明性色彩图和余弦电力图。

11.一种用于产生对象的一或多个二维纹理图的设备，所述设备包括：

处理器；以及

存储器，其存储指令，所述指令可由所述处理器执行以执行包括以下各项的操作：

使用包含所述对象的至少一部分的图像帧确定所述对象的特定部分的色彩，所述图像帧由图像俘获装置俘获；

使用所述图像帧确定所述对象的所述特定部分的材料；

基于所述材料确定所述对象的所述特定部分的至少一个其它特性；

产生表示所述对象的所述特定部分的所述色彩并且表示所述对象的所述特定部分的所述至少一个其它特性的像素值；以及

基于所述像素值产生至少一个二维纹理图。

12.根据权利要求11所述的设备，其中产生所述至少一个二维纹理图包括：

基于所述像素值产生增强型图像；以及

基于所述增强型图像产生所述至少一个二维纹理图。

13.根据权利要求11所述的设备，其中确定所述对象的所述特定部分的所述材料包括：

在所述对象上执行对象辨识；以及

访问与不同对象相关联的材料的数据库以基于所述对象辨识识别所述材料。

14.根据权利要求11所述的设备，其中确定所述对象的所述特定部分的所述材料包括：

检测所述对象的所述特定部分的至少一个特定特征；以及

基于所述特定特征确定所述对象的所述特定部分的所述材料。

15.根据权利要求11所述的设备，其中产生所述像素值包括：

将与所述材料相关联的材料信息应用到红色-绿色-蓝色-阿尔法信道；

将与所述色彩相关联的色彩信息应用到所述红色-绿色-蓝色-阿尔法信道；以及基于所述红色-绿色-蓝色信道的输出产生所述像素值。

16.根据权利要求11所述的设备，其中确定所述对象的所述特定部分的所述至少一个其它特性包括确定所述对象的所述特定部分的第一特性并且确定所述对象的所述特定部分的第二特性。

17.根据权利要求16所述的设备，其中产生所述至少一个二维纹理图包括：

产生第一二维纹理图，所述第一二维纹理图与所述第一特性相关联；以及

产生第二二维纹理图，所述第二二维纹理图与所述第二特性相关联。

18.根据权利要求16所述的设备，其中产生所述至少一个二维纹理图包括产生与所述第一特性和所述第二特性相关联的二维纹理图。

19.根据权利要求11所述的设备，其中所述对象的所述特定部分的所述至少一个其它特性包含透明度质量、反射质量、折射质量、环境质量、扩散质量、表面下散射特性、基于双向反射分布函数BRDF的特性，或其组合。

20.根据权利要求11所述的设备，其中所述对象的所述特定部分的所述至少一个其它特性基于选自由以下项组成的群组的图：半透明图、半透明深度图、镜面图、偏心率图、凸块图、普通图、位移图、半透明性色彩图和余弦电力图。

21.一种非暂时性计算机可读媒体，其包括用于产生对象的一或多个二维纹理图的指令，所述指令在由处理器执行时使得所述处理器执行包括以下各项的操作：

使用包含所述对象的至少一部分的图像帧确定所述对象的特定部分的色彩，所述图像帧由图像俘获装置俘获；

使用所述图像帧确定所述对象的所述特定部分的材料；

基于所述材料确定所述对象的所述特定部分的至少一个其它特性；

产生表示所述对象的所述特定部分的所述色彩并且表示所述对象的所述特定部分的所述至少一个其它特性的像素值；以及

基于所述像素值产生至少一个二维纹理图。

22.根据权利要求21所述的非暂时性计算机可读媒体，其中产生所述至少一个二维纹理图包括：

基于所述像素值产生增强型图像；以及

基于所述增强型图像产生所述至少一个二维纹理图。

23.根据权利要求21所述的非暂时性计算机可读媒体，其中确定所述对象的所述特定部分的所述材料包括：

在所述对象上执行对象辨识；以及

访问与不同对象相关联的材料的数据库以基于所述对象辨识识别所述材料。

24.根据权利要求21所述的非暂时性计算机可读媒体，其中确定所述对象的所述特定部分的所述材料包括：

检测所述对象的所述特定部分的至少一个特定特征；以及

基于所述特定特征确定所述对象的所述特定部分的所述材料。

25.根据权利要求21所述的非暂时性计算机可读媒体，其中产生所述像素值包括：

将与所述材料相关联的材料信息应用到红色-绿色-蓝色-阿尔法信道；

将与所述色彩相关联的色彩信息应用到所述红色-绿色-蓝色-阿尔法信道；以及基于所述红色-绿色-蓝色信道的输出产生所述像素值。

26.根据权利要求21所述的非暂时性计算机可读媒体，其中确定所述对象的所述特定部分的所述至少一个其它特性包括确定所述对象的所述特定部分的第一特性并且确定所述对象的所述特定部分的第二特性。

27.根据权利要求26所述的非暂时性计算机可读媒体，其中产生所述至少一个二维纹理图包括：

产生第一二维纹理图，所述第一二维纹理图与所述第一特性相关联；以及

产生第二二维纹理图，所述第二二维纹理图与所述第二特性相关联。

28.根据权利要求26所述的非暂时性计算机可读媒体，其中产生所述至少一个二维纹理图包括产生与所述第一特性和所述第二特性相关联的二维纹理图。

29.一种用于产生对象的一或多个二维纹理图的设备，所述设备包括：

用于俘获包含所述对象的至少一部分的图像帧的装置；

用于使用所述图像帧确定所述对象的特定部分的色彩的装置；

用于使用所述图像帧确定所述对象的所述特定部分的材料的装置；

用于基于所述材料确定所述对象的所述特定部分的至少一个其它特性的装置；

用于产生表示所述对象的所述特定部分的所述色彩并且表示所述对象的所述特定部分的所述至少一个其它特性的像素值的装置；以及

用于基于所述像素值产生至少一个二维纹理图的装置。

30.根据权利要求29所述的设备，其中所述用于产生所述至少一个二维纹理图的装置包括用于基于所述像素值产生增强型图像的装置，所述至少一个二维纹理图基于所述增强型图像。