CN111951377B - 三维对象重建方法及终端设备 - Google Patents

Abstract

本申请适用于计算机视觉技术领域，提供了一种三维对象重建方法及终端设备，其中该方法包括：获取预设数量个检测对象图像；基于预设的二叉树的每一层中的预设数量个节点所分别对应的条纹交界，确定各个检测对象图像的像素在二叉树的每一层中相匹配的节点；基于每一层中相匹配的节点构建各个检测对象图像的像素所对应的节点路径，并根据节点路径的各个节点所对应的条纹交界确定与各个检测对象图像的像素匹配的条纹交界；根据与预设数量个检测对象图像的像素所匹配的条纹交界的相位编码值，重建三维对象。由此，解决纹理表面及非朗伯表面重建精度不高的问题，并增强了基于结构光编码图案对复杂三维场景进行构建的自适应能力。

Description

三维对象重建方法及终端设备

技术领域

本申请属于计算机视觉技术领域，尤其涉及一种三维对象重建方法及终端设备。

背景技术

三维扫描技术发展迅速，目前已应用到了工业检测、设计、动漫及电影特效制作、3D展示、虚拟手术、反求工程等诸多领域和行业。

从现有的三维扫描技术手段来看，以激光三维扫描和投影结构光三维扫描技术为主，激光三维扫描系统通过投射激光线或者点阵，用摄像头捕捉投射的激光特征，通过三角测量恢复三维深度信息，但这种逐点和逐线的扫描方式主要缺点就是速度慢。在基于投影仪的结构光三维扫描系统中，其通过结构光编码技术，实现整个面的一次性测量，具有速度快和精度高的明显优势，因而基于投影的结构光三维扫描技术已成为目前的主流技术手段。

目前，基于投影仪的结构光三维扫描系统对于无纹理的朗伯表面能够产生较佳的重建效果，然而对于有纹理的朗伯表面和非朗伯表面，表面纹理使编码信息受到污染，此外复杂表面存在的遮挡和内反射导致结构光图像上的编码信息丢失，导致重建表面出现由纹理导致的重建误差和孔洞。

发明内容

有鉴于此，本申请实施例提供了三维对象重建方法及终端设备，以解决纹理表面及非朗伯表面重建精度不高的问题，并增强了基于结构光编码图案对复杂三维场景进行构建的自适应能力。

本申请实施例的第一方面提供了一种三维对象重建方法，包括：获取预设数量个检测对象图像，所述预设数量个检测对象图像是由预设数量个编码图案投射在三维对象上而对应确定的，其中所述每一编码图案由在编码方向上的预设数量个平行的编码条纹组成；基于预设的二叉树的每一层中的预设数量个节点所分别对应的条纹交界，确定各个检测对象图像的像素在所述二叉树的每一层中相匹配的节点，各个所述编码图案中的在不同编码条纹之间的条纹交界与所述二叉树的各层中的节点唯一对应且具有相应的相位编码值；基于所述每一层中相匹配的节点构建所述各个检测对象图像的像素所对应的节点路径，并根据所述节点路径的各个节点所对应的条纹交界确定与所述各个检测对象图像的像素匹配的条纹交界；根据与所述预设数量个检测对象图像的像素所匹配的条纹交界的相位编码值，重建所述三维对象。

本申请实施例的第二方面提供了一种三维对象重建装置，包括：检测对象图像获取单元，用于获取预设数量个检测对象图像，所述预设数量个检测对象图像是由预设数量个编码图案投射在三维对象上而对应确定的，其中所述每一编码图案由在编码方向上的预设数量个平行的编码条纹组成；二叉树层序遍历单元，用于基于预设的二叉树的每一层中的预设数量个节点所分别对应的条纹交界，确定各个检测对象图像的像素在所述二叉树的每一层中相匹配的节点，各个所述编码图案中的在不同编码条纹之间的条纹交界与所述二叉树的各层中的节点唯一对应且具有相应的相位编码值；匹配条纹交界确定单元，用于基于所述每一层中相匹配的节点构建所述各个检测对象图像的像素所对应的节点路径，并根据所述节点路径的各个节点所对应的条纹交界确定与所述各个检测对象图像的像素匹配的条纹交界；三维对象重建单元，用于根据与所述预设数量个检测对象图像的像素所匹配的条纹交界的相位编码值，重建所述三维对象。

本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备实现如上述方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：

采用条纹结构光技术将预设数量个编码图案投射至三维对象，利用二叉树每层的节点与编码图案中的条纹交界之间的对应关系，确定检测对象图像的像素在每层所匹配的节点并构建节点路径，依据节点路径来确定与检测对象图像的像素相匹配的条纹交界和相位编码值，进而利用相位编码值来重建三维对象。由此，实现了通过二叉树上的节点路径来定位三维投影图像中各个像素的边界位置(即确定像素所对应的条纹交界)，利用了对象像素的固定位置在不同的编码图像上的连续性，有效避免了噪点数据干扰(即噪点数据可能会在某个检测对象图像中出现，但不会在所有检测对象图像中出现)像素定位的效果，提高了所重建的三维对象的精确度，并增强了基于结构光编码图案对复杂三维场景进行构建的自适应能力。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请实施例的三维对象重建系统的一示例的架构示意图；

图2示出了根据本申请实施例的三维对象重建方法的一示例的流程示意图；

图3示出了4位格雷码结构光编码图案的一示例的示意图；

图4A示出了4位格雷码加4位线移结构光编码图案的一示例的示意图；

图4B示出了8位格雷码加4位线移的二值格雷码结构光编码图案的一示例的示意图；

图5示出了根据本申请实施例的二叉树与编码图案之间的对应关系的一示例的示意图；

图6A示出了根据本申请实施例的从二叉树中确定检测对象像素所对应的边界条纹的相位编码值的一示例的流程图；

图6B示出了根据本申请实施例的从二叉树中确定检测对象像素所对应的边界条纹的一示例的原理示意图；

图7示出了根据本申请实施例的基于检测对象像素的相位编码值构建三维对象的一示例的流程图；

图8示出了根据本申请实施例的确定检测对象像素所对应的纹理与条纹交界之间的交涉类型的一示例的流程图；

图9A示出了待重建的对象的一示例的示意图；

图9B示出了根据第一项现有技术所重建的对象的一示例的结果示意图；

图9C示出了根据第二项现有技术所重建的对象的一示例的结果示意图；

图9D示出了根据本申请实施例所重建的对象的一示例的结果示意图；

图10示出了根据本申请实施例的基于检测对象像素的相位编码值构建三维对象的一示例的流程图；

图11A示出了待重建的三维对象的一示例的示意图；

图11B示出了针对图11A中的三维对象所确定的条纹定位线的一示例的示意图；

图11C示出了图11B中的一个条纹定位线的纵向曲率的一示例的示意图；

图11D示出了两种现有亚像素定位方法与本申请实施例的基于分段式拟合的滤波方法所导致的定位误差的一示例的对比效果示意图；

图11E示出了根据本申请实施例的基于分段式拟合的滤波结果的一示例的示意图；

图12示出了根据本申请实施例的三维对象重建装置的一示例的结构示意图；

图13是本申请实施例的终端设备的一示例的示意图。

具体实施方式

结构光三维扫描系统的核心是编、解码算法，按照编码方式划分，现有的结构光三维扫描技术可分为时间编码、空间编码和混合编码三类。

时间编码结构光技术以其编码容量大、重建分辨率高的优点而被广泛研究和使用，常用的时间编码方案有格雷码结构光编码(例如，格雷码序列、格雷码序列加线移和格雷码序列加相移)和二值结构光编码(以“0”(纯黑)和“255”(纯白)为编码基元)。另外，利用不同的灰度值编码的条纹序列(即编码图案)进行投影，并基于条纹定位解码的结构光技术被称为条纹结构光技术，例如当采用二值编码图案时，对应的条纹结构光技术可以被成为二值条纹结构光技术。

在条纹结构光技术中，条纹的定位解码精度是影响三维重建结果的重要因素。对于无纹理的朗伯表面，条纹轮廓的调制源自于表面形状，条纹结构光技术可以获得微米级的测量精度。对于非朗伯表面，条纹轮廓的调制除了来自于表面形状，还与表面纹理和表面反射率变化有关，而条纹结构光技术往往忽略表面反射率和纹理对于条纹边界轮廓的调制，因此无法较精准地重建有纹理的朗伯表面和非朗伯表面，在重建复杂场景时，由物体形状引起的遮挡和内反射造成编码信息的污染，使得重建结果也容易出现噪声和误差。因此，条纹结构光技术的场景自适应能力不足。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

具体实现中，本申请实施例中描述的移动终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的移动终端。然而，应当理解的是，移动终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

移动终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在移动终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1示出了根据本申请实施例的三维对象重建系统的一示例的架构示意图。

如图1所示，三维对象重建系统100中设有计算机10、相机20、投影仪30和物体(或，待重建的对象)40。通过计算机10可以在投影仪30中设置对应的待投射的编码图案，以在进行三维重建的时投影仪30向指定区域中的物体40进行投射。通过相机20可以采集指定区域中的物体40的图像，计算机10可以对由相机20所采集的物体的图像中的编码信息进行解码，以重建物体的三维信息。

应理解的是，图1中所描述的装置类型仅用作示例，例如可以将相机20替换为其他的具有图像采集功能的设备，计算机10可以是其他具有处理功能的移动终端，等等。

图2示出了根据本申请实施例的三维对象重建方法的一示例的流程示意图。本申请实施例的三维对象重建方法可以是由移动终端(例如，计算机10)来执行的，旨在通过对相机所采集的物体图像进行解码和定位，以重建高精度的三维对象。

如图2所示，在步骤210中，获取预设数量个检测对象图像。

这里，预设数量个检测对象图像是由预设数量个编码图案投射在三维对象上而对应确定的，例如当投射8张编码图案时所对应采集到的检测对象图案的数量也可以是8个。需说明的是，编码图案的数量可以是与编码位数相关，例如当采用8位编码序列时，所对应的编码图案的数量为8张。

具体地，每一编码图案是由在编码方向上的预设数量个平行的编码条纹组成，不同条纹之间存在条纹交界。不同于像素中心解码定位方案，本申请实施例所采用的是基于条纹交界的解码定位方案，能够实现高精度(例如，亚像素级别)的定位效果，更多细节将在下文中展开。

需说明的是，本申请实施例中的编码图案可以采用各种结构光条纹编码技术中的编码图案，例如二值结构光编码图案、格雷码结构光编码图案或二值格雷码图案等，在此应不加限制。

图3示出了4位格雷码结构光编码图案的一示例的示意图。

如图3所示，在使用4位格雷码结构光编码图案进行三维重建时，其需要在不同时序投射4幅编码图像，这样格雷码图案中共包含2⁴-1＝15个条纹交界，每一条纹交界具有对应的排列号和编码值。在上述4幅不同时序的格雷码结构光编码图案中，不同的强度图像中的条纹边界互不重合，因此其格雷码值或相位编码值不易被误判，可以实现格雷码值与条纹交界之间的映射关系。另外，当格雷码结构光编码图案是由黑色条纹和白色条纹组成时，格雷码结构光编码图案为二值格雷码结构光编码图案。

理论上，基于条纹交界的格雷码方案中，当编码图案中的最细条纹宽度为1个象素时，格雷码交界解码才能获得与象素中心解码相同的图像采样点密度。因此，在投射格雷码编码图案的基础上，还可以继续投射线移图案，以在格雷码条纹交界解码的基础上提升图像点采样密度，从而保证图像采样点的亚象素准确度定位。

图4A示出了4位格雷码加4位线移结构光编码图案的一示例的示意图。

如图4A所示，在投射4幅格雷码图案后，还可以依次投射4幅周期线移条纹图案。格雷码条纹交界和线移条纹中心均不重合，相距0.5个条纹宽度。因此，将二者结合解码，将中心定位线(实线)与条纹交界定位线(虚线)结合成最终的定位线(实线和虚线交替出现)，可将图像采样点密度由单条纹宽度提高到0.5条纹宽度，例如，当单条纹宽度在强度图像中为1个象素时，图像采样点密度约为0.5个象素宽，可以实现亚像素级的高精度定位。

此外，本申请实施例所采用的编码图案中的条纹交界分别与预设的二叉树中的节点对应且用于指示相应的相位编码值。具体地，可以预构建二叉树，使得二叉树中的每一个节点分别与编码图案中的条纹交界相对应。

图4B示出了8位格雷码加4位线移的二值格雷码结构光编码图案的一示例的示意图。如上面所介绍的一样，本申请实施例还可以采用8位格雷码加4位线移二值格雷码结构光编码图案或其他编码图案(例如，10位格雷码等)。

图5示出了根据本申请实施例的二叉树与编码图案之间的对应关系的一示例的示意图。

具体地，各个编码图案中的在不同编码条纹之间的条纹交界与二叉树的各层中的节点唯一对应且具有相应的相位编码值。如图5所示，在编码图案501中仅存在一个条纹交界，该条纹交界正好与二叉树的第一层的根节点1相对应。在编码图案502中存在两个条纹交界，该编码图案502中的两个条纹交界正好与二叉树的第二层节点2和节点3相对应等等。

在步骤220中，基于预设的二叉树的每一层中的预设数量个节点所分别对应的条纹交界，确定各个检测对象图像的像素在二叉树的每一层中相匹配的节点。

具体地，针对每一检测对象图像中的各个像素(或检测对象像素)，在每一编码图案中，确定与检测对象像素之间距离最近的条纹交界。示例性地，可以依据距离将像素a与图5中各个编码图案(501～504)中的各个条纹交界进行匹配，当针对像素a在编码图案502中最近的条纹边界线是右边的条纹交界时，像素a基于编码图案502在二叉树上的对应节点为节点3。

在步骤230中，基于每一层中相匹配的节点构建各个检测对象图像的像素所对应的节点路径，并根据节点路径的各个节点所对应的条纹交界确定与各个检测对象图像的像素匹配的条纹交界。

具体地，可以根据所确定的各个条纹交界构建与检测对象像素相对应的在二叉树上的节点路径。继续结合上面图3中的示例，在得到了像素a在二叉树上的每一层的对应节点时，可以确定像素a对应的在二叉树上的节点路径，例如针对像素a的节点路径可以是：1——3——6——12。应理解的是，当采用其他位数的格雷码编码图时，例如当采用8位编码图时，节点路径上的节点的数量(或二叉树的层数)可以是8个。

此外，在利用节点路径来确定与检测对象像素匹配的条纹交界的实施方式中，可以比较各个节点所对应的条纹交界与该检测对象像素之间的距离，并选取距离最小的节点来作为该像素的匹配条纹交界，例如将1、3、6和12所对应的条纹交界中与像素a距离最近的条纹交界确定为匹配条纹交界。在本申请实施例的另一些示例中，可以在二叉树中确定与检测对象像素相匹配的最小搜索范围，并在最小搜索范围中再次寻找检测对象像素最匹配的节点和相应的条纹交界，以缩小条纹检索范围，例如将在由节点1、2、11、3、6和12等所组成的最小搜索范围中确定像素a所对应的条纹交界。

在步骤240中，根据与预设数量个检测对象图像的像素所匹配的条纹交界的相位编码值，重建三维对象。具体地，可以通过各个检测对象图像中检测对象像素的相位编码值确定对应的对象像素的相位信息(或深度信息)，从而构建相应的三维对象。

在本申请实施例中，利用了对象像素是在固定位置的，其在不同的编码图像上具有连续性，故即使在其中一幅对应编码图像的检测对象图像出现了噪点数据，该噪点数据也难以在多个(或所有的)检测对象图像中都出现，即噪点数据不会形成在二叉树上的节点路径。因此，基于节点路径上的各个节点所对应的条纹交界来进行像素定位，可以有效避免噪音数据干扰，提高了三维重建的精确度。

图6A示出了根据本申请实施例的从二叉树的最小搜索范围中确定与检测对象图像的像素匹配的条纹交界的一示例的流程图。图6B示出了根据本申请实施例的确定检测对象像素所对应的在二叉树中的最小搜索范围的一示例的流程图。

如图6A所示，在步骤610中，确定与节点路径的叶子节点所对应的条纹交界距离最近的在二叉树上层的每一层的各个匹配节点所对应的条纹交界。应理解的是，二叉树分为左子树和右子树，且在二叉树生长的过程中每次父节点向下会生长出对应的左右两个子节点(即，在下层的子节点)。因此，不同节点在二叉树中的相对位置是固定的，在二叉树中每一层的节点上会存在与叶子节点距离较近和较远的不同节点。

在步骤620中，从叶子节点所对应的条纹交界和所确定的每一层的各个匹配节点所对应的条纹交界中，确定与各个检测对象图像的像素匹配的条纹交界。

结合如图6B中的示例，当确定像素b的节点路径是1——3——6——12——25时，叶子节点是节点25，二叉树中存在位于节点路径的叶子节点的左侧区域(也就是区域610)和右侧区域(也就是区域620)。另外，与叶子节点25最近的在二叉树的匹配节点是第一层中的节点1，第二层中的节点2和3，第三层中的节点5和6，第四层中的节点12和13，故可以确定最小搜索范围为{1,2,3,5,6,12,13}，并可以从{1,2,3,5,6,12,13}中的各个节点所对应的条纹交界中确定与检测对象像素b匹配的条纹交界。

在本申请实施例中，编码图案中的编码条纹存在固定的位置关系和明确的条纹类型，将这种固定的位置关系也可以被称作编码图案的序列属性，通过使用完全二叉树表征上述序列属性，并可以通过二叉树的层序遍历来实现解码过程。另外，在解码中首先基于上层定位结果确定节点对应条纹边界的最小搜索区域(例如区域610或区域620)，然后在搜索范围内搜索唯一的条纹交界。由此，在最小搜索范围以外的噪声将不会影响条纹定位结果，有效地提高了条纹定位的鲁棒性和对于场景的自适应能力。此外，利用二叉树可以有效地继承和表征不同条纹间的固有位置关系，对复杂场景的解码具有鲁棒性。

需说明的是，在本申请实施例的一些示例中，条纹交界的编码信息直接被携带在投影仪所投影的编码图案中，便于解码但给编码图案的设定工作增添了负担，例如可能需要指出相同灰度值的相邻条纹(例如，两条相邻的白条纹)之间的交界信息。在本申请实施例的另一些示例中，还可以将编码图案进行正反(即，将条纹灰度值进行反转)两次投射，例如正向投射的编码图案是0-0-0-0-255-255-255-255，反向的编码图案是255-255-255-255-0-0-0-0，由此可以将正反条纹叠加所得到的零交叉点作为编码图案的条纹交界。

在一些实施方式中，投影仪所投射的预设数量个编码图案包括第一编码图案和第二编码图案，其中第一编码图案中的编码条纹序列与所述第二编码图案中的编码条纹序列之间为互反关系，例如可以是将编码图案进行正向和反向两次投射所分别确定的第一编码图案和第二编码图案。在计算机获取预设数量个检测对象图像之后，可以叠加由第一编码图案和第二编码图案分别投射至三维对象所确定的检测对象图像，以确定检测对象图像中具有相同灰度值的相邻条纹的条纹交界，例如将正反投射所产生的条纹零交叉点作为具有相同灰度值的相邻条纹的条纹交界。

图7示出了根据本申请实施例的基于检测对象像素的相位编码值构建三维对象的一示例的流程图。

需说明的是，当物体的表面存在纹理时，纹理与结构光条纹之间的交涉，导致结构光条纹的编码信息遭到污染，导致对象的重建精确度降低。

鉴于此，如图7所示，在步骤710中，确定检测对象图像的像素所对应的条纹交界与纹理之间的交涉类型。示例性地，交涉类型可以是随着条纹交界类型或纹理类型的不同而变化的，例如交涉类型可以是“黑白条纹交界+非朗伯表面”、“白黑条纹交界+非朗伯表面”等。

在步骤720中，基于所确定的交涉类型从预设的卷积模板集中选用目标卷积模板，对相应的检测对象图像的像素的相位编码值进行卷积运算。这里，卷积模板集中的各个卷积模板分别具有相应的交涉类型。

在本申请的发明人实践本申请的技术方案的过程中发现，不同类型的纹理与不同类型的条纹交界进行交涉时，其所导致的定位误差可能是会存在差异的，而需要通过个性化的卷积模板分别进行校准。需说明的是，关于利用卷积模板校准像素定位的具体细节，可以参照目前相关技术中的描述，在此便不赘述。

在步骤730中，基于经卷积计算的各个检测对象图像的像素所对应的相位编码值，构建三维对象。

在本申请实施例中，针对纹理和条纹交界的不同交涉类型，分别采用相应的卷积模板进行校准，可以降低或消除表面纹理对结构光编码条纹的污染，提升条纹定位的精确度。

图8示出了根据本申请实施例的确定检测对象像素所对应的纹理与条纹交界之间的交涉类型的一示例的流程图。

如图8所示，在步骤810中，确定与检测对象图像的像素匹配的条纹交界所对应的两个编码条纹之间的变化信息组。这里，变化信息组包括亮度变化信息和条纹灰度变化信息。示例性地，当采用二值编码图案时，条纹灰度变化信息可以表示“从黑条纹到白条纹”或“从白条纹到黑条纹”的条纹交界的信息，结合图3中的示例，从左到右的排列序号为1和2的条纹交界可以表示“从黑条纹到白条纹”的条纹交界，从左到右的排列序号为3和4的条纹交界可以表示“从白条纹到黑条纹”的条纹交界。此外，在一些情况下，待重建对象表面的反射率和/或纹理会发生变化，使得结构光条纹在经过待重建对象表面的不同位置所产生的亮度信息也可能会发生变化，例如在反射率高的纹理处会产生更高的亮度信息。

在步骤820中，基于变化信息组从预设的交涉类型集中，确定预设数量个检测对象图像中的检测对象像素所对应的交涉类型。这里，交涉类型集中的各个交涉类型分别具有相应的变化信息组，例如不同的变化信息组可以对应于唯一的交涉类型。

进而，卷积模板集中的各个卷积模板分别与相应的交涉类型或变化信息组相对应。例如，针对亮度升高和“由黑条纹到白条纹”的变化信息组，其所对应的卷积模板是第一卷积模板，而针对亮度降低和“由白条纹到黑条纹”的信息组合，其所对应的卷积模板是第二卷积模板。

在一些应用场景下，如上面所描述的，在所投射的编码图像中存在编码条纹序列之间为互反关系的第一编码图案和第二编码图案，即可能会存在将同一编码图案进行正向投射和反向投射的两次投射并叠加检测的过程。针对第一编码图案和第二编码图案在同一位置的条纹交界处的条纹灰度变化信息是相反的，例如在第一编码图案的条纹交界处p的条纹灰度变化信息是“由白条纹到黑条纹”，则第二编码图案的条纹交界处p的条纹灰度变化信息是“由黑条纹到白条纹”，因此针对同一条纹交界存在两种编码图像的两种条纹灰度变化信息。

在本申请实施例的一些示例中，对由第一编码图案和第二编码图案所确定的检测对象图像中的像素都进行卷积校准并叠加，可以保障精确度但会导致较大的资源消耗。在本申请实施例的另一些示例中，由于物体表面的一些纹理类型(例如，对应亮度升高信息的纹理类型)可以对其中一种编码方向的编码图案(例如第一编码图案)中的特定条纹交界产生较大的干扰，而对另一种编码方向的编码图案(例如第二编码图案)中的对应的特定条纹交界产生的干扰较小。相应地，在利用卷积模板进行校准计算时，可以对由正条纹编码图案(即，正向投射所确定的编码图案)和反条纹编码图案(即，反向投射所确定的编码图案)中的一者所确定的检测对象图像中的像素进行卷积校准。

具体地，可以基于所确定的交涉类型从预设的卷积模板集中选用相应的卷积模板，对由第一编码图案或第二编码图案所确定的检测对象图像的像素的相位编码值进行卷积运算。

具体地，以横向二值结构光编码图案为例，可以将从左到右的0到255的条纹交界类型定义为上升沿，将255到0的条纹交界类型定义为下降沿。此外，由亮度明到暗的条纹交界定义为纹理下降沿，由亮度暗到明的条纹交界定义为纹理上升沿。

基于对表面纹理和条纹边界的交涉方式和干扰类型的研究和实验，这里提出四种对条纹定位精度有影响的条纹和纹理边界交涉方式，并指出待校准的条纹交界类型，如下表1所示。

交涉方式编号	正条纹交界类型	反条纹交界类型	纹理类型	待校准条纹交界
					1	上升沿	下降沿	上升沿	value<sub>n</sub>
2	上升沿	下降沿	下降沿	value<sub>p</sub>
					3	下降沿	上升沿	上升沿	value<sub>p</sub>
4	下降沿	上升沿	下降沿	value<sub>n</sub>

表1.纹理和条纹交界的交涉方式

针对不同交涉方式，可以采用对应的模板卷积方式进行校准运算：

交涉方式编号1：value_nc＝(value_n*h^flip)^flip.

交涉方式编号2：value_pc＝(value_p*h^flip)^flip

交涉方式编号3：value_pc＝value_p*h^flip

交涉方式编号4：value_nc＝value_n*h^flip

其中，value_n表示对应正条纹编码图案中的条纹交界，value_p表示对应反条纹编码图案中的条纹交界，value_nc表示校准后的正条纹编码图案中的条纹交界，value_nc表示校准后的反条纹编码图案中的条纹交界，h表示卷积模板，*表示卷积操作，flip表示向量沿编码方向(例如，横向)翻转，以及h^flip表示卷积模板沿编码方向翻转。

针对上述四种纹理和条纹交界的交涉方式，在条纹定位前，对待校准的条纹交界通过模板卷积的方法校准相应的条纹交界，可以降低对象的表面纹理对条纹定位的干扰，提高条纹交界定位的精确度。

图9A示出了待重建的对象的一示例的示意图。如图9A所示，目标物体(即，待重建对象)具有丰富的纹理。图9B示出了根据第一项现有技术所重建的对象的一示例的结果示意图。图9C示出了根据第二项现有技术所重建的对象的一示例的结果示意图。图9D示出了根据本申请实施例所重建的对象的一示例的结果示意图。

不难看出，在图9B和图9C中的目标物体的表面纹理严重影响了重建结果，导致所重建的结果中具有丰富的纹理信息，而通过本申请实施例中的条纹校准方法，可以有效地降低表面纹理对于重建结果的影响，可以实现所重建的目标物体的平滑表面。

图10示出了根据本申请实施例的基于检测对象像素的相位编码值构建三维对象的一示例的流程图。

如图10所示，在步骤1010中，基于检测对象图像中对应相同相位编码值的像素，拟合条纹定位线。例如，可以将检测对象图像中具有相同相位编码值的像素进行连接或拟合，从而确定相应的条纹定位线。

需说明的是，当编码图案可以采用如图3所示的横向编码条纹序列时，为了保障条纹定位结果的连续性，还可以考虑相同条纹交界在与编码方向垂直的方向(例如，纵向)上的连接属性，以降低同一条纹交界因噪点数据引起的定位误差或断裂的情况。

在步骤1020中，根据条纹定位线在不同像素位置处的在与编码方向相垂直的方向上的曲率和预设的曲率阈值，将条纹定位线划分为多个条纹定位分段。

在步骤1030中，针对所划分的各个条纹定位分段中的像素所对应的相位编码值分别进行过滤处理。

在步骤1040中，根据经过滤处理的检测对象图像的像素所对应的相位编码值，构建三维对象。

示例性地，当编码图案采用横向编码序列时，在实现横向亚像素定位后，可以优化同一条纹边界的纵向连接属性。并且，在基于曲率阈值分段后，分别在各个分段内进行段内滤波，例如可以采用高阶多项式拟合的方式来进行滤波操作。

在本申请实施例中，基于曲率阈值和条纹交界的曲率将对应同一条纹交界的条纹定位线分段，并在不同的分段分别进行过滤处理，相比于直接将条纹交界或条纹定位线整体进行过滤处理，能够实现在与条纹编码方向相垂直的方向上更加平滑的重建效果，能够提升针对具有丰富纹理的三维对象的重建结果的精确度。

图11A示出了待重建的三维对象的一示例的示意图。如图11A所示，三维对象包括具有丰富纹理的曲面。图11B示出了针对图11A中的三维对象所确定的条纹定位线的一示例的示意图。如图11B所示，在三维对象的表面具有对应的多个条纹定位线。图11C示出了图11B中的一个条纹定位线的纵向曲率的一示例的示意图。如图11C所示，虚线表示的是曲率阈值，通过虚线将条纹定位线进行分段，并在不同的分段可以分别以多项式拟合的方式进行段内过滤操作。图11D示出了两种现有亚像素定位方法与本申请实施例的基于分段式拟合的滤波方法所导致的定位误差的一示例的对比效果示意图，不难得知基于本申请实施例所确定的定位误差是要低于现有亚像素定位方法所导致的定位误差的。图11E示出了根据本申请实施例的基于分段式拟合的滤波结果的一示例的示意图，条纹定位结果连续。在本申请实施例中，基于分段多项式拟合滤波方法，有效地消除了噪声和表面纹理对于定位结果的影响，从而得到平滑的定位结果。

因此，相比于现有条纹结构光定位技术，本申请实施例提出的自适应的解码算法，在原有亚像素定位的基础上，充分考虑场景差异、序列属性和条纹属性，通过对重建场景的分析和特征描述，提高解码算法对于重建复杂场景的自适应能力，可以消除表面纹理和噪声对于重建结果的影响，改进条纹定位结果和重建精度，保障更平滑和准确的重建结果。

图12示出了根据本申请实施例的三维对象重建装置的一示例的结构示意图。为便于说明，仅示出与本申请相关的部分。

如图12所示，三维对象重建装置1200包括检测对象图像获取单元1210、二叉树层序遍历单元1220、匹配条纹交界确定单元1230和三维对象重建单元1240。

检测对象图像获取单元1210用于获取预设数量个检测对象图像，所述预设数量个检测对象图像是由预设数量个编码图案投射在三维对象上而对应确定的，其中所述每一编码图案由在编码方向上的预设数量个平行的编码条纹组成。关于检测对象图像获取单元1210的更多的细节，可以参照上面参考图2中的步骤210的描述。

二叉树层序遍历单元1220用于基于预设的二叉树的每一层中的预设数量个节点所分别对应的条纹交界，确定各个检测对象图像的像素在所述二叉树的每一层中相匹配的节点，各个所述编码图案中的在不同编码条纹之间的条纹交界与所述二叉树的各层中的节点唯一对应且具有相应的相位编码值。关于二叉树层序遍历单元1220的更多的细节，可以参照上面参考图2中的步骤220的描述。

匹配条纹交界确定单元1230用于基于所述每一层中相匹配的节点构建所述各个检测对象图像的像素所对应的节点路径，并根据所述节点路径的各个节点所对应的条纹交界确定与所述各个检测对象图像的像素匹配的条纹交界。关于匹配条纹交界确定单元1230的更多的细节，可以参照上面参考图2中的步骤230的描述。

三维对象重建单元1240用于根据与所述预设数量个检测对象图像的像素所匹配的条纹交界的相位编码值，重建所述三维对象。关于三维对象重建单元1240的更多的细节，可以参照上面参考图2中的步骤240的描述。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图13是本申请实施例的终端设备的一示例的示意图。如图13所示，该实施例的终端设备1300包括：处理器1310、存储器1320以及存储在所述存储器1320中并可在所述处理器1310上运行的计算机程序1330。所述处理器1310执行所述计算机程序1330时实现上述三维对象重建方法实施例中的步骤，例如图2所示的步骤210至240。或者，所述处理器1310执行所述计算机程序1230时实现上述各装置实施例中各模块/单元的功能，例如图12所示单元1210至1240的功能。

示例性的，所述计算机程序1330可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器1320中，并由所述处理器1310执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序1330在所述终端设备1300中的执行过程。

所述终端设备1300可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器1310、存储器1320。本领域技术人员可以理解，图13仅仅是终端设备1300的示例，并不构成对终端设备1300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器1310可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器1320可以是所述终端设备1300的内部存储单元，例如终端设备1300的硬盘或内存。所述存储器1320也可以是所述终端设备1300的外部存储设备，例如所述终端设备1300上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器1320还可以既包括所述终端设备1300的内部存储单元也包括外部存储设备。所述存储器1320用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器1320还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维对象重建方法，其特征在于，包括：

获取预设数量个检测对象图像，所述预设数量个检测对象图像是由预设数量个编码图案投射在三维对象上而对应确定的，其中所述每一编码图案由在编码方向上的预设数量个平行的编码条纹组成；

基于预设的二叉树的每一层中的预设数量个节点所分别对应的条纹交界，确定各个检测对象图像的像素在所述二叉树的每一层中相匹配的节点，各个所述编码图案中的在不同编码条纹之间的条纹交界与所述二叉树的各层中的节点唯一对应且具有相应的相位编码值；

基于所述每一层中相匹配的节点构建所述各个检测对象图像的像素所对应的节点路径，并根据所述节点路径的各个节点所对应的条纹交界确定与所述各个检测对象图像的像素匹配的条纹交界；

根据与所述预设数量个检测对象图像的像素所匹配的条纹交界的相位编码值，重建所述三维对象。

2.如权利要求1所述的三维对象重建方法，其特征在于，根据所述节点路径的各个节点所对应的条纹交界确定与所述各个检测对象图像的像素匹配的条纹交界，具体包括：

确定与所述节点路径的叶子节点所对应的条纹交界距离最近的在所述二叉树上层的每一层的各个匹配节点所对应的条纹交界；

从所述叶子节点所对应的条纹交界和所确定的每一层的各个匹配节点所对应的条纹交界中，确定与各个所述检测对象图像的像素匹配的条纹交界。

3.如权利要求1所述的三维对象重建方法，其特征在于，所述预设数量个编码图案包括第一编码图案和第二编码图案，所述第一编码图案中的编码条纹序列与所述第二编码图案中的编码条纹序列之间为互反关系；

其中，在获取预设数量个检测对象图像之后，所述方法还包括：

叠加由所述第一编码图案和所述第二编码图案分别投射至三维对象所确定的检测对象图像，以确定所述检测对象图像中具有相同灰度值的相邻条纹的条纹交界。

4.如权利要求3所述的三维对象重建方法，其特征在于，所述基于所述预设数量个检测对象图像中的检测对象像素所对应的节点路径中的节点所对应相位编码值，重建所述三维对象，包括：

确定所述检测对象图像的像素所对应的条纹交界与纹理之间的交涉类型；

基于所确定的交涉类型从预设的卷积模板集中选用目标卷积模板，对相应的检测对象图像的像素的相位编码值进行卷积运算，所述卷积模板集中的各个卷积模板分别具有相应的交涉类型；

基于经卷积计算的各个检测对象图像的像素所对应的相位编码值，构建所述三维对象。

5.如权利要求4所述的三维对象重建方法，其特征在于，所述确定所述预设数量个检测对象图像中的检测对象像素所对应的纹理与条纹交界之间的交涉类型，包括：

确定与所述检测对象图像的像素匹配的条纹交界所对应的两个编码条纹之间的变化信息组，所述变化信息组包括亮度变化信息和条纹灰度变化信息；

基于所述变化信息组从预设的交涉类型集中，确定所述预设数量个检测对象图像中的检测对象像素所对应的交涉类型，所述交涉类型集中的各个交涉类型分别具有相应的变化信息组。

6.如权利要求4所述的三维对象重建方法，其特征在于，所述基于所确定的交涉类型从预设的卷积模板集中选用目标卷积模板，对相应的检测对象图像的像素的相位编码值进行卷积运算，包括：

基于所确定的交涉类型从预设的卷积模板集中选用相应的卷积模板，对由第一编码图案或第二编码图案所确定的检测对象图像的像素的相位编码值进行卷积运算。

7.如权利要求1所述的三维对象重建方法，其特征在于，根据与所述预设数量个检测对象图像的像素所匹配的条纹交界的相位编码值，重建所述三维对象，包括：

基于所述检测对象图像中对应相同相位编码值的像素，拟合条纹定位线；

根据所述条纹定位线在不同像素位置处的在与所述编码方向相垂直的方向上的曲率和预设的曲率阈值，将所述条纹定位线划分为多个条纹定位分段；

针对所划分的各个条纹定位分段中的像素所对应的相位编码值分别进行过滤处理；

根据经过滤处理的检测对象图像的像素所对应的相位编码值，构建所述三维对象。

8.一种三维对象重建装置，其特征在于，包括：

检测对象图像获取单元，用于获取预设数量个检测对象图像，所述预设数量个检测对象图像是由预设数量个编码图案投射在三维对象上而对应确定的，其中所述每一编码图案由在编码方向上的预设数量个平行的编码条纹组成；

二叉树层序遍历单元，用于基于预设的二叉树的每一层中的预设数量个节点所分别对应的条纹交界，确定各个检测对象图像的像素在所述二叉树的每一层中相匹配的节点，各个所述编码图案中的在不同编码条纹之间的条纹交界与所述二叉树的各层中的节点唯一对应且具有相应的相位编码值；

匹配条纹交界确定单元，用于基于所述每一层中相匹配的节点构建所述各个检测对象图像的像素所对应的节点路径，并根据所述节点路径的各个节点所对应的条纹交界确定与所述各个检测对象图像的像素匹配的条纹交界；

三维对象重建单元，用于根据与所述预设数量个检测对象图像的像素所匹配的条纹交界的相位编码值，重建所述三维对象。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

Images