CN103983213B - 一种结构光编码方法及相关装置 - Google Patents

Abstract

本发明公开了一种结构光编码方法及相关装置，其中，一种结构光编码方法包括：通过伪随机码生成第一编码图案，其中，第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；将第一编码图案投射到被测物体的表面；获取第一编码图案与被测物体的表面叠加后形成的第二编码图案；确定第二编码图案上的特征点集合；确定特征点集合中的每个特征点在第一编码图案中的对应位置；根据特征点集合中的每个特征点在第一编码图案中的位置，计算特征点集合中的每个特征点在第二编码图案中的深度，最终确定被测物体的三维轮廓信息。本发明提供的技术方案能够在保证编码密度大小的前提下，有效提高解码的成功率。

Description

一种结构光编码方法及相关装置

技术领域

本发明涉及计算机图像处理技术领域，具体涉及一种结构光编码方法及相关装置。

背景技术

结构光编码技术是一种主动式的可靠的三维重建技术，目前已广泛应用在多个领域。

现有的结构光编码多采用空间编码的方式。空间编码能够通过投射一张结构光图像实现物体表面的三维重建，因此适合于动态目标和场景的三维信息获取。但是，空间编码存在窗口特性，即编码密度(即单位面积内编码的特征点的密度)与编码窗口(通常一个编码窗口包含一个编码的码字)的尺寸存在矛盾，一方面，编码密度需要编码窗口越大越好，另一方面，从解码的难度以及解码时间来看，编码窗口越小越好。

现有的一种空间编码方案是采用颜色进行编码，因此又称为彩色结构光编码，为了提高编码密度，目前存在两种解决方案：第一种是采用更多的颜色特征，这样可以实现较小的编码窗口，同时增加编码密度，然而当采用的颜色过多，会使得解码难度显著增加，比如被测物体的颜色更容易与用于编码的颜色混淆；第二种是采用更大的编码窗口而使用较少的颜色，这种方式降低了被测物体的颜色与用于编码的颜色的混淆可能性，但是由于编码窗口扩大，使得需要判断的编码元素数量显著增加，从而降低了解码的成功率。

发明内容

本发明提供一种结构光编码方法及相关装置，用于在保证编码密度大小的前提下，减小编码窗口，提高解码的成功率。

本发明第一方面提供一种结构光编码方法，包括：

通过伪随机码生成第一编码图案，其中，上述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；

将上述第一编码图案投射到被测物体的表面；

通过相机获取上述第一编码图案与上述被测物体的表面叠加后形成的第二编码图案；

确定上述第二编码图案上的特征点集合；

对上述特征点集合中的每个特征点进行解码，确定上述特征点集合中的每个特征点在上述第一编码图案中的对应位置；

根据上述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算上述特征点集合中的每个特征点在上述第二编码图案中的深度；

根据上述特征点集合中的每个特征点在上述第二编码图案中的深度，确定上述被测物体的三维轮廓信息。

本发明另一方面提供一种结构光编码装置，包括：

生成单元，用于通过伪随机码生成第一编码图案，其中，上述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；

投影单元，用于将上述生成单元生成的第一编码图案投射到被测物体的表面；

获取单元，用于通过相机获取上述第一编码图案与上述被测物体的表面叠加后形成的第二编码图案；

第一确定单元，用于确定上述第二编码图案上的特征点集合；

解码确定单元，用于对上述特征点集合中的每个特征点进行解码，确定上述特征点集合中的每个特征点在上述第一编码图案中的对应位置；

第一计算单元，用于根据上述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算上述特征点集合中的每个特征点在上述第二编码图案中的深度；

第二确定单元，用于根据上述第一计算单元计算得到的上述特征点集合中的每个特征点在上述第二编码图案中的深度，确定上述被测物体的三维轮廓信息。

由上可见，本发明中通过伪随机码生成第一编码图案，由于第一编码图案中利用颜色图形和几何图形的结合来标识不同的编码元素，因此，既增加了编码元素的种类，又不会增加编码元素识别的难度，从而能够实现小窗口特性的高密度编码效果，即在保证编码密度大小的前提下，能够减小编码窗口，从而提高解码的成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1-a为本发明提供的结构光编码方法一个实施例流程示意图；

图1-b为本发明提供的一种场景下第一编码图案中的一个4*4矩阵区域放大图；

图1-c为本发明提供的图1-b中的特征点示意图；

图1-d为本发明提供的结构光编码装置的一种应用场景示意图；

图2为本发明提供的结构光编码方法另一个实施例流程示意图；

图3为本发明提供的结构光编码装置一个实施例结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面对本发明实施例提供的一种结构光编码方法进行描述，请参阅图1-a，本发明实施例中的结构光编码方法包括：

101、通过伪随机码生成第一编码图案，其中，上述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；

本发明实施例中，结构光编码装置使用颜色图形和几何图形的结合构建编码元素，生成第一编码图案。

可选的，上述第一编码图案中的编码元素通过四种颜色的颜色图形和一个几何图形进行区分，结构光编码装置通过伪随机码生成包含八种编码元素的第一编码图案：填充第一颜色且未嵌入几何图形的第一菱形、填充上述第一颜色且嵌入上述几何图形的第二菱形、填充第二颜色且未嵌入上述几何图形的第三菱形、填充上述第二颜色且嵌入上述几何图形的第四菱形、填充第三颜色且未嵌入上述几何图形的第五菱形、填充上述第三颜色且嵌入上述几何图形的第六菱形、填充第四颜色且未嵌入上述几何图形的第七菱形、填充上述第四颜色且嵌入上述几何图形的第八菱形；其中，上述第一菱形、上述第二菱形、上述第三菱形、上述第四菱形、上述第五菱形、上述第六菱形、上述第七菱形和上述第八菱形的形状和大小均相同，且在上述第一编码图案中，相邻两个编码元素之间有且只有一个顶点重合。举例说明，假设上述第一颜色至上述第四颜色分别用标号A、B、C和D表示，上述几何图形为菱形且用标号E表示，则上述第一编码图案中的一个4*4的矩阵区域放大图可以如图1-b所示，由图1-b可见，4*4的矩阵区域包含八种编码元素，分别为：填充A且未嵌入E的第一菱形、填充A且嵌入E的第二菱形、填充B且未嵌入E的第三菱形、填充B且嵌入E的第四菱形、填充C且未嵌入E的第五菱形、填充C且嵌入E的第六菱形、填充D且未嵌入E的第七菱形、填充D且嵌入E的第八菱形。

当上述第一编码图案中的编码元素通过四种颜色的颜色图形和一个几何图形进行区分时，上述第一编码图案可以为编码窗口大小2*2、总大小为65*63的伪随机矩阵。

当然，本发明实施例中的结构光编码装置也可以使用更多的颜色图形和/或几何图形构建编码元素，生成第一编码图案，以便进一步增加第一编码图案中的编码元素的数量，缩小编码窗口。

可选的，上述四种颜色分别为红色、绿色、黑色和蓝色。当然，上述四种颜色也可以取其它颜色，此处不作限定。

102、将上述第一编码图案投射到被测物体的表面；

本发明实施例中，结构光编码装置可以通过投影仪或者具备投射功能的设备将步骤101生成的第一编码图案投射到被测物体的表面。

103、通过相机获取上述第一编码图案与上述被测物体的表面叠加后形成的第二编码图案。

104、确定上述第二编码图案上的特征点集合；

可选的，结构光编码装置利用十字架模板、第三公式、第四公式和第五公式计算上述第二编码图案上每个像素点分别在R通道、G通道和B通道的分值；对每一个像素点，取像素点在R通道、G通道和B通道这三个通道的分值中的最大值作为该像素点的代表值；以预设区域大小将上述第二编码图案划分为多个检索区域，将每个检索区域内代表值最大的像素点选取为上述特征点集合中的特征点；

其中，上述第三公式为： $d_{A,R}=|\underset{\mathrm{\α}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_R(x_A+\mathrm{\α},y_A)-\underset{\mathrm{\β}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_R(x_A,y_A+\mathrm{\β})|;$

上述第四公式为： $d_{A,G}=|\underset{\mathrm{\α}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_G(x_A+\mathrm{\α},y_A)-\underset{\mathrm{\β}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_G(x_A,y_A+\mathrm{\β})|;$

上述第五公式为： $d_{A,B}=|\underset{\mathrm{\α}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_B(x_A+\mathrm{\α},y_A)-\underset{\mathrm{\β}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_B(x_A,y_A+\mathrm{\β})|;$

其中，在上述第三公式、上述第四公式和上述第五公式中，d_A,R、d_A,G和d_A,B分别表示像素点A在R通道、G通道和B通道的分值，x_A和y_A分别表示像素点A在上述第二编码图案的横坐标和纵坐标，L表示上述十字架模板的大小，p_R(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的R通道值，p_G(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的G通道值，p_B(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的B通道值。

本发明实施例中，上述十字架模板的大小可以根据实际情况进行设定，此处不作限定。

下面以图1-b所示的矩阵区域为例，结合图1-c对本发明实施例中的特征点进行说明，如图1-c所示，虚拟框表示一个编码窗口(即一个码字)，每个编码窗口都包含两个类型的特征点(如图1-c所示的P1和P2)，特征点P1和特征点P3属于同一类型的特征点，它们的上下位置为非编码元素(即背景方格)，特征点P2和特征点P4属于同一类型的特征点，它们的左右位置为背景方格。步骤104的目的是为了找出第二编码图形中的所有特征点。

进一步，为了避免由于上述几何图形的引入而导致特征点的误判，本发明实施例还提供了对称性检测算法，即利用引入的几何图形不具备特征点的某种特征(如水平对称特性、垂直对称特征)来剔除误判的特征点。可选的，本发明实施例中的对称性检测算法如下：

在上述将每个检索区域内代表值最大的像素点作为上述特征点集合中的特征点之后，根据第六公式计算上述特征点集合中的每个特征点的对称性系数；

将对称性系数大于预设的对称性系数门限值的特征点从上述特征点集合中移除；

其中，上述第六公式为： ${\mathrm{\ρ}}_e=\frac{\underset{c=-m}{\overset{m}{\mathrm{\Σ}}}\underset{d=-n}{\overset{n}{\mathrm{\Σ}}}{(A_{e,\mathrm{cd}}-B_{e,\mathrm{cd}})}^2}{\underset{c=-m}{\overset{m}{\mathrm{\Σ}}}\underset{d=-n}{\overset{n}{\mathrm{\Σ}}}{(A_{e,\mathrm{cd}}-\stackrel{\‾}{A_e})}^2};$

其中，ρ_e表示特征点e的对称性系数，m和n分别表示邻域在横坐标和纵坐标的范围大小，A_e,cd表示特征点e邻域内位置(c,d)上的像素点的灰度值，B_e,cd表示将特征点e的邻域范围内的图案翻转180度之后，位置(c,d)上的像素点的灰度值，表示特征点e的邻域范围内的所有像素点的灰度值的平均值。需要说明的是，本发明实施例中的邻域的范围大小可以根据实际情况设定，此处不作限定。

105、对上述特征点集合中的每个特征点进行解码，确定上述特征点集合中的每个特征点在上述第一编码图案中的对应位置；

可选的，当编码窗口为2*2时，结构光编码装置在对上述特征点集合中的每个特征点进行解码时，先寻找出点对，即两个彼此对应的特征点，如图1-c中，特征点P1和特征点P3即为一个点对，特征点P2和特征点P4即为一个点对，在寻找点对时，针对每一个特征点，可以寻找每个特征点附近范围内不同类型的特征点，然后形成一个拓扑图的形式，最后找出每个特征点对应的特征点。以特征点P1和特征点P2为例，结构光编码装置先寻找特征点P1附近范围内与特征点P1类型不同的特征点(例如特征点P2以及与特征点P4)的位置，然后寻找特征点P2附近范围内与特征点P2类型不同的特征点(例如特征点P1以及与特征点P3)的位置，通过拓扑图的形式，便可以获知特征点P1和特征点P3为一个点对，特征点P2和特征点P4为一个点对。

结构光编码装置对上述特征点集合中的每个特征点进行解码，即可确定上述特征点集合中的每个特征点在上述第一编码图案中的对应位置，其中，解码过程分为颜色解码和几何图形解码，颜色解码可以在色度空间进行，即通过色度区分编码元素所填充的颜色；几何图形解码可以在饱和度空间或者灰度值空间判断编码元素中心位置的值与该编码元素边缘位置的值的大小，进而判定编码元素是否包含几何图形。

106、根据上述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算上述特征点集合中的每个特征点在上述第二编码图案中的深度；

本发明实施例中，上述深度可以理解为三维坐标系中的“Z”坐标。

需要说明的是，在获知每个特征点在分别在第一编码图案和第二编码图中中的位置后，结构光编码装置通过相机标定法和三角测量法计算上述特征点集合中的每个特征点在上述第二编码图案中的深度的过程属于现有技术，此处不再赘述。

107、根据上述特征点集合中的每个特征点在上述第二编码图案中的深度，确定上述被测物体的三维轮廓信息。

如图1-d所示为本发明实施例中结构光编码装置的一种应用场景示意图，由图1-d可见，结构光编码装置包括相机模块11和投影模块12，投影模块12用于将第一编码图案投影到被测物体21的表面，相机模块11用于获取第一编码图案与被测物体21的表面叠加后形成的第二编码图案。当然，本发明实施例中的结构光编码装置也可以不包括相机模块和投影模块，则结构光编码装置通过有线或无线的方式将第一编码图案通过投影仪或其它具备投影功能的设备将第一编码图案投影到被测物体21的表面，并通过有线或无线的方式获取相机拍摄的第一编码图案与被测物体21的表面叠加后形成的第二编码图案，此处不作限定。

由上可见，本发明中通过伪随机码生成第一编码图案，由于第一编码图案中利用颜色图形和几何图形的结合来标识不同的编码元素，因此，既增加了编码元素的种类，又不会增加编码元素识别的难度，从而能够实现小窗口特性的高密度编码效果，即在保证编码密度大小的前提下，能够减小编码窗口，从而提高解码的成功率。

为进一步提高结构光编码的准确性，本发明实施例在对上述特征点集合中的每个特征点进行解码后，通过置信度检测算法进一步对上述特征点集合中可能误判的特征点移除。具体的，如图2所示，本发明实施例中的结构光编码方法包括：

步骤201至步骤205与图1-a所示实施例中的步骤101至步骤105类似，因此，步骤201至步骤205的具体实现方式可以参照步骤101至步骤105中的描述，此处不再赘述。

206、根据上述特征点集合中的每个特征点在上述第一编码图案中的位置计算上述特征点集合中的每个特征点的置信度；

结构光编码装置根据步骤205确定的特征点集合中的每个特征点在上述第一编码图案中的对应位置，计算上述特征点集合中的每个特征点的置信度。

具体的，计算上述特征点集合中的每个特征点的置信度的包括：

根据上述特征点集合中的每个特征点在上述第一编码图案中的位置，以及第一公式和第二公式，计算上述特征点集合中的每个特征点的置信度；

其中，上述第一公式为： $p_{i,j}=e^{\frac{-[{(x_j-x_i)}^2+{(y_j-y_i)}^2]}{9}};$

上述第二公式为： ${\mathrm{co}}_{i-\mathrm{final}}=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{co}}_j{p}_{i,j}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{co}}_j};$

其中，在上述第一公式和上述第二公式中，p_i,j表示特征点i与特征点i邻域内的特征点j之间的关联度，x_i表示特征点i的在上述第一编码图案中的横坐标，y_i表示特征点i的在上述第一编码图案中的纵坐标，co_i-final表示特征点i的置信度，n表示特征点i邻域内除上述特征点i之外的特征点的总个数，co_j表示特征点j的初步置信度，其中，其中，m表示特征点j邻域内除上述特征点j之外的特征点的总个数。

207、将置信度小于预设的置信度阈值的特征点从上述特征点集合中移除。

其中，上述置信度阈值可以根据实际情况进行设定，此处不做限定。

208、根据上述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算上述特征点集合中的每个特征点在上述第二编码图案中的深度；

本发明实施例中，上述深度可以理解为三维坐标系中的“Z”坐标。

需要说明的是，在获知每个特征点在分别在第一编码图案和第二编码图中中的位置后，结构光编码装置通过相机标定法和三角测量法计算上述特征点集合中的每个特征点在上述第二编码图案中的深度的过程属于现有技术，此处不再赘述。

209、根据上述特征点集合中的每个特征点在上述第二编码图案中的深度，确定上述被测物体的三维轮廓信息。

如图1-d所示为本发明实施例中结构光编码装置的一种应用场景示意图，由图1-d可见，结构光编码装置包括相机模块11和投影模块12，投影模块12用于将第一编码图案投影到被测物体21的表面，相机模块11用于获取第一编码图案与被测物体21的表面叠加后形成的第二编码图案。当然，本发明实施例中的结构光编码装置也可以不包括相机模块和投影模块，则结构光编码装置通过有线或无线的方式将第一编码图案通过投影仪或其它具备投影功能的设备将第一编码图案投影到被测物体21的表面，并通过有线或无线的方式获取相机拍摄的第一编码图案与被测物体21的表面叠加后形成的第二编码图案，此处不作限定。

由上可见，本发明中通过伪随机码生成第一编码图案，由于第一编码图案中利用颜色图形和几何图形的结合来标识不同的编码元素，因此，既增加了编码元素的种类，又不会增加编码元素识别的难度，从而能够实现小窗口特性的高密度编码效果，即在保证编码密度大小的前提下，能够减小编码窗口，从而提高解码的成功率。

本发明实施例还提供一种结构光编码装置，请参阅图3，本发明实施例中的结构光编码装置300，包括：

生成单元301，用于通过伪随机码生成第一编码图案，其中，上述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；

投影单元302，用于将生成单元301生成的第一编码图案投射到被测物体的表面；

获取单元303，用于通过相机获取上述第一编码图案与上述被测物体的表面叠加后形成的第二编码图案；

第一确定单元304，用于确定上述第二编码图案上的特征点集合；

解码确定单元305，用于对上述特征点集合中的每个特征点进行解码，确定上述特征点集合中的每个特征点在上述第一编码图案中的对应位置；

第一计算单元306，用于根据上述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算上述特征点集合中的每个特征点在上述第二编码图案中的深度；

第二确定单元307，用于根据第一计算单元306计算得到的上述特征点集合中的每个特征点在上述第二编码图案中的深度，确定上述被测物体的三维轮廓信息。

可选的，在图3所示实施例的基础上，结构光编码装置还包括：第二计算单元，用于根据上述特征点集合中的每个特征点在上述第一编码图案中的位置计算上述特征点集合中的每个特征点的置信度；移除单元，用于将置信度小于预设的置信度阈值的特征点从第一确定单元304确定的特征点集合中移除。

可选的，上述第二计算单元具体用于：

根据上述特征点集合中的每个特征点在上述第一编码图案中的位置，以及第一公式和第二公式，计算上述特征点集合中的每个特征点的置信度；

其中，上述第一公式为： $p_{i,j}=e^{\frac{-[{(x_j-x_i)}^2+{(y_j-y_i)}^2]}{9}};$

上述第二公式为： ${\mathrm{co}}_{i-\mathrm{final}}=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{co}}_j{p}_{i,j}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{co}}_j};$

其中，在上述第一公式和上述第二公式中，p_i,j表示特征点i与特征点i邻域内的特征点j之间的关联度，x_i表示特征点i的在上述第一编码图案中的横坐标，y_i表示特征点i的在上述第一编码图案中的纵坐标，co_i-final表示特征点i的置信度，n表示特征点i邻域内除上述特征点i之外的特征点的总个数，co_j表示特征点j的初步置信度，其中，其中，m表示特征点j邻域内除上述特征点j之外的特征点的总个数。

可选的，生成单元301具体用于：通过伪随机码生成包含如下八种编码元素的第一编码图案：填充第一颜色且未嵌入几何图形的第一菱形、填充上述第一颜色且嵌入上述几何图形的第二菱形、填充第二颜色且未嵌入上述几何图形的第三菱形、填充上述第二颜色且嵌入上述几何图形的第四菱形、填充第三颜色且未嵌入上述几何图形的第五菱形、填充上述第三颜色且嵌入上述几何图形的第六菱形、填充第四颜色且未嵌入上述几何图形的第七菱形、填充上述第四颜色且嵌入上述几何图形的第八菱形；其中，上述第一菱形、上述第二菱形、上述第三菱形、上述第四菱形、上述第五菱形、上述第六菱形、上述第七菱形和上述第八菱形的形状和大小均相同，且在上述第一编码图案中，相邻两个编码元素之间有且只有一个顶点重合。

可选的，第一确定单元304包括：第一子计算单元，用于利用十字架模板、第三公式、第四公式和第五公式计算上述第二编码图案上每个像素点分别在R通道、G通道和B通道的分值；代表值确定单元，用于对每一个像素点，取像素点在R通道、G通道和B通道这三个通道的分值中的最大值作为该像素点的代表值；特征点选取单元，用于以预设区域大小将上述第二编码图案划分为多个检索区域，将每个检索区域内代表值最大的像素点选取为上述特征点集合中的特征点。

其中，上述第三公式为： $d_{A,R}=|\underset{\mathrm{\α}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_R(x_A+\mathrm{\α},y_A)-\underset{\mathrm{\β}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_R(x_A,y_A+\mathrm{\β})|;$

上述第四公式为： $d_{A,G}=|\underset{\mathrm{\α}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_G(x_A+\mathrm{\α},y_A)-\underset{\mathrm{\β}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_G(x_A,y_A+\mathrm{\β})|;$

上述第五公式为： $d_{A,B}=|\underset{\mathrm{\α}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_B(x_A+\mathrm{\α},y_A)-\underset{\mathrm{\β}=-L}{\overset{L}{\mathrm{\Σ}}}{p}_B(x_A,y_A+\mathrm{\β})|;$

其中，在上述第三公式、上述第四公式和上述第五公式中，d_A,R、d_A,G和d_A,B分别表示像素点A在R通道、G通道和B通道的分值，x_A和y_A分别表示像素点A在上述第二编码图案的横坐标和纵坐标，L表示上述十字架模板的大小，p_R(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的R通道值，p_G(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的G通道值，p_B(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的B通道值。

可选的，第一确定单元304还包括：第二子计算单元，用于根据第六公式计算上述特征点选取单元选取的每个特征点的对称性系数；

子移除单元，用于将对称性系数大于预设的对称性系数门限值的特征点从上述特征点集合中移除；

其中，上述第六公式为： ${\mathrm{\ρ}}_e=\frac{\underset{c=-m}{\overset{m}{\mathrm{\Σ}}}\underset{d=-n}{\overset{n}{\mathrm{\Σ}}}{(A_{e,\mathrm{cd}}-B_{e,\mathrm{cd}})}^2}{\underset{c=-m}{\overset{m}{\mathrm{\Σ}}}\underset{d=-n}{\overset{n}{\mathrm{\Σ}}}{(A_{e,\mathrm{cd}}-\stackrel{\‾}{A_e})}^2};$

其中，ρ_e表示特征点e的对称性系数，m和n分别表示邻域在横坐标和纵坐标的范围大小，A_e,cd表示特征点e邻域内位置(c,d)上的像素点的灰度值，B_e,cd表示将特征点e的邻域范围内的图案翻转180度之后，位置(c,d)上的像素点的灰度值，表示特征点e的邻域范围内的所有像素点的灰度值的平均值。

需要说明的是，本发明实施例中的结构光编码装置还可以包括相机模块和投影模块，参照图1-d所示，投影模块12用于将第一编码图案投影到被测物体21的表面，相机模块11用于获取第一编码图案与被测物体21的表面叠加后形成的第二编码图案。当然，本发明实施例中的结构光编码装置也可以不包括相机模块和投影模块，则结构光编码装置通过有线或无线的方式将第一编码图案通过投影仪或其它具备投影功能的设备将第一编码图案投影到被测物体21的表面，并通过有线或无线的方式获取相机拍摄的第一编码图案与被测物体21的表面叠加后形成的第二编码图案，此处不作限定。

要说明的是，本发明实施例中的结构光编码装置可以如上述方法实施例中的结构光编码装置，可以用于实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实施例中的相关描述，此处不再赘述。

由上可见，本发明中通过伪随机码生成第一编码图案，由于第一编码图案中利用颜色图形和几何图形的结合来标识不同的编码元素，因此，既增加了编码元素的种类，又不会增加编码元素识别的难度，从而能够实现小窗口特性的高密度编码效果，即在保证编码密度大小的前提下，能够减小编码窗口，从而提高解码的成功率。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

以上为对本发明所提供的一种结构光编码方法及相关装置的描述，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种结构光编码方法，其特征在于，包括:

通过伪随机码生成第一编码图案，其中，所述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；

将所述第一编码图案投射到被测物体的表面；

通过相机获取所述第一编码图案与所述被测物体的表面叠加后形成的第二编码图案；

确定所述第二编码图案上的特征点集合；

对所述特征点集合中的每个特征点进行解码，确定所述特征点集合中的每个特征点在所述第一编码图案中的对应位置；

根据所述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算所述特征点集合中的每个特征点在所述第二编码图案中的深度；

根据所述特征点集合中的每个特征点在所述第二编码图案中的深度，确定所述被测物体的三维轮廓信息。

2.根据权利要求1所述的方法，其特征在于，所述计算所述特征点集合中的每个特征点在所述第二编码图案中的深度，之前还包括：

根据所述特征点集合中的每个特征点在所述第一编码图案中的位置计算所述特征点集合中的每个特征点的置信度；

将置信度小于预设的置信度阈值的特征点从所述特征点集合中移除。

3.根据权利要求2所述的方法，其特征在于，所述根据所述特征点集合中的每个特征点在所述第一编码图案中的位置计算所述特征点集合中的每个特征点的置信度，包括：

根据所述特征点集合中的每个特征点在所述第一编码图案中的位置，以及第一公式和第二公式，计算所述特征点集合中的每个特征点的置信度；

其中，所述第一公式为：

所述第二公式为：

其中，在所述第一公式和所述第二公式中，p_i,j表示特征点i与特征点i邻域内的特征点j之间的关联度，x_i表示特征点i的在所述第一编码图案中的横坐标，y_i表示特征点i的在所述第一编码图案中的纵坐标，co_i-final表示特征点i的置信度，n表示特征点i邻域内除所述特征点i之外的特征点的总个数，co_j表示特征点j的初步置信度，其中，其中，m表示特征点j邻域内除所述特征点j之外的特征点的总个数。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述通过伪随机码生成第一编码图案具体为：

通过伪随机码生成包含如下八种编码元素的第一编码图案：填充第一颜色且未嵌入几何图形的第一菱形、填充所述第一颜色且嵌入所述几何图形的第二菱形、填充第二颜色且未嵌入所述几何图形的第三菱形、填充所述第二颜色且嵌入所述几何图形的第四菱形、填充第三颜色且未嵌入所述几何图形的第五菱形、填充所述第三颜色且嵌入所述几何图形的第六菱形、填充第四颜色且未嵌入所述几何图形的第七菱形、填充所述第四颜色且嵌入所述几何图形的第八菱形；

其中，所述第一菱形、所述第二菱形、所述第三菱形、所述第四菱形、所述第五菱形、所述第六菱形、所述第七菱形和所述第八菱形的形状和大小均相同，且在所述第一编码图案中，相邻两个编码元素之间有且只有一个顶点重合。

5.根据权利要求4所述的方法，其特征在于，所述确定所述第二编码图案上的特征点集合，包括：

利用十字架模板、第三公式、第四公式和第五公式计算所述第二编码图案上每个像素点分别在R通道、G通道和B通道的分值；

对每一个像素点，取像素点在R通道、G通道和B通道这三个通道的分值中的最大值作为该像素点的代表值；

以预设区域大小将所述第二编码图案划分为多个检索区域，将每个检索区域内代表值最大的像素点选取为所述特征点集合中的特征点；

其中，所述第三公式为：

所述第四公式为：

所述第五公式为：

其中，在所述第三公式、所述第四公式和所述第五公式中，d_A,R、d_A,G和d_A,B分别表示像素点A在R通道、G通道和B通道的分值，x_A和y_A分别表示像素点A在所述第二编码图案的横坐标和纵坐标，L表示所述十字架模板的大小，p_R(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的R通道值，p_G(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的G通道值，p_B(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的B通道值。

6.根据权利要求5所述的方法，其特征在于，所述确定所述第二编码图案上的特征点集合还包括：

在所述将每个检索区域内代表值最大的像素点作为所述特征点集合中的特征点之后，根据第六公式计算所述特征点集合中的每个特征点的对称性系数；

将对称性系数大于预设的对称性系数门限值的特征点从所述特征点集合中移除；

其中，所述第六公式为：

其中，ρ_e表示特征点e的对称性系数，m和n分别表示邻域在横坐标和纵坐标的范围大小，A_e,cd表示特征点e邻域内位置(c,d)上的像素点的灰度值，B_e,cd表示将特征点e的邻域范围内的图案翻转180度之后，位置(c,d)上的像素点的灰度值，表示特征点e的邻域范围内的所有像素点的灰度值的平均值。

7.一种结构光编码装置，其特征在于，包括:

生成单元，用于通过伪随机码生成第一编码图案，其中，所述第一编码图案中的编码元素通过至少四种颜色的颜色图形和至少一个几何图形进行区分；

投影单元，用于将所述生成单元生成的第一编码图案投射到被测物体的表面；

获取单元，用于通过相机获取所述第一编码图案与所述被测物体的表面叠加后形成的第二编码图案；

第一确定单元，用于确定所述第二编码图案上的特征点集合；

解码确定单元，用于对所述特征点集合中的每个特征点进行解码，确定所述特征点集合中的每个特征点在所述第一编码图案中的对应位置；

第一计算单元，用于根据所述特征点集合中的每个特征点在第一编码图案中的位置，以及相机标定法和三角测量法，计算所述特征点集合中的每个特征点在所述第二编码图案中的深度；

第二确定单元，用于根据所述第一计算单元计算得到的所述特征点集合中的每个特征点在所述第二编码图案中的深度，确定所述被测物体的三维轮廓信息。

8.根据权利要求7所述的结构光编码装置，其特征在于，所述结构光编码装置还包括：

第二计算单元，用于根据所述特征点集合中的每个特征点在所述第一编码图案中的位置计算所述特征点集合中的每个特征点的置信度；

移除单元，用于将置信度小于预设的置信度阈值的特征点从第一确定单元确定的特征点集合中移除。

9.根据权利要求8所述的结构光编码装置，其特征在于，所述第二计算单元具体用于：

根据所述特征点集合中的每个特征点在所述第一编码图案中的位置，以及第一公式和第二公式，计算所述特征点集合中的每个特征点的置信度；

其中，所述第一公式为：

所述第二公式为：

其中，在所述第一公式和所述第二公式中，p_i,j表示特征点i与特征点i邻域内的特征点j之间的关联度，x_i表示特征点i的在所述第一编码图案中的横坐标，y_i表示特征点i的在所述第一编码图案中的纵坐标，co_i-final表示特征点i的置信度，n表示特征点i邻域内除所述特征点i之外的特征点的总个数，co_j表示特征点j的初步置信度，其中，其中，m表示特征点j邻域内除所述特征点j之外的特征点的总个数。

10.根据权利要求7至9任一项所述的结构光编码装置，其特征在于，所述生成单元具体用于：

通过伪随机码生成包含如下八种编码元素的第一编码图案：填充第一颜色且未嵌入几何图形的第一菱形、填充所述第一颜色且嵌入所述几何图形的第二菱形、填充第二颜色且未嵌入所述几何图形的第三菱形、填充所述第二颜色且嵌入所述几何图形的第四菱形、填充第三颜色且未嵌入所述几何图形的第五菱形、填充所述第三颜色且嵌入所述几何图形的第六菱形、填充第四颜色且未嵌入所述几何图形的第七菱形、填充所述第四颜色且嵌入所述几何图形的第八菱形；

其中，所述第一菱形、所述第二菱形、所述第三菱形、所述第四菱形、所述第五菱形、所述第六菱形、所述第七菱形和所述第八菱形的形状和大小均相同，且在所述第一编码图案中，相邻两个编码元素之间有且只有一个顶点重合。

11.根据权利要求10所述的结构光编码装置，其特征在于，所述第一确定单元包括：

第一子计算单元，用于利用十字架模板、第三公式、第四公式和第五公式计算所述第二编码图案上每个像素点分别在R通道、G通道和B通道的分值；

代表值确定单元，用于对每一个像素点，取像素点在R通道、G通道和B通道这三个通道的分值中的最大值作为该像素点的代表值；

特征点选取单元，用于以预设区域大小将所述第二编码图案划分为多个检索区域，将每个检索区域内代表值最大的像素点选取为所述特征点集合中的特征点；

其中，所述第三公式为：

所述第四公式为：

所述第五公式为：

其中，在所述第三公式、所述第四公式和所述第五公式中，d_A,R、d_A,G和d_A,B分别表示像素点A在R通道、G通道和B通道的分值，x_A和y_A分别表示像素点A在所述第二编码图案的横坐标和纵坐标，L表示所述十字架模板的大小，p_R(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的R通道值，p_G(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的G通道值，p_B(x_A+α,y_A)表示坐标位置(x_A+α,y_A)上的像素点的B通道值。

12.根据权利要求11所述的结构光编码装置，其特征在于，所述第一确定单元还包括：

第二子计算单元，用于根据第六公式计算所述特征点选取单元选取的每个特征点的对称性系数；

子移除单元，用于将对称性系数大于预设的对称性系数门限值的特征点从所述特征点集合中移除；

其中，所述第六公式为：

其中，ρ_e表示特征点e的对称性系数，m和n分别表示邻域在横坐标和纵坐标的范围大小，A_e,cd表示特征点e邻域内位置(c,d)上的像素点的灰度值，B_e,cd表示将特征点e的邻域范围内的图案翻转180度之后，位置(c,d)上的像素点的灰度值，表示特征点e的邻域范围内的所有像素点的灰度值的平均值。