CN108038898A

CN108038898A - 一种单帧二值结构光编解码方法

Info

Publication number: CN108038898A
Application number: CN201711071098.XA
Authority: CN
Inventors: 李中伟; 詹国敏; 钟凯; 刘洁; 史玉升; 王从军
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2017-11-03
Filing date: 2017-11-03
Publication date: 2018-05-15
Anticipated expiration: 2037-11-03
Also published as: CN108038898B

Abstract

本发明属于三维重构技术领域，并公开了一种单帧二值结构光编解码方法，包括以下步骤：1)对获取的编码图案中的特征点进行粗提取；2)对步骤1)查找到备选位置进行精提取；3)特征点的亚像素位置确定；4)对步骤3)获得的每个特征点进行解码；5)特征点通过编码值与极线约束原理可唯一确定的对应关系，实现双目视觉中的对应点查找，最后利用双目重构算法完成三维测量。本发明利用单帧二值的编码图像进行双目立体视觉的唯一性匹配，并实现精确的特征点提取。实现了在单帧结构光投影条件下的三维测量，该方法适合于高速三维测量。

Description

一种单帧二值结构光编解码方法

技术领域

本发明属于三维重构技术领域，更具体地，涉及一种单帧二值结构光编解码方法。

背景技术

面结构光三维测量方法通过向被测物体投影结构光图像，并用相机拍摄物体表面，获取经过物体表面调制后图像。通过特定的算法匹配每个特征位置的对应关系，根据三角测量原理，重建被测物体表面的三维数据。面结构光三维测量方法的关键是利用主动投影结构光获取两相机图像中特征点的对应关系，从而利用双目视觉原理求出三维坐标。

根据投影图像编码测量的不同，大部分结构光三维测量方法可以分为两大类：多帧与单帧结构光测量方法。多帧结构光通过顺序投影多帧编码图像，通过每帧图像相同位置的编码信息来检索对应点，因此能实现全分辨率的三维面形测量。但是动态物体的运动会引起相应的误差。单帧结构光测量方法只投影单幅编码图像，通过每个特征点的邻域编码信息进行对应点查找，此方法非常适合动态三维测量。但由于采用了邻域的编码信息降低了该方法的空间分辨率，同时也影响了被测物体边缘处的测量。另一方面由于仅采用单帧图像编码，无法采用多帧编码的方法消去物体表面纹理带来的影响，故编码时需考虑尽量增大编码方法的信噪比。

综上所述：单帧结构光编码方法适合于高速三维测量，但在精度、稳定性、空间分辨率几方面有着不足。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种单帧二值结构光编解码方法，该方法能实现了高速三维测量，同时具有较高的测量空间分辨率与测量稳定性。

为实现上述目的，按照本发明，提供了一种单帧二值结构光编解码方法，其特征在于，包括以下步骤：

1)对编码图案中的特征点进行粗提取：投影仪将编码图案投影到被测物体上，两个CCD相机对被测物体表面的编码图案进行采集获得编码图像，然后利用卷积模板对所述编码图像进行卷积操作，并通过卷积操作得到对称值分布图，从所述对称值分布图中提取峰值位置与谷值位置，所述峰值位置与谷值位置分别为编码图案中P+与P-两种类型特征点的备选位置，其中，所述投影仪位于两个CCD相机之间，所述卷积模板为如下(2n+1)×(2n+1)矩阵：

上述矩阵中，空白处的数值均为0，并且n为正整数；

2)对步骤1)中的备选位置进行精提取：将备选位置的每个像素进行180°旋转，然后求解每个像素的相关性值ρc，并提取大于相关性阈值的像素区域作为精提取区域；

3)特征点的亚像素位置确定：利用步骤2)的精提取区域获得每个大于相关性阈值的像素的连通域，根据相关性因子ρc进行重心法求解，得到每个特征点的亚像素的位置；

4)对步骤3)获得的每个特征点进行解码：对每个特征点分别在x轴方向和y轴方向上求解梯度，根据梯度的极值对精提取区域进行判断，找到特征点对应的四个角的坐标位置，再利用高斯卷积模板求解编码区域的灰度值，并利用编码区域的均值作为判断的阈值，得到每个角的黑白编码值，最终根据特征点的类型，求出每个特征点的编码；其中，x轴和y轴组成平面直角坐标系，并且x轴为水平方向；

5)通过编码值与极线约束原理实现双目视觉中特征点的对应点查找，然后利用双目重构算法完成被测物体的三维测量。

优选地，所述编码图案包括多个特征点P+与其四周的a₁～a₄四个编码组成的区域以及P-与其四周的四个编码a₃～a₆组成的区域，在编码图案中用黑白二值分别代表编码的0、1，并且在编码图案的序列周期内，每一列的编码具有唯一性。

优选地，步骤2)中得到特征点精提取区域的具体步骤如下：

2.1)提取特征点备选区域的对称值，设为矩阵M_c，将该矩阵转置得到其转置矩阵M'_c；

2.2)使用以下公式获得相关性因子ρc：

其中，M_ci表示备选区域的像素矩阵，M'_ci表示备选区域像素矩阵的转置，分别为矩阵M_c与M'_c的均值，t为编码图像实际特征点区域中像素个数；

2.3)筛选出相关性因子的结果，得到特征点精提取区域。

优选地，所述卷积模板的大小根据图像实际特征点区域的大小进行确定。

总体而言，本发明利用单帧二值的编码图像进行双目立体视觉的唯一性匹配，并实现精确的特征点提取，可以实现在单帧结构光投影条件下的三维测量，适合于高速三维测量，能够取得下列有益效果：

1)通过合理的编码方法与设计，尽可能的减小了邻域编码的区域，实现的最大密度下的特征点分布。

2)设计的编码图案使用二值的编码方法，相较于彩色或灰度编码跟适合于高速投影，且具有较高的鲁棒性。

3)提出的特征点查找与提取算法，对于投影的二值编码图案具有较高的精度和鲁棒性。

附图说明

图1为结构光三维测量原理示意图；

图2为本发明提出的二值单帧编码图；

图3为本发明的解码重建算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

参照图1～图3，一种单帧二值结构光编解码方法，适用于典型的高速三维测量方法，该方法基于单帧编码的结构光图像编码架构。三维测量设备101由投影装置103与CCD相机102组成，测量时严格保持DLP投影仪与两个CCD相机的相对位置不变。测量时，由投影装置103向被测物体104投影二值单帧编码图像，两个相机对被测物体表面的图像进行采集，并传输至PC机105上完成后续解码与三维重建算法(S101-S105)。

本发明提出的单帧编码图案如图2所示，编码图案由角点特征点(P+、P-)与其四周的编码(a₁-a₆)构成。在图像中用黑白二值分别代表编码的0、1，在序列周期内，每一列的编码具有唯一性。特征点通过编码值与极线约束原理可以确定唯一的对应关系，实现双目视觉中的对应点查找。

如图3所示，本发明提供的单帧编码图案的特征点查找与解码方法，该方法主要包括下述步骤：

S101：对获取的编码图案中的特征点进行粗提取。根据角点灰度分布特征，其在水平方向与垂直方向具有对称性，故针对这个特点设计模板对全图进行卷积操作，得到对称值分布图，利用分布图的极值预期可以实现对特征点的粗提取。

第1.1步利用以下模板对全图进行卷积操作，模板的大小根据图像实际特征点区域的大小进行确定，通过卷积操作得到对称值分布图。所述卷积模板为如下(2n+1)×(2n+1)矩阵：

上述矩阵中，空白处的数值均为0，并且n为正整数；

第1.2步，从得到的对称值分布图中提取区域峰值与谷值位置，位置分别确定为P+与P-两种类型特征点的备选位置。

S102：对S101查找到备选位置进行精提取，利用对称值分布图的旋转对称性，对特征备选位置区域与该区域旋转结果进行相关性计算，大于相关性阈值的位置为精提取结果。

第2.1步，提取备选特征点区域对称值，设为矩阵M_c。将矩阵转置得到M'_c。

第2.2步，使用以下公式计算相关性因子ρc：

其中，M_ci表示备选区域的像素矩阵，M'_ci表示备选区域像素矩阵的转置，分别为矩阵M_c与M'_c的均值，t为编码图像实际特征点区域中像素个数。

第2.3步，使用一个阈值来筛选出相关性因子的结果(由于因子为归一化的结果，阈值可以设置为定值，通常为0.7)，得到特征点精提取区域。

S103：确定特征点的亚像素位置。利用S102的相关性因子结果，取得每个大于相关性阈值的联通域，根据相关性值ρ进行重心法求解得到每个特征点的亚像素精度位置结果。

S104：求解每个特征点的编码值，具体步骤如下：

第4.1步，在每个特征点位置的x、y方向上分别求解梯度，根据梯度的极值对解码区域进行判断，找到特征点解码位置四个角的坐标位置。

第4.2步，为了避免噪声的影响，在解码位置利用高斯模板(模板通常略小于图像的编码区域)使用卷积的方法求解编码区域的灰度值。利用求得的区域均值作为判断阈值，得到每个角的0、1编码。最终根据特征点类型(P+、P-)，按照表1的解码公式求出每个特征点的编码。

表1角码公式表

S105：特征点通过编码值与极线约束原理可以确定唯一的对应关系，实现双目视觉中的对应点查找，最后利用双目重构算法完成三维测量。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种单帧二值结构光编解码方法，其特征在于，包括以下步骤：

上述矩阵中，空白处的数值均为0，并且n为正整数；

2.根据权利要求1所述的一种单帧二值结构光编解码方法，其特征在于，所述编码图案包括多个特征点P+与其四周的a₁～a₄四个编码组成的区域以及P-与其四周的四个编码a₃～a₆组成的区域，在编码图案中用黑白二值分别代表编码的0、1，并且在编码图案的序列周期内，每一列的编码具有唯一性。

3.根据权利要求1所述的一种单帧二值结构光编解码方法，其特征在于，步骤2)中得到特征点精提取区域的具体步骤如下：

2.1)提取特征点备选区域的对称值，设为矩阵M_c，将该矩阵转置得到其转置矩阵M_c'；

2.2)使用以下公式获得相关性因子ρc：

<mrow> <mi>&rho;</mi> <mi>c</mi> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>t</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>M</mi> <mrow> <mi>C</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <mover> <msub> <mi>M</mi> <mi>C</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msup> <msub> <mi>M</mi> <mrow> <mi>C</mi> <mi>i</mi> </mrow> </msub> <mo>&prime;</mo> </msup> <mo>-</mo> <mover> <mrow> <msup> <msub> <mi>M</mi> <mi>C</mi> </msub> <mo>&prime;</mo> </msup> </mrow> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>t</mi> </msubsup> <msup> <mrow> <mo>(</mo> <msub> <mi>M</mi> <mrow> <mi>C</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <mover> <msub> <mi>M</mi> <mi>C</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>t</mi> </msubsup> <msup> <mrow> <mo>(</mo> <msup> <msub> <mi>M</mi> <mrow> <mi>C</mi> <mi>i</mi> </mrow> </msub> <mo>&prime;</mo> </msup> <mo>-</mo> <mover> <mrow> <msup> <msub> <mi>M</mi> <mi>C</mi> </msub> <mo>&prime;</mo> </msup> </mrow> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>

其中，M_ci表示备选区域的像素矩阵，M_c'_i表示备选区域像素矩阵的转置，分别为矩阵M_c与M_c'的均值，t为编码图像实际特征点区域中像素个数；

2.3)筛选出相关性因子的结果，得到特征点精提取区域。

4.根据权利要求1所述的一种单帧二值结构光编解码方法，其特征在于，所述卷积模板的大小根据图像实际特征点区域的大小进行确定。