CN113506348A - 一种基于格雷码辅助的三维坐标计算方法 - Google Patents

Abstract

本发明属于三维立体重建领域，具体的说是一种基于格雷码辅助的三维坐标计算方法。包括：一、标定双目相机内外参数并且捕获结构光条纹图案；二、对双目相机捕获的结构光条纹图案计算掩码图像，利用掩码图像实现快速相位展开得到绝对相位；三、对绝对相位进行横向约束；四、格雷码辅助搜索等值相位点；五、搜索到等值相位点后利用三角测距原理计算物体的三维坐标。本发明采用基于格雷码辅助的快速搜索等值相位方法获得物体的三维坐标，该方法相对于全局搜索以及双向条纹约束法的搜索速度更快。

Description

一种基于格雷码辅助的三维坐标计算方法

技术领域

本发明属于三维立体重建领域，具体的说是一种基于格雷码辅助的三维坐标计算方法。

背景技术

基于相移结合格雷码的立体视觉测量方法，具有非接触、高精度、高分辨率和低成本的优点，被广泛应用在生物医学、机器视觉、逆向工程等领域，一直是专家学者研究的热点之一，该方法通过投影仪向物体表面投射一系列相移条纹图案，相机捕获经过物体调制的条纹图案，并解码得到包裹相位，对包裹相位进行相位展开得到连续的绝对相位值：然后，在左右绝对相位图中搜索等值相位点对，最后结合双目三角测距原理得到物体的三维坐标。

目前，求取相位的常用方法有四步相移法和傅里叶变换轮廓术(FTP)法，尽管这两种方法的相位求解过程不同，但都利用反正切函数求解相位，得到分布在[-π，π]的包裹相位，要想得到全场的真实相位，需要将包裹相位进行相位展开。相位展开分为空间相位展开和时间相位展开，空间相位展开通过分析包裹相位相邻元素之间的相位值，根据相位连续性对相位值进行适当调整，从而恢复出连续的绝对相位。在应用空间相位展开时，相邻像素点展开结果相互影响，测量表面不连续的物体时容易出错；时间相位展开通过投影一系列条纹，沿时间轴进行相位展开来确定各点的相位值。其中，相移结合格雷码作为一种时间相位展开方法，其展开过程不受相邻像素点的影响，能对表面复杂的物体进行测量且精度较高；搜素等值相位点方面，直接对相位信息采用传统的基于全局的搜索策略，搜索速度慢且误差较大；双向投影光栅法利用横纵两个方向的条纹对搜索区域进行约束以此来减小误差，但需要投射两个方向的条纹图案，计算量大，影响测量速度。

发明内容

本发明提供了一种基于格雷码辅助的三维坐标计算方法，该方法首先实现了快速的相位展开，首先采用掩码图像剔除非条纹区域的像素点以此来减少计算量，然后对条纹区域的像素进行相位展开，针对相位展开过程中周期错位的问题，采用错阶格雷码结合中值滤波的校正方法进行周期校正，得到强度呈连续线性变化的绝对相位，并对绝对相位和格雷码解码序列进行横向约束，在横向约束的基础上，提出利用格雷码解码值进一步进行纵向约束，最后根据双目三角测距原理的得到物体的三维坐标，解决了现有通过搜索等值相位方法得到物体三维坐标存在的上述不足。

本发明技术方案结合附图说明如下：

一种基于格雷码辅助的三维坐标计算方法，包括以下步骤：

步骤一、标定双目相机内外参数并且捕获结构光条纹图案；

步骤二、对双目相机捕获的结构光条纹图案计算掩码图像，利用掩码图像实现快速相位展开得到绝对相位；

步骤三、对绝对相位进行横向约束；

步骤四、格雷码辅助搜索等值相位点；

步骤五、搜索到等值相位点后利用三角测距原理计算物体的三维坐标。

所述步骤一的具体方法如下：

建立双目相机的成像几何模型，对双目相机进行标定得到相机内外参数，内外参数包括：相机镜头中心位置、焦距、畸变系数、旋转平移矩阵，标定后捕获结构光条纹图案。

所述步骤二的具体方法如下：

21)额外投射一张全亮图案到物体表面增强物体区域跟非物体区域的对比度，根据分割阈值T定义物体区域为前景，非物体区域为背景，采用公式(1)计算两个区域的最大类间方差σ,当σ²取到最大值时，即为分割阈值T，利用分割阈值分割图像得到仅包含物体区域的掩码图像；

σ²＝p₁(m_t-m_g)²+p₂(m_b-m_g)² (1)

其中，p₁为像素被分类为前景的概率；p₂为像素被分类为背景的概率；m_t为前景像素；m_g为整个图案的均值；m_b为背景像素；

22)在掩码图像的基础上，对格雷码条纹图案与相移条纹图案进行解码，对相移条纹利用公式(2)进行解码得到包裹相位，对格雷码条纹图案利用公式(3)进行解码得到十进制序列，结合格雷码序列与包裹相位采用公式(4)进行相位展开；

Φ(x,y)＝φ(x,y)+2πk(x,y) (4)

其中，I_n(x,y)sin(2nπ/X)为第n张相移条纹图案；k(x,y)为格雷码解码序列；B_i(x,y)为二进制序列；N为格雷码位数；i为第几位格雷码；Φ(x,y)为绝对相位；φ(x,y)为包裹相位；

23)对展开周期进行校正；如果是孤立的错位点，在N位传统格雷码的基础上，额外投射一张最细条纹宽度为N位格雷码一半的错阶格雷码条纹图案，前N张格雷码的解码序列为k₁，N+1张格雷码条纹解码序列为k₂,k₂序列的值与传统格雷码解码值k₁边界处的解码值相互错开，进而避免边界解码产生的错误，并用公式(5)进行周期校正；如果是相邻的错位点，采用一个中值滤波器利用公式(6)来消除剩余的错位点；

Φ_m(x,y)＝medfilt2[Φ(x,y)；s_x×s_y] (6)

其中，Φ_m(x,y)为中值滤波之后的绝对相位；Φ(x,y)为中值滤波前的绝对相位；S_x×S_y为滤波器尺寸,medfilt2[]为中值滤波算子。

所述步骤三的具体方法如下：

绝对相位进行横向约束就是将原始的绝对相位图通过一系列的位置矩阵以及插值方法，将左右绝对相位图片的横坐标对齐到极线上，需要的位置矩阵由双目相机标定获得。

所述步骤四的具体方法如下：

41)利用格雷码的解码序列对左右相位图像进行纵向约束，更加精准地搜索等值相位点，由于N位格雷码将被测物体粗略分为2^N个区域，解码后，这些区域获得范围在0～2^N-1的序列值k，在一个周期内，相移条纹与格雷码最细条纹拥有相同个数的像素点，故相移条纹将2^N个区域进一步细分；

42)每个区域的格雷码值不同，故在横向约束的基础上利用格雷码解码值的唯一性形成纵向约束，如公式(7)所示：

其中，C₁为横向约束区域；C₂为格雷码解序列所确定的纵向约束区域；C为C₁与C₂的共同区域即为初始搜索点所在区域；C₁|(x_r,y_r)表示在右极线上的点，x_r为横坐标；y_r纵坐标；

极线所示方程：

ax_r+by_r+c<δ (8)

a为极线的横截距；b为极线的纵截距；c为极线与纵坐标的交点；δ为一常数；k_r(C₂)是右格雷码解码值为k_r的区域；k_l(x_l,y_l)为左图点(x_l,y_l)的格雷码解码值；

43)在确定起始搜索点后，为减小图像采集过程所带来的噪声影响，定义一个搜索窗口，将格雷码最细条纹宽度除搜索窗口的尺寸，在搜索等值相位点时，选取第一个灰度值不为零的像素点，窗口放在相对的相位图中，将搜索窗口中每处的相位值与该点作公式(9)中的运算，满足其结果的即为等值相位点，同时将匹配窗口中每个位置赋予不同的权值，减少由边缘处相位突变引起的误差；

|Φ^l(x,y)-Φ^r(x,y)|<I_set (9)

其中，Φ^l(x,y)为左绝对相位图；Φ^r(x,y)为右绝对相位图；I_set为设定的阈值，满足上式的绝对相位即为等值相位点对，记为P^l(x_l,y_l),P^r(x_r,y_r)。

所述步骤五的具体方法如下：

在搜索到等值相位点对P^l(x_l,y_l),P^r(x_r,y_r)后，利用双目三角测距原理计算物体的三维坐标P(x,y,z)，其中x＝x_l、y＝y_l，b、f由相机标定获得，z通过公式(10)求得：

其中，z为物体到相机平面的距离；x_l为左绝对相位图的横坐标；y_l左绝对相位图的纵坐标；b为两相机镜头的距离；f为焦距。

本发明的有益效果为：

本发明首先采用了掩码图像剔除非条纹区域来减小计算量，其次采用相移结合格雷码的相位展开方法，经过以上处理后，能够快速准确地得到绝对相位；最后，利用格雷码辅助的快速搜索等值相位方法得到等值相位点对，该方法相对于全局搜索以及双向条纹约束法的搜索速度更快。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的系统框图；

图2为双目三角测距原理图；

图3为相位展开过程示意图；

图4为格雷码纵向约束原理示意图；

图5为左相机捕获图案示意图；

图6为右相机捕获图案示意图；

图7为左掩码图像示意图；

图8为右掩码图像示意图；

图9为左绝对相位示意图；

图10为右绝对相位示意图；

图11为刹车盘正面点云示意图；

图12为刹车盘侧面点云示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，一种基于格雷码辅助的三维坐标计算方法，包括以下步骤：

步骤一、标定双目相机内外参数并且捕获结构光条纹图案；

所述步骤一的具体方法如下：

参阅图2，建立双目相机的成像几何模型，对双目相机进行标定得到相机内外参数，内外参数包括：相机镜头中心位置、焦距、畸变系数、旋转平移矩阵，标定后捕获结构光条纹图案，标定后捕获结构光条纹图案。

图中，P为物体上一点；x_l为P在左相机的横坐标；x_r为P在右相机的横坐标；Z为点P到左右相机平面的距离；O^l为左相机的光心；O^r为右相机的光心；f为焦距；b为两镜头之间的距离。

参阅图3，步骤二、对双目相机捕获的结构光条纹图案计算掩码图像，利用掩码图像实现快速相位展开得到绝对相位。

采用相移结合格雷码实现快速的相位展开，其过程包括：生成一张只包含被测物体区域的掩码图像、在掩码图像的基础上实现相位展开、对存在周期错位的像素点采用错阶格雷码结和中值滤波的进行校正。具体为：

1)额外投射一张全亮图案到物体表面增强物体跟背景的对比度，根据分割阈值T定义条纹区域为前景，非条纹区域为背景，采用公式(11)计算两个区域的最大类间方差σ,当σ²取到最大值时，即为分割阈值T，利用分割阈值分割图像得到仅包含物体区域的掩码图像；

σ²＝p₁(m_t-m_g)²+p₂(m_b-m_g)² (11)

其中，p₁为像素被分类为前景的概率；p₂为像素被分类为背景的概率；m_t为前景像素；m_g为整个图案的均值；m_b为背景像素；

2)在掩码图像的基础上，对格雷码条纹图案与相移条纹图案进行解码，对相移条纹利用公式(12)进行解码得到包裹相位，对格雷码条纹图案利用公式(13)进行解码得到十进制序列，结合格雷码序列与包裹相位采用公式(14)进行相位展开；

Φ(x,y)＝φ(x,y)+2πk(x,y) (14)

其中，I_n(x,y)sin(2nπ/X)为第n张相移条纹图案；k(x,y)为格雷码解码序列；B_i(x,y)为二进制序列；N为格雷码位数；i为第几位格雷码；Φ(x,y)为绝对相位；φ(x,y)为包裹相位；

3)对展开周期进行校正；如果是孤立的错位点，在N位传统格雷码的基础上，额外投射一张最细条纹宽度为N位格雷码一半的错阶格雷码条纹图案，前N张格雷码的解码序列为k₁，N+1张格雷码条纹解码序列为k₂,k₂序列的值与传统格雷码解码值k₁边界处的解码值相互错开，进而避免边界解码产生的错误，并用公式(15)进行周期校正，该方法对孤立的错位点有很好的校正结果，但是对于相邻的错位点该方法难以得到一个较好的效果。相邻错位点的出现是因为在错阶格雷码解码时更细的格雷码条纹更容易在黑白边缘处产生解码误差，而这种误差的宽度大于相移条纹周期的一半，此时互补格雷码失效；如果是相邻的错位点，采用一个中值滤波器利用公式(16)来消除剩余的错位点；

Φ_m(x,y)＝medfilt2[Φ(x,y)；s_x×s_y] (16)

其中，Φ_m(x,y)为中值滤波之后的绝对相位；Φ(x,y)为中值滤波前的绝对相位；S_x×S_y为滤波器尺寸，medfilt2[]为中值滤波算子。

经过上述处理，最终获得了只包含被测物体区域的绝对相位图以及格雷码解码序列如图3中“最终绝对相位”所示。

步骤三、对绝对相位进行横向约束；

为了快速而精准的搜索到等值相位点，需要对左右绝对相位进行横向约束，而横向约束就是将原始的绝对相位图通过一系列的位置矩阵以及插值方法，将左右绝对相位图片的横坐标对齐到极线上，需要的位置矩阵已经由双目相机标定获得。

步骤四、格雷码辅助搜索等值相位点；

4)利用格雷码的解码序列对左右相位图像进行纵向约束，更加精准地搜索等值相位点，由于N位格雷码将被测物体粗略分为2^N个区域，解码后，这些区域获得范围在0-2^N-1的序列值k，在一个周期内，相移条纹与格雷码最细条纹拥有相同个数的像素点，故相移条纹将2^N个区域进一步细分；

5)每个区域的格雷码值不同，故在横向约束的基础上利用格雷码解码值的唯一性形成纵向约束如图4中虚线区域所示，图4中的绝对相位跟格雷码解码序列，如公式(17)所示：

其中，C₁为横向约束区域；C₂为格雷码解序列所确定的纵向约束区域；C为C₁与C₂的共同区域即为初始搜索点所在区域；C₁|(x_r,y_r)表示在右极线上的点，x_r为横坐标；y_r纵坐标；极线所示方程：

ax_r+by_r+c<δ (18)

a为极线的横截距；b为极线的纵截距；c为极线与纵坐标的交点；δ为一常数；k_r(C₂)是右格雷码解码值为k_r的区域；k_l(x_l,y_l)为左图点(x_l,y_l)的格雷码解码值。

6)在确定起始搜索点后，为减小图像采集过程所带来的噪声影响，定义一个搜索窗口，将格雷码最细条纹宽度除搜索窗口的尺寸，在搜索等值相位点时，以左绝对相位图为例，选取第一个灰度值不为零的像素点，窗口放在右相位图中，将搜索窗口中每处的相位值与该点作公式(19)中的运算，满足其结果的即为等值相位点，同时将匹配窗口中每个位置赋予不同的权值，减少由边缘处相位突变引起的误差；

|Φ^l(x,y)-Φ^r(x,y)|<I_set (19)

其中，Φ^l(x,y)为左绝对相位图；Φ^r(x,y)为右绝对相位图；I_set为设定的阈值，满足上式的绝对相位即为等值相位点对,记为P^l(x_l,y_l),P^r(x_r,y_r)。

步骤五、搜索到等值相位点后利用三角测距原理计算物体的三维坐标。

在搜索到等值相位点对P^l(x_l,y_l),P^r(x_r,y_r)后，利用双目三角测距原理计算物体的三维坐标P(x,y,z)，其中x＝x_l、y＝y_l，b、f由相机标定获得，z通过公式(20)求得：

因为三角形相似

故有：

所以物体到相机平面的距离Z：

其中，z为点P到左右相机平面的距离；x_l为P在左相机的横坐标；y_l为P在左相机的横坐标；b为两镜头之间的距离f为焦距。

实施例

本实施例结合汽车刹车盘对本方法进行实例验证：

参阅图5和图6为左右相机捕获到的部分条纹图案，包括相移条纹图案以及格雷码条纹图案。

本方法共用到12张条纹图案，4张相移条纹图案，6张传统格雷码图案，1张错阶格雷码图案，1张全亮图案。

为了更好的区分刹车盘去背景像素的对比度，利用1张全亮图案将刹车盘区域“照亮”，然后利用本发明提到的阈值分割方法生成掩码图像，从该图7和图8可以看到掩码图像仅包含刹车盘区域的像素点，从而减少了计算量，为后续的快速相位展开提供了条件。

对掩码图像内像素点进行格雷码解码、相移解码、周期校正，得到绝对相位如图9和图10所示。

首先求取4张相移图案的平均灰度值，将该值设为格雷码条纹的二值化阈值，然后对二值化后的格雷码条纹进行异或运算得到二进制值，组后将二进制值转换成十进制完成格雷码的解码：

对4张相移条纹图案采用公式(12)求取包裹相位，然后利用公式(13)计算格雷码与错阶格雷码解码序列，利用公式(14),(15),(16)得到呈线性变化的绝对相位。

将图9、10利用格雷码解码序列进行纵向约束搜索等值相位点，对搜索到的等值相位点对结合三角测距原理求取刹车盘的三维坐标，并将三维坐标用如图11和图12所示点云的形式显示。

由图11点云图可以看到，点云比较稠密且完整，说明本文提到的方法能够很好的求取物体三维坐标，从图12侧面的点云图可以反应出物体的高度，与物体的真实高度差仅为0.1mm，说明方法具有准确性。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明的保护范围并不局限于上述实施方式中的具体细节，在本发明的技术构思范围内，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (6)

1.一种基于格雷码辅助的三维坐标计算方法，其特征在于，包括以下步骤：

步骤一、标定双目相机内外参数并且捕获结构光条纹图案；

步骤二、对双目相机捕获的结构光条纹图案计算掩码图像，利用掩码图像实现快速相位展开得到绝对相位；

步骤三、对绝对相位进行横向约束；

步骤四、格雷码辅助搜索等值相位点；

步骤五、搜索到等值相位点后利用三角测距原理计算物体的三维坐标。

2.根据权利要求1所述的一种基于格雷码辅助的三维坐标计算方法，其特征在于，所述步骤一的具体方法如下：

建立双目相机的成像几何模型，对双目相机进行标定得到相机内外参数，内外参数包括：相机镜头中心位置、焦距、畸变系数、旋转平移矩阵，标定后捕获结构光条纹图案。

3.根据权利要求1所述的一种基于格雷码辅助的三维坐标计算方法，其特征在于，所述步骤二的具体方法如下：

21)额外投射一张全亮图案到物体表面增强物体区域跟非物体区域的对比度，根据分割阈值T定义物体区域为前景，非物体区域为背景，采用公式(1)计算两个区域的最大类间方差σ,当σ²取到最大值时，即为分割阈值T，利用分割阈值分割图像得到仅包含物体区域的掩码图像；

σ²＝p₁(m_t-m_g)²+p₂(m_b-m_g)² (1)

其中，p₁为像素被分类为前景的概率；p₂为像素被分类为背景的概率；m_t为前景像素；m_g为整个图案的均值；m_b为背景像素；

22)以掩码图像非零区域引导格雷码条纹图案与相移条纹图案进行解码，对相移条纹利用公式(2)进行解码得到包裹相位，对格雷码条纹图案利用公式(3)进行解码得到十进制序列，结合格雷码序列与包裹相位采用公式(4)进行相位展开；

Φ(x,y)＝φ(x,y)+2πk(x,y) (4)

其中，I_n(x,y)sin(2nπ/X)为第n张相移条纹图案；k(x,y)为格雷码解码序列；B_i(x,y)为二进制序列；N为格雷码位数；i为第i位格雷码；Φ(x,y)为绝对相位；φ(x,y)为包裹相位；

23)对展开周期进行校正；如果是孤立的错位点，在N位传统格雷码的基础上，额外投射一张最细条纹宽度为N位格雷码一半的错阶格雷码条纹图案，前N张格雷码的解码序列为k₁，N+1张格雷码条纹解码序列为k₂,k₂序列的值与传统格雷码解码值k₁边界处的解码值相互错开，进而避免边界解码产生的错误，并用公式(5)进行周期校正；如果是相邻的错位点，采用一个中值滤波器利用公式(6)来消除剩余的错位点；

Φ_m(x,y)＝medfilt2[Φ(x,y)；s_x×s_y] (6)

其中，Φ_m(x,y)为中值滤波之后的绝对相位；Φ(x,y)为中值滤波前的绝对相位；S_x×S_y为滤波器尺寸，medfilt2[]为中值滤波算子。

4.根据权利要求1所述的一种基于格雷码辅助的三维坐标计算方法，其特征在于，所述步骤三的具体方法如下：

绝对相位进行横向约束就是将原始的绝对相位图通过一系列的位置矩阵以及插值方法，将左右绝对相位图片的横坐标对齐到极线上，需要的位置矩阵由双目相机标定获得。

5.根据权利要求1所述的一种基于格雷码辅助的三维坐标计算方法，其特征在于，所述步骤四的具体方法如下：

41)利用格雷码的解码序列对左右绝对相位图像进行纵向约束，更加精准地搜索等值相位点，由于N位格雷码将被测物体粗略分为2^N个区域，解码后，这些区域获得范围在0-2^N-1的序列值k，在一个周期内，相移条纹与格雷码最细条纹拥有相同个数的像素点，故相移条纹将2^N个区域进一步细分；

42)因为每个区域的格雷码值不同，故在横向约束的基础上利用格雷码解码值的唯一性形成纵向约束，如公式(7)所示：

其中，C₁为横向约束区域；C₂为格雷码解序列所确定的纵向约束区域；C为C₁与C₂的共同区域即为初始搜索点所在区域；C₁|(x_r,y_r)表示在右极线上的点，x_r为横坐标，y_r为纵坐标；

极线所示方程：

ax_r+by_r+c<δ (8)

a为极线的横截距；b为极线的纵截距；c为极线与纵坐标的交点；δ为一常数；k_r(C₂)是右格雷码解码值为k_r的区域；k_l(x_l,y_l)为左图点(x_l,y_l)的格雷码解码值；

43)在确定起始搜索点后，为减小图像采集过程所带来的噪声影响，定义一个搜索窗口，将格雷码最细条纹宽度除搜索窗口的尺寸，在搜索等值相位点时，选取第一个灰度值不为零的像素点，窗口放在相对的相位图中，将搜索窗口中每处的相位值与该点作公式(9)中的运算，满足其结果的即为等值相位点，同时将匹配窗口中每个位置赋予不同的权值，减少由边缘处相位突变引起的误差；

|Φ^l(x,y)-Φ^r(x,y)|<I_set (9)

其中，Φ^l(x,y)为左绝对相位图；Φ^r(x,y)为右绝对相位图；I_set为设定的阈值，满足上式的绝对相位即为等值相位点对,记为P^l(x_l,y_l),P^r(x_r,y_r)。

6.根据权利要求1所述的一种基于格雷码辅助的三维坐标计算方法，其特征在于，所述步骤五的具体方法如下：

在搜索到等值相位点对P^l(x_l,y_l),P^r(x_r,y_r)后，利用双目三角测距原理计算物体的三维坐标P(x,y,z)，其中x＝x_l、y＝y_l，b、f由相机标定获得，z通过公式(10)求得：

其中，z为物体到相机平面的距离；x_l为左绝对相位图的横坐标；y_l左绝对相位图的纵坐标；b为两相机镜头的距离；f为焦距。

Images