CN101673412B - 结构光视觉成像系统的光模板匹配方法 - Google Patents

Abstract

一种结构光三维视觉系统的光模板匹配方法，包括以下步骤：1)、光条边界的定位：待检测的光模板为一维条纹编码，沿着图像的每个列扫描，对每个像素点的各个通道用一维列算子进行预处理，确定灰度变化强烈的像素点为候选边缘点，在图像每一列上以候选边缘点为中心，选取一定大小的区域，其最大值不超过光条宽度的1/2，搜索局部领域；2)、光条匹配：采用颜色聚类的方法建立颜色匹配特征向量，对图像颜色和投射颜色进行比较，定义色彩特征向量与聚类中心的欧式距离来分配候选光条红绿蓝白颜色。本发明能实现光模板的良好匹配、成像精度高、能实现结构光视觉成像系统三维重建。

Description

结构光视觉成像系统的光模板匹配方法

技术领域

本发明涉及计算机视觉、数据处理、图像处理，尤其是一种结构光三维视觉系统的光模板匹配方法。

背景技术

人眼对于颜色的观察和处理是一种生理和心理现象，为了能用计算机来处理图像中的颜色信息，必须能够用定量的方法来描述它，即建立相应彩色模型。自然界中的所有颜色都可以由红、绿、蓝(R、G、B)三种颜色合成。针对红(绿/蓝)分量的多少，人为地划分为0～255共256个等级，0表示不含红色(绿/蓝)成分，255表示含有100％红色(绿/蓝)成分。根据红、绿、蓝各种不同的组合就能表示256×256×256种颜色，例如一个像素，当它的红、绿、蓝成分分别为0、255、255时显示为青色。而对于灰度图像的像素，该像素的红、绿、蓝成分是相等的，只不过随着这三个分量数值的增大，像素颜色从黑色变成白色。现有大多数的彩色成像设备和彩色显示设备都采用RGB(Red/Green/Blue，红绿蓝)三基色来表示和存储，基于上述的设计，可采用常用的RGB模型来建立彩色模型，彩色数字图像可以由RGB彩色空间表示，RGB空间如图1所示，为方便起见，把所有颜色值都归一化，即图示的立方体是一个单位立方体。

在彩色投射系统中，光条坐标需要从一副图像中检测出来，本文提出一种新的编码策略，对投射光模板的每一行进行编码。为了减少彩色识别的繁杂性和提高可靠性，保证颜色空间区分度足够大，要求在RGB空间中至少有两个颜色通道不同，因此选择红、绿、蓝三基色和白作为编码颜色，由如3-2可以看出，除黑白外，红、绿、蓝和白之间的空间距离达到最大，这可以保证对任何高饱和度的场景都保持足够的距离，编码颜色集可以选取为P＝{(255，0，0)，(0，255，0)，(0，0，255)，(255，255，255)}的4元素集，白色作为间隔各条颜色，满足了白色光条出现的次数最多，以得到较高的图像亮度，对应的颜色集字母映射为：

P＝{P_i|i＝1，2，3，4}

P_i分别指示红、绿、蓝和白四颜色。

基于传统的De Bruijn空间编码方法，引进等宽白色光条来间隔彩色光条，使相邻光条使用同一种颜色色调值，有效编码率达到100％。光模板由2n^m条光条组成，其中颜色数目为n，窗口大小为m，而现有De Bruijn编码技术采用同样参数只能生成n(n-1)^m条光条，产生的编码序列为：

3，4，3，4，3，4，2，4，3，4，3，4，1，4，3，4，2，4，2，4，3，4，2，4，1，4，3，

4，1，4，2，4，3，4，1，4，1，4，2，4，2，4，2，4，1，4，2，4，1，4，1，4，1

实际场景中，物体表面的不连续性使得部分光条不可见，导致3D数据错误增加，这样的光条称为阴影光条。引进白色光条的优点可以增加可解码光条比率，因为相应的阴影光条被不参与解码的白色光条替代。定义Q＝{1，2，...，2n^m}，对应每条光条的坐标序号值。由此生成的光模板如图2所示，每个条纹边界划分一个平面空间。

同时，为了增加现有编码模板的分辨率，提出一个有效的时空编码，投射的每一帧图像由相同的光模板组成，后一帧由前一帧下移光条1/4宽度组成，四帧光模板如图2所示。鉴于先前已有大量的文献在数理组和方面对De Bruijn序列进行了研究，采用文献的方法产生序列。系统利用每帧光条边界空间编码唯一性以及多帧的时间特性来增加重建模型的精度和分辨率。

现有技术中，并没有针对上述光模板的匹配方法，导致结构光视觉成像系统的成像精度低、无法有效实现三维重建。

发明内容

为了克服已有的结构光视觉成像系统的无法进行光模板的匹配、成像精度低、无法有效实现三维重建的不足，本发明提供一种实现光模板的良好匹配、成像精度高、能实现结构光视觉成像系统三维重建的结构光视觉成像系统的光模板匹配方法。

本发明解决其技术问题所采用的技术方案是：

一种结构光视觉成像系统的光模板匹配方法，包括以下步骤：

1)、光条边界的定位：

待检测的光模板为一维条纹编码，沿着图像的每个列扫描，对每个像素点的各个通道用一维列算子进行预处理，确定灰度变化强烈的像素点为候选边缘点，在图像每一列上以候选边缘点为中心，选取一定大小的区域，其最大值不超过光条宽度的1/2，搜索局部领域的步骤如下：

(1.1).初始化候选边缘点作为一区域中心z_i，j；

(1.2).沿列方向搜索，将z_i-k，j，z_i+k，j像素颜色空间转成色调、亮度和饱和度(HIS)空间；

(1.3).增加新的点到这个区域，只要满足与相邻像素点的色调值差不超过设定的阈值H

h＝|z_i±k，j，h-z_{i±k±1，j，h}|    (1)

h是两个像素色调的差值，z_i±k，j，h表示第i±k行j列像素的色调值；经算子处理后，像素点的三通道灰度值为G_ij，局部区域三通道灰度值之和的最大值的像素点定义为边界点；

$\max \left(E\right)=\underset{j=1}{\overset{C}{\mathrm{\Σ}}}{G}_{\mathrm{ij}}(C=3)---\left(2\right)$

E为算子处理后像素点灰度值之和的最大值；

2)、光条匹配：采用颜色聚类的方法建立颜色匹配特征向量，对图像颜色和投射颜色进行比较，定义色彩特征向量与聚类中心的欧式距离来分配候选光条红绿蓝白颜色；

不同的颜色群集聚在特定的RGB空间区域，通过样本点训练颜色群的聚类中心，然后用点到点的距离来匹配光条颜色；

D_ik＝d²(P_i，C_k)(k＝1，2，3，4)    (3)

D_ik是两点距离的平方，P_i是光条中心像素的RGB特征向量，C_k是颜色聚类中心，d(x，y)是x，y两点之间距离；设D＝min(D_ik)，那么光条颜色的分配按照(4)式进行：

s_c＝{k if D＝＝D_ik(k＝1，2，3，4)    (4)

s_c表示光条颜色；

分配好颜色后，每三条相邻的光条颜色组成一个码字s_i，找出每个码字在整个序列的位置就是解码；光条坐标值x_i定义为：

$x_i=\mathrm{DdBS}\left(s_i\right)+\frac{1}{4}(j-1)---\left(5\right)$

DdBS(s_i)表示直接解码第j帧光模板子序列s_i的坐标位置。

进一步，在所述步骤2)中，聚类中心的搜索方法为：

(2.1).初始化K＝4，红、绿、蓝、白色彩类，初始化K个群的中心；

(2.2).把每个样本点分配给离群中心距离最小的群；

(2.3).K群中的质心点成为新的聚类中心；

(2.4).重复步骤2和3直到所有点都趋向稳定地聚集。

本发明的有益效果主要表现在：实现光模板的良好匹配、成像精度高、能实现结构光视觉成像系统三维重建。

附图说明

图1是RGB空间的示意图。

图2是白色等宽间隔的序列光模板示意图。

图3是四帧逆时针旋转90°的时移光模板示意图。

图4是边缘检测算子的示意图。

图5是算子边缘检测结果的示意图。

图6是任意列的像素扫描通道灰度值的示意图。

图7是边缘检测算子的一维列算子示意图。

图8是光条边界检测的示意图。

图9是像素点颜色的RGB空间示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图9，一种结构光视觉成像系统的光模板匹配方法，包括以下步骤：

1)、光条边界的定位：

待检测的光模板为一维条纹编码，沿着图像的每个列扫描，对每个像素点的各个通道用一维列算子进行预处理，一维算子如附图中的图7所示，确定灰度变化强烈的像素点为候选边缘点，在图像每一列上以候选边缘点为中心，选取一定大小的区域，其最大值不超过光条宽度的1/2，搜索局部领域的步骤如下：

(1.1).初始化候选边缘点作为一区域中心z_i，j；

(1.2).沿列方向搜索，将z_i-k，j，z_i+k，j像素颜色空间转成色调、亮度和饱和度(HIS)空间；

(1.3).增加新的点到这个区域，只要满足与相邻像素点的色调值差不超过设定的阈值H

h＝|z_i±k，j，h-z_{i±k±1，j，h}|    (1)

h是两个像素色调的差值，z_i±k，j，h表示第i±k行j列像素的色调值；经算子处理后，像素点的三通道灰度值为G_ij，局部区域三通道灰度值之和的最大值的像素点定义为边界点；

$\max \left(E\right)=\underset{j=1}{\overset{C}{\mathrm{\Σ}}}{G}_{\mathrm{ij}}(C=3)---\left(2\right)$

E为算子处理后像素点灰度值之和的最大值；

2)、光条匹配：采用颜色聚类的方法建立颜色匹配特征向量，对图像颜色和投射颜色进行比较，定义色彩特征向量与聚类中心的欧式距离来分配候选光条红绿蓝白颜色；

不同的颜色群集聚在特定的RGB空间区域，通过样本点训练颜色群的聚类中心，然后用点到点的距离来匹配光条颜色；

D_ik＝d²(P_i，C_k)(k＝1，2，3，4)    (3)

D_ik是两点距离的平方，P_i是光条中心像素的RGB特征向量，C_k是颜色聚类中心，d(x，y)是x，y两点之间距离；设D＝min(D_ik)，那么光条颜色的分配按照(4)式进行：

s_c＝{k if D＝＝D_ik(k＝1，2，3，4)    (4)

s_c表示光条颜色；

分配好颜色后，每三条相邻的光条颜色组成一个码字s_i，找出每个码字在整个序列的位置就是解码；光条坐标值x_i定义为：

$x_i=\mathrm{DdBS}\left(s_i\right)+\frac{1}{4}(j-1)---\left(5\right)$

DdBS(s_i)表示直接解码第j帧光模板子序列s_i的坐标位置。

进一步，在所述步骤2)中，聚类中心的搜索方法为：

(2.1).初始化K＝4，红、绿、蓝、白色彩类，初始化K个群的中心；

(2.2).把每个样本点分配给离群中心距离最小的群；

(2.3).K群中的质心点成为新的聚类中心；

(2.4).重复步骤2和3直到所有点都趋向稳定地聚集。

建立图像平面与投影光平面之间的正确匹配是一个复杂的问题。其步骤包括光条边界定位、光条颜色分配以及解码光条在每帧模板中的位置。重复上述步骤就可以匹配全部特征点，进而重建三维形状。

光条边界的精确定位：图像的边缘检测主要是灰度变化的度量、检测和定位，边缘检测的方法众多，不同的方法使用的滤波器也不尽相同。在实际的实验中把一幅图像假设为连续函数f(x，y)，其方向导数在边缘方向是有极值，边缘检测的原理是通过求f(x，y)梯度的极值来实现的。常用的边缘检测方法有基于一阶微分的边缘检测算子，包括Roberts、Sobel、Prewitt算子，基于二阶微分的拉普拉斯算子(Laplace)，还有基于最优化方法的Canny算子，各个算子模板如图4所示。

应用上述的常用算子对一幅图像进行边缘检测，先将彩色图像转化为灰度图像，各个算子的检测结果如图5所示。

由于图像数据是二维的，空间的深度信息在透视过程中丢失，再加上成像过程中的不均匀光照和噪声，使边缘检测的精度降低，在实际的边缘检测中如图3-5所示，出现许多伪边缘，光条的边缘呈现出不连续性，这样会造成空间点码字的丢失，不能实现解码。针对这些问题本文提出另外的边缘检测方案，先进行图像预处理，在精确定位。光模板有水平彩色条纹组成，是一维编码方式，对经调制的图像任意列行扫描，如图6所示。

从图6可以看出，沿垂直方向扫描，彩色光条与白色光条的灰度强烈变化明显，光条的边缘可定义三通道灰度的极值来确定。彩色与白色边界周围存在着一定灰度值的过渡细缝彩色条，捕捉图像中的边缘偏离实际定义模板边界，边界精确定位直接影响系统重建的精度。针对上述问题，在检测边缘前，由于光模板是一维条纹编码，沿着图像的每个列扫描，对每个像素点的各个通道用图7的一维列算子进行预处理，确定灰度变化强烈的像素点为候选边缘点。

考虑到全局边缘点搜索耗时，本文提出局部搜索方法，在图像每一列上以候选边缘点为中心，选取一定大小的区域，其最大值不超过光条宽度的1/2，搜索局部领域的步骤如下：

1.初始化候选边缘点作为一区域中心z_i，j；

2.沿列方向搜索，将z_i-k，j，z_i+k，j像素颜色空间转成色调、亮度和饱和度(HIS)空间；

3.增加新的点到这个区域，只要满足与相邻像素点的色调值差不超过设定的阈值H

h＝|z_i±k，j，h-z_{i±k±1，j，h}|    (3-1)

h是两个像素色调的差值，z_i±k，j，h表示第i±k行j列像素的色调值。分别对白、红、绿、蓝光条相邻像素的色调差作统计实验，取阈值H＝0.06可获得理想的边界区域。经算子处理后，像素点的三通道灰度值为G_ij，局部区域三通道灰度值之和的最大值的像素点可定义为边界点。

$\max \left(E\right)=\underset{j=1}{\overset{C}{\mathrm{\Σ}}}{G}_{\mathrm{ij}}(C=3)---(3-2)$

E为算子处理后像素点灰度值之和的最大值，检测的精度可达到像素级。图3-8是对图3-5a原始图像运用上述方法进行边缘检测的结果，与上述算子相比，边缘变得较连续，伪边缘点减少。

光条匹配：图像中每条被检测出来的颜色和模板颜色有一定的相似度。因此，正确匹配光条对应颜色是减少3D计算错误的关键。Zhang等人提出动态规划方法匹配每个像素点，而不是匹配每条光条，非常耗时，如文献1：L.Zhang，B.Curless，S.M.Seitz.Rapid shape acquisition using color structured light and multi-pass dynamicprogramming[A].In：Proceedings First International Symposium on 3D Data ProcessingVisualization and Transmission[C]，2002，24-36，即L.Zhang，B.Curless，S.M.Seitz.基于多通道动态规划的彩色结构光快速形貌重建[A].第一届国际研讨会三维可视化数据处理和传输[C]，2002，24-26.。Fechteler等人采用一个复杂直线聚类算法找到每个聚类直线的参数，直线之间的分离度不明显，如文献2：P.Fechteler and P.Eisert.Adaptive color classification for structured light systems[A].In：Proceedings of the15th International Conference on Computer Vision and Pattern Recognition[C]，Anchorage，AK，USA，2008，1-7，即P.Fechteler and P.Eisert.结构光系统颜色自适应聚类[A].第15届国际计算机视觉和模式识别会议[C]，美国，2008，1-7.。本实施例采用颜色聚类的方法建立颜色匹配特征向量，对图像颜色和投射颜色进行比较，定义色彩特征向量与聚类中心的欧式距离来分配候选光条红绿蓝白颜色。编码采用的三基色空间距离已足够大，用经典的K均值算法搜索色彩类中心。首先选择拍摄的多幅图像，考虑到样本空间，实验中选择三幅图像，并把对应像素RGB分量转成色彩三维特征向量作为输入的样本数据，聚类中心搜索如下：

1.初始化K＝4，红、绿、蓝、白色彩类，初始化K个群的中心；

2.把每个样本点分配给离群中心距离最小的群；

3.K群中的质心点成为新的聚类中心；

4.重复步骤2和3直到所有点都趋向稳定地聚集。

实验表明捕捉的图像颜色与投影仪投射的模板颜色有各种不同的扭曲和失真。另外，各传感器存在噪声和颜色间的串扰。如图9所示，描述三基色RGB空间，(a)是在理想情况下投影仪中抓取的光条颜色RGB空间，(b)是在办公环境下摄像机拍摄的光条颜色RGB空间。

在图9中，(b)所示，不同的颜色群集聚在特定的RGB空间区域，通过样本点训练颜色群的聚类中心，然后用点到点的距离来匹配光条颜色。

D_ik＝d²(P_i，C_k)(k＝1，2，3，4)    (3-3)

D_ik是两点距离的平方，P_i是光条中心像素的RGB特征向量，C_k是颜色聚类中心，d(x，y)是x，y两点之间距离。设D＝min(D_ik)，那么光条颜色的分配按照(3-4)式进行

s_c＝{k if D＝＝D_ik(k＝1，2，3，4)    (3-4)

s_c表示光条颜色。例如，k＝1，则光条颜色为红色。{k＝1，2，3，4}分别指示红、绿、蓝和白色。分配好颜色后，每三条相邻的光条颜色组成一个码字s_i，找出每个码字在整个序列的位置就是解码。采用Hsieh提出的直接解码De Brujin算法，与穷举解码相比，不需要存储额外的字母表，时间复杂度是穷举法的1/n(n为编码元)。光条坐标值x_i定义为：

$x_i=\mathrm{DdBS}\left(s_i\right)+\frac{1}{4}(j-1)---\left(5\right)$

DdBS(s_i)直接解码第j帧光模板子序列si的坐标位置。

本实施例中，首先选择常用的RGB模型作为彩色模型，选择红绿蓝和白作为编码颜色集，以使颜色的距离最大，满足颜色的精确匹配。边缘检测中，采用一维算子进行预处理，定义三通道梯度变化平方和的极值作为边界点，同时利用边界像素点分割光条，结合经典的K均值聚类方法，实验中光条颜色的匹配正确率达到100％，利用已分配的光条颜色组成码字，通过直接解码算法，直接定位光条的空间位置，与穷举法相比，大大提高了解码效率。

Claims (2)

1.一种结构光视觉成像系统的光模板匹配方法，其特征在于：所述匹配方法包括以下步骤：

1)、光条边界的定位：

待检测的光模板为一维条纹编码，沿着图像的每个列扫描，对每个像素点的各个通道用一维列算子进行预处理，确定灰度变化强烈的像素点为候选边缘点，在图像每一列上以候选边缘点为中心，选取一定大小的区域，其最大值不超过光条宽度的1/2，搜索局部领域的步骤如下：

(1.1).初始化候选边缘点作为一区域中心z_i，j；

(1.2).沿列方向搜索，将z_i-k，j，z_i+k，j像素颜色空间转成色调、亮度和饱和度(HIS)空间；

(1.3).增加新的点到这个区域，只要满足与相邻像素点的色调值差不超过设定的阈值H

h＝|z_i±k，j，h-z_{i±k±1，j，h}|              (1)

h是两个像素色调的差值，z_i±k，j，h表示第i±k行j列像素的色调值；经算子处理后，像素点的三通道灰度值为G_ij，局部区域三通道灰度值之和的最大值的像素点定义为边界点；

$\max \left(E\right)=\underset{j=1}{\overset{C}{\mathrm{\Σ}}}{G}_{\mathrm{ij}}(C=3)---\left(2\right)$

E为算子处理后像素点灰度值之和的最大值；

2)、光条匹配：采用颜色聚类的方法建立颜色匹配特征向量，对图像颜色和投射颜色进行比较，定义色彩特征向量与聚类中心的欧式距离来分配候选光条的红、绿、蓝和白颜色；

不同的颜色群集聚在特定的RGB空间区域，通过样本点训练颜色群的聚类中心，然后用点到点的距离来匹配光条颜色；

D_ik＝d²(P_i，C_k)(k＝1，2，3，4)           (3)

D_ik是两点距离的平方，P_i是光条中心像素的RGB特征向量，C_k是颜色聚类中心，d(x，y)是x，y两点之间距离；设D＝min(D_ik)，那么光条颜色的分配按照(4)式进行：

s_c＝{k if D＝＝D_ik(k＝1，2，3，4)}       (4)

s_c表示光条颜色；

分配好颜色后，每三条相邻的光条颜色组成一个码字s_i，找出每个码字在整个序列的位置就是解码；光条坐标值x_i定义为：

$x_i=\mathrm{DdBS}\left(s_i\right)+\frac{1}{4}(j-1)---\left(5\right)$

DdBS(s_i)表示直接解码第j帧光模板子序列s_i的坐标位置。

2.如权利要求1所述的结构光视觉成像系统的光模板匹配方法，其特征在于：在所述步骤2)中，所述聚类中心的搜索方法为：

(2.1).初始化红、绿、蓝、白色彩类，初始化K个群的中心，K＝4；

(2.2).把每个样本点分配给离群中心距离最小的群；

(2.3).K群中的质心点成为新的聚类中心；

(2.4).重复步骤(2.2)和(2.3)直到所有点都趋向稳定地聚集。

Images