CN105844616A - 激光散射斑点辅助下的双目立体匹配算法与装置 - Google Patents

Abstract

本发明提出了一种激光散射斑点辅助下的双目立体匹配算法与装置，在左右视角2个摄像机中间增加一个激光器装置，给目标增加了激光散射斑点，使得本来没有纹理或纹理稀疏的目标区域变成丰富的纹理区域，然后通过基于特征点匹配的算法得到立体匹配结果。在得到特征点匹配的初步结果后，本发明还提出一种邻近点距离和角度约束条件对结果进行筛选，有效的减少误匹配的数目，显著提高匹配的正确率。本发明采用的装置简单，成本较低，算法复杂度小，拥有很好的实用价值。

Description

激光散射斑点辅助下的双目立体匹配算法与装置

技术领域

本发明涉及计算机视觉领域处理技术，特别涉及一种激光散射斑点辅助下的双目立体匹配算法与装置。

背景技术

双目立体匹配是指从左右视角2个摄像机拍摄同一场景的两幅图像中找出匹配点对，进而求出原始场景的深度信息。双目立体视觉在机器人导航、数字化医学、三维测量和虚拟现实等领域都有广泛的应用，是计算机视觉领域的重要问题之一。

目前立体匹配方法主要分为两类：基于局部约束的算法和基于全局约束的算法。基于局部约束的算法只使用兴趣点周围的局部信息，因此计算复杂度较低，但容易受噪声的影响，对纹理稀疏区域的匹配效果不理想，代表方法有特征匹配法、区域匹配法。基于全局约束的算法是对扫描线或整个图像数据的信息进行约束，建立匹配能量函数，再通过各种方法求得能量函数的极值。这类算法由于是全局寻优，所以匹配准确度较高，但求解过程较为复杂，时间消耗较多，代表方法有动态规划法、图割法。

发明内容

针对现有技术存在的技术问题，本发明的目的是提供一种激光散射斑点辅助下的双目立体匹配算法与装置。

为实现上述技术目的，本发明采用的技术方案是：

一种激光散射斑点辅助下的双目立体匹配算法，包括以下步骤：

S1.激光散射斑点辅助下的双目立体匹配装置

激光散射斑点辅助下的双目立体匹配装置包括左右两个摄像机以及设置在左右两个摄像机之间的红外激光器，所述红外激光器的前方设置有一块毛玻璃，红外激光器对准目标射出准直后的激光束，通过毛玻璃进行散射，从而在目标表面得到所需的散斑图案。；两个摄像机都对着目标进行拍摄的，拍摄的图像包括目标以及目标表面的散斑图案。其中：红外激光器为kinect红外激光器。为了让散斑图案分别的更加均匀，将kinect红外激光器放置在左右两个摄像机之间的靠中间的位置，但不严格要求在正中间，通过这样的装置，可以使得拍摄的左右视图均具有丰富的纹理信息，然后通过基于下面的特征点匹配的算法得到立体匹配结果。

S2.通过左右两个摄像机拍摄左右两个视角的图像分别记为左视图和右视图；

S3.通过图像金字塔和分区域Harris角点检测分别提取左、右视图的特征点；

首先对左视图进行特征点提取，方法如下：对左视图进行金字塔处理，得到3层金字塔图像，然后分别对这3层金字塔图像进行分区域的Harris角点检测，得到3个特征点集合，然后将3个特征点集合进行合并，得到最终的特征点集合D₁；

采用与左视图同样的方式对右视图进行特征点提取，得到右视图的特征点集合D₂；

S4.采用二进制特征描述子对每个特征点进行描述，得到一个128维的比特字符串即该特征点对应的特征向量；

S5.通过特征向量的最近邻距离比进行匹配，得到初始的特征点的匹配集合；

S6.通过一种邻近点距离和角度约束条件对初始特征点匹配集合进行筛选，剔除不符合条件的匹配点对，得到最终的特征点匹配集合，即为立体匹配结果。

本发明的步骤S3中，对左视图进行金字塔处理，得到3层金字塔图像，其中：第1层金字塔对应原始图像，第2层金字塔为对第1层图像实施1/2的下采样所得，第3层金字塔为对第2层图像实施1/2的下采样所得。

本发明的步骤S3中，分别对3层金字塔图像进行分区域的Harris角点检测的具体方法是：首先将该层金字塔图像均匀分为多个子区域，在每个子区域中使用Harris角点检测算法进行特征点检测，如果检测出多个特征点，则选择角点响应值最大的特征点，如果没有检测出特征点，则选取子区域的中间点作为特征点，通过这种提取特征点的方法，每层金字塔图像的每个子区域都有一个特征点。

本发明的步骤S4的方法为：

在左视图中，选择特征点集合D₁中的一特征点dot₁，以特征点dot₁为中心，半径为15的左视图图像区域作为该特征点dot₁对应的图像区域，然后在特征点dot₁对应的图像区域里随机选择两个点(图像区域中普通的图像点)组成一个点对(x,y)，一共进行128次这样点对的随机选择，则得到128个点对(x_i,y_i)，对每一个点对(x,y)，有一个0或1的取值：

$\mathrm{\&delta;}(x,y)=\left\{\begin{array}{cc}1,& g\left(x\right)<g\left(y\right)\\ 0,& otherwise\end{array}\right.$

其中g(x)、g(y)分别是点x和y的强度值；

这样128个点对可以组成一个128维的比特字符串vec：

$vec=\underset{i=1:128}{\&Sigma;}{2}^{i-1}\mathrm{\&delta;}(x_i,y_i)$

依照上面的方法，对左视图的特征点集合D₁进行特征描述，左视图的特征点集合D₁中的每一个特征点可以得到一个128维的二进制向量vec，记为该特征点对应的特征向量；

同理，对右视图的特征点集合D₂进行特征描述，右视图的特征点集合D₂中的每一个特征点可以得到一个128维的二进制向量vec，记为该特征点对应的特征向量。

本发明的步骤S5的方法为：通过最近距离比对两个特征点集合D₁和D₂进行特征匹配，共得到M对特征点匹配结果{(d_1i,d_2i)|d_1i∈D₁,d_2i∈D₂,i＝1,…,M}；其中d_1i是D₁中的特征点，d_2i是D₂中的特征点，i表示匹配的序号，一共有M对。

本发明的步骤S6中，假设(d₁₁,d₂₁)和(d₁₂,d₂₂)是匹配集合的距离较近的两个匹配对，则邻近点距离约束条件定义如下：

$\frac{||d_{11}-d_{12}||}{||d_{21}-d_{22}||}<{\mathrm{\&epsiv;}}_1$

其中ε₁是距离约束阈值，取值0.2；

点d₁₁到d₁₂的向量用α表示，点d₂₁到d₂₂的向量用β表示，则两个向量夹角的约束条件如下：

$arccos\left(\frac{\mathrm{\&alpha;}\&times;\mathrm{\&beta;}}{\left|\mathrm{\&alpha;}\right|\&times;\left|\mathrm{\&beta;}\right|}\right)<{\mathrm{\&epsiv;}}_2$

其中ε₂是角度约束阈值，取值10度。

本发明的步骤S6的方法是：

S6.1任选匹配集合中的一个匹配对，计算它和近邻的10个匹配对的邻近点距离约束和角度约束，记录违反上述两种约束条件的次数作为该匹配对的错误率；

S6.2统计所有匹配对的错误率，如果每个匹配对的错误率都为0，则结束；否则将错误率最大的匹配对作为误匹配从匹配集合中剔除，再转到步骤S6.1；

当剔除所有误匹配后，匹配点对从开始的M对降低到N对，记新的匹配集合也即最终的立体匹配结果为{(d_1i,d_2i)|d_1i∈D₁,d_2i∈D₂,i＝1,…,N}，其中d_1i是D₁中的特征点，d_2i是D₂中的特征点，i表示匹配的序号，一共有N对。

本发明的有益技术效果：

对于现有的图像立体匹配方法，在全体像素上建立能量函数，导致求解过程非常耗时。本发明通过激光器装置，给目标增加了激光散射斑点，使得本来没有纹理或纹理稀疏的目标区域变成丰富的纹理区域，这种纹理丰富的目标图像可以采用算法复杂度较低的特征点匹配方法，大大提高计算效率。本发明在得到特征点匹配的初步结果后，还提出两种新的约束条件对结果进行筛选，有效的减少误匹配的数目，显著提高匹配的正确率。本发明采用的装置简单，成本较低，算法复杂度小，拥有很好的实用价值。

附图说明

图1是本发明激光散射斑点辅助下的双目立体匹配装置的原理示意图；

图2是本发明激光散射斑点辅助下的双目立体匹配算法的流程图；

具体实施方式

激光在散射体表面的漫反射或通过一个透明散射体(如毛玻璃)时，在散射表面或附近的光场中可以观察到一种无规分布的亮暗斑点，这种斑点称为激光散射斑点。利用这种装置可以使得本来没有纹理或纹理稀疏的区域变成丰富的纹理区域。

基于上述原理，本发明提供一种激光散射斑点辅助下的双目立体匹配装置，包括左右两个摄像机以及设置在左右两个摄像机之间的红外激光器，所述红外激光器的前方设置有一块毛玻璃，红外激光器对准目标射出准直后的激光束，通过毛玻璃进行散射，从而在目标表面得到所需的散斑图案。两个摄像机都对着目标进行拍摄的，拍摄的图像包括目标以及目标表面的散斑图案。

基于上面的激光散射斑点辅助下的双目立体匹配装置，可以使得拍摄的左右视图均具有丰富的纹理信息，然后通过本发明提供的激光散射斑点辅助下的双目立体匹配算法得到立体匹配结果。

激光散射斑点辅助下的双目立体匹配算法，包括以下步骤：

第一步.通过左右两个摄像机拍摄左右两个视角的图像分别记为左视图和右视图；

第二步.通过图像金字塔和分区域Harris角点检测分别提取左、右视图的特征点；

为了使特征点适应多尺度的需求，参考传统的图像金字塔思想，根据输入图像构造n层的金字塔图像(n取3)，第1层金字塔对应原始图像，第2层金字塔为对第1层图像实施1/2的下采样所得，第3层金字塔为对第2层图像实施1/2的下采样所得。这样一幅图像可以得到3层金字塔图像，分别对这3层金字塔图像进行处理(即特征点提取)，得到3个特征点集合，然后进行合并，得到最终的特征点集合。

在对每一层金字塔图像进行特征点提取时，为了使选取的特征点比较均匀地分布于图像之中，本发明首先将该图像均匀分为多个子区域，在每个区域中使用Harris角点检测算法进行特征点检测，如果检测出多个特征点，则选择角点响应值最大的特征点，如果没有检测出特征点，则选取子区域的中间点作为特征点。通过这种提取特征点的方法，图像的每个子区域都有一个特征点。

本步骤中，首先对左视图进行特征点提取，方法如下：对左视图进行金字塔处理，得到3层金字塔图像，然后分别对这3层金字塔图像进行分区域的Harris角点检测，得到3个特征点集合，然后进行合并，得到最终的特征点集合D₁；

采用与左视图同样的方式对右视图进行特征点提取，得到右视图的特征点集合D₂；

第三步，采用二进制特征描述子对每个特征点进行描述，得到一个128维的比特字符串即该特征点对应的特征向量；

以左视图为例，选择特征点集合D₁中的一特征点dot₁，以特征点dot₁为中心，半径为15的左视图图像区域作为该特征点dot₁对应的图像区域，然后在图像区域里随机选择两个点组成一个点对(x,y)，一共进行128次，则得到128个点对(x_i,y_i)，对每一个点对(x,y)，有一个0或1的取值：

$\mathrm{\&delta;}(x,y)=\left\{\begin{array}{cc}1,& g\left(x\right)<g\left(y\right)\\ 0,& otherwise\end{array}\right.$

其中g(x)、g(y)分别是点x和y的强度值。

这样128个点对可以组成一个128维的比特字符串vec：

$vec=\underset{i=1:128}{\&Sigma;}{2}^{i-1}\mathrm{\&delta;}(x_i,y_i)$

这样每一个特征点可以得到一个128维的二进制向量vec，记为该特征点对应的特征向量。一个128维的比特字符串vec长度仅为16字节，远低于同等维数下sift描述器的512字节。对于两个特征向量进行匹配时，采用汉明距离仅需计算两个特征向量对应位不同的数量，这样的匹配方式能够有效降低匹配的计算量、大大提高匹配的效率。

分别对左视图和右视图的特征点集合D₁和D₂进行特征描述，每一个特征点都会得到一个特征向量。

第四步、通过特征向量的最近邻距离比进行匹配，得到初始的特征点的匹配集合；

然后通过经典的特征匹配方法——最近距离比对两个特征点集合D₁和D₂进行特征匹配，共得到M对特征点匹配结果{(d_1i,d_2i)|d_1i∈D₁,d_2i∈D₂,i＝1,…，M}；其中d_1i是D₁中的特征点，d_2i是D₂中的特征点，i表示匹配的序号，一共有M对。

第五步、通过一种邻近点距离和角度约束条件对初始特征点匹配集合进行筛选，剔除不符合条件的匹配点对，得到最终的特征点匹配集合，即为立体匹配结果。

虽然最近邻距离比匹配策略较为严格，匹配正确率较高，但依然存在一些误匹配。为了剔除匹配集合中的误匹配对，本发明提出两种约束条件：邻近点距离拘束和角度约束，限制两个距离较近的特征点之间的距离变化和角度变换，使匹配集合中的每一个匹配对与其邻近的一些匹配对的相容性得到最大的满足。假设是(d₁₁,d₂₁)和(d₁₂,d₂₂)是匹配集合的距离较近的两个匹配对，则距离约束条件定义如下：

$\frac{||d_{11}-d_{12}||}{||d_{21}-d_{22}||}<{\mathrm{\&epsiv;}}_1$

其中ε₁是距离约束阈值，这里取值0.2。

点d₁₁到d₁₂的向量用α表示，点d₂₁到d₂₂的向量用β表示，则两个向量夹角的约束条件如下：

$arccos\left(\frac{\mathrm{\&alpha;}\&times;\mathrm{\&beta;}}{\left|\mathrm{\&alpha;}\right|\&times;\left|\mathrm{\&beta;}\right|}\right)<{\mathrm{\&epsiv;}}_2$

其中ε₂是角度约束阈值，这里取值10度。

本步骤中筛选过程如下：

(1)任选匹配集合中的一个匹配对，计算它和近邻的10个匹配对的距离和角度约束，记录违反上述两种约束条件的次数作为该匹配对的错误率；

(2)统计所有匹配对的错误率，如果每个匹配对的错误率都为0，则算法结束；否则将错误率最大的匹配对作为误匹配从匹配集合中剔除，再转到步骤(1)。

通过这种距离和角度的约束，能够有效的剔除匹配集合中的误匹配，进一步提供匹配准确率。

当剔除所有误匹配后，匹配点对从开始的M对降低到N对，记新的匹配集合也即最终的立体匹配结果为{(d_1i,d_2i)|d_1i∈D₁,d_2i∈D₂,i＝1,…，N}，其中d_1i是D₁中的特征点，d_2i是D₂中的特征点，i表示匹配的序号，一共有N对。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (8)

1.一种激光散射斑点辅助下的双目立体匹配算法，其特征在于：包括以下步骤：

S1.激光散射斑点辅助下的双目立体匹配装置

激光散射斑点辅助下的双目立体匹配装置包括左右两个摄像机以及设置在左右两个摄像机之间的红外激光器，所述红外激光器的前方设置有一块毛玻璃，红外激光器对准目标射出准直后的激光束，通过毛玻璃进行散射，从而在目标表面得到所需的散斑图案；两个摄像机都对着目标进行拍摄的，拍摄的图像包括目标以及目标表面的散斑图案；

S2.通过左右两个摄像机拍摄左右两个视角的图像分别记为左视图和右视图；

S3.通过图像金字塔和分区域Harris角点检测分别提取左、右视图的特征点；

首先对左视图进行特征点提取，方法如下：对左视图进行金字塔处理，得到3层金字塔图像，然后分别对这3层金字塔图像进行分区域的Harris角点检测，得到3个特征点集合，然后将3个特征点集合进行合并，得到最终的特征点集合D₁；

采用与左视图同样的方式对右视图进行特征点提取，得到右视图的特征点集合D₂；

S4.采用二进制特征描述子对每个特征点进行描述，得到一个128维的比特字符串即该特征点对应的特征向量；

S5.通过特征向量的最近邻距离比进行匹配，得到初始的特征点的匹配集合；

S6.通过一种邻近点距离和角度约束条件对初始特征点匹配集合进行筛选，剔除不符合条件的匹配点对，得到最终的特征点匹配集合，即为立体匹配结果。

2.根据权利要求1所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于：步骤S3中，对左视图进行金字塔处理，得到3层金字塔图像，其中：第1层金字塔对应原始图像，第2层金字塔为对第1层图像实施1/2的下采样所得，第3层金字塔为对第2层图像实施1/2的下采样所得。

3.根据权利要求1或2所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于：步骤S3中，分别对3层金字塔图像进行分区域的Harris角点检测的具体方法是：首先将该层金字塔图像均匀分为多个子区域，在每个子区域中使用Harris角点检测算法进行特征点检测，如果检测出多个特征点，则选择角点响应值最大的特征点，如果没有检测出特征点，则选取子区域的中间点作为特征点，通过这种提取特征点的方法，每层金字塔图像的每个子区域都有一个特征点。

4.根据权利要求1所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于：步骤S4的方法为：

在左视图中，选择特征点集合D₁中的一特征点dot₁，以特征点dot₁为中心，半径为15的左视图图像区域作为该特征点dot₁对应的图像区域，然后在特征点dot₁对应的图像区域里随机选择两个点组成一个点对(x,y)，一共进行128次，则得到128个点对(x_i,y_i)，对每一个点对(x,y)，有一个0或1的取值：

$\mathrm{\&delta;}(x,y)=\left\{\begin{array}{cc}1,& g\left(x\right)<g\left(y\right)\\ 0,& otherwise\end{array}\right.$

其中g(x)、g(y)分别是点x和y的强度值；

这样128个点对可以组成一个128维的比特字符串vec：

$vec=\underset{i=1:128}{\&Sigma;}{2}^{i-1}\mathrm{\&delta;}(x_i,y_i)$

依照上面的方法，对左视图的特征点集合D₁进行特征描述，左视图的特征点集合D₁中的每一个特征点可以得到一个128维的二进制向量vec，记为该特征点对应的特征向量；

同理，对右视图的特征点集合D₂进行特征描述，右视图的特征点集合D₂中的每一个特征点可以得到一个128维的二进制向量vec，记为该特征点对应的特征向量。

5.根据权利要求4所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于：步骤S5的方法为：通过最近距离比对两个特征点集合D₁和D₂进行特征匹配，共得到M对特征点匹配结果{(d_1i,d_2i)|d_1i∈D₁,d_2i∈D₂,i＝1,…,M}；其中d_1i是D₁中的特征点，d_2i是D₂中的特征点，i表示匹配的序号，一共有M对。

6.根据权利要求5所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于：步骤S6中，假设(d₁₁,d₂₁)和(d₁₂,d₂₂)是匹配集合的距离较近的两个匹配对，则邻近点距离约束条件定义如下：

$\frac{\left|\right|d_{11}-d_{12}\left|\right|}{\left|\right|d_{21}-d_{22}\left|\right|}<{\mathrm{\&epsiv;}}_1$

其中ε₁是距离约束阈值，取值0.2；

点d₁₁到d₁₂的向量用α表示，点d₂₁到d₂₂的向量用β表示，则两个向量夹角的约束条件如下：

$\arccos \left(\frac{\mathrm{\&alpha;}\&times;\mathrm{\&beta;}}{\left|\mathrm{\&alpha;}\right|\&times;\left|\mathrm{\&beta;}\right|}\right)<{\mathrm{\&epsiv;}}_2$

其中ε₂是角度约束阈值，取值10度。

7.根据权利要求6所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于：步骤S6的方法是：

S6.1任选匹配集合中的一个匹配对，计算它和近邻的10个匹配对的邻近点距离约束和角度约束，记录违反上述两种约束条件的次数作为该匹配对的错误率；

S6.2统计所有匹配对的错误率，如果每个匹配对的错误率都为0，则结束；否则将错误率最大的匹配对作为误匹配从匹配集合中剔除，再转到步骤S6.1；

当剔除所有误匹配后，匹配点对从开始的M对降低到N对，记新的匹配集合也即最终的立体匹配结果为{(d_1i,d_2i)|d_1i∈D₁,d_2i∈D₂,i＝1,…,N}，其中d_1i是D₁中的特征点，d_2i是D₂中的特征点，i表示匹配的序号，一共有N对。

8.一种激光散射斑点辅助下的双目立体匹配装置，其特征在于：包括左右两个摄像机以及设置在左右两个摄像机之间的红外激光器，所述红外激光器的前方设置有一块毛玻璃，红外激光器对准目标射出准直后的激光束，通过毛玻璃进行散射，从而在目标表面得到所需的散斑图案。