CN103900494B - 用于双目视觉三维测量的同源点快速匹配方法 - Google Patents

Abstract

一种用于双目视觉三维测量的同源点快速匹配方法，特点在于用N幅时序二元带通随机图案照射待测物体表面，利用双目相机所采集的N幅二元带通随机图像进行时域灰度序列做相关运算，由运算结果判定两像素是否为同源点。用一幅二元条纹图案照射待测物体表面，通过对双目相机所采集的二元条纹图像进行形态学分析判断出条纹之间的对应关系，从而将立体匹配时找寻同源点的搜索范围缩短到与条纹宽度相仿的宽度，避免大量不必要的运算，从而实现了快速匹配。

Description

用于双目视觉三维测量的同源点快速匹配方法

技术领域

本发明涉及计算机三维测量领域，具体地说是用于双目视觉三维测量的同源点快速匹配方法。

背景技术

随着信息技术的发展，人们对物体的三维数字化越来越感兴趣。物体的三维数字化的主要途径是获取创建物体几何表面所需的点云，获取的点云越密集则创建的模型越精确。三维测量技术种类繁多，但基本可以划分为接触式测量与非接触式测量两类，后者又可分为主动扫描与被动扫描。光学三维测量技术是一种基于光学手段和图形图像处理分析方法的非接触式测量，其运用计算机图形图像学的理论来数字化再现物体的三维形貌，是现在计算机视觉研究的主流方向之一。目前常用的非接触式主动光测量方法有：飞行时间法、三角测距法、激光扫描法、结构光法等。使用非接触式光学方法测量物体表面的方法现在广泛运用于各个行业之中，包括：逆向工程、产品开发、医疗保健、损伤评估、文物保护、动态监测等方面。

飞行时间法使用脉冲激光探测目标物，通过检测脉冲激光照射到物体表面再反射回接收器的时间差来判定物体的深度。该方法发射一次脉冲激光只能获取一个点的深度，若要扫面整个市场范围内的物体需变换脉冲激光发射方向。飞行时间法测距的关键在于精确测定脉冲激光往返一次所耗费的时间，而在一般测量距离的量级较光速而言是非常小的，故使用该方法的测距仪对系统计时精度要求极高导致价格昂贵。

三角测距法也使用激光扫描物体表面，激光光源发射一束激光照射物体表面，利用相机捕捉物体表面上的光点。随着物体表面的起伏，激光光点在相机中的位置也在不断变化，通过这个位置变化可以计算出物体的距离。由于采用单点扫描方式，三角测距法测量效率不高比较耗时。NationalResearchCouncilofCanada是致力于研发三角测距激光扫描技术的协会之一。

所述的同源点即同一物点在双目相机内各自的像点。基于双目视觉的三维测量方法的关键步骤之一即在立体图像中找寻同源点，通过同源点的视差并依据三角原理即可计算出物体距离相机的深度信息。所述的视差即由于左右两个相机位置的差异导致物体成像位置的位移。相关法是双目视觉中同源点的判定最常用的方法之一，包括空域相关与时域相关两类。空域相关法选取以待匹配点为中心，大小为（2m+1）*（2n+1）的区域作为模版，再选取以可能的同源点为中心大小为（2m+1）*（2n+1）的区域 ${\mathrm{\Σ}}_{-m}^m{\mathrm{\Σ}}_{-n}^n{g}^{\′}(x+d+i,y+j)$ 与模版 ${\mathrm{\Σ}}_{-m}^m{\mathrm{\Σ}}_{-n}^{n}g(x+i,y+j)$ 做相关运算。一旦g′与g的相似度达到最大且超过一定阈值，则认为(x,y)与(x+d,y)两点匹配。空域相关运用较为广泛，但是在三维测量中由于两个相机的位置差异产生图像形变往往导致错误匹配。时域相关法将模版的大小由（2m+1）*（2n+1）缩减到一个像素，另外在时间域上延伸。时域相关运算的对象，从尺寸大小由（2m+1）*（2n+1）的转变为时域灰度值向量 ${\mathrm{\Σ}}^{1}g(x,y,t).$

发明内容

本发明的目的在于提出一种用于双目视觉三维测量的同源点快速匹配方法。

本发明的技术解决方案如下：

一种用于双目视觉三维测量的同源点快速匹配方法，其特点在于该方法包括下列步骤：

1）由三维测量系统中的投影机投射N幅二元带通随机图案照射待测物体表面；

2）双目相机同步采集N幅二元带通随机图案照明下待测物体的双目立体图像；

3）由三维测量系统中的投影机投射一幅二元条纹图案照射待测物体表面；

4）双目相机同步采集一幅二元条纹图案照明下待测物体的双目立体图像；

5）基于测试之前对三维测量系统进行标定获取的系统内参与外参，由计算机对所采集到的所有双目立体图像进行校正处理，使得同源点极线水平且共线；

6）对校正后的二元条纹双目立体图像进行初匹配，利用嵌入在每个条纹中的矩形方块的唯一性，确定左侧图像中某条纹在右侧图像中对应的条纹，所述的唯一性，是指在校正后的立体图像中，对于左侧某个矩形方块，沿水平方向搜索，在右侧至多只能找到一个矩形与其对应，对应矩形方块所在的条纹也存在对应关系；

7）根据初匹配的结果进行基于单像素时域灰度序列相关运算的密集匹配，即对图像内所有像素进行匹配：优先处理处于匹配条纹内的像素，再集中处理不在匹配条纹范围之内的像素，最后输出整个待测区域的视差数据，根据三角原理计算出三维物体的深度信息完成三维重建。

所述的二元带通随机图案按照以下步骤生成：

1）生成N幅尺寸为m*n的二元随机图像；

2）对上述二元随机图像进行带通滤波，截掉其高频与低频部分；

3）对上述带通滤波产生的灰度图像进行二值化。

所述的二元条纹图像按照以下步骤生成：

1）生成一幅尺寸为m*n的二元条纹图像，黑白条纹为竖直方向；

2）在每个条纹中再写入反色的矩形方块，相邻条纹内的矩形在水平方向上错开一定的位置。

所述的初匹配包括：

1）对采集到的左右两幅二元条纹进行形态学分析，收集矩形方块的中心位置信息；

2）若两个矩形的中心行坐标差值不大于给定值，左右两个矩形被判定为同源矩形，即由同一个矩形在左右两个相机分别成像而成；

3）同源矩形所在的条纹被判定为匹配条纹；

4）完成对矩形方块的处理工作后，输出对所有条纹的匹配结果。

所述的基于单像素时域灰度序列相关运算的逐像素密集匹配，数学表达式如下：

$\mathrm{TCT}(x,y,d)=\frac{{\mathrm{\Σ}}_{t=1}^N(g_1(x,y,t)-m_1)\·(g_2(x+d,y,t)-m_2)}{s_1(x,y,t)\·s_2(x+d,y,t)}$

其中，g₁(x,y,t)与g₂(x+d,y,t)为第t幅二元带通随机图像中，像素(x,y)与像素(x+d,y)的灰度值；m_i为像素(x,y)从第1幅二元带通随机图像到第N幅二元带通随机图像，灰度向量的平均值；s_i为像素(x,y)从第1幅二元带通随机图像到第N幅二元带通随机图像，灰度向量的标准差；二元带通随机图案的数目N一般在10-20幅之间，数量多获取的点云信噪比较高但是处理时间较长，数量少计算量小但信噪比低。

由于图像已经经过校正，同源点所在极线水平且共线。对于左侧图像中的像素(x,y)，只需沿极线在右侧图像内通过计算TCT值搜索其同源点。一旦某点TCT值超过预设阈值且取最大值，则左侧像素(x,y)与右侧像素(x+d,y)被判定为同源像素。通过两像素列坐标的视差d，根据三角原理计算各点的深度。

初匹配结果简化密集匹配运算的搜索区间，避免大量不必要的运算，具体步骤如下：

1）根据初匹配结果检索左侧待匹配像素(x,y)所在条纹A在右侧图像中对应的条纹B；

2）探测右侧图像中条纹B的边界与左侧待匹配像素(x,y)所在极线相交的两点(x+d_min,y)与(x+d_max,y)，即确定搜索区间的左右边界[x+d_min,x+d_max]；

3）对于左侧待匹配像素(x,y)，在右侧图像由(x+d_min,y)与(x+d_max,y)两像素确定的区间内运用TCT算法进行匹配。

本发明方法只需在现有双目测量系统基础上添加一台小型投影机，然后对软件算法做部分修改，具有成本低的优势。本方法一次测试速度快，采集到点云数目多，测量效率比较高，而且所得出的三维点云信噪比高，可广泛运用于各个行业之中，包括：逆向工程、产品开发、医疗保健、损伤评估、文物保护、动态监测等方面。

附图说明

图1是本发明用于双目视觉三维测量的同源点快速匹配方法所采用的设备结构示意图。

图2是本发明中使用二元带通随机图案。

图3是本发明中使用二元条纹图案。

图4是本发明中基于初匹配的搜索方法示意图。

图5是本发明提出的匹配方法流程图。

图中：1－计算机；2－右侧数码相机；3－投影机；4－左侧数码相机；5－待测物体。

具体实施方式

下面结合实施例和附图对本发明作进一步说明，但不应以此限制本发明的保护范围。

本发明用于双目视觉三维测量的同源点快速匹配方法所采用的设备结构如图1所示，其中投影机3负责向待测物体5投射各种编码图案，左侧数码相机4与右侧数码相机2同时捕捉待测物体5在各种编码图案照明下的数字图像，最终由计算机1分析处理数字图像并输出三维点云信息。左侧数码相机与右侧数码相机光轴之间相交成一个角度，确保两个相机中待测物体均被完整地被拍摄。

投影机位于两个数码相机之间，测试时向待测物体投射N幅如图2所示的二元带通随机图案。二元带通随机图案的数目N一般在10-20幅之间。数量N多则获取的点云信噪比高但是处理时间较长，数量N少则计算量小但信噪比低。

二元带通随机图案按照以下步骤生成：

1）生成N幅尺寸为m*n的二元随机图像；

2）对上述二元随机图像进行带通滤波，截掉其高频与低频部分；

3）对上述带通滤波产生的灰度图像进行二值化。数码相机采集这N幅图像后输出至计算机处理软件进行分析。

首先对采集到的图像先进行校正处理，使得所有极线水平对齐，为下面进行的密集匹配提供极大的便利，同时消除由镜头引起的图像畸变。所述的密集匹配是指对图像内所有像素进行匹配。本发明基于相关运算确定两个像素点是否匹配，数学表达式为：

$\mathrm{TCT}(x,y,d)=\frac{{\mathrm{\Σ}}_{t=1}^N(g_1(x,y,t)-m_1)\·(g_2(x+d,y,t)-m_2)}{s_1(x,y,t)\·s_2(x+d,y,t)}$

其中，g₁(x,y,t)与g₂(x+d,y,t)为第t幅二元带通随机图像中，像素(x,y)与像素(x+d,y)的灰度值。m_i为像素(x,y)从第1幅二元带通随机图像到第N幅二元带通随机图像，灰度向量的平均值。s_i为像素(x,y)从第1幅二元带通随机图像到第N幅二元带通随机图像，灰度向量的标准差。由于图像已经经过校正后同源点所在极线水平且共线。对于左侧图像中的像素(x,y)，只需沿极线在右侧图像内搜索相关值TCT为超过预设阈值且取最大值的像素，通过两点列坐标的视差d即可重构该点深度信息。

为了找到左侧图像中某一个像素点的匹配点，应该在右侧图像中沿整条极线计算相似度。然而实际运用中并不需要这样做，我们可以预先判断可能的匹配点会出现在哪个区域，然后在外极线上划定一个相对小得多的范围作为视差搜索范围。此时视差搜索区域的长度为l=d_max-d_min+1，式中d_max和d_min可以通过图像中可能出现的最大最小范围确定。

显然，如果不采取一定的简化措施，那么整个密集匹配将是一个相当耗时的过程。故在投射完N幅的二元带通随机图案后，再接着投射如图3所示的一幅二元条纹图案。条纹图案主体为黑白相间的竖直条纹，每个条纹中镶嵌了矩形方块，相邻条纹的矩形方块中心在水平方向上错开一定距离，例如10像素。在两个相机采集到的二元条纹图像中，左侧图像中的某个矩形方块在其极线上可以在右侧找到与其同源的另一个矩形方块。显然，上述情况只有在矩形方块同时被两个相机拍摄下来的情况下成立。利用这个特性在进行密集匹配之前，先利用采集到的一对二元条纹图案进行初匹配，具体步骤如下：

1）对采集到的左右两幅二元条纹进行形态学分析，收集矩形方块的中心位置信息；

2）若两个矩形的中心行坐标差值不大于给定值（例如3像素），左右两个矩形被判定为同源矩形，即由同一个矩形在左右两个相机分别成像而成；

3）同源矩形所在的条纹被判定为匹配条纹；

4）完成对矩形方块的处理工作后，输出对所有条纹的匹配结果。

如图4所示，对于处在条纹A内的像素P，可以根据初匹配结果检索出条纹A所对应的条纹B。然后我们只需要沿极线在对应的条纹B的范围之内搜索其同源点，避免了冗余的计算。对于剩下的部分不在匹配条纹范围之内的像素，则在没有找到匹配对象的区域之内搜索。最后输出整个待测区域的视差数据输出三维点云数据。

Claims (6)

1.一种用于双目视觉三维测量的同源点快速匹配方法，其特征在于该方法包括下列步骤：

1)由三维测量系统中的投影机投射N幅二元带通随机图案照射待测物体表面；

2)双目相机同步采集N幅二元带通随机图案照明下待测物体的双目立体图像；

3)由三维测量系统中的投影机投射一幅二元条纹图案照射待测物体表面；

4)双目相机同步采集一幅二元条纹图案照明下待测物体的双目立体图像；

5)基于测试之前对三维测量系统进行标定获取的系统内参与外参，由计算机对所采集到的所有双目立体图像进行校正处理，使得同源点极线水平且共线；

6)对校正后的二元条纹双目立体图像进行初匹配，利用嵌入在每个条纹中的矩形方块的唯一性，确定左侧图像中某条纹在右侧图像中对应的条纹，所述的唯一性，是指在校正后的立体图像中，对于左侧某个矩形方块，沿水平方向搜索，在右侧至多只能找到一个矩形与其对应，对应矩形方块所在的条纹也存在对应关系；

7)进行基于单像素时域灰度序列相关运算的密集匹配，即对图像内所有像素进行匹配：优先处理处于匹配条纹内的像素，再集中处理不在匹配条纹范围之内的像素，最后输出整个待测区域的视差数据，根据三角原理计算出三维物体的深度信息完成三维重建。

2.根据权利要求1所述的方法，其特征在于所述的二元带通随机图案按照以下步骤生成：

1)生成N幅尺寸为m*n的二元随机图像；

2)对上述二元随机图像进行带通滤波，截掉其高频与低频部分；

3)对上述带通滤波产生的灰度图像进行二值化。

3.根据权利要求1所述的方法，二元条纹图像按照以下步骤生成：

1)生成一幅尺寸为m*n的二元条纹图像，黑白条纹为竖直方向；

2)在每个条纹中再写入反色的矩形方块，相邻条纹内的矩形在水平方向上错开一定的位置。

4.根据权利要求1所述的方法，其特征在于对所采集的立体图像对进行初匹配：

1)对采集到的左右两幅二元条纹进行形态学分析，收集矩形方块的中心位置信息；

2)若两个矩形的中心行坐标差值不大于给定值，左右两个矩形被判定为同源矩形，即由同一个矩形在左右两个相机分别成像而成；

3)同源矩形所在的条纹被判定为匹配条纹；

4)完成对矩形方块的处理工作后，输出对所有条纹的匹配结果。

5.根据权利要求1所述的方法，其特征在于进行基于单像素时域灰度序列相关运算的逐像素密集匹配，数学表达式如下：

$TCT(x,y,d)=\frac{{\mathrm{\Σ}}_{t=1}^N\left(g_1\right(x,y,t)-m_1)\·\left(g_2\right(x+d,y,t)-m_2)}{s_1(x,y,t)\·s_2(x+d,y,t)}$

其中，g₁(x,y,t)与g₂(x+d,y,t)为第t幅二元带通随机图像中，像素(x,y)与像素(x+d,y)的灰度值；m_i为像素(x,y)从第1幅二元带通随机图像到第N幅二元带通随机图像，灰度向量的平均值；s_i为像素(x,y)从第1幅二元带通随机图像到第N幅二元带通随机图像，灰度向量的标准差；二元带通随机图案的数目N一般在10-20幅之间，数量多获取的点云信噪比较高但是处理时间较长，数量少计算量小但信噪比低；

由于图像已经经过校正，同源点所在极线水平且共线，对于左侧图像中的像素(x,y)，只需沿极线在右侧图像内通过计算TCT值搜索其同源点，一旦某点TCT值超过预设阈值且取最大值，则左侧像素(x,y)与右侧像素(x+d,y)被判定为同源像素，通过两像素列坐标的视差d，根据三角原理计算各点的深度。

6.根据权利要求4所述的方法，其特征在于基于权利要求4得出的初匹配结果简化密集匹配运算的搜索区间，避免大量不必要的运算，具体步骤如下：

1)根据初匹配结果检索左侧待匹配像素(x,y)所在条纹A在右侧图像中对应的条纹B；

2)探测右侧图像中条纹B的边界与左侧待匹配像素(x,y)所在极线相交的两点(x+d_min,y)与(x+d_max,y)，即确定搜索区间的左右边界[x+d_min,x+d_max]；

3)对于左侧待匹配像素(x,y)，在右侧图像由(x+d_min,y)与(x+d_max,y)两像素确定的区间内运用TCT算法进行匹配。