CN107543496A - 一种基于散斑图像匹配的立体视觉测量人工标记点 - Google Patents

Abstract

本发明公开一种基于散斑图像匹配的立体视觉测量人工标记点，它是由外层的黑色环带、中层的白色环带、内层的散斑图案块构成的三层环状结构。具体定位方法是：首先，在测量图像中，根据白色环和散斑图案块信息检测人工标记点；然后，采用散斑图像匹配方法进行立体图像对中人工标记点亚像素级精度匹配；最后，根据立体视觉测量系统标定结果，进行三维重建得到人工标记点三维坐标。本发明提供的人工标记点图案形式和定位方法，可有效消除被测对象表面炫光干扰，提高视觉测量系统鲁棒性。

Description

一种基于散斑图像匹配的立体视觉测量人工标记点

技术领域

本发明属于视觉测量技术领域，特指一种基于散斑图像匹配的立体视觉测量人工标记点。

背景技术

立体视觉三维测量技术原理如图1所示，采用两个摄像机(1,2)、两个光源(3,4)，在被测对象(5)表面粘贴若干白色圆形人工标记点(6)，利用两个摄像机同步拍摄被测对象表面人工标记点图像，在测量图像中定位人工标记点(6)圆心图像坐标，通过三维重建得到人工标记点圆心三维坐标，进而实现被测对象对应位置上三维坐标测量，以此得到被测对象的位置、姿态、变形等信息。该技术已被广泛应用于工业制造、模具加工与安装、航空航天、空气动力学试验等领域。但是，在实际应用中，经常需要测量带镜面反射的金属结构，镜面反射产生的炫光容易在测量图像中形成与人工标记点类似的白色区域，严重时甚至将人工标记点完全淹没在白色炫光中，进而导致无法提取人工标记点圆心坐标，丢失测量数据的问题。

目前，一些新型的人工标记点图像形式，如图2所示，采用在白色圆形标记点外增加一层黑色圆环(7)，用于增强白色标记点边界对比度，以有利于提取圆形人工标记点边缘。所增加的黑色圆环(7)可在一定程度上隔断较弱的炫光。但是，当黑色圆环较窄、炫光较强时，白色炫光依然会盖过黑色圆环，并将内部的白色圆形标记点淹没在炫光中。

此外，现有的圆形人工标记点定位方法，通常采用质心法或基于边缘的椭圆拟合法用于确定人工标记点圆心。为增强人工标记点图像对比度，通常在制作白色人工标记点时涂抹具有强反射系数的玻璃粉，在强光照射下使拍摄的人工标记点图像外边缘形成光晕，而降低人工标记点边缘提取精度。此外，当人工标记点与成像相机光轴不垂直时，得到的拍摄图像是圆形人工标记点的透视投影，即椭圆。由于存在透视投影畸变，因此该椭圆的质心并不是人工标记点圆心。这意味着，椭圆拟合法提取的人工标记点圆心与真实位置存在偏差。透视投影是一个线性变换，若在人工标记点圆心位置处设置标识信息(比如图3中的十字丝(8)、或角点(9))，那么可以通过该标识信息在测量图像中准确定位人工标记点圆心。但是，在炫光干扰情况下，十字丝、角点的边缘容易被人工标记点白色区域强反射光污染，而影响其定位精度。因此，在炫光干扰情况下，需要同时解决清晰成像和人工标记点精确定位问题。

发明内容

本发明目的是解决立体视觉测量中炫光干扰情况下人工标记点清晰成像和精确定位问题，提供一种基于散斑图像匹配的立体视觉测量人工标记点。

本发明解决上述问题采用的技术方案是：人工标记点图案形式为一个三层环状结构，外层为黑色环带(11)，中层为白色环带(12)，内层为散斑图案块(10)；黑色环带(11)、白色环带(12)的形状包括正多变形环和圆环，散斑图案块(10)的形状包括正多变形和圆盘；散斑图案块(10)表现为散乱斑点或亮度随机分布的杂乱纹理。

人工标记点定位步骤如下：

步骤1：在被测对象(5)表面粘贴人工标记点之前，靠近粘贴位置处，使人工标记点与测量系统第一摄像机(1)的光轴垂直，记录该位置处人工标记点的正视图像其中上标o表示测量前拍摄的初始图像，下标1表示第一摄像机；在正视图像中，检测白色环带(12)的外边缘，通过基于边缘的圆或正多边形拟合计算白色环带(12)的中心坐标(u_c,v_c)作为人工标记点在正视图像中的图像坐标P_t ^o，其中u、v是图像坐标，取值范围为1～100000，单位为像素，下标c表示白色环带中心；在正视图像中，取以(u_c,v_c)为圆心、半径为ω的圆盘图像作为该人工标记点的参考散斑图像s^r，ω单位为像素，取值范围为1～100000；按上述方式提取所有人工标记点P＝{p₁,...,p_n}的参考散斑图像并将其存储在计算机中，其中下标n是人工标记点序号，取值范围1～1000000，上标r表示该散斑图像为参考图像。

步骤2：对测量过程中第一摄像机(1)、第二摄像机(2)拍摄的测量图像进行二值化处理，找出图像中的白色区域，并通过腐蚀、膨胀操作去除二值化图像中噪声，其中上标e表示测量过程中拍摄的当前图像，下标1、2分别表示第一摄像机、第二摄像机。

步骤3：在白色区域中，根据步骤1中存储的参考散斑图像采用数字散斑相关方法分别在测量图像中进行亚像素精度级的散斑图像块匹配，得到人工标记点P＝{p₁,...,p_n}在两幅测量图像中的图像坐标 其中u、v的上标1、2分别指该坐标为图像中图像坐标，上标T表示向量的转置。

步骤4：采用立体视觉测量系统标定结果，根据D¹、D²进行三维重建，得到人工标记点P＝{p₁,...,p_n}的空间三维坐标P^x,y,z＝[(x₁,y₁,z₁)^T,...,(x_n,y_n,z_n)^T]，其中x、y、z是三维空间坐标，上标T表示向量的转置。

对人工标记点进行编码的方法是：直接按顺序给参考散斑图像赋予编号C＝{c₁,...,c_n}，在人工标记点识别与定位过程中，根据当前人工标记点P_k与参考散斑图像的匹配结果，以最佳匹配的参考散斑图像的编号c_j作为P_k的编号。

优选地，一种快速的人工标记点定位方法是：在步骤3中，先检测出白色区域中的白色环带(12)，再采用散斑图案块判定准则，剔除内部不包含散斑图案块的白色环带，在剩下的白色环带中进行散斑图像块匹配；所述散斑图案块判定准则是：ψ＞ε，其中ψ是白色环带内像素平均梯度强度，ε是判定阈值，取值范围0～100000；ψ定义为：其中，m是白色环带内像素数量，是白色环带内第i个像素在u坐标方向上的1阶导数，是白色环内第i个像素在v坐标方向上的1阶导数。

优选地，一种鲁棒的人工标记点定位方法是：在步骤3中，采用测量前存储的参考散斑图像下标k表示该参考散斑图像的序号，分别与第一摄像机(1)、第二摄像机(2)拍摄的测量图像进行散斑图像块匹配，得到在图像中坐标然后，在上，以为圆心、ω为半径，再取一个圆形参考散斑图像用在中进行散斑图像块匹配，得到坐标当时，以和的均值作为p_k在中的图像坐标，否则，在图像中手工指定p_k的图像坐标，其中，a为判定阈值，取值范围0～100000。

本发明采用散斑图案制作人工标记点的技术原理是：首先，散斑图案是由位置、强度随机分布的斑点构成的(见图4中10)，在炫光干扰下，它并不会形成强反射光图像，不会产生炫光干扰问题；其次，实验力学领域学者们所提出的数字散斑相关方法(DigitalSpeckle Correlation Method,DSCM)(比如，陈华等，“基于数字散斑相关方法的视觉变形测量技术研究”，2008年，哈尔滨工业大学，工学博士论文)，可提供亚像素级精度的散斑图像匹配，为实现基于散斑图像块的亚像素级精度人工标记点圆心定位提供了技术途径。

本发明有益效果：

1)在人工标记点中心位置处添加散斑图案标记信息，通过亚像素级精度的散斑图案匹配，可准确计算人工标记点圆心坐标，避免椭圆拟合方法在计算人工标记圆心产生的偏差；

2)采用三层环状结构，其中黑色环带用于隔断炫光干扰，白色环带、散斑图案块用于人工标记点识别和定位，可同时满足炫光干扰抑制和人工标记精确定位需求；

3)由于，人工标记点中的散斑图案是由位置、灰度随机分布的杂乱斑点构成，因此，每一个人工标记点的散斑图案块图像内容是不相同的，从而可以避免现有白色圆形人工标点相互间无法区分的问题，在不使用额外的编码信息(图5给出了一种常用的编码人工标记点形式，其中5个小白色圆盘(13)作为编码信息使用)的情况下，可以区分不同人工标记点，并在测量初期，通过对不同的参考散斑图像进行编码，可实现人工标记点编码。

附图说明

图1基于双目立体视觉的三维测量原理

图2现有白色圆形人工标记点

图3在人工标记点中心设置标识信息

图4本发明设计的人工标记图案形式示例

图5现有编码人工标记点图案形式

图6人工标记点三维坐标计算流程

图中：1、第一摄像机，2、第二摄像机，3、第一光源，4、第二光源，5、被测对象，6、白色圆形人工标记点,7、白色圆形人工标记点的黑色圆环，8、十字丝，9、角点，10、散斑图案块，12、白色环带，11、黑色环带，13、用于编码的白色圆盘图案，14、正视图像15、白色环带(12)的中心坐标(u_c,v_c)，16、参考散斑图像s^r的中心坐标，17、16在中的匹配结果，18、16在中的匹配结果，19、17的中心坐标20、18的中心坐标21、根据19、20计算的人工标记点空间三维坐标。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

本发明提供的人工标记点图案形式是在现有白色圆形人工标记点(见图2)基础上，增加一个散斑图案块，构成三层环状结构。图4给出了以圆环、圆盘作为环状图案形状的设计实例，其中，11是外层的黑色圆环，12是中层的白色圆环，10是内层的散斑图案块。与现有白色圆形人工标记点的区别是：1)外层的黑色圆环(11)更宽，更有益于隔断白色炫光，具体宽度可根据应用场合调整，一米测量距离时，建议宽度为10mm以上；2)中层的白色圆环(12)较窄，具体宽度可根据应用场合调整，一米测量距离时，建议宽度为5mm左右，且中层的白色圆环制作过程中添加少量玻璃粉，以避免产生强反射光；3)内层是散斑图案块(10)，它的优点是：首先，在强光照射下反射光弱，可保证拍摄到可分辨图像，其次，当人工标记点与摄像机光轴不垂直时，成像图像中散斑图像块中心位置处纹理不存在位置偏移，不会产生现有白色圆形人工标记点(图2所示)因透视投影形成的圆心坐标与其投影椭圆质心不重合的问题。

实施例2

本发明提出的人工标记点三维测量原理是：在第一摄像机拍摄的人工标记点中心(该中心定义为白色圆环外边缘的圆心)图像坐标已知的情况下，定义一个半径为ω的圆盘，该圆盘位于散斑图案块10内，以此作为参考散斑图像，在第二摄像机拍摄的人工标记点图像中，通过数字散斑相关方法(DSCM)找到对应的匹配点，即可实现两个摄像机拍摄图像中人工标记点中心图像坐标提取，再利用立体视觉标定结果，通过三维重建得到人工标记点三维坐标。

由于在实际测量过程中，所拍摄的人工标记点不一定是正视图像(即摄像机光轴与人工标记点平面垂直时拍摄的图像)，而影响人工标记点中心定位精度。为此，采用下面的方式进行人工标记点定位，相关流程如图6所示，具体步骤如下：

步骤1：在被量对象表面粘贴人工标记点前，在粘贴位置处，遮挡炫光干扰，使人工标记点与第一摄像机光轴垂直，记录该位置处人工标记点的正视图像(图6中14)；在正视图像中，检测白色环带外边缘，通过基于边缘的圆拟合方法计算白色环中心坐标(u_c,v_c)(图6中15)作为人工标记点在正视图像中的中心图像坐标在正视图像中，取以(u_c,v_c)为圆心、半径为ω的圆盘图像作为该人工标记点的参考散斑图像s^r(图6中16)，半径ω选择原则是：参考散斑图像s^r最大限度地提取内部散斑图像块内像素、且不超过白色环的内边缘；按上述方式提取所有人工标记点P＝{p₁,...,p_n}的参考散斑图像直接按顺序给参考散斑图像赋予编号C＝{1,...,n}，并将C＝{1,...,n}存储在计算机中。

步骤2：对测量过程中两个摄像机拍摄的测量图像进行二值化处理，找出图像中的白色区域，并通过腐蚀、膨胀操作去除二值化图像中噪声。

步骤3：在白色区域中，根据步骤1中存储的参考散斑图像(这里以第k个人工标记点p_k为例进行说明，其他人工标记点按此方法处理)，采用H.Lu等提出基于2阶变形梯度的散斑图像匹配算法(Deformation Measurements by Digital Image Correlation:Implementation of a Second-order Displacement Gradient)，分别在测量图像中，进行亚像素精度级的散斑图像块匹配(图6中17、18分别为16在中的匹配结果)，得到人工标记点p_k在两幅测量图像中的图像坐标(图6中19)、(图6中20)。采用H.Lu等提出的基于2阶变形梯度的散斑图像匹配算法的原因是：第一摄像机和第二摄像机拍摄图像之间存在透视畸变，2阶变形梯度模型可良好地近似透视畸变。按上述方式，提取所有人工标记点P＝{p₁,...,p_n}的图像坐标

步骤4：利用立体视觉测量系统标定结果，根据步骤3中的人工标记点在两个摄像机拍摄图像中的坐标(这里以第k个人工标记点p^k为例进行说明，其他人工标记点按此方法处理)进行三维重建，得到人工标记点p_k的空间三维坐标(x_k,y_k,z_k)^T(图6中21)。按上述方式，根据D¹、D²得到所有人工标记点P＝{p₁,...,p_n}的空间三维坐标P^x,y,z＝[(x₁,y₁,z₁)^T,...,(x_n,y_n,z_n)^T]。

实施例3

实施例2中提供了本发明人工标记点定位的基本方法，实施例3提供一种人工标记快速定位方法。与实施例2不同之处是：在步骤3中，先进行人工标记点识别，再进行人工标记点定位。具体实现方式是，先检测出白色区域中的白色环，再通过散斑图案块判定准则，剔除内部不包含散斑图案块的白色环，在剩下的白色环中进行散斑图像块匹配，这样可以减小散斑图像块搜索匹配的范围、减少图像数据处理量，提高匹配速度。所采用的散斑图案块判定准则是：ψ＞ε，其中ψ是白色圆环内像素平均梯度强度，ε是判定阈值，实际应用中手工设定。ψ定义为：

其中，m是白色圆环内像素数量，是白色圆环内第i个像素在u坐标方向上的1阶导数，由左侧像素与其作差得到，是白色圆环内第i个像素在v坐标方向上的1阶导数，由上侧像素与其作差得到。

实施例4

在实施例2中的人工标记点定位方法步骤3中，采用数字散斑相关方法(DSCM)分别在测量图像中进行散斑图像块匹配时，存在匹配误差，为进一步提高匹配结果可靠性和精度。实施例4给出一种人工标记点高精度定位方法。与实施例2不同之处是，在步骤3中，首先，将参考散斑图像(这里以第k个人工标记点p_k为例进行说明，其他人工标记点按此方法处理)，分别与摄像机1、2拍摄的测量图像进行散斑图像块匹配，得到p_k在图像中的图像坐标然后，在上，以为圆心、r为半径，再取一个参考散斑图像用在中再进行一次散斑图像块匹配，得到第二个坐标当前后两次计算坐标满足时，以和的均值作为p_k在中的图像坐标，否则，在图像中手工指定p_k的图像坐标。a的取值根据实际应用设定，通常可取1个像素。该方法，通过在两个摄像机之间二次散斑图像块匹配，可以提高匹配结果的可靠性和精度，避免产生错误匹配结果，并通过取两次匹配结果的均值提高人工标记点图像坐标计算精度。

实施例5

本实施例提供一种人工标记点编码方法。具体指：直接按顺序给参考散斑图像赋予编号C＝{c₁,...,c_n}，在人工标记点识别与定位过程中，根据当前人工标记点p_k与参考散斑图像的匹配结果，以最佳匹配的参考散斑图像的编号c_j作为p_k的编号，实现人工标记点编码。

Claims (4)

1.一种基于散斑图像匹配的立体视觉测量人工标记点，其特征是：人工标记点中包含由散乱斑点或亮度随机分布杂乱纹理构成的散斑图像块，立体视觉测量中的人工标记点匹配采用散斑图像匹配方法。

2.根据权利要求1，人工标记点图案形式为一个三层环状结构，外层为黑色环带(11)，中层为白色环带(12)，内层为散斑图案块(10)；黑色环带(11)、白色环带(12)的形状包括正多变形环和圆环，散斑图案块(10)的形状包括正多变形和圆盘；散斑图案块(10)表现为散乱斑点或亮度随机分布的杂乱纹理。

3.根据权利要求1和2，人工标记点定位步骤如下：

步骤1：在被测对象(5)表面粘贴人工标记点之前，靠近粘贴位置处，使人工标记点与测量系统第一摄像机(1)的光轴垂直，记录该位置处人工标记点的正视图像其中上标o表示测量前拍摄的初始图像，下标1表示第一摄像机；在正视图像中，检测白色环带(12)的外边缘，通过基于边缘的圆或正多边形拟合计算白色环带(12)的中心坐标(u_c,v_c)作为人工标记点在正视图像中的图像坐标P_t ^o，其中u、v是图像坐标，取值范围为1～100000，单位为像素，下标c表示白色环带中心；在正视图像中，取以(u_c,v_c)为圆心、半径为ω的圆盘图像作为该人工标记点的参考散斑图像s^r，ω单位为像素，取值范围为1～100000；按上述方式提取所有人工标记点P＝{p₁,...,p_n}的参考散斑图像并将其存储在计算机中，其中下标n是人工标记点序号，取值范围1～1000000，上标r表示该散斑图像为参考图像；

步骤2：对测量过程中第一摄像机(1)、第二摄像机(2)拍摄的测量图像进行二值化处理，找出图像中的白色区域，并通过腐蚀、膨胀操作去除二值化图像中噪声，其中上标e表示测量过程中拍摄的当前图像，下标1、2分别表示第一摄像机、第二摄像机；

步骤3：在白色区域中，根据步骤1中存储的参考散斑图像采用数字散斑相关方法分别在测量图像中进行亚像素精度级的散斑图像块匹配，得到人工标记点P＝{p₁,...,p_n}在两幅测量图像中的图像坐标 其中u、v的上标1、2分别指该坐标为图像中图像坐标，上标T表示向量的转置；

步骤4：采用立体视觉测量系统标定结果，根据D¹、D²进行三维重建，得到人工标记点P＝{p₁,...,p_n}的空间三维坐标P^x,y,z＝[(x₁,y₁,z₁)^T,...,(x_n,y_n,z_n)^T]，其中x、y、z是三维空间坐标，上标T表示向量的转置；

优选地，一种快速的人工标记点定位方法是：在步骤3中，先检测出白色区域中的白色环带(12)，再采用散斑图案块判定准则，剔除内部不包含散斑图案块的白色环带，在剩下的白色环带中进行散斑图像块匹配；所述散斑图案块判定准则是：ψ＞ε，其中ψ是白色环带内像素平均梯度强度，ε是判定阈值，取值范围0～100000；ψ定义为：其中，m是白色环带内像素数量，是白色环带内第i个像素在u坐标方向上的1阶导数，是白色环内第i个像素在v坐标方向上的1阶导数；

优选地，一种鲁棒的人工标记点定位方法是：在步骤3中，采用测量前存储的参考散斑图像下标k表示该参考散斑图像的序号，分别与第一摄像机(1)、第二摄像机(2)拍摄的测量图像进行散斑图像块匹配，得到在图像中坐标然后，在上，以为圆心、ω为半径，再取一个圆形参考散斑图像用在中进行散斑图像块匹配，得到坐标当时，以和的均值作为p_k在中的图像坐标，否则，在图像中手工指定p_k的图像坐标，其中，a为判定阈值，取值范围0～100000。

4.根据权利要求1～3，对人工标记点进行编码的方法是：直接按顺序给参考散斑图像赋予编号C＝{c₁,...,c_n}，在人工标记点识别与定位过程中，根据当前人工标记点P_k与参考散斑图像的匹配结果，以最佳匹配的参考散斑图像的编号c_j作为P_k的编号。