CN112284287A - 一种基于结构表面灰度特征的立体视觉三维位移测量方法 - Google Patents

Abstract

本发明是一种基于结构表面灰度特征的立体视觉三维位移测量方法。本发明涉及结构测量技术领域，本发明为解决视觉测量过程中布置人造靶标存在局限，且现有无靶标方法在结构表面特征不明显时测量效果一般的问题。本发明采用立体视觉系统对运动过程中的结构表面进行图像采集，得到左右图像序列；选择左右图像感兴趣区域和搜索子区，将搜索子区划分为划分子区；对感兴趣区域和划分子区图像进行二值化处理；建立代表值直方图并进行匹配，得到粗定位匹配结果；建立二进制图并进行匹配，得到整像素匹配结果；亚像素定位匹配结果，得到亚像素匹配结果；得到结构测量目标各时刻的三维坐标和三维位移。本发明用于结构三维位移测量领域。

Description

一种基于结构表面灰度特征的立体视觉三维位移测量方法

技术领域

本发明涉及结构测量技术领域，是一种基于结构表面灰度特征的立体视觉三维位移测量方法。

背景技术

视觉测量技术是作为一种无损检测技术，应用在土木工程领域使结构测量变得更加工业化和智能化，将推动土木工程学科的技术创新。

2004年，Ullah等提出了具有旋转不变性的方向码匹配方法，通过提取图像中各像素点的梯度信息，定义了方向码，得到方向码图和方向码直方图，两次匹配得到定位结果，后续学者将该方法应用到土木工程的视觉测量中；2015年，Bartilson等使用灰度最小平方差相关方法对交通信号灯结构进行测量，得到其在风荷载下的位移及振型信息。在结构位移测量精度达到0.5pixel时，就可以获得较好的模态信息，其位移测量结果可以反馈到模型计算中，修正模型的应力及刚度的计算结果；2015年，单宝华等提出了一种基于圆形靶标的立体视觉方法，该方法通过对靶标的中心提取和匹配算法，可以得到结构的空间位移；提出Canny-Zernike边缘提取算子实现了对圆形靶标边缘的亚像素精度提取，使得中心点的定位精度可达到0.02pixel，在实验室进行试验并与传统方法对比，得到了较好结果；2017年，Najafi将立体视觉系统应用到三叶风机的振动测量与模态分析中，利用两台高速摄像机得到风机在工作状态下的位移时程曲线，并与传统接触式测量传感器结果进行对比，展现了立体视觉监测大型结构的潜力。

视觉测量作为一种非接触测量方法，发展较为成熟，但大多数视觉测量方法是基于人造靶标进行结构测量的。视觉方法相比于传统的接触式测量方法具有很大优势，但在复杂结构和大尺寸结构工况下存在很多局限。近几年国内外学者提出一些不依靠人造靶标，基于结构表面特征进行测量的方法，但这些方法大多数是要求结构表面具有较为明显的纹理几何特征，在结构表面纹理几何特征不明显时测量效果一般。

发明内容

本发明为了解决人造靶标在土木工程试验中存在局限性，且现有无靶标的视觉测量方法在结构表面纹理几何特征不明显的情况下测量效果一般的问题，本发明提供了一种基于结构表面灰度特征的立体视觉三维位移测量方法，本发明提供了以下技术方案：

一种基于结构表面灰度特征的立体视觉三维位移测量方法，包括以下步骤：

步骤1：采用立体视觉系统对运动过程中的结构表面进行图像采集，得到左右图像序列；

步骤2：选择左右参考图像的感兴趣区域和左右图像序列的搜索子区，将搜索子区划分为划分子区；

步骤3：根据左右参考图像的感兴趣区域和左右图像序列的划分子区，进行二值化处理，确定二值化图像；

步骤4：根据左右参考图像的感兴趣区域和左右图像序列的划分子区图像的二值化图像，建立对应的代表值直方图，并进行匹配得到左右图像序列粗定位划分子区匹配结果；

步骤5：根据粗定位划分子区匹配结果，建立对应划分子区和左右感兴趣区域图像的二进制图，并进行二进制图匹配，得到左右图像序列的整像素匹配结果；

步骤6：根据整像素匹配结果进行亚像素定位，得到亚像素匹配结果；

步骤7：根据亚像素匹配结果，确定结构测量目标的三维位移信息。

优选地，所述步骤2具体为：

步骤2.1：所述左右图像序列为立体视觉系统左右相机采集图像序列，左右参考图像为初始时刻左右图像，以结构表面待测区域作为测量目标，在初始时刻左右图像上选择包含测量目标的矩形区域作为感兴趣区域；

步骤2.2：通过预估得到测量目标的运动范围，在左右图像序列上选择包含测量目标运动范围的矩形区域作为搜索子区；

步骤2.3：将搜索子区按照感兴趣区域尺寸以一个像素为单位，从搜索子区左上角像素点从左至右，从上至下依次进行划分，得到多个划分子区。

优选地，进行图像二值化处理时需要确定分组的灰度阈值，采用的灰度阈值确定方法为最大类间方差法。

优选地，所述步骤4具体为：

步骤4.1：建立左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值图，将二值化图像划分为多个4pixel×4pixel的方形矩阵，称为黑白矩阵，每个黑白矩阵共有16个像素点，计算每个黑白矩阵的黑像素点个数作为黑白矩阵代表值，黑白矩阵的代表值共有17个，总数记为Nr，取值范围为{0,1,…,16}；

由黑白矩阵代表值组成的图像称为代表值图，用于表示二值化处理后图像的黑白像素点分布情况；

步骤4.2：建立左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值直方图，感兴趣区域的尺寸为w×h，则建立的黑白代表值图的尺寸为(w/4)×(h/4)，用I_{bw_T}表示ROI的黑白代表值图，设I_{bw_T}内每个元素值为r，取值范围为{0,1,…,16}；通过对I_{bw_T}内各元素值进行统计得到感兴趣区域的黑白代表值直方图，通过下式表示感兴趣区域的黑白代表值直方图h_{bw_T}(o)；

其中，o为代表值，取值范围为{0,1,…,16}，r_ij为ROI的黑白代表值图内的元素值，δ为Kronecker函数符号；

步骤4.3：进行左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值直方图匹配，将搜索子区按照感兴趣区域尺寸进行划分，并以划分子区的左上角顶点像素坐标表示子区，当左上角顶点像素坐标为(m,n)的划分子区则表示为I_mn，以参考图像的ROI为匹配模板，称h_{bw_T}为参考代表值直方图，通过h_{bw_mn}表示I_mn的代表值直方图；

以两直方图交集的归一化面积来度量两个直方图之间的相似程度，通过S_h(m,n)表示，通过下式确定S_h(m,n)：

其中，M为参考点代表值图的元素点总数，o为代表值，取值范围为{0,1,…,16}，Nr为代表值总数；

划分子图和匹配模板完全一致时S_h(m,n)＝1，当S_h(m,n)>0.9，将点(m,n)作为候选匹配点；通过代表值直方图匹配，快速粗定位候选点，二进制图的匹配只对候选点进行。

优选地，所述步骤5具体为：建立步骤四中得到的左右序列图像匹配粗定位结果对应划分子区和左右感兴趣区域图像的二进制图，二进制矩阵的划分规则为：以二值化图像上的像素点(i,j)为二进制矩阵左上角点，像素点(i,j)与点(i,j+1)、(i+1,j)、(i+1,j+1)共同组成二进制矩阵；

二进制矩阵为2pixel×2pixel的矩阵，共有4个像素点，每个像素点的值为0或1，参考二进制数制的位值制计数法，定义二进制矩阵的四个点由左上角点顺时针旋转分别代表二进制的1位、2位、3位、4位，其位权分别为20、2¹、2²、2³；通过下式确定二进制矩阵的值a：

a＝a₁×20+a₂×2¹+a₃×2²+a₄×2³

其中，a₁-a₄为二进制矩阵数位；

令二值化处理结果图中的黑色像素点的值为0，白色像素点的值为1，对二进制矩阵的二进制值进行定义，二进制值取值范围为{0,1,…,15}；由二进制矩阵的二进制值组成的图像称为二进制图，ROI的尺寸为w×h，则建立的二进制图的尺寸为(w-1)×(h-1)，用b_T表示为参考二进制图；

步骤5.2：根据得到的左右序列图像匹配粗定位结果对应划分子区和左右感兴趣区域图像的二进制图匹配，用b_mn表示I_mn的二进制图；选择参数最小平方距离相关函数

对参考二进制图和划分子区二进制图进行匹配，通过下式表示

函数

C_PSSDab＝∑(af(u,v)+b-g(u,v))²

其中，a和b为参数，f(u,v)为参考二进制图的元素值；g(u,v)为划分子区二进制图的元素值；

为参考二进制图的元素值平均值；

划分子区二进制图的元素值平均值；

通过相似度S_b(m,n)表示b_T和b_mn的匹配结果，即两图完全重合时的C_PSSDab值；

根据二进制图匹配结果，得到各候选点的相似度S_b，相似度S_b最大的候选点即为匹配点，得到的匹配结果是整像素匹配结果坐标点。

优选地，所述步骤6具体为：根据整像素匹配结果进行亚像素定位，选择二次曲面拟合方法对得到的整像素匹配结果进行亚像素匹配，得到亚像素匹配结果。

优选地，所述步骤7具体为：

步骤7.1：采用相机标定方法获得立体视觉系统的内外参数，包括内参数矩阵A_l和A_r，外参数矩阵为左相机坐标系转换到右相机坐标系时对应的空间转换矩阵M_lr，通过下式表示内外参数：

内参数矩阵A中(u₀,v₀)为相机主点坐标，f_x和f_y分别为x和y方向的等效焦距，

为旋转矩阵，

为平移矢量，l和r表示左相机和右相机；世界坐标系以结构表面水平向右为x轴正方向，以竖直向下为y轴正方向，垂直结构表面向内为z轴正方向，用o_w-x_wy_wz_w表示；左右相机坐标系分别用o_l-x_ly_lz_l和o_r-x_ry_rz_r表示；左右图像坐标系分别用O_l-X_lY_l和O_l-X_lY_l表示；

步骤7.2：令左相机坐标系o_l-x_ly_lz_l和世界坐标系o_w-x_wy_wz_w重合，根据亚像素匹配结果，确定测量目标在世界坐标系中的三维坐标，通过下式表示测量目标在世界坐标系中的三维坐标：

步骤7.3：根据得到结构测量目标的三维位移信息，选择感兴趣区域中心点作为测量目标点，将测量目标点在各时刻与初始时刻的三维坐标作差即得到测量目标点在各时刻的三维位移。

本发明具有以下有益效果：

本发明在土木工程领域，视觉测量技术是基于计算机视觉和图像处理的一种测量技术。现有视觉测量方法大多基于在结构表面布置人造靶标进行图像信息提取及匹配，人造靶标在实际应用中具有局限性，且现有无靶标的视觉测量方法在结构表面无明显纹理几何特征的情况下测量效果一般。本发明为解决此问题，提出一种基于结构表面灰度特征的立体视觉三维变形测量方法。该方法将采集到的图像序列选择合适的感兴趣区域及搜索子区，建立感兴趣区域及划分子区的代表值直方图和二进制图，经过两次匹配可得到结构的三维位移信息，无需布置人造靶标，工程实用性较强。

本发明通过T型墙地震振动台三维位移测量试验数据对一种基于结构表面灰度特征的立体视觉三维位移测量方法进行验算。试验结果表明使用本方法测得的多个测点的误差平均值可保证在5.08×10^-2mm内，归一化均方误差可保证在3.66％内。本发明方法和位移计、基于人造靶标的视觉测量方法测得的位移曲线吻合较好，证明本发明方法的有效性和可靠性。

附图说明

图1为所使用立体视觉系统结构构成示意图；

图2为代表值图建立示意图；

图3为代表值直方图示意图；

图4为感兴趣区域及划分子区图像的代表值直方图的交集示意图；

图5为二进制矩阵划分示意图；

图6为二进制矩阵的二进制定义示意图；

图7为二进制图像建立示意图；

图8为一种基于结构表面灰度特征的立体视觉三维位移测量方法流程图；

图9为T型墙结构现场照片；

图10为工况1下结构的视觉方法测点布置现场照片；

图11为工况1下结构的视觉方法测点布置示意图；

图12为工况1测点9的x方向位移图；

图13为工况1测点9的y方向位移图；

图14为工况1测点9的z方向位移图。

具体实施方式

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

根据图8所示，本发明提供一种基于结构表面灰度特征的立体视觉三维位移测量方法，具体为：

一种基于结构表面灰度特征的立体视觉三维位移测量方法，包括以下步骤：

步骤1：采用立体视觉系统对运动过程中的结构表面进行图像采集，得到左右图像序列；

所述步骤一采用立体视觉系统对运动过程中的结构表面进行图像采集，得到左右图像序列；所述左右图像序列为立体视觉左右相机采集图像序列，所述立体视觉系统，如图1所示；

步骤2：选择左右参考图像的感兴趣区域和左右图像序列的搜索子区，将搜索子区划分为划分子区；

所述步骤2具体为：

步骤2.1：所述左右参考图像为初始时刻左右图像，以结构表面待测区域作为测量目标，在初始时刻左右图像上选择包含测量目标的矩形区域作为感兴趣区域；

步骤2.2：通过预估得到测量目标的运动范围，在左右图像序列上选择包含测量目标运动范围的矩形区域作为搜索子区；

步骤2.3：将搜索子区按照感兴趣区域尺寸以一个像素为单位，从搜索子区左上角像素点从左至右，从上至下依次进行划分，得到多个划分子区。

步骤3：根据左右参考图像的感兴趣区域和左右图像序列的划分子区，进行二值化处理，确定二值化图像；进行图像二值化处理时需要确定分组的灰度阈值，采用的灰度阈值确定方法为最大类间方差法。

步骤4：根据二值化图像，建立左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值直方图，并进行匹配得到左右图像序列粗定位划分子区匹配结果；

所述步骤4具体为：

步骤4.1：建立左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值图，将二值化图像划分为多个4pixel×4pixel的方形矩阵，称为黑白矩阵，每个黑白矩阵共有16个像素点，计算每个黑白矩阵的黑像素点个数作为黑白矩阵代表值，黑白矩阵的代表值共有17个，总数记为Nr，取值范围为{0,1,…,16}；代表值图建立示意图如图2所示。

由黑白矩阵代表值组成的图像称为代表值图，用于表示二值化处理后图像的黑白像素点分布情况；

步骤4.2：建立左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值直方图，感兴趣区域的尺寸为w×h，则建立的黑白代表值图的尺寸为(w/4)×(h/4)，用I_{bw_T}表示ROI的黑白代表值图，设I_{bw_T}内每个元素值为r，取值范围为{0,1,…,16}；通过对I_{bw_T}内各元素值进行统计得到感兴趣区域的黑白代表值直方图，通过下式表示感兴趣区域的黑白代表值直方图h_{bw_T}(o)；

其中，o为代表值，取值范围为{0,1,…,16}，r_ij为ROI的黑白代表值图内的元素值，δ为Kronecker函数符号；

统计得到的直方图如图3所示；

步骤4.3：进行左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值直方图匹配，将搜索子区按照感兴趣区域尺寸进行划分，并以划分子区的左上角顶点像素坐标表示子区，当左上角顶点像素坐标为(m,n)的划分子区则表示为I_mn，以参考图像的ROI为匹配模板，称h_{bw_T}为参考代表值直方图，通过h_{bw_mn}表示I_mn的代表值直方图；

以两直方图交集的归一化面积来度量两个直方图之间的相似程度，通过S_h(m,n)表示，通过下式确定S_h(m,n)：

其中，M为参考代表值直方图的元素点总数，o为代表值，取值范围为{0,1,…,16}Nr为代表值总数；两直方图交集示意图如图4所示；

划分子图和匹配模板完全一致时S_h(m,n)＝1，当S_h(m,n)>0.9，将点(m,n)作为候选匹配点；通过代表值直方图匹配，快速粗定位候选点，二进制图的匹配只对候选点进行，可以提高计算效率。

步骤5：根据粗定位划分子区匹配结果，对应划分子区和左右感兴趣区域图像的二进制图，并进行二进制图匹配，得到左右图像序列的整像素匹配结果；

所述步骤5具体为：建立步骤四中得到的左右序列图像匹配粗定位结果对应划分子区和左右感兴趣区域图像的二进制图，二进制矩阵的划分规则为：以二值化图像上的像素点(i,j)为二进制矩阵左上角点，像素点(i,j)与点(i,j+1)、(i+1,j)、(i+1,j+1)共同组成二进制矩阵，二进制矩阵划分示意图如图5所示；

二进制矩阵为2pixel×2pixel的矩阵，共有4个像素点，每个像素点的值为0或1，参考二进制数制的位值制计数法，定义二进制矩阵的四个点由左上角点顺时针旋转分别代表二进制的1位、2位、3位、4位，其位权分别为2⁰、2¹、2²、2³；通过下式确定二进制矩阵的值a：

a＝a₁×2⁰+a₂×2¹+a₃×2²+a₄×2³

其中，a₁-a₄为二进制矩阵数位；

根据计算机语言，令二值化处理结果图中的黑色像素点的值为0，白色像素点的值为1，二进制矩阵的二进制值定义如图6所示，二进制值取值范围为{0,1,…,15}；由二进制矩阵的二进制值组成的图像称为二进制图，ROI的尺寸为w×h，则建立的二进制图的尺寸为(w-1)×(h-1)，用b_T表示为参考二进制图，图7为二进制图像建立示意图；

步骤5.2：根据得到的左右序列图像匹配粗定位结果对应划分子区和左右感兴趣区域图像的二进制图匹配，用b_mn表示I_mn的二进制图；选择参数最小平方距离相关函数

对参考二进制图和划分子区二进制图进行匹配，通过下式表示

函数：

C_PSSDab＝∑(af(u,v)+b-g(u,v))²

其中，a和b为参数，f(u,v)为参考二进制图的元素值；g(u,v)为划分子区二进制图的元素值；

为参考二进制图的元素值平均值；

划分子区二进制图的元素值平均值；

通过相似度S_b(m,n)表示b_T和b_mn的匹配结果，即两图完全重合时的

值；

根据二进制图匹配结果，得到各候选点的相似度S_b，相似度S_b最大的候选点即为匹配点，得到的匹配结果是整像素匹配结果坐标点。

步骤6：根据整像素匹配结果进行亚像素定位，得到亚像素匹配结果；

所述步骤6具体为：根据整像素匹配结果进行亚像素定位，选择二次曲面拟合方法对得到的整像素匹配结果进行亚像素匹配，得到亚像素匹配结果。

步骤7：根据亚像素匹配结果，确定结构测量目标的三维位移信息。

所述步骤7具体为：

步骤7.1：采用相机标定方法获得立体视觉系统的内外参数，包括内参数矩阵A_l和A_r，外参数矩阵为左相机坐标系转换到右相机坐标系时对应的空间转换矩阵M_lr，通过下式表示内外参数：

内参数矩阵A中(u₀,v₀)为相机主点坐标，f_x和f_y分别为x和y方向的等效焦距，

为旋转矩阵，

为平移矢量，l和r表示左相机和右相机；世界坐标系以结构表面水平向右为x轴正方向，以竖直向下为y轴正方向，垂直结构表面向内为z轴正方向，用o_w-x_wy_wz_w表示；左右相机坐标系分别用o_l-x_ly_lz_l和o_r-x_ry_rz_r表示；左右图像坐标系分别用O_l-X_lY_l和O_l-X_lY_l表示；

步骤7.2：令左相机坐标系o_l-x_ly_lz_l和世界坐标系o_w-x_wy_wz_w重合，根据亚像素匹配结果，确定测量目标在世界坐标系中的三维坐标，通过下式表示测量目标在世界坐标系中的三维坐标：

步骤7.3：根据得到结构测量目标的三维位移信息，选择感兴趣区域中心点作为测量目标点，将测量目标点在各时刻与初始时刻的三维坐标作差即得到测量目标点在各时刻的三维位移。

具体实施例二：

本实施例为T型墙结构地震振动台三维位移测量试验，具体按以下步骤制备：

本实施例所用T型墙结构如图9所示，模型结构高3m，墙面尺寸为1400mm×200mm。试验在中国地震局工程力学研究所的地震模拟实验室进行，试验所用地震台为三向振动台，台面尺寸为5m×5m，水平位移范围为±80mm，水平最大加速度为±1.0g。T型墙结构通过螺栓固定在振动台上，并使其结构中心与振动台中心重合，其结构弱轴与振动台的强轴重合。

在进行三维位移测量试验时，在结构表面测点位置粘贴试验图像和圆形靶标，试验图像尺寸为100mm×100mm，圆形靶标由亚克力板制成，外圆直径100mm，内圆直径50mm，外白内黑，结构测点布置如图10和图11所示，用于与本发明方法进行对比。本次实施例进行了多个工况试验，将选取的两个工况参数列于表1。

表1

本实施例所用的立体视觉计算机为Windows7系统，硬盘存储容量为3TB，运行内存为8GB，CPU的频率为3.7GHz。相机为德国AVT公司的Pike-F-100c系列CCD工业相机，焦距设置为12mm，图像分辨率设为1000pixel×1000pixel，使用双通道触发器实现两相机同步图像采集，采集频率为30Hz。物距为1800mm，双CCD相机相距200mm，高度为800mm。

图12-图14为工况1测点9的三维位移曲线图，工况1下其它测点及其它工况下各测点的三维位移曲线图与其相似。试验结果表明一种基于结构表面灰度特征的立体视觉三维位移测量方法和基于人造靶标的视觉方法及位移计得到的位移测量曲线重吻合较好，证明本发明方法的有效性和可靠性。

对每个工况的所有测点使用位移计、基于人造靶标的视觉方法和本发明方法进行位移测量，对三种方法的测量结果进行对比。以位移计的测量结果为真值，将三种视觉方法在工况1下部分测点的x方向的位移误差分析结果列于表2中，将z方向的位移误差分析结果列于表3中。

表2

表3

由表2可知，工况1下基于结构表面灰度特征的方法测得的四个测点的x方向的位移归一化均方误差可保证在3.66％内；由表3可知，z方向的位移归一化均方误差可保证在3.52％内。试验结果表明，本发明方法与基于散点图、基于圆靶标的视觉方法相比，虽位移归一化均方误差数值略大一点，但与其他两种方法的测量精度在一个级别上，可满足土木工程结构现场测量的需求。而且本发明方法可以很好地解决复杂结构、大尺寸结构上多点位移现场测量时布置人造靶标不便的问题，可以基于结构表面灰度特征实现快捷高效地测量。在结构表面纹理几何特征不明显时具有较优的测量效果，不受复杂结构形式及大尺度结构几何尺寸的限制，可减少测量工序，节省人力物力财力，具有很好的工程应用性和推广价值。

T型墙结构地震振动台三维位移测量试验结果表明：本发明方法可用于结构三维位移测量试验，采用一种基于结构表面灰度特征的立体视觉三维位移测量方法，在工程应用中具有实用性和推广价值。

以上所述仅是一种基于结构表面灰度特征的立体视觉三维位移测量方法的优选实施方式，一种基于结构表面灰度特征的立体视觉三维位移测量方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (7)

1.一种基于结构表面灰度特征的立体视觉三维位移测量方法，其特征是：包括以下步骤：

步骤1：采用立体视觉系统对运动过程中的结构表面进行图像采集，得到左右图像序列；

步骤2：选择左右参考图像的感兴趣区域和左右图像序列的搜索子区，将搜索子区划分为划分子区；

步骤3：根据左右参考图像的感兴趣区域和左右图像序列的划分子区，对其进行二值化处理，确定二值化图像；

步骤4：根据左右参考图像的感兴趣区域和左右图像序列的划分子区图像的二值化图像，建立对应的代表值直方图，并进行匹配得到左右图像序列粗定位划分子区匹配结果；

步骤5：根据粗定位划分子区匹配结果，建立对应划分子区和左右感兴趣区域图像的二进制图，并进行二进制图匹配，得到左右图像序列的整像素匹配结果；

步骤6：根据整像素匹配结果进行亚像素定位，得到亚像素匹配结果；

步骤7：根据亚像素匹配结果，确定结构测量目标的三维位移信息。

2.根据权利要求1所述的一种基于结构表面灰度特征的立体视觉三维位移测量方法，其特征是：所述步骤2具体为：

步骤2.1：所述左右图像序列为立体视觉系统左右相机采集图像序列，左右参考图像为初始时刻左右图像，以结构表面待测区域作为测量目标，在初始时刻左右图像上选择包含测量目标的矩形区域作为感兴趣区域；

步骤2.2：通过预估得到测量目标的运动范围，在左右图像序列上选择包含测量目标运动范围的矩形区域作为搜索子区；

步骤2.3：将搜索子区按照感兴趣区域尺寸以一个像素为单位，从搜索子区左上角像素点从左至右，从上至下依次进行划分，得到多个划分子区。

3.根据权利要求1所述的一种基于结构表面灰度特征的立体视觉三维位移测量方法，其特征是：进行图像二值化处理时需要确定分组的灰度阈值，采用的灰度阈值确定方法为最大类间方差法。

4.根据权利要求1所述的一种基于结构表面灰度特征的立体视觉三维位移测量方法，其特征是：所述步骤4具体为：

步骤4.1：建立左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值图，将二值化图像划分为多个4pixel×4pixel的方形矩阵，称为黑白矩阵，每个黑白矩阵共有16个像素点，计算每个黑白矩阵的黑像素点个数作为黑白矩阵代表值，黑白矩阵的代表值共有17个，总数记为Nr，取值范围为{0,1,…,16}；

由黑白矩阵代表值组成的图像称为代表值图，用于表示二值化处理后图像的黑白像素点分布情况；

步骤4.2：建立左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值直方图，感兴趣区域的尺寸为w×h，则建立的黑白代表值图的尺寸为(w/4)×(h/4)，用I_{bw_T}表示ROI的黑白代表值图，设I_{bw_T}内每个元素值为r，取值范围为{0,1,…,16}；通过对I_{bw_T}内各元素值进行统计得到感兴趣区域的黑白代表值直方图，通过下式表示感兴趣区域的黑白代表值直方图h_{bw_T}(o)；

其中，o为代表值，取值范围为{0,1,…,16}，r_ij为ROI的黑白代表值图内的元素值，δ为Kronecker函数符号；

步骤4.3：进行左右参考图像的感兴趣区域和左右图像序列的划分子区图像的代表值直方图匹配，将搜索子区按照感兴趣区域尺寸进行划分，并以划分子区的左上角顶点像素坐标表示子区，当左上角顶点像素坐标为(m,n)的划分子区则表示为I_mn，以参考图像的ROI为匹配模板，称h_{bw_T}为参考代表值直方图，通过h_{bw_mn}表示I_mn的代表值直方图；

以两直方图交集的归一化面积来度量两个直方图之间的相似程度，通过S_h(m,n)表示，通过下式确定S_h(m,n)：

其中，M为参考代表值直方图的元素点总数，o为代表值，取值范围为{0,1,…,16}，Nr为代表值总数；

划分子图和匹配模板完全一致时S_h(m,n)＝1，当S_h(m,n)>0.9，将点(m,n)作为候选匹配点；通过代表值直方图匹配，快速粗定位候选点，二进制图的匹配只对候选点进行。

5.根据权利要求1所述的一种基于结构表面灰度特征的立体视觉三维位移测量方法，其特征是：所述步骤5具体为：建立步骤四中得到的左右序列图像匹配粗定位结果对应划分子区和左右感兴趣区域图像的二进制图，二进制矩阵的划分规则为：以二值化图像上的像素点(i,j)为二进制矩阵左上角点，像素点(i,j)与点(i,j+1)、(i+1,j)、(i+1,j+1)共同组成二进制矩阵；

二进制矩阵为2pixel×2pixel的矩阵，共有4个像素点，每个像素点的值为0或1，参考二进制数制的位值制计数法，定义二进制矩阵的四个点由左上角点顺时针旋转分别代表二进制的1位、2位、3位、4位，其位权分别为2⁰、2¹、2²、2³；通过下式确定二进制矩阵的值a：

a＝a₁×2⁰+a₂×2¹+a₃×2²+a₄×2³

其中，a₁-a₄为二进制矩阵数位；

令二值化处理结果图中的黑色像素点的值为0，白色像素点的值为1，对二进制矩阵的二进制值进行定义，二进制值取值范围为{0,1,…,15}；由二进制矩阵的二进制值组成的图像称为二进制图，ROI的尺寸为w×h，则建立的二进制图的尺寸为(w-1)×(h-1)，用b_T表示为参考二进制图；

步骤5.2：根据得到的左右序列图像匹配粗定位结果对应划分子区和左右感兴趣区域图像的二进制图匹配，用b_mn表示I_mn的二进制图；选择参数最小平方距离相关函数

对参考二进制图和划分子区二进制图进行匹配，通过下式表示

函数：

其中，a和b为参数，f(u,v)为参考二进制图的元素值；g(u,v)为划分子区二进制图的元素值；

为参考二进制图的元素值平均值；

划分子区二进制图的元素值平均值；

通过相似度S_b(m,n)表示b_T和b_mn的匹配结果，即两图完全重合时的

值；

根据二进制图匹配结果，得到各候选点的相似度S_b，相似度S_b最大的候选点即为匹配点，得到的匹配结果是整像素匹配结果坐标点。

6.根据权利要求1所述的一种基于结构表面灰度特征的立体视觉三维位移测量方法，其特征是：所述步骤6具体为：根据整像素匹配结果进行亚像素定位，选择二次曲面拟合方法对得到的整像素匹配结果进行亚像素匹配，得到亚像素匹配结果。

7.根据权利要求1所述的一种基于结构表面灰度特征的立体视觉三维位移测量方法，其特征是：所述步骤7具体为：

步骤7.1：采用相机标定方法获得立体视觉系统的内外参数，包括内参数矩阵A_l和A_r，外参数矩阵为左相机坐标系转换到右相机坐标系时对应的空间转换矩阵M_lr，通过下式表示内外参数：

内参数矩阵A中(u₀,v₀)为相机主点坐标，f_x和f_y分别为x和y方向的等效焦距，

为旋转矩阵，

为平移矢量，l和r表示左相机和右相机；世界坐标系以结构表面水平向右为x轴正方向，以竖直向下为y轴正方向，垂直结构表面向内为z轴正方向，用o_w-x_wy_wz_w表示；左右相机坐标系分别用o_l-x_ly_lz_l和o_r-x_ry_rz_r表示；左右图像坐标系分别用O_l-X_lY_l和O_l-X_lY_l表示；

步骤7.2：令左相机坐标系o_l-x_ly_lz_l和世界坐标系o_w-x_wy_wz_w重合，根据亚像素匹配结果，确定测量目标在世界坐标系中的三维坐标，通过下式表示测量目标在世界坐标系中的三维坐标：

步骤7.3：根据得到结构测量目标的三维位移信息，选择感兴趣区域中心点作为测量目标点，将测量目标点在各时刻与初始时刻的三维坐标作差即得到测量目标点在各时刻的三维位移。

Images