CN110415300A - 一种基于三靶标建面的立体视觉结构动态位移测量方法 - Google Patents

Abstract

本发明提出一种基于三靶标建面的立体视觉结构动态位移测量方法，所述方法包括在贴有靶标的结构表面的一侧设置立体视觉系统，对两个相机进行标定，对两个相机采集的图像进行自动识别，建立结构坐标系得到转换矩阵和计算结构坐标系下的三维位移步骤。本发明具有较高的测量精度和稳定性，可以满足试验的精度要求。

Description

一种基于三靶标建面的立体视觉结构动态位移测量方法

技术领域

本发明属于土木工程结构动态试验技术领域，特别是涉及一种基于三靶标建面的立体视觉结构动态位移测量方法。

背景技术

在土木工程领域，结构动态位移数据采集是评估结构的安全性能以及服役状态最重要的环节。对一些大型结构，通过分析采集到结构实时位移响应数据得到结构模态参数，对结构的剩余寿命和是否需要加固做出更好的评价。

传统的位移测量方法通常采用线性可变差动变压式传感器(Linear VariableDifferential Transformer，LVDT)，拉线式位移计，百分表等接触式测量方法，这些测量方法对接触位置的可靠性要求较高，当结构发生较大塑性变形时，容易造成接触点滑移产生测量误差；当测点较多时，传感器的布设较为繁琐，而且传感器固定装置是否牢固可靠，也会对测量结果产生影响。而非接触测量方法中，测量仪器不与被测对象接触，不影响结构本身的运动状态，可靠性高。激光位移计作为一种非接触测量方法，以其高精度和采集频率的优点，被广泛使用。然而在激光位移计使用时，受到仪器量程的影响，仍需在被测物体附近架设固定装置；除此之外，激光位移计仅可实现单点测量且成本较高，存在较大的局限性。

而由两个相机组成的双目立体视觉测量系统，利用三角测量原理，可以实现多个测点的实时三维测量，克服了上述传统测量方法的局限性。目前国内外的立体视觉测量系统主要用于工业上材料力学实验、物体的三维重建和产品表观检测，不适合土木工程领域中大型结构动态变形测量。

发明内容

本发明目的是为了解决现有技术中的问题，提出了一种基于三靶标建面的立体视觉结构动态位移测量方法。

本发明是通过以下技术方案实现的，本发明提出一种基于三靶标建面的立体视觉结构动态位移测量方法，所述方法包括以下步骤：

步骤一、在结构表面测点处粘贴同心圆靶标，并在结构粘贴靶标一侧的前方放置双目立体视觉系统，该双目立体视觉系统包括左、右两个相机；

步骤二、使用棋盘格标定方法对两个相机进行标定，得到双目立体视觉系统的内、外参数；

步骤三、在结构动态试验开始加载时，左、右两相机按照设定好触发频率同步记录靶标运动状态，采集多帧左、右图像；

步骤四、对采集到的左、右图像中的各个圆形靶标进行自动识别，并根据所输入的参数生成匹配模板和搜索子区，完成左右图像间的立体匹配和时序匹配；

步骤五、选择粘贴在结构表面的三个同心圆靶标建立结构坐标系，并得到左相机坐标系到结构坐标系的转换矩阵；

步骤六、结合步骤二中双目立体视觉系统的标定结果和步骤五中转换矩阵，通过基于公垂线中点的空间点坐标三维重构算法计算靶标在左相机坐标系的三维坐标，继而可以得到结构表面的靶标在结构坐标系下的三维位移。

进一步地，所述步骤四具体过程为：

步骤四一、设定二值化的阈值、圆形度阈值、单个相机采集到的图片数量，靶标内圆直径为同心圆靶标内圆的制作直径，预估结构在x、y方向上发生的最大位移；

步骤四二、对图像中的目标区域进行裁剪；

步骤四三、根据步骤四一中设定的二值化阈值，使用Niblack算法对步骤四二裁剪的目标区域进行二值化处理，此时已经能够分辨出圆形靶标形状；

步骤四四、计算二值化图像中的封闭区域的圆形度参数，并与步骤四一设定的圆形度阈值进行比较，剔除非圆形区域；

步骤四五、采用Canny算法提取圆形区域的边界，并将所提取边界进行连接；

步骤四六、使用MCP算法对靶标边缘精确定位，得到边缘的亚像素坐标；

步骤四七、根据所确定的边缘亚像素坐标，通过最小二乘法拟合得到椭圆的相关参数，并对所识别的靶标按照从左到右，从上到下的顺序编号；

步骤四八、使用最小二乘法拟合得到各个同心圆靶标的圆心坐标和长短轴信息后生成各个靶标的矩形模板，根据所输入的预估x、y方向位移，确定出每个矩形模板搜索子区大小；

步骤四九、各个靶标分别在各自的搜索子区中使用IC-GN亚像素匹配算法完成左右图像的立体匹配和时序匹配，得到每帧图片中目标区域的靶标中心像素坐标。

进一步地，所述步骤五具体过程为：

设定世界坐标系o_w-x_wy_wz_w与左相机坐标系o_l-x_ly_lz_l重合，此时世界坐标系未建立在被测结构表面；为了确保世界坐标系方向与被测结构表面的三维坐标轴方向一致，需要左相机正对结构表面，故可在结构表面建立与运动方向一致的结构坐标系；

步骤五一、结构表面粘贴的靶标满足以下条件：1)被测结构表面至少有三个共面不共线的靶标；2)存在两个靶标连线与被测结构的运动方向平行或垂直；

步骤五二、计算靶标的图像坐标：对被测结构表面所粘贴的三个靶标进行编号，使用Canny-MCP算法得到三个靶标的圆心在左右图像中像素坐标分别为i为靶标的编号；

步骤五三、靶标在左相机坐标系下三维坐标重构：将三个靶标的像素坐标畸变校正后，使用公垂线中点重构算法得到三个靶标在左相机坐标系下的三维坐标P_i(x_li,y_li,z_li)；

步骤五四、建立基于三靶标建面的结构坐标系：选择中心连线与运动方向平行或垂直的一对靶标，即1、2号靶标，令1号靶标的圆心作为结构坐标系的原点，1、2号靶标连线作为结构坐标系的x轴，指向2号靶标的方向为正方向；同理，与1、2号靶标连线垂直的方向作为结构坐标系的y轴，指向3号靶标的方向为正方向；与x-y轴所确定的平面垂直的方向为结构坐标系的z轴，指向相机一侧为z轴的正方向；

步骤五五、计算位于待测结构表面的结构坐标系的基向量：首先计算1、2号靶标连线的向量并将其单位化后得到的作为x轴的基向量；同理，计算1、3号靶标连线的向量由于与为共面不共线向量，因此可得到垂直于被测结构表面的向量将其单位化后得到的作为z轴的基向量；最后，y轴的基向量可由x轴的基向量和z轴的基向量的叉乘积得到，即式中向量元素写为

步骤五六、计算结构坐标系与左相机坐标系之间的转换矩阵：假设空间中任意一点P在左相机坐标系下的坐标为(x_l,y_l,z_l)，在结构坐标系下的坐标为(x_s,y_s,z_s)；由结构坐标系的三个基向量可得：

为3×1的行向量；将公式(1)中P点的坐标用齐次坐标表示后可得：

由式(2)可以看出，左相机坐标系到结构坐标系的转换矩阵由平移矩阵和旋转矩阵两部分组成；平移矩阵为：

旋转矩阵为：

其中，为建立在结构表面的结构坐标系的三个基向量；

综上，从左相机坐标系到结构坐标系的坐标转换矩阵即为：

M＝T_l2s·R_l2s (5)

因此坐标转换公式为：

(x_s,y_s,z_s,1)＝(x_l,y_l,z_l,1)·T_l2s·R_l2s (6)。

进一步地，所述步骤六具体过程为：

步骤六一、结合步骤二中左、右相机的标定结果，通过基于公垂线中点的空间点坐标三维重构算法计算靶标在左相机坐标系的三维坐标；

设P为空间中一点，o_r-x_ry_rz_r为右相机坐标系，o_l-x_ly_lz_l为左相机坐标系，o_w-x_wy_wz_w为世界坐标系，o_w-x_wy_wz_w与左相机坐标系o_l-x_ly_lz_l重合，左图像归一化坐标系是以左相机光轴与左图像平面的交点为原点，其轴分别与左相机坐标系x_l、y_l轴平行；同理得到右图像归一化坐标系 为左相机在x_l、y_l方向的焦距， 为右相机在x_r、y_r方向的焦距；

将距离两异面直线，即o_lp_l与o_rp_r，最近的空间点作为三维重构后测点的最佳位置，即两直线公垂线的中点；确定测点的空间坐标过程可转化为：已知空间两异面直线，求两直线公垂线中点的三维空间坐标；

p_l和p_r为空间点P投影到左右相机图像中的一对像点，通过图像匹配算法可以得到这一对像点在各自图像坐标系下的坐标分别为根据左右相机的内参数可以确定这对像点p_l、p_r在o_r-x_ry_rz_r、o_l-x_ly_lz_l的坐标分别为(x_l,y_l,f_l)、(x_r,y_r,f_r)， 根据双目立体视觉系统标定的外参数，将右相机坐标系下的像点p_r坐标(x_r,y_r,z_r)和右相机光心o_r坐标(0,0,0)统一到左相机坐标系下，如式(7)，p₂和o₂分别为像点p_r和右相机光心o_r在左相机坐标系o_l-x_ly_lz_l中的坐标；

因此，便可以得到点p_l、o_l与p_r、o_r在左相机坐标系o_l-x_ly_lz_l下的坐标分别为：

(x₁,y₁,z₁)、(x_o1,y_o1,z_o1)、(x₂,y₂,z₂)、(x_o2,y_o2,z_o2)；于是设两直线o_lp_l和o_rp_r在左相机坐标系o_l-x_ly_lz_l下的直线方程为：

式中u_1x＝x_o1-x₁，u_1y＝y_o1-y₁，u_1z＝z_o1-z₁，u_2x＝x_o2-x₂，u_2y＝y_o2-y₂，u_2z＝z_o2-z₂；因为u₁＝[u_1x,u_1y,u_1z]^T、u₂＝[u_2x,u_2y,u_2z]^T为两直线的方向向量，则这两条空间异面直线的公垂线方向向量为：

u₁×u₂＝(v_x,v_y,v_z) (9)

其中，v_x＝u_1yu_2z-u_1zu_2y，v_y＝u_1zu_2x-u_1xu_2z，v_z＝u_1xu_2y-u_1yu_2x；

令该公垂线与直线o_lp_l和直线o_rp_r交点分别为M(x_M,y_M,z_M)、N(x_N,y_N,z_N)，设M,N点的坐标分别为(x₁+u_1xt₁,y₁+u_1yt₁,z₁+u_1zt₁)，(x₂+u_2xt₂,y₂+u_2yt₂,z₂+u_2zt₂)，其中t₁,t₂为待求未知量；与公垂线方向向量共线的几何关系满足下式：

可以求得：

将式(11)计算结果代入到所设的M,N的坐标表达式，得到M,N点的坐标，即可求得公垂线中点在左相机坐标系下空间坐标为

步骤六二、利用步骤五中的坐标转换公式将步骤六一中的各个靶标在左相机坐标系下的三维坐标转换为结构坐标系下的三维坐标；

步骤六三、将步骤六二得到的各个靶标在结构坐标系下的三维坐标与各个靶标基准坐标作差，得到各个靶标的三维位移。

附图说明

图1为圆形靶标识别过程示意图；

图2为生成模板和搜索子区示意图；

图3为坐标系转换示意图；

图4为三个靶标像素坐标示意图；

图5为重建靶标在左相机坐标系下三维坐标示意图；

图6为定义结构坐标系的坐标轴示意图；

图7为建立在被测物体表面的世界坐标系基向量示意图；

图8为圆形靶标建立世界坐标系流程图；

图9为双目立体视觉测量模型示意图；

图10为电池架和机柜布置图；

图11为测点编号示意图；

图12为双目立体视觉布置图；

图13为三靶标建面算法建立的结构坐标系示意图；

图14为工况1各测点x方向位移时程曲线图；

图15为工况1各测点y方向位移时程曲线图；

图16为工况1各测点z方向位移时程曲线图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于三靶标建面的立体视觉结构动态位移测量方法，所述方法包括以下步骤：

步骤一、在结构表面测点处粘贴同心圆靶标，并在结构粘贴靶标一侧的前方放置双目立体视觉系统，该双目立体视觉系统包括左、右两个相机；

步骤二、使用张正友棋盘格标定方法对两个相机进行标定，得到双目立体视觉系统的内、外参数；

步骤三、在结构动态试验开始加载时，左、右两相机按照设定好触发频率同步记录靶标运动状态，采集多帧左、右图像；

步骤四、对采集到的左、右图像中的各个圆形靶标进行自动识别，并根据所输入的参数生成匹配模板和搜索子区，完成左右图像间的立体匹配和时序匹配；

步骤五、选择粘贴在结构表面的三个同心圆靶标建立结构坐标系，并得到左相机坐标系到结构坐标系的转换矩阵；

步骤六、结合步骤二中双目立体视觉系统的标定结果和步骤五中转换矩阵，通过基于公垂线中点的空间点坐标三维重构算法计算靶标在左相机坐标系的三维坐标，继而可以得到结构表面的靶标在结构坐标系下的三维位移。

所述步骤四具体过程为：

步骤四一、设定二值化的阈值、圆形度阈值、单个相机采集到的图片数量，靶标内圆直径为同心圆靶标内圆的制作直径，预估结构在x、y方向上发生的最大位移；

步骤四二、为了减少图像背景中类圆形区域对靶标识别的影响，提高识别的精度，对图像中的目标区域进行裁剪；

步骤四三、根据步骤四一中设定的二值化阈值，使用Niblack算法对步骤四二裁剪的目标区域进行二值化处理，此时已经能够分辨出圆形靶标形状；

步骤四四、计算二值化图像中的封闭区域的圆形度参数，并与步骤四一设定的圆形度阈值进行比较，剔除非圆形区域；

步骤四五、采用Canny算法提取圆形区域的边界，并将所提取边界进行连接；

步骤四六、使用MCP算法(基于矩和曲率不变的(Moment and CurvaturePreserving,MCP))对靶标边缘精确定位，得到边缘的亚像素坐标；

步骤四七、根据所确定的边缘亚像素坐标，通过最小二乘法拟合得到椭圆的相关参数，并对所识别的靶标按照从左到右，从上到下的顺序编号；步骤四一到步骤四七流程图如图1所示。

步骤四八、使用最小二乘法拟合得到各个同心圆靶标的圆心坐标和长短轴信息后生成各个靶标的矩形模板，如图2中红色矩形区域。根据所输入的预估x、y方向位移，确定出每个矩形模板搜索子区大小；如图2中的蓝色矩形区域。

步骤四九、各个靶标分别在各自的搜索子区中使用反向组合型高斯牛顿算法IC-GN(Inverse compositional Gauss-Newton)亚像素匹配算法完成左右图像的立体匹配和时序匹配，得到每帧图片中目标区域的靶标中心像素坐标。

所述步骤五具体过程为：

为了便于双目立体视觉数学模型中公式推导，设定世界坐标系o_w-x_wy_wz_w与左相机坐标系o_l-x_ly_lz_l重合，此时世界坐标系未建立在被测结构表面；为了确保世界坐标系方向与被测结构表面的三维坐标轴方向一致，需要左相机正对结构表面，如图3所示。但在实际试验中，左相机光轴不可避免的与被测结构表面存在夹角，故可在结构表面建立与运动方向一致的结构坐标系；

步骤五一、结构表面粘贴的靶标满足以下条件：1)被测结构表面至少有三个共面不共线的靶标；2)存在两个靶标连线与被测结构的运动方向平行或垂直；

步骤五二、计算靶标的图像坐标：如图4所示，对被测结构表面所粘贴的三个靶标进行编号，使用Canny-MCP算法得到三个靶标的圆心在左右图像中像素坐标分别为 i为靶标的编号；

步骤五三、靶标在左相机坐标系下三维坐标重构：将三个靶标的像素坐标畸变校正后，使用公垂线中点重构算法得到三个靶标在左相机坐标系下的三维坐标P_i(x_li,y_li,z_li)；如图5所示。

步骤五四、建立基于三靶标建面的结构坐标系：选择中心连线与运动方向平行或垂直的一对靶标，即1、2号靶标，令1号靶标的圆心作为结构坐标系的原点，1、2号靶标连线作为结构坐标系的x轴，指向2号靶标的方向为正方向；同理，与1、2号靶标连线垂直的方向作为结构坐标系的y轴，指向3号靶标的方向为正方向；与x-y轴所确定的平面垂直的方向为结构坐标系的z轴，指向相机一侧为z轴的正方向；如图6所示。无论两个靶标连线与被测物体运动方向平行还是垂直，计算方法相同，下面以两个靶标连线与被测物体的运动方向平行为例，推导坐标转换矩阵。

步骤五五、计算位于待测结构表面的结构坐标系的基向量：如图7所示，首先计算1、2号靶标连线的向量并将其单位化后得到的作为x轴的基向量；同理，计算1、3号靶标连线的向量由于与为共面不共线向量，因此可得到垂直于被测结构表面的向量将其单位化后得到的作为z轴的基向量；最后，y轴的基向量可由x轴的基向量和z轴的基向量的叉乘积得到，即式中向量元素写为

步骤五六、计算结构坐标系与左相机坐标系之间的转换矩阵：假设空间中任意一点P在左相机坐标系下的坐标为(x_l,y_l,z_l)，在结构坐标系下的坐标为(x_s,y_s,z_s)；由结构坐标系的三个基向量可得：

为3×1的行向量；将公式(1)中P点的坐标用齐次坐标表示后可得：

由式(2)可以看出，左相机坐标系到结构坐标系的转换矩阵由平移矩阵和旋转矩阵两部分组成；平移矩阵为：

旋转矩阵为：

其中，为建立在结构表面的结构坐标系的三个基向量；

综上，从左相机坐标系到结构坐标系的坐标转换矩阵即为：

M＝T_l2s·R_l2s (16)

因此坐标转换公式为：

(x_s,y_s,z_s,1)＝(x_l,y_l,z_l,1)·T_l2s·R_l2s (17)。

对步骤五进行总结，得到三靶标建面的流程图如图8所示。

所述步骤六具体过程为：

步骤六一、结合步骤二中左、右相机的标定结果，通过基于公垂线中点的空间点坐标三维重构算法计算靶标在左相机坐标系的三维坐标；

双目立体视觉测量模型如图9所示，设P为空间中一点，o_r-x_ry_rz_r为右相机坐标系，o_l-x_ly_lz_l为左相机坐标系，o_w-x_wy_wz_w为世界坐标系，o_w-x_wy_wz_w与左相机坐标系o_l-x_ly_lz_l重合，左图像归一化坐标系是以左相机光轴与左图像平面的交点为原点，其 轴分别与左相机坐标系x_l、y_l轴平行；同理得到右图像归一化坐标系 为左相机在x_l、y_l方向的焦距，为右相机在x_r、y_r方向的焦距；

将距离两异面直线，即o_lp_l与o_rp_r，最近的空间点作为三维重构后测点的最佳位置，即两直线公垂线的中点；确定测点的空间坐标过程可转化为：已知空间两异面直线，求两直线公垂线中点的三维空间坐标；

p_l和p_r为空间点P投影到左右相机图像中的一对像点，通过图像匹配算法可以得到这一对像点在各自图像坐标系下的坐标分别为根据左右相机的内参数可以确定这对像点p_l、p_r在o_r-x_ry_rz_r、o_l-x_ly_lz_l的坐标分别为(x_l,y_l,f_l)、(x_r,y_r,f_r)， 根据双目立体视觉系统标定的外参数，将右相机坐标系下的像点p_r坐标(x_r,y_r,z_r)和右相机光心o_r坐标(0,0,0)统一到左相机坐标系下，如式(7)，p₂和o₂分别为像点p_r和右相机光心o_r在左相机坐标系o_l-x_ly_lz_l中的坐标；

因此，便可以得到点p_l、o_l与p_r、o_r在左相机坐标系o_l-x_ly_lz_l下的坐标分别为：(x₁,y₁,z₁)、(x_o1,y_o1,z_o1)、(x₂,y₂,z₂)、(x_o2,y_o2,z_o2)；于是设两直线o_lp_l和o_rp_r在左相机坐标系o_l-x_ly_lz_l下的直线方程为：

式中u_1x＝x_o1-x₁，u_1y＝y_o1-y₁，u_1z＝z_o1-z₁，u_2x＝x_o2-x₂，u_2y＝y_o2-y₂，u_2z＝z_o2-z₂；因为u₁＝[u_1x,u_1y,u_1z]^T、u₂＝[u_2x,u_2y,u_2z]^T为两直线的方向向量，则这两条空间异面直线的公垂线方向向量为：

u₁×u₂＝(v_x,v_y,v_z) (20)

其中，v_x＝u_1yu_2z-u_1zu_2y，v_y＝u_1zu_2x-u_1xu_2z，v_z＝u_1xu_2y-u_1yu_2x；

令该公垂线与直线o_lp_l和直线o_rp_r交点分别为M(x_M,y_M,z_M)、N(x_N,y_N,z_N)，设M,N点的坐标分别为(x₁+u_1xt₁,y₁+u_1yt₁,z₁+u_1zt₁)，(x₂+u_2xt₂,y₂+u_2yt₂,z₂+u_2zt₂)，其中t₁,t₂为待求未知量；与公垂线方向向量共线的几何关系满足下式：

可以求得：

将式(11)计算结果代入到所设的M,N的坐标表达式，得到M,N点的坐标，即可求得公垂线中点在左相机坐标系下空间坐标为

步骤六二、利用步骤五中的坐标转换公式将步骤六一中的各个靶标在左相机坐标系下的三维坐标转换为结构坐标系下的三维坐标；

步骤六三、将步骤六二得到的各个靶标在结构坐标系下的三维坐标与各个靶标基准坐标作差，得到各个靶标的三维位移。

采用以下实施例验证本发明的有益效果：

本实施例为通信基站设备模拟地震振动台三维位移测量试验，具体按以下步骤制备：

基站设备安装使结构中心位于振动台中心，设备的弱轴与振动台的强轴重合，以对设备最不利情况进行试验，如图10所示，

试验中，为了实现靶标与背景的高对比，采用三种不同颜色和直径的靶标。其中，位于电池架上的测点1～测点8圆形靶标内径为50mm，外径为100mm；位于机柜上的测点9、10圆形靶标内径为90mm，外径为150mm；位于基站设备底座上的测点11、12圆形靶标内径为70mm，外径为100mm，相应测点编号如图11所示。根据位移计置方案，对于测点2、4、6、10可以实现位移计与本发明测得的x、z方向位移数据对比。

如图12所示，将双目立体视觉测量系统布置在电池架和机柜的前方。双目立体视觉同步采集频率为30Hz，通过同步触发器实现两相机同步触发，采用12-36mm变焦镜头，物距为3620mm，两相机机距为330mm，离地面高度为1210mm。试验前，采用张正友标定方法得到相机的内外参数，所用标定板为7×7棋盘格，每个方格大小为60mm。

选取其中一个工况进行位移对比分析，工况的具体参数列于表1中。

表1试验工况和加载参数

使用本发明所提出的三靶标建面的算法和标定板建面方法计算测点1-12的三维位移曲线。三靶标建面时选择测点1、2、3进行建面，所建立的世界坐标系如图13所示。

将两种建面方法计算得到的位移数据与位移计测量结果进行对比，分别绘制测点1～测点12在x方向位移时程曲线如图14所示，y方向位移时程曲线如图15所示，z方向位移时程曲线如图16所示。

试验中，受到测量仪器数量的影响，拉线位移计只布置在测点2、4、6、10、12的x、z方向，因此仅能给出六个测点在两个方向的位移数据，而立体视觉的测量方法可以同时给出12个测点在三个方向上的位移结果。由图14和图16中的曲线可以看出，立体视觉测量方法在两种建面方法上计算得到的x、z方向位移与位移计测量结果曲线趋势相同，数据吻合较好，具有较高的测量准确性。

将拉线式位移计在x、z方向位移测量结果作为真实值，每一时刻的真实位移与实测位移作差，得到每一时刻的误差结果。统计两种算法在不同方向下绝对误差的峰值和均方误差，并将每一时刻利用两种算法绝对误差值取平均，得到位移绝对误差均值见表2和3。

表2工况1不同建面方法x方向位移误差对比(单位：mm)

表3工况1不同建面方法z方向位移误差对比(单位：mm)

从表2和表3中的误差统计结果可以看出，两种建面方法在x、z方向上平均误差、最大误差值和均方误差基本一致。由于CCD相机镜头聚焦平面在电池架粘贴靶标的平面内，而测点10、12号不在该平面内，因此造成测点10、12误差峰值较大。从整体来看，在本试验条件下，本发明具有较高的测量精度和稳定性，可以满足试验的精度要求。

以上对本发明所提供的一种基于三靶标建面的立体视觉结构动态位移测量方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于三靶标建面的立体视觉结构动态位移测量方法，其特征在于：所述方法包括以下步骤：

步骤一、在结构表面测点处粘贴同心圆靶标，并在结构粘贴靶标一侧的前方放置双目立体视觉系统，该双目立体视觉系统包括左、右两个相机；

步骤二、使用棋盘格标定方法对两个相机进行标定，得到双目立体视觉系统的内、外参数；

步骤三、在结构动态试验开始加载时，左、右两相机按照设定好触发频率同步记录靶标运动状态，采集多帧左、右图像；

步骤四、对采集到的左、右图像中的各个圆形靶标进行自动识别，并根据所输入的参数生成匹配模板和搜索子区，完成左右图像间的立体匹配和时序匹配；

步骤五、选择粘贴在结构表面的三个同心圆靶标建立结构坐标系，并得到左相机坐标系到结构坐标系的转换矩阵；

步骤六、结合步骤二中双目立体视觉系统的标定结果和步骤五中转换矩阵，通过基于公垂线中点的空间点坐标三维重构算法计算靶标在左相机坐标系的三维坐标，继而可以得到结构表面的靶标在结构坐标系下的三维位移。

2.根据权利要求1所述的方法，其特征在于：所述步骤四具体过程为：

步骤四一、设定二值化的阈值、圆形度阈值、单个相机采集到的图片数量，靶标内圆直径为同心圆靶标内圆的制作直径，预估结构在x、y方向上发生的最大位移；

步骤四二、对图像中的目标区域进行裁剪；

步骤四三、根据步骤四一中设定的二值化阈值，使用Niblack算法对步骤四二裁剪的目标区域进行二值化处理，此时已经能够分辨出圆形靶标形状；

步骤四四、计算二值化图像中的封闭区域的圆形度参数，并与步骤四一设定的圆形度阈值进行比较，剔除非圆形区域；

步骤四五、采用Canny算法提取圆形区域的边界，并将所提取边界进行连接；

步骤四六、使用MCP算法对靶标边缘精确定位，得到边缘的亚像素坐标；

步骤四七、根据所确定的边缘亚像素坐标，通过最小二乘法拟合得到椭圆的相关参数，并对所识别的靶标按照从左到右，从上到下的顺序编号；

步骤四八、使用最小二乘法拟合得到各个同心圆靶标的圆心坐标和长短轴信息后生成各个靶标的矩形模板，根据所输入的预估x、y方向位移，确定出每个矩形模板搜索子区大小；

步骤四九、各个靶标分别在各自的搜索子区中使用IC-GN亚像素匹配算法完成左右图像的立体匹配和时序匹配，得到每帧图片中目标区域的靶标中心像素坐标。

3.根据权利要求2所述的方法，其特征在于：所述步骤五具体过程为：

设定世界坐标系o_w-x_wy_wz_w与左相机坐标系o_l-x_ly_lz_l重合，此时世界坐标系未建立在被测结构表面；为了确保世界坐标系方向与被测结构表面的三维坐标轴方向一致，需要左相机正对结构表面，故可在结构表面建立与运动方向一致的结构坐标系；

步骤五一、结构表面粘贴的靶标满足以下条件：1)被测结构表面至少有三个共面不共线的靶标；2)存在两个靶标连线与被测结构的运动方向平行或垂直；

步骤五二、计算靶标的图像坐标：对被测结构表面所粘贴的三个靶标进行编号，使用Canny-MCP算法得到三个靶标的圆心在左右图像中像素坐标分别为i为靶标的编号；

步骤五三、靶标在左相机坐标系下三维坐标重构：将三个靶标的像素坐标畸变校正后，使用公垂线中点重构算法得到三个靶标在左相机坐标系下的三维坐标P_i(x_li,y_li,z_li)；

步骤五四、建立基于三靶标建面的结构坐标系：选择中心连线与运动方向平行或垂直的一对靶标，即1、2号靶标，令1号靶标的圆心作为结构坐标系的原点，1、2号靶标连线作为结构坐标系的x轴，指向2号靶标的方向为正方向；同理，与1、2号靶标连线垂直的方向作为结构坐标系的y轴，指向3号靶标的方向为正方向；与x-y轴所确定的平面垂直的方向为结构坐标系的z轴，指向相机一侧为z轴的正方向；

步骤五五、计算位于待测结构表面的结构坐标系的基向量：首先计算1、2号靶标连线的向量并将其单位化后得到的作为x轴的基向量；同理，计算1、3号靶标连线的向量由于与为共面不共线向量，因此可得到垂直于被测结构表面的向量将其单位化后得到的作为z轴的基向量；最后，y轴的基向量可由x轴的基向量和z轴的基向量的叉乘积得到，即式中向量元素写为

步骤五六、计算结构坐标系与左相机坐标系之间的转换矩阵：假设空间中任意一点P在左相机坐标系下的坐标为(x_l,y_l,z_l)，在结构坐标系下的坐标为(x_s,y_s,z_s)；由结构坐标系的三个基向量可得：

为3×1的行向量；将公式(1)中P点的坐标用齐次坐标表示后可得：

由式(2)可以看出，左相机坐标系到结构坐标系的转换矩阵由平移矩阵和旋转矩阵两部分组成；平移矩阵为：

旋转矩阵为：

其中，为建立在结构表面的结构坐标系的三个基向量；

综上，从左相机坐标系到结构坐标系的坐标转换矩阵即为：

M＝T_l2s·R_l2s (5)

因此坐标转换公式为：

(x_s,y_s,z_s,1)＝(x_l,y_l,z_l,1)·T_l2s·R_l2s (6)。

4.根据权利要求3所述的方法，其特征在于：所述步骤六具体过程为：

步骤六一、结合步骤二中左、右相机的标定结果，通过基于公垂线中点的空间点坐标三维重构算法计算靶标在左相机坐标系的三维坐标；

设P为空间中一点，o_r-x_ry_rz_r为右相机坐标系，o_l-x_ly_lz_l为左相机坐标系，o_w-x_wy_wz_w为世界坐标系，o_w-x_wy_wz_w与左相机坐标系o_l-x_ly_lz_l重合，左图像归一化坐标系是以左相机光轴与左图像平面的交点为原点，其轴分别与左相机坐标系x_l、y_l轴平行；同理得到右图像归一化坐标系 为左相机在x_l、y_l方向的焦距， 为右相机在x_r、y_r方向的焦距；

将距离两异面直线，即o_lp_l与o_rp_r，最近的空间点作为三维重构后测点的最佳位置，即两直线公垂线的中点；确定测点的空间坐标过程可转化为：已知空间两异面直线，求两直线公垂线中点的三维空间坐标；

p_l和p_r为空间点P投影到左右相机图像中的一对像点，通过图像匹配算法可以得到这一对像点在各自图像坐标系下的坐标分别为根据左右相机的内参数可以确定这对像点p_l、p_r在o_r-x_ry_rz_r、o_l-x_ly_lz_l的坐标分别为(x_l,y_l,f_l)、(x_r,y_r,f_r)， 根据双目立体视觉系统标定的外参数，将右相机坐标系下的像点p_r坐标(x_r,y_r,z_r)和右相机光心o_r坐标(0,0,0)统一到左相机坐标系下，如式(7)，p₂和o₂分别为像点p_r和右相机光心o_r在左相机坐标系o_l-x_ly_lz_l中的坐标；

因此，便可以得到点p_l、o_l与p_r、o_r在左相机坐标系o_l-x_ly_lz_l下的坐标分别为：(x₁,y₁,z₁)、(x_o1,y_o1,z_o1)、(x₂,y₂,z₂)、(x_o2,y_o2,z_o2)；于是设两直线o_lp_l和o_rp_r在左相机坐标系o_l-x_ly_lz_l下的直线方程为：

式中u_1x＝x_o1-x₁，u_1y＝y_o1-y₁，u_1z＝z_o1-z₁，u_2x＝x_o2-x₂，u_2y＝y_o2-y₂，u_2z＝z_o2-z₂；因为u₁＝[u_1x,u_1y,u_1z]^T、u₂＝[u_2x,u_2y,u_2z]^T为两直线的方向向量，则这两条空间异面直线的公垂线方向向量为：

u₁×u₂＝(v_x,v_y,v_z) (9)

其中，v_x＝u_1yu_2z-u_1zu_2y，v_y＝u_1zu_2x-u_1xu_2z，v_z＝u_1xu_2y-u_1yu_2x；

令该公垂线与直线o_lp_l和直线o_rp_r交点分别为M(x_M,y_M,z_M)、N(x_N,y_N,z_N)，设M,N点的坐标分别为(x₁+u_1xt₁,y₁+u_1yt₁,z₁+u_1zt₁)，(x₂+u_2xt₂,y₂+u_2yt₂,z₂+u_2zt₂)，其中t₁,t₂为待求未知量；与公垂线方向向量共线的几何关系满足下式：

可以求得：

将式(11)计算结果代入到所设的M,N的坐标表达式，得到M,N点的坐标，即可求得公垂线中点在左相机坐标系下空间坐标为

步骤六二、利用步骤五中的坐标转换公式将步骤六一中的各个靶标在左相机坐标系下的三维坐标转换为结构坐标系下的三维坐标；

步骤六三、将步骤六二得到的各个靶标在结构坐标系下的三维坐标与各个靶标基准坐标作差，得到各个靶标的三维位移。