CN115790387A - 基于在线式相机的桥梁位移转角同步实时监测方法和系统 - Google Patents

Abstract

本发明公开了一种基于在线式相机的桥梁位移转角同步实时监测方法和系统，利用红外阵列靶标多特征点作为视觉输入构建相机与运动目标坐标系的几何关系，并针对传统质心法无法做到多点一一对应持续匹配跟踪以及靶标受到环境干扰局部精度不足从而造成整体解算误差大的问题，提出了一种基于质心阵列自适应独立搜索和坐标系转换矩阵提纯优化的运动目标相对位移和转角测量算法，有效提高结果解算精度和鲁棒性。此外还开发了一套监测系统，通过嵌入式处理平台边缘计算直接输出给终端用户桥梁位移和转角数据，从而实现桥梁动态位移和转角的全天候、无线、实时监测。

Description

基于在线式相机的桥梁位移转角同步实时监测方法和系统

技术领域

本发明属于结构健康监测技术领域，具体涉及一种基于在线式相机的桥梁位移转角同步实时监测方法和系统，可实现桥梁动态位移和转角的全天候、无线、实时监测。

背景技术

桥梁在车辆荷载和环境(风、温度)作用下的结构响应测量是桥梁安全性评估的重要内容，尤其是在桥梁的荷载试验中，准确测量的桥梁响应既可以与有限元分析的桥梁变形情况作对比，又可以依据结构动力学理论计算桥梁的深层次特征参数(如结构频响函数、模态柔度)，为桥梁的损伤识别提供基础。最常测量的桥梁响应是位移、应变、转角、振动加速度等。近年来，光纤传感器、光纤传感器、压电传感器、电磁伸缩材料传感器、GPS等智能传感器已被广泛应用于测量上述桥梁响应，并能以更准确、更有效的方式进行测量。

转角测量包括梁端转角、梁体转角、支座转角、桥塔转角等，与位移参数一样，转角参数对桥梁的任何部位的损伤都是敏感的，由于位移受制于自身性质如需要参考测量点等，转角参数往往更容易测量，在结构评估方面具有较大优势。此外，梁端转角大小对车辆加减载作用以及对桥梁特别是铁路桥的冲击作用影响很大。

现有的转角测量手段用信息都是基于倾角仪，倾角仪可以提供有关结构系统健康状况的有。大多数现有的倾角仪是基于重力/加速度的，可以提供精确的静态响应测量。然而，对于动态倾斜，由于串扰等加速度会显著影响测量的响应。因此，动态倾斜测量仍然是一个具有挑战性的问题。一种方法是对测量角速度的陀螺仪传感器的输出进行积分，从而获得倾斜，然而陀螺仪测量存在低频灵敏度较差的问题。

基于视觉的结构响应测量方法由于其无损、非接触、高精度和多点同步测量等优点，已在结构健康监测领域取得了广泛应用。机器视觉应用于桥梁位移测量较多，其提高了其亚像素测量精度以更好地适用于桥梁结构的动态位移非接触式测量。基于视觉的旋转角度测量目前应用不多。目前，基于视觉的转角测量主要存在三个问题：1)目标靶大多利用棋盘格、编码点等特征靶标进行测量，容易受到光照等环境干扰，无法做到全天候测量；2)现有方法多采用两点间位移差间接换算转角信息。3)现有方法依赖于对工作站上的大量记录离线视频数据进行后处理，并不直接向桥梁检验员提供位移时程，不适合无人值守的现场部署在偏远地区进行常规的长期监测。

发明内容

解决的技术问题：针对现有位移转角测量方法瓶颈问题，本发明提出一种基于在线式相机的桥梁位移转角同步实时监测方法和系统，创新地利用红外阵列靶标多特征点作为视觉输入构建相机与运动目标坐标系的几何关系，并通过嵌入式处理平台边缘计算直接输出可发送给终端用户的桥梁位移和转角，从而实现桥梁动态位移和转角的全天候、无线、实时监测。

技术方案：

一种基于在线式相机的桥梁位移转角同步实时监测方法，所述实时监测方法包括以下步骤：

S1，将在线式相机设备通过稳定机械装置固定在桥梁基准点上，设置多个目标靶，目标靶和桥梁上的被测目标相对应，利用棋盘格对目标靶进行标定，调整在线式相机设备和目标靶的参数后进行运动目标图像序列的实时获取；

S2，估计出每帧运动目标图像对应的被测目标世界坐标系与相机坐标系间的转换关系，通过待测目标空间位姿在相机坐标系的位置变化，求出被测目标在运动前后的位置和姿态信息；

S3，采用基于综合预测器和连续自适应搜索的质心阵列跟踪匹配方法，结合被测目标的位置、面积、灰度和形状属性，提出目标多属性判决函数，判断被测目标是否被遮挡，如果被测目标被遮挡，则使用综合预测器对所跟踪目标的位置参数进行预测，直至目标重新出现，以完成图像序列间目标靶内各光斑质心的连续自适应匹配追踪；

S4，采用基于子集模型提纯与非线性迭代优化的极小平面位姿估计算法进行位移和转角的计算。

进一步地，步骤S1中，所述在线式相机设备包括依次连接的GIGE千兆网口工业相机和POE交换机(Power Over Ethernet，支持以太网供电的交换机)；其中，POE交换机用于对GIGE千兆网口工业相机进行供电的同时，将GIGE千兆网口工业相机采集到的运动目标图像序列发送至计算机，由计算机实时处理得到相应的桥梁的位移和转角，再将计算得到的桥梁的位移和转角发送至监控中心。

进一步地，所述目标靶采用波长850nm红外阵列式灯珠靶标，单个靶标上均匀排布多个间距已知的红外小灯珠。

进一步地，所述在线式相机设备的工业相机的镜头上安装有只允许红外光通过的窄带滤光片。

进一步地，步骤S2中，估计出每帧运动目标图像对应的被测目标世界坐标系与相机坐标系间的转换关系，通过待测目标空间位姿在相机坐标系的位置变化，求出被测目标在运动前后的位置和姿态信息的过程包括以下步骤：

分别估计出每帧图像对应的被测目标世界坐标系与相机坐标系间的转换关系，以相机坐标系为中介，设P₁₁、P₁₂为目标在初始坐标系和运动后坐标系中的坐标，P_c为目标在相机坐标系中的坐标，

为目标在初始坐标系和运动后坐标系对相机坐标系的旋转矩阵，

为目标在初始坐标系和运动后坐标系对相机坐标系的平移向量，求出目标在运动前后的位置和姿态信息：

设目标运动前后坐标系的变换矩阵为

和

得到运动前后坐标相对关系为：

联立上述两式得到

设P_1i为目标在第i帧坐标系的坐标，P_c为目标在相机坐标系中的坐标，

为目标在第i帧坐标系对相机坐标系的旋转矩阵，

为目标在第i帧坐标系对相机坐标系的平移向量，得到目标在第i帧坐标系中坐标相对于初始时刻坐标的相对关系为：

设目标第i帧坐标系中坐标相对于初始时刻坐标的旋转矩阵为ΔR_p，

为该旋转矩阵第m行、第n列的旋转分量，则：

求解得到绕x、y、z三轴转角α、β、γ分别为：

设目标第i帧坐标系中坐标相对于初始时刻坐标的平移向量为Δt_p，

为初始时刻目标三个轴平移向量分量，

为第i帧时刻目标三个轴平移向量分量，

为

矩阵逆矩阵的旋转矩阵第m行、第n列的旋转分量，则：

通过实测数据代入求解得到ΔR_p、Δt_p，对单目相机的空间位姿进行测量。

进一步地，步骤S3中，采用基于综合预测器和连续自适应搜索的质心阵列跟踪匹配方法，完成图像序列间目标靶内各光斑质心的连续自适应匹配追踪的过程包括以下步骤：

基于3点的线性预测经验公式求得第k+1帧预测点的x轴和y轴坐标(X_l[k+1]，Y_l[k+1])为：

其中，X_l[i]、Y_l[i]为线性预测法第i帧质心点x轴和y轴坐标，i＝k-2，k-1，k，k+1；

基于3点的圆弧轨迹预测公式求得第k+1帧预测点的x轴和y轴坐标(X_c[k+1]，Y_c[k+1])为：

其中，

式中，X_j、Y_j为圆弧预测法第j帧质心点x轴和y轴坐标，j＝k-2，k-1，k，k+1；

将目标的运动看作是直线运动和二次曲线运动的组合，组合后的综合预测器F[k+1]公式如下：

F[k+1]＝τf_l[k+1]+(1-τ)f_c[k+1]

其中，f_l[k+1]为线性预测器函数，f_c[k+1]为圆弧预测器函数，τ为比例系数，取值范围0-1。

进一步地，步骤S3中，采用基于综合预测器和连续自适应搜索的质心阵列跟踪匹配方法，完成图像序列间目标靶内各光斑质心的连续自适应匹配追踪的过程包括以下步骤：

初始化搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，自动搜索框的大小b为：

其中，A_i为任意A点在第i帧的像素面积大小，B点为某一方向离A点最近的点，C点为AB点连线法向离A点最近的点，r_A，i，r_B，i，r_C，i分别为A、B、C点在第i帧的实际半径大小，D_AC，i，D_AB，i为A点到B点和C点的实际距离，α取值0.5～0.8。

进一步地，步骤S4中，采用基于子集模型提纯与非线性迭代优化的极小平面位姿估计算法进行位移和转角的计算的过程包括以下步骤：

S41，采用IPPE方法(Infinitesimal Plane-based Pose Estimation，极小平面位姿估计算法)粗求位姿，从阵列靶标所有3D-2D匹配点原始数据中随机选取一个包含7个匹配点对的最小子集模型，利用其中的4对匹配点使用IPPE算法求得粗略位姿，用剩余的3对匹配点验证其是否适合初始模型；

S42，求局内点，根据步骤S41所求粗略位姿，将子集中的剩余匹配点中的三维点重投影为二维点，并计算重投影误差，如果检验误差都小于阈值，则使用剩余的匹配点对子集模型进行适应性校验；如果有1对匹配点对的检验误差超过阈值，则直接舍弃该初始子集模型，重新返回步骤S41选取7对匹配点对进行下一个循环的迭代估计；否则，根据剩余的匹配点重投影误差根据误差阈值大小将将数据分为外点和内点；

S43，判断局内点的数量，如果小于设置阈值，则返回步骤S41重新选最小子集7个点；若大于阈值则对进行所有匹配点进行第二次IPPE计算，得到第一次优化后的位姿信息；

S44，控制相机的运动来持续观测图像中的特定目标，通过最小化图像特征的期望状态参数s^*和实际状态参数s之间的误差对位姿信息的第二次优化；具体地，将被测阵列靶标上的3D光斑的质心视为特征点，^oP_i为被测阵列靶标上第i个质心点在运动目标坐标系中的3D坐标；设定虚拟相机，虚拟相机在目标坐标系中的位置和姿态定义为r，通过最小化观测数据s_i ^*和3D特征点依据位姿参数r进行投影到图像平面所得的2D坐标s_i之间的误差Δ，求解出真实位姿参数：

其中，Pr_ξ(r，^oP_i)为基于相机内部参数ξ和相机位姿r所得的投影模型，N为阵列靶标中光斑质心点的个数；在位姿解算的过程中，初始位于r位置的虚拟相机遵循虚拟视觉伺服控制算法进行移动，以最小化误差参数Δ，在收敛的条件下，虚拟相机到达r_d位姿得到最小化Δ，r_d为求解的真实相机的位姿参数。

本发明还提及一种基于在线式相机的桥梁位移转角同步实时监测系统，所述实时监测系统包括图像采集单元、图像计算单元和通讯传输单元；

所述图像采集单元包括在线式相机设备和目标靶，目标靶通过基于工业相机的长焦光学系统成像在图像传感器上；所述图像计算单元采用如前所述的实时监测方法对图像传感器获取的运动目标图像序列进行计算，得到目标靶的位移转角时程数据；所述通讯传输单元采用工业级路由器和交换机将现场桥址处在线相机通过桥上现有的光纤网络形成局域网，并配置固定公网IP地址，将图像计算单元的计算结果传输至远端的监控中心。

有益效果：

本发明的基于在线式相机的桥梁位移转角同步实时监测方法和系统，可以更加有效地对桥梁进行安全评估和维护管理，提高桥梁监测效率，是一种很有潜力的桥梁转角监测新方法，主要优势有：

(1)针对现有位移转角测量方法瓶颈问题，本发明创新的利用红外阵列靶标多特征点作为视觉输入构建相机与运动目标坐标系的几何关系，并通过嵌入式处理平台边缘计算直接输出可发送给终端用户的桥梁位移和转角，从而实现桥梁动态位移和转角的全天候、无线、实时监测，避免现有机器视觉位移转角测量依赖于对工作站上的大量记录离线视频数据进行后处理。

(2)针对直接采用视觉里程计监测支座等构件时相机光轴需要与待测目标平面垂直的限制，推导得出运动目标坐标系相对位移转角与相机和目标两大坐标系间转换矩阵的数学关系，此方法具备工程现场相机位置灵活布设和多个目标同时监测的优越性。

(3)采用基于综合预测器和连续自适应搜索的主动红外阵列式灯珠靶标质心跟踪匹配方法，能够克服传统质心法无法做到自动持续跟踪，只做到选取ROI范围内质心定位的问题，做到序列间各质心的连续自适应匹配追踪。

附图说明

图1为本发明实施例的基于在线式相机的桥梁位移转角同步实时监测方法流程图；

图2为基于斜轴摄影的相机和运动目标坐标系几何相对关系原理图；

图3为质点跟踪与匹配方法流程图；

图4为自适应区域搜索示意图；

图5为基于子集模型提纯与非线性迭代优化的极小平面位姿估计算法测量过程图；

图6为实验室布置图；

图7为测量结果比较图，其中，(a)表示L/4点转角；(b)表示L/4点位移；

图8为测量结果比较图，其中，(a)表示L/2点转角；(b)表示L/2点位移；

图9为实桥测试图；

图10为两小时转角测量结果比较图；

图11为六分钟转角测量结果比较图；

图12为两小时位移测量结果比较图；

图13为六分钟位移测量结果比较图。

具体实施方式

下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。

参见图1，本实施例提及一种基于在线式相机的桥梁位移转角同步实时监测方法，包括以下步骤：

(1)对在线式相机设备和多个目标靶进行安装搭建和参数调整，并利用棋盘格进行标定，得到相机内参后进行运动目标图像序列的实时获取；

(2)解算斜轴摄影下运动目标坐标系相对位移转角与相机和目标两大坐标系间转换矩阵的数学关系；

(3)采用基于综合预测器和连续自适应搜索的质心阵列跟踪匹配方法，做到图像序列间目标靶内各光斑质心的连续自适应匹配追踪；

(4)采用基于子集模型提纯与非线性迭代优化的极小平面位姿估计算法进行位移和转角的计算。

所述步骤(1)中在线式相机硬件设备由GIGE千兆网口工业相机、迷你计算机、POE交换机构成，其中采用GIGE千兆网口工业相机使得传输距离达到百米，POE交换机既能对工业相机供电又能进行数据通讯传输，只需布置网线无需额外布置电线，迷你计算机可边缘计算实时处理得到桥梁的位移和转角，并可无线传输位移转角数据至大数据中心，达到实时监测的效果。

所述步骤(1)中多个目标靶采用多个波长850nm红外阵列式灯珠靶标，单个靶标上均匀排布多个间距已知的红外小灯珠。红外光可穿过可见光无法穿透的雾霾烟尘等，并采用窄带滤光片安装于相机上，只允许通过红外光可有效消除自然杂光的干扰。

优选地，所述步骤(2)致力于实桥应用，基于斜轴摄影的相机和运动目标坐标系几何相对关系推导，原理如下：

单目视觉测量物体运动位姿变化通过分别估计出每帧图像对应的被测目标世界坐标系与相机坐标系间的转换关系，以相机坐标系为中介，即可求出目标在运动前后的位置和姿态信息。

设运动前后坐标系位姿相对关系为：

则第i帧为

进一步推导可得：

那么

因此，可以得到旋转矩阵与平移向量为：

这样，即可通过待测目标空间位姿在相机坐标的位置P0和Pi，检测出Pi相对P0的位姿变化ΔR_p、Δt_p，实现了单目相机的空间位姿测量，如图2所示。因为可以做到斜轴摄影测量，故本发明具有更强的工程适用性。

优选地，所述步骤(3)中基于综合预测器和连续自适应搜索的质心阵列跟踪匹配方法，原理及步骤如下：

根据阵列靶标光斑点之间距离固定，且桥梁转角变化速率较小，每帧光斑变化量远小于光斑间的距离，本发明提出一种连续自适应多点质心持续追踪方法。对被跟踪目标的位置、面积、灰度和形状等属性加以利用，提出了目标多属性判决函数，判断当前目标是否被遮挡，如果目标被遮挡，则使用综合预测器对所跟踪目标的位置参数进行预测，直至目标重新出现。

设目质心横坐标最佳估计方程为：X_l＝a₀+a₁t，由上式可以计算得到前N帧的质心坐标X(t_i)(i＝1，2，..，N)，则N点估计的误差平方和计算如下：

圆弧曲线利用最小二乘法，则有

将上式代入最佳估计方程，可求得方差最小时N点轨迹最佳估计函数的通解。基于3点的线性预测经验公式和3点的圆弧轨迹预测公式可求得预测点。

在某一次预测算法所涉及的范围内，目标的运动可看作是直线运动和二次曲线运动的某种组合，这样既可以兼顾线性预测对简单线性运动估计的性能和平方预测对随机运动的预测性能。综合预测器公式如下：F[k+1]＝τf_l[k+1]+(1-τ)f_c[k+1]。其中，f_l[k+1]为线性预测器函数，f_c[k+1]为圆弧预测器函数。

一般情况下，方法整个跟踪过程中跟踪窗口的大小保持不变，当目标存在尺度变化的时候会导致尺度定位不准确。初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，自动搜索框的大小为：

相机坐标系和世界坐标系之间的相对位姿解算需要解决物点和像点的一一匹配问题。现有用于桥梁挠度响应测量的光斑质心法只做到在选取ROI范围内对质心各自进行定位，通过序列间每帧光斑质心定位得到坐标后做差得到得到位移时程，各光斑间距离较远也只发生单一方向竖向位移，位移量也较小，他们之间是独立互不干扰的。然而面对多点光斑无规则运动时，此方法失效，无法实现多光斑质心的持续跟踪。此外，倘若按照基于棋盘网格角点排序算法解决匹配问题时，由于对无序点集按照“从上到下，从左到右”的原则排序，一旦发生大角度旋转时现有排序方法失效，没有根本解决物点和像点的匹配问题。

根据阵列靶标光斑点之间距离固定，且桥梁转角变化速率较小，每帧光斑变化量远小于光斑间的距离，本发明提出一种连续自适应多点质心持续追踪方法。对被跟踪目标的位置、面积、灰度和形状等属性加以利用，提出了目标多属性判决函数，判断当前目标是否被遮挡，如果目标被遮挡，则使用综合预测器对所跟踪目标的位置参数进行预测，直至目标重新出现，流程见图3。

设目质心标横坐标最佳估计方程为：X₁＝a₀+a₁t，由上式可以计算得到前N帧的质心坐标X(t_i)(i＝1，2，..，N)，则N点估计的误差平方和计算如下：

圆弧曲线利用最小二乘法，则有

将上式代入最佳估计方程，可求得方差最小时N点轨迹最佳估计函数的通解。基于3点的线性预测经验公式求得预测点(X_l[k+1]，Y_l[k+1])为：

基于3点的圆弧轨迹预测公式求得预测点(X_c[k+1]，Y_c[k+1])为：

其中，

在某一次预测算法所涉及的范围内，目标的运动可看作是直线运动和二次曲线运动的某种组合，这样既可以兼顾线性预测对简单线性运动估计的性能和平方预测对随机运动的预测性能。综合预测器公式如下：F[k+1]＝τf_l[k+1]+(1-τ)f_c[k+1]。其中，f_l[k+1]为线性预测器函数，f_c[k+1]为圆弧预测器函数。

一般情况下，方法整个跟踪过程中跟踪窗口的大小保持不变，当目标存在尺度变化的时候会导致尺度定位不准确。初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，自动搜索框的大小为：

原理如图4所示。其中，A_i为A点在第i帧的像素面积大小，r_A，i，r_B，i，r_C，i分别为A、B、C点在第i帧的实际半径大小，D_AC，i，D_AB，i为A点到B点和C点的实际距离，一般情况下，α取值0.5～0.8。

优选地，所述步骤(4)中基于子集模型提纯与非线性迭代优化的极小平面位姿估计算法进行位移和转角的计算，原理及步骤如下：

根据Perspective-n-Point(PnP)方法可以用数个3D-2D对应点求解出旋转矩阵R和平移矩阵T，其中，IPPE(Infinitesimal Plane-based Pose Estimation)为适用于世界坐标系中3D点共面情况下的位姿求解算法，基于观测点共面的条件，利用旋转矩阵的单位正交性求解合作目标所在平面与相机坐标系之间的相对位姿关系。本发明从子集模型提纯优化与虚拟视觉伺服非线性迭代优化两方面进行改进(如图5所示)。

①基于子集模型提纯优化的位姿测量算法包括三个步骤：

1)粗求位姿：从阵列靶标所有3D-2D匹配点原始数据中随机选取一个包含7个匹配点对的最小子集模型，其中IPPE算法需要至少4个点，利用其中的4对匹配点使用IPPE算法求得一个粗略的位姿，用剩余的3对匹配点验证其是否适合初始模型。

2)求局内点：根据第一步所求粗略位姿，将子集中的剩余3D-2D点中的3D点重投影为2D点，并计算重投影误差(单位为像素)，如果检验误差都小于阈值，则使用剩余的匹配点对子集模型进行适应性校验；如果有1对匹配点对的检验误差超过阈值，则直接舍弃该初始子集模型，重新返回步骤一选取7对匹配点对进行下一个循环的迭代估计。根据剩余的匹配点重投影误差根据误差阈值大小将将数据分为outlier(外点)和inlier(内点)。

3)首先判断局内点的数量，如果小于设置阈值，则返回步骤一重新选最小子集7个点。如果大于阈值则对进行所有3D-2D匹配点进行第二次IPPE计算。

该方法有效提高了PNP方法解算位姿的鲁棒性，特别是当阵列靶标受到光照影响等造成部分质心计算精度不足的情况。此外，该方法通过选取7对匹配点的最小子集模型可以实现快速舍弃不合理的初始模型，减少了验证初始模型合理性所需要的检测时间。

②虚拟视觉伺服(Virtual Visual Servoing，简称VVS算法)就是利用视觉伺服控制技术逐渐迭代地修改一个“虚拟”的相机的位姿，使得这个相机从给定的参考状态逐渐运动到最终状态，并且在这个最终状态下，理论上目标(特征点)对应的3D模型信息在投影到“虚拟”相机的图像上时与当前需要求取位姿的实际的图像特征能够无缝融合。

在位姿优化的过程中，VVS目标是通过控制相机的运动来持续观测图像中的特定目标，这可以通过最小化图像特征的期望状态参数s^*和实际状态参数s之间的误差来实现，在理想的条件下，存在一个唯一的相机位姿以最小化这个误差。在本发明中，被测阵列靶标上有许多3D光斑的质心，即可视为特征点，^oP为被测阵列靶标上质心点在运动目标坐标系中的3D坐标，然后设定一个虚拟相机，其在目标坐标系中的位置和姿态定义为r，通过最小化观测数据s^*(图像中阵列靶标光斑质心的2D坐标p，此时s^*＝p)和3D特征点依据位姿参数r进行投影到图像平面所得的2D坐标s之间的误差Δ，如下式所示，可以求解出真实位姿参数。

其中，pr_ξ(r，^oP_i)为基于相机内部参数ξ和相机位姿r所得的投影模型，N为阵列靶标中光斑质心点的个数。在位姿解算的过程中，初始位于r位置的虚拟相机遵循虚拟视觉伺服控制算法进行移动，以最小化误差参数Δ，在收敛的条件下，虚拟相机到达r_d位姿得到最小化Δ，r_d即为求解的真实相机的位姿参数。

图6为实验室布置图，图7和图8是测量结果示意图，由图7和图8可知，本实施例的监测方法效果非常好。下面再利用实际桥梁在线式相机监测位移转角案例来说明所提议的基于在线式相机的桥梁位移转角同步实时监测方法及其测量系统实施步骤。

珠江黄埔大桥是同三、京珠国道主干线绕广州公路东环段中连接广州市区与番禺区的一座特大型桥梁，在广州远洋修船厂与菠萝庙船厂之间跨越珠江北汊菠萝庙水道，经大濠洲后再跨越南汊大濠洲水道，进入番禺区化龙镇。珠江黄埔大桥由北引桥、北汊桥(跨越菠萝庙水道)、中引桥、南汊桥(跨越大濠洲水道)、南引桥组成。悬索桥竖向支座安装在钢箱梁的两端，每端安装两个，全桥共四个。竖向支座采用滚轮式结构，支座滑板及侧滑板与钢箱梁连接为一体，滚轮及座体固定在下部构造上；当温度变化或在活载作用下钢箱梁产生位移时，支座滑板可在滚轮上滚动，以完成钢箱梁的伸缩和力的传递。通过侧滑板、摇轴、摇座、座体及压板和地脚螺栓的联系，支座也可承受一定的负反力，以限制钢箱梁在支座处翘起。座底下部设有橡胶弹性件，允许支座总成有微小的摆动和位移。

竖向支座主要技术参数如下：额定承载力：4900kN(向下)，1226KN(向上)；水平移动量：±1050mm(纵向)，±10mm(横向)；转角：0.06弧度(竖平面内)，约3.44°；0.05弧度(水平面内)，约2.86°；总成质量：10564kg。

测试实桥的的全景图如图9所示，本发明的系统以及转角和位移的监测结果比较如图10～图13所示，可得本发明可以更加有效地对桥梁进行安全评估和维护管理，提高桥梁检测效率，是一种很有潜力的转角监测新方法。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (9)

1.一种基于在线式相机的桥梁位移转角同步实时监测方法，其特征在于，所述实时监测方法包括以下步骤：

S1，将在线式相机设备通过稳定机械装置固定在桥梁基准点上，设置多个目标靶，目标靶和桥梁上的被测目标相对应，利用棋盘格对目标靶进行标定，调整在线式相机设备和目标靶的参数后进行运动目标图像序列的实时获取；

S2，估计出每帧运动目标图像对应的被测目标世界坐标系与相机坐标系间的转换关系，通过待测目标空间位姿在相机坐标系的位置变化，求出被测目标在运动前后的位置和姿态信息；

S3，采用基于综合预测器和连续自适应搜索的质心阵列跟踪匹配方法，结合被测目标的位置、面积、灰度和形状属性，提出目标多属性判决函数，判断被测目标是否被遮挡，如果被测目标被遮挡，则使用综合预测器对所跟踪目标的位置参数进行预测，直至目标重新出现，以完成图像序列间目标靶内各光斑质心的连续自适应匹配追踪；

S4，采用基于子集模型提纯与非线性迭代优化的极小平面位姿估计算法进行位移和转角的计算。

2.根据权利要求1所述的基于在线式相机的桥梁位移转角同步实时监测方法，其特征在于，步骤S1中，所述在线式相机设备包括依次连接的千兆网口工业相机和POE交换机；其中，POE交换机用于对千兆网口工业相机进行供电的同时，将千兆网口工业相机采集到的运动目标图像序列发送至计算机，由计算机实时处理得到相应的桥梁的位移和转角，再将计算得到的桥梁的位移和转角发送至监控中心。

3.根据权利要求1所述的基于在线式相机的桥梁位移转角同步实时监测方法，其特征在于，所述目标靶采用波长850nm红外阵列式灯珠靶标，单个靶标上均匀排布多个间距已知的红外小灯珠。

4.根据权利要求3所述的基于在线式相机的桥梁位移转角同步实时监测方法，其特征在于，所述在线式相机设备的工业相机的镜头上安装有只允许红外光通过的窄带滤光片。

5.根据权利要求1所述的基于在线式相机的桥梁位移转角同步实时监测方法，其特征在于，步骤S2中，估计出每帧运动目标图像对应的被测目标世界坐标系与相机坐标系间的转换关系，通过待测目标空间位姿在相机坐标系的位置变化，求出被测目标在运动前后的位置和姿态信息的过程包括以下步骤：

分别估计出每帧图像对应的被测目标世界坐标系与相机坐标系间的转换关系，以相机坐标系为中介，设P₁₁、P₁₂为目标在初始坐标系和运动后坐标系中的坐标，P_c为目标在相机坐标系中的坐标，

为目标在初始坐标系和运动后坐标系对相机坐标系的旋转矩阵，

为目标在初始坐标系和运动后坐标系对相机坐标系的平移向量，求出目标在运动前后的位置和姿态信息：

设目标运动前后坐标系的变换矩阵为

和

得到运动前后坐标相对关系为：

联立上述两式得到

设P_1i为目标在第i帧坐标系的坐标，P_c为目标在相机坐标系中的坐标，

为目标在第i帧坐标系对相机坐标系的旋转矩阵，

为目标在第i帧坐标系对相机坐标系的平移向量，得到目标在第i帧坐标系中坐标相对于初始时刻坐标的相对关系为：

设目标第i帧坐标系中坐标相对于初始时刻坐标的旋转矩阵为ΔR_p，

为该旋转矩阵第m行、第n列的旋转分量，则：

求解得到绕x、y、z三轴转角α、β、γ分别为：

设目标第i帧坐标系中坐标相对于初始时刻坐标的平移向量为Δt_p，

为初始时刻目标三个轴平移向量分量，

为第i帧时刻目标三个轴平移向量分量，

为

矩阵逆矩阵的旋转矩阵第m行、第n列的旋转分量，则：

通过实测数据代入求解得到ΔR_p、Δt_p，对单目相机的空间位姿进行测量。

6.根据权利要求1所述的基于在线式相机的桥梁位移转角同步实时监测方法，其特征在于，步骤S3中，采用基于综合预测器和连续自适应搜索的质心阵列跟踪匹配方法，完成图像序列间目标靶内各光斑质心的连续自适应匹配追踪的过程包括以下步骤：

基于3点的线性预测经验公式求得第k+1帧预测点的x轴和y轴坐标(X_l[k+1]，Y_l[k+1])为：

其中，X_l[i]、Y_l[i]为线性预测法第i帧质心点x轴和y轴坐标，i＝k-2，k-1，k，k+1；

基于3点的圆弧轨迹预测公式求得第k+1帧预测点的x轴和y轴坐标(X_c[k+1]，Y_c[k+1])为：

其中，

式中，X_j、Y_j为圆弧预测法第j帧质心点x轴和y轴坐标，j＝k-2，k-1，k，k+1；

将目标的运动看作是直线运动和二次曲线运动的组合，组合后的综合预测器F[k+1]公式如下：

F[k+1]＝τf_l[k+1]+(1-τ)f_c[k+1]

其中，f_l[k+1]为线性预测器函数，f_c[k+1]为圆弧预测器函数，τ为比例系数，取值范围0-1。

7.根据权利要求6所述的基于在线式相机的桥梁位移转角同步实时监测方法，其特征在于，步骤S3中，采用基于综合预测器和连续自适应搜索的质心阵列跟踪匹配方法，完成图像序列间目标靶内各光斑质心的连续自适应匹配追踪的过程包括以下步骤：

初始化搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，自动搜索框的大小b为：

其中，A_i为任意A点在第i帧的像素面积大小，B点为某一方向离A点最近的点，C点为AB点连线法向离A点最近的点，r_A，i，r_B，i，r_C，i分别为A、B、C点在第i帧的实际半径大小，D_AC，i，D_AB，i为A点到B点和C点的实际距离，α取值0.5～0.8。

8.根据权利要求1所述的基于在线式相机的桥梁位移转角同步实时监测方法，其特征在于，步骤S4中，采用基于子集模型提纯与非线性迭代优化的极小平面位姿估计算法进行位移和转角的计算的过程包括以下步骤：

S41，采用IPPE方法粗求位姿，从阵列靶标所有三维-二维匹配点原始数据中随机选取一个包含7个匹配点对的最小子集模型，利用其中的4对匹配点使用IPPE算法求得粗略位姿，用剩余的3对匹配点验证其是否适合初始模型；

S42，求局内点，根据步骤S41所求粗略位姿，将子集中的剩余匹配点中的三维点重投影为二维点，并计算重投影误差，如果检验误差都小于阈值，则使用剩余的匹配点对子集模型进行适应性校验；如果有1对匹配点对的检验误差超过阈值，则直接舍弃该初始子集模型，重新返回步骤S41选取7对匹配点对进行下一个循环的迭代估计；否则，根据剩余的匹配点重投影误差根据误差阈值大小将将数据分为外点和内点；

S43，判断局内点的数量，如果小于设置阈值，则返回步骤S41重新选最小子集7个点；若大于阈值则对进行所有匹配点进行第二次IPPE计算，得到第一次优化后的位姿信息；

S44，控制相机的运动来持续观测图像中的特定目标，通过最小化图像特征的期望状态参数s^*和实际状态参数s之间的误差对位姿信息的第二次优化；具体地，将被测阵列靶标上的3D光斑的质心视为特征点，^OP_i为被测阵列靶标上第i个质心点在运动目标坐标系中的3D坐标；设定虚拟相机，虚拟相机在目标坐标系中的位置和姿态定义为r，通过最小化观测数据s_i ^*和3D特征点依据位姿参数r进行投影到图像平面所得的2D坐标s_i之间的误差Δ，求解出真实位姿参数：

其中，pr_ξ(r，^OP_i)为基于相机内部参数ξ和相机位姿r所得的投影模型，N为阵列靶标中光斑质心点的个数；在位姿解算的过程中，初始位于r位置的虚拟相机遵循虚拟视觉伺服控制算法进行移动，以最小化误差参数Δ，在收敛的条件下，虚拟相机到达r_d位姿得到最小化Δ，r_d为求解的真实相机的位姿参数。

9.一种基于在线式相机的桥梁位移转角同步实时监测系统，其特征在于，所述实时监测系统包括图像采集单元、图像计算单元和通讯传输单元；

所述图像采集单元包括在线式相机设备和目标靶，目标靶通过基于工业相机的长焦光学系统成像在图像传感器上；所述图像计算单元采用如权利要求1-8任一项所述的实时监测方法对图像传感器获取的运动目标图像序列进行计算，得到目标靶的位移转角时程数据；所述通讯传输单元采用工业级路由器和交换机将现场桥址处在线相机通过桥上现有的光纤网络形成局域网，并配置固定公网IP地址，将图像计算单元的计算结果传输至远端的监控中心。

Images