CN110470226A - 一种基于无人机系统的桥梁结构位移测量方法 - Google Patents

Abstract

本发明公开了一种基于无人机系统的桥梁结构位移测量方法，使无人机定点悬停在待测量的桥梁结构表面，进行桥梁振动过程的图像采集；对采集得到的图像逐帧通过数字图像相关技术进行追踪分析，提取得到桥梁结构的位移；对采集得到的图像通过张正友标定法进行标定，求解得到无人机的运动位移；将所述桥梁结构的位移与所述无人机的运动位移作差，得到校正后的桥梁结构的真实位移。本发明利用无人机任意点高空悬停观测和图像实时传输的优点，并通过张正友标定法分析剔除无人机运动带来的误差位移，得到桥梁结构位移的准确测量结果，解决了现有的桥梁结构位移测量方法存在难以找到具有适当视线的部署位置、部署复杂、测量准确度低等问题。

Description

一种基于无人机系统的桥梁结构位移测量方法

技术领域

本发明涉及视觉测量技术领域，尤其涉及一种基于无人机系统的桥梁结构位移测量方法。

背景技术

基于振动的结构健康监测是评估民用基础设施安全性最常用的方法之一。健康监测的应用都是从测量结构的动力响应开始的，但是由于需要一个固定的参考点、高成本和低精度等影响，位移测量一直受到限制。近年来，研究人员开展了基于视觉的结构健康监测研究，提供了非接触和有效的测量方法。然而，现有的基于视觉的位移测量方法依赖于摄像机固定静止摆放，它们面临的挑战是找到一个具有适当视线的地点来部署摄像机，尤其是在监测关键的民用基础设施，例如桥梁。目前我国桥梁数量巨大，上述视觉方法对桥梁进行检测和评估无法满足需要。

无人机系统可以克服上述摄像机位置部署的局限性。通过无人机承载高清摄像机，能够在高空任意点悬停在民用基础设施附近监测并且具备无线通信能力，达到图像实时传输。但是由于无人机平台重量较轻，容易受到风和其它大气扰动的影响，产生不稳定姿态和位移变化，运动导致相机在成像时刻无法保持绝对水平，采集的图像发生相应的变形，不能直接表示物体的真实位置，将无人机系统运用在桥梁结构位移测量上，虽克服了固定摄像机仪器架设困难的缺陷，但精确度仍较低。

发明内容

本发明为解决现有的桥梁结构位移测量方法存在难以找到具有适当视线的部署位置、部署复杂、测量准确度低等问题，提供了一种基于无人机系统的桥梁结构位移测量方法。

为实现以上发明目的，而采用的技术手段是：

一种基于无人机系统的桥梁结构位移测量方法，所述无人机系统装配有摄像机，包括以下步骤：

S1.使无人机定点悬停在待测量的桥梁结构表面，进行桥梁振动过程的图像采集；

S2.对步骤S1采集得到的图像逐帧通过数字图像相关技术进行追踪分析，提取得到桥梁结构的位移；

S3.对步骤S1采集得到的图像通过张正友标定法进行标定，求解得到无人机的运动位移；

S4.将所述桥梁结构的位移与所述无人机的运动位移作差，得到校正后的桥梁结构的真实位移。

上述方案中，利用无人机任意点高空悬停观测和图像实时传输的优点，采用无人机对桥梁结构近距离图像采集，结合数字图像相关技术获取结构的位移信息；并利用张正友标定法分析剔除无人机运动带来的误差位移，得到桥梁结构位移的准确测量结果。

优选的，所述步骤S1中使无人机定点悬停在待测量的桥梁结构表面时，保持待测量的桥梁结构表面与无人机摄像机的镜头光心垂直。

优选的，所述步骤S2提取得到桥梁结构的位移包括桥梁结构的真实位移以及无人机的运动位移。

优选的，所述步骤S2的具体步骤为：

桥梁结构的位移即桥梁结构变形前图像与桥梁结构变形后图像的位移，在所述变形前图像中取以待求点P(x,y)为中心的参考子区，在变形后图像中，以与所述参考子区同样大小的子区图像，计算位移为(Δx,Δy)时的变形前后子区的灰度相关系数：

其中x,y为图像的像素坐标；I,J分别为变形前图像像素的灰度分布和变形后图像像素的灰度分布；B为参考子区的面积；0≤C≤1；当C为极大值时，输出向量(Δx,Δy)即为P(x,y)的位移。

优选的，所述步骤S3包括：在所述桥梁结构下放置一块棋盘标定板作为标定图像的采集对象，所述无人机的摄像机为针孔成像模型，利用无人机的摄像机在不同时刻采集标定图像，建立三维世界坐标到摄像机图像坐标的映射关系，并进行标定获得摄像机的固定内参数与摄像机在不同时刻的外参数，根据所述摄像机在不同时刻的外参求解得到无人机的运动位移。

优选的，所述步骤S3的具体步骤为：

S31.在所述桥梁结构下放置一块棋盘标定板作为标定图像的采集对象，所述无人机的摄像机为针孔成像模型，利用无人机的摄像机在不同时刻采集标定图像；

S32.当所述无人机处于第一个时刻时，(x_i,y_i)表示摄像机采集的第一标定图像中的第i个二维点，(X_i,Y_i,Z_i)表示相应的三维世界坐标中的三维点，第一标定图像的三维点与第一标定图像投影的关系为：

其中s₁为无人机第一个时刻时的任意尺度因子，R₁为无人机第一个时刻时的3×3旋转矩阵，t₁为无人机第一个时刻时的1×3平移向量，K为摄像机的固有内参数矩阵：

其中，f_x,f_y为图像横纵坐标轴的尺度因子，即焦距与像素宽和高的比值；(x₀,y₀)为摄像机光轴与图像平面交点的坐标；

S33.当无人机处于第二个时刻时，在三维世界坐标中以相同的三维点(X_i,Y_i,Z_i)捕捉场景，三维点与第二标定图像投影的关系为：

其中s₂为无人机第二个时刻时的任意尺度因子，R₂为无人机第二个时刻时的3×3旋转矩阵，t₂为无人机第二个时刻时的1×3平移向量；

S34.通过求得无人机的摄像机在不同时刻的外参数，得到无人机在不同时刻采集标定图像瞬间的姿态和位置，从而求解得无人机的运动位移。

优选的，步骤S34中所述无人机的摄像机在不同时刻的外参数包括旋转向量和平移向量，其中平移向量具体为t＝[t_x t_y t_z]^T，其中t_x、t_y、t_z分别表示无人机在X,Y,Z方向上的平移；

则在Y方向无人机的运动位移Δt_y＝t_y2-t_y1；

其中t_y1表示在第一时刻无人机在Y方向上的平移，t_y2表示在第二时刻无人机在Y方向上的平移，Δt_y表示无人机的运动位移。

优选的，所述步骤S4具体为：

求解所述桥梁结构的真实位移在y方向上进行求解，则：

y_dis＝Δy-Δt_y

其中y_dis为在y方向上桥梁结构的真实位移，Δy为在y方向上桥梁结构的位移，Δt_y为在y方向上无人机的运动位移。

与现有技术相比，本发明技术方案的有益效果是：

本发明方法采用无人机对桥梁结构近距离图像采集，结合数字图像相关技术获取结构的位移信息；针对无人机平台由于重量较轻使其容易受到风和其它大气扰动的影响，产生不稳定姿态和位移变化的特点，利用张正友标定法对不同时刻的连续图像进行摄像机标定，得到反映不同时刻无人机姿态和位置的外参数从而求解得到并校正无人机的运动位移带来的误差，得到桥梁结构位移的准确测量结果。本发明方法由于无需进行复杂的部署，可以在桥梁正常运行下能实现对桥梁结构位移测量，解决了现有的桥梁结构位移测量方法存在难以找到具有适当视线的部署位置、部署复杂、测量准确度低等问题。

附图说明

图1为本实施例的流程框图。

图2为本实施例中无人机运动类型示意图。

图3为本实施例中桥梁结构位移测量实验的布置示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例

一种基于无人机系统的桥梁结构位移测量方法，所述无人机系统装配有摄像机，如图1所示，包括以下步骤：

S1.使无人机定点悬停在待测量的桥梁结构表面，保持待测量的桥梁结构表面与无人机摄像机的镜头光心垂直，进行桥梁振动过程的图像采集；

S2.对步骤S1采集得到的图像逐帧通过数字图像相关技术进行追踪分析，提取得到桥梁结构的位移；其中提取得到桥梁结构的位移包括桥梁结构的真实位移以及无人机的运动位移；无人机的运动位移是由于无人机飞行姿态变化大、不稳定且受风和气流等影响，导致无人机成像瞬间姿态和位置的变化；如图2所示，无人机的运动可分为四种不同的类型：俯仰、偏航、滚转和平动；

在本步骤S2中数字图像相关技术的基本原理就是运用散斑图的灰度分布作为试件变形信息的载体，通过跟踪物体表面变形前后两幅散斑图像中相应子区的变化，来获得该子区中心点的位移向量，最终得到试件表面的全场位移。根据数学的相关性系数概念，可知两幅图像的灰度相关系数可表示为：

式中I(x,y)，J(x,y)分别为变形前后图片的灰度分布矩阵；拍摄前后图片大小不变，A为图片的面积，由柯西不等式可知C不大于1。

则本实施例中步骤S2的具体步骤为：

桥梁结构的位移即桥梁结构变形前图像与桥梁结构变形后图像的位移，在所述变形前图像中取以待求点P(x,y)为中心的参考子区，在变形后图像中，以与所述参考子区同样大小的子区图像，计算位移为(Δx,Δy)时的变形前后子区的灰度相关系数：

其中x,y为图像的像素坐标；I,J分别为变形前图像像素的灰度分布和变形后图像像素的灰度分布；B为参考子区的面积；0≤C≤1；当C为极大值时，输出向量(Δx,Δy)即为P(x,y)的位移。

S3.对步骤S1采集得到的图像通过张正友标定法进行标定，求解得到无人机的运动位移；

具体步骤为：

S31.如图3所示，在所述桥梁结构下放置一块棋盘标定板作为标定图像的采集对象，所述无人机的摄像机为针孔成像模型，利用无人机的摄像机在不同时刻采集标定图像；

S32.当所述无人机处于第一个时刻时，(x_i,y_i)表示摄像机采集的第一标定图像中的第i个二维点，(X_i,Y_i,Z_i)表示相应的三维世界坐标中的三维点，第一标定图像的三维点与第一标定图像投影的关系为：

其中s₁为无人机第一个时刻时的任意尺度因子，R₁为无人机第一个时刻时的3×3旋转矩阵，t₁为无人机第一个时刻时的1×3平移向量，K为摄像机的固有内参数矩阵：

其中，f_x,f_y为图像横纵坐标轴的尺度因子，即焦距与像素宽和高的比值；(x₀,y₀)为摄像机光轴与图像平面交点的坐标；

S33.当无人机处于第二个时刻时，在三维世界坐标中以相同的三维点(X_i,Y_i,Z_i)捕捉场景，三维点与第二标定图像投影的关系为：

其中s₂为无人机第二个时刻时的任意尺度因子，R₂为无人机第二个时刻时的3×3旋转矩阵，t₂为无人机第二个时刻时的1×3平移向量；

S34.通过求得无人机的摄像机在不同时刻的外参数，得到无人机在不同时刻采集标定图像瞬间的姿态和位置，从而求解得无人机的运动位移；由于所述无人机的摄像机在不同时刻的外参数是通过求解后一时刻相对前一时刻时无人机姿态和位置的相对变换得到的，即以第一个时刻的无人机坐标为世界坐标，第二个时刻的无人机坐标为摄像机坐标，则第一时刻的外参数即R₁,t₁分别为单位旋转矩阵和平移为零的向量，第二时刻的外参数即R₂,t₂分别为相对于第一个时刻无人机坐标的旋转向量和平移向量；

由于无人机的摄像机在不同时刻的外参数包括旋转向量R和平移向量t，

其中旋转向量为摄像机坐标系在世界坐标系中的方向矢量，可以由无人机的三个姿态角来表示，分别是绕X₁轴旋转的角度和绕Y₁轴旋转的角度ψ，还有绕Z₁轴旋转的角度θ，旋转矩阵就是由三个姿态角组合而成；

平移向量t＝[t_x t_y t_z]^T，为摄像机坐标系在世界坐标系中的位移矢量，其中t_x，t_y，t_z分别表示为在X,Y,Z方向上的平移，以第一个时刻无人机坐标为世界坐标，第二个时刻的无人机坐标为摄像机坐标，则无人机在第一个时刻到第二个时刻的运动位移用Δψ，Δθ，Δt_x，Δt_y和Δt_z表示。由于桥梁结构模型的运动主要在y方向上，因此在本发明中，对于桥梁结构的位移和无人机结构的位移主要考虑竖向位移，因此计算得到在Y方向无人机的运动位移Δt_y＝t_y2-t_y1；

其中t_y1表示在第一时刻无人机在Y方向上的平移，t_y2表示在第二时刻无人机在Y方向上的平移，Δt_y表示无人机的运动位移。

以此类推，不同时刻的无人机位置都以世界坐标系的位置求得相对位移，则为无人机的运动位移。

S4.将所述桥梁结构的位移与所述无人机的运动位移作差，得到校正后的桥梁结构的真实位移，具体为：

求解所述桥梁结构的真实位移在y方向上进行求解，则：

y_dis＝Δy-Δt_y

其中y_dis为在y方向上桥梁结构的真实位移，Δy为在y方向上桥梁结构的位移，Δt_y为在y方向上无人机的运动位移。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于无人机系统的桥梁结构位移测量方法，所述无人机系统装配有摄像机，其特征在于，包括以下步骤：

S1.使无人机定点悬停在待测量的桥梁结构表面，进行桥梁振动过程的图像采集；

S2.对步骤S1采集得到的图像逐帧通过数字图像相关技术进行追踪分析，提取得到桥梁结构的位移；

S3.对步骤S1采集得到的图像通过张正友标定法进行标定，求解得到无人机的运动位移；

S4.将所述桥梁结构的位移与所述无人机的运动位移作差，得到校正后的桥梁结构的真实位移。

2.根据权利要求1所述的基于无人机系统的桥梁结构位移测量方法，其特征在于，所述步骤S1中使无人机定点悬停在待测量的桥梁结构表面时，保持待测量的桥梁结构表面与无人机摄像机的镜头光心垂直。

3.根据权利要求2所述的基于无人机系统的桥梁结构位移测量方法，其特征在于，所述步骤S2提取得到桥梁结构的位移包括桥梁结构的真实位移以及无人机的运动位移。

4.根据权利要求3所述的基于无人机系统的桥梁结构位移测量方法，其特征在于，所述步骤S2的具体步骤为：

桥梁结构的位移即桥梁结构变形前图像与桥梁结构变形后图像的位移，在所述变形前图像中取以待求点P(x,y)为中心的参考子区，在变形后图像中，以与所述参考子区同样大小的子区图像，计算位移为(Δx,Δy)时的变形前后子区的灰度相关系数：

其中x,y为图像的像素坐标；I,J分别为变形前图像像素的灰度分布和变形后图像像素的灰度分布；B为参考子区的面积；0≤C≤1；当C为极大值时，输出向量(Δx,Δy)即为P(x,y)的位移。

5.根据权利要求3所述的基于无人机系统的桥梁结构位移测量方法，其特征在于，所述步骤S3包括：在所述桥梁结构下放置一块棋盘标定板作为标定图像的采集对象，所述无人机的摄像机为针孔成像模型，利用无人机的摄像机在不同时刻采集标定图像，建立三维世界坐标到摄像机图像坐标的映射关系，并进行标定获得摄像机的固定内参数与摄像机在不同时刻的外参数，根据所述摄像机在不同时刻的外参求解得到无人机的运动位移。

6.根据权利要求3所述的基于无人机系统的桥梁结构位移测量方法，其特征在于，所述步骤S3的具体步骤为：

S31.在所述桥梁结构下放置一块棋盘标定板作为标定图像的采集对象，所述无人机的摄像机为针孔成像模型，利用无人机的摄像机在不同时刻采集标定图像；

S32.当所述无人机处于第一个时刻时，(x_i,y_i)表示摄像机采集的第一标定图像中的第i个二维点，(X_i,Y_i,Z_i)表示相应的三维世界坐标中的三维点，第一标定图像的三维点与第一标定图像投影的关系为：

其中s₁为无人机第一个时刻时的任意尺度因子，R₁为无人机第一个时刻时的3×3旋转矩阵，t₁为无人机第一个时刻时的1×3平移向量，K为摄像机的固有内参数矩阵：

其中，f_x,f_y为图像横纵坐标轴的尺度因子，即焦距与像素宽和高的比值；(x₀,y₀)为摄像机光轴与图像平面交点的坐标；

S33.当无人机处于第二个时刻时，在三维世界坐标中以相同的三维点(X_i,Y_i,Z_i)捕捉场景，三维点与第二标定图像投影的关系为：

其中s₂为无人机第二个时刻时的任意尺度因子，R₂为无人机第二个时刻时的3×3旋转矩阵，t₂为无人机第二个时刻时的1×3平移向量；

S34.通过求得无人机的摄像机在不同时刻的外参数，得到无人机在不同时刻采集标定图像瞬间的姿态和位置，从而求解得无人机的运动位移。

7.根据权利要求6所述的基于无人机系统的桥梁结构位移测量方法，其特征在于，步骤S34中所述无人机的摄像机在不同时刻的外参数包括旋转向量和平移向量，其中平移向量具体为t＝[t_x t_y t_z]^T，其中t_x、t_y、t_z分别表示无人机在X,Y,Z方向上的平移；

则在Y方向无人机的运动位移Δt_y＝t_y2-t_y1；

其中t_y1表示在第一时刻无人机在Y方向上的平移，t_y2表示在第二时刻无人机在Y方向上的平移，Δt_y表示无人机的运动位移。

8.根据权利要求7所述的基于无人机系统的桥梁结构位移测量方法，其特征在于，所述步骤S4具体为：

求解所述桥梁结构的真实位移在y方向上进行求解，则：

y_dis＝Δy-Δt_y

其中y_dis为在y方向上桥梁结构的真实位移，Δy为在y方向上桥梁结构的位移，Δt_y为在y方向上无人机的运动位移。