CN109342439B - 基于无人机的索结构外观检测方法 - Google Patents

Abstract

本发明公开了一种基于无人机的索结构外观检测方法，通过图像处理技术得到索结构全景高清图和图像几何信息，得到索结构表面的所有表观缺陷信息，观测到索上划痕、锈蚀等缺陷信息，满足实际工程的需求；还可以获得索结构的表面缺陷宏观和微观的演变趋势，并建立索结构健康电子档案系统。

Description

基于无人机的索结构外观检测方法

技术领域

本发明涉及基于无人机的索结构外观检测方法。

背景技术

悬索桥、斜拉桥和拱桥是索支撑结构，高压输电线也是索结构，这些索是重要的受力构件或输电设备，它们的安全对于整个结构的安全至关重要，对它们的日常检测非常关键。

目前日常检测主要通过望远镜；定期检测通过卷扬机拉动钢丝绳提升吊篮，检测人员在吊篮中对缆索检测，这种检测效率低、成本高、安全性低。一种索结构外观检测装置及方法(CN2015108733787)发明了双轴平台采集索结构表面病害的方法和装置。但这种方法有存在一定的局限性：斜拉索外侧无法检测，平台检测耗时较长，效率不高等问题。

无人机在各行各业的逐渐应用，它已经变成会飞的生产工具，将无人机平台应用到索结构外观检测，配合相应的飞行路径规划方法和图像处理技术，将极大的提高检测效率，更加高效解决索结构检测难题。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于无人机的索结构外观检测方法，提高检测效率。

为解决上述技术问题，本发明所采用的技术方案是：一种基于无人机的索结构外观检测方法，包括以下步骤：

1)根据结构物检测的精度γ要求、相机分辨率α_L和α_H、图像重叠率ol，确定单幅图像拍摄长度S_L和高度S_H，每张图的检测长度为S；

2)由镜头焦距、传感器尺寸和长度S，并计算出无人机距离待检索结构最小距离d；

3)将无人机飞行至待检索结构右下角，并通过测距传感器调整无人机至索结构距离，两者距离为d，停留获取此位置的经纬度(Lon₁,Lat₁)和高度信息H₁；然后飞行至待检索结构左上角，调整无人机至索结构距离为d，获取此位置的经纬度(Lon₂,Lat₂)和高度信息H₂，通过经纬度的计算，获得待检索结构的实际检测长度L；

4)将待检索结构进行等距离分区，进行无人机飞行路径规划，得到飞行路径点集M(n)；

5)根据M(n)，依次给无人机发送飞行任务；首先从待检索结构左上角出发，即首先到达M[n]位置，接着到达M[n-1]，直至最后到达M[1]，无人机返航。无人机在RTK定位信息指引依次到达指定位置悬停拍照，存储图像及其位置信息；

6)获取无人机系统拍摄的位置、高清图像数据和位置信息；

7)采用“多权重迭代最优缝合缝”方法对图像进行拼接处理；

8)对拼接后的图像进行配准处理；

9)矢量CAD文件确定配准后图像像元尺寸，并根据像元个数确定缺陷的长度、宽度和面积。

步骤1)中，S_L＝γ×α_L×(1-ol)；S_H＝γ×α_H×(1-ol)；

步骤2)中，d_L＝f×S_L/SS_L；

d＝min(d_L,d_H)；其中，f为相机焦距，SS_L和SS_H为相机传感器感光片的长度和高度。

步骤3)中，

H＝H₂-H₁；

其中，ER为地球半径。

步骤4)中，飞行区域数量为：

步骤7)的具体实现过程包括：

1)根据无人机路径点顺序，对待拼接图像I_c之间的拼接顺序进行预排序，其中c表示待拼接图像的数量；

2)采用SURF特征点检测算法，查找图像特征点；

3)选取待配准的相邻图像I_i，I_j，采用RANSAC算法结合图像之间的几何信息进行特征点提纯，得到初始匹配对；

4)从初始匹配对中通过多次迭代随机选取k个特征点匹配对，k≥4；对图像进行粗配准，并利用公式

估算投影变换矩阵H，其中v₁＝(x₁,y₁,z₁)，v₂＝(x₂,y₂,z₂)为I_i，I_j中对应的特征点，令z＝1，通过v₁，v₂之间的齐次线性变换关系，求得H中元素H_i,j的值，H是一个3×3的齐次矩阵；

5)采用结构保持变形算法，对粗配准后的图像进行变形，得到I_i'，I_j'；

6)采用Graphcut算法，查找I_i'，I_j'重叠区域的最佳缝合缝；

7)利用公式

计算图像重叠区域中的特征点到缝合缝上像素点的距离，作为配准误差，其中v_f表示随机选取的特征点，m表示v_f的数量，v_s表示缝合缝上像素点，n表示v_s的数量；

8)重复步骤3)～步骤7)，计算所有可能的图像配准关系，将配准误差E(v)＜δ的特征点对保留下来，通常取δ＝100，对所有保留下来的特征点对合并，以此计算最终的图像配准关系，作为图像对I_i，I_j的最佳配准关系；

9)重复步骤8)，计算所有相邻图像对之间的最佳配准关系；

10)采用光束法平差算法，对所有的图像配准关系进行优化；

11)采用Graphcut算法，查找步骤10)中最终配准后图像之间重叠区域的最佳缝合缝；

12)采用多波段融合技术实现图像的无缝融合拼接。

与现有技术相比，本发明所具有的有益效果为：本发明利用无人机进行索结构外观检测，无人机可以快速采集图像，且不受地理环境影响进行外业工作，提出了专为无人机拍摄图像的多站点图像拼接技术，可以通过图像处理技术得到索结构全景高清图和图像几何信息，得到索结构表面的所有表观缺陷信息，观测到索上划痕、锈蚀等缺陷信息，满足实际工程的需求；还可以获得索结构的表面缺陷宏观和微观的演变趋势，并建立索结构健康电子档案系统。

附图说明

图1是本发明提供的基于无人机的索结构外观检测系统的流程图；

图2是本发明提供的无人机索结构采集平台；

100为无人机，101高清图像采集模块，102测距仪，103GPS和RTK

图3是本发明无人机拍摄区域分区图；

图4是多站点图像拼接算法框图；

图5(1)是CAD图；图5(2)是配准前图像。

具体实施方式

下面结合附图对本发明进行详细的说明。

(1)无人机高清图像采集平台

无人机高清图像采集平台包括了无人机飞行翼电池等常规无人机模块100，厘米级导航定位RTK模块103，高分率(大于2000万像素)图像传感器的图像采集模块101，测距传感器102，无线传输模块和控制模块；其中无线传输模块将所拍摄的图像信息和RTK定位信息发送到地面控制中心，控制中心将指令传输给无人机。实施过程如下：

首先根据索结构检测精度要求、无人机的相机焦距及其传感器尺寸、图像重叠率确定无人机航线横向步长S_L和竖向步长S_H，并计算出无人机距离索的最小垂直距离d。

接着无人机在地面控制操作下到达图3的右下角即图中A点位置，调整无人机至索的垂直距离，直至测距为d，通过无人机定位系统读取此点的经纬度(Lon₁,Lat₁)和高度信息(H₁)；然后地面控制操作下到达图3的左上角即图中B点位置，调整无人机至索结构距离，直至测距传感器测距为d，读取此点的经纬度(Lon₂,Lat₂)和高度信息(H₂)，至此自动确定了索的检测区域，即如图3所示的直线区域。

然后根据检测区域和步长，无人机从B→A的路线规划飞行路径。首先无人机从图3的B点开始悬停，通过地面中心控制系统自动完成图像对焦和拍摄；无人机沿着索的方向移动至下一个网格点即图3中的黑色圆点，悬停对焦拍摄；直至到达图中A点位置，悬停对焦拍摄，最后返航，索一侧的图像采集工作结束。

(2)图像拼接处理

图3所示，无人机根据索结构的飞行路径规划点拍摄了n张高清图像，这些图像是无人机在不同位置上近距离拍摄的一系列图像，不同于固定位置的相机，这些图像存在运动视差，因此多站点图像拼接是此项技术的核心工作。

首先根据飞行路径点顺序将这些图像文件整理成顺序对应飞行路径点图像序列，如图3所示。具体拼接算法过程如图4所示，算法具体实现过程如下：

1、根据无人机路径点顺序，对待拼接图像I_c之间的拼接顺序进行预排序，其中c表示待拼接图像的数量；

2、采用SURF特征点检测算法，查找图像特征点；

3、选取待配准的相邻图像I_i，I_j，采用RANSAC算法结合图像之间的几何信息进行特征点提纯，得到初始匹配对；

4、从初始匹配对中通过多次迭代随机选取k个特征点匹配对，k≥4；对图像进行粗配准，并利用公式

估算投影变换矩阵H，其中v₁＝(x₁,y₁,z₁)，v₂＝(x₂,y₂,z₂)为I_i，I_j中对应的特征点，令z＝1，通过v₁，v₂之间的齐次线性变换关系，求得H中元素H_i,j的值，H是一个3×3的齐次矩阵；

5、采用结构保持变形算法，对粗配准后的图像进行变形，得到I_i'，I_j'；

6、采用Graphcut算法，查找I_i'，I_j'重叠区域的最佳缝合缝；

7、利用公式

计算图像重叠区域中的特征点到缝合缝上像素点的距离，作为配准误差，其中v_f表示随机选取的特征点，m表示v_f的数量，v_s表示缝合缝上像素点，n表示v_s的数量；

8、重复步骤3)～步骤7)，计算所有可能的图像配准关系，将配准误差E(v)＜δ的特征点对保留下来，通常取δ＝100，对所有保留下来的特征点对合并，以此计算最终的图像配准关系，作为图像对I_i，I_j的最佳配准关系；

9、重复步骤8)，计算所有相邻图像对之间的最佳配准关系；

10、采用光束法平差算法，对所有的图像配准关系进行优化；

11、采用Graphcut算法，查找步骤10)中最终配准后图像之间重叠区域的最佳缝合缝；

12、采用多波段融合技术实现图像的无缝融合拼接。

(3)图形配准处理

上一步骤完成了高清图片的拼接工作，索结构全景图像已经建立起来。接下来就是高清图像的配准工作，其目的是：对高清全景图像进行裁剪和校准，使得图像中索结构与相应的CAD矢量图坐标、尺寸相一致，即将索结构图像配准到CAD图形之中。

配准的方法是通过坐标变化将图像中的每个像素变换到CAD坐标系中对应的坐标位置，使得图像变成与地图类似具备几何坐标和尺寸信息的图像文件。其具体步骤如下：

a)将上述高清图图形进行灰度化、均衡化和二值化处理，获取图像中索结构的边界位置信息。

b)全景图像中的索结构与其实际形状和尺寸有偏差，如图5(1)和图5(2)所示，图形配准的目的就是将图像数据进行几何变换，实现与CAD图形一一对应。将图像中索结构边界坐标与CAD图中索结构边界坐标一一对应，通过双线性变化，来为图像中每个像素确定正确的坐标位置(x,y)，图5(1)和图5(2)的双线映射关系如下：

c)将A和A’、B和B’等相应4个点分别带入式(9)，即可求出上述a-h的8个系数。

e)通过上述变换后，实现每个像素的坐标与实际CAD图纸坐标一一对应，完成图像与CAD图纸配准。

(4)数据库系统

图形进行配准后，由矢量CAD文件确定了索图像像元与结构实际尺寸的关系。并根据像元个数确定缺陷的长度、宽度和面积。完成配准后的图像可以采用地图集的方式对索结构外观的缺陷进行标记和量测。并将这些缺陷数据如：位置、长度、宽度和面积记录到数据库之中，形成缺陷信息数据库。

在配准后的图像文件之中，对缺陷分类标注和编号，测量其位置和尺寸，得到能反映索结构健康状态的缺陷信息数据库。将历史检测结果进行对比分析，结合大数据技术，研究和判断索结构健康状态和趋势。为索结构的管养和维护提供科学、全面的数据。

Claims (6)

1.一种基于无人机的索结构外观检测方法，其特征在于，包括以下步骤：

1)根据结构物检测的精度γ要求、相机横向和竖向分辨率α_L和α_H、图像重叠率ol，确定单幅图像拍摄长度S_L和高度S_H，每张图的检测长度为S；

2)由镜头焦距、传感器尺寸和长度S，计算出无人机距离待检索结构最小距离d；

3)将无人机飞行至待检索结构右下角，并通过测距传感器调整无人机至索结构距离，两者距离为d，停留获取此位置的经纬度(Lon₁,Lat₁)和高度信息H₁；然后飞行至待检索结构左上角，调整无人机至索结构距离为d，获取此位置的经纬度(Lon₂,Lat₂)和高度信息H₂，通过经纬度的计算，获得待检索结构的实际检测长度L；

4)将待检索结构进行等距离分区，进行无人机飞行路径规划，得到飞行路径点集M(n)；

5)根据M(n)，依次给无人机发送飞行任务；首先从待检索结构左上角出发，即首先到达M[n]位置，接着到达M[n-1]，直至最后到达M[1]，无人机返航；无人机在RTK定位信息指引依次到达指定位置悬停拍照，存储图像及其位置信息；

6)获取无人机系统拍摄的位置、高清图像数据；

7)采用多权重迭代最优缝合缝方法对图像进行拼接处理；

8)对拼接后的图像进行配准处理；

9)矢量CAD文件确定配准后图像像元尺寸，并根据像元个数确定缺陷的长度、宽度和面积。

2.根据权利要求1所述的基于无人机的索结构外观检测方法，其特征在于，步骤1)中，S_L＝γ×α_L×(1-ol)；S_H＝γ×α_H×(1-ol)；

3.根据权利要求2所述的基于无人机的索结构外观检测方法，其特征在于，步骤2)中，d_L＝f×S_L/SS_L；d_H＝f×S_H/SS_H；d＝min(d_L,d_H)；其中，f为相机焦距，SS_L和SS_H为相机传感器感光片的长度和高度。

4.根据权利要求1所述的基于无人机的索结构外观检测方法，其特征在于，步骤3)中，

H＝H₂-H₁；

其中，ER为地球半径。

5.根据权利要求1所述的基于无人机的索结构外观检测方法，其特征在于，步骤4)中，飞行区域数量为：

6.根据权利要求1所述的基于无人机的索结构外观检测方法，其特征在于，步骤7)的具体实现过程包括：

1)根据无人机路径点顺序，对待拼接图像I_c之间的拼接顺序进行预排序，其中c表示待拼接图像的数量；

2)采用SURF特征点检测算法，查找图像特征点；

3)选取待配准的相邻图像I_i，I_j，采用RANSAC算法结合图像之间的几何信息进行特征点提纯，得到初始匹配对；

4)从初始匹配对中通过多次迭代随机选取k个特征点匹配对，k≥4；对图像进行粗配准，并利用公式

估算投影变换矩阵H，其中v₁＝(x₁,y₁,z₁)，v₂＝(x₂,y₂,z₂)为I_i，I_j中对应的特征点，令z＝1，通过v₁，v₂之间的齐次线性变换关系，求得H中元素H_i,j的值，H是一个3×3的齐次矩阵；

5)采用结构保持变形算法，对粗配准后的图像进行变形，得到I_i'，I_j'；

6)采用Graphcut算法，查找I_i'，I_j'重叠区域的最佳缝合缝；

7)利用公式

计算图像重叠区域中的特征点到缝合缝上像素点的距离，作为配准误差，其中v_f表示随机选取的特征点，m表示v_f的数量，v_s表示缝合缝上像素点，n表示v_s的数量；

8)重复步骤3)～步骤7)，计算所有可能的图像配准关系，将配准误差E(v)＜δ的特征点对保留下来，取δ＝100，对所有保留下来的特征点对合并，以此计算最终的图像配准关系，作为图像对I_i，I_j的最佳配准关系；

9)重复步骤8)，计算所有相邻图像对之间的最佳配准关系；

10)采用光束法平差算法，对所有的图像配准关系进行优化；

11)采用Graphcut算法，查找步骤10)中最终配准后图像I_c之间重叠区域的最佳缝合缝；

12)采用多波段融合技术实现图像I_c的无缝融合拼接。

Images