CN110307829B - 一种基于无人机视频的起重设备垂直度检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于无人机视频的起重设备垂直度检测方法和检测系统，所述的垂直度检测方法包括如下步骤：1、在起重设备附近放置铅垂线或其他垂直地面的物体作为参照物；2、由无人机自下而上飞行拍摄起重设备；3、获得视频中的空间分辨率；4、提取视频中关键帧获得序列图像；5、对序列图像进行图像拼接获得起重设备的全图；6、根据全图中起重设备支架与参照物的夹角计算垂直度。所述的垂直度检测系统包括无人机、飞控模块和视频处理模块。

Description

一种基于无人机视频的起重设备垂直度检测方法及系统

技术领域

本发明涉及起重设备垂直度检测领域，尤其涉及一种基于无人机视频的起重设备垂直度检测方法及系统。

背景技术

近二十年来，中国建筑行业飞速发展，塔式起重机(塔吊)目前已成为建设工地上应用最广的起重机械。据官方统计数据表明，在2016年全国建筑起重机安全事故至少发生207起，造成直接损失达上亿元。为了保障塔式起重机操作人员的生命安全，周期性的对塔式起重机进行检测对保证设备安全运行和顺利完成整个施工工程显得尤为重要。

起重设备垂直度用以表征起重设备支架的倾斜度，是起重设备缺陷检测重要衡量指标之一。以附图1为例，在塔吊安装后，增幅处于平衡状态下，垂直度ΔL＝x/h(x为起重设备支架顶部与底部的横向偏移量，h为起重设备支架高度)。GB/T5031-2008《塔式起重机》中5.2.3i)规定，垂直度的允差为4/1000。起重设备垂直度检测的难点在于：起重设备大多处于建筑工地，工况较差；起重设备高度较高(50～500m)，且难以攀爬；起重设备垂直度检测精度要求高，达mm级别。

起重设备垂直度检测目前主要采用激光垂准仪测量法，参照附图2，被测设备按检测要求停放，将激光垂准仪立在靠近被测设备的底部边缘处(一般在标准节主支撑杆处)，按说明书要求调平，使激光束处于垂直向上的状态。在激光束正上方100-200m处，固定数显光靶，移动游标数显尺，使基准点对准激光束光斑，数显尺清零，此位置即为原始基准点，保持垂准仪不动，数显光靶固定到被测设备顶部相同位置，再次移动游标数显尺，使基准点对准激光束光斑，此时数显尺上的读数即为垂直度。该方法的缺点如下：需要在设备顶部人工固定光靶，存在极大的安全隐患；且激光垂准仪的量程为200m左右，随着测量高度的增加，误差会急剧增大，不利于300～500m的超高塔吊垂直度检测。

目前为止，现有技术中未见能同时满足测量精度高、测量高度范围大、低安全风险的起重设备垂直度检测方法和系统。

发明内容

针对现有技术的不足，本发明所要解决的技术问题是：提供一种基于无人机视频的起重设备垂直度检测方法及系统。

为此，本发明提出一种基于无人机视频的起重设备垂直度检测方法，包含以下步骤：

1)在起重设备附近放置铅垂线或其他垂直地面的物体作为参照物；

2)控制无人机飞行至起重设备一定距离外，上下左右移动飞行器，使其悬停在特种设备底部，调整摄像头焦距，使屏幕中包含完整的设备机架底部及参照物,开始拍摄视频；

3)控制飞行器匀速垂直上升，直至摄像屏幕能观察到设备机架的顶部，在这个过程中，保持飞行器离设备的距离、飞行器相机焦距不变，录制拍摄视频；

4)在步骤3)获得的视频中提取第一帧图像，完成图像定标，得到图像的空间分辨率k_x、k_y，所述的k_x、k_y分别为横向、纵向每一个像素距离代表的真实距离；

5)根据飞行器的飞行速度v，图像像素高度h，空间分辨率k_y，获得序列图像之间的时间差Δt：

(其中α为序列图像的高度重叠度)

6)根据步骤5)中获得的时间差t，在步骤3)中获得的视频中提取序列图像(t＝0、Δt、2Δt…T)，其中T为视频长度；

7)在步骤6)获得的序列图像中，提取第一幅图像作为第一拼接图像，提取第二幅图像作为第二拼接图像；

8)提取第一拼接图像、第二拼接图像的SIFT特征向量，利用欧式距离作为特征向量的距离度量方式，获得潜在匹配点，使用RANSAC(随机抽样一致性)算法去外点，获得匹配点，继而计算出变换矩阵，利用变换矩阵配准第一拼接图像、第二拼接图像获得配准图像；

9)针对步骤8)中获得的配准图像，采用渐入渐出的加权办法，对配准图像完成图像交叠处的线性融合，得到拼接后的图像作为第一拼接图像；

10)若步骤6)获得序列图像中仍有未处理图像，则取未处理图像中的第一幅图像作为第二拼接图像，重复步骤8)～9)；若步骤6)获得序列图像已被处理完，当前第一拼接图像即为起重设备的全图；

11)在步骤10)中获得的起重设备全图中，利用人工交互技术，分布针对参照物、起重设备支架边缘绘制直线，根据两条直线的夹角θ、图像空间分辨率k_x、k_y，计算获得起重设备的垂直度ΔL如下：

本发明还提供了基于上述无人机视频的起重设备垂直度检测方法的起重设备垂直度检测系统，包括：无人机、飞控模块和视频处理模块。

所述的无人机用于拍摄起重设备的视频并将数据实时的传输到飞控模块中；

所述的飞控模块用于控制无人机的飞行，实时接收无人机传输回来的视频流，以及存储无人机拍摄的视频及配置信息；所述的视频为无人机从下至上飞行拍摄起重设备的视频；所述的配置信息为无人机的飞行速度；

所述的视频处理模块集成了上述的起重设备垂直度计算方法，用于处理分析飞控模块中存储的视频及配置信息，计算获得起重设备的垂直度。

进一步的，无人机获取拍摄视频时需要保证无人机到起重设备支架截面的距离不变。

进一步的，无人机采用双RTK定位，可以在强电、磁干扰下获得高精度的定位，保持垂直飞行。

本发明的有益效果是：针对如何检测起重设备垂直度，提出了一种基于无人机视频的起重设备垂直度检测方法及系统，该检测方法具有安全风险低、高空检修能力强、测量精度高的特点。

附图说明

图1为起重设备垂直度示意图，其中x为起重设备支架顶部与支架底部的水平偏移量，h为设备支架高度。

图2为垂直度激光垂准仪测量图。

图3为无人机系统结构示意图，其中①为平台机载双RTK、②为实时图像传输、③为机载任务计算机、④为双云台相机、⑤为双云台相机转轴、⑥为毫米波雷达、⑦为遥控器、⑧为地面站、⑨为VR眼镜。

图4为具体实施例1中无人机获取的序列图像。

图5为具体实施例1中拼接后的全图；。

图6为具体实例例1中采用人工交互技术绘制参照直线后的全图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。以下实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明提供一种基于无人机视频的起重设备垂直度检测方法,包括如下步骤：

1)在起重设备附近放置铅垂线或其他垂直地面的物体作为参照物；

2)控制无人机飞行至起重设备一定距离外，上下左右移动飞行器，使其悬停在特种设备底部，调整摄像头焦距，使屏幕中包含完整的设备机架底部及参照物,开始拍摄视频；

3)控制飞行器匀速垂直上升，直至摄像屏幕能观察到设备机架的顶部，在这个过程中，保持飞行器离设备的距离、飞行器相机焦距不变，录制拍摄视频；

4)在步骤3)获得的视频中提取第一帧图像，完成图像定标，得到图像的空间分辨率k_x、k_y，所述的k_x、k_y分别为横向、纵向每一个像素距离代表的真实距离；

5)根据飞行器的飞行速度v，图像像素高度h，空间分辨率k_y，获得序列图像之间的时间差Δt：

(其中α为序列图像的高度重叠度)

6)根据步骤5)中获得的时间差t，在步骤3)中获得的视频中提取序列图像(t＝0、Δt、2Δt…T)，其中T为视频长度；

7)在步骤6)获得的序列图像中，提取第一幅图像作为第一拼接图像，提取第二幅图像作为第二拼接图像；

8)提取第一拼接图像、第二拼接图像的SIFT特征向量，利用欧式距离作为特征向量的距离度量方式，获得潜在匹配点，使用RANSAC(随机抽样一致性)算法去外点，获得匹配点，继而计算出变换矩阵，利用变换矩阵配准第一拼接图像、第二拼接图像获得配准图像；

9)针对步骤8)中获得的配准图像，采用渐入渐出的加权办法，对配准图像完成图像交叠处的线性融合，得到拼接后的图像作为第一拼接图像；

10)若步骤6)获得序列图像中仍有未处理图像，则取未处理图像中的第一幅图像作为第二拼接图像，重复步骤8)～9)；若步骤6)获得序列图像已被处理完，当前第一拼接图像即为起重设备的全图；

11)在步骤10)中获得的起重设备全图中，利用人工交互技术，分布针对参照物、起重设备支架边缘绘制直线，根据两条直线的夹角θ、图像空间分辨率k_x、k_y，计算获得起重设备的垂直度ΔL如下：

进一步的，所述步骤4)中的图像定标采用人机交互，由人在图像中划水平线、垂直线并输入其对应的实际距离。

进一步的，所述步骤8)中的SIFT特征向量提取，包括如下步骤：

1)获取图像尺度空间，所述的图像尺度空间L(x,y,σ)提取方式如下：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (2-1)

其中σ是尺度因子(即高斯正态分布的方差)，代表图像的尺度空间，由图像与高斯核卷积得到。为高效的在尺度空间内检测出稳定的特征点，Lowe使用尺度空间中DOG极值作为判断依据：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)

＝L(x,y,kσ)-L(x,y,σ) (2-3)

2)提取极值点；先检测图像高斯差分空间局部极大值和极小值：在检测尺度空间极值时，图像中的每一个像素需要跟包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域9x2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值，仅当被检测点的DOG值大于此26个像素点或小于此26个像素点时才将该点判定为极值点并保存；

3)剔除边缘点；特征角点的提取要排除图像边缘像素点，然而高斯差分函数在图像的边缘会产生较强的响应，因此去除图像中检测出的边缘像素点显得尤为重要，通过边缘点的剔除来增强匹配的稳定性和算法抗噪能力；

4)计算特征点的梯度模及方向：每个点L(x,y)梯度的模m(x,y)与方向θ(x,y)计算如下：

在完成关键点的梯度计算后，使用直方图统计领域内像素的梯度和方向。方向直方图的峰值则代表了该特征点处邻域梯度的方向，以直方图中最大值作为该关键点的主方向。每个关键点有三个信息：位置、所处尺度、方向。

5)生成特征描述子：首先将坐标轴旋转为特征点的方向、以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块是其像素内8个方向的直方图统计，共可形成128维的特征向量作为特征描述子。

进一步的，所述步骤9)中渐入渐出的加权办法，具体步骤如下：对于待拼接的图像I₁(x,y)、I₂(x,y),计算拼接后的图像I(x,y)的像素值：

其中，w₁、w₂是对应像素点的权值，w₁＝w₂＝0.5。

下面以具体实施例为例，说明本发明的垂直度检测方法。

实施例1：

本实施例基于无人机视频对某建筑物进行垂直度检测

1)本实施例中以图4的(a)图中的空调作为垂直地面的参照物；

2)控制无人机飞行至测量物一定距离外，上下左右移动无人机，使其悬停在测量物底部，调整摄像头焦距，使屏幕中包含完整的测量物底部，开始拍摄视频；

3)控制无人机匀速垂直上升，在这个过程中，保持无人机离测量物的距离、无人机相机焦距不变，录制拍摄视频；

4)在步骤3获得的视频中提取第一帧图像，即图4的(a)图，完成图像定标，获得图像的空间分辨率，k_x＝0.0025，k_y＝0.0037；

5)取α＝0.5，其中像素高度h为1080，飞行速度v＝1m/s，根据式(1-1)计算Δt≈2s

6)根据步骤5)中获得的时间差t，在步骤3)中获得的视频中提取序列图像(t＝0、2、4、8s)，分别为图4的(a)-(d)图；

7)在步骤6)获得的序列图像中，提取第一幅图像作为第一拼接图像，提取第二幅图像作为第二拼接图像；

8)提取第一拼接图像、第二拼接图像的SIFT特征向量，利用欧式距离作为特征向量的距离度量方式，获得潜在匹配点，使用RANSAC(随机抽样一致性)算法去外点，获得匹配点，继而计算出变换矩阵，利用变换矩阵配准第一拼接图像、第二拼接图像获得配准图像；

9)针对步骤8)中获得的配准图像，根据式(3-1)采用渐入渐出的加权办法，对配准图像完成图像交叠处的线性融合，得到拼接后的图像作为第一拼接图像；

10)重复步骤7)到9)三次，获得最终拼接图像图5；

11)在步骤10)获取的图5中，利用人工交互技术，分别针对参照物、建筑物墙壁绘制直线，得到图6，根据式(1-2)计算ΔL＝0.0028，实际ΔL为0，误差为0.0028，验证了该算法的可行性与准确性。

Claims (6)

1.一种基于无人机视频的起重设备垂直度检测方法,其特征在于,包括如下步骤：

1)在起重设备附近放置铅垂线或其他垂直地面的物体作为参照物；

2)控制无人机飞行至起重设备一定距离外，上下左右移动无人机，使其悬停在起重设备底部，调整摄像头焦距，使摄像屏幕中包含完整的设备机架底部及参照物,开始拍摄视频；

3)控制无人机匀速垂直上升，直至摄像屏幕能观察到起重设备机架的顶部，在这个过程中，保持无人机相机焦距不变，录制拍摄视频；

4)在步骤3)获得的视频中提取第一帧图像，完成图像定标，得到图像的空间分辨率k_x、k_y，所述的k_x、k_y分别为横向、纵向每一个像素距离代表的真实距离；

5)根据无人机的飞行速度v，图像像素高度h，空间分辨率k_y，获得序列图像之间的时间差Δt：

其中α为序列图像的高度重叠度；

6)根据步骤5)中获得的时间差Δt，在步骤3)中获得的视频中提取序列图像t＝0、Δt、2Δt…T，其中T为视频时间长度；

7)在步骤6)获得的序列图像中，提取第一幅图像作为第一拼接图像，提取第二幅图像作为第二拼接图像；

8)提取第一拼接图像、第二拼接图像的SIFT特征向量，利用欧式距离作为特征向量的距离度量方式，获得潜在匹配点，使用RANSAC随机抽样一致性算法去外点，获得匹配点，继而计算出变换矩阵，利用变换矩阵配准第一拼接图像、第二拼接图像获得配准图像；

9)针对步骤8)中获得的配准图像，采用渐入渐出的加权办法，对配准图像完成图像交叠处的线性融合，得到拼接后的图像作为第一拼接图像；

10)若步骤6)获得序列图像中仍有未处理图像，则取未处理图像中的第一幅图像作为第二拼接图像，重复步骤8)～9)；若步骤6)获得序列图像已被处理完，当前第一拼接图像即为起重设备的全图；

11)在步骤10)中获得的起重设备全图中，利用人工交互技术，分布针对参照物、起重设备支架边缘绘制直线，根据两条直线的夹角θ、图像空间分辨率k_x、k_y，计算获得起重设备的垂直度ΔL如下：

2.根据权利要求1所述的一种基于无人机视频的起重设备垂直度检测方法,其特征在于：所述步骤4)中的图像定标采用人机交互，由人在图像中划水平线、垂直线并输入其对应的实际距离。

3.根据权利要求1所述的一种基于无人机视频的起重设备垂直度检测方法,其特征在于：所述步骤8)中的SIFT特征向量提取，包括如下步骤：

1)获取图像尺度空间；所述的图像尺度空间L(x,y,σ)提取方式如下：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (2-1)

其中σ是尺度因子，即高斯正态分布的方差，代表图像的尺度空间，由图像与高斯核卷积得到；为高效的在尺度空间内检测出稳定的特征点，Lowe使用尺度空间中DOG极值作为判断依据：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)

＝L(x,y,kσ)-L(x,y,σ) (2-3)

其中，I(x,y)代表拼接后的图像，D(x,y,σ)代表尺度空间中的DOG极值；

2)提取极值点；先检测图像高斯差分空间局部极大值和极小值：在检测尺度空间极值时，图像中的每一个像素需要跟包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域9x2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值，仅当被检测点的DOG值大于此26个像素点或小于此26个像素点时才将该点判定为极值点并保存；

3)剔除边缘点；特征点的提取要排除图像边缘像素点，然而高斯差分函数在图像的边缘会产生较强的响应，因此去除图像中检测出的边缘像素点显得尤为重要，通过边缘点的剔除来增强匹配的稳定性和算法抗噪能力；

4)计算特征点的梯度模及方向：每个点L(x,y)梯度的模m(x,y)与方向θ(x,y)计算如下：

在完成特征点的梯度计算后，使用直方图统计领域内像素的梯度和方向；方向直方图的峰值则代表了该特征点处邻域梯度的方向，以直方图中最大值作为该特征点的主方向；每个特征点有三个信息：位置、所处尺度、方向；

5)生成特征描述子：首先将坐标轴旋转为特征点的方向、以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块是其像素内8个方向的直方图统计，共可形成128维的特征向量作为特征描述子。

4.根据权利要求1所述的一种基于无人机视频的起重设备垂直度检测方法,其特征在于：所述步骤9)中渐入渐出的加权办法，具体步骤如下：对于待拼接的图像I₁(x,y)、I₂(x,y),计算拼接后的图像I(x,y)的像素值：

其中，w₁、w₂是对应像素点的权值，w₁＝w₂＝0.5。

5.根据权利要求1所述基于无人机视频的起重设备垂直度检测方法的起重设备垂直度检测系统,其特征在于：所述的垂直度检测系统包括无人机、飞控模块和视频处理模块，其中：

所述的无人机用于拍摄起重设备的视频并将数据实时的传输到飞控模块中；

所述的飞控模块用于控制无人机的飞行，实时接收无人机传输回来的视频流，以及存储无人机拍摄的视频及配置信息；

所述的视频为无人机从下至上飞行拍摄起重设备的视频；

所述的配置信息为无人机的飞行速度；

所述的视频处理模块集成了权利要求1步骤4)-步骤11)所述的起重设备垂直度计算方法，用于处理分析飞控模块中存储的视频及配置信息，计算获得起重设备的垂直度。

6.根据权利要求5所述的检测系统，其特征在于：无人机采用双RTK定位，可以在强电、磁干扰下获得高精度的定位，保持垂直飞行。

Images