CN113532293A - 一种基于无人机的结构动位移测量方法及系统 - Google Patents

Abstract

本发明公开了一种基于无人机的结构动位移测量方法及系统，结合无人机的机动性优势可实现大型结构近距离的快速位移测量，方法包括：将黑白靶标贴于待测结构表面，架设静止的激光灯射于靶标附近，调整无人机至合适位置并拍摄视频，通过对视频逐帧图像处理和计算，得到靶标与光斑间的距离，并按时间序列排列，从而得到结构的动位移。本发明的测量方法通过实时检测人工靶标的尺度信息计算无人机距离结构表面的实时位置换算关系，通过圆检测方法检测人工靶标与光斑，将标记的中心点与固定的激光投射点作差得到像素相对位移，通过比例换算获得结构的物理动位移。本发明能够切实有效地实现大型结构近距离动位移快速测量与分析，具有广阔的应用前景。

Description

一种基于无人机的结构动位移测量方法及系统

技术领域

本发明属于视觉测量技术领域，具体涉及一种基于无人机的结构动位移测量方法及系统。

背景技术

基于振动的结构健康监测是评估民用基础设施安全性最常用的方法之一。然而在当前的传感技术下，结构的位移测量手段仍存在许多局限，如需要固定在静止物体上、需长期供电或定期更管电池、安装维护费时费力、只能布置在有限数量的离散位置上等。近年来，陆续有研究人员开展了基于视觉的结构健康监测研究，提供了有效的非接触式位移测量方法。然而，现有的基于视觉的位移测量方法受限于需要合适的固定位置安放图像采集设备，尤其对于例如大跨桥梁、超高层建筑等结构，传统的视觉测量方法无法满足结构检测和评估的需要。

无人机可以克服上述图像采集设备位置部署的局限性。通过无人机搭载高清云台相机，能够在高空任意点悬停，可实现合适距离、合适角度的数据采集。但是由于无人机平台在悬停过程中受风和其它大气扰动影响，其姿态和位置实时变化，因此不能通过直接跟踪视频中物体的位移得到物体的真实位移。

发明内容

发明目的：为了克服目前现有结构测量技术在实际工程应用时存在的局限，本发明提出一种基于无人机的结构动位移测量方法及系统。

技术方案：为实现本发明的目的，本发明首先提出一种基于无人机的结构动位移测量方法，具体包括如下步骤：

步骤1，将预先制作好的黑白靶标贴于待测结构表面的测点位置，黑白靶标的中心与测点位置重合；所述黑白靶标具体为黑色背景，其上均匀分布有四个半径相同的白色圆点；四个白色圆点分别位于黑色背景的上、下、左、右四个位置；

步骤2，架设激光灯并调整激光灯位置，使激光灯光束在待测结构表面形成激光光斑，且激光光斑与测点位置的距离在预设距离范围内，固定激光灯并使激光灯保持静止状态；

步骤3，将无人机飞至待测结构靶标位置的预设范围内，调整无人机位置，使无人机拍摄画面包含靶标与激光光斑，悬停无人机并连续拍摄得到待测结构运动视频；

步骤4，对待测结构运动视频进行逐帧图像处理后，计算帧图像在拍摄时的比例换算因子；通过对帧图像计算靶标中心与激光光斑中心的像素长度，利用比例换算因子得到帧图像拍摄时靶标中心与激光光斑中心的物理长度，并按照拍摄时间序列连接得到结构动位移。

进一步地，所述结构动位移测量方法还包括步骤5，对步骤4得到的结构动位移进行结构频谱分析，得到结构振动频率；具体如下：

输入待测结构测点位置的位移响应信号，计算功率谱密度函数，对功率谱密度函数进行奇异值分解，得到最大奇异值及最大奇异值对应的奇异值特征向量，进而得到模态参数。

进一步地，所述步骤2中激光灯光束在待测结构表面形成的激光光斑，作为待测结构动位移测量的静止参考点。

进一步地，所述步骤4的具体方法如下：

步骤4.1：将无人机拍摄到的结构运动视频拆解为连续帧图像，并对每一帧图像设置同一感兴趣区域；所述感兴趣区域包括靶标、激光光斑以及待测结构运动区域；

步骤4.2：对拆解得到的连续帧图像进行逐帧图像处理，得到靶标中圆点的圆心坐标以及激光光斑中心的坐标；

步骤4.3：对每一帧图像计算靶标圆点中与结构运动方向异向排列的两个圆点中心连线的像素长度，并利用上述两个圆点中心连线的物理长度，计算得到每一帧图像在拍摄时结构的物理长度与图像的像素长度的比值，即比例换算因子；第i帧图像拍摄时的比例换算因子的计算公式如下：

式中，s_i表示第i帧图像拍摄时的比例换算因子；D_target表示靶标圆点中与结构运动方向异向排列的两个圆点中心连线的物理长度；d_target,i表示第i帧图像靶标圆点中与结构运动方向异向排列的两个圆点中心连线的像素长度；

步骤4.5：将每一帧图像中靶标的四个圆点中心坐标的平均值作为靶标的位置坐标，将激光光斑中心的坐标作为激光光斑的位置坐标，计算靶标的位置坐标与激光光斑的位置坐标的差值；

步骤4.6：以第一帧图像作为参考图像，第一帧图像中靶标的位置坐标与激光光斑的位置坐标的差值作为参考原点坐标，后续帧图像中靶标的位置坐标与激光光斑的位置坐标的差值均与第一帧图像中靶标的位置坐标与激光光斑的位置坐标的差值作差作为当前帧图像位移；

则第一帧图像位移表示为：d₁＝(0,0)；

第i帧图像位移表示为：d_i＝(△x_i-△x₁,△y_i-△y₁)；

其中，d₁表示第一帧图像位移；d_i表示第i帧图像位移；△x_i表示第i帧图像中靶标的位置坐标与激光光斑的位置坐标的差值的横坐标；△y_i表示第i帧图像中靶标的位置坐标与激光光斑的位置坐标的差值的纵坐标；△x₁表示第一帧图像中靶标的位置坐标与激光光斑的位置坐标的差值的横坐标；△y₁表示第一帧图像中靶标的位置坐标与激光光斑的位置坐标的差值的纵坐标；

步骤4.7：利用每一帧图像的比例换算因子计算得到每一帧图像拍摄时的结构物理位移，计算公式如下：

式中，D_i表示第i帧图像拍摄时的结构物理位移；

步骤4.8：将每一帧图像拍摄时的结构物理位移按照拍摄时间序列连接得到结构动位移。

进一步地，步骤4.2所述对拆解得到的连续帧图像进行逐帧图像处理，方法具体如下：

将每一帧图像的感兴趣区域转换为灰度图像；

对灰度图像进行双边滤波，消除由于测量环境影响导致的噪点等；

对双边滤波后的图像进行二值化操作，此时图片变为黑白双色图片，靶标白色圆点与激光光斑呈白色，其余背景呈黑色，然而，因光斑亮度不均匀、结构反光等原因，画面中还可能会存在一些小的其他白色图块；

对二值化操作后的图像进行开操作，断开图像中断开较窄的狭颈并消除细的突出物，使白色图块的轮廓光滑。

进一步地，步骤4.2所述得到靶标中圆点的圆心坐标以及激光光斑中心的坐标，方法具体如下：

对逐帧图像处理后的每一帧图像获取图像中的全部白色图块的轮廓，并选取大于设定阈值的白色图块轮廓，得到上述白色图块轮廓各自对应的最小包络圆及每一个包络圆的圆心坐标，即得到靶标中圆点的圆心坐标以及激光光斑中心的坐标。

本发明还提出一种基于无人机的结构动位移测量系统，包括：黑白靶标、激光灯、采集装置和数据分析系统；

所述黑白靶标贴于待测结构表面的测点位置，黑白靶标具体为黑色背景，其上均匀分布有四个半径相同的白色圆点；四个白色圆点分别位于黑色背景的上、下、左、右四个位置；用于拍摄时跟踪结构位移；

所述激光灯，用于投射于待测结构表面，使其光束在待测结构表面形成激光光斑，且激光光斑中心与测点位置的距离在预设距离范围内，用于为结构动位移测量提供静止参考点；

所述采集装置，用于采集待测结构运动视频，拍摄到的视频图像中需包含照射于待测结构表面的激光光斑和固定于待测结构表面的黑白靶标；

所述数据分析系统，用于对采集到的待测结构运动视频进行处理并计算待测结构动位移。

进一步地，上述系统还包括分析验证系统，用于对计算得到的待测结构动位移进行频谱分析，得到待测结构振动频率。

进一步地，所述采集装置为无人机。

有益效果：与现有技术相比，本发明所述技术方案具有以下有益技术效果：

本发明所述一种基于无人机的结构动位移测量方法及系统，克服了图像采集设备位置部署的局限性，通过无人机搭载高清云台相机，能够在高空任意点悬停，可实现合适距离、合适角度的数据采集，可实现大型结构近距离的快速位移测量，能够切实有效地实现大型结构近距离动位移快速测量与分析，具有广阔的应用前景。

附图说明

图1是一种实施例下基于无人机的结构动位移测量方法的流程图；

图2是一种实施例下基于无人机的结构动位移测量系统及方法示意图；

图3是一种实施例下黑白靶标示意图；

图4是一种实施例下视频处理过程示意图；

图5是一种实施例下结构动位移测量结果图；

图6是一种实施例下结构频率识别结果图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明所述的一种基于无人机的结构动位移测量方法及系统，参考图1，具体包括如下步骤：

S1：布置靶标：制作黑白方形圆点靶标，并将黑白靶标贴于结构待测点表面；

S2：架设激光灯：架设便携式远射激光灯并调整其照射位置，使其光束投射于靶标附近，在结构上形成激光光斑，固定激光灯使其保持静止；

S3：无人机视频采集：将无人机飞至结构待测位置附近，调整无人机位置使拍摄画面包含靶标与激光投射点，悬停无人机，无人机采集视频；

S4：视频处理与计算：通过对视频逐帧图像处理，计算靶标四个圆点中与结构主要运动方向异向排列的两个圆点中心连线的像素长度，通过已知的靶标圆点间物理距离计算比例换算因子，计算靶标中心与激光光斑间像素长度，通过比例因子换算得到物理长度，按照时间序列连接得到结构动位移。

S5：基于计算得到的结构动位移，利用频域分解法进行结构频谱分析，得到结构振动频率。

进一步地，所述步骤S2中使用了远射激光灯投射于被测结构表面，作为测量的静止参考点。

进一步地，所述步骤S4具体方法为：

S4-1：将视频拆解为连续帧图像，对每一帧的图像进行统一的感兴趣区域范围选取，感兴趣区域中包含靶标和激光点及其可能移动到的区域，以节省后续计算时间；；

S4-2：逐帧图像处理：将感兴趣区域转换为灰度图像；

进行双边滤波，消除测量环境影响导致的噪点等；

进行二值化操作，此时图片变为黑白双色图片，待测点光源与激光光斑呈白色，其余背景呈黑色，然而，因光斑亮度不均匀、结构反光等原因，画面中还可能会存在一些小的其他白色图块；

对图像进行开操作，断开较窄的狭颈和消除细的突出物，使图像的轮廓变得光滑；

S4-3：获取所有白色图块轮廓，忽略面积小于特定阈值的白色图块，获取剩余轮廓的最小包络圆，即四个靶标圆点与一个激光光斑的轮廓，获取五个包络圆的圆心坐标，以便后续取用；

S4-4：计算第i帧靶标上四个圆点中与结构主要运动方向异向排列的两个圆心间的像素长度，记为d_target,i，制作靶标时已知此物理长度为D_target，即第i帧图像拍摄时结构的物理长度与记录的图像像素长度的比值s_i为：

S4-5：计算靶标四个圆点圆心坐标平均值作为靶标的位置坐标，以激光光斑的圆心坐标作为激光光斑的位置坐标，计算二者差值，以第1帧为参考，后续帧均与第一帧相减作为当前位移值，即第一帧位移表示为(0,0)，第i帧位移表示为d_i(x_i-x₁,y_i-y₁)

S4-6：根据比例因子s_i计算结构物理位移：

S4-7：按照时间序列排列得到结构动位移时程。

进一步地，所述步骤S5利用频域分解法进行结构频率分析，其基本步骤为：输入测点的时域响应信号，即结构动位移，计算功率谱密度函数，进行奇异值分解，得到最大奇异值及其对应的奇异值特征向量，进而得到结构振动频率。

参考图2，本发明还提出一种基于无人机的结构动位移测量系统，包括便携式远射激光灯、黑白靶标、图像采集装置和数据分析系统。

所述便携式远射激光灯照射于待测结构表面，用于为视频分析计算提供静止参考点；

所述黑白靶标为方形黑色背景靶标，其上、下、左、右均匀分布有四个半径相同的白色圆点，用于相机跟踪结构位移。

所述图像采集装置用于采集结构运动视频，拍摄画幅中需包含照射于结构表面的激光点和固定于结构测点的黑白靶标；

所述数据分析系统用于图像处理和结构动位移计算。

进一步地，上述系统还包括分析验证系统，用于对计算得到的结构动位移进行频谱分析，得到结构振动频率。

以某结构动位移测量为例，具体方法包括：

S1：布置靶标：制作如图3所示的方形圆点黑白靶标，并将黑白靶标贴于结构待测点表面；

S2：架设激光灯：架设便携式远射激光灯并调整其照射位置，使其光束投射于靶标附近，在结构上形成激光光斑，固定激光灯使其保持静止；

S3：无人机视频采集：将无人机飞至结构待测位置附近，调整无人机位置使拍摄画面包含靶标与激光投射点，悬停无人机，采集视频，无人机搭载相机分辨率为1920×1080，采样频率为30Hz，为验证本方法适用性，本次实验在结构旁边布置了激光位移计用来的测量结构位移，激光位移计采样频率为300Hz；

S4：视频处理与计算：参考图4，通过对视频逐帧图像处理，包括双边滤波、灰度转换、二值化、开操作等，计算靶标四个圆点中与结构主要运动方向异向排列的两个圆点中心连线的像素长度，此实施例待测结构主要沿x向运动，此处即计算图3中2号和3号计算两圆点的圆心在每一帧图像中的像素长度，计算物理长度与像素长度的换算比例s_i，计算靶标中心点与光斑间的像素长度，与换算比例s_i相乘，得到记录各帧时靶标中心点与光斑间的物理长度，按时间序列排列，得到测试时段结构位移时程，并与激光位移计测量数据进行对比，参考图5，可以看出，除去部分峰值，因本次测试采用的无人机相机采样频率较低未能涵盖，得到使用本发明所述方法时无人机测得的位移与激光位移计测得结果基本吻合。

S5：基于计算得到的结构动位移时程进行结构频谱分析，得到结构自振频率，与激光位移计测试数据的频谱对比，参考图6，可以看出利用本发明所述方法算得的结构一阶频率与真实值吻合较好，两者的相对误差小于1％。

发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种基于无人机的结构动位移测量方法，其特征在于，具体包括如下步骤：

步骤1，将预先制作好的黑白靶标贴于待测结构表面的测点位置，黑白靶标的中心与测点位置重合；所述黑白靶标具体为黑色背景，其上均匀分布有四个半径相同的白色圆点；四个白色圆点分别位于黑色背景的上、下、左、右四个位置；

步骤2，架设激光灯并调整激光灯位置，使激光灯光束在待测结构表面形成激光光斑，且激光光斑中心与测点位置的距离在预设距离范围内，固定激光灯并使激光灯保持静止状态；

步骤3，将无人机飞至待测结构靶标位置的预设范围内，调整无人机位置，使无人机拍摄画面包含靶标与激光光斑，悬停无人机并连续拍摄得到待测结构运动视频；

步骤4，对待测结构运动视频进行逐帧图像处理后，计算帧图像在拍摄时的比例换算因子；通过对帧图像计算靶标中心与激光光斑中心的像素长度，利用比例换算因子得到帧图像拍摄时靶标中心与激光光斑中心的物理长度，并按照拍摄时间序列连接得到结构动位移。

2.根据权利要求1所述的一种基于无人机的结构动位移测量方法，其特征在于，所述结构动位移测量方法还包括步骤5，利用频域分解法对步骤4得到的结构动位移进行结构频谱分析，得到结构振动频率；具体如下：

输入待测结构测点位置的位移响应信号，计算功率谱密度函数，对功率谱密度函数进行奇异值分解，得到最大奇异值及最大奇异值对应的奇异值特征向量，进而得到模态参数。

3.根据权利要求1所述的一种基于无人机的结构动位移测量方法，其特征在于，所述步骤2中激光灯光束在待测结构表面形成的激光光斑，作为待测结构动位移测量的静止参考点。

4.根据权利要求1所述的一种基于无人机的结构动位移测量方法，其特征在于，所述步骤4的具体方法如下：

步骤4.1：将无人机拍摄到的结构运动视频拆解为连续帧图像，并对每一帧图像设置同一感兴趣区域；所述感兴趣区域包括靶标、激光光斑以及待测结构运动区域；

步骤4.2：对拆解得到的连续帧图像进行逐帧图像处理，得到靶标中圆点的圆心坐标以及激光光斑中心的坐标；

步骤4.3：对每一帧图像计算靶标圆点中与结构运动方向异向排列的两个圆点中心连线的像素长度，并利用上述两个圆点中心连线的物理长度，计算得到每一帧图像在拍摄时结构的物理长度与图像的像素长度的比值，即比例换算因子；第i帧图像拍摄时的比例换算因子的计算公式如下：

式中，s_i表示第i帧图像拍摄时的比例换算因子；D_target表示靶标圆点中与结构运动方向异向排列的两个圆点中心连线的物理长度；d_target,i表示第i帧图像靶标圆点中与结构运动方向异向排列的两个圆点中心连线的像素长度；

步骤4.5：将每一帧图像中靶标的四个圆点中心坐标的平均值作为靶标的位置坐标，将激光光斑中心的坐标作为激光光斑的位置坐标，计算靶标的位置坐标与激光光斑的位置坐标的差值；

步骤4.6：以第一帧图像作为参考图像，第一帧图像中靶标的位置坐标与激光光斑的位置坐标的差值作为参考原点坐标，后续帧图像中靶标的位置坐标与激光光斑的位置坐标的差值均与第一帧图像中靶标的位置坐标与激光光斑的位置坐标的差值作差作为当前帧图像位移；

则第一帧图像位移表示为：d₁＝(0,0)；

第i帧图像位移表示为：d_i＝(△x_i-△x₁,△y_i-△y₁)；

其中，d₁表示第一帧图像位移；d_i表示第i帧图像位移；△x_i表示第i帧图像中靶标的位置坐标与激光光斑的位置坐标的差值的横坐标；△y_i表示第i帧图像中靶标的位置坐标与激光光斑的位置坐标的差值的纵坐标；△x₁表示第一帧图像中靶标的位置坐标与激光光斑的位置坐标的差值的横坐标；△y₁表示第一帧图像中靶标的位置坐标与激光光斑的位置坐标的差值的纵坐标；

步骤4.7：利用每一帧图像的比例换算因子计算得到每一帧图像拍摄时的结构物理位移，计算公式如下：

式中，D_i表示第i帧图像拍摄时的结构物理位移；

步骤4.8：将每一帧图像拍摄时的结构物理位移按照拍摄时间序列连接得到结构动位移。

5.根据权利要求4所述的一种基于无人机的结构动位移测量方法，其特征在于，步骤4.2所述对拆解得到的连续帧图像进行逐帧图像处理，方法具体如下：

将每一帧图像的感兴趣区域转换为灰度图像；

对灰度图像进行双边滤波，消除由于测量环境影响导致的噪点；

对双边滤波后的图像进行二值化操作，使帧图像中靶标圆点和激光光斑呈白色，背景呈黑色；

对二值化操作后的图像进行开操作，断开图像中的狭颈并消除突出物，使白色图块的轮廓光滑。

6.根据权利要求5所述的一种基于无人机的结构动位移测量方法，其特征在于，步骤4.2所述得到靶标中圆点的圆心坐标以及激光光斑中心的坐标，方法具体如下：

对逐帧图像处理后的每一帧图像获取图像中的全部白色图块的轮廓，并选取大于设定阈值的白色图块轮廓，得到上述白色图块轮廓各自对应的最小包络圆及每一个包络圆的圆心坐标，即得到靶标中圆点的圆心坐标以及激光光斑中心的坐标。

7.一种基于无人机的结构动位移测量系统，其特征在于，包括：黑白靶标、激光灯、采集装置和数据分析系统；

所述黑白靶标贴于待测结构表面的测点位置，黑白靶标具体为黑色背景，其上均匀分布有四个半径相同的白色圆点；四个白色圆点分别位于黑色背景的上、下、左、右四个位置；用于拍摄时跟踪结构位移；

所述激光灯，用于投射于待测结构表面，使其光束在待测结构表面形成激光光斑，且激光光斑中心与测点位置的距离在预设距离范围内，用于为结构动位移测量提供静止参考点；

所述采集装置，用于采集待测结构运动视频，拍摄到的视频图像中需包含照射于待测结构表面的激光光斑和固定于待测结构表面的黑白靶标；

所述数据分析系统，用于对采集到的待测结构运动视频进行处理并计算待测结构动位移。

8.根据权利要求7所述的一种基于无人机的结构动位移测量系统，其特征在于，所述结构动位移测量系统还包括分析验证系统，用于对计算得到的结构动位移进行频谱分析，得到待测结构振动频率。

9.根据权利要求7所述的一种基于无人机的结构动位移测量系统，其特征在于，所述采集装置为无人机。

Images