CN110706198B - 基于无人机对大型建筑机器人的振动检测系统 - Google Patents
基于无人机对大型建筑机器人的振动检测系统 Download PDFInfo
- Publication number
- CN110706198B CN110706198B CN201910761588.5A CN201910761588A CN110706198B CN 110706198 B CN110706198 B CN 110706198B CN 201910761588 A CN201910761588 A CN 201910761588A CN 110706198 B CN110706198 B CN 110706198B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- image
- frame
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
Abstract
基于无人机对大型建筑机器人的振动检测系统,其特征在于:该检测系统包括搭载有摄像头的无人机,图像处理模块,和使无人机获取的视频图像与图像处理模块进行交互的通讯模块;进行振动检测时,无人机对待检测机器人拍摄视频,图像处理模块执行以下操作:获取无人机拍摄的视频,将视频中的每一帧图像获得以靶点为中心的感兴趣区域;对所有感兴趣区域分别做复数线性滤波,获得每个感兴趣区域的相位谱图;对每个感兴趣区域以第一帧为基准、利用相位谱图获得从第二帧开始的每帧图像与第一帧的相位差,该相位差表征振动位移。对每帧图像中有靶点的地方分割出来形成感兴趣区域。
Description
技术领域
本发明涉及一种用非接触式检测方法来检测大型建筑机器人的振动情况的检测系统。
背景技术
大型建筑机器人,如拼装机器人等,是将工具、材料装卸、搬运到指定位置的设备。建筑机器人与普通家用机器人的区别之处在于:工作环境较为恶劣,需要负重工作,负载的迁移路径和高度范围较大,如果出现故障或损坏,容易造成人员伤亡。
大型建筑机器人在运行过程中可能会因为负载超负荷,或者是环境因素等出现振动问题,导致机械零部件磨损、结构开裂,甚至发生机毁人亡的重大安全事故。因此,对大型建筑机器人的振动检测是防止事故发生的重要手段。
目前常用的振动检测方法是用接触式传感器,如:加速度传感器,倾角传感器等检测机械构件的振动,但是由于传感器价格昂贵,电线敷设复杂,安装困难,使得其应用受限。传统的视觉振动测量方法由于拍摄角度不灵活,测量多方向的振动需要人为更换机位采集视频,造成更高的人力和时间成本。
发明内容
本发明的目的在于提供一种利用非接触式检测方式,对大型建筑机器人进行多方位、多角度的自动化振动检测的检测系统。
基于无人机对大型建筑机器人的振动检测系统,其特征在于:该检测系统包括搭载有摄像头的无人机,图像处理模块,和使无人机获取的视频图像与图像处理模块进行交互的通讯模块;进行振动检测时,无人机对待检测机器人拍摄视频,图像处理模块执行以下操作:获取无人机拍摄的视频,将视频中的每一帧图像获得以靶点为中心的感兴趣区域;对所有感兴趣区域分别做复数线性滤波,获得每个感兴趣区域的相位谱图;对每个感兴趣区域以第一帧为基准、利用相位谱图获得从第二帧开始的每帧图像与第一帧的相位差,该相位差表征振动位移。对每帧图像中有靶点的地方分割出来形成感兴趣区域。
优选的,相位差的提取公式表示为:
其中,dθ(t0)是θ角度上t0时刻的位移,φθ(x,y,t0)是θ角度上t0时刻的相位。
优选的,固定于待检测机器人上的靶点,制作靶点模板图像,将每一帧图像与靶点模板图像做灰度匹配,寻找具有靶点的感兴趣区域。
优选的,使用平均绝对差算法对图像做灰度匹配,平均绝对差算法表示为:
其中1≤i≤m-M+1,1≤j≤n-N+1;S(x,y)是视频中大小为m*n的搜索图像,T(x,y)是M*N的靶点模板图像。靶点模板图像是预制的靶点图像是贴在待检测点的图像,这样才能在无人机拍摄的图像中识别出靶点图像,然后以靶点图像为中心选择感兴趣区域。遍历整个搜索图,在所有能够取到的子图中,找到与模板图最相似的子图作为最终匹配结果即最小的D(i,j),即可确定能匹配的位置。
或者,使用归一化积相关算法进行灰度匹配,获得感兴趣区域。或者,使用平均误差平方和算法进行灰度匹配,获得感兴趣区域。其中,平均绝对差算法再获取感兴趣区域时计算时间和准确率最优。
优选的,用Steerable filter(可控复数线性滤波器)做复数线性滤波,Steerablefilter滤波器卷积核fθ表示为:其中M为阶数,gj(r,φ)可以是任意滤波器组的离散表示,kj(θ)为角度系数。阶数M根据实际情况选取,一般选2。
优选的,无人机设有安装摄像头的云台,通讯模块和数据处理模块均安装于云台上。通信模块接收图像,数据处理模块用来从拍摄的图像中计算大型建筑机器人的振动幅度与频率。
优选的,无人机为四旋翼无人机;云台为三轴稳定云台,摄像头为工业级CCD摄像头。
三轴稳定云台在三维立体空间的环境下,通过空间三个方位对CCD摄像头进行稳定控制和自适应定位,减少无人机机身振动对拍摄影响,保证拍摄质量。摄像头搭载于上述四旋翼无人机,用于拍摄大型建筑机器人的图像和视频。数据处理模块具有高像素、高运算速度的开发板,用于处理上述工业级CCD摄像头拍摄的图像以及计算当前大型建筑机器人的振动幅度与频率。无人机具有人机交互模块,在本地遥控无人机以及用PC显示图像以及振动检测的结果。通信模块:发射端用数字微波传输先把视频和检测数据编码压缩,然后通过数字微波信道调制,再通过天线发射出去,接收端通过天线接收信号,微波解扩,视频和数据解压缩,最后还原模拟的视频和数据,用于提供数据传输的通信接口。
本发明的优点在于:利用无人机的灵活性实现对大型建筑机器人的多方位、多高度范围的非接触式振动测量,并且振动测量的准确性高,精度高。
附图说明
图1为本发明检测装置的工作流程图。
图2为本发明检测方法的工作流程图。
图3是对于单一10Hz振动做检测以幅值表征振动和本发明以相位表征振动的噪声对比图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
基于无人机对大型建筑机器人的振动检测系统,如图1所示该检测系统包括搭载有摄像头的无人机,图像处理模块,和使无人机获取的视频图像与图像处理模块进行交互的通讯模块;进行振动检测时,无人机对待检测机器人拍摄视频,图像处理模块执行以下操作,如图2所示:获取无人机拍摄的视频,将视频中的每一帧图像获得以靶点为中心的感兴趣区域;对所有感兴趣区域分别做复数线性滤波,获得每个感兴趣区域的相位谱图;对每个感兴趣区域以第一帧为基准、利用相位谱图获得从第二帧开始的每帧图像与第一帧的相位差,该相位差表征振动位移。对每帧图像中有靶点的地方分割出来形成感兴趣区域。
如图3所示,对于单一10Hz振动做检测,可以看出幅值方法,波动较大,而且有很多噪声尖峰,而我们采用的相位噪声较小。
固定于待检测机器人上的靶点,制作靶点模板图像,将每一帧图像与靶点模板图像做灰度匹配,寻找具有靶点的感兴趣区域。
使用平均绝对差算法对图像做灰度匹配,平均绝对差算法表示为:
其中1≤i≤m-M+1,1≤j≤n-N+1;S(x,y)是视频中大小为m*n的搜索图像,T(x,y)是M*N的靶点模板图像。靶点模板图像是预制的靶点图像是贴在待检测点的图像,这样才能在无人机拍摄的图像中识别出靶点图像,然后以靶点图像为中心选择感兴趣区域。遍历整个搜索图,在所有能够取到的子图中,找到与模板图最相似的子图作为最终匹配结果即最小的D(i,j),即可确定能匹配的位置。
或者,使用归一化积相关算法进行灰度匹配,获得感兴趣区域。或者,使用平均误差平方和算法进行灰度匹配,获得感兴趣区域。其中,平均绝对差算法再获取感兴趣区域时计算时间和准确率最优。
归一化积相关算法(NCC)是一种典型的基于灰度相关的算法,利用的是感兴趣区域与靶点模板图像的灰度,通过归一化的相关性度量公式来计算二者之间的匹配程度;具有不受比例因子误差影响和抗白噪声干扰能力强的优点。平方误差平方和算法(MSD)也是一种典型的基于灰度相关的算法,利用的是感兴趣区域与靶点模板图像的L2距离的平均值来计算两者之间的匹配程度。L2距离计算的是第一维差的平方加上第二维差的平方再求和,然和开根,由勾股,可以想象成直角三角形的斜边长。
用Steerable filter(可控复数线性滤波器)做复数线性滤波,Steerable filter滤波器卷积核fθ表示为:其中M为阶数,gj(r,φ)可以是任意滤波器组的离散表示,kj(θ)为角度系数。阶数M根据实际情况选取,一般选2。
无人机设有安装摄像头的云台,通讯模块和数据处理模块均安装于云台上。通信模块接收图像,数据处理模块用来从拍摄的图像中计算大型建筑机器人的振动幅度与频率。
无人机为四旋翼无人机;云台为三轴稳定云台,摄像头为工业级CCD摄像头。
三轴稳定云台在三维立体空间的环境下,通过空间三个方位对CCD摄像头进行稳定控制和自适应定位,减少无人机机身振动对拍摄影响,保证拍摄质量。摄像头搭载于上述四旋翼无人机,用于拍摄大型建筑机器人的图像和视频。数据处理模块具有高像素、高运算速度的开发板,用于处理上述工业级CCD摄像头拍摄的图像以及计算当前大型建筑机器人的振动幅度与频率。无人机具有人机交互模块,在本地遥控无人机以及用PC显示图像以及振动检测的结果。通信模块:发射端用数字微波传输先把视频和检测数据编码压缩,然后通过数字微波信道调制,再通过天线发射出去,接收端通过天线接收信号,微波解扩,视频和数据解压缩,最后还原模拟的视频和数据,用于提供数据传输的通信接口。
利用本发明进行大型建筑机器人振动检测的方法具体包括如下步骤:
(1)在大型建筑机器人需要检测振动的位置粘贴靶点;靶点的亮度与建筑机器人的亮度有差异,只要在灰度图上能够区分靶点灰度和建筑机器人灰度即可;
(2)控制四旋翼无人机飞行至能不影响大型建筑机器人工作且能拍摄到一个或多个检测点的位置;
(3)采用工业级CCD摄像头对大型建筑机器人进行拍摄,得到大型建筑机器人运行过程的视频;
(4)将上述视频数据通过通信模块发送到数据处理模块;
(5)对上述视频中图像分别使用MAD(平均绝对差算法)做灰度的图像匹配获得若干个以靶点为中心的感兴趣区域,将视频图像按照感兴趣区域分割为若干组待检测图像;
(6)对所有图像用Steerable filter做复数线性滤波,可以得到图像的幅值谱图和相位谱图
(7)对每组图像的相位谱中提取相位差(与第一帧的相位差),对相位差可以得到振动位移,对位移信号做FFT可以得到振动信号的频谱图。
传统视觉振动检测都是在固定地点进行拍摄,摄像头本身的振动影响较小,但是也因为摄像头固定造成拍摄角度不灵活,测量多方位的振动需要人为的更换机位,并且摄像头能到达的高度范围有限。本发明将摄像头搭载于无人机上,无人机在飞行的同时对建筑机器人进行拍摄,无人机的灵活性能够实现多方位的振动视频采集,但是无人机飞行时,无人机本身的抖动会给拍摄引入大量噪声。因此,本发明采用靶点匹配-以靶点为中心选取分割感兴趣区域-复数线性滤波的有机结合,降低因无人机抖动而引入的造成,提高振动测量的准确性和精度。
本发明的优点在于:利用无人机的灵活性实现对大型建筑机器人的多方位、多高度范围的非接触式振动测量,并且振动测量的准确性高,精度高。
本发明说明书中提到的所有专利和出版物都表示这些是本领域的公开技术,本发明可以使用。这里所引用的所有专利和出版物都被同样列在参考文献中,跟每一个出版物具体的单独被参考引用一样。这里所述的本发明可以在缺乏任何一种元素或多种元素,一种限制或多种限制的情况下实现,这里这种限制没有特别说明。例如这里每一个实例中术语“包含”,“实质由……组成”和“由……组成”可以用两者之一的其余2个术语代替。这里采用的术语和表达方式所为描述方式,而不受其限制,这里也没有任何意图来指明此书描述的这些术语和解释排除了任何等同的特征,但是可以知道,可以在本发明和权利要求的范围内做任何合适的改变或修改。可以理解,本发明所描述的实施例子都是一些优选的实施例子和特点,任何本领域的一般技术人员都可以根据本发明描述的精髓下做一些更改和变化,这些更改和变化也被认为属于本发明的范围和独立权利要求以及附属权利要求所限制的范围内。
Claims (8)
1.基于无人机对大型建筑机器人的振动检测系统,其特征在于:该检测系统包括搭载有摄像头的无人机,图像处理模块,和使无人机获取的视频图像与图像处理模块进行交互的通讯模块;进行振动检测时,无人机对待检测机器人拍摄视频,图像处理模块执行以下操作:获取无人机拍摄的视频,将视频中的每一帧图像获得以靶点为中心的感兴趣区域;对所有感兴趣区域分别做复数线性滤波,获得每个感兴趣区域的相位谱图;对每个感兴趣区域以第一帧为基准、利用相位谱图获得从第二帧开始的每帧图像与第一帧的相位差,该相位差表征振动位移;对每帧图像中有靶点的地方分割出来形成感兴趣区域。
3.如权利要求1所述的基于无人机对大型建筑机器人的振动检测系统,其特征在于:固定于待检测机器人上的靶点,制作靶点模板图像,将每一帧图像与靶点模板图像做灰度匹配,寻找具有靶点的感兴趣区域。
5.如权利要求1所述的基于无人机对大型建筑机器人的振动检测系统,其特征在于:使用归一化积相关算法进行灰度匹配,获得感兴趣区域;或者,使用平均误差平方和算法进行灰度匹配,获得感兴趣区域。
7.如权利要求1所述的基于无人机对大型建筑机器人的振动检测系统,其特征在于:无人机设有安装摄像头的云台,通讯模块和数据处理模块均安装于云台上;通信模块接收图像,数据处理模块用来从拍摄的图像中计算大型建筑机器人的振动幅度与频率。
8.如权利要求1所述的基于无人机对大型建筑机器人的振动检测系统,其特征在于:无人机为四旋翼无人机;云台为三轴稳定云台,摄像头为工业级CCD摄像头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910761588.5A CN110706198B (zh) | 2019-08-19 | 2019-08-19 | 基于无人机对大型建筑机器人的振动检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910761588.5A CN110706198B (zh) | 2019-08-19 | 2019-08-19 | 基于无人机对大型建筑机器人的振动检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110706198A CN110706198A (zh) | 2020-01-17 |
CN110706198B true CN110706198B (zh) | 2023-04-28 |
Family
ID=69193489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910761588.5A Active CN110706198B (zh) | 2019-08-19 | 2019-08-19 | 基于无人机对大型建筑机器人的振动检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110706198B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111780856B (zh) * | 2020-06-01 | 2022-03-29 | 哈尔滨工业大学 | 基于瑞利散射谱的相位谱分析的光纤分布式振动测量方法 |
CN113048951B (zh) * | 2021-03-20 | 2023-02-07 | 侯晋华 | 一种基于人工智能的测绘无人机抖动检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2264643A1 (en) * | 2009-06-19 | 2010-12-22 | Universidad de Castilla-La Mancha | Surveillance system and method by thermal camera |
CN108122248A (zh) * | 2018-01-15 | 2018-06-05 | 武汉大学 | 基于视频测量的大坝自振频率识别方法 |
CN108255198A (zh) * | 2017-12-28 | 2018-07-06 | 广州亿航智能技术有限公司 | 一种无人机飞行状态下的摄像云台控制系统和控制方法 |
-
2019
- 2019-08-19 CN CN201910761588.5A patent/CN110706198B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2264643A1 (en) * | 2009-06-19 | 2010-12-22 | Universidad de Castilla-La Mancha | Surveillance system and method by thermal camera |
CN108255198A (zh) * | 2017-12-28 | 2018-07-06 | 广州亿航智能技术有限公司 | 一种无人机飞行状态下的摄像云台控制系统和控制方法 |
CN108122248A (zh) * | 2018-01-15 | 2018-06-05 | 武汉大学 | 基于视频测量的大坝自振频率识别方法 |
Non-Patent Citations (1)
Title |
---|
彭博 ; 蔡晓禹 ; 张有节 ; 李少博.基于对称帧差和分块背景建模的无人机视频车辆自动检测.东南大学学报. 自然科学版.2017,第47卷(第4期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110706198A (zh) | 2020-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106092059B (zh) | 一种基于多点拟合的结构物平面位移监测方法 | |
US10380745B2 (en) | Methods and devices for measuring object motion using camera images | |
US9409656B2 (en) | Aerial photographing system | |
CN110706198B (zh) | 基于无人机对大型建筑机器人的振动检测系统 | |
US9275458B2 (en) | Apparatus and method for providing vehicle camera calibration | |
CN106197292B (zh) | 一种建筑物位移监测方法 | |
CN105527969B (zh) | 一种基于无人机的山地植被垂直带调查监测方法 | |
CN106291535A (zh) | 一种障碍物检测装置、机器人及避障系统 | |
CN105865349B (zh) | 一种大型建筑物位移监测方法 | |
CN106289235A (zh) | 基于建筑结构图的自主计算精度可控室内定位导航方法 | |
GB2494505A (en) | Image based position determination based on perspective shift | |
CN112050806B (zh) | 一种移动车辆的定位方法及装置 | |
WO2009093276A1 (en) | Device and method for planning a surveillance mission on areas of interest that can be performed with a reconnoitring system using a reconnaissance aircraft | |
CN108345855A (zh) | 一种车道压线检测方法及系统 | |
CN111830470B (zh) | 联合标定方法及装置、目标对象检测方法、系统及装置 | |
CN105405126A (zh) | 一种基于单目视觉系统的多尺度空-地参数自动标定方法 | |
GB2571711A (en) | Drone control system | |
CN102798456A (zh) | 一种工程机械臂架系统工作幅度的测量方法、装置及系统 | |
KR101341204B1 (ko) | 레이저 스캐너 및 구조물을 이용한 모바일 로봇의 위치추정장치 및 방법 | |
US20220021440A1 (en) | Method for exchanging data between drones of a drone swarm | |
CN110228431A (zh) | 用于校准车辆的传感器的方法和设备 | |
CN110673627A (zh) | 一种森林无人机搜寻方法 | |
WO2021166845A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN113568430A (zh) | 一种无人机机翼执行数据的修正控制方法 | |
US11513524B2 (en) | Three-dimensional analytic tools and methods for inspections using unmanned aerial vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |