CN109765931B - 一种适用于防波堤巡检无人机的近红外视频自动导航方法 - Google Patents

一种适用于防波堤巡检无人机的近红外视频自动导航方法 Download PDF

Info

Publication number
CN109765931B
CN109765931B CN201910097984.2A CN201910097984A CN109765931B CN 109765931 B CN109765931 B CN 109765931B CN 201910097984 A CN201910097984 A CN 201910097984A CN 109765931 B CN109765931 B CN 109765931B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
breakwater
image
binary image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910097984.2A
Other languages
English (en)
Other versions
CN109765931A (zh
Inventor
彭士涛
胡健波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Research Institute for Water Transport Engineering MOT
Original Assignee
Tianjin Research Institute for Water Transport Engineering MOT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Research Institute for Water Transport Engineering MOT filed Critical Tianjin Research Institute for Water Transport Engineering MOT
Priority to CN201910097984.2A priority Critical patent/CN109765931B/zh
Publication of CN109765931A publication Critical patent/CN109765931A/zh
Application granted granted Critical
Publication of CN109765931B publication Critical patent/CN109765931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本发明公开了一种适用于防波堤巡检无人机的近红外视频自动导航方法，其通过步骤1)利用配置在无人机云台上的近红外摄像头进行连续图像采集，获得矩阵数据，2)将每幅图像转换为直方图，并通过区分水体和防波堤的阈值t，将水体和防波堤的像素值重新定义，3)利用每幅二值图像中像素值为1的像素个数与标准值比较实现飞行高度调节，4)通过计算每幅二值图像中像素值为1的像素的横坐标x的平均值x0，调节平移方向，同时利用横坐标x与纵坐标y的回归线调转机头；该适用于防波堤巡检无人机的近红外视频自动导航方法保证每张采集的图像均为有效图像，即每张图像中防波堤均位于照片正中位置，有效提高了防波堤巡检的作业效率和航拍质量。

Description

一种适用于防波堤巡检无人机的近红外视频自动导航方法
技术领域
本发明涉及油气田井下作业技术领域，特别涉及一种适用于防波堤巡检无人机的近红外视频自动导航方法。
背景技术
防波堤巡检是大风大浪天气后的日常养护需要，目的是及时发现问题的苗头，指导开展下一步水上水下详细而专业的诊断工作。利用无人机沿防波堤飞行，不间断垂直向下拍摄防波堤照片，最终在室内用计算机对照片进行防波堤检测，这种模式是无人机发展成熟后在防波堤巡检上的新技术应用，提高巡检效率和巡检结果的可视化展现能力。然而，当防波堤呈圆弧状或折线状时，如果让无人机始终沿防波堤飞行是一个难题。对于圆弧形防波堤，需要给无人机设定密集点组成的航线；对于折线型防波堤，需要采集转折位置的经纬度坐标。如果能够让无人机自行判断防波堤的走向并始终保持沿防波堤飞行，则能够解放无人机操控手的双手，将更多的精力放在无人机飞行监控上，提高工作效率。
发明内容
本发明的目的是提供一种能够实现无人机始终自动追踪防波堤飞行的基于近红外视频的自动导航方法。
由于防波堤周边除了海水别无一物，因此，利用防波堤的所处环境特点是解决无人机自动导航飞行的技术切入点。
为此，本发明技术方案如下：
一种适用于防波堤巡检无人机的近红外视频自动导航方法，步骤如下：
S1、在无人机飞行过程中，利用配置在无人机云台上的近红外摄像头对其下方的防波堤进行连续图像采集，得到连续采集图像的矩阵数据；
S2、将每幅图像对应的矩阵数据转换为直方图，并在直方图中找到区分水体和防波堤的阈值t，进而得到定义水体像素的像素值全部为0、防波堤像素的像素值全部为1的二值图像；
S3、计算每幅二值图像中像素值为1的像素的个数n，并定义第一幅二值图像中的像素个数作为初始像素值n0，按照预设的间隔时间T2调取二值图像并将其n值与n0进行比较：
(1)当n＜n0时，说明无人机的飞行高度高于标准高度；
(2)当n＝n0时，说明无人机的飞行高度为标准高度；
(3)当n＞n0时，说明无人机的飞行高度低于标准高度；
根据上述情况(1)～(3)得到的比较结果，降低或提升无人机的飞行高度；
S4、计算每幅二值图像中像素值为1的像素的横坐标x的平均值x0，并绘制横坐标x与纵坐标y的回归线，得到回归线的朝向k，使无人机按照朝向k飞行，同时按照预设的间隔时间T3调取二值图像，比较x0与图像中心点位置的间隔距离，以调节无人机左右平移，使得后续二值图像的x0不断逼近图像中心点；
上述步骤S3与步骤S4同步进行。
该适用于防波堤巡检无人机的近红外视频自动导航方法还包括步骤S5、在进行步骤S3和步骤S4的过程中，当n值迅速下降至小于预设的警戒值nmin时，无人机终止飞行。
优选，nmin应设定为一个远小于n0的数值，一般情况下，nmin＝n0/10
优选，在步骤S1中，通过调节云台，使近红外摄像头采用垂直向下的方式进行图像采集。
优选，在步骤S1中，无人机的近红外摄像头进行图像采集时的初始飞行位置状态为：无人机在防波堤的上方飞行，且防波堤在近红外摄像头采集到的图像中占比为1/10～1/4。
优选，在步骤S1中，无人机的近红外摄像头的感光范围为波长在780～3000的电磁波，分辨率为10000～1000000像素。
优选，在步骤S1中，无人机的近红外摄像头进行连续图像采集的时间间隔为1/30～1/5s。
优选，步骤S2的具体方法为：
S201、将每幅图像对应的矩阵数据转换为横坐标为像素值、纵坐标为像素个数的直方图；
S202、采用Otsu算法在直方图中找到区分水体和非水体的阈值t，并将全部像素值依次与阈值t进行比较：
(1)当像素值≥阈值t时，将该像素值重新定义为1；
(2)当像素值＜阈值t时，将该像素值重新定义为0；
S203、通过对上述步骤S202中像素值的重新定义，生成二值图像。
优选，在步骤S3中，调取二值图像的间隔时间T2为1～5s。
优选，在步骤S3中，无人机高度调整的速度≤1m/s。
优选，在步骤S4中，调取二值图像的间隔时间T3为1/30～1/5s。
与现有技术相比，该适用于防波堤巡检无人机的近红外视频自动导航方法通过对实时拍摄的防波堤近红外图像进行分析和计算，使无人机自动保持合适的飞行高度和飞行方向，以保证后续对防波堤图像进行分析时，每张采集的图像均为有效图像，即每张图像中防波堤均位于照片正中位置，有效提高了防波堤巡检的作业效率和航拍质量。
附图说明
图1为本发明的适用于防波堤巡检无人机的近红外视频自动导航方法的步骤流程图；
图2为本发明的适用于防波堤巡检无人机的近红外视频自动导航方法中通过步骤S2处理得到的直方图的示意图
图3为本发明的适用于防波堤巡检无人机的近红外视频自动导航方法中进行步骤S1前无人机的初始飞行位置的示意图；
图4(a)为本发明的适用于防波堤巡检无人机的近红外视频自动导航方法中进行步骤S4前的无人机飞行位置的示意图；
图4(b)为本发明的适用于防波堤巡检无人机的近红外视频自动导航方法中完成步骤S4后的无人机飞行位置的示意图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。
该适用于防波堤巡检无人机的近红外视频自动导航方法是针对目前现有的用于防波堤巡检的无人机的工作情况设计的，其通过在无人机上增加自动导航的功能，实现促使无人机自动追踪防波堤飞行，提高作业效率和航拍质量的目的。
如图1所示，该适用于防波堤巡检无人机的近红外视频自动导航方法的具体步骤如下：
步骤一、设定无人机的飞行速度为5m/s，在无人机飞行过程中，利用配置在无人机云台上的近红外摄像头以1/25s的间隔时间对其下方的防波堤进行连续近红外图像的采集，得到连续采集图像的L×W(长×宽)的矩阵数据；
为了实现无人机导航功能的扩充，需要选择合适的无人机并加配用于图像采集的近红外摄像头；具体来说，
无人机本身需要具备：1)定位系统，如GPS定位系统、北斗定位系；2)垂直起降功能，以便于后续的飞行高度调整；3)图像实时回传能力，以实现保证飞手根据无人机自带相机回传的画面操控无人机飞行，以及后续根据对采集回传图像的分析，实时调整无人机的飞行高度和飞行方向；4)满足加装近红外摄像头要求的云台，其上加装近红外摄像头后不影响原先配置的相机的拍摄功能和拍摄效果；具体地，无人机可以选用但不限于DJIPhantom电动四旋翼无人机；
近红外摄像头安装在云台上，并将其与无人机飞行控制系统连接，同时在无人机飞行控制系统中安装按照下述步骤二～步骤五编写的软件，即可实现无人机的自动导航飞行；其中，近红外摄像头在云台上的安装位置满足其能够与其上原配置的相机一同采用垂直向下的方式分别进行近红外图像的采集和彩色图像的采集。具体地，该近红外摄像头的感光范围为波长在780～3000的电磁波，分辨率为20000像素，以避免其分辨率过高导致飞行控制系统计算量太大；
在进行图像采集前，首先由飞手控制无人机起飞至初始最佳拍摄位置，即满足无人机位于防波堤的上方，且防波堤在近红外摄像头采集到的图像中居中，且占比为图像面积的1/4，如图3所示；
在图3中，在A表示防波堤，B表示防波堤的延伸方向，C表示图像的中心点，同样也是防波堤的中心点；
然后利用无人机自动导航功能控制无人机的飞行轨迹；由于无人机在最佳拍摄位置处开始进行图像采集，因此，由近红外摄像头采集的第一张图像即作为后续判断飞行高度和飞行位置标准的图像；
步骤二、将经过步骤S1采集的每幅近红外图像进行处理，即将近红外图像对应的矩阵数据转换为直方图，并在直方图中找到区分水体和防波堤的阈值t，进而得到定义水体像素的像素值全部为0、防波堤像素的像素值全部为1的二值图像；该步骤基于的科学原理为：由于水体对近红外波段强烈吸收，因而在近红外图像上呈现暗色；而防波堤等钢筋混凝土结构物有明显的反射，因此在近红外图像上呈现亮色；
对应地，该步骤的具体处理步骤如下：
S201、如图2所示，将每幅图像对应的矩阵数据转换为横坐标为像素值、纵坐标为像素个数的直方图；
S202、采用Otsu算法在直方图中找到区分水体和非水体的阈值t，并将全部像素值依次与阈值t进行比较：
(1)当像素值≥阈值t时，将该像素值重新定义为1；
(2)当像素值＜阈值t时，将该像素值重新定义为0；
S203、通过对上述步骤S202中像素值的重新定义，生成二值图像；
步骤三、计算每幅二值图像中像素值为1的像素的个数n，并定义第一幅二值图像中的像素个数作为初始像素值n0，按照1s的间隔时间调取二值图像并将其n值与n0进行比较：
(1)当n＜n0时，说明无人机的飞行高度高于标准高度；
(2)当n＝n0时，说明无人机的飞行高度为标准高度；
(3)当n＞n0时，说明无人机的飞行高度低于标准高度；
根据上述情况(1)～(3)得到的比较结果，降低或提升无人机的飞行高度；为了不让无人机剧烈变化高度，因此在调整无人机的飞行高度时，无人机的高度调整的速率为1m/s；
步骤四、计算每幅二值图像中像素值为1的像素的横坐标x的平均值x0，并绘制横坐标x与纵坐标y的回归线，得到回归线的朝向k，使无人机进行转向调整，按照朝向k飞行，同时按照预设的间隔时间T3调取二值图像，比较x0与图像中心点位置L/2的间隔距离，以调节无人机左右平移，使得后续二值图像的x0不断逼近L/2；
如图4(a)所示为本实施例中无人机在进行步骤S4前的飞行位置的示意图；图4(b)为本实施例中无人机在完成步骤S4后的飞行位置的示意图；在图4(a)和图4(b)中，A为防波堤，B为防波堤的延伸方向，C1为防波堤的中心点，C2为图像中心点；如图4(a)和图4(b)所示，检测到当防波堤中心点位于图像中心点左侧时，无人机向右平移，由于该防波堤朝向为上下偏右转，因此，在该导航方法的作用下，无人机持续偏右旋转，直至防波堤变直；
其中，为了保证无人机始终沿防波堤飞行，步骤S4的调整频率较高，具体地，在该步骤中按照0.1s的间隔时间调取二值图像；
上述步骤S3与步骤S4同步进行。
步骤五、在进行步骤S3和步骤S4的过程中，当n值迅速下降至小于预设的警戒值nmin时，说明无人机已经飞过防波堤终点，此时无人机可以终止飞行；其中，警戒值nmin为n0/10。
考虑到无人机续航能力问题，该导航功能允许飞手可通过碰触遥控器上任意一个按钮随时终止本导航飞行。

Claims (9)

1.一种适用于防波堤巡检无人机的近红外视频自动导航方法，其特征在于，步骤如下：
S1、在无人机飞行过程中，利用配置在无人机云台上的近红外摄像头对其下方的防波堤进行连续图像采集，得到连续采集图像的矩阵数据；
S2、将每幅图像对应的矩阵数据转换为直方图，并在直方图中找到区分水体和防波堤的阈值t，进而得到定义水体像素的像素值全部为0、防波堤像素的像素值全部为1的二值图像；
S3、计算每幅二值图像中像素值为1的像素的个数n，并定义第一幅二值图像中的像素个数作为初始像素值n0，按照预设的间隔时间T2调取二值图像并将其n值与n0进行比较：
(1)当n＜n0时，说明无人机的飞行高度高于标准高度；
(2)当n＝n0时，说明无人机的飞行高度为标准高度；
(3)当n＞n0时，说明无人机的飞行高度低于标准高度；
并根据比较结果，调整无人机的飞行高度；
S4、计算每幅二值图像中像素值为1的像素的横坐标x的平均值x0，并绘制横坐标x与纵坐标y的回归线，得到回归线的朝向k，使无人机按照朝向k飞行，同时按照预设的间隔时间T3调取二值图像，比较x0与图像中心点位置的间隔距离，以调节无人机左右平移，使得后续二值图像的x0不断逼近图像中心点；
上述步骤S3与步骤S4同步进行；
S5、在进行步骤S3和步骤S4的过程中，当n值迅速下降至小于预设的警戒值nmin时，无人机终止飞行。
2.根据权利要求1所述的适用于防波堤巡检无人机的近红外视频自动导航方法，其特征在于，在步骤S1中，通过调节云台，使近红外摄像头采用垂直向下的方式进行图像采集。
3.根据权利要求1所述的适用于防波堤巡检无人机的近红外视频自动导航方法，其特征在于，在步骤S1中，无人机的近红外摄像头进行图像采集时的初始飞行位置状态为：无人机在防波堤的上方飞行，且防波堤在近红外摄像头采集到的图像中占比为1/10～1/4。
4.根据权利要求1所述的适用于防波堤巡检无人机的近红外视频自动导航方法，其特征在于，在步骤S1中，无人机的近红外摄像头的感光范围为波长在780～3000的电磁波，分辨率为10000～1000000像素。
5.根据权利要求1所述的适用于防波堤巡检无人机的近红外视频自动导航方法，其特征在于，在步骤S1中，无人机的近红外摄像头进行连续图像采集的时间间隔为1/30～1/5s。
6.根据权利要求1所述的适用于防波堤巡检无人机的近红外视频自动导航方法，其特征在于，步骤S2的具体方法为：
S201、将每幅图像对应的矩阵数据转换为横坐标为像素值、纵坐标为像素个数的直方图；
S202、采用Otsu算法在直方图中找到区分水体和非水体的阈值t，并将全部像素值依次与阈值t进行比较：
当像素值≥阈值t时，将该像素值重新定义为1；
当像素值＜阈值t时，将该像素值重新定义为0；
S203、通过对上述步骤S202中像素值的重新定义，生成二值图像。
7.根据权利要求1所述的适用于防波堤巡检无人机的近红外视频自动导航方法，其特征在于，在步骤S3中，调取二值图像的间隔时间T2为1～5s。
8.根据权利要求1所述的适用于防波堤巡检无人机的近红外视频自动导航方法，其特征在于，在步骤S3中，无人机高度调整的速度≤1m/s。
9.根据权利要求1所述的适用于防波堤巡检无人机的近红外视频自动导航方法，其特征在于，在步骤S4中，调取二值图像的间隔时间T3为1/30～1/5s。
CN201910097984.2A 2019-01-31 2019-01-31 一种适用于防波堤巡检无人机的近红外视频自动导航方法 Active CN109765931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910097984.2A CN109765931B (zh) 2019-01-31 2019-01-31 一种适用于防波堤巡检无人机的近红外视频自动导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910097984.2A CN109765931B (zh) 2019-01-31 2019-01-31 一种适用于防波堤巡检无人机的近红外视频自动导航方法

Publications (2)

Publication Number Publication Date
CN109765931A CN109765931A (zh) 2019-05-17
CN109765931B true CN109765931B (zh) 2021-03-16

Family

ID=66454643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910097984.2A Active CN109765931B (zh) 2019-01-31 2019-01-31 一种适用于防波堤巡检无人机的近红外视频自动导航方法

Country Status (1)

Country Link
CN (1) CN109765931B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111983622A (zh) * 2020-07-15 2020-11-24 中交第四航务工程局有限公司 一种护面块体可视化测量系统及方法
CN112882490A (zh) * 2021-01-13 2021-06-01 华东交通大学 一种基于5g技术的铁路巡检无人机
CN117392571B (zh) * 2023-12-08 2024-02-13 中国电力科学研究院有限公司 一种基于无人机图像的架空输配电线路验收方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105182992A (zh) * 2015-06-30 2015-12-23 深圳一电科技有限公司 无人机的控制方法、装置
CN105758397A (zh) * 2016-02-14 2016-07-13 中国船舶工业系统工程研究院 一种飞行器摄像定位方法
CN105898216A (zh) * 2016-04-14 2016-08-24 武汉科技大学 一种利用无人机进行的人数计数方法
CN106970632A (zh) * 2017-04-28 2017-07-21 华南农业大学 一种基于冠层涡旋稳态运动的旋翼无人机精准作业方法
CN109131860A (zh) * 2018-09-18 2019-01-04 华北水利水电大学 基于视觉的植保无人机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105182992A (zh) * 2015-06-30 2015-12-23 深圳一电科技有限公司 无人机的控制方法、装置
CN105758397A (zh) * 2016-02-14 2016-07-13 中国船舶工业系统工程研究院 一种飞行器摄像定位方法
CN105898216A (zh) * 2016-04-14 2016-08-24 武汉科技大学 一种利用无人机进行的人数计数方法
CN106970632A (zh) * 2017-04-28 2017-07-21 华南农业大学 一种基于冠层涡旋稳态运动的旋翼无人机精准作业方法
CN109131860A (zh) * 2018-09-18 2019-01-04 华北水利水电大学 基于视觉的植保无人机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于无人机的防波堤巡检;胡健波等;《水道港口》;20150831;第36卷(第4期);全文 *

Also Published As

Publication number Publication date
CN109765931A (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN109765931B (zh) 一种适用于防波堤巡检无人机的近红外视频自动导航方法
CN108803668B (zh) 一种静态目标监测的智能巡检无人机吊舱系统
CN109765930B (zh) 一种无人机视觉导航系统
WO2018195955A1 (zh) 一种基于飞行器的设施检测方法及控制设备
CN110825101B (zh) 一种基于深度卷积神经网络的无人机自主降落方法
CN108229587B (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN105447853A (zh) 飞行装置、飞行控制系统及方法
CN105302151A (zh) 一种飞机入坞引导和机型识别的系统及方法
CN112598701B (zh) 一种养殖场目标自动跟踪监测视频采集系统与方法
CN109613559B (zh) 基于视觉和激光雷达的水陆边界漂浮物判别装置与方法
CN111709994B (zh) 一种自主无人机视觉探测与引导系统及方法
CN110879617A (zh) 一种红外引导无人机降落方法及装置
CN109976339B (zh) 一种车载配网巡检数据采集方法与巡检系统
CN115797873B (zh) 一种人群密度检测方法、系统、设备、存储介质及机器人
CN107221006A (zh) 一种基于无人机成像平台的通信单管塔倾斜检测方法
CN112197766A (zh) 一种针对系留旋翼平台的视觉测姿装置
CN115793689A (zh) 基于前端目标识别的无人机自动化架空输电线路巡检方法及系统
CN112947550A (zh) 一种基于视觉伺服的非法飞行器打击方法及机器人
CN107256034B (zh) 一种基于无人机的变配电室多点环境数据采集系统
CN110322462B (zh) 基于5g网络的无人机视觉着陆方法及系统
US20200073409A1 (en) Uav landing system and landing method thereof
CN106815556A (zh) 一种多数据类型的平面群集运动数据采集系统
CN104104902B (zh) 云台方向故障检测方法及装置
CN109708659B (zh) 一种分布式智能光电低空防护系统
CN108873944B (zh) 超低空自适应定高飞行控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Peng Shitao

Inventor after: Liu Xianpeng

Inventor after: Liu Hongbiao

Inventor after: Hu Jianbo

Inventor before: Peng Shitao

Inventor before: Hu Jianbo