CN106354157B - 一种无人机自主飞行系统 - Google Patents

一种无人机自主飞行系统 Download PDF

Info

Publication number
CN106354157B
CN106354157B CN201611085141.3A CN201611085141A CN106354157B CN 106354157 B CN106354157 B CN 106354157B CN 201611085141 A CN201611085141 A CN 201611085141A CN 106354157 B CN106354157 B CN 106354157B
Authority
CN
China
Prior art keywords
image
component
subsystem
flight
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611085141.3A
Other languages
English (en)
Other versions
CN106354157A (zh
Inventor
邱炎新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaiping Flying Drop UAV Technology Co., Ltd.
Original Assignee
Zhongshan Changyuan Model Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Changyuan Model Co Ltd filed Critical Zhongshan Changyuan Model Co Ltd
Priority to CN201611085141.3A priority Critical patent/CN106354157B/zh
Publication of CN106354157A publication Critical patent/CN106354157A/zh
Application granted granted Critical
Publication of CN106354157B publication Critical patent/CN106354157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12Target-seeking control

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明公开了一种无人机自主飞行系统,包括:GPS卫星定位子系统,用于通过接收卫星信号,确定无人机当前所在经纬位置,为导航提供基本数据;图像处理子系统,用于收集和处理图像信息,对目标进行匹配跟踪,实现无人机的跟踪飞行;雷达子系统,包括微波毫米波雷达单元、信号处理单元,用于通过微波毫米波雷达单元来探测周围地形,并将探测信号输入信号处理单元进行目标搜索;所述飞行控制子系统用于对由GPS卫星定位子系统、图像处理子系统和雷达子系统得到的信息进行综合处理分析,确定飞行计划,并根据飞行计划执行不同的飞行模式。本发明能够自身判断航线及飞行路径,实现自主导航,可拓展性强,具有很好的自动化无人机自主导航效果。

Description

一种无人机自主飞行系统
技术领域
本发明涉及无人机控制技术领域,具体涉及一种无人机自主飞行系统。
背景技术
目前解决无人机导航的方法有GPS导航,实现自主导航的方法有红外线扫描绘制地图法,室内视觉系统导航法,由于这些方法还在实验室研究中,并没有一个很好的解决方案应用于目前无人机领域。
发明内容
为解决上述问题,本发明旨在提供一种无人机自主飞行系统。
本发明的目的采用以下技术方案来实现:
一种无人机自主飞行系统,包括GPS卫星定位子系统、图像处理子系统、雷达子系统、飞行控制子系统;所述GPS卫星定位子系统用于通过接收卫星信号,确定无人机当前所在经纬位置,为导航提供基本数据;所述图像处理子系统用于收集和处理图像信息,对目标进行匹配跟踪,实现无人机的跟踪飞行;所述雷达子系统包括微波毫米波雷达模块、信号处理模块,用于通过微波毫米波雷达模块来探测周围地形,并将探测信号输入信号处理模块进行目标搜索;所述飞行控制子系统用于对由GPS卫星定位子系统、图像处理子系统和雷达子系统得到的信息进行综合处理分析,确定飞行计划,并根据飞行计划执行不同的飞行模式。
本发明的有益效果为:能够自身判断航线及飞行路径,实现自主导航,可拓展性强,具有很好的自动化无人机自主导航效果。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明的结构连接示意图;
图2是本发明图像收集处理装置的结构连接示意图。
附图标记:
GPS卫星定位子系统1、图像处理子系统2、雷达子系统3、飞行控制子系统4、图像收集处理装置5、图像收集模块11、预处理模块12、融合模块13、图像打分模块14。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1、图2,本实施例的一种无人机自主飞行系统,包括GPS卫星定位子系统1、图像处理子系统2、雷达子系统3、飞行控制子系统4;所述GPS卫星定位子系统1用于通过接收卫星信号,确定无人机当前所在经纬位置,为导航提供基本数据;所述图像处理子系统2用于收集和处理图像信息,对目标进行匹配跟踪,实现无人机的跟踪飞行;所述雷达子系统3包括微波毫米波雷达模块、信号处理模块,用于通过微波毫米波雷达模块来探测周围地形,并将探测信号输入信号处理模块进行目标搜索;所述飞行控制子系统4用于对由GPS卫星定位子系统1、图像处理子系统2和雷达子系统3得到的信息进行综合处理分析,确定飞行计划,并根据飞行计划执行不同的飞行模式。
优选的,所述飞行模式包括低空飞行模式、高空飞行模式、悬停模式、跟踪模式。
优选的,所述图像处理子系统2包括用于处理所述图像信息的图像收集处理装置5。
本发明上述实施例能够自身判断航线及飞行路径,实现自主导航,可拓展性强,具有很好的自动化无人机自主导航效果。
优选的,所述图像收集处理装置5包括图像收集模块11、预处理模块12、融合模块13和图像打分模块14;所述图像收集模块11用于采集关于目标的源可见光图像和源红外图像;所述预处理模块12对聚焦不同的源可见光图像和源红外图像进行图像配准;所述融合模块13用于融合配准后的图像;所述图像打分模块14用于评价融合后的图像,选择评价合格的图像作为最终的图像。
本优选实施例设计了图像收集处理装置5的模块架构,从而实现无人机自主飞行系统的图像处理的功能。
优选的,所述图像收集模块11在采集时淘汰低质量的图像,其建立图像质量评价函数采用了主观评价和客观评价相结合的方式:
式中,δ1、δ2、δ3为各种评价因素所占比重,δ1<δ2<δ3且δ123=1,Fi为第i次通过主观评价而给予图像的分数,Zi为第i次通过客观评价而给予图像的分数,χ表示图像的峰值信噪比,N为进行主观评价的次数,M为进行客观评价的次数。
本优选实施例引入图像质量评价函数,能够剔除质量差的图像,提高后期处理效率。
优选的,所述预处理模块12包括:
(1)线段特征子模块:以源红外图像作为参考图像,源可见光图像作为待配准图像,检测源可见光图像的线段特征作为配准的依据;
(2)投影变换子模块:采用投影变换对源可见光图像中的线段特征实施变换,变换参数构成的矢量为
(3)度量子模块:采用基于方向一致性的度量准则构建度量函数,度量源红外图像线段特征和变换后的源可见光图像线段特征的相似性,如果满足预设要求,则返回参数若不满足要求,则转入参数更新模块;
(4)遗传计算子模块:采用遗传算法对进行更新。
本优选实施例在融合前对图像进行配准,极大的提高了融合效率。
优选的,所述融合子模块13包括:
(1)HSV变换子模块:用于对预处理后的源可见光图像进行HSV变换并提取色调分量H、饱和度分量S和明度分量V;
(2)分量获取子模块:用于将预处理后的源红外图像和明度分量V分别作二代Curvelet变换,以得到各自在(x,y)位置的低频分量和高频分量,在此设源红外图像对应的低频分量为Ψy(x,y)、高频分量为Gy(x,y);明度分量V对应的低频分量为ΨV(x,y),高频分量为GV(x,y);
(3)融合子模块,包括低频分量融合单元和高频分量融合单元:
A、低频分量融合单元,用于对所述低频分量Ψy(x,y)、ΨV(x,y)进行融合,融合后的低频分量ΨyV(x,y)为:
a、若Ψy(x,y)=0或ΨV(x,y)=0时:
ΨyV(x,y)=Ψy(x,y)+ΨV(x,y);
b、若Ψy(x,y)≠0或ΨV(x,y)≠0时:
B、高频分量融合单元,用于对高频分量Gy(x,y)、GV(x,y)进行融合,引入匹配测度因子:
其中,F=1,...ψ,F表示二代Curvelet变换的分解级数,ψ为二代Curvelet变换的最大分解级;F=1,...ψ-1时,为计算的源可见光图像的像素点信息质量均值,为源红外图像的像素点信息质量均值;F=ψ时,为源可见光图像中高频子带与低频子带的方向对比度,为源红外图像中高频子带与低频子带的方向对比度;表示源可见光图像在最高分辨率λ下、α方向上、3×3窗口内的区域信号强度;表示源红外图像在最高分辨率λ下、α方向上、3×3
窗口内的区域信号强度;
若Pj(x,y)≤T,则融合后的高频分量GyV(x,y)的选取公式为:
若Pj(x,y)>T,则融合后的高频分量GyV(x,y)的选取公式为:
a、时:
b、时:
其中,T为设定的阈值;
(4)二代Curvelet逆变换子模块,用于对融合后的低频分量ΨyV(x,y)和融合后的高频分量GyV(x,y)进行二代Curvelet逆变换,以获得新的明度分量VΩ
(5)HSV逆变换子模块,用于对H、S、VΩ三个分量做HSV逆变换,最终得到融合图像Ω。
发明人采用本实施例进行了一系列测试,以下是进行测试得到的实验数据:
本优选实施例结合低频分量融合单元和高频分量融合单元,对高频分量和低频分量采用不同的融合公式进行融合,更具有针对性,能够较好地描述图像中的目标特征信息;引入加权因子来计算融合后的高频分量,能够较好地保留源图像中的有用信息;引入匹配测度因子来计算融合后的高频分量,充分提取了源红外图像的热目标特征信息与源可见光图像丰富的背景特征信息,融合图像细节清晰、边缘平滑,具有更佳的融合性能和视觉效果。
优选的,所述图像打分模块14包括:
(1)第一评价单元:采用第一评估因子P1对融合效果进行评估:
P1=(R1-I0)(R1-V0)
其中,R1为融合后图像的辨识率,I0为融合前源红外图像的辨识率,V0为融合前源可见光图像的辨识率;当P1>0,判定融合效果合格;
(2)第二评价单元:采用第二评估因子P2对融合速度进行评估:
P2=(T1-I1)(T1-V1)
其中,T1为融合后图像的辨识时间,I1为融合前源红外图像的辨识时间,V1为融合前源可见光图像的辨识时间;
若P2<0,则融合速度合格。
本优选实施例能够切实提高图像处理的实用性。
结合上述实施例,对图像的融合效果相对提高了20%,融合速度相对提高了8%,导航的效率相对提高了5%,导航的精度相对提高了8%。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

Claims (2)

1.一种无人机自主飞行系统,其特征是:包括GPS卫星定位子系统、图像处理子系统、雷达子系统、飞行控制子系统;所述GPS卫星定位子系统用于通过接收卫星信号,确定无人机当前所在经纬位置,为导航提供基本数据;所述图像处理子系统用于收集和处理图像信息,对目标进行匹配跟踪,实现无人机的跟踪飞行;所述雷达子系统包括微波毫米波雷达单元、信号处理单元,用于通过微波毫米波雷达单元来探测周围地形,并将探测信号输入信号处理单元进行目标搜索;所述飞行控制子系统用于对由GPS卫星定位子系统、图像处理子系统和雷达子系统得到的信息进行综合处理分析,确定飞行计划,并根据飞行计划执行不同的飞行模式;所述图像处理子系统包括用于收集和处理所述图像信息的图像收集处理装置,图像收集处理装置,图像收集处理装置包括图像收集模块、预处理模块、融合模块和图像打分模块;所述图像收集模块用于采集关于目标的源可见光图像和源红外图像;所述预处理模块对聚焦不同的源可见光图像和源红外图像进行图像配准;所述融合模块用于融合配准后的图像;所述图像打分模块用于评价融合后的图像,选择评价合格的图像作为最终的图像;所述融合模块包括:
(1)HSV变换子模块:用于对预处理后的源可见光图像进行HSV变换并提取色调分量H、饱和度分量S和明度分量V;
(2)分量获取子模块:用于将预处理后的源红外图像和明度分量V分别作二代Curvelet变换,以得到各自在(x,y)位置的低频分量和高频分量,在此设源红外图像对应的低频分量为Ψy(x,y)、高频分量为Gy(x,y);明度分量V对应的低频分量为ΨV(x,y),高频分量为GV(x,y);
(3)融合子模块,包括低频分量融合单元和高频分量融合单元:
A、低频分量融合单元,用于对所述低频分量Ψy(x,y)、ΨV(x,y)进行融合,融合后的低频分量ΨyV(x,y)为:
a、若Ψy(x,y)=0或ΨV(x,y)=0时:
ΨyV(x,y)=Ψy(x,y)+ΨV(x,y);
b、若Ψy(x,y)≠0或ΨV(x,y)≠0时:
B、高频分量融合单元,用于对高频分量Gy(x,y)、GV(x,y)进行融合,引入匹配测度因子:
其中,F=1,...ψ,F表示二代Curvelet变换的分解级数,ψ为二代Curvelet变换的最大分解级;F=1,...ψ-1时,为计算的源可见光图像的像素点信息质量均值,为源红外图像的像素点信息质量均值;F=ψ时,为源可见光图像中高频子带与低频子带的方向对比度,为源红外图像中高频子带与低频子带的方向对比度;表示源可见光图像在最高分辨率λ下、α方向上、3×3窗口内的区域信号强度;表示源红外图像在最高分辨率λ下、α方向上、3×3窗口内的区域信号强度;
若Pj(x,y)≤T,则融合后的高频分量GyV(x,y)的选取公式为:
若Pj(x,y)>T,则融合后的高频分量GyV(x,y)的选取公式为:
a、时:
b、时:
其中,T为设定的阈值;
(4)二代Curvelet逆变换子模块,用于对融合后的低频分量ΨyV(x,y)和融合后的高频分量GyV(x,y)进行二代Curvelet逆变换,以获得新的明度分量VΩ
(5)HSV逆变换子模块,用于对H、S、VΩ三个分量做HSV逆变换,最终得到融合图像Ω。
2.根据权利要求1所述的一种无人机自主飞行系统,其特征是:所述飞行模式包括低空飞行模式、高空飞行模式、悬停模式、跟踪模式。
CN201611085141.3A 2016-11-28 2016-11-28 一种无人机自主飞行系统 Active CN106354157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611085141.3A CN106354157B (zh) 2016-11-28 2016-11-28 一种无人机自主飞行系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611085141.3A CN106354157B (zh) 2016-11-28 2016-11-28 一种无人机自主飞行系统

Publications (2)

Publication Number Publication Date
CN106354157A CN106354157A (zh) 2017-01-25
CN106354157B true CN106354157B (zh) 2019-05-14

Family

ID=57863019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611085141.3A Active CN106354157B (zh) 2016-11-28 2016-11-28 一种无人机自主飞行系统

Country Status (1)

Country Link
CN (1) CN106354157B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107323658A (zh) * 2017-07-06 2017-11-07 上海复亚通信科技有限公司 一种基于视频图像的无人机定位盘旋方法及装置
CN113038016B (zh) * 2017-09-27 2023-05-19 深圳市大疆创新科技有限公司 无人机图像采集方法及无人机
CN110049921B (zh) * 2017-11-03 2022-12-23 深圳市大疆创新科技有限公司 用于红外跟踪的方法和系统
WO2020041959A1 (zh) * 2018-08-28 2020-03-05 深圳市大疆创新科技有限公司 连续波雷达的地形预测方法、装置、系统和无人机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
CN101414006A (zh) * 2008-11-28 2009-04-22 北京航空航天大学 一种基于雷达图像的飞鸟目标识别与跟踪方法
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN105157708A (zh) * 2015-10-10 2015-12-16 南京理工大学 基于图像处理与雷达的无人机自主导航系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
CN101414006A (zh) * 2008-11-28 2009-04-22 北京航空航天大学 一种基于雷达图像的飞鸟目标识别与跟踪方法
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN105157708A (zh) * 2015-10-10 2015-12-16 南京理工大学 基于图像处理与雷达的无人机自主导航系统及方法

Also Published As

Publication number Publication date
CN106354157A (zh) 2017-01-25

Similar Documents

Publication Publication Date Title
CN106354157B (zh) 一种无人机自主飞行系统
CN108460341B (zh) 基于集成深度卷积网络的光学遥感图像目标检测方法
Rudol et al. Human body detection and geolocalization for UAV search and rescue missions using color and thermal imagery
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
Kirthika et al. Automated road network extraction using artificial neural network
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
Zhu et al. Extreme weather recognition using convolutional neural networks
US11074707B2 (en) Method and system of antenna measurement for mobile communication base station
Bar et al. Target detection and verification via airborne hyperspectral and high-resolution imagery processing and fusion
CN106758712A (zh) 一种城市道路路面日常巡检装置
Saif et al. Real time vision based object detection from UAV aerial images: a conceptual framework
Uzkent et al. Feature matching with an adaptive optical sensor in a ground target tracking system
CN103646397A (zh) 基于多源数据融合的实时合成孔径透视成像方法
CN113569911A (zh) 车辆识别方法、装置、电子设备及存储介质
CN105760813A (zh) 一种基于植物枝根演化行为的无人机目标检测方法
CN109815773A (zh) 一种基于视觉的低慢小航空器探测方法
CN111950524A (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
Li et al. Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety
Zhao et al. Weather classification based on convolutional neural networks
Majidi et al. Real time aerial natural image interpretation for autonomous ranger drone navigation
Karampinis et al. Ensuring UAV Safety: A Vision-only and Real-time Framework for Collision Avoidance Through Object Detection, Tracking, and Distance Estimation
Geng et al. Deep learning-based cooperative trail following for multi-robot system
Dudek et al. Cloud detection system for uav sense and avoid: First results of cloud segmentation in a simulation environment
Bie et al. UAV recognition and tracking method based on YOLOv5
CN111860331A (zh) 无人机在安防未知域的人脸识别系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190412

Address after: 528400 Baishihuan Village, Zhongshan City, Guangdong Province

Applicant after: Zhongshan Changyuan Model Co., Ltd.

Address before: 518000 Shenzhen, Nanshan District, Guangdong, Guangdong Province, three road, No. three road, Guangdong, Hainan Galaxy Science and technology building 908

Applicant before: Shenzhen Ming Automatic Control Technology Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20191220

Address after: 529300 berth 304, No. 3, Xihu Road, Cuishan Lake New Area, Kaiping City, Jiangmen City, Guangdong Province

Patentee after: Kaiping Flying Drop UAV Technology Co., Ltd.

Address before: 528400 Baishihuan Village, Zhongshan City, Guangdong Province

Patentee before: Zhongshan Changyuan Model Co., Ltd.

TR01 Transfer of patent right