CN112560922A - 一种基于视觉的雾天飞机自主着陆方法及系统 - Google Patents
一种基于视觉的雾天飞机自主着陆方法及系统 Download PDFInfo
- Publication number
- CN112560922A CN112560922A CN202011435254.8A CN202011435254A CN112560922A CN 112560922 A CN112560922 A CN 112560922A CN 202011435254 A CN202011435254 A CN 202011435254A CN 112560922 A CN112560922 A CN 112560922A
- Authority
- CN
- China
- Prior art keywords
- runway
- line
- images
- aircraft
- foggy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本申请提供了一种基于视觉的雾天飞机自主着陆方法,属于飞行控制技术领域,所述基于视觉的雾天飞机自主着陆方法通过图像特征库建立及分类器训练、机场图像实时采集、图像去雾处理、视觉特征提取、跑道区域解算及跑道线提取、位姿解算等过程,从而实现大雾天气下的自主着陆。
Description
技术领域
本申请属于飞机控制技术领域,特别涉及一种基于视觉的雾天飞机自主着陆方法。
背景技术
在现有技术中,飞机着陆普遍是采用GPS和仪器仪表进行着陆的方式,此种方式需要借助数据链,其信号易受无线电信号的干扰并易丢失。借助视觉导航为飞机自主着陆问题提供了新的途径,视觉导航通过传感器获取图像信息,通过图像处理技术获取飞机的相对位姿信息,可以在不依赖数据链支持的条件下,实现飞机自主着陆引导,且其不需要向外发射信号,抗电磁干扰能力强,工作波段远离当前电磁对抗的频率范围,在具有电磁干扰的情况下更加安全。但视觉导航易到受天气的影响,当天气为大雾时,飞机自主着陆安全收到威胁。
发明内容
本申请的目的是提供了一种基于视觉的雾天飞机自主着陆方法,以解决或减轻背景技术中的至少一个问题。
本申请的技术方案是:一种基于视觉的雾天飞机自主着陆方法,所述方法包括:
获取不同视线方向与不同距离的机场跑道图像,并对机场跑道图像进行数据标注及特征提取,以获得飞机在不同空间位置及不同视角下的飞机观测模型;
实时采集飞机着陆过程中的跑道图像,并对所述跑道图形进行预处理后进行实时图像去雾,通过计算得到图像的暗通道图像,并进一步估算得到大气光值,计算出图像的透过率图,借助于雾天图像成像模型,代入计算结果反算得到去雾后的清晰图像;
将去雾后的清晰图像输入分类训练器中识别得到跑道线区域,并基于图像样本中的标记数值得到粗相对位姿;
在识别得到的跑道线区域上进行变换得到跑道的直线段,根据跑道线区域中各小线段长度和线宽计算出线段的权重,并按照权重大小随机选取点,按一定算法拟合出跑道线;
在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征,并结合事先标定的相机内部参数,通过一定算法,利用相机投影模型和2D特征点,建立相机坐标系和世界坐标系的转换关系,通过求解三维到二维的刚体运动问题进行位姿解算,得到飞机相对于机场跑道的细相对位姿;
基于所述粗相对位姿和细相对位姿解算得到飞机相对于着陆下滑道的偏差信息,基于所述偏差信息引导飞机进行着陆。
进一步的,实时图像去雾中采样了暗通道去雾算法。
进一步的,出跑道线拟合利用的是RANSAC方法。
进一步的,在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征时利用BRISK描述符方法。
进一步的,相机坐标系和世界坐标系的二维到三维采样的是EPnP算法。
在另一方面,本申请提供的技术方案是:一种基于视觉的雾天飞机自主着陆系统,所述系统包括:
分类训练器,用于获取不同视线方向与不同距离的机场跑道图像,并对机场跑道图像进行数据标注及特征提取,以获得飞机在不同空间位置及不同视角下的飞机观测模型;
图像采集与去雾处理模块,用于实时采集飞机着陆过程中的跑道图像,并对所述跑道图形进行预处理后进行实时图像去雾,通过计算得到图像的暗通道图像,并进一步估算得到大气光值,计算出图像的透过率图,借助于雾天图像成像模型,代入计算结果反算得到去雾后的清晰图像;
跑道区域识别模块,用于将去雾后的清晰图像输入分类训练器中识别得到跑道线区域,并基于图像样本中的标记数值得到粗相对位姿;
跑道线提取模块,用于在识别得到的跑道线区域上进行变换得到跑道的直线段,根据跑道线区域中各小线段长度和线宽计算出线段的权重,并按照权重大小随机选取点,按一定算法拟合出跑道线;
位姿解算模块,在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征,并结合事先标定的相机内部参数,通过一定算法,利用相机投影模型和2D特征点,建立相机坐标系和世界坐标系的转换关系,通过求解三维到二维的刚体运动问题进行位姿解算,得到飞机相对于机场跑道的细相对位姿;
着陆引导模块,基于所述粗相对位姿和细相对位姿解算得到飞机相对于着陆下滑道的偏差信息,基于所述偏差信息引导飞机进行着陆。
进一步的,图像采集与去雾处理模块中,实时图像去雾中采样了暗通道去雾算法。
进一步的,跑道线提取模块中拟合出跑道线利用的是RANSAC方法。
进一步的,在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征时利用BRISK描述符方法。
进一步的,位姿解算模块中,相机坐标系和世界坐标系的二维到三维采样的是EPnP算法。
本申请所提供的基于视觉的雾天飞机自主着陆方法通过图像特征库建立及分类器训练、机场图像实时采集、图像去雾处理、视觉特征提取、跑道区域解算及跑道线提取、位姿解算等过程,从而实现大雾天气下的自主着陆。
附图说明
为了更清楚地说明本申请提供的技术方案,下面将对附图作简单地介绍。显而易见地,下面描述的附图仅仅是本申请的一些实施例。
图1为本申请的基于视觉的雾天飞机自主着陆方法示意图。
图2为本申请中的飞机跑道特征提取示意图。
图3为本申请中的基于视觉的雾天飞机自主着陆系统组成图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行更加详细的描述。
如图1所示,本申请提供的基于视觉的雾天飞机自主着陆方法包括如下过程:
1)分类器训练:事先获取不同视线方向、不同距离的跑道图像样本以构建样本数据库,并对样本进行结构化信息数据标注;对样本中的跑道图像进行HOG(Histogram ofOriented Gradient,即方向梯度直方图)特征提取,利用SVM算法训练得到分类器,获得飞机在空间不同位置、不同视角下对跑道区域的观测描述模型;
2)实时图像采集及图像去雾:在飞机着陆过程中,基于机载摄像机实时采集跑道图像,进行预处理后使用基于暗通道的图像去雾算法进行实时图像去雾,通过计算得到图像的暗通道图像,并进一步估算得到大气光值,得出图像的透过率图,借助于雾天图像成像模型,代入计算结果反算得到去雾后的清晰图像;
3)跑道区域识别:将去雾后的清晰图像输入SVM分类器中识别匹配得到机场的跑道线区域,并基于图像样本库的标记数值得到粗相对位姿;
4)跑道线提取:在识别得到的跑道区域基础上进行Hough变换得到跑道线的直线段,根据各小线段长度和线宽计算出线段的权重,并按照权重大小随机选取点,利用RANSAC方法拟合出跑道线,如图2所示;
5)位姿解算:在拟合的跑道线基础上利用BRISK描述符在基准帧图像中提取已知地理坐标的跑道线的角点特征,并结合事先标定的相机内部参数,通过EPnP算法,利用相机投影模型和2D特征点,建立相机坐标系和世界坐标系的转换关系,通过求解三维到二维的刚体运动问题进行位姿解算,得到飞机相对于机场跑道精确的相对位姿;
6)着陆引导:将粗相对位姿和精确相对位姿通过坐标转换及计算,得到飞机相对于着陆下滑道的偏差信息,输出给飞控系统进行引导着陆。
如图3所示,本申请在还提供了一种基于视觉的雾天飞机自主着陆系统10,所述系统10包括:
分类训练器11,用于获取不同视线方向与不同距离的机场跑道图像,并对机场跑道图像进行数据标注及特征提取,以获得飞机在不同空间位置及不同视角下的飞机观测模型;
图像采集与去雾处理模块12,用于实时采集飞机着陆过程中的跑道图像,并对所述跑道图形进行预处理后进行实时图像去雾,通过计算得到图像的暗通道图像,并进一步估算得到大气光值,计算出图像的透过率图,借助于雾天图像成像模型,代入计算结果反算得到去雾后的清晰图像;
跑道区域识别模块13,用于将去雾后的清晰图像输入分类训练器中识别得到跑道线区域,并基于图像样本中的标记数值得到粗相对位姿;
跑道线提取模块14,用于在识别得到的跑道线区域上进行变换得到跑道的直线段,根据跑道线区域中各小线段长度和线宽计算出线段的权重,并按照权重大小随机选取点,按一定算法拟合出跑道线;
位姿解算模块15,在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征,并结合事先标定的相机内部参数,通过一定算法,利用相机投影模型和2D特征点,建立相机坐标系和世界坐标系的转换关系,通过求解三维到二维的刚体运动问题进行位姿解算,得到飞机相对于机场跑道的精确相对位姿;
着陆引导模块16,基于所述粗相对位姿和精确相对位姿解算得到飞机相对于着陆下滑道的偏差信息,基于所述偏差信息引导飞机进行着陆。
本申请所提供的基于视觉的雾天飞机自主着陆方法及系统通过图像特征库建立及分类器训练、机场图像实时采集、图像去雾处理、视觉特征提取、跑道区域解算及跑道线提取、位姿解算等过程,从而实现大雾天气下的自主着陆。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于视觉的雾天飞机自主着陆方法,其特征在于,所述方法包括:
获取不同视线方向与不同距离的机场跑道图像,并对机场跑道图像进行数据标注及特征提取,以获得飞机在不同空间位置及不同视角下的飞机观测模型;
实时采集飞机着陆过程中的跑道图像,并对所述跑道图形进行预处理后进行实时图像去雾,通过计算得到图像的暗通道图像,并进一步估算得到大气光值,计算出图像的透过率图,借助于雾天图像成像模型,代入计算结果反算得到去雾后的清晰图像;
将去雾后的清晰图像输入分类训练器中识别得到跑道线区域,并基于图像样本中的标记数值得到粗相对位姿;
在识别得到的跑道线区域上进行变换得到跑道的直线段,根据跑道线区域中各小线段长度和线宽计算出线段的权重,并按照权重大小随机选取点,按一定算法拟合出跑道线;
在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征,并结合事先标定的相机内部参数,通过一定算法,利用相机投影模型和2D特征点,建立相机坐标系和世界坐标系的转换关系,通过求解三维到二维的刚体运动问题进行位姿解算,得到飞机相对于机场跑道的细相对位姿;
基于所述粗相对位姿和细相对位姿解算得到飞机相对于着陆下滑道的偏差信息,基于所述偏差信息引导飞机进行着陆。
2.如权利要求1所述的基于视觉的雾天飞机自主着陆系统,其特征在于,实时图像去雾中采样了暗通道去雾算法。
3.如权利要求1所述的基于视觉的雾天飞机自主着陆系统,其特征在于,出跑道线拟合利用的是RANSAC方法。
4.如权利要求1所述的基于视觉的雾天飞机自主着陆系统,其特征在于,在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征时利用BRISK描述符方法。
5.如权利要求1所述的基于视觉的雾天飞机自主着陆系统,其特征在于,相机坐标系和世界坐标系的二维到三维采样的是EPnP算法。
6.一种基于视觉的雾天飞机自主着陆系统,其特征在于,所述系统包括:
分类训练器,用于获取不同视线方向与不同距离的机场跑道图像,并对机场跑道图像进行数据标注及特征提取,以获得飞机在不同空间位置及不同视角下的飞机观测模型;
图像采集与去雾处理模块,用于实时采集飞机着陆过程中的跑道图像,并对所述跑道图形进行预处理后进行实时图像去雾,通过计算得到图像的暗通道图像,并进一步估算得到大气光值,计算出图像的透过率图,借助于雾天图像成像模型,代入计算结果反算得到去雾后的清晰图像;
跑道区域识别模块,用于将去雾后的清晰图像输入分类训练器中识别得到跑道线区域,并基于图像样本中的标记数值得到粗相对位姿;
跑道线提取模块,用于在识别得到的跑道线区域上进行变换得到跑道的直线段,根据跑道线区域中各小线段长度和线宽计算出线段的权重,并按照权重大小随机选取点,按一定算法拟合出跑道线;
位姿解算模块,在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征,并结合事先标定的相机内部参数,通过一定算法,利用相机投影模型和2D特征点,建立相机坐标系和世界坐标系的转换关系,通过求解三维到二维的刚体运动问题进行位姿解算,得到飞机相对于机场跑道的细相对位姿;
着陆引导模块,基于所述粗相对位姿和细相对位姿解算得到飞机相对于着陆下滑道的偏差信息,基于所述偏差信息引导飞机进行着陆。
7.如权利要求5所述的基于视觉的雾天飞机自主着陆系统,其特征在于,图像采集与去雾处理模块中,实时图像去雾中采样了暗通道去雾算法。
8.如权利要求5所述的基于视觉的雾天飞机自主着陆系统,其特征在于,跑道线提取模块中拟合出跑道线利用的是RANSAC方法。
9.如权利要求5所述的基于视觉的雾天飞机自主着陆系统,其特征在于,在拟合出跑道线的图像中提取已知地理坐标的跑道线的角点特征时利用BRISK描述符方法。
10.如权利要求5所述的基于视觉的雾天飞机自主着陆系统,其特征在于,位姿解算模块中,相机坐标系和世界坐标系的二维到三维采样的是EPnP算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011435254.8A CN112560922B (zh) | 2020-12-10 | 2020-12-10 | 一种基于视觉的雾天飞机自主着陆方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011435254.8A CN112560922B (zh) | 2020-12-10 | 2020-12-10 | 一种基于视觉的雾天飞机自主着陆方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112560922A true CN112560922A (zh) | 2021-03-26 |
CN112560922B CN112560922B (zh) | 2022-10-28 |
Family
ID=75060605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011435254.8A Active CN112560922B (zh) | 2020-12-10 | 2020-12-10 | 一种基于视觉的雾天飞机自主着陆方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112560922B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113534849A (zh) * | 2021-09-16 | 2021-10-22 | 中国商用飞机有限责任公司 | 集成机器视觉的飞行组合导引系统、方法和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101109640A (zh) * | 2006-07-19 | 2008-01-23 | 北京航空航天大学 | 基于视觉的无人驾驶飞机自主着陆导航系统 |
CN109341700A (zh) * | 2018-12-04 | 2019-02-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种低能见度下固定翼飞机视觉辅助着陆导航方法 |
CN109341686A (zh) * | 2018-12-04 | 2019-02-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 |
-
2020
- 2020-12-10 CN CN202011435254.8A patent/CN112560922B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101109640A (zh) * | 2006-07-19 | 2008-01-23 | 北京航空航天大学 | 基于视觉的无人驾驶飞机自主着陆导航系统 |
CN109341700A (zh) * | 2018-12-04 | 2019-02-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种低能见度下固定翼飞机视觉辅助着陆导航方法 |
CN109341686A (zh) * | 2018-12-04 | 2019-02-15 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113534849A (zh) * | 2021-09-16 | 2021-10-22 | 中国商用飞机有限责任公司 | 集成机器视觉的飞行组合导引系统、方法和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112560922B (zh) | 2022-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111461023B (zh) | 基于三维激光雷达的四足机器人自主跟随领航员的方法 | |
CN110415342B (zh) | 一种基于多融合传感器的三维点云重建装置与方法 | |
CN111326023B (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
CN105866790B (zh) | 一种考虑激光发射强度的激光雷达障碍物识别方法及系统 | |
US9196054B2 (en) | Method and system for recovery of 3D scene structure and camera motion from a video sequence | |
KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
CN109583415A (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
WO2010129907A2 (en) | Method and system for visual collision detection and estimation | |
CN112348034A (zh) | 基于无人机图像识别的起重机缺陷检测系统和工作方法 | |
Coutard et al. | Visual detection and 3D model-based tracking for landing on an aircraft carrier | |
CN114034296B (zh) | 一种导航信号干扰源检测与识别方法及系统 | |
CN109341686B (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
CN110579771A (zh) | 一种基于激光点云的飞机泊位引导方法 | |
CN112904874A (zh) | 一种面向无人艇的无人机自主降落控制方法 | |
CN113050122A (zh) | 一种基于卷积神经网络感知动态障碍物速度的方法及系统 | |
CN108225273A (zh) | 一种基于传感器先验知识的实时跑道检测方法 | |
CN112560922B (zh) | 一种基于视觉的雾天飞机自主着陆方法及系统 | |
Liu et al. | Runway extraction in low visibility conditions based on sensor fusion method | |
CN113496163B (zh) | 障碍物识别方法和装置 | |
US20220148205A1 (en) | Foreign matter detection device, foreign matter detection method, and program | |
Gan et al. | Autonomous landing point retrieval algorithm for uavs based on 3d environment perception | |
CN111402324A (zh) | 一种目标测量方法、电子设备以及计算机存储介质 | |
CN114049580A (zh) | 一种机坪航空器定位系统 | |
CN112862862A (zh) | 基于人工智能视觉跟踪的飞机自主受油装置及应用方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |