CN114636417B - 基于图像识别的飞行器迫降路径规划方法、系统和设备 - Google Patents

基于图像识别的飞行器迫降路径规划方法、系统和设备 Download PDF

Info

Publication number
CN114636417B
CN114636417B CN202210559442.4A CN202210559442A CN114636417B CN 114636417 B CN114636417 B CN 114636417B CN 202210559442 A CN202210559442 A CN 202210559442A CN 114636417 B CN114636417 B CN 114636417B
Authority
CN
China
Prior art keywords
landing
image
terrain
area
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210559442.4A
Other languages
English (en)
Other versions
CN114636417A (zh
Inventor
曾钿
吴林
刘小东
叶宗华
戴慧林
翁沛炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Eastern Technology Application R & D Center Co ltd
Original Assignee
Zhuhai Xiangyi Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Xiangyi Aviation Technology Co Ltd filed Critical Zhuhai Xiangyi Aviation Technology Co Ltd
Priority to CN202210559442.4A priority Critical patent/CN114636417B/zh
Priority to JP2022091137A priority patent/JP7153820B2/ja
Publication of CN114636417A publication Critical patent/CN114636417A/zh
Priority to US17/844,007 priority patent/US11573579B1/en
Application granted granted Critical
Publication of CN114636417B publication Critical patent/CN114636417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/105—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for unpowered flight, e.g. glider, parachuting, forced landing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0688—Emergency descent
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G05D1/1062—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones specially adapted for avoiding bad weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明属于图像识别领域，具体涉及了一种基于图像识别的飞行器迫降路径规划方法、系统和设备，旨在解决面对能见度不足或是存在云雾遮挡的情况没有设备辅助很难作出正确的反应的问题。本发明包括：基于传感器数据和气象信息，计算飞行器的续航距离；进而通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；获取备选降落区域的当前卫星图像，选定降落区域；通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。本发明通过图像信息自动识别、选取最佳的着陆点并生成迫降的路径，进而对飞行员执行迫降任务进行辅助，能极大提高飞行员执行迫降任务的成功率，增加安全性降低损失。

Description

基于图像识别的飞行器迫降路径规划方法、系统和设备
技术领域
本发明属于图像识别领域，具体涉及了一种基于图像识别的飞行器迫降路径规划方法、系统和设备。
背景技术
随着技术发展，飞行器已经成为主要的交通和运输手段之一，随着服役时间的增长，飞行器不可避免的会出现各种故障，在遭遇恶劣的气候条件时也可能会对飞行器造成各种程度的损坏使得飞行器无法安全抵达目的地。
面对飞行器无法安全抵达目的地的情况，需要飞行员针对当前飞行器状况进行迫降。若是出现故障，目前只能通过飞行员接收塔台的远程指令的方式执行迫降任务，飞行员的所有操作均是基于肉眼识别的作出的反应，面对能见度不足或是存在云雾遮挡的情况没有设备辅助仅靠肉眼识别很难作出正确的反应。迫降任务通常为迫不得已而为，且反应时间极短实时性要求高，尽可能地提供辅助以提高成功几率具有重要意义。
发明内容
为了解决现有技术中的上述问题，即面对能见度不足或是存在云雾遮挡的情况没有设备辅助很难作出正确的反应的问题，本发明提供了一种基于图像识别的飞行器迫降路径规划方法：
获取航线中的历史卫星图像、气象信息和等高线图像；
基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；
基于设置于飞行器上的传感器获取传感器数据；
基于传感器数据和气象信息，计算飞行器的续航距离；
基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；
获取备选降落区域的当前卫星图像，选定降落区域；
基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
在一些优选的实施方式中，所述备选降落区域，其获得方法包括：
基于含有等高线信息的卫星图像，选取高度差小于预设的平缓阈值的连续区域，作为平坦区域；
通过地形图像识别模型，识别每个平坦区域的地形分析结果；
根据地形分析结果，计算对应的触地滑行矩形框的长度和宽度；
选取足以包含所述触地滑行矩形框的平坦区域，作为备选降落区域，并根据地形分析结果为备选降落区域计算降落分值。
在一些优选的实施方式中，所述地形图像识别模型，包括地形类型识别模型、地形均一性识别模型和分块一致性识别模型；
所述地形类型识别模型，用于根据历史卫星图像，识别平坦区域的地形类型；
所述地形均一性识别模型，用于根据历史卫星图像，识别平坦区域的图像均一性分值；
所述分块一致性识别模型，用于将历史卫星图像划分为不同网格，计算每个网格与其他所有网格之间的一致性分值；
根据地形类型、图像均一性分值和一致性分值，加权求和获得地形分析结果。
在一些优选的实施方式中，所述地形类型识别模型，为基于LBP算法和K聚类算法构建的分类模型，具体为：
基于平坦区域的历史卫星图像转化为二值图像，为每个像素点设置邻域窗口；
计算每个像素点的邻域窗口内像素的平均像素值；
比较平均像素值与对应像素点像素值的大小，将平均像素值大于或等于像素点像素值的像素点标记为1，否则标记为0，获得LBP二值化图像；
通过卷积层将所述LBP二值化图像进行特征提取获得LBP特征图像；
将所述LBP特征图像与卫星图像通过concat层进行结合，获得特征结合图像；
基于所述特征结合图像，通过KNN分类器计算特征结合图像与预设的地形类别数据库中各地形图像的相似度，输出平坦区域的地形类型。
在一些优选的实施方式中，所述地形均一性识别模型，具体为：
计算每个像素点与所在平坦区域的像素均一性
Figure 16827DEST_PATH_IMAGE001
:
Figure 793022DEST_PATH_IMAGE002
其中，
Figure 776021DEST_PATH_IMAGE003
表示坐标为
Figure 16903DEST_PATH_IMAGE004
的像素值，i和j表示像素号，
Figure 96855DEST_PATH_IMAGE005
表示x轴方向上的像 素期望值，
Figure 388159DEST_PATH_IMAGE006
表示y轴方向上的像素期望值，
Figure 983088DEST_PATH_IMAGE007
表示x轴方向上的像素标准差，
Figure 650830DEST_PATH_IMAGE008
表示y轴 方向上的像素标准差；
平坦区域的像素点的相关度均值表示该平坦区域的图像均一性分值。
在一些优选的实施方式中，所述分块一致性识别模型，具体为：
Figure 585288DEST_PATH_IMAGE009
其中，
Figure 922859DEST_PATH_IMAGE010
表示一致性分值，
Figure 146030DEST_PATH_IMAGE011
表示网格的尺度，
Figure 210938DEST_PATH_IMAGE012
表示颜色一致性分值，
Figure 203165DEST_PATH_IMAGE013
表示相 对高度一致性分值，
Figure 898589DEST_PATH_IMAGE014
表示颜色一致性分值的权重，
Figure 779695DEST_PATH_IMAGE015
表示相对高度一致性分值的权 重；
所述颜色一致性分值
Figure 320397DEST_PATH_IMAGE012
为：
Figure 432710DEST_PATH_IMAGE016
其中，
Figure 846505DEST_PATH_IMAGE017
表示网格p至网格q的颜色相似度，
Figure 44268DEST_PATH_IMAGE018
表示网格q至 网格p的颜色相似度；
Figure 388662DEST_PATH_IMAGE019
Figure 214535DEST_PATH_IMAGE020
其中，
Figure 455024DEST_PATH_IMAGE021
和
Figure 671241DEST_PATH_IMAGE022
分别表示计算网格
Figure 393560DEST_PATH_IMAGE023
到网格
Figure 949306DEST_PATH_IMAGE024
的 相似度和计算网格
Figure 485330DEST_PATH_IMAGE024
到网格
Figure 188844DEST_PATH_IMAGE023
的相似度，
Figure 78302DEST_PATH_IMAGE023
和
Figure 629500DEST_PATH_IMAGE024
分别表示网格的平均颜色值，
Figure 211791DEST_PATH_IMAGE025
为预先设 定的常数，
Figure 730497DEST_PATH_IMAGE026
表示网格数；
所述相对高度一致性分值
Figure 220385DEST_PATH_IMAGE013
为：
Figure 485144DEST_PATH_IMAGE027
其中，
Figure 612238DEST_PATH_IMAGE028
表示网格p至网格q的图像相对高度一致性，
Figure 290344DEST_PATH_IMAGE029
表示网格q至网格p的图像相对高度一致性；
Figure 521605DEST_PATH_IMAGE030
Figure 296663DEST_PATH_IMAGE031
其中，
Figure 751915DEST_PATH_IMAGE032
表示网格p的平均高度，
Figure 120579DEST_PATH_IMAGE033
表示网格q的平均高度。
在一些优选的实施方式中，所述获取备选降落区域的当前卫星图像，选定降落区域，具体为：
获取备选降落区域的当前卫星图像；
计算降落分值最高的备选降落区域的当前卫星图像与历史卫星图像的相似度，当相似度大于或等于预设的可靠阈值时，将所述降落分值最高的备选降落区域选定为降落区域；
若相似度低于所述预设的可靠阈值时，选取降落分值次高的备选降落区域，计算当前卫星图像与历史卫星图像的相似度，直至出现相似度大于或等于预设的可靠阈值，选出降落区域。
在一些优选的实施方式中，所述着陆点，其选取方法为：
基于飞行器坐标，计算飞行器坐标至所述降落区域的行进方向；
在降落区域中，以行进方向为轴线，若轴线方向存在包含触地滑行矩形框的空间，则选取轴线方向上满足触地滑行矩形框长度最长的起始边中点作为着陆点；
若轴线方向不存在包含触地滑行矩形框的空间，则选取轴线方向上偏角最小的方向的触地滑行矩形框长度最长的起始边中点作为着陆点。
在一些优选的实施方式中，所述规划方法还包括评估救援难易度的步骤，具体为：
对于所有备选降落区域的历史卫星图像，计算所有备选降落区域到主干道的路线和路线距离；
所述路线满足：在含有等高线信息的卫星图像中，预设的水平距离内高度差低于预设的坡度阈值；
根据路线距离设置救援难易度分值；
将救援难易度分值与所述地形类型、图像均一性分支和一致性分值进行加权求和获得地形分析结果。
本发明的另一方面，提出了一种基于图像识别的飞行器迫降路径规划系统，包括：航行信息获取模块、图像信息结合模块、传感器数据获取模块、续航距离获取模块、备选降落区域获取模块、降落区域选取模块和路径生成模块；
所述航行信息获取模块，配置为获取航线中的历史卫星图像、气象信息和等高线图像；
所述图像信息结合模块，配置为基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；
所述传感器数据获取模块，配置为基于设置于飞行器上的传感器获取传感器数据；
所述续航距离获取模块，配置为基于传感器数据和气象信息，计算飞行器的续航距离；
所述备选降落区域获取模块，配置为基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；
所述降落区域选取模块，配置为获取备选降落区域的当前卫星图像，选定降落区域；
所述路径生成模块，配置为基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
本发明的第三方面，提出一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于图像识别的飞行器迫降路径规划方法。
本发明的第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于图像识别的飞行器迫降路径规划方法。
本发明的有益效果：
（1）本发明通过图像信息自动识别、选取最佳的着陆点并生成迫降的路径，进而对飞行员执行迫降任务进行辅助，能极大提高飞行员执行迫降任务的成功率，增加安全性降低损失；
（2）本发明选取的着陆点考虑了地形类型、均一性和一致性的综合情况，降低了迫降任务可能带来的损失；
（3）本发明选取的着陆点还考虑了完成迫降任务后的救援难度，为完成迫降任务后进行及时的救援提供了帮助。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明实施例中基于图像识别的飞行器迫降路径规划方法的流程示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于图像识别的飞行器迫降路径规划方法，通过图像信息自动识别、选取最佳的着陆点并生成迫降的路径，进而对飞行员执行迫降任务进行辅助，能极大提高飞行员执行迫降任务的成功率，增加安全性降低损失。
本发明的一种基于图像识别的飞行器迫降路径规划方法，包括：
S100，获取航线中的历史卫星图像、气象信息和等高线图像；
S200，基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；
S300，基于设置于飞行器上的传感器获取传感器数据；
S400，基于传感器数据和气象信息，计算飞行器的续航距离；
S500，基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；
S600，获取备选降落区域的当前卫星图像，选定降落区域；
S700，基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
为了更清晰地对本发明系统进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于图像识别的飞行器迫降路径规划方法，包括：
S100，获取航线中的历史卫星图像、气象信息和等高线图像；
S200，基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；含有等高线信息的卫星图像将地形类型信息与地势信息进行结合，本实施例；
S300，基于设置于飞行器上的传感器获取传感器数据；
S400，基于传感器数据和气象信息，计算飞行器的续航距离；
S500，基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；
在本实施例中，所述备选降落区域，其获得方法包括：
基于含有等高线信息的卫星图像，选取高度差小于预设的平缓阈值的连续区域，作为平坦区域；
通过地形图像识别模型，识别每个平坦区域的地形分析结果；
在本实施例中，所述地形图像识别模型，包括地形类型识别模型、地形均一性识别模型和分块一致性识别模型；
将地形类型结合均一性与分块一致性的目的在于，在选取降落区域时，可能给存在某个区域中是多种地形类型或存在凹点凸点等不规则的情况；均一性和分块一致性同样作为参考因素进行分析，可以获得地面类型适合，且地面杂物分布均衡、平整的区域作为降落区域。
所述地形类型识别模型，用于根据历史卫星图像，识别平坦区域的地形类型；地形类型包括机场、水面、草地、植被、公路和空地；当续航距离内存在机场时，优先选取机场作为降落区域。
在本实施例中，所述地形类型识别模型，为基于LBP算法和K聚类算法构建的分类模型，具体为：
基于平坦区域的历史卫星图像转化为二值图像，为每个像素点设置邻域窗口；
计算每个像素点的邻域窗口内像素的平均像素值；
比较平均像素值与对应像素点像素值的大小，将平均像素值大于或等于像素点像素值的像素点标记为1，否则标记为0，获得LBP二值化图像；
通过卷积层将所述LBP二值化图像进行特征提取获得LBP特征图像；
将所述LBP特征图像与卫星图像通过concat层进行结合，获得特征结合图像；
基于所述特征结合图像，通过KNN分类器计算特征结合图像与预设的地形类别数据库中各地形图像的相似度，输出平坦区域的地形类型。
所述地形均一性识别模型，用于根据历史卫星图像，识别平坦区域的图像均一性分值；
在本实施例中，所述地形均一性识别模型，具体为：
计算每个像素点与所在平坦区域的像素均一性
Figure 765318DEST_PATH_IMAGE034
:
Figure 332566DEST_PATH_IMAGE035
其中，
Figure 161982DEST_PATH_IMAGE036
表示坐标为
Figure 876997DEST_PATH_IMAGE004
的像素值，i和j表示像素号，
Figure 715640DEST_PATH_IMAGE005
表示x轴方向上的像 素期望值，
Figure 871815DEST_PATH_IMAGE006
表示y轴方向上的像素期望值，
Figure 248963DEST_PATH_IMAGE007
表示x轴方向上的像素标准差，
Figure 326640DEST_PATH_IMAGE008
表示y轴 方向上的像素标准差；
平坦区域的像素点的相关度均值表示该平坦区域的图像均一性分值。
所述分块一致性识别模型，用于将历史卫星图像划分为不同网格，计算每个网格与其他所有网格之间的一致性分值；
在本实施例中，所述分块一致性识别模型，具体为：
Figure 765712DEST_PATH_IMAGE037
其中，
Figure 369868DEST_PATH_IMAGE010
表示一致性分值，
Figure 541087DEST_PATH_IMAGE011
表示网格的尺度，
Figure 902798DEST_PATH_IMAGE012
表示颜色一致性分值，
Figure 958610DEST_PATH_IMAGE013
表示相 对高度一致性分值，
Figure 27060DEST_PATH_IMAGE038
表示颜色一致性分值的权重，
Figure 431497DEST_PATH_IMAGE015
表示相对高度一致性分值的权重；
所述颜色一致性分值
Figure 608400DEST_PATH_IMAGE012
为：
Figure 61378DEST_PATH_IMAGE039
其中，
Figure 889394DEST_PATH_IMAGE040
表示网格p至网格q的颜色相似度，
Figure 464732DEST_PATH_IMAGE041
表示网格q至 网格p的颜色相似度；
Figure 738719DEST_PATH_IMAGE042
Figure 385601DEST_PATH_IMAGE043
其中，
Figure 490960DEST_PATH_IMAGE044
和
Figure 174882DEST_PATH_IMAGE045
分别表示计算网格
Figure 811531DEST_PATH_IMAGE023
到网格
Figure 934208DEST_PATH_IMAGE024
的相似 度和计算网格
Figure 831757DEST_PATH_IMAGE024
到网格
Figure 76793DEST_PATH_IMAGE023
的相似度，
Figure 387689DEST_PATH_IMAGE023
和
Figure 986161DEST_PATH_IMAGE024
分别表示网格的平均颜色值，
Figure 374767DEST_PATH_IMAGE025
为预先设定的 常数，
Figure 728388DEST_PATH_IMAGE026
表示网格数；
所述相对高度一致性分值
Figure 464263DEST_PATH_IMAGE013
为：
Figure 991059DEST_PATH_IMAGE046
其中，
Figure 863200DEST_PATH_IMAGE047
表示网格p至网格q的图像相对高度一致性，
Figure 387722DEST_PATH_IMAGE048
表示网格q至网格p的图像相对高度一致性；
Figure 220680DEST_PATH_IMAGE049
Figure 426533DEST_PATH_IMAGE050
其中，
Figure 215498DEST_PATH_IMAGE051
表示网格p的平均高度，
Figure 238818DEST_PATH_IMAGE052
表示网格q的平均高度；优选的
Figure 418126DEST_PATH_IMAGE025
设置为 0.85；
根据地形类型、图像均一性分值和一致性分值，加权求和获得地形分析结果。
根据地形分析结果，计算对应的触地滑行矩形框的长度和宽度；
选取足以包含所述触地滑行矩形框的平坦区域，作为备选降落区域，并根据地形分析结果为备选降落区域计算降落分值。触地滑行矩形框的宽度为飞行器展翼宽度再加上预设的容错宽度，触地滑行矩形框的长度为根据地面类型的制动系数和正常飞行的飞行速度计算得到。
S600，获取备选降落区域的当前卫星图像，选定降落区域；
在本实施例中，所述获取备选降落区域的当前卫星图像，选定降落区域，具体为：
获取备选降落区域的当前卫星图像；
计算降落分值最高的备选降落区域的当前卫星图像与历史卫星图像的相似度，当相似度大于或等于预设的可靠阈值时，将所述降落分值最高的备选降落区域选定为降落区域；计算当前卫星图像与历史卫星图像的相似度，其目的在于确认降落区域是否有临时的活动或地形变化比如人群聚集、山体滑坡的情况；由于迫降任务都是突发事件，没有时间等待重新获取航线中所有地区的当前卫星图像来进行重新的分析，仅对已经选取的降落分值最高的备选降落区域的当前卫星图像进行分析且仅分析与历史卫星图像的相似度，有利于快速判断降落分值最高的备选降落区域是否可靠，若没有人群聚集或地形变化则认为分值最高的备选降落区域可靠，可以选中为降落区域。
若相似度低于所述预设的可靠阈值时，选取降落分值次高的备选降落区域，计算当前卫星图像与历史卫星图像的相似度，直至出现相似度大于或等于预设的可靠阈值，选出降落区域；
S700，基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
在本实施例中，所述着陆点，其选取方法为：
基于飞行器坐标，计算飞行器坐标至所述降落区域的行进方向；
在降落区域中，以行进方向为轴线，若轴线方向存在包含触地滑行矩形框的空间，则选取轴线方向上满足触地滑行矩形框长度最长的起始边中点作为着陆点；
若轴线方向不存在包含触地滑行矩形框的空间，则选取轴线方向上偏角最小的方向的触地滑行矩形框长度最长的起始边中点作为着陆点。
本实施例中，可通过增强现实设备向飞行员显示所述迫降路径；将所有备选降落区域向飞行员显示，可由飞行员选择降落区域并向指挥塔台发送降落区域的位置信息。
本发明第二实施例，可将本发明的基于图像识别的飞行器迫降路径规划方法运用于通过全动模拟机对飞行员实施飞行训练；具体为：
获取航线中的历史卫星图像、气象信息和等高线图像；
获取正常飞行中的图像；
基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；
记录正常飞行中设置于飞行器上的传感器获取传感器数据；
将正常飞行中的图像和传感器数据于飞行全动模拟机中进行场景还原；
建立故障类型数据库，存储各种故障类型和故障程度对应的传感器数据，包括油量、仪表参数、声音、振副和频率；
随机或训练主持人员选取故障类型和故障程度，于全动模拟机模拟正常飞行中突发故障的情况，设置故障程度对应的传感器数据，供训练飞行员执行迫降任务；在全动飞行模拟机的机舱中还原真实的机舱视角图像和显示传感器数据；还可根据需要设定雷暴、风切变、颠簸和特殊情况，并设定不同的能见度；并设置早晨、白天、黄昏、夜晚的飞行时段；于故障发生时模拟特殊天气、颠簸、振动或下坠；
基于传感器数据和气象信息，计算飞行器的续航距离；
基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；
获取备选降落区域的当前卫星图像，选定降落区域；
基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务；
在本实施例中，可在迫降完成后，记录实际着陆地点、实际触地滑行距离及实际触地滑行方向，计算实际着陆地点与系统推荐的着陆地点的相对距离，同时计算实际触地滑行距离及实际触地滑行方向与系统推荐的触地滑行距离偏差和触地滑行角度的偏差；
并根据任务完成时间、所述相对距离、触地滑行距离偏差和触地滑行角度的偏差，计算任务完成评分，并搜索错误操作步骤。
本发明第三实施例的基于图像识别的飞行器迫降路径规划系统，包括：航行信息获取模块、图像信息结合模块、传感器数据获取模块、续航距离获取模块、备选降落区域获取模块、降落区域选取模块和路径生成模块；
所述航行信息获取模块，配置为获取航线中的历史卫星图像、气象信息和等高线图像；
所述图像信息结合模块，配置为基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；
所述传感器数据获取模块，配置为基于设置于飞行器上的传感器获取传感器数据；
所述续航距离获取模块，配置为基于传感器数据和气象信息，计算飞行器的续航距离；
所述备选降落区域获取模块，配置为基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；
所述降落区域选取模块，配置为获取备选降落区域的当前卫星图像，选定降落区域；
所述路径生成模块，配置为基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
本发明第四实施例的一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于图像识别的飞行器迫降路径规划方法。
本发明第五实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于图像识别的飞行器迫降路径规划方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于图像识别的飞行器迫降路径规划方法，其特征在于，所述方法包括：
获取航线中的历史卫星图像、气象信息和等高线图像；
基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；
基于设置于飞行器上的传感器获取传感器数据；
基于传感器数据和气象信息，计算飞行器的续航距离；
基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；
所述备选降落区域，其获得方法包括：
基于含有等高线信息的卫星图像，选取高度差小于预设的平缓阈值的连续区域，作为平坦区域；
通过地形图像识别模型，识别每个平坦区域的地形分析结果；
所述地形图像识别模型，包括地形类型识别模型、地形均一性识别模型和分块一致性识别模型；
所述地形类型识别模型，用于根据历史卫星图像，识别平坦区域的地形类型；
所述地形均一性识别模型，用于根据历史卫星图像，识别平坦 区域的图像均一性分值；所述地形均一性识别模型，具体为：
计算每个像素点与所在平坦区域的像素均一性
Figure DEST_PATH_IMAGE001
:
Figure DEST_PATH_IMAGE003
其中，
Figure 768929DEST_PATH_IMAGE004
表示坐标为
Figure DEST_PATH_IMAGE005
的像素值，i和j表示像素号，
Figure 169955DEST_PATH_IMAGE006
表示x轴方向上的像素期望值，
Figure DEST_PATH_IMAGE007
表示y轴方向上的像素期望值，
Figure 435720DEST_PATH_IMAGE008
表示x轴方向上的像素标准差，
Figure DEST_PATH_IMAGE009
表示y轴方向上的像素标准差；
平坦区域的像素点的相关度均值表示该平坦区域的图像均一性分值；
所述分块一致性识别模型，用于将历史卫星图像划分为不同网格，计算每个网格与其他所有网格之间的一致性分值；分块一致性识别模型为：
Figure DEST_PATH_IMAGE011
其中，
Figure 136959DEST_PATH_IMAGE012
表示一致性分值，
Figure 60004DEST_PATH_IMAGE014
表示网格的尺度，
Figure DEST_PATH_IMAGE015
表示颜色一致性分值，
Figure 948326DEST_PATH_IMAGE016
表示相对高度一致性分值，
Figure DEST_PATH_IMAGE017
表示颜色一致性分值的权重，
Figure 17782DEST_PATH_IMAGE018
表示相对高度一致性分值的权重；
根据地形类型、图像均一性分值和一致性分值，加权求和获得地形分析结果；
根据地形分析结果，计算对应的触地滑行矩形框的长度和宽度；
选取足以包含所述触地滑行矩形框的平坦区域，作为备选降落区域，并根据地形分析结果为备选降落区域计算降落分值；
获取备选降落区域的当前卫星图像，选定降落区域；具体为：
获取备选降落区域的当前卫星图像；
计算降落分值最高的备选降落区域的当前卫星图像与历史卫星图像的相似度，当相似度大于或等于预设的可靠阈值时，将所述降落分值最高的备选降落区域选定为降落区域；
若相似度低于所述预设的可靠阈值时，选取降落分值次高的备选降落区域，计算当前卫星图像与历史卫星图像的相似度，直至出现相似度大于或等于预设的可靠阈值，选出降落区域
基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
2.根据权利要求1所述的基于图像识别的飞行器迫降路径规划方法，其特征在于，所述地形类型识别模型，为基于LBP算法和K聚类算法构建的分类模型，具体为：
基于平坦区域的历史卫星图像转化为二值图像，为每个像素点设置邻域窗口；
计算每个像素点的邻域窗口内像素的平均像素值；
比较平均像素值与对应像素点像素值的大小，将平均像素值大于或等于像素点像素值的像素点标记为1，否则标记为0，获得LBP二值化图像；
通过卷积层将所述LBP二值化图像进行特征提取获得LBP特征图像；
将所述LBP特征图像与卫星图像通过concat层进行结合，获得特征结合图像；
基于所述特征结合图像，通过KNN分类器计算特征结合图像与预设的地形类别数据库中各地形图像的相似度，输出平坦区域的地形类型。
3.根据权利要求1所述的基于图像识别的飞行器迫降路径规划方法，其特征在于，所述分块一致性识别模型中；
所述颜色一致性分值
Figure 901424DEST_PATH_IMAGE015
为：
Figure 250497DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
表示网格p至网格q的颜色相似度，
Figure 376847DEST_PATH_IMAGE022
表示网格q至网格p的颜色相似度；
Figure 328623DEST_PATH_IMAGE024
Figure 207717DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE027
和
Figure 508117DEST_PATH_IMAGE028
分别表示计算网格
Figure DEST_PATH_IMAGE029
到网格
Figure 371031DEST_PATH_IMAGE030
的平均颜色值相似度和计算网格
Figure 860918DEST_PATH_IMAGE030
到网格
Figure 453573DEST_PATH_IMAGE029
的平均颜色值相似度，
Figure DEST_PATH_IMAGE031
和
Figure 567285DEST_PATH_IMAGE032
分别表示网格的平均颜色值，
Figure DEST_PATH_IMAGE033
为预先设定的常数，
Figure 776550DEST_PATH_IMAGE034
表示网格数；
所述相对高度一致性分值
Figure 460341DEST_PATH_IMAGE016
为：
Figure 173082DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE037
表示网格p至网格q的图像相对高度一致性，
Figure 34859DEST_PATH_IMAGE038
表示网格q至网格p的图像相对高度一致性；
Figure 91939DEST_PATH_IMAGE040
Figure 189208DEST_PATH_IMAGE042
其中，
Figure DEST_PATH_IMAGE043
表示网格p的平均高度，
Figure 428559DEST_PATH_IMAGE044
表示网格q的平均高度。
4.根据权利要求1所述的基于图像识别的飞行器迫降路径规划方法，其特征在于，所述着陆点，其选取方法为：
基于飞行器坐标，计算飞行器坐标至所述降落区域的行进方向；
在降落区域中，以行进方向为轴线，若轴线方向存在包含触地滑行矩形框的空间，则选取轴线方向上满足触地滑行矩形框长度最长的起始边中点作为着陆点；
若轴线方向不存在包含触地滑行矩形框的空间，则选取轴线方向上偏角最小的方向的触地滑行矩形框长度最长的起始边中点作为着陆点。
5.根据权利要求1所述的基于图像识别的飞行器迫降路径规划方法，其特征在于，所述规划方法还包括评估救援难易度的步骤，具体为：
对于所有备选降落区域的历史卫星图像，计算所有备选降落区域到主干道的路线和路线距离；
所述路线满足：在含有等高线信息的卫星图像中，预设的水平距离内高度差低于预设的坡度阈值；
根据路线距离设置救援难易度分值；
将救援难易度分值与所述地形类型、图像均一性分支和一致性分值进行加权求和获得地形分析结果。
6.一种基于图像识别的飞行器迫降路径规划系统，其特征在于，所述系统包括：航行信息获取模块、图像信息结合模块、传感器数据获取模块、续航距离获取模块、备选降落区域获取模块、降落区域选取模块和路径生成模块；
所述航行信息获取模块，配置为获取航线中的历史卫星图像、气象信息和等高线图像；
所述图像信息结合模块，配置为基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；
所述传感器数据获取模块，配置为基于设置于飞行器上的传感器获取传感器数据；
所述续航距离获取模块，配置为基于传感器数据和气象信息，计算飞行器的续航距离；
所述备选降落区域获取模块，配置为基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；所述备选降落区域，其获得方法包括：
基于含有等高线信息的卫星图像，选取高度差小于预设的平缓阈值的连续区域，作为平坦区域；
通过地形图像识别模型，识别每个平坦区域的地形分析结果；
所述地形图像识别模型，包括地形类型识别模型、地形均一性识别模型和分块一致性识别模型；
所述地形类型识别模型，用于根据历史卫星图像，识别平坦区域的地形类型；
所述地形均一性识别模型，用于根据历史卫星图像，识别平坦 区域的图像均一性分值；所述地形均一性识别模型，具体为：
计算每个像素点与所在平坦区域的像素均一性
Figure 54712DEST_PATH_IMAGE001
:
Figure 97624DEST_PATH_IMAGE003
其中，
Figure 998584DEST_PATH_IMAGE004
表示坐标为
Figure 30125DEST_PATH_IMAGE005
的像素值，i和j表示像素号，
Figure 358338DEST_PATH_IMAGE006
表示x轴方向上的像素期望值，
Figure 118571DEST_PATH_IMAGE007
表示y轴方向上的像素期望值，
Figure 88801DEST_PATH_IMAGE008
表示x轴方向上的像素标准差，
Figure 240428DEST_PATH_IMAGE009
表示y轴方向上的像素标准差；
平坦区域的像素点的相关度均值表示该平坦区域的图像均一性分值；
所述分块一致性识别模型，用于将历史卫星图像划分为不同网格，计算每个网格与其他所有网格之间的一致性分值；分块一致性识别模型为：
Figure 739543DEST_PATH_IMAGE011
其中，
Figure 491467DEST_PATH_IMAGE012
表示一致性分值，
Figure 734229DEST_PATH_IMAGE014
表示网格的尺度，
Figure 864996DEST_PATH_IMAGE015
表示颜色一致性分值，
Figure 410378DEST_PATH_IMAGE016
表示相对高度一致性分值，
Figure 524965DEST_PATH_IMAGE017
表示颜色一致性分值的权重，
Figure 666358DEST_PATH_IMAGE018
表示相对高度一致性分值的权重；
根据地形类型、图像均一性分值和一致性分值，加权求和获得地形分析结果；
根据地形分析结果，计算对应的触地滑行矩形框的长度和宽度；
选取足以包含所述触地滑行矩形框的平坦区域，作为备选降落区域，并根据地形分析结果为备选降落区域计算降落分值；
所述降落区域选取模块，配置为获取备选降落区域的当前卫星图像，选定降落区域；具体为：
获取备选降落区域的当前卫星图像；
计算降落分值最高的备选降落区域的当前卫星图像与历史卫星图像的相似度，当相似度大于或等于预设的可靠阈值时，将所述降落分值最高的备选降落区域选定为降落区域；
若相似度低于所述预设的可靠阈值时，选取降落分值次高的备选降落区域，计算当前卫星图像与历史卫星图像的相似度，直至出现相似度大于或等于预设的可靠阈值，选出降落区域；
所述路径生成模块，配置为基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
7.一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现如权利要求1-5任一项所述的基于图像识别的飞行器迫降路径规划方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现如权利要求1-5任一项所述的基于图像识别的飞行器迫降路径规划方法。
CN202210559442.4A 2022-05-23 2022-05-23 基于图像识别的飞行器迫降路径规划方法、系统和设备 Active CN114636417B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210559442.4A CN114636417B (zh) 2022-05-23 2022-05-23 基于图像识别的飞行器迫降路径规划方法、系统和设备
JP2022091137A JP7153820B2 (ja) 2022-05-23 2022-06-03 画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置
US17/844,007 US11573579B1 (en) 2022-05-23 2022-06-19 Method, system, and device for planning path for forced landing of aircraft based on image recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210559442.4A CN114636417B (zh) 2022-05-23 2022-05-23 基于图像识别的飞行器迫降路径规划方法、系统和设备

Publications (2)

Publication Number Publication Date
CN114636417A CN114636417A (zh) 2022-06-17
CN114636417B true CN114636417B (zh) 2022-09-02

Family

ID=81953210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210559442.4A Active CN114636417B (zh) 2022-05-23 2022-05-23 基于图像识别的飞行器迫降路径规划方法、系统和设备

Country Status (3)

Country Link
US (1) US11573579B1 (zh)
JP (1) JP7153820B2 (zh)
CN (1) CN114636417B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114895713B (zh) * 2022-07-15 2022-11-25 沃飞长空科技(成都)有限公司 飞行器着陆方法、系统、飞行器及存储介质
CN117201565A (zh) * 2023-10-11 2023-12-08 西安月之峰电子科技有限公司 一种基于5g传输的网联无人机管理云平台

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2752934B1 (fr) * 1996-08-30 1998-11-13 Sextant Avionique Procede d'assistance au pilotage d'un aerodyne
US6112141A (en) * 1997-10-15 2000-08-29 Dassault Aviation Apparatus and method for graphically oriented aircraft display and control
US6038498A (en) * 1997-10-15 2000-03-14 Dassault Aviation Apparatus and mehod for aircraft monitoring and control including electronic check-list management
US6199008B1 (en) * 1998-09-17 2001-03-06 Noegenesis, Inc. Aviation, terrain and weather display system
DE60011996T2 (de) * 1999-02-01 2005-07-21 Honeywell International Inc. Vorrichtung, verfahren und computerprogramm zur erzeugung einer geländehindernis-bodenhüllkurve für eine ausgewährte landebahn
US7356390B2 (en) * 1999-06-29 2008-04-08 Space Data Corporation Systems and applications of lighter-than-air (LTA) platforms
IL155328A0 (en) * 2000-10-10 2004-06-01 Sandel Avionics Inc Method and apparatus for reducing false taws warnings and navigating landing approaches
US6889124B2 (en) * 2000-10-10 2005-05-03 Gerald J. Block Method and apparatus for reducing false taws warnings and navigating landing approaches
US6965816B2 (en) * 2001-10-01 2005-11-15 Kline & Walker, Llc PFN/TRAC system FAA upgrades for accountable remote and robotics control to stop the unauthorized use of aircraft and to improve equipment management and public safety in transportation
FR2864269B1 (fr) * 2003-12-19 2006-04-07 Thales Sa Procede d'aide a la navigation a basse altitude d'un aeronef
FR2867559B1 (fr) * 2004-03-12 2006-05-26 Thales Sa Dispositif d'affichage de carte topographique pour aeronef
FR2869106B1 (fr) * 2004-04-20 2006-06-23 Thales Sa Procede d'estimation de distance pour aeronef avec prise en compte de contraintes de navigation aerienne
FR2872316B1 (fr) * 2004-06-29 2006-10-06 Thales Sa Procede de changement de procedure d'approche d'un aeronef
FR2875004B1 (fr) * 2004-09-07 2007-02-16 Thales Sa Dispositif de signalisation de risques
FR2892192B1 (fr) * 2005-10-14 2008-01-25 Thales Sa Procede d'aide a la navigation pour aeronef en situation d'urgence
FR2894367B1 (fr) * 2005-12-07 2008-02-29 Thales Sa Procede de determination du profil horizontal d'un plan de vol respectant un profil de vol vertical impose
FR2894368B1 (fr) * 2005-12-07 2008-01-25 Thales Sa Dispositif et procede de construction automatisee de trajectoire d'urgence pour aeronefs
FR2898675B1 (fr) * 2006-03-14 2008-05-30 Thales Sa Procede d'amelioration de la securite aeronautique relative aux communications air/sol et a l'environnement des aeronefs
FR2898672B1 (fr) * 2006-03-14 2009-07-03 Thales Sa Procede d'aide a la navigation d'un aeronef avec une mise a jour du plan de vol
FR2898673B1 (fr) * 2006-03-14 2009-04-17 Thales Sa Procede d'aide a la navigation d'un aeronef avec une mise a jour du plan de vol
FR2898686B1 (fr) * 2006-03-14 2008-05-23 Thales Sa Equipement pour aeronef de prevention des risques d'abordage
US8032267B1 (en) * 2006-04-03 2011-10-04 Honeywell International Inc. Aviation navigational and flight management systems and methods with emergency landing guidance and radar vectoring
US8164485B2 (en) * 2006-04-13 2012-04-24 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration System and method for aiding pilot preview, rehearsal, review, and real-time visual acquisition of flight mission progress
FR2902537B1 (fr) * 2006-06-20 2016-04-29 Eurocopter France Systeme de detection d'obstacles au voisinage d'un point de poser
FR2906622B1 (fr) * 2006-10-03 2008-11-28 Thales Sa Susteme de gestion du vol tolerant aux sautes de distances.
FR2906921B1 (fr) * 2006-10-10 2010-08-13 Thales Sa Procede de formation d'une trajectoire d'urgence en 3d pour aeronef et dispositif de mise en oeuvre
WO2008091422A2 (en) * 2006-10-19 2008-07-31 Rocket Racing, Inc. Rocket-powered vehicle racing reality system
BRPI0817039A2 (pt) * 2007-08-24 2015-07-21 Stratech Systems Ltd Sistema e método de vigilância de pista de pouso e decolagem
US20090171560A1 (en) * 2008-01-02 2009-07-02 Mcferran Nancy L Prioritizing alternative landing facilities in flight planning
US8332083B1 (en) * 2008-07-03 2012-12-11 Rockwell Collins, Inc. System and method for generating a missed approach path
US8718915B1 (en) * 2008-09-08 2014-05-06 Rockwell Collins, Inc. System, module, and method for generating an image of a flight route corridor on a display unit
US20100070110A1 (en) * 2008-09-10 2010-03-18 Honeywell International Inc. Methods and systems for indicating fuel required to reach a location
FR2937453B1 (fr) * 2008-10-17 2010-10-22 Thales Sa Dispositif pour le calcul d'un plan de vol d'un aeronef
US8234068B1 (en) * 2009-01-15 2012-07-31 Rockwell Collins, Inc. System, module, and method of constructing a flight path used by an avionics system
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
US8193948B1 (en) * 2009-09-30 2012-06-05 Rockwell Collins, Inc. System, module, and method for presenting runway advisory information to a pilot
US8565944B1 (en) * 2009-10-13 2013-10-22 The Boeing Company Alternate diversion airport planner
US20110196598A1 (en) * 2010-02-09 2011-08-11 Honeywell International Inc. System and methods for rendering taxiway and runway signage in a synthetic display of an airport field
US9257048B1 (en) * 2010-04-21 2016-02-09 The Boeing Company Aircraft emergency landing route system
US9520066B2 (en) * 2010-04-21 2016-12-13 The Boeing Company Determining landing sites for aircraft
US8897932B2 (en) * 2010-06-07 2014-11-25 Toyota Jidosha Kabushiki Kaisha Flight control support device
FR2963120B1 (fr) * 2010-07-20 2013-08-30 Airbus Operations Sas Procede et dispositif de gestion automatique d'une trajectoire laterale pour une descente d'urgence d'un aeronef
US8766819B2 (en) * 2011-06-17 2014-07-01 The Boeing Company Crew allertness monitoring of biowaves
US8666649B2 (en) * 2012-01-05 2014-03-04 The Boeing Company Systems and methods for use in identifying at least one alternate airport
US20130179011A1 (en) * 2012-01-10 2013-07-11 Lockheed Martin Corporation Emergency landing zone recognition
DE102012001268A1 (de) * 2012-01-23 2013-07-25 Airbus Operations Gmbh Verfahren zur Planung eines Landeanflugs eines Flugzeugs, Computerprogrammprodukt, Medium mit einem darauf gespeicherten Landeanflugplan sowie Vorrichtung zur Planung eines Landeanflugs
IL218327A (en) * 2012-02-26 2013-05-30 Elbit Systems Ltd Safe emergency landing of unmanned aerial vehicles
AU2012386701B2 (en) * 2012-07-31 2015-10-08 Jgc Corporation Weather predicting method, weather predicting apparatus, and air utilizing apparatus
US20140343765A1 (en) * 2012-12-28 2014-11-20 Sean Patrick Suiter Flight Assistant with Automatic Configuration and Landing Site Selection
US9310222B1 (en) * 2014-06-16 2016-04-12 Sean Patrick Suiter Flight assistant with automatic configuration and landing site selection method and apparatus
WO2014115139A1 (en) * 2013-01-23 2014-07-31 Iatas (Automatic Air Traffic Control) Ltd System and methods for automated airport air traffic control services
US9199724B2 (en) * 2013-05-15 2015-12-01 Honeywell International Inc. System and method for performing an aircraft automatic emergency descent
US9423799B1 (en) * 2013-08-12 2016-08-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Optimum strategies for selecting descent flight-path angles
US9147132B2 (en) * 2013-09-11 2015-09-29 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
US10665114B2 (en) * 2014-03-28 2020-05-26 The Boeing Company Aircraft fuel optimization analytics
FR3022625B1 (fr) * 2014-06-19 2018-01-12 Airbus Operations Procede et dispositif de determination et de presentation d'impacts de couts generes par des ecarts lateraux de route d'un aeronef.
US10339816B2 (en) * 2014-06-27 2019-07-02 The Boeing Company Automatic aircraft monitoring and operator preferred rerouting system and method
FR3023911B1 (fr) * 2014-07-18 2018-07-13 Thales Traitement des donnees d'un plan de vol
FR3026177B1 (fr) * 2014-09-22 2019-11-01 Thales Procede d'adaptation d'un segment de trajectoire d'aeronef a pente sol constante selon au moins un critere de performance
EP3210091B1 (en) * 2014-10-20 2020-02-19 Sikorsky Aircraft Corporation Optimal safe landing area determination
FR3027722B1 (fr) * 2014-10-24 2020-12-25 Thales Sa Gestion de l'energie en trajectoire d'approche
US9646503B2 (en) * 2015-02-11 2017-05-09 Honeywell International Inc. Cockpit display systems and methods for generating navigation displays including landing diversion symbology
US9858823B1 (en) * 2015-06-09 2018-01-02 Rockwell Collins, Inc. Interactive flight plan
WO2016205415A1 (en) * 2015-06-15 2016-12-22 ImageKeeper LLC Unmanned aerial vehicle management
US20170084183A1 (en) * 2015-09-18 2017-03-23 Robert M. Knox Automatic aircraft separation assurance
US10002471B2 (en) * 2015-09-30 2018-06-19 Ants Technology (Hk) Limited Systems and methods for autonomous vehicle navigation
CN105405165B (zh) * 2015-10-21 2018-07-27 北京航空航天大学 一种通用型无人机飞行中地貌分析及迫降区域提取仿真系统
US10096253B2 (en) * 2015-11-30 2018-10-09 Honeywell International Inc. Methods and systems for presenting diversion destinations
US10152195B2 (en) * 2015-12-14 2018-12-11 Honeywell International Inc. Aircraft display system pertaining to energy management
CN114612877A (zh) * 2016-01-05 2022-06-10 御眼视觉技术有限公司 用于估计未来路径的系统和方法
US10304344B2 (en) * 2016-02-09 2019-05-28 Honeywell International Inc. Methods and systems for safe landing at a diversion airport
CN113342038A (zh) * 2016-02-29 2021-09-03 星克跃尔株式会社 为无人飞行器的飞行生成地图的方法和系统
US10114381B2 (en) * 2016-02-29 2018-10-30 Garmin International, Inc. Emergency autoload system
US9884690B2 (en) * 2016-05-03 2018-02-06 Honeywell International Inc. Methods and systems for conveying destination viability
US10192450B2 (en) * 2016-08-24 2019-01-29 The Boeing Company Aircraft traffic spacing and timing control with dynamic flight path variation
US20200026309A1 (en) * 2016-09-06 2020-01-23 Tao Ma Method and system for controlling safe takeoff and landing of pilotless vertical takeoff and landing (vtol) aircraft
US10339817B1 (en) * 2016-09-07 2019-07-02 Rockwell Collins, Inc. Flight management system and flight plan alert integration systems and methods
US10109203B2 (en) * 2016-09-07 2018-10-23 Honeywell International Inc. Methods and systems for presenting en route diversion destinations
US10540899B2 (en) * 2016-11-21 2020-01-21 Honeywell International Inc. Flight plan segmentation for en route diversion destinations
CN107655457B (zh) * 2016-12-23 2018-09-25 航天星图科技（北京）有限公司 一种基于遥感卫星图像的泥石流地质灾害识别方法
US10775498B2 (en) * 2017-03-13 2020-09-15 Honeywell International Inc. Methods for a multi-function electronically steered weather radar
US10043405B1 (en) * 2017-03-14 2018-08-07 Architecture Technology Corporation Advisor system and method
CA3095088C (en) * 2017-03-31 2021-02-23 Area 2601, LLC Computer-based systems and methods for facilitating aircraft approach
WO2018209319A1 (en) * 2017-05-12 2018-11-15 Gencore Candeo, Ltd. Systems and methods for response to emergency situations using unmanned airborne vehicles with improved functionalities
US10816970B2 (en) * 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US20190041233A1 (en) * 2017-08-01 2019-02-07 Garmin International, Inc. Optimized flight plan ensuring an available landing location within glide range
JP6996560B2 (ja) 2017-09-01 2022-01-17 コニカミノルタ株式会社 作物栽培支援装置
WO2019055547A1 (en) * 2017-09-13 2019-03-21 Project Concern International SYSTEM AND METHOD FOR IDENTIFYING AND EVALUATING TOPOGRAPHIC FEATURES USING SATELLITE DATA
US10290217B1 (en) * 2018-06-14 2019-05-14 Honeywell International Inc. Systems and methods for evaluation of runway changes
CN112306084B (zh) * 2019-07-30 2022-12-27 广州极飞科技股份有限公司 一种无人机迫降方法、装置、无人机和存储介质
CN112306082A (zh) * 2019-07-30 2021-02-02 广州极飞科技有限公司 无人机降落区域的确定方法、装置、无人机和存储介质
JP6890749B1 (ja) 2019-08-20 2021-06-18 楽天グループ株式会社 情報処理システム、情報処理装置、及び情報処理方法
US11587449B2 (en) * 2020-02-21 2023-02-21 Honeywell International Inc. Systems and methods for guiding a vertical takeoff and landing vehicle to an emergency landing zone
CN112506227B (zh) * 2020-12-28 2021-12-24 北京航空航天大学 一种用于民机全发失效迫降的辅助驾驶系统和方法
KR102379303B1 (ko) 2021-09-03 2022-03-30 대한민국 무인비행체가 탑재된 특수차량을 이용한 재난원인 현장조사 방법 및 그 시스템
CN113821058B (zh) * 2021-11-22 2022-05-27 西安羚控电子科技有限公司 一种固定翼无人机的迫降方法及系统
CN114442660A (zh) * 2021-12-31 2022-05-06 北京理工大学重庆创新中心 一种基于gps和图像的无人机搜索方法
CN114415701A (zh) * 2022-01-20 2022-04-29 安胜（天津）飞行模拟系统有限公司 一种紧急自动着陆方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
US11573579B1 (en) 2023-02-07
CN114636417A (zh) 2022-06-17
JP7153820B2 (ja) 2022-10-14
JP2022119973A (ja) 2022-08-17

Similar Documents

Publication Publication Date Title
RU2669656C2 (ru) Обнаружение состояния с использованием обработки изображений
CN114636417B (zh) 基于图像识别的飞行器迫降路径规划方法、系统和设备
RU2694016C1 (ru) Обнаружение состояния объектов с использованием системы обработки изображения, соответствующий способ и постоянный машиночитаемый носитель
Li et al. Toward automated power line corridor monitoring using advanced aircraft control and multisource feature fusion
Ayhan et al. Semi-automated emergency landing site selection approach for UAVs
US20210158157A1 (en) Artificial neural network learning method and device for aircraft landing assistance
JP2014520307A (ja) 画像データを処理する方法およびシステム
US11120259B2 (en) Method and system for land encroachment detection and surveillance
US20230136983A1 (en) Methods and systems for using trained generative adversarial networks to impute 3d data for underwriting, claim handling and retail operations
JP7418281B2 (ja) 地物の分類システム、分類方法及びそのプログラム
CN114758086B (zh) 一种城市道路信息模型的构建方法及装置
CN114089786A (zh) 一种基于无人机视觉的沿山区公路自主巡检系统
Guérin et al. Certifying emergency landing for safe urban uav
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及系统
US20230289974A1 (en) Performing semantic segmentation of 3d data using deep learning
CN117152706A (zh) 飞机飞行跑道积水识别方法、装置与系统
US20220261713A1 (en) Computer Vision Systems and Methods for Detecting Power Line Hazards from Imagery
Dhulipudi et al. Geospatial object detection using machine learning-aviation case study
CN115329932A (zh) 基于数字孪生的飞机着陆姿态监视方法
CN114387533A (zh) 道路违规识别的方法、装置、电子设备及存储介质
CN114036640A (zh) 飞机姿态确定系统和飞行器
Sadekov et al. Road sign detection and recognition in panoramic images to generate navigational maps
Dhulipudi et al. Multiclass geospatial object detection using machine learning-aviation case study
Bouhsine et al. Atmospheric visibility image-based system for instrument meteorological conditions estimation: A deep learning approach
Nospes et al. Preflight aircraft emergency landing field estimation using optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221214

Address after: 201700 No. 18, Zone 1, No. 8228, Beiqing Road, Xianghuaqiao Street, Qingpu District, Shanghai

Patentee after: China Eastern technology application R & D Center Co.,Ltd.

Address before: 519030 No.32, Zhuhai Free Trade Zone, Guangdong Province

Patentee before: ZHUHAI XIANGYI AVIATION TECHNOLOGY Co.,Ltd.