CN115019206A - 一种飞机起落环境安全检测方法及系统 - Google Patents

一种飞机起落环境安全检测方法及系统 Download PDF

Info

Publication number
CN115019206A
CN115019206A CN202210659612.6A CN202210659612A CN115019206A CN 115019206 A CN115019206 A CN 115019206A CN 202210659612 A CN202210659612 A CN 202210659612A CN 115019206 A CN115019206 A CN 115019206A
Authority
CN
China
Prior art keywords
target
static
airplane
motion
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210659612.6A
Other languages
English (en)
Other versions
CN115019206B (zh
Inventor
袁潮
温建伟
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202210659612.6A priority Critical patent/CN115019206B/zh
Publication of CN115019206A publication Critical patent/CN115019206A/zh
Application granted granted Critical
Publication of CN115019206B publication Critical patent/CN115019206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种飞机起落环境安全检测方法及系统，具体应用于安全检测领域，包括获取机场跑道连续的帧图像；提取机场跑道特征；采用基于像素的自适应分割的前景检测算法，检测机场跑道上的待检测目标；将待检测目标划分为静止目标和运动目标，静止目标又划分为自主运动目标和非自主运动目标，根据类别确定待检测目标的目标运动序列；获取待起落飞机的飞机行驶序列；将所述目标运动序列和所述飞机跟踪序列进行匹配，根据匹配结果确定飞机起落环境安全性。由此提高机场跑道安全性检测的效率和精准性，实现跑道与航空管制的相互联动，使得飞机安全起落。

Description

一种飞机起落环境安全检测方法及系统
技术领域
本申请涉及安全检测领域，更具体地，涉及一种飞机起落环境安全检测方法及系统。
背景技术
FOD是Foreign Object Debris的缩写，泛指可能损伤飞机的某种外来物质，常称为跑道异物，常见的FOD有飞机的各种遗撒物、机械工具、石头、木块、塑料制品等。在机场跑道上的各种跑道异物(FOD)，通常会给飞机的起降带来严重安全威胁，造成数以百万的损失，甚至酿成重大的安全事故，其后果往往不堪设想。因此跑道安全是整个航空运输系统安全的基础。
现有技术中，通常采用主要通过雷达、红外、可见光技术，实现对跑道中处于运动状态的异物的发现、定位、识别、记录和处理。然而机场跑道除了运动异物，还可能存在无法自主移动的物体，而这些物体又可能随着天气影响产生移动，因此传统的飞机起落环境安全检测存在一定的局限性。
发明内容
本发明实施例的目的在于提供一种飞机起落环境安全检测方法及系统，将待检测目标划分为静止目标和运动目标，静止目标又划分为自主运动目标和非自主运动目标，根据类别确定待检测目标的目标运动序列，提高机场跑道安全性检测的效率和精准性。
具体技术方案如下：
在本发明实施例的第一方面，提供一种飞机起落环境安全检测方法，包括：通过监控摄像头采集机场跑道的视频数据，并将所述视频数据分解为连续的帧图像；利用卷积神经网络模型对所述帧图像进行特征提取，获得机场跑道特征；采用基于像素的自适应分割的前景检测算法，检测机场跑道上的待检测目标；若所述待检测目标是静止目标，则采用图像识别算法识别所述静止目标；对识别后的所述静止目标进行分类，获得所述静止目标的类别；所述类别包括自主运动目标和非自主运动目标；若所述静止目标属于自主运动目标，则获取所述静止目标的历史行为数据；将所述历史行为数据输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；若所述静止目标属于非自主运动目标，则采用BP神经网络算法预测所述静止目标的重量；获取当前天气数据；所述天气数据包括风速和风向；将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；若所述待检测目标是运动目标，则设置包围框；采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列；获取待起落飞机的行驶时刻和行驶轨迹，获得所述飞机的飞机行驶序列；将所述目标运动序列和所述飞机跟踪序列进行匹配，根据匹配结果确定飞机起落环境安全性。
可选地，所述视频数据包括机场跑道的高分辨率影像、强逆光影像、红外影像和夜视影像。
可选地，所述自主运动目标包括静止的动物、静止的车辆以及静止的行人；所述非自主运动目标包括石头和垃圾。
可选地，所述将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，包括：将所述静止目标的重量、所述风速和所述风向输入深度信念网络模型，通过概率和无监督学习来生成所述静止目标的运动时刻和运动轨迹。
可选地，所述采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列，包括：获取检测到所述待检测目标时，所述待检测目标在当前帧图像中的区域特征；对下一帧图像中的所述区域特征采样多窗口，并将多窗口与多高斯滤波器进行卷积，获得多尺度特征；利用约束等距性对所述多尺度特征进行降维，最后利用贝叶斯分类器进行分类，选择可信度高的窗口作为目标窗口，并跟踪，获得所述待检测目标的目标跟踪序列。
可选地，所述根据匹配结果确定飞机起落环境安全性之后，还包括：若飞机起落环境不安全，则判断能否完成对机场跑道的清理工作；若无法完成对机场跑道的清理工作，则通知所述待起落飞机重新选择跑道。
在本发明实施例的又一方面，提供一种飞机起落环境安全检测系统，包括：数据采集模块，用于通过监控摄像头采集机场跑道的视频数据，并将所述视频数据分解为连续的帧图像；获取当前天气数据；所述天气数据包括风速和风向；特征提取模块，用于利用卷积神经网络模型对所述帧图像进行特征提取，获得机场跑道特征；目标检测模块，用于采用基于像素的自适应分割的前景检测算法，检测机场跑道上的待检测目标；目标运动序列获取模块，用于若所述待检测目标是静止目标，则采用图像识别算法识别所述静止目标；对识别后的所述静止目标进行分类，获得所述静止目标的类别；所述类别包括自主运动目标和非自主运动目标；若所述静止目标属于自主运动目标，则获取所述静止目标的历史行为数据；将所述历史行为数据输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；若所述静止目标属于非自主运动目标，则采用BP神经网络算法预测所述静止目标的重量；将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；若所述待检测目标是运动目标，则设置包围框；采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列；飞行数据获取模块，用于获取待起落飞机的行驶时刻和行驶轨迹，获得所述飞机的飞机行驶序列；安全性检测模块，用于将所述目标运动序列和所述飞机跟踪序列进行匹配，根据匹配结果确定飞机起落环境安全性。
可选地，所述视频数据包括机场跑道的高分辨率影像、强逆光影像、红外影像和夜视影像。
可选地，所述自主运动目标包括静止的动物、静止的车辆以及静止的行人；所述非自主运动目标包括石头和垃圾。
可选地，所述将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，包括：将所述静止目标的重量、所述风速和所述风向输入深度信念网络模型，通过概率和无监督学习来生成所述静止目标的运动时刻和运动轨迹。
可选地，所述采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列，包括：获取检测到所述待检测目标时，所述待检测目标在当前帧图像中的区域特征；对下一帧图像中的所述区域特征采样多窗口，并将多窗口与多高斯滤波器进行卷积，获得多尺度特征；利用约束等距性对所述多尺度特征进行降维，最后利用贝叶斯分类器进行分类，选择可信度高的窗口作为目标窗口，并跟踪，获得所述待检测目标的目标跟踪序列。
可选地，安全性检测模块，还用于若飞机起落环境不安全，则判断能否完成对机场跑道的清理工作；若无法完成对机场跑道的清理工作，则通知所述待起落飞机重新选择跑道。
有益效果：
由于机场跑道除了运动异物，还可能存在无法自主移动的物体，而这些物体又可能随着天气影响产生移动，因此本发明将待检测目标划分为运动目标、自主运动目标和非自主运动目标，根据类别确定待检测目标的目标运动序列；具体地，对于自主运动目标，获取所述静止目标的历史行为数据；将所述历史行为数据输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；对于非自主运动目标，则采用BP神经网络算法预测所述静止目标的重量；获取当前天气数据；所述天气数据包括风速和风向；将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；对于运动目标，设置包围框；采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列；进一步地，获取待起落飞机的飞机行驶序列；将所述目标运动序列和所述飞机跟踪序列进行匹配，根据匹配结果确定飞机起落环境安全性。由此提高机场跑道安全性检测的效率和精准性，实现跑道与航空管制的相互联动，使得飞机安全起落。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种飞机起落环境安全检测方法的流程示意图；
图2给出了本发明实施例提供的自主运动目标的目标运动序列获取方法的流程示意图；
图3给出了本发明实施例提供的非自主运动目标的目标运动序列获取方法的流程示意图；
图4给出了本发明实施例提供的运动目标的目标运动序列获取方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种飞机起落环境安全检测方法及系统，具体应用于安全检测领域，包括获取机场跑道连续的帧图像；提取机场跑道特征；采用基于像素的自适应分割的前景检测算法，检测机场跑道上的待检测目标；将待检测目标划分为静止目标和运动目标，静止目标又划分为自主运动目标和非自主运动目标，根据类别确定待检测目标的目标运动序列；获取待起落飞机的飞机行驶序列；将所述目标运动序列和所述飞机跟踪序列进行匹配，根据匹配结果确定飞机起落环境安全性。由此提高机场跑道安全性检测的效率和精准性，实现跑道与航空管制的相互联动，使得飞机安全起落。
该飞机起落环境安全检测方法及系统，具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
可以理解的是，本实施例的该飞机起落环境安全检测方法及系统可以是在终端上执行的，也可以是在服务器上执行，还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。
实施例一：
图1示出了本申请实施例提供的基于移动摄像头的目标追踪方法的流程示意图，请参考图1，具体包括如下步骤：
步骤S110、通过监控摄像头采集机场跑道的视频数据，并将所述视频数据分解为连续的帧图像。
具体地，若干组监控摄像头和若干组传感器等距排列设置在跑道上，摄像头监控跑道上是否有物体移动，传感器由红外发射灯头和接收板构成，若干组监控摄像头和若干组传感器共同用于监控跑道的实时状态信息，并发送至通信系统。
步骤S120、利用卷积神经网络模型对所述帧图像进行特征提取，获得机场跑道特征。
其中，卷积神经网络模型包括卷积层、池化层和全连接层。
步骤S130、采用基于像素的自适应分割的前景检测算法，检测机场跑道上的待检测目标。
具体地，采用基于像素的自适应分割的前景检测算法将提取的机场跑道作为背景模型，检测机场跑道上作为前景的待检测目标。
步骤S140、根据所述待检测目标的类别，获得所述运动目标的目标运动序列。
其中，将在下一实施例中详细介绍不同类别的待检测目标对应的目标运动序列获取方式，这里不再赘述。
步骤S150、获取待起落飞机的行驶时刻和行驶轨迹，获得所述飞机的飞机行驶序列。
步骤S160、将所述目标运动序列和所述飞机跟踪序列进行匹配，根据匹配结果确定飞机起落环境安全性。
进一步地，若飞机起落环境不安全，则判断能否完成对机场跑道的清理工作；若无法完成对机场跑道的清理工作，则通知所述待起落飞机重新选择跑道。
通过该实施方式能够实现跑道与航空管制的相互联动，使得飞机安全起落。
实施例二：
本实施例提供了不同类别的待检测目标对应的目标运动序列获取方式，具体包括如下步骤：
若所述待检测目标是静止目标，则采用图像识别算法识别所述静止目标；对识别后的所述静止目标进行分类，获得所述静止目标的类别；所述类别包括自主运动目标和非自主运动目标。
其中，自主运动目标可以包括静止的动物、静止的车辆以及静止的行人；所述非自主运动目标包括石头和垃圾。
图2给出了本发明实施例提供的自主运动目标的目标运动序列获取方法的流程示意图。
步骤S210、若所述静止目标属于自主运动目标，则获取所述静止目标的历史行为数据。
步骤S220、将所述历史行为数据输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列。
图3给出了本发明实施例提供的非自主运动目标的目标运动序列获取方法的流程示意图。
步骤S310、若所述静止目标属于非自主运动目标，则采用BP神经网络算法预测所述静止目标的重量。
例如，识别出所述静止目标是石头，则通过算法计算该石头的断面面积，将所述断面面积与石头的密度结合，计算出该石头的重量。
步骤S320、获取当前天气数据；所述天气数据包括风速和风向。
可选地，通过以下公式计算风量V：
V＝S×v
其中，v是风速，S是所述静止目标的断面面积。
步骤S330、将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列。
具体地，将所述静止目标的重量、所述风速和所述风向输入深度信念网络模型，通过概率和无监督学习来生成所述静止目标的运动时刻和运动轨迹。
例如，所述静止目标是石头且重量较大，所述风速较小，则所述石头不会产生运动轨迹；管理员根据所述石头的坐标位置，判断所述石头是否对待起落飞机产生障碍，若是，则立刻执行清理工作；反之，可以通过路径规划算法规划对该石头执行清理工作的时刻。
图4给出了本发明实施例提供的运动目标的目标运动序列获取方法的流程示意图。
步骤S410、若所述待检测目标是运动目标，则设置包围框。
其中，运动目标可以包括移动的动物、移动的动物、移动的行人以及被风吹着移动的垃圾。
步骤S420、采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列。
具体地，获取检测到所述待检测目标时，所述待检测目标在当前帧图像中的区域特征；对下一帧图像中的所述区域特征采样多窗口，并将多窗口与多高斯滤波器进行卷积，获得多尺度特征；利用约束等距性对所述多尺度特征进行降维，最后利用贝叶斯分类器进行分类，选择可信度高的窗口作为目标窗口，并跟踪，获得所述待检测目标的目标跟踪序列。
进一步地，高斯滤波器可以是椭圆滤波器，并定义为：
Figure RE-GDA0003788430880000091
Figure RE-GDA0003788430880000092
式中，i和j分别是椭圆滤波器的最长直径和最短直径。
通过该方式实现自主运动目标、非自主运动目标和运动目标的运动估计，能够提高机场跑道安全性检测的效率和精准性。
实施例三：
本实施例提供一种飞机起落环境安全检测系统，该系统包括：
数据采集模块，用于通过监控摄像头采集机场跑道的视频数据，并将所述视频数据分解为连续的帧图像；获取当前天气数据；所述天气数据包括风速和风向。
特征提取模块，用于利用卷积神经网络模型对所述帧图像进行特征提取，获得机场跑道特征。
目标检测模块，用于采用基于像素的自适应分割的前景检测算法，检测机场跑道上的待检测目标。
目标运动序列获取模块，用于若所述待检测目标是静止目标，则采用图像识别算法识别所述静止目标；对识别后的所述静止目标进行分类，获得所述静止目标的类别；所述类别包括自主运动目标和非自主运动目标。
若所述静止目标属于自主运动目标，则获取所述静止目标的历史行为数据；将所述历史行为数据输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列。
若所述静止目标属于非自主运动目标，则采用BP神经网络算法预测所述静止目标的重量；将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列。
若所述待检测目标是运动目标，则设置包围框；采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列。
飞行数据获取模块，用于获取待起落飞机的行驶时刻和行驶轨迹，获得所述飞机的飞机行驶序列。
安全性检测模块，用于将所述目标运动序列和所述飞机跟踪序列进行匹配，根据匹配结果确定飞机起落环境安全性。
可选地，所述视频数据包括机场跑道的高分辨率影像、强逆光影像、红外影像和夜视影像。
可选地，所述自主运动目标包括静止的动物、静止的车辆以及静止的行人；所述非自主运动目标包括石头和垃圾。
可选地，所述将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，包括：将所述静止目标的重量、所述风速和所述风向输入深度信念网络模型，通过概率和无监督学习来生成所述静止目标的运动时刻和运动轨迹。
可选地，所述采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列，包括：获取检测到所述待检测目标时，所述待检测目标在当前帧图像中的区域特征；对下一帧图像中的所述区域特征采样多窗口，并将多窗口与多高斯滤波器进行卷积，获得多尺度特征；利用约束等距性对所述多尺度特征进行降维，最后利用贝叶斯分类器进行分类，选择可信度高的窗口作为目标窗口，并跟踪，获得所述待检测目标的目标跟踪序列。
可选地，安全性检测模块，还用于若飞机起落环境不安全，则判断能否完成对机场跑道的清理工作；若无法完成对机场跑道的清理工作，则通知所述待起落飞机重新选择跑道。
由此该飞机起落环境安全检测系统，能够实现跑道与航空管制的相互联动，使得飞机安全起落。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种飞机起落环境安全检测方法，其特征在于，包括：
通过监控摄像头采集机场跑道的视频数据，并将所述视频数据分解为连续的帧图像；
利用卷积神经网络模型对所述帧图像进行特征提取，获得机场跑道特征；
采用基于像素的自适应分割的前景检测算法，检测机场跑道上的待检测目标；
若所述待检测目标是静止目标，则采用图像识别算法识别所述静止目标；对识别后的所述静止目标进行分类，获得所述静止目标的类别；所述类别包括自主运动目标和非自主运动目标；
若所述静止目标属于自主运动目标，则获取所述静止目标的历史行为数据；
将所述历史行为数据输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；
若所述静止目标属于非自主运动目标，采用BP神经网络算法预测所述静止目标的重量；
获取当前天气数据；所述天气数据包括风速和风向；
将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；
若所述待检测目标是运动目标，则设置包围框；
采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列；
获取待起落飞机的行驶时刻和行驶轨迹，获得所述飞机的飞机行驶序列；
将所述目标运动序列和所述飞机跟踪序列进行匹配，根据匹配结果确定飞机起落环境安全性。
2.根据权利要求1所述的飞机起落环境安全检测方法，其特征在于，所述视频数据包括机场跑道的高分辨率影像、强逆光影像、红外影像和夜视影像。
3.根据权利要求1所述的飞机起落环境安全检测方法，其特征在于，所述自主运动目标包括静止的动物、静止的车辆以及静止的行人；所述非自主运动目标包括石头和垃圾。
4.根据权利要求1所述的飞机起落环境安全检测方法，其特征在于，所述将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，包括：
将所述静止目标的重量、所述风速和所述风向输入深度信念网络模型，通过概率和无监督学习来生成所述静止目标的运动时刻和运动轨迹。
5.根据权利要求1所述的飞机起落环境安全检测方法，其特征在于，所述采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列，包括：
获取检测到所述待检测目标时，所述待检测目标在当前帧图像中的区域特征；
对下一帧图像中的所述区域特征采样多窗口，并将多窗口与多高斯滤波器进行卷积，获得多尺度特征；
利用约束等距性对所述多尺度特征进行降维；
利用贝叶斯分类器进行分类，选择可信度高的窗口作为目标窗口，并跟踪，获得所述待检测目标的目标跟踪序列。
6.根据权利要求1所述的飞机起落环境安全检测方法，其特征在于，所述根据匹配结果确定飞机起落环境安全性之后，还包括：
若飞机起落环境不安全，则判断能否完成对机场跑道的清理工作；
若无法完成对机场跑道的清理工作，则通知所述待起落飞机重新选择跑道。
7.一种飞机起落环境安全检测系统，其特征在于，包括：
数据采集模块，用于通过监控摄像头采集机场跑道的视频数据，并将所述视频数据分解为连续的帧图像；获取当前天气数据；所述天气数据包括风速和风向；
特征提取模块，用于利用卷积神经网络模型对所述帧图像进行特征提取，获得机场跑道特征；
目标检测模块，用于采用基于像素的自适应分割的前景检测算法，检测机场跑道上的待检测目标；
目标运动序列获取模块，用于若所述待检测目标是静止目标，则采用图像识别算法识别所述静止目标；对识别后的所述静止目标进行分类，获得所述静止目标的类别；所述类别包括自主运动目标和非自主运动目标；
若所述静止目标属于自主运动目标，则获取所述静止目标的历史行为数据；将所述历史行为数据输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；
若所述静止目标属于非自主运动目标，则采用BP神经网络算法预测所述静止目标的重量；将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，获得所述静止目标的目标运动序列；
若所述待检测目标是运动目标，则设置包围框；采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列；
飞行数据获取模块，用于获取待起落飞机的行驶时刻和行驶轨迹，获得所述飞机的飞机行驶序列；
安全性检测模块，用于将所述目标运动序列和所述飞机跟踪序列进行匹配，根据匹配结果确定飞机起落环境安全性。
8.根据权利要求7所述的飞机起落环境安全检测系统，其特征在于，所述将所述静止目标的重量、所述风速和所述风向输入深度学习模型，预测所述静止目标的运动时刻和运动轨迹，包括：
将所述静止目标的重量、所述风速和所述风向输入深度信念网络模型，通过概率和无监督学习来生成所述静止目标的运动时刻和运动轨迹。
9.根据权利要求7所述的飞机起落环境安全检测系统，其特征在于，所述采用生成式跟踪算法对所述包围框进行跟踪，获得所述运动目标的目标运动序列，包括：
获取检测到所述待检测目标时，所述待检测目标在当前帧图像中的区域特征；
对下一帧图像中的所述区域特征采样多窗口，并将多窗口与多高斯滤波器进行卷积，获得多尺度特征；
利用约束等距性对所述多尺度特征进行降维；
利用贝叶斯分类器进行分类，选择可信度高的窗口作为目标窗口，并跟踪，获得所述待检测目标的目标跟踪序列。
10.根据权利要求9所述的飞机起落环境安全检测系统，其特征在于，所述安全性检测模块，还用于若飞机起落环境不安全，则判断能否完成对机场跑道的清理工作；
若无法完成对机场跑道的清理工作，则通知所述待起落飞机重新选择跑道。
CN202210659612.6A 2022-06-13 2022-06-13 一种飞机起落环境安全检测方法及系统 Active CN115019206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210659612.6A CN115019206B (zh) 2022-06-13 2022-06-13 一种飞机起落环境安全检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210659612.6A CN115019206B (zh) 2022-06-13 2022-06-13 一种飞机起落环境安全检测方法及系统

Publications (2)

Publication Number Publication Date
CN115019206A true CN115019206A (zh) 2022-09-06
CN115019206B CN115019206B (zh) 2023-02-03

Family

ID=83075433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210659612.6A Active CN115019206B (zh) 2022-06-13 2022-06-13 一种飞机起落环境安全检测方法及系统

Country Status (1)

Country Link
CN (1) CN115019206B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090323046A1 (en) * 2006-07-20 2009-12-31 Cyclet Electrical Engineering Pte. Ltd. System and method to detect foreign objects on a surface
CN104536059A (zh) * 2015-01-08 2015-04-22 西安费斯达自动化工程有限公司 图像/激光测距机场跑道异物监控一体化系统
CN107066774A (zh) * 2017-06-22 2017-08-18 武汉市陆刻科技有限公司 倾斜摄影测量预测滚石运动轨迹模拟系统及其预测方法
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法
CN107481552A (zh) * 2017-09-26 2017-12-15 江苏跃鑫科技有限公司 机场跑道异物入侵检测方法
CN108446630A (zh) * 2018-03-20 2018-08-24 平安科技（深圳）有限公司 机场跑道智能监控方法、应用服务器及计算机存储介质
CN108537829A (zh) * 2018-03-28 2018-09-14 哈尔滨工业大学 一种监控视频人员状态识别方法
CN109087328A (zh) * 2018-05-31 2018-12-25 湖北工业大学 基于计算机视觉的羽毛球落点位置预测方法
CN111260082A (zh) * 2020-03-08 2020-06-09 北京瀚科科技集团有限公司 一种基于神经网络的空间对象运动轨迹曲线预测方法
CN111797751A (zh) * 2020-06-29 2020-10-20 中国第一汽车股份有限公司 行人轨迹预测方法、装置、设备及介质
CN112597926A (zh) * 2020-12-28 2021-04-02 广州辰创科技发展有限公司 基于fod影像对飞机目标的识别方法、设备、存储介质
CN113963437A (zh) * 2021-10-15 2022-01-21 武汉众智数字技术有限公司 一种基于深度学习的步态识别序列获取方法和系统
CN114048650A (zh) * 2021-11-04 2022-02-15 中南大学 模拟铁路接触网的异物运动轨迹的计算方法及计算机系统
WO2022071894A1 (en) * 2020-10-01 2022-04-07 Chew Rong Jie David A system for detecting a foreign object on a runway and a method thereof

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090323046A1 (en) * 2006-07-20 2009-12-31 Cyclet Electrical Engineering Pte. Ltd. System and method to detect foreign objects on a surface
CN104536059A (zh) * 2015-01-08 2015-04-22 西安费斯达自动化工程有限公司 图像/激光测距机场跑道异物监控一体化系统
CN107066774A (zh) * 2017-06-22 2017-08-18 武汉市陆刻科技有限公司 倾斜摄影测量预测滚石运动轨迹模拟系统及其预测方法
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法
CN107481552A (zh) * 2017-09-26 2017-12-15 江苏跃鑫科技有限公司 机场跑道异物入侵检测方法
CN108446630A (zh) * 2018-03-20 2018-08-24 平安科技（深圳）有限公司 机场跑道智能监控方法、应用服务器及计算机存储介质
CN108537829A (zh) * 2018-03-28 2018-09-14 哈尔滨工业大学 一种监控视频人员状态识别方法
CN109087328A (zh) * 2018-05-31 2018-12-25 湖北工业大学 基于计算机视觉的羽毛球落点位置预测方法
CN111260082A (zh) * 2020-03-08 2020-06-09 北京瀚科科技集团有限公司 一种基于神经网络的空间对象运动轨迹曲线预测方法
CN111797751A (zh) * 2020-06-29 2020-10-20 中国第一汽车股份有限公司 行人轨迹预测方法、装置、设备及介质
WO2022071894A1 (en) * 2020-10-01 2022-04-07 Chew Rong Jie David A system for detecting a foreign object on a runway and a method thereof
CN112597926A (zh) * 2020-12-28 2021-04-02 广州辰创科技发展有限公司 基于fod影像对飞机目标的识别方法、设备、存储介质
CN113963437A (zh) * 2021-10-15 2022-01-21 武汉众智数字技术有限公司 一种基于深度学习的步态识别序列获取方法和系统
CN114048650A (zh) * 2021-11-04 2022-02-15 中南大学 模拟铁路接触网的异物运动轨迹的计算方法及计算机系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANTING QIN 等: "Trajectory prediction based on long short-term memory network and Kalman filter using hurricanes as an example", 《SPRINGER》 *
聂卫东 等: "BP神经网络算法在图像预测物体重量中的应用", 《湖南工业职业技术学院学报》 *

Also Published As

Publication number Publication date
CN115019206B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
ES2908944B2 (es) Un metodo y sistema implementados por ordenador para detectar objetos pequenos en una imagen usando redes neuronales convolucionales
Murthy et al. Objectdetect: A real-time object detection framework for advanced driver assistant systems using yolov5
Sudha et al. An intelligent multiple vehicle detection and tracking using modified vibe algorithm and deep learning algorithm
US10977501B2 (en) Object classification using extra-regional context
Husain et al. Vehicle detection in intelligent transport system under a hazy environment: a survey
US9245170B1 (en) Point cloud data clustering and classification using implicit geometry representation
Liu et al. A survey of vision-based vehicle detection and tracking techniques in ITS
CN103716687A (zh) 使用指纹以在视频中追踪移动对象的系统和方法
US20220373354A1 (en) Automatic generation of vector map for vehicle navigation
CN112487905B (zh) 一种车辆周边行人危险等级预测方法及系统
US20230072731A1 (en) System and method for panoptic segmentation of point clouds
Zhang et al. Gc-net: Gridding and clustering for traffic object detection with roadside lidar
EP4095812A1 (en) Method for predicting a trajectory of an agent in a vicinity of a self-driving vehicle based on ranking
Liu et al. Vehicle detection from aerial color imagery and airborne LiDAR data
WO2022098511A2 (en) Architecture for map change detection in autonomous vehicles
Matsuda et al. A system for real-time on-street parking detection and visualization on an edge device
Gökçe et al. Recognition of dynamic objects from UGVs using Interconnected Neuralnetwork-based Computer Vision system
CN115019206B (zh) 一种飞机起落环境安全检测方法及系统
EP4145398A1 (en) Systems and methods for vehicle camera obstruction detection
Ng et al. Outdoor illegal parking detection system using convolutional neural network on Raspberry Pi
Imad et al. Navigation system for autonomous vehicle: A survey
Aboah et al. Ai-based framework for understanding car following behaviors of drivers in a naturalistic driving environment
Lee et al. Probabilistic context integration‐based aircraft behaviour intention classification at airport ramps
Siddiqui et al. Object/Obstacles detection system for self-driving cars
WO2022243337A2 (en) System for detection and management of uncertainty in perception systems, for new object detection and for situation anticipation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant