CN115880646A - 一种飞机入离位状态识别方法 - Google Patents
一种飞机入离位状态识别方法 Download PDFInfo
- Publication number
- CN115880646A CN115880646A CN202310134180.1A CN202310134180A CN115880646A CN 115880646 A CN115880646 A CN 115880646A CN 202310134180 A CN202310134180 A CN 202310134180A CN 115880646 A CN115880646 A CN 115880646A
- Authority
- CN
- China
- Prior art keywords
- airplane
- frame
- detection
- video
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 143
- 238000006073 displacement reaction Methods 0.000 claims abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 10
- 238000013480 data collection Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- SFRALHFBKRAJPW-UHFFFAOYSA-N IDFP Chemical compound CCCCCCCCCCCCP(F)(=O)OC(C)C SFRALHFBKRAJPW-UHFFFAOYSA-N 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001239379 Calophysus macropterus Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种飞机入离位状态识别方法，包括步骤构建机场场面飞机数据集；构建YOLOX‑CS飞机检测模型，将待检测视频输入YOLOX‑CS飞机检测模型中，得到飞机在该视频各帧图像中的检测框信息；将检测框信息输入BYTE跟踪器，获得包括轨迹框坐标、轨迹ID在内的飞机轨迹信息文件；平滑轨迹数据而后计算停机位处飞机在监控视频中的位移情况，判断视频中的飞机为推入或推出状态，并通过文本形式反馈入位到达时刻和离位开始时刻至图像中对应飞机框中。本方法针对停机位侧向监控视频内入离位的飞机进行检测与跟踪，为机场协同决策提供数据参考，助力机场运行管理精细化管理。
Description
技术领域
本发明属于机场运行管理领域，尤其是涉及一种飞机入离位状态识别方法。
背景技术
民航运行具有较强的系统性，一架飞机从起飞到完成过站再次起飞，其间涉及撤轮挡等共几十个保障节点、十几家驻场单位，而各民航运行主体隶属关系各不相同，存在较大的信息壁垒，机场协同决策系统（Airport Collaborative Decision Making，A-CDM）应运而生。
CDM是面向机场的协调决策方法，通过信息态势共享来改善空管能力，优化航班延误及成本计算等问题。民航局今年发布的《机场协同决策实施规范》里统一和具体地列出了航班运行全流程共48个保障节点。其中，航空器实际入位时刻、推出时刻均对机场运行保障具有重要作用。但是在实际运行中，这些关键节点数据存在缺失度较高、人力化程度高、难以追溯查实、数据准确度低的问题。
远程塔台、孪生机场等机场辅助系统可为获取保障节点信息提供技术和数据支撑。在这些系统中，视频监控设备都扮演了重要角色。相较于场面雷达监视系统，视频监控都有低成本且覆盖广的优点，可以有效监视机场场面态势，为管制人员提供直观的图像信息。目前，在停机位处布设的大量监控设备仅具备传统记录和查看功能，无法智能地采集数据，反馈地面服务进程。因此，如何通过视觉的方式，利用监控视频准确地获得飞机入位、推出时刻已成为重要问题。
发明内容
有鉴于此，本发明提出一种飞机入离位状态识别方法，通过低成本的视频监控为机场、航司等单位提供准确的入离位数据资源，助力机场运行管理精细化。
为达到上述目的，本发明的技术方案是这样实现的：
一种飞机入离位状态识别方法，包括如下步骤
步骤1：构建机场场面飞机数据集，包括多个机场场面视频监控设备及机场塔台安全拍摄获得的机场场面飞机的图像数据，并进行数据处理；
步骤2：构建YOLOX-CS飞机检测模型，YOLOX-CS飞机检测模型包括主干特征提取网络、加强特征提取网络和预测部分，并在加强特征提取网络中引入卷积块注意模块，使用步骤1构建的机场场面飞机数据集训练YOLOX-CS飞机检测模型，将待检测视频输入YOLOX-CS飞机检测模型中，得到飞机在该待检测视频各帧图像中的检测框信息，包括检测框左上角坐标、检测框宽度、检测框高度以及检测框置信度；
步骤3：将步骤2得到的每帧检测框信息输入BYTE跟踪器，获得飞机轨迹信息文件，并利用步骤1构建的机场场面飞机数据集测试跟踪效果，得到各项评价指标；
步骤4：处理飞机轨迹信息文件，计算停机位处飞机在监控视频中的位移情况，判断视频中的飞机是推入或推出状态，并通过文本形式反馈入位到达时刻和离位开始时刻至图像中对应飞机轨迹ID上。
进一步的，所述步骤1具体包括
步骤101：采集机场场面监控视频和机场塔台安全拍摄得到的视频和单帧图片，并将其存储入计算机；
步骤102：对视频与图片数据进行筛选，去除重复图像；
步骤103：使用Darklabel软件，在所有视频与图像中标注出飞机的位置包围框，并将包围框信息存成对应文本文件，其中包围框信息包括包围框左上角坐标、包围框宽度、包围框高度、标签类别、视频号、视频帧号；
步骤104：将所有图像及其标注文件划分为“飞机检测训练集-测试集”“飞机跟踪测试集”，构成机场场面飞机数据集。
进一步的，所述步骤2具体包括
步骤201：在训练YOLOX-CS飞机检测模型前，设定YOLOX-CS飞机检测模型瞄框的宽高比值>1，去除呈现瘦高状态的无效检测框；
步骤202：使用机场场面飞机数据集中的“飞机检测训练集-测试集”训练YOLOX-CS飞机检测模型，然后使用机场场面飞机数据集中的“飞机检测训练集-测试集”测试YOLOX-CS飞机检测模型，通过评价指标评价模型优劣，调节训练参数重新训练，得到最终的YOLOX-CS飞机检测模型；
步骤204：将待识别飞机入离位状态的机场场面监控视频输入训练好的YOLOX-CS飞机检测模型中，得到飞机在该视频各帧图像中的信息。
进一步的，所述步骤202中，评价指标包括精确率PPV、灵敏度TPR、F1分数、均值平均精度mAP，其中
式中，TP为正确识别的飞机数；FP为被误检是飞机的其他物体数；FN为漏检的飞机数；n为类别数，
为不同交并比阈值对应的PPV与TPR所绘制出的曲线。
进一步的，所述步骤3包括以下步骤：
步骤301：将步骤103所得的飞机的检测框左上角、检测框宽度、以及检测框高度输入卡尔曼滤波器中预测下一帧里的飞机的轨迹框左上角坐标、宽度和高度；
步骤302：依据检测框置信度分数将步骤2所得飞机的检测框分为多个级别，其中置信度≤0.1的检测框直接舍弃，置信度>0.6的检测框命名为高分检测框，置信度居于中间范围的为低分检测框；
步骤303：视频每帧图像中的飞机轨迹框与飞机多个级别的检测框分别进行相似性匹配，匹配成功则为其分配跟踪ID轨迹，匹配失败则判断检测框置信度分数是否大于跟踪阈值，若大于跟踪阈值则为该检测框分配一个全新ID，最终得到视频中所有的飞机轨迹序列，每架飞机轨迹序列对应一个ID；
步骤304：将“飞机跟踪测试集”输入跟踪器中，并用评价指标评价跟踪效果，评价指标公式如下：
式中， IDFP表示误报的目标个数，IDFN表示漏报的目标个数，GT表示真实目标个数，IDSW表示一个GT的ID在最终结果中的变化次数。
进一步的，所述步骤303中，匹配方法为先计算飞机的检测框与轨迹框的交并比，再利用匈牙利算法寻找最优解。
进一步的，所述步骤4包括以下步骤：
步骤401：将飞机入位时刻定义为飞机到达停机位并停止位移时刻，将飞机离位时刻定义为飞机在停机位开始位移时刻；
步骤402：计算轨迹前后0.5秒的位移像素差值，若小于位移阈值则认为飞机静止，将静止轨迹储存，共储存2秒；若大于等于位移阈值则认为其在移动，并将移动轨迹存储，计算位移状态变化时间；
步骤403：通过移动和静止轨迹的先后关系，判断该飞机是入位还是离位，若飞机是由运动到静止状态，则为飞机入位，否则为飞机离位，并给出入位到达时刻和离位开始时刻。
本发明还提供一种飞机入离位状态识别装置，包括
数据收集模块，用于构建机场场面飞机数据集，包括多个机场场面视频监控设备及机场塔台安全拍摄获得的机场场面飞机的图像数据，并进行数据处理；；
模型构建模块，用于构建YOLOX-CS飞机检测模型，YOLOX-CS飞机检测模型包括主干特征提取网络、加强特征提取网络和预测部分，并在加强特征提取网络中引入卷积块注意模块，使用数据收集模块构建的机场场面飞机数据集训练YOLOX-CS飞机检测模型，将待检测视频输入YOLOX-CS飞机检测模型中，得到飞机在该待检测视频各帧图像中的检测框信息，包括检测框左上角坐标、检测框宽度、检测框高度以及检测框置信度；
数据处理模块，用于将模型构建模块得到的每帧检测框信息输入BYTE跟踪器，获得飞机轨迹信息文件，并利用数据收集模块构建的机场场面飞机数据集测试跟踪效果，得到各项评价指标；
结果输出模块，用于处理飞机轨迹信息文件，计算停机位处飞机在监控视频中的位移情况，判断视频中的飞机是推入或推出状态，并通过文本形式反馈入位到达时刻和离位开始时刻至图像中对应飞机轨迹ID上。
本发明还提供一种终端，所述终端包括一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的一种飞机入离位状态识别方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种飞机入离位状态识别方法。
相对于现有技术，本发明所述的一种飞机入离位状态识别方法具有以下优势：
（1）本发明将图像深度学习的方法应用到机场停机位的入离位检测中，并改进YOLOX-S目标检测模型和BYTE跟踪器，以获得入离位飞机随时间变化情况；
（2）仅利用视觉传感器获得的动态图像数据来计算飞机入离位时刻，方法具有泛化性，不需要在监控视频中标注出停机位；
（3）本发明的飞机入离位识别方法相比传统的方法具有精度高、速度快的优点，识别帧率大于30，可实现实时检测与跟踪。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例所述的一种飞机入离位状态识别方法流程示意图；
图2是本发明实施例中YOLOX-CS飞机检测模型的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明提出的一种飞机入离位状态识别的方法包括步骤：
步骤1：通过多个机场场面视频监控设备及机场塔台安全拍摄获得机场场面飞机的图像数据，然后对数据进行清洗，去除部分重复及无意义数据，接着使用标注软件对清洗后图像数据进行标注，获得机场场面飞机数据集；具体包括
采集机场场面监控设备和机场塔台安全拍摄得到的视频和单帧图片，并将其存储入计算机；
初始数据处理，包括视频与图片的筛选、去除过多重复图像；
使用Darklabel软件，在所有视频与图像中标注出飞机的位置包围框，并将包围框左上角坐标、包围框宽度、包围框高度、标签类别、视频号、视频帧号等信息存成对应文本文件；
将所有图像及其标注的文本文件划分为“飞机检测训练集-测试集”“飞机跟踪测试集”，其中“飞机跟踪测试集”中的数据不重合于“飞机检测训练集-测试集”中的数据，从而构成机场场面飞机数据集。
步骤2：构建YOLOX-CS飞机检测模型，然后使用步骤1构建的机场场面飞机数据集训练YOLOX-CS飞机检测模型，最后将待检测视频输入YOLOX-CS飞机检测模型中，得到飞机在该视频各帧图像中的检测框信息，包括检测框左上角坐标、检测框宽度、检测框高度以及检测框置信度；具体为：
由于场面飞机视觉上呈现扁长状态，因此训练模型前，设定YOLOX-CS飞机检测模型瞄框的宽高比值>1，可去除较呈现瘦高状态的无效检测框，减少模型计算量；
YOLOX-CS飞机检测模型包括主干特征提取网络、加强特征提取网络和预测部分，在其中的加强特征提取网络中引入卷积块注意模块（Convolutional Block AttentionModule，CBAM），增强网络对多层次特征的关注度；
使用机场场面飞机数据集中的“飞机检测训练集-测试集”训练YOLOX-CS飞机检测模型，然后使用机场场面飞机数据集中的“飞机检测训练集-测试集”测试YOLOX-CS飞机检测模型，获得精确率（PPV）、灵敏度（TPR）、F1分数、均值平均精度（Mean AveragePercision，mAP）等评价指标，评价模型优劣，进一步调节训练参数重新训练，最终得到效果较好的YOLOX-CS飞机检测模型。其中评价指标公式如下：
式中，TP为正确识别的飞机数；FP为被误检是飞机的其他物体数；FN为漏检的飞机数；n为类别数，本发明仅检测飞机即n=1；
为不同交并比阈值对应的PPV与TPR所绘制出的曲线。
将待识别飞机入离位状态的机场场面监控视频输入训练好的YOLOX-CS飞机检测模型中，得到飞机在该视频各帧图像中的检测框、视频帧号等信息。
步骤3：利用BYTE跟踪器，将步骤2得到的每帧检测框信息输入BYTE跟踪器，获得包括轨迹框坐标、轨迹ID在内的飞机轨迹信息文件，并利用步骤1构建的机场场面飞机数据集测试跟踪效果，得到各项评价指标；具体为
将步骤2所得飞机的检测框左上角、检测框宽度、以及检测框高度输入卡尔曼滤波器中预测下一帧里飞机的轨迹框左上角坐标、宽度和高度；
依据检测框置信度分数将步骤2所得飞机的检测框分为多个级别，其中置信度≤0.1的检测框直接舍弃，置信度>0.6的检测框命名为高分检测框，置信度居于中间范围的为低分检测框；
视频每帧图像中的飞机轨迹框与飞机多个级别的检测框分别进行相似性匹配，匹配成功则为其分配跟踪ID轨迹，匹配失败则判断检测框置信度分数是否大于设定的跟踪阈值，若大于跟踪阈值则为该检测框分配一个全新ID，最终得到视频中所有的飞机轨迹序列，每架飞机轨迹序列对应一个ID。
将“飞机跟踪测试集”输入跟踪器中，获得跟踪评价指标多目标跟踪精确度（multiple object tracking accuracy，MOTA）等，以此评价跟踪效果。评价指标公式如下：
式中， IDFP表示误报的目标个数，IDFN表示漏报的目标个数，GT表示真实目标个数，IDSW表示一个GT的ID在最终结果中的变化次数。
步骤4：处理飞机轨迹信息文件，平滑数据而后计算停机位处飞机在监控视频中的位移情况，判断视频中的飞机是推入或推出状态，然后并通过文本形式反馈入位到达时刻和离位开始时刻至图像中对应飞机轨迹ID 中；具体包括：
根据民航局相关文件，将飞机入位时刻定义为飞机到达停机位并停止位移时刻，将飞机离位时刻定义为飞机在停机位开始位移时刻；
计算轨迹前后0.5秒（即15帧）的位移像素差值，若小于位移阈值则认为飞机静止，将静止轨迹储存，共储存2秒；若大于等于位移阈值则认为其在移动，并将移动轨迹存储，计算位移状态变化时间；
通过移动和静止轨迹的先后关系，判断该飞机是入位还是离位，即飞机是由运动到静止状态，则为飞机入位，否则为飞机离位，并给出入位到达时刻和离位开始时刻。
如图2所示，为本发明的YOLOX-CS模型的结构示意图，在YOLOX-S中添加了注意力机制模块CBAM。
本发明还提供了一种飞机入离位状态识别装置，包括
数据收集模块，用于构建机场场面飞机数据集，包括多个机场场面视频监控设备及机场塔台安全拍摄获得的机场场面飞机的图像数据，并进行数据处理；；
模型构建模块，用于构建YOLOX-CS飞机检测模型，YOLOX-CS飞机检测模型包括主干特征提取网络、加强特征提取网络和预测部分，并在加强特征提取网络中引入卷积块注意模块，使用数据收集模块构建的机场场面飞机数据集训练YOLOX-CS飞机检测模型，将待检测视频输入YOLOX-CS飞机检测模型中，得到飞机在该待检测视频各帧图像中的检测框信息，包括检测框左上角坐标、检测框宽度、检测框高度以及检测框置信度；
数据处理模块，用于将模型构建模块得到的每帧检测框信息输入BYTE跟踪器，获得飞机轨迹信息文件，并利用数据收集模块构建的机场场面飞机数据集测试跟踪效果，得到各项评价指标；
结果输出模块，用于处理飞机轨迹信息文件，计算停机位处飞机在监控视频中的位移情况，判断视频中的飞机是推入或推出状态，并通过文本形式反馈入位到达时刻和离位开始时刻至图像中对应飞机轨迹ID上。
本发明还提供一种与前述实施例所提供的飞机入离位状态识别方法对应的计算机可读存储介质，计算机可读存储介质为光盘，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的飞机入离位状态识别方法。需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存 储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光 学、磁性存储介质，在此不再一一赘述。
本发明还提供一种与前述实施例所提供的飞机入离位状态识别方法对应的处理器，处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称 CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用 集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管 逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理 器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种飞机入离位状态识别方法，其特征在于：包括如下步骤
步骤1：构建机场场面飞机数据集，包括多个机场场面视频监控设备及机场塔台安全拍摄获得的机场场面飞机的图像数据，并进行数据处理；
步骤2：构建YOLOX-CS飞机检测模型，YOLOX-CS飞机检测模型包括主干特征提取网络、加强特征提取网络和预测部分，并在加强特征提取网络中引入卷积块注意模块，使用步骤1构建的机场场面飞机数据集训练YOLOX-CS飞机检测模型，将待检测视频输入YOLOX-CS飞机检测模型中，得到飞机在该待检测视频各帧图像中的检测框信息，包括检测框左上角坐标、检测框宽度、检测框高度以及检测框置信度；
步骤3：将步骤2得到的每帧检测框信息输入BYTE跟踪器，获得飞机轨迹信息文件，并利用步骤1构建的机场场面飞机数据集测试跟踪效果，得到各项评价指标；
步骤4：处理飞机轨迹信息文件，计算停机位处飞机在监控视频中的位移情况，判断视频中的飞机是推入或推出状态，并通过文本形式反馈入位到达时刻和离位开始时刻至图像中对应飞机轨迹ID上。
2.根据权利要求1所述的一种飞机入离位状态识别方法，其特征在于：所述步骤1具体包括
步骤101：采集机场场面监控视频和机场塔台安全拍摄得到的视频和单帧图片，并将其存储入计算机；
步骤102：对视频与图片数据进行筛选，去除重复图像；
步骤103：使用Darklabel软件，在所有视频与图像中标注出飞机的位置包围框，并将包围框信息存成对应文本文件，其中包围框信息包括包围框左上角坐标、包围框宽度、包围框高度、标签类别、视频号、视频帧号；
步骤104：将所有图像及其标注文件划分为“飞机检测训练集-测试集”“飞机跟踪测试集”，构成机场场面飞机数据集。
3.根据权利要求1所述的一种飞机入离位状态识别方法，其特征在于：所述步骤2具体包括
步骤201：在训练YOLOX-CS飞机检测模型前，设定YOLOX-CS飞机检测模型瞄框的宽高比值>1，去除呈现瘦高状态的无效检测框；
步骤202：使用机场场面飞机数据集中的“飞机检测训练集-测试集”训练YOLOX-CS飞机检测模型，然后使用机场场面飞机数据集中的“飞机检测训练集-测试集”测试YOLOX-CS飞机检测模型，通过评价指标评价模型优劣，调节训练参数重新训练，得到最终的YOLOX-CS飞机检测模型；
步骤204：将待识别飞机入离位状态的机场场面监控视频输入训练好的YOLOX-CS飞机检测模型中，得到飞机在该视频各帧图像中的信息。
4.根据权利要求3所述的一种飞机入离位状态识别方法，其特征在于：所述步骤202中，评价指标包括精确率PPV、灵敏度TPR、F1分数、均值平均精度mAP，其中
式中，TP为正确识别的飞机数；FP为被误检是飞机的其他物体数；FN为漏检的飞机数；n为类别数，
为不同交并比阈值对应的PPV与TPR所绘制出的曲线。
5.根据权利要求1所述的一种飞机入离位状态识别方法，其特征在于：所述步骤3包括以下步骤：
步骤301：将步骤103所得的飞机的检测框左上角、检测框宽度、以及检测框高度输入卡尔曼滤波器中预测下一帧里的飞机的轨迹框左上角坐标、宽度和高度；
步骤302：依据检测框置信度分数将步骤2所得飞机的检测框分为多个级别，其中置信度≤0.1的检测框直接舍弃，置信度>0.6的检测框命名为高分检测框，置信度居于中间范围的为低分检测框；
步骤303：视频每帧图像中的飞机轨迹框与飞机多个级别的检测框分别进行相似性匹配，匹配成功则为其分配跟踪ID轨迹，匹配失败则判断检测框置信度分数是否大于跟踪阈值，若大于跟踪阈值则为该检测框分配一个全新ID，最终得到视频中所有的飞机轨迹序列，每架飞机轨迹序列对应一个ID；
步骤304：将“飞机跟踪测试集”输入跟踪器中，并用评价指标评价跟踪效果，评价指标公式如下：
式中， IDFP表示误报的目标个数，IDFN表示漏报的目标个数，GT表示真实目标个数，IDSW表示一个GT的ID在最终结果中的变化次数。
6.根据权利要求1所述的一种飞机入离位状态识别方法，其特征在于：所述步骤303中，匹配方法为先计算飞机的检测框与轨迹框的交并比，再利用匈牙利算法寻找最优解。
7.根据权利要求1所述的一种飞机入离位状态识别方法，其特征在于：所述步骤4包括以下步骤：
步骤401：将飞机入位时刻定义为飞机到达停机位并停止位移时刻，将飞机离位时刻定义为飞机在停机位开始位移时刻；
步骤402：计算轨迹前后0.5秒的位移像素差值，若小于位移阈值则认为飞机静止，将静止轨迹储存，共储存2秒；若大于等于位移阈值则认为其在移动，并将移动轨迹存储，计算位移状态变化时间；
步骤403：通过移动和静止轨迹的先后关系，判断该飞机是入位还是离位，若飞机是由运动到静止状态，则为飞机入位，否则为飞机离位，并给出入位到达时刻和离位开始时刻。
8.一种飞机入离位状态识别装置，包括
数据收集模块，用于构建机场场面飞机数据集，包括多个机场场面视频监控设备及机场塔台安全拍摄获得的机场场面飞机的图像数据，并进行数据处理；；
模型构建模块，用于构建YOLOX-CS飞机检测模型，YOLOX-CS飞机检测模型包括主干特征提取网络、加强特征提取网络和预测部分，并在加强特征提取网络中引入卷积块注意模块，使用数据收集模块构建的机场场面飞机数据集训练YOLOX-CS飞机检测模型，将待检测视频输入YOLOX-CS飞机检测模型中，得到飞机在该待检测视频各帧图像中的检测框信息，包括检测框左上角坐标、检测框宽度、检测框高度以及检测框置信度；
数据处理模块，用于将模型构建模块得到的每帧检测框信息输入BYTE跟踪器，获得飞机轨迹信息文件，并利用数据收集模块构建的机场场面飞机数据集测试跟踪效果，得到各项评价指标；
结果输出模块，用于处理飞机轨迹信息文件，计算停机位处飞机在监控视频中的位移情况，判断视频中的飞机是推入或推出状态，并通过文本形式反馈入位到达时刻和离位开始时刻至图像中对应飞机轨迹ID上。
9.一种终端，其特征在于：所述终端包括一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的一种飞机入离位状态识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1-7中任一所述的一种飞机入离位状态识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310134180.1A CN115880646A (zh) | 2023-02-20 | 2023-02-20 | 一种飞机入离位状态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310134180.1A CN115880646A (zh) | 2023-02-20 | 2023-02-20 | 一种飞机入离位状态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115880646A true CN115880646A (zh) | 2023-03-31 |
Family
ID=85761334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310134180.1A Pending CN115880646A (zh) | 2023-02-20 | 2023-02-20 | 一种飞机入离位状态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115880646A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966045A (zh) * | 2015-04-02 | 2015-10-07 | 北京天睿空间科技有限公司 | 一种基于视频的飞机进出泊位自动检测方法 |
| CN109239702A (zh) * | 2018-10-17 | 2019-01-18 | 北京航空航天大学 | 一种基于目标状态集的机场低空飞鸟数量统计方法 |
| CN110211159A (zh) * | 2019-06-06 | 2019-09-06 | 中国民航科学技术研究院 | 一种基于图像视频处理技术的飞机位置检测系统及方法 |
| CN114283469A (zh) * | 2021-12-14 | 2022-04-05 | 贵州大学 | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 |
| CN114529799A (zh) * | 2022-01-06 | 2022-05-24 | 浙江工业大学 | 一种基于改进型yolov5算法的飞机多目标跟踪方法 |
| CN114694104A (zh) * | 2022-01-05 | 2022-07-01 | 西安电子科技大学 | 一种基于激活函数的改进YOLOv4车辆行人检测算法 |
| CN114937266A (zh) * | 2022-04-24 | 2022-08-23 | 中国科学院海洋研究所 | 一种基于yolox-s的硬壳蛤生物体征识别方法 |
| CN114972410A (zh) * | 2022-06-16 | 2022-08-30 | 上海影谱科技有限公司 | 一种多级匹配视频赛车追踪方法及系统 |
| CN115205965A (zh) * | 2022-06-23 | 2022-10-18 | 南通大学 | 基于改进的yolo_x算法与注意力模块相结合的头盔检测方法 |
| CN115223191A (zh) * | 2022-05-18 | 2022-10-21 | 华南农业大学 | 一种群养生猪行为的识别和跟踪方法 |
| CN115424292A (zh) * | 2022-07-29 | 2022-12-02 | 华南农业大学 | 基于改进YOLOX与DeepSORT的鱼群跟踪方法 |
| CN115482483A (zh) * | 2022-08-03 | 2022-12-16 | 浙江高信技术股份有限公司 | 一种交通视频目标跟踪装置、方法及存储介质 |
| CN115546260A (zh) * | 2022-09-21 | 2022-12-30 | 中国船舶集团有限公司第七一一研究所 | 目标识别跟踪方法、装置、电子设备及存储介质 |
| CN115549533A (zh) * | 2022-10-19 | 2022-12-30 | 中科南京软件技术研究院 | 基于摄像头的一维滑轨控制方法 |
-
2023
- 2023-02-20 CN CN202310134180.1A patent/CN115880646A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966045A (zh) * | 2015-04-02 | 2015-10-07 | 北京天睿空间科技有限公司 | 一种基于视频的飞机进出泊位自动检测方法 |
| CN109239702A (zh) * | 2018-10-17 | 2019-01-18 | 北京航空航天大学 | 一种基于目标状态集的机场低空飞鸟数量统计方法 |
| CN110211159A (zh) * | 2019-06-06 | 2019-09-06 | 中国民航科学技术研究院 | 一种基于图像视频处理技术的飞机位置检测系统及方法 |
| CN114283469A (zh) * | 2021-12-14 | 2022-04-05 | 贵州大学 | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 |
| CN114694104A (zh) * | 2022-01-05 | 2022-07-01 | 西安电子科技大学 | 一种基于激活函数的改进YOLOv4车辆行人检测算法 |
| CN114529799A (zh) * | 2022-01-06 | 2022-05-24 | 浙江工业大学 | 一种基于改进型yolov5算法的飞机多目标跟踪方法 |
| CN114937266A (zh) * | 2022-04-24 | 2022-08-23 | 中国科学院海洋研究所 | 一种基于yolox-s的硬壳蛤生物体征识别方法 |
| CN115223191A (zh) * | 2022-05-18 | 2022-10-21 | 华南农业大学 | 一种群养生猪行为的识别和跟踪方法 |
| CN114972410A (zh) * | 2022-06-16 | 2022-08-30 | 上海影谱科技有限公司 | 一种多级匹配视频赛车追踪方法及系统 |
| CN115205965A (zh) * | 2022-06-23 | 2022-10-18 | 南通大学 | 基于改进的yolo_x算法与注意力模块相结合的头盔检测方法 |
| CN115424292A (zh) * | 2022-07-29 | 2022-12-02 | 华南农业大学 | 基于改进YOLOX与DeepSORT的鱼群跟踪方法 |
| CN115482483A (zh) * | 2022-08-03 | 2022-12-16 | 浙江高信技术股份有限公司 | 一种交通视频目标跟踪装置、方法及存储介质 |
| CN115546260A (zh) * | 2022-09-21 | 2022-12-30 | 中国船舶集团有限公司第七一一研究所 | 目标识别跟踪方法、装置、电子设备及存储介质 |
| CN115549533A (zh) * | 2022-10-19 | 2022-12-30 | 中科南京软件技术研究院 | 基于摄像头的一维滑轨控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| MINGHU WU等: "Improved YOLOX Foreign Object Detection Algorithm for Transmission Lines", HINDAWI WIRELESS COMMUNICATIONS AND MOBILE COMPUTING, pages 1 * |
| PENG DAOGANG等: ""Anomaly identification of critical power plant facilities based on YOLOX-CBAM"", IEEE, pages 649 - 653 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109087510B (zh) | 交通监测方法及装置 | |
| CN108389421B (zh) | 基于图像再识别的停车场精确诱导系统及方法 | |
| Zhangyu et al. | A camera and LiDAR data fusion method for railway object detection | |
| CN112700470A (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| US10163038B2 (en) | Error detection in recognition data | |
| CN107886055A (zh) | 一种用于车辆运动方向判定的逆行检测方法 | |
| CN111127877A (zh) | 一种路况信息的监测方法及装置 | |
| CN106156695B (zh) | 出口和/或入口区域识别方法和装置 | |
| WO2022217630A1 (zh) | 一种车速确定方法、装置、设备和介质 | |
| CN112686923A (zh) | 一种基于双阶段卷积神经网络的目标跟踪方法及系统 | |
| CN111078946A (zh) | 一种基于多目标区域特征聚合的卡口车辆检索方法及系统 | |
| CN114035604B (zh) | 一种视频监控和无人机空地联动的异常目标检测方法 | |
| CN113505638B (zh) | 车流量的监测方法、监测装置及计算机可读存储介质 | |
| US20220237919A1 (en) | Method, Apparatus, and Computing Device for Lane Recognition | |
| CN112487894A (zh) | 基于人工智能的轨道交通保护区自动巡查方法及装置 | |
| CN111524350B (zh) | 车路协同异常行驶状况检测方法、系统、终端设备及介质 | |
| CN112562315B (zh) | 一种获取车流信息的方法、终端及存储介质 | |
| CN110969898A (zh) | 一种船舶高度的检测方法、装置及系统 | |
| CN112906428B (zh) | 影像侦测区域取得方法及空间使用情况的判定方法 | |
| CN115440071B (zh) | 一种自动驾驶违规停车检测方法 | |
| CN112329886A (zh) | 双车牌识别方法、模型训练方法、装置、设备及存储介质 | |
| CN115880646A (zh) | 一种飞机入离位状态识别方法 | |
| CN113743316B (zh) | 基于目标检测的车辆加塞行为识别方法、系统及装置 | |
| CN116311166A (zh) | 交通障碍物识别方法、装置及电子设备 | |
| TWI730509B (zh) | 影像偵測區域取得方法及空間使用情況的判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230331 |
|
| RJ01 | Rejection of invention patent application after publication |