CN113763416A - 基于目标检测的自动贴标与跟踪方法、装置、设备和介质 - Google Patents

基于目标检测的自动贴标与跟踪方法、装置、设备和介质 Download PDF

Info

Publication number
CN113763416A
CN113763416A CN202010490029.8A CN202010490029A CN113763416A CN 113763416 A CN113763416 A CN 113763416A CN 202010490029 A CN202010490029 A CN 202010490029A CN 113763416 A CN113763416 A CN 113763416A
Authority
CN
China
Prior art keywords
target
moving
tracking
information
moving target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010490029.8A
Other languages
English (en)
Inventor
潘东子
朱江华
沃尔夫冈·哈扎克
何志靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Puluotaike Shanghai Intelligent Technology Co ltd
Original Assignee
Puluotaike Shanghai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Puluotaike Shanghai Intelligent Technology Co ltd filed Critical Puluotaike Shanghai Intelligent Technology Co ltd
Priority to CN202010490029.8A priority Critical patent/CN113763416A/zh
Publication of CN113763416A publication Critical patent/CN113763416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种基于目标检测的自动贴标与跟踪方法、装置、设备和介质，通过获取实时机场场景的视频画面；依据所述视频画面进行目标检测以得到一或多个移动目标；根据检测出的各所述移动目标与预设信息库或雷达监测结果进行匹配，以得到对应各所述移动目标的包含信息集的标记框；利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示。本申请能够使得看到全景画面的同时，还可以直观的看到每个正在移动的飞机的信息，以便调度人员或塔台管理人员能够十分方便的了解航班实况，或直接进行沟通，并且优化计算机负担和降低人工工作难度，大大提高了调度或塔台管理的效率。

Description

基于目标检测的自动贴标与跟踪方法、装置、设备和介质
技术领域
本发明涉及的目标检测跟踪技术领域，特别是涉及一种基于目标检测的自动贴标与跟踪方法、装置、设备和介质。
背景技术
机场塔台在获得机场跑道的全景画面后，有时对机场上移动的飞机是哪个航班并不清楚，对机场实时的航班情况也并不十分清楚，若此时调度安排或沟通时，只能通过其他方式确定是哪个航班以及通话频道，例如查看航班信息、询问地面后勤管理人员等，但这种方式速度满，时常出现错误，造成效率低。因此，需要一种看到全景画面的同时，还可以直观的看到每个正在移动的飞机的信息，以便调度人员或塔台管理人员能够十分方便的了解航班实况，或直接进行沟通。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于目标检测的自动贴标与跟踪方法、装置、设备和介质，以解决现有技术中的问题。
为实现上述目的及其他相关目的，本申请提供一种基于目标检测的自动贴标与跟踪方法，所述方法包括：获取实时机场场景的视频画面；依据所述视频画面进行目标检测以得到一或多个移动目标；根据检测出的各所述移动目标与预设信息库或雷达监测结果进行匹配，以得到对应各所述移动目标的包含信息集的标记框；利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示。
于本申请的一实施例中，所述根据检测出的各所述移动目标与预设信息库进行匹配，包括：提取所述移动目标本体与其周围环境中的像素特征；依据所述像素特征转换为图文信息；根据所述图文信息并结合机场实时信息在预设信息库中进行匹配，以确定所述移动目标并获取对应所述移动目标的信息集。
于本申请的一实施例中，所述像素特征包括：廊桥信息、飞机机型、飞机颜色、机身编号、机身图案、及地面标识中任意一或多个；和/或，所述机场实时信息包括：机场调度信息、近场出场航班信息、飞机注册信息中任意一或多个。
于本申请的一实施例中，所述信息集包括：通信频道、航班号、飞机机型、航空公司、目的地机场、起飞时间、及机长信息中任意一或多个。
于本申请的一实施例中，所述依据所述视频画面进行目标检测以得到一或多个移动目标是依据深度学习目标检测算法得到的；所述深度学习目标检测算法包括：YOLO、RCNN、FastRCNN、FasterRCNN、SSD、及RetinaNet中任意一个。
于本申请的一实施例中，所述利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示，包括：将检测到的各所述移动目标作为初始跟踪目标，获取所述初始跟踪目标的形状与大小并确定所述初始跟踪目标的目标框；对比连续视频画面图像帧上的所述移动目标，以判断其与周围对象是否发生相对移动；当确定所述移动目标发生相对移动时，将所述标记框与所述初始跟踪目标的目标框拼接并显示所述标记框内的信息集，以实现所述标记框与所述移动目标实时的贴标显示。
于本申请的一实施例中，所述方法还包括以下任意一种或多种：1)当所述初始跟踪目标的大小缩减一定比例后，结束所述初始跟踪目标的跟踪；2)当所述初始跟踪目标未发生移动时，暂停所述初始跟踪目标的跟踪；当所述初始跟踪目标未发生移动超过一定时间后，结束所述初始跟踪目标的跟踪；3)当所述初始跟踪目标被遮挡80％以上时，暂停所述初始跟踪目标的跟踪；当所述初始跟踪目标完全被遮挡时，结束所述初始跟踪目标的跟踪；4)当所述初始跟踪目标离开所述视频画面时，结束所述初始跟踪目标的跟踪。
为实现上述目的及其他相关目的，本申请提供一种电子装置，所述装置包括：获取模块，用于获取实时机场场景的视频画面；处理模块，用于依据所述视频画面进行目标检测以得到一或多个移动目标；根据检测出的各所述移动目标与预设信息库或雷达监测结果进行匹配，以得到对应各所述移动目标的包含信息集的标记框；利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请的一种基于目标检测的自动贴标与跟踪方法、装置、设备和介质，通过获取实时机场场景的视频画面；依据所述视频画面进行目标检测以得到一或多个移动目标；根据检测出的各所述移动目标与预设信息库或雷达监测结果进行匹配，以得到对应各所述移动目标的包含信息集的标记框；利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示。
具有以下有益效果：
本申请能够使得看到全景画面的同时，还可以直观的看到每个正在移动的飞机的信息，以便调度人员或塔台管理人员能够十分方便的了解航班实况，或直接进行沟通，并且优化计算机负担和降低人工工作难度，大大提高了调度或塔台管理的效率。
附图说明
图1显示为本申请于一实施例中的基于目标检测的自动贴标与跟踪方法的流程示意图。
图2显示为本申请于一实施例中的机场场景的视频画面的场景示意图。
图3显示为本申请于一实施例中的电子装置的模块示意图。
图4显示为本申请于一实施例中的计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
为解决在塔台看到全景画面的同时，不能直观或及时的看到每个正在移动的飞机的信息的问题，本申请提出一种基于目标检测的自动贴标与跟踪方法、装置、设备和介质，以便调度人员或塔台能够十分方便的了解航班实况，或直接进行沟通。
如图1所示，展示为本申请一实施例中的基于目标检测的自动贴标与跟踪方法的流程示意图。如图所示，所述方法包括：
步骤S101：获取实时机场场景的视频画面。
于本实施例中，所述实时机场场景的视频画面可由机场塔台或高地的摄像装置进行实时采集，其可覆盖几乎机场全部的跑道及栈桥的画面。其中，所述的视频画面可以是全景或广角画面，也可以是针对某一栈桥或跑道的局部画面。可参考图2所示，展示为本实施例中机场场景的视频画面的场景示意图。
步骤S1012：依据所述视频画面进行目标检测以得到一或多个移动目标。
本申请一实施例中，所述依据所述视频画面进行目标检测以得到一或多个移动目标是依据深度学习目标检测算法得到的；所述深度学习目标检测算法包括但不限于：YOLO、RCNN、FastRCNN、FasterRCNN、SSD、及RetinaNet中任意一个。
于本实施例中，针对视频画面进行目标检测在现实中的应用已较为广泛。通常需要检测数字图像中的物体位置以及类别，这里需要构建一个模型，模型的输入一张图片，模型的输出需要圈出图片中所有物体的位置以及物体所属的类别。近年来，出现了很多目标检测的方法，例如YOLO、RCNN、SSD、RetinaNet系列等方法，其中YOLO，SSD，RetinaNet都是one-stage方法，原始RCNN事multi-stage方法，它的延伸FastRCNN以及FasterRCNN则是two-stage方法。RCNN系列方法是先生成候选框，然后根据候选框来进行坐标回归预测，而YOLO，SSD，RetinaNet则是直接进行回归生成坐标回归，没有经过候选框这一步。
举例来说，YOLO方法的流程首先YOLO会把图像看成一个sxs的栅格，每个栅格预测2个bounding boxes以及栅格含有对象的置信度，同时每个栅格还是预测栅格所属的对象类别，然后通过一些处理方式得到最后的结果；然后，YOLO的架构由24层卷积层，4个最大池化层和2个全连接层组成，常规操作最后的输出是7x7x30，这里是7x7代表输入图像的7x7栅格，一一对应，30的前十个代表2个bounding boxes的坐标以及对象的置信度，后20个代表VOC数据集的20个类别；YOLO是一个监督式的网络，有监督就有标签，标签的定义被一个框框起来了，这个框就是真实的标签，框对应的中心在哪个栅格，就代表当前栅格是目标所在的栅格，这个栅格里就会记录目标的标签信息；交并比(IOU)是一个评价两个bounding box相互重合程度的指标，这个指标等于两个bounding box的交集面积除以它们并集的面积。当两个bounding box没有任何交集时，IoU为0，即IoU的最小取值，当两个bounding box完全重合时，IoU为1，即IoU的最大取值，所以IoU的取值范围是[0,1]。在给定一张图后，运行YOLO后，总共有n个bounding box输出出来，可以通过非极大值抑制算法得到最后可靠的结果。大致分两步，第一步根据阈值去除那些置信度低的bounding box，然后进入一个循环，首先挑选出最大置信度的bounding box作为预测输出，然后去除那些与这个最大置信度的bounding box的IoU超过0.5的bounding box，因为可以看到一个对象有很多boundingbox，它们很多是相交的，这样一个对象的bounding box就确定好了，然后，我们再进入循环，找出下一个对象的bounding box，最后直到没有剩余的bounding box，循环结束。
R-CNN：将深度学习应用到目标检测的开创性工作之一，具体有四步：第一步是使用选择性搜索对输入图像提取不同尺寸不同形状大小的候选区域，第二步是选取一个预训练好的深度学习分类模型，将输出层截取掉，将候选区域形变为网络输入需要的固定形状，得到每个候选区域的特征图。第三步是将特征图与类别标签联合，通过多个SVM分类器来进行分类。第四步是将特征图与位置标签联合，通过线性回归模型预测真实边界框。
FastRCNN：RCNN是很慢的，每个候选区域都要通过前向传播，许多候选区域是相互重叠的，FastRCNN还是通过选择性搜索得到候选框，但FastRCNN是将输入图像直接通过预训练模型，将候选框映射到特征图中进行提取感兴趣区域，然后不同大小的区域通过RoIPooling层得到相同大小的特征向量，最后通过两个全连接层得到类别和边界框的预测。
FasterRCNN：FastRCNN需要通过选择性搜索得到许多候选框，才能得到较准确的精度，FasterRCNN针对这一问题，提出将选择性搜索替换成区域候选网络(RPN)，通过网络自动学习提取好的候选区域，从而可以减少候选区域的数目，提高速度并保证了精度。具体做法是将特征提取的网络输出通过一个填充为1的3x3的卷积层变换为通道为512的特征图，这样特征图的每个单元都有512维的特征向量，以每个单元为中心，生成9个不同的锚盒(3个大小，3个不同高宽比)并标注它们，使用单元的特征向量预测锚框的二元类别(foreground-background)以及位置坐标，最后使用非极大值抑制去除相似重复的目标边界框。
SSD：SSD全称是单发多框检测。首先还是通过截断全连接层的VGG网络提取特征，得到Conv6特征图，其中VGG中间层Conv4_3的特征图后面会用到，然后将Conv特征图不断地减半，得到了5个不同大小的特征图，这样，分别在Conv4_3的特征图以及这5个特征图生成锚盒，预测类别与边界框，方法与FasterRCNN类似，对于宽高大的特征图，感受野小，锚框多，适合检测小的物体，而对于宽高小的特征图，感受野大，锚框少，则适合检测大的物体，所以SSD还是一种多尺度的目标检测网络。
RetinaNet：上面介绍了one-stage的检测器(SSD，YOLO)以及two-stage的检测器(RCNN系列)，但往往two-stage的检测器性能要强于one-stage，但速度要慢，RetinaNet这篇文章就指出one-stage性能差的一个重要原因是由b-box的foreground-background类别不平衡问题引起的。Two-stage方法会筛选b-box(RPN减少了background的数目)并且训练过程会设置foreground-background的比例，类别不平衡的问题要轻许多，而one-stage的方法则是直接回归最后的边界框预测，对于一个二分类器来讲，某一个类别数目过大，会导致分类器偏向数目大的类别(也就是忽略了重要有物体的foreground，偏向图像的背景)，这个问题会导致目标检测的精度很低。针对这一问题，提出了Focal Loss，通过简单的loss函数改变，来解决类别不平衡的问题。
于本实施例中，在依据上述任意一种深度学习目标检测算法进行目标检测得到的一或多个目标后，通过连续画面帧的对比，可以找到其中移动的目标，以作为本申请所需要找到的移动目标。当然，在一些实施例中，还可以对非移动目标进行如步骤A103所述的与预设信息库进行匹配，以得到包含信息集的标记框的步骤。只是在本申请中重点关注的是移动目标，因机场调度分秒必争，稍有失误便容易造成较大的损失，因此，对于已经移动的飞机或车辆，相比于未移动的飞机或车辆，需要了解对应信息的急迫性更高。
步骤S103：根据检测出的各所述移动目标与预设信息库或雷达监测结果进行匹配，以得到对应各所述移动目标的包含信息集的标记框。
一方面，所述根据检测出的各所述移动目标与预设信息库进行匹配，包括：
A、提取所述移动目标本体与其周围环境中的像素特征。
于本实施例中，在检测出所述移动目标后，需要提取移动目标本体上的有用信息，例如飞机颜色、机身编号、机身图案等，另外还可从移动目标周围环境中提取有用信息，例如廊桥位置及标号信息，地面标识等，以作为后续匹配确定该移动目标的关键信息。
具体地，本申请一实施例中，所述像素特征包括但不限于：廊桥信息、飞机机型、飞机颜色、机身编号、机身图案、及地面标识中任意一或多个。
B、依据所述像素特征转换为图文信息。
举例来说，这里可以通过图像识别来识别像素特征中如图案或颜色等图像，然后依据训练模型提取出图案所包含的文本信息，或通过图案比对找到预存与该图案关联的图文信息。
C、根据所述图文信息并结合机场实时信息在预设信息库中进行匹配，以确定所述移动目标并获取对应所述移动目标的信息集。
于本实施例中，有时仅依靠图文信息还无法准确的匹配到移动目标的信心，还可借助机场调度信息、近场出场航班信息、飞机注册信息等机场实时信息。具体地，所述机场实时信息包括但不限于：机场调度信息、近场出场航班信息、飞机注册信息中任意一或多个。
然后在预设信息库中进行匹配，以确定所述移动目标并获取对应所述移动目标的信息集。这里的信息集用于在视频画面中显示，这样调度人员或塔台管理人员在看到视频画面的同时，如出现移动的目标，如移动的飞机，在视频画面中便可直接显示该移动飞机对应的信息集，这样调度人员或塔台管理人员就能够十分方便的了解航班实况，或直接进行沟通。
另一方面，通过机场多次雷达监测，可以获得机场或进场飞机的序列号或设备编码，基于序列号或设备编码，可以自动获取对应飞机的相关信息，如航班号、飞机机型、航空公司、目的地机场、起飞时间等。
需说明的是，传统通过雷达监测飞机以获取相应信息的方式，塔台人员往往无法与真实飞机相匹配，即塔台人员观看到飞机并对应到雷达获取的飞机信息。而本申请结合视频画面进行匹配，能够将雷达监测获得的飞机信息直观地对应到视频画面中相应的飞机上，从而大大提高对飞机挂牌或贴标的效果。
于本申请中，所述信息集包括但不限于：通信频道、航班号、飞机机型、航空公司、目的地机场、起飞时间、及机长信息中任意一或多个。
步骤S104：利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示。
本申请一实施例中，所述步骤S104具体包括：
A、将检测到的各所述移动目标作为初始跟踪目标，获取所述初始跟踪目标的形状与大小并确定所述初始跟踪目标的目标框；
于本实施例中，本申请首先将检测到的各所述移动目标作为初始跟踪目标，然后获取所述初始跟踪目标的形状与大小，其形状与大小可在后需跟踪过程中进行辅助判断。然后根据形状与大小对所述初始跟踪目标设定目标框。
B、对比连续视频画面图像帧上的所述移动目标，以判断其与周围对象是否发生相对移动；
简单来说，所述跟踪器主要用于在一个图像序列中跟踪一个目标，可通过在连续图像帧上跟踪对象以确定其相对于其他对象的相对移动。在最简单的形式中，跟踪可以定义为：当一个物体在一个场景中移动时，估计一个图像平面中物体的轨迹，然后跟踪器对不同帧中跟踪到对象分配一样的标签；另外，根据跟踪域，跟踪器还可以提供以对象为中心的信息，例如物体的方向，面积或形状。举例来说，本申请所述的跟踪器可以是基于全卷积孪生神经网络的目标跟踪算法的SiamFC跟踪器。
C、当确定所述移动目标发生相对移动时，将所述标记框与所述初始跟踪目标的目标框拼接并显示所述标记框内的信息集，以实现所述标记框与所述移动目标实时的贴标显示。
于本实施例中，所述目标框不仅用于标记出所述移动目标的位置，还可间接展示所述移动目标的移动轨迹，以及还可拼接所述标记框，以供对应所述移动目标显示所述标记框内的信息集，从而形成关联显示。
本申请一实施例中，所述方法还包括以下任意一种或多种：
1)当所述初始跟踪目标的大小缩减一定比例后，结束所述初始跟踪目标的跟踪；
2)当所述初始跟踪目标未发生移动时，暂停所述初始跟踪目标的跟踪；当所述初始跟踪目标未发生移动超过一定时间后，结束所述初始跟踪目标的跟踪；
3)当所述初始跟踪目标被遮挡80％以上时，暂停所述初始跟踪目标的跟踪；当所述初始跟踪目标完全被遮挡时，结束所述初始跟踪目标的跟踪；
4)当所述初始跟踪目标离开所述视频画面时，结束所述初始跟踪目标的跟踪。
于本实施例中，由于机场场景动态且繁杂，如果毫无限制的对所有移动的目标进行贴标和跟踪的话，不仅对计算机造成额外的计算负担，还加大了调度人员或塔台管理人员的工作力度。因此，本申请中优选对失去观察价值或即将失去观察价值的移动目标设定相应的暂停跟踪或结束跟踪的相关设置，以优化计算机负担和降低人工工作难度。
举例来说，例如，当所述初始跟踪目标的大小缩减一定比例后，其可对应飞机在当前视频画面中已经走远或即将离开本视频画面，即较大可能已作出调度任务，因此，可以结束对其的跟踪。
再如，当所述初始跟踪目标未发生移动或超过一定时间时，相比于其他移动的目标，这里将未移动的目标的优先级降低，即暂定或结束对他们的跟踪，以释放计算压力，转为优先考虑移动的目标，并且在当这些未移动的目标重新移动时，其相当于重新从步骤102开始重复，即作为新的移动目标进行后续的流程，因此，针对未移动目标所作出的暂停或结束跟踪处理，对该目标后续的动作的检测和跟踪不产生影响。
另外，当目标被遮挡严重时，则暂停或结束对其跟踪，这里主要考虑为谁在前谁的优先级高，即优先看到的或看全的目标优先处理，这样一方面目标的信息集被利用的价值高，另一方面，被遮挡的情况通常属于临时情况，因此，当其减少遮挡时还是可以被重新跟踪或检测的。
综上所述，本申请所述方法提出的一种基于目标检测的自动贴标与跟踪方法、装置、设备和介质，能够使得看到全景画面的同时，还可以直观的看到每个正在移动的飞机的信息，以便调度人员或塔台管理人员能够十分方便的了解航班实况，或直接进行沟通，并且优化计算机负担和降低人工工作难度，大大提高了调度或塔台管理的效率。
在本申请的框架下，可以很方便地加入其它本文未描述的约束。只需把新的约束转化成一种评分机制，即可作为边权重中的一个线性加权项添加到构建的图中实现匹配和追踪。
本申请不仅可以用跨镜追踪车辆，也可用于追踪行人、猫、狗等已知类别的物体。
如图3所示，展示为本申请于一实施例中的电子装置的模块示意图。如图所示，所述装置300包括：
获取模块301，用于获取实时机场场景的视频画面；
处理模块302，用于依据所述视频画面进行目标检测以得到一或多个移动目标；根据检测出的各所述移动目标与预设信息库或雷达监测结果进行匹配，以得到对应各所述移动目标的包含信息集的标记框；利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。
例如，处理模块302可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块302的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图4所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备400包括：存储器401、及处理器402；所述存储器401用于存储计算机指令；所述处理器402运行计算机指令实现如图1所述的方法。
在一些实施例中，所述计算机设备400中的所述存储器401的数量均可以是一或多个，所述处理器402的数量均可以是一或多个，而图4中均以一个为例。
于本申请一实施例中，所述计算机设备400中的处理器402会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器401中，并由处理器402来运行存储在存储器401中的应用程序，从而实现如图1所述的方法。
所述存储器401可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器401存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器402可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中，所述计算机设备400的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图4中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述系统及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述系统及各单元功能的实施例；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供的一种基于目标检测的自动贴标与跟踪方法、装置、设备和介质，通过获取实时机场场景的视频画面；依据所述视频画面进行目标检测以得到一或多个移动目标；根据检测出的各所述移动目标与预设信息库或雷达监测结果进行匹配，以得到对应各所述移动目标的包含信息集的标记框；利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于目标检测的自动贴标与跟踪方法，其特征在于，所述方法包括：
获取实时机场场景的视频画面；
依据所述视频画面进行目标检测以得到一或多个移动目标；
根据检测出的各所述移动目标与预设信息库或雷达监测结果进行匹配，以得到对应各所述移动目标的包含信息集的标记框；
利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示。
2.根据权利要求1所述的方法，其特征在于，所述根据检测出的各所述移动目标与预设信息库进行匹配，包括：
提取所述移动目标本体与其周围环境中的像素特征；
依据所述像素特征转换为图文信息；
根据所述图文信息并结合机场实时信息在预设信息库中进行匹配，以确定所述移动目标并获取对应所述移动目标的信息集。
3.根据权利要求2所述的方法，其特征在于，所述像素特征包括：廊桥信息、飞机机型、飞机颜色、机身编号、机身图案、及地面标识中任意一或多个；和/或，所述机场实时信息包括：机场调度信息、近场出场航班信息、飞机注册信息中任意一或多个。
4.根据权利要求2所述的方法，其特征在于，所述信息集包括：通信频道、航班号、飞机机型、航空公司、目的地机场、起飞时间、及机长信息中任意一或多个。
5.根据权利要求1所述的方法，其特征在于，所述依据所述视频画面进行目标检测以得到一或多个移动目标是依据深度学习目标检测算法得到的；所述深度学习目标检测算法包括：YOLO、RCNN、FastRCNN、FasterRCNN、SSD、及RetinaNet中任意一个。
6.根据权利要求1所述的方法，其特征在于，所述利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示，包括：
将检测到的各所述移动目标作为初始跟踪目标，获取所述初始跟踪目标的形状与大小并确定所述初始跟踪目标的目标框；
对比连续视频画面图像帧上的所述移动目标，以判断其与周围对象是否发生相对移动；
当确定所述移动目标发生相对移动时，将所述标记框与所述初始跟踪目标的目标框拼接并显示所述标记框内的信息集，以实现所述标记框与所述移动目标实时的贴标显示。
7.根据权利要求6中所述的方法，其特征在于，所述方法还包括以下任意一种或多种：
1)当所述初始跟踪目标的大小缩减一定比例后，结束所述初始跟踪目标的跟踪；
2)当所述初始跟踪目标未发生移动时，暂停所述初始跟踪目标的跟踪；当所述初始跟踪目标未发生移动超过一定时间后，结束所述初始跟踪目标的跟踪；
3)当所述初始跟踪目标被遮挡80％以上时，暂停所述初始跟踪目标的跟踪；当所述初始跟踪目标完全被遮挡时，结束所述初始跟踪目标的跟踪；
4)当所述初始跟踪目标离开所述视频画面时，结束所述初始跟踪目标的跟踪。
8.一种电子装置，其特征在于，所述装置包括：
获取模块，用于获取实时机场场景的视频画面；
处理模块，用于依据所述视频画面进行目标检测以得到一或多个移动目标；根据检测出的各所述移动目标与预设信息库或雷达监测结果进行匹配，以得到对应各所述移动目标的包含信息集的标记框；利用视频跟踪器对各所述移动目标进行跟踪，并将所述标记框与所述移动目标进行实时的贴标显示。
9.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至7中任一项所述的方法。
CN202010490029.8A 2020-06-02 2020-06-02 基于目标检测的自动贴标与跟踪方法、装置、设备和介质 Pending CN113763416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010490029.8A CN113763416A (zh) 2020-06-02 2020-06-02 基于目标检测的自动贴标与跟踪方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010490029.8A CN113763416A (zh) 2020-06-02 2020-06-02 基于目标检测的自动贴标与跟踪方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN113763416A true CN113763416A (zh) 2021-12-07

Family

ID=78783003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010490029.8A Pending CN113763416A (zh) 2020-06-02 2020-06-02 基于目标检测的自动贴标与跟踪方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113763416A (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2604278A1 (fr) * 1986-09-19 1988-03-25 Chaffin Yves Procede d'affichage aerien, avion et banderole pour la mise en oeuvre de ce procede
CN101572018A (zh) * 2009-06-01 2009-11-04 民航数据通信有限责任公司 Rvsm空域运行航空器批准有效性检验的装置及方法
CN102509306A (zh) * 2011-10-08 2012-06-20 西安理工大学 一种基于视频的特定目标的跟踪方法
CN102750527A (zh) * 2012-06-26 2012-10-24 浙江捷尚视觉科技有限公司 一种银行场景中长期稳定的人脸检测与跟踪方法及装置
CN102999918A (zh) * 2012-04-19 2013-03-27 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
CN205486304U (zh) * 2016-03-04 2016-08-17 北京理工大学 低功耗便携式实时图像目标检测与跟踪装置
CN105894862A (zh) * 2016-05-05 2016-08-24 中国民用航空华东地区空中交通管理局 一种空中交通管制智能化指挥系统
CN106131491A (zh) * 2016-07-19 2016-11-16 科盾科技股份有限公司 一种用于抓捕目标的装置
CN106203423A (zh) * 2016-06-26 2016-12-07 广东外语外贸大学 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN107392941A (zh) * 2017-07-25 2017-11-24 哈尔滨理工大学 一种飞机起降跟踪系统与方法
CN107578236A (zh) * 2017-10-20 2018-01-12 天津航佳机场设备科技有限公司 一种基于飞机号的桥载设备计量结算管理系统及管理方法
CN108073930A (zh) * 2017-11-17 2018-05-25 维库（厦门）信息技术有限公司 一种基于多个不规则roi的目标检测和跟踪方法
CN108133028A (zh) * 2017-12-28 2018-06-08 北京天睿空间科技股份有限公司 基于视频分析与定位信息结合的航空器挂牌方法
CN108446634A (zh) * 2018-03-20 2018-08-24 北京天睿空间科技股份有限公司 基于视频分析和定位信息结合的航空器持续跟踪方法
CN108470355A (zh) * 2018-04-04 2018-08-31 中山大学 融合卷积网络特征和判别式相关滤波器的目标跟踪方法
CN109597431A (zh) * 2018-11-05 2019-04-09 视联动力信息技术股份有限公司 一种目标跟踪的方法以及装置
CN109691090A (zh) * 2018-12-05 2019-04-26 珊口（深圳）智能科技有限公司 移动目标的监控方法、装置、监控系统及移动机器人
CN109862263A (zh) * 2019-01-25 2019-06-07 桂林长海发展有限责任公司 一种基于图像多维特征识别的移动目标自动跟踪方法
CN110579771A (zh) * 2019-09-12 2019-12-17 南京莱斯信息技术股份有限公司 一种基于激光点云的飞机泊位引导方法
CN111210457A (zh) * 2020-01-08 2020-05-29 北京天睿空间科技股份有限公司 一种视频分析与定位信息结合的航空器挂牌方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2604278A1 (fr) * 1986-09-19 1988-03-25 Chaffin Yves Procede d'affichage aerien, avion et banderole pour la mise en oeuvre de ce procede
CN101572018A (zh) * 2009-06-01 2009-11-04 民航数据通信有限责任公司 Rvsm空域运行航空器批准有效性检验的装置及方法
CN102509306A (zh) * 2011-10-08 2012-06-20 西安理工大学 一种基于视频的特定目标的跟踪方法
CN102999918A (zh) * 2012-04-19 2013-03-27 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
CN102750527A (zh) * 2012-06-26 2012-10-24 浙江捷尚视觉科技有限公司 一种银行场景中长期稳定的人脸检测与跟踪方法及装置
CN205486304U (zh) * 2016-03-04 2016-08-17 北京理工大学 低功耗便携式实时图像目标检测与跟踪装置
CN105894862A (zh) * 2016-05-05 2016-08-24 中国民用航空华东地区空中交通管理局 一种空中交通管制智能化指挥系统
CN106203423A (zh) * 2016-06-26 2016-12-07 广东外语外贸大学 一种融合上下文探测的弱结构感知视觉目标跟踪方法
CN106131491A (zh) * 2016-07-19 2016-11-16 科盾科技股份有限公司 一种用于抓捕目标的装置
CN107392941A (zh) * 2017-07-25 2017-11-24 哈尔滨理工大学 一种飞机起降跟踪系统与方法
CN107578236A (zh) * 2017-10-20 2018-01-12 天津航佳机场设备科技有限公司 一种基于飞机号的桥载设备计量结算管理系统及管理方法
CN108073930A (zh) * 2017-11-17 2018-05-25 维库（厦门）信息技术有限公司 一种基于多个不规则roi的目标检测和跟踪方法
CN108133028A (zh) * 2017-12-28 2018-06-08 北京天睿空间科技股份有限公司 基于视频分析与定位信息结合的航空器挂牌方法
CN108446634A (zh) * 2018-03-20 2018-08-24 北京天睿空间科技股份有限公司 基于视频分析和定位信息结合的航空器持续跟踪方法
CN108470355A (zh) * 2018-04-04 2018-08-31 中山大学 融合卷积网络特征和判别式相关滤波器的目标跟踪方法
CN109597431A (zh) * 2018-11-05 2019-04-09 视联动力信息技术股份有限公司 一种目标跟踪的方法以及装置
CN109691090A (zh) * 2018-12-05 2019-04-26 珊口（深圳）智能科技有限公司 移动目标的监控方法、装置、监控系统及移动机器人
CN109862263A (zh) * 2019-01-25 2019-06-07 桂林长海发展有限责任公司 一种基于图像多维特征识别的移动目标自动跟踪方法
CN110579771A (zh) * 2019-09-12 2019-12-17 南京莱斯信息技术股份有限公司 一种基于激光点云的飞机泊位引导方法
CN111210457A (zh) * 2020-01-08 2020-05-29 北京天睿空间科技股份有限公司 一种视频分析与定位信息结合的航空器挂牌方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ARMANDO FERNANDES ET AL: "Drone, Aircraft and Bird Identification in Video Images Using Object Tracking and Residual Neural Networks", 《ECAI》 *
唐勇等: "一种在机场视频中实现飞机自动挂标牌的新方法", 《江苏大学学报(自然科学版)》 *
徐国标等: "基于YOLO改进算法的远程塔台运动目标检测", 《科学技术与工程》 *
詹昭焕等: "基于倾向流和深度学习的机场运动目标检测", 《交通信息与安全》 *
颜荔: "基于卷积神经网络的遥感图像飞机目标识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
Chen et al. Pointlanenet: Efficient end-to-end cnns for accurate real-time lane detection
CN110188807B (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
US8620026B2 (en) Video-based detection of multiple object types under varying poses
Janahiraman et al. Traffic light detection using tensorflow object detection framework
Romdhane et al. An improved traffic signs recognition and tracking method for driver assistance system
CN111368600A (zh) 遥感图像目标检测识别方法、装置、可读存储介质及设备
Huang et al. An in-car camera system for traffic sign detection and recognition
CN105956632A (zh) 一种检测目标的方法和装置
CN114596555B (zh) 障碍物点云数据筛选方法、装置、电子设备及存储介质
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
CN113920101A (zh) 目标检测方法、装置、设备及存储介质
US20230095533A1 (en) Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling
Masud et al. Traffic congestion avoidance system using foreground estimation and cascade classifier
CN113128476A (zh) 一种基于计算机视觉目标检测的低功耗实时头盔检测方法
Zhang et al. Vehicle detection in UAV aerial images based on improved YOLOv3
Jayasinghe et al. Towards real-time traffic sign and traffic light detection on embedded systems
Wang et al. Traffic police gesture recognition using RGB-D and faster R-CNN
CN113763416A (zh) 基于目标检测的自动贴标与跟踪方法、装置、设备和介质
Devyatkin et al. Neural network traffic signs detection system development
Al Khafaji et al. Traffic Signs Detection and Recognition Using A combination of YOLO and CNN
Zhang et al. Multiple Objects Detection based on Improved Faster R-CNN
Zhao et al. Vision-based Perception with Safety Awareness for UAS Autonomous Landing
Biao et al. Research on image semantic segmentation algorithm based on fully convolutional HED-CRF
Huang et al. Efficient Small-Object Detection in Airport Surface Based on Maintain Feature High Resolution
Namdev et al. Object Detection Techniques based on Deep Learning: A Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination