CN113362373A - 基于双孪生网络的复杂机坪区域内飞机跟踪方法 - Google Patents

基于双孪生网络的复杂机坪区域内飞机跟踪方法 Download PDF

Info

Publication number
CN113362373A
CN113362373A CN202110609145.1A CN202110609145A CN113362373A CN 113362373 A CN113362373 A CN 113362373A CN 202110609145 A CN202110609145 A CN 202110609145A CN 113362373 A CN113362373 A CN 113362373A
Authority
CN
China
Prior art keywords
tracking
target
camera
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110609145.1A
Other languages
English (en)
Other versions
CN113362373B (zh
Inventor
杨涛
彭莉鲜
汤传俊
吴敏
杨建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Capital International Airport Co ltd
Original Assignee
Beijing Capital International Airport Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Capital International Airport Co ltd filed Critical Beijing Capital International Airport Co ltd
Priority to CN202110609145.1A priority Critical patent/CN113362373B/zh
Publication of CN113362373A publication Critical patent/CN113362373A/zh
Application granted granted Critical
Publication of CN113362373B publication Critical patent/CN113362373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种基于双孪生网络的复杂机坪区域内飞机跟踪方法。所述方法包括：基于第一摄像机对目标飞机进行跟踪：将基于第一摄像机获取的目标机坪区域图像输入第一孪生网络，并基于获取的第一输出结果获取第一正负样本置信度，基于获取的第二输出结果获取第一跟踪框；基于第二摄像机对目标飞机进行跟踪：将基于第二摄像机获取的目标机坪区域图像输入第二孪生网络，并基于获取的第三输出结果获取第二正负样本置信度，基于获取的第四输出结果获取第二跟踪框，其中，所述第一摄像机和所述第二摄像机位于不同位置；基于第一正负样本置信度和第二正负样本置信度执行相应的跟踪处理策略。根据本发明，能够实现对复杂机坪区域内的目标飞机的稳定跟踪。

Description

基于双孪生网络的复杂机坪区域内飞机跟踪方法
技术领域
本发明属于目标跟踪领域，更具体地，涉及一种基于双孪生网络的复杂机坪区域内飞机跟踪方法。
背景技术
近年来，特定场景下的目标跟踪技术取得了快速发展，从传统的背景差分算法、混合高斯算法、TLD算法、KCF算法和CT算法到新兴的基于深度学习的目标跟踪算法，可谓层出不穷。目前，针对某个使用场景，选择合适的目标跟踪算法，基本可以实现目标的稳定跟踪。同时，上述目标跟踪算法都有开源版本，用户可直接使用。
然而，采用上述目标跟踪算法很难实现对中大型机场的机坪区域内的飞机的长期稳定的跟踪。这是由于中大型机场的机坪区域相对较为复杂，多存在以下情况：
(1)多个飞机同时出现在同一机坪；
(2)某个固定的机坪通常用于停靠特定航空公司的飞机，而特定航空公司的机型通常就固定几个，每个特定机型的飞机外观和形状都很相似；
(3)机坪区域与室内特定场景不同，还需涉及到光照、遮挡、雨雪等外在条件的影响。
对于复杂机坪区域的飞机跟踪系统，无论是用于机场相关部门的决策指挥，还是用于辅助增强显示，飞机跟踪系统的稳定可靠与机场的安全运行直接相关。因此，利用各种手段降低复杂机坪区域客观因素对飞机跟踪的影响是十分有必要的。另外，图像的跟踪处理，通常涉及很大的数据量，飞机跟踪系统要得到实际使用，实时处理也是必需满足的条件。
发明内容
本发明的目的在于解决现有的特定场景下的目标跟踪算法无法对复杂机坪区域内的目标飞机进行稳定跟踪的问题。
为了实现上述目的，本发明提供一种基于双孪生网络的复杂机坪区域内飞机跟踪方法，所述基于双孪生网络的复杂机坪区域内飞机跟踪方法包括以下步骤：
基于第一摄像机对目标飞机进行跟踪：将基于所述第一摄像机获取的目标机坪区域图像输入预获取的第一孪生网络，并基于获取的第一输出结果获取第一正负样本置信度，以及基于获取的第二输出结果获取第一跟踪框；
基于第二摄像机对所述目标飞机进行跟踪：将基于所述第二摄像机获取的目标机坪区域图像输入预获取的第二孪生网络，并基于获取的第三输出结果获取第二正负样本置信度，以及基于获取的第四输出结果获取第二跟踪框，其中，所述第一摄像机和所述第二摄像机位于不同位置；
基于所述第一正负样本置信度和所述第二正负样本置信度执行相应的跟踪处理策略。
作为优选的是，所述第一孪生网络与所述第二孪生网络的结构相同；
所述第一孪生网络包括模板分支、检测分支、第一输出结果获取环节和第二输出结果获取环节；
所述模板分支包括：
第一图像裁剪环节，用于基于输入的首帧目标机坪区域图像获取目标飞机的跟踪框的位置，基于该跟踪框对所述首帧目标机坪区域图像进行裁剪以获取目标飞机图像，并对该目标飞机图像进行缩放；
第一深度卷积环节，用于对缩放的目标飞机图像进行深度卷积操作，得到第一特征图；
第一卷积层，用于对所述第一特征图谱进行卷积操作，得到第二特征图；
所述检测分支包括：
第二图像裁剪环节，用于基于输入的当前帧目标机坪区域图像获取目标飞机的跟踪框的位置，基于该跟踪框对所述当前帧目标机坪区域图像进行裁剪以获取目标飞机图像，并对该目标飞机图像进行缩放；
第二深度卷积环节，用于对缩放的目标飞机图像进行深度卷积操作，得到第三特征图；
第二卷积层，用于对所述第三特征图进行卷积操作，得到第四特征图；
其中，所述第二深度卷积环节的深度卷积操作方式与所述第一深度卷积环节的深度卷积操作方式相同，所述第二卷积层的卷积操作方式与所述第一卷积层的卷积操作方式不同；
所述第一输出结果获取环节用于将所述第二特征图作为第一卷积核，并基于所述第一卷积核对所述第四特征图进行卷积操作，得到所述第一输出结果；
所述第二输出结果获取环节用于将所述第二特征图作为第二卷积核，并基于所述第二卷积核对所述第四特征图进行卷积操作，得到所述第二输出结果；
其中，所述第一卷积核与所述第二卷积核的尺寸相同，通道数不同。
作为优选的是，所述第一图像裁剪环节将相应的目标飞机图像的尺寸缩放至127*127，所述第二图像裁剪环节将相应的目标飞机图像的尺寸缩放至255*255。
作为优选的是，所述模板分支响应于相应的跟踪初始化指令执行一次任务，所述检测分支响应于输入的每前帧目标机坪区域图像执行一次任务；
所述第一图像裁剪环节基于手动框选的方式或者预定的目标检测算法获取目标飞机的跟踪框的位置；
对于所述第二图像裁剪环节，当所述当前帧目标机坪区域图像为首帧目标机坪区域图像时，该环节采用所述第一图像裁剪环节获取的目标飞机的跟踪框对所述当前帧目标机坪区域图像进行裁剪；当所述当前帧目标机坪区域图像不为首帧目标机坪区域图像时，该环节采用上一帧目标机坪区域图像所对应的跟踪框对所述当前帧目标机坪区域图像进行裁剪。
作为优选的是，基于所述第一正负样本置信度和所述第二正负样本置信度执行相应的跟踪处理策略包括：当所述第一正负样本置信度和所述第二正负样本置信度均高于预定的置信度上限阈值时，保持当前所述第一摄像机和所述第二摄像机对所述目标飞机的跟踪；
当所述第一正负样本置信度高于所述置信度上限阈值且所述第二正负样本置信度低于所述置信度上限阈值时，基于所述第一摄像机的当前跟踪框对所述第二摄像机的跟踪进行初始化；
当所述第一正负样本置信度低于所述置信度上限阈值且所述第二正负样本置信度高于所述置信度上限阈值时，基于所述第二摄像机的当前跟踪框对所述第一摄像机的跟踪进行初始化；
当所述第一正负样本置信度和所述第二正负样本置信度均低于预定的置信度下限阈值时，对此种情况进行监测，若此种情况的持续时间达到预定的时间阈值，停止当前所述第一摄像机和所述第二摄像机对所述目标飞机的跟踪。
作为优选的是，所述置信度上限阈值为0.85，所述置信度下限阈值为0.6，所述时间阈值为3秒。
作为优选的是，所述基于所述第一摄像机的当前跟踪框对所述第二摄像机的跟踪进行初始化包括：
获取所述第一摄像机的当前跟踪框的一个端点坐标；
对获取的端点坐标进行单应变换，得到参考端点坐标；
将所述参考端点坐标作为所述第二摄像机的初始化跟踪框的相应端点的坐标。
作为优选的是，所述对获取的端点坐标进行单应变换，得到参考端点坐标基于如下公式实现：
Figure BDA0003095284640000051
上式中，x1和y1分别为所述第一摄像机的当前跟踪框的一个端点的横坐标和纵坐标，x2和y2分别为参考端点的横坐标和纵坐标，
Figure BDA0003095284640000052
为单应变换矩阵。
作为优选的是，所述单应变换矩阵的求解方式为：
基于所述第一摄像机获取第一目标机坪区域图像；
基于所述第二摄像机获取第二目标机坪区域图像；
在所述第一目标机坪区域图像中选取四个点，在所述第二目标机坪区域图像中选取相应的四个点，以获取四个点对；
将所述四个点对代入公式(1)，获取所述单应变换矩阵中的八个未知参数。
作为优选的是，所述第一摄像机对应的跟踪框和所述第二摄像机对象的跟踪框均为矩形跟踪框；
所述第一摄像机的当前跟踪框的一个端点为所述矩形跟踪框的左上端或者右下端。
本发明的有益效果在于：
本发明的基于双孪生网络的复杂机坪区域内飞机跟踪方法，第一步基于第一摄像机对目标飞机进行跟踪：将基于所述第一摄像机获取的目标机坪区域图像输入预获取的第一孪生网络，并基于获取的第一输出结果获取第一正负样本置信度，以及基于获取的第二输出结果获取第一跟踪框；第二步基于第二摄像机对所述目标飞机进行跟踪：将基于所述第二摄像机获取的目标机坪区域图像输入预获取的第二孪生网络，并基于获取的第三输出结果获取第二正负样本置信度，以及基于获取的第四输出结果获取第二跟踪框，其中，所述第一摄像机和所述第二摄像机位于不同位置；第三步基于所述第一正负样本置信度和所述第二正负样本置信度执行相应的跟踪处理策略。
本发明的基于双孪生网络的复杂机坪区域内飞机跟踪方法，采用两个安装位置不同的摄像机分别基于相应的孪生网络对复杂机坪区域内的目标飞机进行跟踪，并基于预定的策略对基于两个摄像机获取的飞机跟踪结果优化。如此设置，能够有效地降低目标飞机跟踪失败的概率，从而实现对复杂机坪区域内的目标飞机的稳定跟踪。
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的实施例的基于双孪生网络的复杂机坪区域内飞机跟踪方法的实现流程图；
图2示出了根据本发明的实施例的孪生网络的框架图；
图3示出了根据本发明的实施例的基于双孪生网络的复杂机坪区域内飞机跟踪方法的原理框图。
具体实施方式
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
实施例：图1示出了本发明实施例的基于双孪生网络的复杂机坪区域内飞机跟踪方法的实现流程图。参照图1，本发明实施例的基于双孪生网络的复杂机坪区域内飞机跟踪方法包括以下步骤：
步骤S100、基于第一摄像机对目标飞机进行跟踪：将基于所述第一摄像机获取的目标机坪区域图像输入预获取的第一孪生网络，并基于获取的第一输出结果获取第一正负样本置信度，以及基于获取的第二输出结果获取第一跟踪框；
步骤S200、基于第二摄像机对所述目标飞机进行跟踪：将基于所述第二摄像机获取的目标机坪区域图像输入预获取的第二孪生网络，并基于获取的第三输出结果获取第二正负样本置信度，以及基于获取的第四输出结果获取第二跟踪框，其中，所述第一摄像机和所述第二摄像机位于不同位置；
步骤S300、基于所述第一正负样本置信度和所述第二正负样本置信度执行相应的跟踪处理策略。
进一步地，本发明实施例中，所述第一孪生网络与所述第二孪生网络的结构相同；
所述第一孪生网络包括模板分支、检测分支、第一输出结果获取环节和第二输出结果获取环节；
所述模板分支包括：
第一图像裁剪环节，用于基于输入的首帧目标机坪区域图像获取目标飞机的跟踪框的位置，基于该跟踪框对所述首帧目标机坪区域图像进行裁剪以获取目标飞机图像，并对该目标飞机图像进行缩放；
第一深度卷积环节，用于对缩放的目标飞机图像进行深度卷积操作，得到第一特征图；
第一卷积层，用于对所述第一特征图谱进行卷积操作，得到第二特征图；
所述检测分支包括：
第二图像裁剪环节，用于基于输入的当前帧目标机坪区域图像获取目标飞机的跟踪框的位置，基于该跟踪框对所述当前帧目标机坪区域图像进行裁剪以获取目标飞机图像，并对该目标飞机图像进行缩放；
第二深度卷积环节，用于对缩放的目标飞机图像进行深度卷积操作，得到第三特征图；
第二卷积层，用于对所述第三特征图进行卷积操作，得到第四特征图；
其中，所述第二深度卷积环节的深度卷积操作方式与所述第一深度卷积环节的深度卷积操作方式相同，所述第二卷积层的卷积操作方式与所述第一卷积层的卷积操作方式不同；
所述第一输出结果获取环节用于将所述第二特征图作为第一卷积核，并基于所述第一卷积核对所述第四特征图进行卷积操作，得到所述第一输出结果；
所述第二输出结果获取环节用于将所述第二特征图作为第二卷积核，并基于所述第二卷积核对所述第四特征图进行卷积操作，得到所述第二输出结果；
其中，所述第一卷积核与所述第二卷积核的尺寸相同，通道数不同。
再进一步地，本发明实施例中，所述第一图像裁剪环节将相应的目标飞机图像的尺寸缩放至127*127，所述第二图像裁剪环节将相应的目标飞机图像的尺寸缩放至255*255。
再进一步地，本发明实施例中，所述模板分支响应于相应的跟踪初始化指令执行一次任务，所述检测分支响应于输入的每前帧目标机坪区域图像执行一次任务；
所述第一图像裁剪环节基于手动框选的方式或者预定的目标检测算法获取目标飞机的跟踪框的位置；
对于所述第二图像裁剪环节，当所述当前帧目标机坪区域图像为首帧目标机坪区域图像时，该环节采用所述第一图像裁剪环节获取的目标飞机的跟踪框对所述当前帧目标机坪区域图像进行裁剪；当所述当前帧目标机坪区域图像不为首帧目标机坪区域图像时，该环节采用上一帧目标机坪区域图像所对应的跟踪框对所述当前帧目标机坪区域图像进行裁剪。
具体地，本发明实施例中，所采用的第一孪生网络和第二孪生网络的结构相同，均为改进的孪生网络。孪生网络作为一种特征比较网络框架，早在90年代初期就用于指纹识别(P.Baldi and Y.Chauvin,"Neural Networks for Fingerprint Recognition",NeuralComputation,5,1993)。与现有的孪生网络相同的是，本发明实施例的孪生网络也包含两个输入分支。实现时，这两个输入分支分别记为模板分支和检测分支。与现有的孪生网络不同的是，本发明实施例的孪生网络中，模板分支和检测分支均采用相同的深度学习网络进行特征提取，得到两个特征图，分别记为模板特征图和检测特征图。在获取模板特征图和检测特征图之后，现有的孪生网络的处理方式为利用全连接网络直接输出分类和位置结果。然而，在实际使用中，现有孪生网络的这种处理方式导致相应跟踪系统的跟踪性能无法达到实时处理的水平。因此，对于本发明实施例的孪生网络，在获取模板特征图和检测特征图之后，再增加一个深度卷积网络，用于缩小搜索区域，增加运算速度，该网络负责输出分类和位置结果。
图2示出了本发明实施例的孪生网络的框架图。参照图2，本发明实施例的孪生网络的工作流程为：
模板分支在初始图片(Init image)上获取需要跟踪的飞机图像，对获取的飞机图像进行深度卷积操作(DNN)，对得到的特征图再进行一次卷积(Conv1)，并将输出结果作为后续使用的卷积核，分别记为Kernel1和Kernel2，这两个卷积核的尺寸大小一致，但通道数不一样。
检测分支对输入的每帧图片进行与上述模板分支相类似的操作。其中，对获取的飞机图像进行的深度卷积操作全一致，也为DNN，对深度卷积得到的特征图也同样进行卷积操作，为了区分该卷积操作中参数与Conv1的区别，将该卷积操作记为Conv2。Conv2的输出结果记为Map，将Map作为被处理特征，分别与Kernel1和Kernel2作卷积，输出结果(Clsresult)用于正负样本判断，输出结果(Loc result)用于后续的跟踪框位置计算。
上述工作流程中，初始图片(Init image)表示输入的首帧图像，模板分支根据待跟踪飞机的跟踪框位置(可手动方式获取，也可利用目标检测算法自动获取)对初始图片进行裁剪，得到待跟踪飞机的图像，并将该图像缩放至127*127，然后再进行相应的后续操作。模板分支在每次初始化时才执行。当前图片(Cur image)表示当前输入的每帧图像，检测分支根据上一帧图像对应的待跟踪飞机的跟踪框位置(当前帧图像为首帧图像时，采用模板分支中的跟踪框位置)对输入的当前帧图像进行裁剪，得到待跟踪飞机的图像，并将该图像缩放至255*255。然后再进行相应的后续操作，最终计算出当前帧图像中待跟踪飞机的跟踪框位置。检测分支每帧都需要执行。
本发明实施例中，孪生网络的训练过程与一般神经网络的训练过程相类似，先采集目标复杂机坪区域在不同环境情况下的图片，再对采集到的图片进行标注，得到用于训练孪生网络的样本集。在训练孪生网络时，同样可采用一些已有的模型作为训练的初始值，以减少训练的收敛时间。
再进一步地，本发明实施例中，步骤300所述的基于所述第一正负样本置信度和所述第二正负样本置信度执行相应的跟踪处理策略包括：
当所述第一正负样本置信度和所述第二正负样本置信度均高于预定的置信度上限阈值时，保持当前所述第一摄像机和所述第二摄像机对所述目标飞机的跟踪；
当所述第一正负样本置信度高于所述置信度上限阈值且所述第二正负样本置信度低于所述置信度上限阈值时，基于所述第一摄像机的当前跟踪框对所述第二摄像机的跟踪进行初始化；
当所述第一正负样本置信度低于所述置信度上限阈值且所述第二正负样本置信度高于所述置信度上限阈值时，基于所述第二摄像机的当前跟踪框对所述第一摄像机的跟踪进行初始化；
当所述第一正负样本置信度和所述第二正负样本置信度均低于预定的置信度下限阈值时，对此种情况进行监测，若此种情况的持续时间达到预定的时间阈值，停止当前所述第一摄像机和所述第二摄像机对所述目标飞机的跟踪。
再进一步地，本发明实施例中，所述置信度上限阈值为0.85，所述置信度下限阈值为0.6，所述时间阈值为3秒。
再进一步地，本发明实施例中，所述基于所述第一摄像机的当前跟踪框对所述第二摄像机的跟踪进行初始化包括：
获取所述第一摄像机的当前跟踪框的一个端点坐标；
对获取的端点坐标进行单应变换，得到参考端点坐标；
将所述参考端点坐标作为所述第二摄像机的初始化跟踪框的相应端点的坐标。
再进一步地，本发明实施例中，所述对获取的端点坐标进行单应变换，得到参考端点坐标基于如下公式实现：
Figure BDA0003095284640000111
上式中，x1和y1分别为所述第一摄像机的当前跟踪框的一个端点的横坐标和纵坐标，x2和y2分别为参考端点的横坐标和纵坐标，
Figure BDA0003095284640000112
为单应变换矩阵。
再进一步地，本发明实施例中，所述单应变换矩阵的求解方式为：
基于所述第一摄像机获取第一目标机坪区域图像；
基于所述第二摄像机获取第二目标机坪区域图像；
在所述第一目标机坪区域图像中选取四个点，在所述第二目标机坪区域图像中选取相应的四个点，以获取四个点对；
将所述四个点对代入公式(1)，获取所述单应变换矩阵中的八个未知参数。
再进一步地，本发明实施例中，所述第一摄像机对应的跟踪框和所述第二摄像机对象的跟踪框均为矩形跟踪框；
所述第一摄像机的当前跟踪框的一个端点为所述矩形跟踪框的左上端或者右下端。
具体地，本发明实施例中，第一摄像机和第二摄像机的安装位置不同，两者之间具有映射关系。以下对第一摄像机与第二摄像机的映射关系进行详细说明：
假设Cam1和Cam2为两个位置不同的固定摄像机，它们在同一机坪区域的成像画面记为img1和img2，根据共面点成像原理，可知img1与img2之间满足单应变换。设(xa，ya)和(xb，yb)分别为img1和img2中的任意一点，H为单应变换矩阵，(xa，ya)与(xb，yb)之间的转换关系满足如下公式：
Figure BDA0003095284640000121
在img1和img2中找4个点对，点对满足任意三个不共线，将这4个点对带入上述公式，可得8个等式，可据此求解出单应变换矩阵中的8个未知参数。
具体地，图3示出了本发明实施例的基于双孪生网络的复杂机坪区域内飞机跟踪方法的原理框图。参照图3，本发明实施例的基于双孪生网络的复杂机坪区域内飞机跟踪方法的原理为：
步骤1：Cam1利用孪生网络进行单目标跟踪，输出正负样本置信度conf1和跟踪框rect1；
步骤2：Cam2利用孪生网络进行单目标跟踪，输出正负样本置信度conf2和和跟踪框rect2；
步骤3：设置信度上限阈值为th_high，置信度下限阈值为th_low，当跟踪输出的正负样本置信度低于th_low时表示当前的跟踪策略失效，当跟踪输出的正负样本置信度高于th_high时表示当前跟踪的效果良好；
根据步骤1和步骤2的输出，做如下处理：
(1)当conf1＞th_high，conf2＞th_high时，延续现有的跟踪，不作处理；
(2)当conf1＞th_high，conf2＜th_high时，采用Cam1的当前跟踪框对Cam2的跟踪重新初始化；
(3)当conf1＜th_high，conf2＞th_high时，采用Cam2的当前跟踪框对Cam1的跟踪重新初始化；
(4)当conf1＜th_low，conf2＜th_low时，启动定时器，如果连续3秒都出现该情况，则停止跟踪。
步骤4：步骤3中用一个摄像机的当前跟踪框去对另一个摄像机的跟踪作初始化时，跟踪框的坐标需要利用两个摄像机成像原理中的单应关系作转换，以步骤3中的(2)为例，假设(x1，y1)是Cam1的当前跟踪框的左上角坐标，该跟踪框坐标需要经过单应变换H，得到新的跟踪框坐标(x2，y2)作为Cam2的初始化跟踪框的左上角坐标，具体如下：
Figure BDA0003095284640000131
Figure BDA0003095284640000132
本发明实施例中，可以理解的是，当跟踪框为矩形框时，同样可以基于Cam1的当前跟踪框的左下角坐标、右上角坐标或者右下角坐标对Cam2的跟踪框进行初始化。采用Cam2的当前跟踪框对Cam1的跟踪重新初始化的方式与采用Cam1的当前跟踪框对Cam2的跟踪重新初始化的方式相同。
本发明实施例的基于双孪生网络的复杂机坪区域内飞机跟踪方法，一方面通过安装在不同位置的两个摄像机的互相作用，即通过单应变换矩阵将两个摄像机关联起来，以提高单目标跟踪的稳定性。另一方面，通过对现有孪生网络的改进，以使对目标飞机的跟踪达到实时处理的水平。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (10)

1.基于双孪生网络的复杂机坪区域内飞机跟踪方法，其特征在于，包括：
基于第一摄像机对目标飞机进行跟踪：将基于所述第一摄像机获取的目标机坪区域图像输入预获取的第一孪生网络，并基于获取的第一输出结果获取第一正负样本置信度，以及基于获取的第二输出结果获取第一跟踪框；
基于第二摄像机对所述目标飞机进行跟踪：将基于所述第二摄像机获取的目标机坪区域图像输入预获取的第二孪生网络，并基于获取的第三输出结果获取第二正负样本置信度，以及基于获取的第四输出结果获取第二跟踪框，其中，所述第一摄像机和所述第二摄像机位于不同位置；
基于所述第一正负样本置信度和所述第二正负样本置信度执行相应的跟踪处理策略。
2.根据权利要求1所述的复杂机坪区域内飞机跟踪方法，其特征在于，所述第一孪生网络与所述第二孪生网络的结构相同；
所述第一孪生网络包括模板分支、检测分支、第一输出结果获取环节和第二输出结果获取环节；
所述模板分支包括：
第一图像裁剪环节，用于基于输入的首帧目标机坪区域图像获取目标飞机的跟踪框的位置，基于该跟踪框对所述首帧目标机坪区域图像进行裁剪以获取目标飞机图像，并对该目标飞机图像进行缩放；
第一深度卷积环节，用于对缩放的目标飞机图像进行深度卷积操作，得到第一特征图；
第一卷积层，用于对所述第一特征图谱进行卷积操作，得到第二特征图；
所述检测分支包括：
第二图像裁剪环节，用于基于输入的当前帧目标机坪区域图像获取目标飞机的跟踪框的位置，基于该跟踪框对所述当前帧目标机坪区域图像进行裁剪以获取目标飞机图像，并对该目标飞机图像进行缩放；
第二深度卷积环节，用于对缩放的目标飞机图像进行深度卷积操作，得到第三特征图；
第二卷积层，用于对所述第三特征图进行卷积操作，得到第四特征图；
其中，所述第二深度卷积环节的深度卷积操作方式与所述第一深度卷积环节的深度卷积操作方式相同，所述第二卷积层的卷积操作方式与所述第一卷积层的卷积操作方式不同；
所述第一输出结果获取环节用于将所述第二特征图作为第一卷积核，并基于所述第一卷积核对所述第四特征图进行卷积操作，得到所述第一输出结果；
所述第二输出结果获取环节用于将所述第二特征图作为第二卷积核，并基于所述第二卷积核对所述第四特征图进行卷积操作，得到所述第二输出结果；
其中，所述第一卷积核与所述第二卷积核的尺寸相同，通道数不同。
3.根据权利要求2所述的复杂机坪区域内飞机跟踪方法，其特征在于，所述第一图像裁剪环节将相应的目标飞机图像的尺寸缩放至127*127，所述第二图像裁剪环节将相应的目标飞机图像的尺寸缩放至255*255。
4.根据权利要求2所述的复杂机坪区域内飞机跟踪方法，其特征在于，所述模板分支响应于相应的跟踪初始化指令执行一次任务，所述检测分支响应于输入的每前帧目标机坪区域图像执行一次任务；
所述第一图像裁剪环节基于手动框选的方式或者预定的目标检测算法获取目标飞机的跟踪框的位置；
对于所述第二图像裁剪环节，当所述当前帧目标机坪区域图像为首帧目标机坪区域图像时，该环节采用所述第一图像裁剪环节获取的目标飞机的跟踪框对所述当前帧目标机坪区域图像进行裁剪；当所述当前帧目标机坪区域图像不为首帧目标机坪区域图像时，该环节采用上一帧目标机坪区域图像所对应的跟踪框对所述当前帧目标机坪区域图像进行裁剪。
5.根据权利要求1所述的复杂机坪区域内飞机跟踪方法，其特征在于，基于所述第一正负样本置信度和所述第二正负样本置信度执行相应的跟踪处理策略包括：当所述第一正负样本置信度和所述第二正负样本置信度均高于预定的置信度上限阈值时，保持当前所述第一摄像机和所述第二摄像机对所述目标飞机的跟踪；
当所述第一正负样本置信度高于所述置信度上限阈值且所述第二正负样本置信度低于所述置信度上限阈值时，基于所述第一摄像机的当前跟踪框对所述第二摄像机的跟踪进行初始化；
当所述第一正负样本置信度低于所述置信度上限阈值且所述第二正负样本置信度高于所述置信度上限阈值时，基于所述第二摄像机的当前跟踪框对所述第一摄像机的跟踪进行初始化；
当所述第一正负样本置信度和所述第二正负样本置信度均低于预定的置信度下限阈值时，对此种情况进行监测，若此种情况的持续时间达到预定的时间阈值，停止当前所述第一摄像机和所述第二摄像机对所述目标飞机的跟踪。
6.根据权利要求5所述的复杂机坪区域内飞机跟踪方法，其特征在于，所述置信度上限阈值为0.85，所述置信度下限阈值为0.6，所述时间阈值为3秒。
7.根据权利要求5所述的复杂机坪区域内飞机跟踪方法，其特征在于，所述基于所述第一摄像机的当前跟踪框对所述第二摄像机的跟踪进行初始化包括：
获取所述第一摄像机的当前跟踪框的一个端点坐标；
对获取的端点坐标进行单应变换，得到参考端点坐标；
将所述参考端点坐标作为所述第二摄像机的初始化跟踪框的相应端点的坐标。
8.根据权利要求7所述的复杂机坪区域内飞机跟踪方法，其特征在于，所述对获取的端点坐标进行单应变换，得到参考端点坐标基于如下公式实现：
Figure FDA0003095284630000041
上式中，x1和y1分别为所述第一摄像机的当前跟踪框的一个端点的横坐标和纵坐标，x2和y2分别为参考端点的横坐标和纵坐标，
Figure FDA0003095284630000042
为单应变换矩阵。
9.根据权利要求8所述的复杂机坪区域内飞机跟踪方法，其特征在于，所述单应变换矩阵的求解方式为：
基于所述第一摄像机获取第一目标机坪区域图像；
基于所述第二摄像机获取第二目标机坪区域图像；
在所述第一目标机坪区域图像中选取四个点，在所述第二目标机坪区域图像中选取相应的四个点，以获取四个点对；
将所述四个点对代入公式(1)，获取所述单应变换矩阵中的八个未知参数。
10.根据权利要求9所述的复杂机坪区域内飞机跟踪方法，其特征在于，所述第一摄像机对应的跟踪框和所述第二摄像机对象的跟踪框均为矩形跟踪框；
所述第一摄像机的当前跟踪框的一个端点为所述矩形跟踪框的左上端或者右下端。
CN202110609145.1A 2021-06-01 2021-06-01 基于双孪生网络的复杂机坪区域内飞机跟踪方法 Active CN113362373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110609145.1A CN113362373B (zh) 2021-06-01 2021-06-01 基于双孪生网络的复杂机坪区域内飞机跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110609145.1A CN113362373B (zh) 2021-06-01 2021-06-01 基于双孪生网络的复杂机坪区域内飞机跟踪方法

Publications (2)

Publication Number Publication Date
CN113362373A true CN113362373A (zh) 2021-09-07
CN113362373B CN113362373B (zh) 2023-12-15

Family

ID=77530770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110609145.1A Active CN113362373B (zh) 2021-06-01 2021-06-01 基于双孪生网络的复杂机坪区域内飞机跟踪方法

Country Status (1)

Country Link
CN (1) CN113362373B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971091A (zh) * 2014-04-03 2014-08-06 北京首都国际机场股份有限公司 飞机机号自动识别方法
US20170286572A1 (en) * 2016-03-31 2017-10-05 General Electric Company Digital twin of twinned physical system
CN108198200A (zh) * 2018-01-26 2018-06-22 福州大学 跨摄像头场景下指定行人在线跟踪方法
CN109272530A (zh) * 2018-08-08 2019-01-25 北京航空航天大学 面向空基监视场景的目标跟踪方法与装置
US20190147610A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. End-to-End Tracking of Objects
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法
EP3637303A1 (en) * 2018-10-09 2020-04-15 Naver Corporation Methods for generating a base of training images, for training a cnn and for detecting a poi change in a pair of inputted poi images using said cnn
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift
CN111260688A (zh) * 2020-01-13 2020-06-09 深圳大学 一种孪生双路目标跟踪方法
CN111275740A (zh) * 2020-01-19 2020-06-12 武汉大学 一种基于高分辨率孪生网络的卫星视频目标跟踪方法
CN111291679A (zh) * 2020-02-06 2020-06-16 厦门大学 一种基于孪生网络的目标特定响应注意力目标跟踪方法
CN111612820A (zh) * 2020-05-15 2020-09-01 北京百度网讯科技有限公司 多目标跟踪方法、特征提取模型的训练方法和装置
CN112651994A (zh) * 2020-12-18 2021-04-13 零八一电子集团有限公司 地面多目标跟踪方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971091A (zh) * 2014-04-03 2014-08-06 北京首都国际机场股份有限公司 飞机机号自动识别方法
US20170286572A1 (en) * 2016-03-31 2017-10-05 General Electric Company Digital twin of twinned physical system
US20190147610A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. End-to-End Tracking of Objects
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift
CN108198200A (zh) * 2018-01-26 2018-06-22 福州大学 跨摄像头场景下指定行人在线跟踪方法
US20200051250A1 (en) * 2018-08-08 2020-02-13 Beihang University Target tracking method and device oriented to airborne-based monitoring scenarios
CN109272530A (zh) * 2018-08-08 2019-01-25 北京航空航天大学 面向空基监视场景的目标跟踪方法与装置
EP3637303A1 (en) * 2018-10-09 2020-04-15 Naver Corporation Methods for generating a base of training images, for training a cnn and for detecting a poi change in a pair of inputted poi images using said cnn
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法
CN111260688A (zh) * 2020-01-13 2020-06-09 深圳大学 一种孪生双路目标跟踪方法
CN111275740A (zh) * 2020-01-19 2020-06-12 武汉大学 一种基于高分辨率孪生网络的卫星视频目标跟踪方法
CN111291679A (zh) * 2020-02-06 2020-06-16 厦门大学 一种基于孪生网络的目标特定响应注意力目标跟踪方法
CN111612820A (zh) * 2020-05-15 2020-09-01 北京百度网讯科技有限公司 多目标跟踪方法、特征提取模型的训练方法和装置
CN112651994A (zh) * 2020-12-18 2021-04-13 零八一电子集团有限公司 地面多目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
董吉富;刘畅;曹方伟;凌源;高翔;: "基于注意力机制的在线自适应孪生网络跟踪算法", 激光与光电子学进展, no. 02 *
赵康;王正勇;何小海;熊杰;郑新波;: "机场环境下的特定目标跟踪算法", 现代计算机(专业版), no. 31 *
赵春梅;陈忠碧;张建林;: "基于卷积网络的目标跟踪应用研究", 光电工程, no. 01 *

Also Published As

Publication number Publication date
CN113362373B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
US10719940B2 (en) Target tracking method and device oriented to airborne-based monitoring scenarios
CN108846854B (zh) 一种基于运动预测与多特征融合的车辆跟踪方法
CN108388882B (zh) 基于全局-局部rgb-d多模态的手势识别方法
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN110378997B (zh) 一种基于orb-slam2的动态场景建图与定位方法
WO2017084204A1 (zh) 一种二维视频流中的人体骨骼点追踪方法及系统
CN109285179A (zh) 一种基于多特征融合的运动目标跟踪方法
CN109377555B (zh) 自主水下机器人前景视场三维重建目标特征提取识别方法
CN110766720A (zh) 一种基于深度学习的多摄像头车辆跟踪系统
CN109685827B (zh) 一种基于dsp的目标检测与跟踪方法
CN110751056B (zh) 基于改进自顶向下法多人姿态检测的行人运动预测方法
CN108566513A (zh) 一种无人机对运动目标的拍摄方法
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN112200746B (zh) 一种雾天交通场景图像的去雾方法和设备
JP6932402B2 (ja) スマートホームシーン向けのマルチジェスチャー精分割方法
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN112712500A (zh) 一种基于深度神经网络的遥感图像目标提取方法
CN105261038B (zh) 基于双向光流和感知哈希的指尖跟踪方法
CN109635649B (zh) 一种无人机侦察目标的高速检测方法及系统
CN113362373A (zh) 基于双孪生网络的复杂机坪区域内飞机跟踪方法
CN111062384A (zh) 一种基于深度学习的车窗精确定位方法
CN111161219A (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
CN116129329A (zh) 基于深对空卷积和卡尔曼滤波的早期细小火苗检测方法
CN114155273B (zh) 一种结合历史轨迹信息的视频图像单目标跟踪方法
CN112200769B (zh) 一种用于违建检测的定点监控新旧时相图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant