CN112488061A - 一种联合ads-b信息的多航空器检测与跟踪方法 - Google Patents

一种联合ads-b信息的多航空器检测与跟踪方法 Download PDF

Info

Publication number
CN112488061A
CN112488061A CN202011507205.0A CN202011507205A CN112488061A CN 112488061 A CN112488061 A CN 112488061A CN 202011507205 A CN202011507205 A CN 202011507205A CN 112488061 A CN112488061 A CN 112488061A
Authority
CN
China
Prior art keywords
aircraft
ads
tracking
information
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011507205.0A
Other languages
English (en)
Other versions
CN112488061B (zh
Inventor
张翔
田橪
李文静
胡玉杰
汤应祺
李晶
张建星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011507205.0A priority Critical patent/CN112488061B/zh
Publication of CN112488061A publication Critical patent/CN112488061A/zh
Application granted granted Critical
Publication of CN112488061B publication Critical patent/CN112488061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种联合ADS‑B信息的多航空器检测与跟踪方法，包括以下步骤：S1：对航空器回传的ADS‑B信号进行解码，得到航空器在二维图像中的位置信息和身份标识；S2：将连续两帧二维图像与二维图像中的位置信息和身份标识输入至深度卷积神经网络中，进行训练；S3：利用训练好的深度卷积神经网络，对连续两帧二维图像进行目标检测与跟踪。本发明提出了一个检测及跟踪一体化的跟踪框架，并且结合了多航空器已有的ADS‑B技术对该框架进行辅助训练，缓解在多目标跟踪中由于目标之间相似度过高和相互遮挡造成的目标丢失，ID频繁交换以及轨迹不完整等问题，同时改善了漏检的情况，也使检测结果更加准确。

Description

一种联合ADS-B信息的多航空器检测与跟踪方法
技术领域
本发明属于航空器场面检测技术领域，具体涉及一种联合ADS-B信息的多航空器检测与跟踪方法。
背景技术
随着国内近些年民用航空的发展，全国各地有越来越多的机场建立起来并且规模也在不断的扩大，与此同时机场场面也变得更加的复杂。国际民航组织开展了新的场面监控系统，即“先进场面运动引导控制系统”，该系统要求能够监视机场场面当中运动的目标，引导目标的运动路线以避免不同目标运动发生冲突，其中基于机场场面的监督作为一项基础任务扮演着非常重要的角色。与此同时机场内的多项新技术也得到了广泛的推广与应用，其中包含了ADS-B自动相关监视广播式技术。航空器首先通过ADS-B机载设备从全球卫星导航系统(GNSS)、惯性导航系统(INS)和飞行管理系统(FMS)等其他机载传感器获得飞行的实时数据，这一数据是全方位的，包含位置、高度、时间、速度、航班号信息、驾驶员输入信息和航迹信息等。
借助卫星数据链等通信技术全天候不间断地以广播形式自动播送给其他装有ADS-B设备的航空器及地面基站，从而实现航空器和航空器与航空器和地面监视设备之间信息的实时可见。如何有效地检测、跟踪场面当中的运动目标是实现A-SMGCS的基础，本发明结合ADS-B技术和现有的检测与跟踪技术联合提出了一种新的机场场面视频监督方法。
对于空中交通管制而言，最为显著的优势在于它能够更全面地监控空中交通的运行情况，切实参与到空中交通管制工作的具体流程中，ADS-B技术还会将地面、空中设备以及管制监控系统科学有效地结合在一起，从而实现空地信息的实时互享，一方面可以更好地监控高空的交通运行情况，另一方面还能够更好地服务低空飞行与地面目标。
多航空器跟踪的主要任务是对于连续输入的视频或者图像序列，利用图像信息对图片中航空器进行检测并且在连续帧中对具有同一ID号的航空器进行跨帧之间的关联最终形成一个完整的轨迹。不同于其他的多目标跟踪使用场景，在多航空器跟踪中，目标具有很高的外观相似性，从而使得目前比较常用的检测与跟踪算法很难很好地区分不同的航空器，最终导致跟踪结果比较差，并且很容易发生目标ID的交换。而航空器不同于其他的目标，它自身携带了ADS-B自动相关监视广播式技术，ADS-B技术中包含了许多在跟踪和检测任务中可以使用的信息，比如位置、时间和航班号等，同时ADS-B信号具有较好的实时性，这些都可以用来改善当前的目标检测、跟踪的结果。
发明内容
本发明的目的是为了解决现有目标检测与跟踪算法冗余度较高且跟踪效果较差的问题，提出了一种联合ADS-B信息的多航空器检测与跟踪方法。
本发明的技术方案是：一种联合ADS-B信息的多航空器检测与跟踪方法包括以下步骤：
S1：对航空器回传的ADS-B信号进行解码，得到航空器在二维图像中的位置信息和身份标识；
S2：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至由FPN网络和attention-RPN网络组成的深度卷积神经网络中，进行训练；
S3：利用训练好的深度卷积神经网络，对连续两帧二维图像进行目标检测与跟踪，完成多航空器的目标检测与跟踪。
本发明的有益效果是：
(1)本发明提出了一个检测及跟踪一体化的跟踪框架，并且结合了多航空器已有的ADS-B技术对该框架进行辅助训练，缓解在多目标跟踪中由于目标之间相似度过高和相互遮挡造成的目标丢失，ID频繁交换以及轨迹不完整等问题，同时改善了漏检的情况，也使检测结果更加准确。
(2)相比于传统的检测与跟踪分模块完成的方法，本发明能够大大的提高网络的效率以及速度。
(3)相对于当前的行人跟踪的方法，本发明结合了航空器特有的ADS-B技术，大大的提高了检测准确率和跟踪精度；能够更加有效地为机场提供视频监控功能，提高机场场面航空器管理的效率。
进一步地，步骤S1中，对航空器回传的ADS-B信号进行解码，得到航空器在三维中的位置信息和呼号信息；利用反向映射法，根据相机的位置、航空器在三维中的位置信息和呼号信息，分别得到航空器在二维图像中的位置信息和身份标识。
上述进一步方案的有益效果是：在本发明中，每个航空器有自己特定的呼号，由信号中的呼号信息对每一个位置的飞机做一个特定的身份标识。根据ADS-B信息在传统的检测跟踪算法上做了进一步的改进，从而使得改进后的方法更加适应于机场这个特殊场景下的多航空器跟踪任务。
进一步地，步骤S2包括以下子步骤：
S21：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至FPN网络，进行特征提取，得到特征图F3；
S22：利用attention-RPN网络生成候选框及候选框的边界框信息；
S23：根据候选框的边界框信息和真实边界框信息，计算分类损失函数
Figure BDA0002845292200000031
和回归损失函数
Figure BDA0002845292200000032
其计算公式分别为：
Figure BDA0002845292200000041
Figure BDA0002845292200000042
其中，pi表示anchor为目标的概率，
Figure BDA0002845292200000043
表示真实边界框的标签，log(·)表示对数运算，ti表示anchor的坐标，ti＝{tx,ty,tw,th}，tx表示预测候选框左上顶点的x轴坐标，ty表示预测候选框左上顶点y轴坐标，tw表示预测候选框的宽，th表示预测候选框的高，
Figure BDA0002845292200000044
表示与ti维度相同的向量，R(·)表示损失函数smoothL1运算；
S24：将特征图F3进行循环位移和卷积运算，得到卷积运算结果
Figure BDA0002845292200000045
其计算公式为：
Figure BDA0002845292200000046
其中，Ft(i,j)表示在t时刻的特征图，Ft+1(i+p,j+q)表示在t+1时刻的特征图，p表示第一偏移量，q表示第二偏移量，p∈[-d,d]，q∈[-d,d]，d表示最大位移，i表示特征图中的第一位置x轴方向，j表示特征图中的第二位置y轴方向；
S25：将卷积运算结果
Figure BDA0002845292200000047
输入至深度卷积神经网络的卷积层和全连接层进行预测，得到两帧图像中位置敏感的物体，并根据两帧图像中位置敏感的物体得到位置偏移量delta；
S26：根据位置偏移量delta和真实边界框的真实偏移量计算跟踪损失函数
Figure BDA0002845292200000048
其计算公式为：
Figure BDA0002845292200000049
deltagt＝|boxt+1-boxt|
其中，R(·)表示损失函数smoothL1运算，delta表示位置偏移量，deltagt表示真实边界框的真实差值，boxt表示前一帧图像真实边界框的标注值，boxt+1表示后一帧图像真实边界框的标注值；
S27：计算连续两帧图像的概率损失函数
Figure BDA0002845292200000051
S28：根据分类损失函数
Figure BDA0002845292200000052
回归损失函数
Figure BDA0002845292200000053
跟踪损失函数
Figure BDA0002845292200000054
和概率损失函数
Figure BDA0002845292200000055
计算损失函数L，其计算公式为：
Figure BDA0002845292200000056
S29：利用损失函数L，对深度神经网络进行联合优化训练，得到训练好的深度神经网络。
上述进一步方案的有益效果是：在本发明中，进行特征提取使用了多尺度的思想，从而可以很好地应对图像中物体的尺度相差较大的情况，FPN结构主要包含了自下而上和自上而下以及横向连接三个部分，所以提取到的特征F3是一个具有多尺度信息的特征。得到特征图之后，需要从中寻找感兴趣的目标，即航空器。同时，本发明对相邻两帧图像之间提取到的特征进行一个卷积，通过训练使得网络能够结合卷积结果计算出目标中感兴趣的物体在x,y,w,h上的偏移量，通过这个偏移量以及检测结果得出目标在相邻帧当中的位置，得到一部分检测框，大大提升了检测效果。将四部分损失函数结合起来利用Adam算法对网络进行训练。分类分支主要是预测在不同的位置当中的anchor是否属于航空器，回归分支主要是预测anchor与真实物体位置上的偏移量，利用这个偏移量可以对anchor进行调整，使检测更加准确。在卷积运算中，p和q是偏移量，取值范围为[-d,d]，用于比较特征图中i和j位置附近的一个方形社区中的特性，由最大位移d定义。跟踪损失函数
Figure BDA0002845292200000057
中，delta和deltagt是两帧之间坐标的差值，delta对应网络预测输出，deltagt对应为真实边界框的真实差值，其差值为对应坐标之间的差值。
进一步地，步骤S22中，候选框由两路组成，第一路候选框由attention-RPN网络的原始RPN网络生成候选框及边界框信息；第二路候选框根据ADS-B信号，选择概率区域，生成候选框及边界框信息；其中，以ADS-B信号所处位置为中心，航空器所处跑道位置为水平方向，设置椭圆形状的概率区域。
上述进一步方案的有益效果是：在本发明中，结合了传统的RPN网络以及ADS-B信号，提出了attention-RPN网络，这个网络在原始RPN网络的基础上添加了注意力机制，从而在生成候选区域的同时，结合位置信息，将侧重点放在更有可能出现航空器的位置。这个网络在生成候选框的时候不同于传统的方法，它由两路组成，第一路是原始的RPN网络生成候选框的方式，第二路是由ADS-B信号作为指导，选择一个概率区域，并且在此区域中使用提前设置的anchor。由于航空器在地面航行，跑道所处位置为水平方向扩展，所以设置概率区域形状为椭圆，概率密度由内到外一次降低。
进一步地，步骤S22中，在概率区域中，根据航空器的长宽比例设置anchor，并利用预设的anchor在特征图F3中进行搜寻，得到已跟踪目标Ti。
上述进一步方案的有益效果是：在本发明中，在设置anchor的时候，不同于已有的算法，本发明结合了航空器的外形情况以及航空器在不同方位时的长宽比例设置了适用于航空器的anchor的长宽比例。航空器的长宽比例都保持在1:1，2:1，3:1之中，不会出现长宽比小于1的情况，所以本发明对RPN中预设的anchor形状进行了调整，使其更适于航空器的检测。
进一步地，步骤S27包括以下子步骤：
S271：根据航空器的呼号信息，对每一个ADS-B信号分配一个候选框；
S272：将两帧连续图像中的同一个ADS-B信号的候选框记为正样本，将不同的ADS-B信号的候选框记为负样本；
S273：将三个候选框组成一组，输入至triplet network网络，计算概率损失函数
Figure BDA0002845292200000061
其计算公式为：
Figure BDA0002845292200000071
其中，a表示在连续两帧图像中，同一个ADS-B信号(即At和At+1)所对应的两个正样本框中的At；p表示样本框At+1；n表示在连续两帧图像中，不同ADS-B信号(即At和Bt+1)所对应的负样本框Bt+1；dist(·)表示欧式距离运算，margin表示预设参数。
上述进一步方案的有益效果是：在本发明中，在相邻两帧图像中，本发明将同一个ADS-B信号对应的两个检测框标记为同类，将不同的ADS-B信号对应的检测框标记为异类，然后采用triplet network的方法来生成一个新的loss，从而让网络更好的学习到特征，来区分不同的飞机。triplet network网络能够对于给定的模板图像At，当新来待匹配图像B时，给出B属于A的概率。
进一步地，步骤S3包括以下子步骤：
S31：将新一帧图像输入至FPN网络，利用步骤S21的方法进行特征提取，并利用步骤S22的方法，将特征提取的结果输入至深度卷积神经网络，生成新一帧图像的候选框和分类得分；
S32：根据分类得分计算新一帧图像检测结果Dj，其计算公式为：
Dj＝NMS(τ(S_anchori))
其中，S_anchori表示网络预测出anchor的得分，τ(·)表示阈值函数运算，NMS(·)表示非极大值抑制函数运算；
S33：将已跟踪目标Ti和新一帧图像检测结果Dj输入至深度卷积神经网络，得到相似度得分Sap和IOU得分Siou，其计算公式为：
Sap＝1-tanh(dist(fTi,fDj))
Figure BDA0002845292200000072
其中，fTi表示深度卷积神经网络输出Ti的特征，fDj表示深度卷积神经网络输出Dj的特征，dist(·)表示欧氏距离运算；
S34：根据相似度得分Sap和IOU得分Siou，计算最终得分sij，其计算公式为：
sij＝0.5*Sap+0.5*Siou；
S35：设置候选框的数量，并利用步骤S31-S34的方法，得到每个已跟踪目标和检测结果的得分，并根据每个已跟踪目标和检测结果的得分，得到相似度矩阵F，其表达式为：
Figure BDA0002845292200000081
其中，n表示跟踪目标总数，m表示检测结果总数；
S36：根据相似度矩阵F，利用匈牙利算法进行最终关联，完成多航空器的检测与跟踪。
上述进一步方案的有益效果是：在本发明中，τ(·)为阈值函数运算，作用是滤除得分小于0.5的框。为了使最终的轨迹更加精准，本发明在得到了连续两帧的轨迹与新的检测之间相似度得分后，结合交并比(IOU)来计算最后的相似度矩阵F，考虑了位置因素以及特征相似度因素来辅助关联算法，最后通过匈牙利算法进行关联从而得到最终的轨迹。在训练网络时，不仅考虑检测模块生成检测框时与真实边界框的误差，同时考虑由ADS-B信号所分配的身份标识不同带来的误差，这样就可以有效的利用ADS-B信号来监督完成跟踪任务。
进一步地，步骤S36中，在相似度矩阵F中，利用匈牙利算法进行最终关联的方法为：若已跟踪目标Ti匹配到新的候选框，则利用新的候选框更新新目标的外观特征和边界框信息；若已跟踪目标Ti未匹配到新的候选框，则将此已跟踪目标标记为丢失，并将该目标初始化为一个新的跟踪目标；若已跟踪目标Ti的边界框超出图像范围，则将此已跟踪目标记为终止跟踪。
附图说明
图1为多航空器检测与跟踪方法的流程图；
图2为解码之后的ADS-B信号；
图3为本发明提出的网络整体结构；
图4为本发明网络部分细节，其中(a)为特征提取模块，(b)为结合ADS-B的检测区域生成网络，(c)为结合了ADS-B的跟踪模块，(d)为概率区域的选取；
图5为由若干序列整理出的航空器外观形状；
图6为关联模块以及目标状态示意图；
图7为检测与跟踪结果示意图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
在描述本发明的具体实施例之前，为使本发明的方案更加清楚完整，首先对本发明中出现的缩略语和关键术语定义进行说明：
anchor：一定比例的矩形候选区域；
FPN：Feature Pyramid Network；
IOU：交并比，交并比在计算时选择的是区域，两个边界框相交区域面积比上相并区域面积；
triplet network：三维损失网络。
匈牙利算法：常用的一种求解任务分配问题的组合优化算法。
如图1所示，本发明提供了一种联合ADS-B信息的多航空器检测与跟踪方法，包括以下步骤：
S1：对航空器回传的ADS-B信号进行解码，得到航空器在二维图像中的位置信息和身份标识；
S2：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至由FPN网络和attention-RPN网络组成的深度卷积神经网络中，进行训练；
S3：利用训练好的深度卷积神经网络，对连续两帧二维图像进行目标检测与跟踪，完成多航空器的目标检测与跟踪。
在本发明实施例中，如图2所示，步骤S1中，对航空器回传的ADS-B信号进行解码，得到航空器在三维中的位置信息和呼号信息；利用反向映射法，根据相机的位置、航空器在三维中的位置信息和呼号信息，分别得到航空器在二维图像中的位置信息和身份标识。
在本发明中，每个航空器有自己特定的呼号，由信号中的呼号信息对每一个位置的飞机做一个特定的身份标识。根据ADS-B信息在传统的检测跟踪算法上做了进一步的改进，从而使得改进后的方法更加适应于机场这个特殊场景下的多航空器跟踪任务。
在本发明实施例中，如图3所示，步骤S2包括以下子步骤：
S21：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至FPN网络，进行特征提取，得到特征图F3；
S22：利用attention-RPN网络生成候选框及候选框的边界框信息；
S23：根据候选框的边界框信息和真实边界框信息，计算分类损失函数
Figure BDA0002845292200000101
和回归损失函数
Figure BDA0002845292200000102
其计算公式分别为：
Figure BDA0002845292200000103
Figure BDA0002845292200000104
其中，pi表示anchor为目标的概率，
Figure BDA0002845292200000105
表示真实边界框的标签，log(·)表示对数运算，ti表示anchor的坐标，ti＝{tx,ty,tw,th}，tx表示预测候选框左上顶点的x轴坐标，ty表示预测候选框左上顶点y轴坐标，tw表示预测候选框的宽，th表示预测候选框的高，
Figure BDA0002845292200000111
表示与ti维度相同的向量，R(·)表示损失函数smoothL1运算；
S24：将特征图F3进行循环位移和卷积运算，得到卷积运算结果
Figure BDA0002845292200000112
其计算公式为：
Figure BDA0002845292200000113
其中，Ft(i,j)表示在t时刻的特征图，Ft+1(i+p,j+q)表示在t+1时刻的特征图，p表示第一偏移量，q表示第二偏移量，p∈[-d,d]，q∈[-d,d]，d表示最大位移，i表示特征图中的第一位置x轴方向，j表示特征图中的第二位置y轴方向；
S25：将卷积运算结果
Figure BDA0002845292200000114
输入至深度卷积神经网络的卷积层和全连接层进行预测，得到两帧图像中位置敏感的物体，并根据两帧图像中位置敏感的物体得到位置偏移量delta；
S26：根据位置偏移量delta和真实边界框的真实偏移量计算跟踪损失函数
Figure BDA0002845292200000115
其计算公式为：
Figure BDA0002845292200000116
deltagt＝|boxt+1-boxt|
其中，R(·)表示损失函数smoothL1运算，delta表示位置偏移量，deltagt表示真实边界框的真实差值，boxt表示前一帧图像真实边界框的标注值，boxt+1表示后一帧图像真实边界框的标注值；
S27：计算连续两帧图像的概率损失函数
Figure BDA0002845292200000117
S28：根据分类损失函数
Figure BDA0002845292200000118
回归损失函数
Figure BDA0002845292200000119
跟踪损失函数
Figure BDA00028452922000001110
和概率损失函数
Figure BDA00028452922000001111
计算损失函数L，其计算公式为：
Figure BDA0002845292200000121
S29：利用损失函数L，对深度神经网络进行联合优化训练，得到训练好的深度神经网络。
在本发明中，进行特征提取使用了多尺度的思想，从而可以很好地应对图像中物体的尺度相差较大的情况，FPN结构主要包含了自下而上和自上而下以及横向连接三个部分，如图4(a)所示，所以提取到的特征F3是一个具有多尺度信息的特征。得到特征图之后，需要从中寻找感兴趣的目标，即航空器。同时，本发明对相邻两帧图像之间提取到的特征进行一个卷积，通过训练使得网络能够结合卷积结果计算出目标中感兴趣的物体在x,y,w,h上的偏移量，通过这个偏移量以及检测结果得出目标在相邻帧当中的位置，得到一部分检测框，大大提升了检测效果。将四部分损失函数结合起来利用Adam算法对网络进行训练。分类分支主要是预测在不同的位置当中的anchor是否属于航空器，回归分支主要是预测anchor与真实物体位置上的偏移量，利用这个偏移量可以对anchor进行调整，使检测更加准确。在卷积运算中，p和q是偏移量，取值范围为[-d,d]，用于比较特征图中i和j位置附近的一个方形社区中的特性，由最大位移d定义。跟踪损失函数
Figure BDA0002845292200000122
中，delta和deltagt是两帧之间坐标的差值，delta对应网络预测输出，deltagt对应为真实边界框的真实差值，其差值为对应坐标之间的差值。
在本发明实施例中，如图1所示，步骤S22中，候选框由两路组成，第一路候选框由attention-RPN网络的原始RPN网络生成候选框及边界框信息；第二路候选框根据ADS-B信号，选择概率区域，生成候选框及边界框信息；其中，如图4(d)所示，以ADS-B信号所处位置为中心，航空器所处跑道位置为水平方向，设置椭圆形状的概率区域。
在本发明中，结合了传统的RPN网络以及ADS-B信号，提出了attention-RPN网络，这个网络在原始RPN网络的基础上添加了注意力机制，从而在生成候选区域的同时，结合位置信息，将侧重点放在更有可能出现航空器的位置。这个网络在生成候选框的时候不同于传统的方法，它由两路组成，第一路是原始的RPN网络生成候选框的方式，第二路是由ADS-B信号作为指导，选择一个概率区域，并且在此区域中使用提前设置的anchor。由于航空器在地面航行，跑道所处位置为水平方向扩展，所以设置概率区域形状为椭圆，概率密度由内到外一次降低。
在本发明实施例中，如图4(b)所示，步骤S22中，在概率区域中，根据航空器的长宽比例设置anchor，并利用预设的anchor在特征图F3中进行搜寻，得到已跟踪目标Ti。
在本发明中，如图5所示，在设置anchor的时候，不同于已有的算法，本发明结合了航空器的外形情况以及航空器在不同方位时的长宽比例设置了适用于航空器的anchor的长宽比例。航空器的长宽比例都保持在1:1，2:1，3:1之中，不会出现长宽比小于1的情况，所以本发明对RPN中预设的anchor形状进行了调整，使其更适于航空器的检测。
在本发明实施例中，如图4(c)所示，步骤S27包括以下子步骤：
S271：根据航空器的呼号信息，对每一个ADS-B信号分配一个候选框；
S272：将两帧连续图像中的同一个ADS-B信号的候选框记为正样本，将不同的ADS-B信号的候选框记为负样本；
S273：将三个候选框组成一组，输入至triplet network网络，计算概率损失函数
Figure BDA0002845292200000131
其计算公式为：
Figure BDA0002845292200000132
其中，a表示在连续两帧图像中，同一个ADS-B信号(即At和At+1)所对应的两个正样本框中的At；p表示样本框At+1；n表示在连续两帧图像中，不同ADS-B信号(即At和Bt+1)所对应的负样本框Bt+1；dist(·)表示欧式距离运算，margin表示预设参数。
在本发明中，在相邻两帧图像中，本发明将同一个ADS-B信号对应的两个检测框标记为同类，将不同的ADS-B信号对应的检测框标记为异类，然后采用triplet network的方法来生成一个新的loss，从而让网络更好的学习到特征，来区分不同的飞机。tripletnetwork网络能够对于给定的模板图像At，当新来待匹配图像B时，给出B属于A的概率。margin一般设置为0.5。
在本发明实施例中，如图1所示，步骤S3包括以下子步骤：
S31：将新一帧图像输入至FPN网络，利用步骤S21的方法进行特征提取，并利用步骤S22的方法，将特征提取的结果输入至深度卷积神经网络，生成新一帧图像的候选框和分类得分；
S32：根据分类得分计算新一帧图像检测结果Dj，其计算公式为：
Dj＝NMS(τ(S_anchori))
其中，S_anchori表示网络预测出anchor的得分，τ(·)表示阈值函数运算，NMS(·)表示非极大值抑制函数运算；
S33：将已跟踪目标Ti和新一帧图像检测结果Dj输入至深度卷积神经网络，得到相似度得分Sap和IOU得分Siou，其计算公式为：
Sap＝1-tanh(dist(fTi,fDj))
Figure BDA0002845292200000141
其中，fTi表示深度卷积神经网络输出Ti的特征，fDj表示深度卷积神经网络输出Dj的特征，dist(·)表示欧氏距离运算；
S34：根据相似度得分Sap和IOU得分Siou，计算最终得分sij，其计算公式为：
sij＝0.5*Sap+0.5*Siou；
S35：设置候选框的数量，并利用步骤S31-S34的方法，得到每个已跟踪目标和检测结果的得分，并根据每个已跟踪目标和检测结果的得分，得到相似度矩阵F，其表达式为：
Figure BDA0002845292200000151
其中，n表示跟踪目标总数，m表示检测结果总数；
S36：根据相似度矩阵F，利用匈牙利算法进行最终关联，完成多航空器的检测与跟踪。
在本发明中，τ(·)为阈值函数运算，作用是滤除得分小于0.5的框。为了使最终的轨迹更加精准，本发明在得到了连续两帧的轨迹与新的检测之间相似度得分后，结合交并比(IOU)来计算最后的相似度矩阵F，如图6所示，考虑了位置因素以及特征相似度因素来辅助关联算法，最后通过匈牙利算法进行关联从而得到最终的轨迹。在训练网络时，不仅考虑检测模块生成检测框时与真实边界框的误差，同时考虑由ADS-B信号所分配的身份标识不同带来的误差，这样就可以有效的利用ADS-B信号来监督完成跟踪任务。
在本发明实施例中，如图1所示，步骤S36中，在相似度矩阵F中，利用匈牙利算法进行最终关联的方法为：若已跟踪目标Ti匹配到新的候选框，则利用新的候选框更新新目标的外观特征和边界框信息；若已跟踪目标Ti未匹配到新的候选框，则将此已跟踪目标标记为丢失，并将该目标初始化为一个新的跟踪目标；若已跟踪目标Ti的边界框超出图像范围，则将此已跟踪目标记为终止跟踪。
如图7所示，为利用本发明的方法检测与跟踪得到的结果示意图。
本发明的工作原理及过程为：本发明的基本思想是结合目标检测与目标跟踪到一个统一的框架，然后通过添加解码之后的ADS-B信号进行辅助训练，从而完成多航空器跟踪的任务。基于此，本发明提出了一个联合框架来同时完成目标检测和目标跟踪这两个任务，同时对航空器返回的ADS-B信号进行解码，将航空器的位置和序号等信息对应到实际的图片坐标中，在对联合框架进行训练时，添加解码后的ADS-B信号作为新的信号源，辅助网络的训练，最终提高算法的精度与准确度。
本发明的有益效果为：
(1)本发明提出了一个检测及跟踪一体化的跟踪框架，并且结合了多航空器已有的ADS-B技术对该框架进行辅助训练，缓解在多目标跟踪中由于目标之间相似度过高和相互遮挡造成的目标丢失，ID频繁交换以及轨迹不完整等问题，同时改善了漏检的情况，也使检测结果更加准确。
(2)相比于传统的检测与跟踪分模块完成的方法，本发明能够大大的提高网络的效率以及速度。
(3)相对于当前的行人跟踪的方法，本发明结合了航空器特有的ADS-B技术，大大的提高了检测准确率和跟踪精度；能够更加有效地为机场提供视频监控功能，提高机场场面航空器管理的效率。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种联合ADS-B信息的多航空器检测与跟踪方法，其特征在于，包括以下步骤：
S1：对航空器回传的ADS-B信号进行解码，得到航空器在二维图像中的位置信息和身份标识；
S2：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至由FPN网络和attention-RPN网络组成的深度卷积神经网络中，进行训练；
S3：利用训练好的深度卷积神经网络，对连续两帧二维图像进行目标检测与跟踪，完成多航空器的目标检测与跟踪。
2.根据权利要求1所述的联合ADS-B信息的多航空器检测与跟踪方法，其特征在于，所述步骤S1中，对航空器回传的ADS-B信号进行解码，得到航空器在三维中的位置信息和呼号信息；利用反向映射法，根据相机的位置、航空器在三维中的位置信息和呼号信息，分别得到航空器在二维图像中的位置信息和身份标识。
3.根据权利要求1所述的联合ADS-B信息的多航空器检测与跟踪方法，其特征在于，所述步骤S2包括以下子步骤：
S21：将航空器的连续两帧二维图像与二维图像中的位置信息和身份标识输入至FPN网络，进行特征提取，得到特征图F3；
S22：利用attention-RPN网络生成候选框及候选框的边界框信息；
S23：根据候选框的边界框信息和真实边界框信息，计算分类损失函数
Figure FDA0002845292190000011
和回归损失函数
Figure FDA0002845292190000012
其计算公式分别为：
Figure FDA0002845292190000013
Figure FDA0002845292190000014
其中，pi表示anchor为目标的概率，
Figure FDA0002845292190000015
表示真实边界框的标签，log(·)表示对数运算，ti表示anchor的坐标，ti＝{tx,ty,tw,th}，tx表示预测候选框左上顶点的x轴坐标，ty表示预测候选框左上顶点y轴坐标，tw表示预测候选框的宽，th表示预测候选框的高，
Figure FDA0002845292190000021
表示与ti维度相同的向量，R(·)表示损失函数smoothL1运算；
S24：将特征图F3进行循环位移和卷积运算，得到卷积运算结果
Figure FDA0002845292190000022
其计算公式为：
Figure FDA0002845292190000023
其中，Ft(i,j)表示在t时刻的特征图，Ft+1(i+p,j+q)表示在t+1时刻的特征图，p表示第一偏移量，q表示第二偏移量，p∈[-d,d]，q∈[-d,d]，d表示最大位移，i表示特征图中的第一位置x轴方向，j表示特征图中的第二位置y轴方向；
S25：将卷积运算结果
Figure FDA0002845292190000024
输入至深度卷积神经网络的卷积层和全连接层进行预测，得到两帧图像中位置敏感的物体，并根据两帧图像中位置敏感的物体得到位置偏移量delta；
S26：根据位置偏移量delta和真实边界框的真实偏移量计算跟踪损失函数
Figure FDA0002845292190000025
其计算公式为：
Figure FDA0002845292190000026
deltagt＝|boxt+1-boxt|
其中，R(·)表示损失函数smoothL1运算，delta表示位置偏移量，deltagt表示真实边界框的真实差值，boxt表示前一帧图像真实边界框的标注值，boxt+1表示后一帧图像真实边界框的标注值；
S27：计算连续两帧图像的概率损失函数
Figure FDA0002845292190000027
S28：根据分类损失函数
Figure FDA0002845292190000028
回归损失函数
Figure FDA0002845292190000029
跟踪损失函数
Figure FDA00028452921900000210
和概率损失函数
Figure FDA00028452921900000211
计算损失函数L，其计算公式为：
Figure FDA0002845292190000031
S29：利用损失函数L，对深度神经网络进行联合优化训练，得到训练好的深度神经网络。
4.根据权利要求3所述的联合ADS-B信息的多航空器检测与跟踪方法，其特征在于，所述步骤S22中，候选框由两路组成，第一路候选框由attention-RPN网络的原始RPN网络生成候选框及边界框信息；第二路候选框根据ADS-B信号，选择概率区域，生成候选框及边界框信息；其中，以ADS-B信号所处位置为中心，航空器所处跑道位置为水平方向，设置椭圆形状的概率区域。
5.根据权利要求4所述的联合ADS-B信息的多航空器检测与跟踪方法，其特征在于，所述步骤S22中，在概率区域中，根据航空器的长宽比例设置anchor，并利用预设的anchor在特征图F3中进行搜寻，得到已跟踪目标Ti。
6.根据权利要求2所述的联合ADS-B信息的多航空器检测与跟踪方法，其特征在于，所述步骤S27包括以下子步骤：
S271：根据航空器的呼号信息，对每一个ADS-B信号分配一个候选框；
S272：将两帧连续图像中的同一个ADS-B信号的候选框记为正样本，将不同的ADS-B信号的候选框记为负样本；
S273：将三个候选框组成一组，输入至triplet network网络，计算概率损失函数
Figure FDA0002845292190000032
其计算公式为：
Figure FDA0002845292190000033
其中，a表示在连续两帧图像中，同一个ADS-B信号(即At和At+1)所对应的两个正样本框中的At；p表示样本框At+1；n表示在连续两帧图像中，不同ADS-B信号(即At和Bt+1)所对应的负样本框Bt+1；dist(·)表示欧式距离运算，margin表示预设参数。
7.根据权利要求3所述的联合ADS-B信息的多航空器检测与跟踪方法，其特征在于，所述步骤S3包括以下子步骤：
S31：将新一帧图像输入至FPN网络，利用步骤S21的方法进行特征提取，并利用步骤S22的方法，将特征提取的结果输入至深度卷积神经网络，生成新一帧图像的候选框和分类得分；
S32：根据分类得分计算新一帧图像检测结果Dj，其计算公式为：
Dj＝NMS(τ(S_anchori))
其中，S_anchori表示网络预测出anchor的得分，τ(·)表示阈值函数运算，NMS(·)表示非极大值抑制函数运算；
S33：将已跟踪目标Ti和新一帧图像检测结果Dj输入至深度卷积神经网络，得到相似度得分Sap和IOU得分Siou，其计算公式为：
Sap＝1-tanh(dist(fTi,fDj))
Figure FDA0002845292190000041
其中，fTi表示深度卷积神经网络输出Ti的特征，fDj表示深度卷积神经网络输出Dj的特征，dist(·)表示欧氏距离运算；
S34：根据相似度得分Sap和IOU得分Siou，计算最终得分sij，其计算公式为：
sij＝0.5*Sap+0.5*Siou；
S35：设置候选框的数量，并利用步骤S31-S34的方法，得到每个已跟踪目标和检测结果的得分，并根据每个已跟踪目标和检测结果的得分，得到相似度矩阵F，其表达式为：
Figure FDA0002845292190000042
其中，n表示跟踪目标总数，m表示检测结果总数；
S36：根据相似度矩阵F，利用匈牙利算法进行最终关联，完成多航空器的检测与跟踪。
8.根据权利要求7所述的联合ADS-B信息的多航空器检测与跟踪方法，其特征在于，所述步骤S36中，在相似度矩阵F中，利用匈牙利算法进行最终关联的方法为：若已跟踪目标Ti匹配到新的候选框，则利用新的候选框更新新目标的外观特征和边界框信息；若已跟踪目标Ti未匹配到新的候选框，则将此已跟踪目标标记为丢失，并将该目标初始化为一个新的跟踪目标；若已跟踪目标Ti的边界框超出图像范围，则将此已跟踪目标记为终止跟踪。
CN202011507205.0A 2020-12-18 2020-12-18 一种联合ads-b信息的多航空器检测与跟踪方法 Active CN112488061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011507205.0A CN112488061B (zh) 2020-12-18 2020-12-18 一种联合ads-b信息的多航空器检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011507205.0A CN112488061B (zh) 2020-12-18 2020-12-18 一种联合ads-b信息的多航空器检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN112488061A true CN112488061A (zh) 2021-03-12
CN112488061B CN112488061B (zh) 2022-04-29

Family

ID=74914124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011507205.0A Active CN112488061B (zh) 2020-12-18 2020-12-18 一种联合ads-b信息的多航空器检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN112488061B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160250A (zh) * 2021-04-23 2021-07-23 电子科技大学长三角研究院(衢州) 一种基于ads-b位置先验的机场场面监控视频目标分割方法
CN113408442A (zh) * 2021-05-25 2021-09-17 交控科技股份有限公司 列车定位方法、装置、电子设备及可读存储介质
CN113422847A (zh) * 2021-08-23 2021-09-21 中国电子科技集团公司第二十八研究所 一种基于机载ads-b的航空器识别号统一编码方法
CN114022509A (zh) * 2021-09-24 2022-02-08 北京邮电大学 基于多个动物的监控视频的目标跟踪方法及相关设备
CN114358211A (zh) * 2022-01-14 2022-04-15 中科世通亨奇(北京)科技有限公司 基于多模态深度学习的航空器行为意图识别方法
CN116434617A (zh) * 2023-06-15 2023-07-14 北京遥感设备研究所 一种图像对比式ads-b检测方法及装置

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN108090442A (zh) * 2017-12-15 2018-05-29 四川大学 一种基于卷积神经网络的机场场面监视方法
CN108960124A (zh) * 2018-06-28 2018-12-07 北京陌上花科技有限公司 用于行人再识别的图像处理方法及装置
CN108985454A (zh) * 2018-06-28 2018-12-11 西南电子技术研究所（中国电子科技集团公司第十研究所） 民航客机个体目标识别方法
CN109547803A (zh) * 2018-11-21 2019-03-29 北京航空航天大学 一种时空域显著性检测及融合方法
CN110135296A (zh) * 2019-04-30 2019-08-16 上海交通大学 基于卷积神经网络的机场跑道fod检测方法
CN110162104A (zh) * 2019-06-14 2019-08-23 哈尔滨工业大学 仿驾驶员视觉感知的rrt无人机路径规划方法
CN110298404A (zh) * 2019-07-02 2019-10-01 西南交通大学 一种基于三重孪生哈希网络学习的目标跟踪方法
CN110335290A (zh) * 2019-06-04 2019-10-15 大连理工大学 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法
CN111126205A (zh) * 2019-12-12 2020-05-08 南京邮电大学 一种基于旋转定位网络的光学遥感图像飞机目标检测方法
CN111339893A (zh) * 2020-02-21 2020-06-26 哈尔滨工业大学 基于深度学习和无人机的管道检测系统及方法
CN111354017A (zh) * 2020-03-04 2020-06-30 江南大学 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
US20200302248A1 (en) * 2018-01-18 2020-09-24 Polixir Technology Co., Ltd. Recognition system for security check and control method thereof
CN111723632A (zh) * 2019-11-08 2020-09-29 珠海达伽马科技有限公司 一种基于孪生网络的船舶跟踪方法及系统
CN111797716A (zh) * 2020-06-16 2020-10-20 电子科技大学 一种基于Siamese网络的单目标跟踪方法
CN111797785A (zh) * 2020-07-09 2020-10-20 电子科技大学 一种基于机场场面先验与深度学习的多航空器跟踪方法
CN111882580A (zh) * 2020-07-17 2020-11-03 元神科技(杭州)有限公司 一种视频多目标跟踪方法及系统
CN111932952A (zh) * 2020-07-29 2020-11-13 吉林省全星航空技术有限公司 Ads-b监视系统及监视数据处理方法
CN112001225A (zh) * 2020-07-06 2020-11-27 西安电子科技大学 一种在线多目标跟踪方法、系统及应用

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN108090442A (zh) * 2017-12-15 2018-05-29 四川大学 一种基于卷积神经网络的机场场面监视方法
US20200302248A1 (en) * 2018-01-18 2020-09-24 Polixir Technology Co., Ltd. Recognition system for security check and control method thereof
CN108960124A (zh) * 2018-06-28 2018-12-07 北京陌上花科技有限公司 用于行人再识别的图像处理方法及装置
CN108985454A (zh) * 2018-06-28 2018-12-11 西南电子技术研究所（中国电子科技集团公司第十研究所） 民航客机个体目标识别方法
CN109547803A (zh) * 2018-11-21 2019-03-29 北京航空航天大学 一种时空域显著性检测及融合方法
CN110135296A (zh) * 2019-04-30 2019-08-16 上海交通大学 基于卷积神经网络的机场跑道fod检测方法
CN110335290A (zh) * 2019-06-04 2019-10-15 大连理工大学 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN110162104A (zh) * 2019-06-14 2019-08-23 哈尔滨工业大学 仿驾驶员视觉感知的rrt无人机路径规划方法
CN110298404A (zh) * 2019-07-02 2019-10-01 西南交通大学 一种基于三重孪生哈希网络学习的目标跟踪方法
CN110675423A (zh) * 2019-08-29 2020-01-10 电子科技大学 一种基于孪生神经网络和注意力模型的无人机跟踪方法
CN111723632A (zh) * 2019-11-08 2020-09-29 珠海达伽马科技有限公司 一种基于孪生网络的船舶跟踪方法及系统
CN111126205A (zh) * 2019-12-12 2020-05-08 南京邮电大学 一种基于旋转定位网络的光学遥感图像飞机目标检测方法
CN111339893A (zh) * 2020-02-21 2020-06-26 哈尔滨工业大学 基于深度学习和无人机的管道检测系统及方法
CN111354017A (zh) * 2020-03-04 2020-06-30 江南大学 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN111797716A (zh) * 2020-06-16 2020-10-20 电子科技大学 一种基于Siamese网络的单目标跟踪方法
CN112001225A (zh) * 2020-07-06 2020-11-27 西安电子科技大学 一种在线多目标跟踪方法、系统及应用
CN111797785A (zh) * 2020-07-09 2020-10-20 电子科技大学 一种基于机场场面先验与深度学习的多航空器跟踪方法
CN111882580A (zh) * 2020-07-17 2020-11-03 元神科技(杭州)有限公司 一种视频多目标跟踪方法及系统
CN111932952A (zh) * 2020-07-29 2020-11-13 吉林省全星航空技术有限公司 Ads-b监视系统及监视数据处理方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
H. WU 等: "LGFF-Net: Airport Video Object Segmentation based on Local-Global Feature Fusion Network", 《2020 IEEE 2ND INTERNATIONAL CONFERENCE ON CIVIL AVIATION SAFETY AND INFORMATION TECHNOLOGY》 *
L. MA 等: "A Hybrid CNN-LSTM Model for Aircraft 4D Trajectory Prediction", 《IEEE ACCESS》 *
Q. CHU 等: "Online Multi-object Tracking Using CNN-Based Single Object Tracker with Spatial-Temporal Attention Mechanism", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
Y. XU 等: "DeepMOT: a differentiable framework for training multiple object trackers", 《ARXIV在线公开: ARXIV.ORG/ABS/1906.06618V1》 *
侯明利: "远程塔台运动目标检测算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
田橪: "基于深度学习的多目标跟踪算法研究", 《CNKI在线公开: 10.27005/D.CNKI.GDZKU.2021.001080》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160250A (zh) * 2021-04-23 2021-07-23 电子科技大学长三角研究院(衢州) 一种基于ads-b位置先验的机场场面监控视频目标分割方法
CN113408442A (zh) * 2021-05-25 2021-09-17 交控科技股份有限公司 列车定位方法、装置、电子设备及可读存储介质
CN113408442B (zh) * 2021-05-25 2024-05-17 交控科技股份有限公司 列车定位方法、装置、电子设备及可读存储介质
CN113422847A (zh) * 2021-08-23 2021-09-21 中国电子科技集团公司第二十八研究所 一种基于机载ads-b的航空器识别号统一编码方法
CN113422847B (zh) * 2021-08-23 2021-11-02 中国电子科技集团公司第二十八研究所 一种基于机载ads-b的航空器识别号统一编码方法
CN114022509A (zh) * 2021-09-24 2022-02-08 北京邮电大学 基于多个动物的监控视频的目标跟踪方法及相关设备
CN114358211A (zh) * 2022-01-14 2022-04-15 中科世通亨奇(北京)科技有限公司 基于多模态深度学习的航空器行为意图识别方法
CN114358211B (zh) * 2022-01-14 2022-08-23 中科世通亨奇(北京)科技有限公司 基于多模态深度学习的航空器行为意图识别方法
CN116434617A (zh) * 2023-06-15 2023-07-14 北京遥感设备研究所 一种图像对比式ads-b检测方法及装置
CN116434617B (zh) * 2023-06-15 2023-09-15 北京遥感设备研究所 一种图像对比式ads-b检测方法及装置

Also Published As

Publication number Publication date
CN112488061B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN112488061B (zh) 一种联合ads-b信息的多航空器检测与跟踪方法
CN106981073B (zh) 一种基于无人机的地面运动目标实时跟踪方法及系统
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN107690840B (zh) 无人机视觉辅助导航方法及系统
CN111652179A (zh) 基于点线特征融合激光的语义高精地图构建与定位方法
JP2022520019A (ja) 画像処理方法、装置、移動可能なプラットフォーム、プログラム
CN103162682B (zh) 基于混合现实的室内路径导航方法
CN106840148A (zh) 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
CN108133028A (zh) 基于视频分析与定位信息结合的航空器挂牌方法
CN115167433B (zh) 融合全局视觉的机器人自主探索环境信息的方法及系统
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN105488811A (zh) 一种基于深度梯度的目标跟踪方法与系统
AU2021255130B2 (en) Artificial intelligence and computer vision powered driving-performance assessment
US20230236280A1 (en) Method and system for positioning indoor autonomous mobile robot
CN112833892B (zh) 一种基于轨迹对齐的语义建图方法
CN112325883A (zh) 一种WiFi和视觉多源融合的移动机器人室内定位方法
CN112613668A (zh) 基于人工智能的景区危险区域管控方法
Xiao et al. Geo-spatial aerial video processing for scene understanding and object tracking
CN114283355A (zh) 一种基于小样本学习的多目标濒危动物跟踪方法
CN111797785A (zh) 一种基于机场场面先验与深度学习的多航空器跟踪方法
Notz et al. Extraction and assessment of naturalistic human driving trajectories from infrastructure camera and radar sensors
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
CN114359493A (zh) 一种用于无人船生成三维语义地图的方法和系统
D’Amicantonio et al. Homography estimation for camera calibration in complex topological scenes
CN112364854A (zh) 基于检测跟踪融合的机载目标抵近引导系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant