CN113792631B - 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法 - Google Patents

一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法 Download PDF

Info

Publication number
CN113792631B
CN113792631B CN202111015234.XA CN202111015234A CN113792631B CN 113792631 B CN113792631 B CN 113792631B CN 202111015234 A CN202111015234 A CN 202111015234A CN 113792631 B CN113792631 B CN 113792631B
Authority
CN
China
Prior art keywords
target
feature map
feature
small
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111015234.XA
Other languages
English (en)
Other versions
CN113792631A (zh
Inventor
张翔
张健星
陈东航
王宇航
廖权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111015234.XA priority Critical patent/CN113792631B/zh
Publication of CN113792631A publication Critical patent/CN113792631A/zh
Application granted granted Critical
Publication of CN113792631B publication Critical patent/CN113792631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法，通过构建基础特征提取网络提取预处理后原始飞行器图像的原始特征图，并结合小尺寸目标分支网络模型提取原始特征图中小目标特征图；利用目标预测模型根据小目标特征图得到检测目标特征图集合及各检测目标特征图对应的特征向量，并利用多飞行器跟踪算法进行飞行器检测与跟踪；本发明利用编解码结构与残差连接优化特征图浅层纹理特征与较深层语义特征的融合传递，提高推断速度，使信息融合更加充分，并结合边域注意力机制网络，有效提升网络模型特征提取能力；利用小尺寸目标分支网络模型降低信息的损失程度，有效优化小尺寸目标检测准确性，提高了机场场面飞行器的管理效率。

Description

一种基于多尺度自适应与边域注意力的飞行器检测与跟踪 方法
技术领域
本发明涉及多目标跟踪领域，具体涉及一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法。
背景技术
随着我国经济的发展，航空业务量的不断增长，航空运输总量也在持续不断的增多，越来越多的人都选择航空工具作为自己的首选出行工具，这就导致了机场场面航空器密度显著地增加。同时，高速发展的机场航空客货流量，也对机场场面监视系统提出了更高的要求。机场场面监视系统是对机场场面内的飞行器、车辆以及工作人员的管理系统，主要功能包括对飞行器的实时检测与跟踪，及时预警；通过对飞行器数据的实时采集与分析，为决策者提供准确科学的机场场面信息，促进机场安全管理，提高机场运营的效率与安全性。因此，相比于人工目视的方法，针对机场场面的智能监视系统可以克服人工监视的诸多缺点，智能化全天候不间断监视机场场面的运行情况。
目前，在多目标跟踪领域中，主要分为基于传统的多目标跟踪方法和基于深度学习的多目标跟踪方法，传统的多目标跟踪方法有基于检测可信度的粒子滤波算法，基于最小团图的多目标跟踪算法以及多假设跟踪算法等，传统的多目标跟踪算法由于算法复杂度高，特征提取能力有限等问题，已经逐步被基于深度学习的多目标跟踪方法所取代。
基于深度学习的目标跟踪算法主要可以分为四类，一类是将深度特征与跟踪算法相结合，这种方法是对于传统跟踪方法的延续；第二类是基于孪生网络的目标跟踪算法，这种方法往往拥有更加轻量的模型和较高的性能；第三类则是基于循环神经网络的目标跟踪算法，这种方法是为了更好的处理在目标跟踪过程中出现的时空上长距离的依赖关系难以被模型学习的问题。当然，随着人工智能的迅猛发展，最近也出现了一些将目标检测和跟踪合为一体的深度网络的目标跟踪算法，这种方法打破了以往解决多目标跟踪问题的固有思维，不再认为目标检测与跟踪是割裂开的两个部分，而是也可以通过深度学习策略进行融合的。基于深度学习的多目标跟踪算法具有特征提取能力强、跟踪精度高、模型易于训练等优点，但是由于模型参数量巨大，对设备算力要求较高，往往难以达到实时效果。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法，具体包括以下步骤：
S1、采集原始飞行器图像并进行预处理；
S2、构建基础特征提取网络模型提取步骤S1中预处理后原始飞行器图像的原始特征图；
S3、构建小尺寸目标分支网络模型提取步骤S2中原始特征图中小目标特征图；
S4、构建目标预测模型根据步骤S3中小目标特征图得到检测目标特征图集合及其各检测目标特征图对应的特征向量；
S5、利用多飞行器跟踪算法根据步骤S4中检测目标集合及其各目标特征向量进行飞行器检测与跟踪。
本发明具有以下有益效果：
通过采集原始飞行器图像并进行预处理，利用基础特征提取网络模型提取预处理后原始飞行器图像的原始特征图，利用编解码结构与残差连接优化特征图浅层纹理特征与较深层语义特征的融合传递，提高推断速度，使信息融合更加充分，结合边域注意力机制网络，有效提升网络模型特征提取能力；利用小尺寸目标分支网络模型提取原始特征图中小目标特征图，更好保留了特征图纹理特征，降低信息的损失程度，有效解决了小尺寸目标难以检测的问题；利用目标预测模型根据小目标特征图得到检测目标特征图集合及其各检测目标特征图对应的特征向量，并结合多飞行器跟踪算法进行飞行器检测与跟踪，提升了网络模型的跟踪性能，从而有效的增强了机场场面监视能力，提高了机场场面飞行器的管理效率。
进一步地，步骤S2具体包括以下分步骤：
所述步骤S2具体包括以下分步骤：
S21、采用编解码结构与残差连接构建基础特征提取网络模型；
S22、利用步骤S21中基础特征提取网络模型提取步骤S1中预处理后原始飞行器图像，得到初始特征图；
S23、构建边域注意力机制网络修正步骤S22中初始特征图，得到原始特征图。
该进一步方案的有益效果为：
通过基础特征提取网络模型中编解码结构与残差连接优化特征图浅层纹理特征与较深层语义特征的融合传递，提高推断速度，使信息融合更加充分，结合边域注意力机制网络，有效提升网络模型特征提取能力。
进一步地，步骤S22具体包括以下分步骤：
所述步骤S22具体包括以下分步骤：
S221、利用步骤S21中基础特征提取网络模型对步骤S1中预处理后原始飞行器图像进行下采样，作为第一卷积层输入特征图；
S222、利用多个预设通道数的卷积块依次对步骤S221中第一卷积层输入特征图进行卷积操作，得到第一卷积层各卷积块输出特征图；
S223、对步骤S222中第一层卷积层的第一卷积块输出特征图进行下采样，作为第二卷积层输入特征图；
S224、利用多个预设通道数的卷积块依次对步骤S223中第二卷积层输入特征图进行卷积操作，并将第二卷积层各卷积块输出特征图与第一卷积层中对应卷积块输出特征图进上采样拼接；
S225、对步骤S224中第二层卷积层的第一卷积块输出特征图进行下采样，并作为第三卷积层输入特征图；
S226、利用多个预设通道数的卷积块依次对步骤S225中第三卷积层输入特征图进行卷积操作，并将第三卷积层各卷积块输出特征图与第二卷积层中对应卷积块输出特征图进上采样拼接；
S227、利用残差连接对步骤S222中第一卷积层的卷积块输出特征图进行拼接，得到初始特征图。
该进一步方案的有益效果为：
通过编码部分提取特征信息，丢弃冗余部分；通过解码部分融合模块与通道间的信息，以及图像分辨率与尺度信息，提高采样的准确性；结合残差连接提高网络前馈传递与反向传递回传，增强模型泛化能力。
进一步地，所述步骤S23具体包括以下分步骤：
S231、通过前景预测分支网络与边域注意力分支网络构建边域注意力机制网络，并设置边域训练参数；
S232、利用前景预测分支网络提取步骤S22中初始特征图中原始目标预测特征图；
S233、利用边域注意力分支网络提取步骤S22中初始特征图中原始边域预测特征图；
S234、对步骤S232中原始前景预测特征图与步骤S233中原始边域预测特征图进行像素相减，得到原始特征图。
该进一步方案的有益效果为：
通过设置边域训练参数区分检测框中前景与背景，并利用边域分支网络让总体网络模型额外的学习边域信息，有效的降低检测框中背景信息对于模型性能的影响。
进一步地，所述步骤S3具体包括以下分步骤：
S31、利用小目标中心点预测分支网络模型与小尺度目标特征处理模型构建小尺寸目标分支网络模型；
S32、利用步骤S31中小目标中心点预测分支网络模型提取步骤S2中原始特征图的小目标中心点热力图；
S33、根据步骤S32中小目标中心点热力图对步骤S2中原始特征图进行像素裁剪，得到小目标图像序列；
S34、利用步骤S31中小尺度目标特征处理模型提取步骤S32中小目标图像序列的小目标特征图序列；
S35、构建与步骤S2中原始特征图匹配的全零小目标特征图，根据步骤S32 中小目标中心点热力图内中心点对小目标特性图序列与全零小目标特征图进行映射，得到初始小目标特征图；
S36、将步骤S35中初始小目标特征图与步骤S2中原始特征图进行拼接，得到小目标特征图。
该进一步方案的有益效果为：
利用小尺寸目标分支网络模型结合原始特征图提取小目标特征图，更好保留了特征图纹理特征，降低信息的损失程度，有效解决了小尺寸目标难以检测的问题。
进一步地，所述步骤S32具体包括以下分步骤：
S321、利用步骤S31中小目标中心点预测分支网络模型对步骤S2中原始特征图依次进行卷积操作以及激活操作，得到目标中心点热力图；
S322、利用预设概率阈值根据步骤S321中小目标中心点热力图区分大小目标，得到小目标中心点热力图。
该进一步方案的有益效果为：
利用小目标中心点预测分支网络模型提取小目标中心点，有利于划分大小目标图像，提高小目标特征提取准确性。
进一步地，所述步骤S34具体包括以下分步骤：
S341、利用ResNet网络结构、尺度特征金字塔以及基于LSTM的尺度注意力机制网络构建小尺度目标特征处理模型；
S342、利用步骤S341中ResNet网络结构提取步骤S33中小目标图像序列的初始小目标特征图；
S343、利用步骤S341中尺度特征金字塔提取步骤S331中初始小目标特征图的多尺寸特征图；
S344、利用步骤S341中基于LSTM的尺度注意力机制网络对步骤S343中多尺寸特征图进行评估，得到各尺度通道的注意力权重；
S345、将步骤S344中注意力权重广播到步骤S353中对应的多尺寸特征图上，并对广播后多尺寸特征图进行拼接，得到尺度金字塔特征图；
S346、对步骤S345中尺度金字塔特征进行多层卷积处理，得到小目标特征图；
S347、遍历步骤S33中小目标图像序列，得到小目标特征图序列。
该进一步方案的有益效果为：
利用小尺度目标特征处理模型对小目标与常规目标分而治之，更好保留特征图的纹理信息，降低信息损失程度，并利用尺度注意力机制网络保证分辨率，小目标映射到更大分辨率的原始图像中，提取更为丰富的特征，有利于小目标进行位置信息的精准预测。
进一步地，所述步骤S4具体包括以下分步骤：
S41、通过多个卷积块构建目标预测模型；
S42、利用总损失函数训练总网络模型，损失函数表示为：
Ltotal＝Lheatmap+Loffset+Lsize+Lid+Lsamll+Ledge
其中，Ltotal为总损失函数，Lheatmap为中心点预测损失函数，Loffset为目标中心点偏置分支损失，Lsize为目标尺寸分支损失函数，Lid为目标图像与真实类别间交叉熵损失函数，Lsamll为小目标中心点预测损失函数，Ledge为边域目标检测损失函数；
S43、利用训练后的目标预测模型提取步骤S3中小目标特征图中检测目标特征图，得到检测目标集合；
S44、利用训练后的目标预测模型根据步骤S43中检测目标集合提取各检测目标特征图的特征向量，得到目标特征向量集合。
该进一步方案的有益效果为：
利用目标预测模型提取飞行器位置信息与特征信息，结合损失函数训练模型进一步提高预测准确度。
进一步地，步骤S5具体包括以下分步骤：
S51、根据前一帧实例化后的跟踪器计算与步骤S4中特征图检测目标集合中当前帧目标检测框的IOU比值；
S52、根据前一帧实例化后的跟踪轨迹特征向量计算与步骤S4中目标特征向量中当前帧特征向量间马氏距离；
S53、利用步骤S51中IOU比值与步骤S52中马氏距离计算最终目标的相识度，表示为：
S＝1/4*S1+3/4*S2
其中，S为最终目标的相似度，S1为IOU比值，S2为马氏距离；
S54、根据步骤S53中各跟踪轨迹对特征图检测目标集合中各目标检测结果的相似，构建亲和力矩阵；
S55、利用匈牙利算法根据步骤S54中亲和力矩阵进行各跟踪轨迹与特征图检测目标集合中目标检测结果间最优匹配，进行数据关联；
S56、判断步骤S55中跟踪轨迹与目标检测结果是否实现数据关联，若实现则更新该目标检测信息，否则进入步骤S57；
S57、对于未关联的跟踪器，保留设定范围的帧数据，并跟踪轨迹与目标检测结果判断是否实现数据关联，若实现则更新该目标检测信息，否则删除该跟踪器，并对未关联的检测框，初始化为新的跟踪器。
该进一步方案的有益效果为：
采用多飞行器跟踪算法实现飞行器检测与跟踪，提升了网络模型的跟踪性能，从而有效的增强了机场场面监视能力，提高了机场场面飞行器的管理效率。
附图说明
图1为本发明提供的一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法的整体结构图；
图2为本发明提供的一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法的步骤流程图；
图3为本发明中步骤S2的分步骤流程图；
图4为本发明实施例中飞行器的轮廓示意图；
图5为本发明中基础特征提取网络结构示意图；
图6为本发明中步骤S22的分步骤流程图；
图7为本发明中边域注意力机制网络模型结构示意图；
图8为本发明中步骤S23的分步骤流程图；
图9为本发明中边域注意力机制网络效果示意图，其中，图9(a)、图9(b) 为边域实际效果图，图9(c)为边域参数设置图；
图10为本发明中步骤S3的分步骤流程图；
图11为本发明中步骤S32的分步骤流程图；
图12为本发明中步骤S34的分步骤流程图；
图13为本发明中尺度金字塔网络模型结构示意图；
图14为本发明中小尺度目标特征处理模型结构示意图；
图15为本发明中步骤S4的分步骤流程图；
图16为本发明中步骤S5的分步骤流程图；
图17为本发明中目标关联与跟踪策略更新结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1、图2所示，本发明提供了一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法，具体包括以下步骤S1-步骤S5：
S1、采集原始飞行器图像并进行预处理；
实际中，对原始飞行器图像进行缩放，将分辨率为1280*960的原始飞行器图像缩放640*480。
S2、构建基础特征提取网络模型提取步骤S1中预处理后原始飞行器图像的原始特征图；
如图3所示，本实施例中，步骤S2具体包括以下分步骤：
S21、采用编解码结构与残差连接构建基础特征提取网络模型；
实际中，飞行器是一种典型的刚体目标，在实际场景中，飞行器不会因为运动和受力而产生自身形状和大小的改变；在视觉图像中，飞行器的外观只会因为拍摄角度的不同以及距离的远近而产生不同；同时，飞行器的外观较为规整，几何形状特征明显，如图4所示，对于飞行器而言，起决定性作用的特征往往集中在飞行器轮廓边缘等区域，例如飞机引擎、轮胎、飞机侧翼以及尾翼等部位；而对于机身部分，所能提取的特征有限；基于此特点本发明提出了采用编解码结构的基础特征提取网络模型，其中，编解码结构分为两部分，分别为编码部分以及解码部分，如图5所示，编码部分负责特征提取，丢弃冗余信息，解码部分根据飞行器目标纹理特征丰富这一特点，融合模块与通道间的信息，也融合分辨率与尺度特征，极大增强了飞行器的特征提取能力，并结合残差连接，有利于网络的前馈信息传递与反向梯度回传，增强了网络模型的泛化能力。
S22、利用步骤S21中基础特征提取网络模型提取步骤S1中预处理后原始飞行器图像，得到初始特征图；
如图6所示，本实施例中，步骤S22具体包括以下分步骤：
S221、利用步骤S21中基础特征提取网络模型对步骤S1中预处理后原始飞行器图像进行下采样，作为第一卷积层输入特征图；
如图5所示，实际中，首先通过一个卷积核为7*7，卷积步长为2的卷积操作，将输入特征图的分辨率下采样一倍，保证感受野的同时，有效减少输入特征图的参数量。
S222、利用多个预设通道数的卷积块依次对步骤S221中第一卷积层输入特征图进行卷积操作，得到第一卷积层各卷积块输出特征图；
如图5所示，实际中，将下采样得到的特征图输入到第一层的六个卷积块中，每个卷积块均是由两个通道数为16的卷积层以及一个Relu的激活函数构成。
S223、对步骤S222中第一层卷积层的第一卷积块输出特征图进行下采样，作为第二卷积层输入特征图；
如图5所示，实际中，将第一卷积层中第一卷积块输出特征图进行卷积核为7*7，卷积步长为2的卷积操作，将输出特征图的分辨率下采样一倍，并将该输出特征图作为第二卷积层输入特征图。
S224、利用多个预设通道数的卷积块依次对步骤S223中第二卷积层输入特征图进行卷积操作，并将第二卷积层各卷积块输出特征图与第一卷积层中对应卷积块输出特征图进上采样拼接；
如图5所示，实际中，第二层卷积层由三块卷积块构成，每个卷积块都是由两个通道数为32的卷积层与一个Relu的激活函数构成，第二卷积层的输入是由第一卷积层输出特征图输入到最大池化层得到的，这样可以将特征图下采样一倍，减少参数量的同时，也滤除了冗余特征；
并将第二卷积层中第一卷积块输出特征图、第二卷积块输出特征图分别与第一卷积层中第二卷积块输出特征图、第三卷积块输出特征图进行拼接；第二卷积层中第三卷积块输出特征图与第一卷积层中第四卷积块输出特征图、第五卷积块输出特征图以及第六卷积块输出特征图进行拼接，除第一卷积层中卷积块输出特征图外，与第二卷积层、第三卷积层的各卷积块输出特征图均会通过一个双线性插值函数来进行上采样操作，然后再进行拼接操作。
S225、对步骤S224中第二层卷积层的第一卷积块输出特征图进行下采样，并作为第三卷积层输入特征图；
如图5所示，实际中，第三层卷积层包括两个卷积块，每个卷积块由两个通道数为64的卷积层与一个Relu的激活函数构成；第三卷积层的输入是将第二卷积层中第一卷积块输出特征图输入到最大最大池化层得到，则可实现特征图进一步的下采样，得到更加抽象的语义特征，这对判别目标的类别，提取目标的特诊向量都有极大的作用。
S226、利用多个预设通道数的卷积块依次对步骤S225中第三卷积层输入特征图进行卷积操作，并将第三卷积层各卷积块输出特征图与第二卷积层中对应卷积块输出特征图进上采样拼接；
如图5所示，实际中，将第三卷积层中第一卷积块输出特征图进行上采样，并与第二卷积层中第二卷积块输出特征图进行拼接；将第三卷积层中第二卷积块输出特征图进行上采样，并与第二卷积层中第三卷积块输出特征图以及第一卷积层中第六卷积块输出特征图进行拼接。
S227、利用残差连接对步骤S222中第一卷积层的卷积块输出特征图进行拼接，得到初始特征图。
如图5所示，实际中，本发明中将第一卷积层中第一卷积块输出特征图与第三卷积块输出特征图进行拼接，并将第一卷积层中第二卷积块输出特征图与第四卷积块输出特征图进行拼接，构建残差连接结构，这样的残差连接更加有利于浅层的纹理特征与较深层的语义特征进行融合与传递。
S23、构建边域注意力机制网络修正步骤S22中初始特征图，得到原始特征图。
实际中，飞行器与机场地面颜色相近等特点，导致一般的检测模型的涉及思路在机场场面目标检测中性能较差，因此，如图7所示，本发明构建一种边域注意力机制网络模型提高基础特征提取网络模型对于飞行器目标的特征提取能力。
如图8所示，本实施例中，步骤S23具体包括以下分步骤：
S231、通过前景预测分支网络与边域注意力分支网络构建边域注意力机制网络，并设置边域训练参数；
实际中，基础特征提取网络模型仅仅负责提取目标的特征信息，而提取什么样的特征信息则是通过损失函数的设计和自适应的学习来决定，在面向机场这一特殊场景中，由于存在label检测框中背景信息比例过高，如图4所示，因此为了使模型在推测阶段准确地预测所期望的输出结果，本发明根据飞行器检测标注框的特点提供额外特定的边域label，如图9中图9(a)、图9(b)所示，以原始检测框为外边界，通过对飞机进行统计分析，在保证边域中包含检测框 90％的背景区域，以此确定内边框，得到边域，实现飞行器检测框中背景与前景真正分开的作用，有效降低检测框中背景信息对于模型性能的影响，如图9中图9(c)所示，将边域部分的参数设置为0.9，为需要学习的对象，而对于被边域包裹的中间部分，其本身为前景信息，因此并不能简单的设置为背景标签，故将参数设置为0.1，表示此部分并非模型学习重点，本发明提供的边域方法，是在检测框中寻找一个前景与背景分开的方法，与传统深度学习任务不同，为一种由内向外学习的方式，结合边域注意力机制，加强了边域注意力机制网络学习更具泛华性特征信息，从而有效滤除噪声干扰信息。
S232、利用前景预测分支网络提取步骤S22中初始特征图中原始目标预测特征图；
S233、利用边域注意力分支网络提取步骤S22中初始特征图中原始边域预测特征图；
S234、对步骤S232中原始前景预测特征图与步骤S233中原始边域预测特征图进行像素相减，得到原始特征图。
如图7所示，实际中，在前景预测分支网络得到的原始目标预测特征图为图中高亮区域，边域预测特征图中高亮区域则为预测的边域区域，在边域区域中包含着黑色区域，这部分的黑色区域则为真正的前景区域，经过相减操作后，两张特征图中的高亮区域与黑色区域分别相互抵消，最终留下真正的前景区域，边域注意力机制网络能够提高基础特征提取模块的特征提取能力，降低检测框中背景干扰信息，提高飞行器响应。
S3、构建小尺寸目标分支网络模型提取步骤S2中原始特征图中小目标特征图；
如图10所示，本实施例中，步骤S3具体包括以下分步骤：
S31、利用小目标中心点预测分支网络模型与小尺度目标特征处理模型构建小尺寸目标分支网络模型；
S32、利用步骤S31中小目标中心点预测分支网络模型提取步骤S2中原始特征图的小目标中心点热力图；
实际中，通过通道数为8的3*3卷积块、通道数为1的1*1的卷积块与 Softmax函数构建小目标中心点预测分支网络模型，得到小目标中心点热力图Fs。
如图11所示，本实施例中，步骤S32具体包括以下分步骤：
S321、利用步骤S31中小目标中心点预测分支网络模型对步骤S2中原始特征图依次进行卷积操作以及激活操作，得到目标中心点热力图；
S322、利用预设概率阈值根据步骤S321中小目标中心点热力图区分大小目标，得到小目标中心点热力图。
实际中，根据设定的概率阈值将大小目标进行分开处理，其中概率阈值通常设置为0.7，小于这一概率阈值则判断为常规目标，不进行任何处理，大于这一概率阈值则判为小目标。
S33、根据步骤S32中小目标中心点热力图对步骤S2中原始特征图进行像素裁剪，得到小目标图像序列；
实际中，根据得到的小目标中心点热力图Fs内中心点对分辨率为1280*960 的原始图像以最小目标的最大标注框，即原始图像的十分之一，分辨率为128*96，对原始图像进行裁剪，得到大小相同的一个小目标图像序列。
S34、利用步骤S31中小尺度目标特征处理模型提取步骤S32中小目标图像序列的小目标特征图序列；
如图12所示，本实施例中，步骤S34具体包括以下分步骤：
S341、利用ResNet网络结构、尺度特征金字塔以及基于LSTM的尺度注意力机制网络构建小尺度目标特征处理模型；
S342、利用步骤S341中ResNet网络结构提取步骤S33中小目标图像序列的初始小目标特征图；
实际中，如图13所示，尺度特征金字塔专用于提取小尺寸目标特征而设计，采用四种尺寸的卷积核代替池化层，包括，从而最大程度保留细节纹理信息，本发明中采用3×3、7×3、13×13、17×17规格的卷积核，小尺寸卷积核对应的感受野较小，可以有效地提取小范围的特征，大尺寸卷积核则能够有效地提取较大范围的特征信息，从而更好保留纹理特征，降低信息的损失程度。
S343、利用步骤S341中尺度特征金字塔提取步骤S331中初始小目标特征图的多尺寸特征图；
实际中，利用尺度特征金字塔网络提取初始特征图得到不同感受野的尺寸特征图x1，x2，x3，x4。
S344、利用步骤S341中基于LSTM的尺度注意力机制网络对步骤S343中多尺寸特征图进行评估，得到各尺度通道的注意力权重；
实际中，如图13所示，本发明中还基于LSTM设计了尺度注意力机制网络，用于评估不同尺度通道的重要程度，将输出的四个尺寸特征图通过通道为1，卷积核为1*1的卷积层，保证分辨率不变，且将通道数压缩为1维，在作为基于 LSTM的尺度注意力机制网络输入，并通过对初始特征图进行相同操作获取基于 LSTM的初始隐藏向量h0，通过各编码功能参数模块的输入状态H1、H2、H3以及H4分别得到隐藏向量h1、h2、h3、h4，然后将隐藏向量进行拼接，并与各对应的解码功能参数模块的输出状态S1、S2、S3以及S4结合，分别得到四个通道的权重y1，y2，y3以及y4。
S345、将步骤S344中注意力权重广播到步骤S353中对应的多尺寸特征图上，并对广播后多尺寸特征图进行拼接，得到尺度金字塔特征图；
实际中，如图13所示，将四个通道权重广播相乘到对应的四个尺寸特征图上，然后将所有特征图进行拼接，得到通道数为输入特征图四倍的尺度金字塔特征图。
S346、对步骤S345中尺度金字塔特征进行多层卷积处理，得到小目标特征图；
实际中，如图14所示，依次通过通道数为16的3*3卷积层、通道数为4 的1*1卷积层、BN归一层以及ReLu激活函数层，对特征图通道进行降维，得到一个位置信息更加准确地通道数为4的小目标特征图。
S347、遍历步骤S33中小目标图像序列，得到小目标特征图序列。
实际中，如图14所示，遍历小目标图像序列，得到小目标特征图序列。
S35、构建与步骤S2中原始特征图匹配的全零小目标特征图，根据步骤S32 中小目标中心点热力图内中心点对小目标特性图序列与全零小目标特征图进行映射，得到初始小目标特征图；
实际中，如图14所示，初始化一个与原始特征图匹配的全零小目标特征图，即分辨率与原始特征图分辨率大小相同但通道数为4，结合各小目标中心点将包含小目标丰富的纹理信息与位置信息的小目标特征图序列与全零小目标特征图进行像素相加，得到小目标特征图。
S36、将步骤S35中初始小目标特征图与步骤S2中原始特征图进行拼接，得到小目标特征图。
S4、构建目标预测模型根据步骤S3中小目标特征图得到检测目标特征图集合及其各检测目标特征图对应的特征向量；
实际中，设训练数据中原始序列帧的ground truth中检测框数据格式为
Figure BDA0003239584710000181
其中，
Figure BDA0003239584710000182
为点坐标，并将点坐标转换成中心点以及目标宽和高的形式，以便于与模型输出一致，其中目标框的中心点为
Figure BDA0003239584710000183
如图15所示，本实施例中，步骤S4具体包括以下分步骤：
S41、通过多个卷积块构建目标预测模型；
S42、利用总损失函数训练总网络模型，损失函数表示为：
Ltotal＝Lheatmap+Loffset+Lsize+Lid+Lsamll+Ledge
其中，Ltotal为总损失函数，Lheatmap为中心点预测损失函数，Loffset为目标中心点偏置分支损失，Lsize为目标尺寸分支损失函数，Lid为目标图像与真实类别间交叉熵损失函数，Lsamll为小目标中心点预测损失函数，产生于小目标中心点预测分支，Ledge为边域目标检测损失函数；
实际中，结合各损失函数构建总模型间的损失函数Ltotal，并利用随机梯度下降算法对目标预测网络模型进行训练，并设置学习率为0.001。
S43、利用训练后的目标预测模型提取步骤S3中小目标特征图中检测目标特征图，得到检测目标集合；
实际中，如图1中目标跟踪策略所示，分别对特征图进行不同卷积操作，
通过包含通道数为8的3*3卷积层、通道数为1的1*1卷积层以及Softmax 激活函数层的卷积块对特征图进行卷积操作得到中心点热力图；
通过包含通道数为8的3*3卷积层、BN归一层以及通道数为2的1*1卷积层的卷积块对特征图进行卷积操作得到中心点偏置；
通过包含通道数为8的3*3卷积层、BN归一层以及通道数为2的1*1卷积层的卷积块对特征图进行卷积操作得到目标尺度特征图，用于预测目标的宽高；
对小目标特征图进行卷积后，通过中心点热力图确定目标特征图所在区域范围，利用目标尺度特征图确定目标特征图尺度结合中心点偏置得到检测目标特征图集合D，其中，各检测目标特征图表示为：
Figure BDA0003239584710000191
S44、利用训练后的目标预测模型根据步骤S43中检测目标集合提取各检测目标特征图的特征向量，得到目标特征向量集合。
实际中，为了提取目标的特征向量，本发明中将视频序列中的同一个目标的所有检测框看成一类，将目标特征向量提取问题转换成目标分类问题，设视频帧中总的目标数量为sum，将目标的跟踪id作为类别序号，通过训练，我们将目标的特征向量为Wi映射为目标类别的概率预测值P(k)，同时将所有真实标签的类别，转换成one-hot形式，通过包含通道数为128的3*3卷积层、BN归一层以及通道数为所有目标总的卷积层数的1*1卷积层的卷积块对特征图进行卷积操作得到目标向量特征图W，各检测目标的特征向量表示为Wi。
S5、采用多飞行器跟踪算法根据步骤S4中特征图检测目标集合以及目标特征向量完成飞行器检测与跟踪。
如图16所示，本实施例中，步骤S5具体包括以下分步骤：
S51、根据前一帧实例化后的跟踪器计算与步骤S4中特征图检测目标集合中当前帧目标检测框的IOU比值；
实际中，通过计算前一帧已实例化的跟踪器Ti-1(跟踪器T维护着目标的位置坐标，对应的特征向量以及id等信息)与当前帧目标检测框的IOU比值(指两个检测框的相交部分与两个框总面积之比，比值越大，两个框贴合越紧密)，比值记为S1。
S52、根据前一帧实例化后的跟踪轨迹特征向量计算与步骤S4中目标特征向量中当前帧特征向量间马氏距离；
实际中，通过计算前一帧已经实例化的跟踪轨迹Ti-1特征向量和当前帧的检测特征向量Di的马氏距离，用来刻画跟踪器与检测结果的相似度，记为S2。
S53、利用步骤S51中IOU比值与步骤S52中马氏距离计算最终目标的相识度，表示为：
S＝1/4*S1+3/4*S2
其中，S为最终目标的相似度，S1为IOU比值，S2为马氏距离；
S54、根据步骤S53中各跟踪轨迹对特征图检测目标集合中各目标检测结果的相似，构建亲和力矩阵；
实际中，如图17所示，通过计算每个跟踪轨迹Ti-1对每个检测Di的得分Sij，构建相似度矩阵，并进行匈牙利匹配得到亲和力矩阵M。
S55、利用匈牙利算法根据步骤S54中亲和力矩阵进行各跟踪轨迹与特征图检测目标集合中目标检测结果间最优匹配，进行数据关联；
S56、判断步骤S55中跟踪轨迹与目标检测结果是否实现数据关联，若实现则更新该目标检测信息，否则进入步骤S57；
S57、对于未关联的跟踪器，保留设定范围的帧数据，并跟踪轨迹与目标检测结果判断是否实现数据关联，若实现则更新该目标检测信息，否则删除该跟踪器，并对未关联的检测框，初始化为新的跟踪器。
实际中，本发明对于未关联的跟踪器，保留五帧数据。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法，其特征在于，具体包括以下步骤：
S1、采集原始飞行器图像并进行预处理；
S2、构建基础特征提取网络模型提取步骤S1中预处理后原始飞行器图像的原始特征图，具体包括以下分步骤：
S21、采用编解码结构与残差连接构建基础特征提取网络模型，其中编解码结构分为两部分，分别为编码部分以及解码部分，编码部分负责特征提取，解码部分根据飞行器目标纹理特征融合模块与通道间的信息以及分辨率与尺度特征，并结合残差连接，进行网络的前馈信息传递与反向梯度回传；
S22、利用步骤S21中基础特征提取网络模型提取步骤S1中预处理后原始飞行器图像，得到初始特征图，具体包括以下分步骤：
S221、利用步骤S21中基础特征提取网络模型对步骤S1中预处理后原始飞行器图像进行下采样，作为第一卷积层输入特征图；
S222、利用多个预设通道数的卷积块依次对步骤S221中第一卷积层输入特征图进行卷积操作，得到第一卷积层各卷积块输出特征图；
S223、对步骤S222中第一层卷积层的第一卷积块输出特征图进行下采样，作为第二卷积层输入特征图；
S224、利用多个预设通道数的卷积块依次对步骤S223中第二卷积层输入特征图进行卷积操作，并将第二卷积层各卷积块输出特征图与第一卷积层中对应卷积块输出特征图进上采样拼接；
S225、对步骤S224中第二层卷积层的第一卷积块输出特征图进行下采样，并作为第三卷积层输入特征图；
S226、利用多个预设通道数的卷积块依次对步骤S225中第三卷积层输入特征图进行卷积操作，并将第三卷积层各卷积块输出特征图与第二卷积层中对应卷积块输出特征图进上采样拼接；
S227、利用残差连接对步骤S222中第一卷积层的卷积块输出特征图进行拼接，得到初始特征图；
S23、构建边域注意力机制网络修正步骤S22中初始特征图，得到原始特征图，具体包括以下分步骤：
S231、通过前景预测分支网络与边域注意力分支网络构建边域注意力机制网络，并设置边域训练参数；
S232、利用前景预测分支网络提取步骤S22中初始特征图中原始目标预测特征图；
S233、利用边域注意力分支网络提取步骤S22中初始特征图中原始边域预测特征图；
S234、对步骤S232中原始前景预测特征图与步骤S233中原始边域预测特征图进行像素相减，得到原始特征图；
S3、构建小尺寸目标分支网络模型提取步骤S2中原始特征图中小目标特征图，具体包括以下分步骤：
S31、利用小目标中心点预测分支网络模型与小尺度目标特征处理模型构建小尺寸目标分支网络模型；
S32、利用步骤S31中小目标中心点预测分支网络模型提取步骤S2中原始特征图的小目标中心点热力图；
S33、根据步骤S32中小目标中心点热力图对步骤S2中原始特征图进行像素裁剪，得到小目标图像序列；
S34、利用步骤S31中小尺度目标特征处理模型提取步骤S32中小目标图像序列的小目标特征图序列；
S35、构建与步骤S2中原始特征图匹配的全零小目标特征图，根据步骤S32中小目标中心点热力图内中心点对小目标特性图序列与全零小目标特征图进行映射，得到初始小目标特征图；
S36、将步骤S35中初始小目标特征图与步骤S2中原始特征图进行拼接，得到小目标特征图；
S4、构建目标预测模型根据步骤S3中小目标特征图得到检测目标特征图集合及其各检测目标特征图对应的特征向量，具体包括以下分步骤：
S41、通过多个卷积块构建目标预测模型；
S42、利用总损失函数训练总网络模型，损失函数表示为：
Ltotal＝Lheatmap+Loffset+Lsize+Lid+Lsamll+Ledge
其中，Ltotal为总损失函数，Lheatmap为中心点预测损失函数，Loffset为目标中心点偏置分支损失，Lsize为目标尺寸分支损失函数，Lid为目标图像与真实类别间交叉熵损失函数，Lsamll为小目标中心点预测损失函数，Ledge为边域目标检测损失函数；
S43、利用训练后的目标预测模型提取步骤S3中小目标特征图中检测目标特征图，得到检测目标集合；
S44、利用训练后的目标预测模型根据步骤S43中检测目标集合提取各检测目标特征图的特征向量，得到目标特征向量集合；
S5、利用多飞行器跟踪算法根据步骤S4中检测目标集合及其各目标特征向量进行飞行器检测与跟踪，具体包括以下分步骤：
S51、根据前一帧实例化后的跟踪器计算与步骤S4中特征图检测目标集合中当前帧目标检测框的IOU比值；
S52、根据前一帧实例化后的跟踪轨迹特征向量计算与步骤S4中目标特征向量中当前帧特征向量间马氏距离；
S53、利用步骤S51中IOU比值与步骤S52中马氏距离计算最终目标的相识度，表示为：
S＝1/4*S1+3/4*S2
其中，S为最终目标的相似度，S1为IOU比值，S2为马氏距离；
S54、根据步骤S53中各跟踪轨迹对特征图检测目标集合中各目标检测结果的相似，构建亲和力矩阵；
S55、利用匈牙利算法根据步骤S54中亲和力矩阵进行各跟踪轨迹与特征图检测目标集合中目标检测结果间最优匹配，进行数据关联；
S56、判断步骤S55中跟踪轨迹与目标检测结果是否实现数据关联，若实现则更新该目标检测信息，否则进入步骤S57；
S57、对于未关联的跟踪器，保留设定范围的帧数据，并跟踪轨迹与目标检测结果判断是否实现数据关联，若实现则更新该目标检测信息，否则删除该跟踪器，并对未关联的检测框，初始化为新的跟踪器。
2.根据权利要求1所述的基于多尺度自适应与边域注意力的飞行器检测与跟踪方法，其特征在于，所述步骤S32具体包括以下分步骤：
S321、利用步骤S31中小目标中心点预测分支网络模型对步骤S2中原始特征图依次进行卷积操作以及激活操作，得到目标中心点热力图；
S322、利用预设概率阈值根据步骤S321中小目标中心点热力图区分大小目标，得到小目标中心点热力图。
3.根据权利要求1所述的基于多尺度自适应与边域注意力的飞行器检测与跟踪方法，其特征在于，所述步骤S34具体包括以下分步骤：
S341、利用ResNet网络结构、尺度特征金字塔以及基于LSTM的尺度注意力机制网络构建小尺度目标特征处理模型；
S342、利用步骤S341中ResNet网络结构提取步骤S33中小目标图像序列的初始小目标特征图；
S343、利用步骤S341中尺度特征金字塔提取步骤S331中初始小目标特征图的多尺寸特征图；
S344、利用步骤S341中基于LSTM的尺度注意力机制网络对步骤S343中多尺寸特征图进行评估，得到各尺度通道的注意力权重；
S345、将步骤S344中注意力权重广播到步骤S353中对应的多尺寸特征图上，并对广播后多尺寸特征图进行拼接，得到尺度金字塔特征图；
S346、对步骤S345中尺度金字塔特征进行多层卷积处理，得到小目标特征图；
S347、遍历步骤S33中小目标图像序列，得到小目标特征图序列。
CN202111015234.XA 2021-08-31 2021-08-31 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法 Active CN113792631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111015234.XA CN113792631B (zh) 2021-08-31 2021-08-31 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111015234.XA CN113792631B (zh) 2021-08-31 2021-08-31 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN113792631A CN113792631A (zh) 2021-12-14
CN113792631B true CN113792631B (zh) 2023-01-10

Family

ID=79182493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111015234.XA Active CN113792631B (zh) 2021-08-31 2021-08-31 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN113792631B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360296B (zh) * 2021-12-15 2024-04-09 中国飞行试验研究院 基于地基光电设备的全自动飞机进近降落过程监视方法
CN116740654B (zh) * 2023-08-14 2023-11-07 安徽博诺思信息科技有限公司 基于图像识别技术的变电站作业防控方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652903A (zh) * 2020-05-22 2020-09-11 重庆理工大学 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017088050A1 (en) * 2015-11-26 2017-06-01 Sportlogiq Inc. Systems and methods for object tracking and localization in videos with adaptive image representation
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN112750148B (zh) * 2021-01-13 2024-03-22 浙江工业大学 一种基于孪生网络的多尺度目标感知跟踪方法
CN113034548B (zh) * 2021-04-25 2023-05-26 安徽科大擎天科技有限公司 一种适用于嵌入式终端的多目标跟踪方法及其系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652903A (zh) * 2020-05-22 2020-09-11 重庆理工大学 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法

Also Published As

Publication number Publication date
CN113792631A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN113421269B (zh) 一种基于双分支深度卷积神经网络的实时语义分割方法
CN107609601B (zh) 一种基于多层卷积神经网络的舰船目标识别方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN110033002B (zh) 基于多任务级联卷积神经网络的车牌检测方法
CN109886066B (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN113792631B (zh) 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法
CN104517103A (zh) 一种基于深度神经网络的交通标志分类方法
CN113158862A (zh) 一种基于多任务的轻量级实时人脸检测方法
CN112434723B (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
CN109766823A (zh) 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN110490155B (zh) 一种禁飞空域无人机检测方法
WO2023030182A1 (zh) 图像生成方法及装置
CN113610144A (zh) 一种基于多分支局部注意力网络的车辆分类方法
CN112488025A (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
EP3942461A1 (en) Subject-object interaction recognition model
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN111476133A (zh) 面向无人驾驶的前背景编解码器网络目标提取方法
CN112818905A (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant