CN111640138A - 一种目标跟踪方法、装置、设备及存储介质 - Google Patents
一种目标跟踪方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111640138A CN111640138A CN202010481945.5A CN202010481945A CN111640138A CN 111640138 A CN111640138 A CN 111640138A CN 202010481945 A CN202010481945 A CN 202010481945A CN 111640138 A CN111640138 A CN 111640138A
- Authority
- CN
- China
- Prior art keywords
- target
- network model
- tracked
- frame image
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000008569 process Effects 0.000 claims abstract description 38
- 230000004044 response Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 17
- 230000000694 effects Effects 0.000 abstract description 9
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000001914 filtration Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Discrete Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标跟踪方法，该方法提出了一种多模型协作的跟踪机制，每调用深度卷积网络模型处理目标数量的帧图像后，调用孪生网络模型进行帧图像的重检测，深度卷积网络模型可以高效地训练相关滤波器组，提升实现效率；且借助了深度卷积特征的多层分层特征，可以精准的在复杂监控环境下体现待跟踪目标的特征，适应绝大多数的监控场景，实现精准目标定位；另外，每隔若干帧之后，启用孪生网络模型对目标一起协作预测和定位，孪生网络模型可以辅助实现目标消失后目标的重新定位，实现稳定、高效、长时间的跟踪效果，使得每一帧的跟踪结果更加可靠。本申请还提供了一种目标跟踪装置、设备及一种可读存储介质，具有上述有益效果。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种目标跟踪方法、装置、设备及一种可读存储介质。
背景技术
目标跟踪技术指在序列图像中根据目标在视频信息的时空上相关性，确定感兴趣的目标在每一帧的位置和姿态。目标跟踪是计算机视觉领域中一个重要同时具有挑战性的研究方向，其技术已经在当前的生活中已经具有广泛的应用，包括我们所从事的视频监控领域，还有人机交互、无人驾驶等前沿热点应用，目标跟踪所记录下的信息为智能视频监控系统更高层的处理(包括目标识别、行为分析、场景监管、事件分析、人群分析等业务)打下了基础，具有广泛的应用需求。
由于监控的场景会受到许多因素的影响，尤其是光照变化、目标的遮挡、跟踪目标的姿态以及监控视角的变化、相似物体及所处的复杂背景的干扰等，普遍存在的计算机视觉问题严重影响着目标跟踪的性能，目标跟踪便很难适应，导致目标漂移甚至丢失，且目标丢失后检测器对于目标的再次定位能力差，导致继续跟踪目标的能力差。
目前为止，没有单一的跟踪方法能同时解决监控场景中存在的上述等因素的干扰，只是针对某些场景进行改善。
因此，如何稳定的保持长期准确目标跟踪，是本领域技术人员急需解决的问题。
发明内容
本申请的目的是提供一种目标跟踪方法，该方法可以稳定的保持长期准确目标跟踪；本申请的另一目的是提供一种目标跟踪装置、设备及一种可读存储介质。
为解决上述技术问题，本申请提供一种目标跟踪方法，包括：
确定待跟踪帧图像与待跟踪目标的信息；
根据所述待跟踪帧图像以及所述信息对经过预训练的深度卷积网络模型以及孪生网络模型进行变量设定；
判断所述待跟踪帧图像是否属于所述孪生网络模型的跟踪帧；其中，所述孪生网络模型在所述深度卷积网络模型每处理目标数量的帧图像后启动；
若不属于，调用所述深度卷积网络模型根据所述待跟踪帧图像中的多层特征进行目标位置的预测，得到预测位置；
若属于，调用所述孪生网络模型通过两分支网络对所述待跟踪帧图像进行目标位置的重检测，得到预测位置。
可选地，调用所述深度卷积网络模型根据所述待跟踪帧图像中的多层特征进行目标位置的预测，包括：
提取目标区域图像的HOG特征；所述目标区域图像为所述待跟踪帧图像中的所述待跟踪目标的候选区域图像；
调用所述深度卷积网络模型对所述目标区域图像进行卷积操作；
提取所述卷积操作中生成的多卷积层特征值；
调用预训练的相关滤波器组根据所述多卷积层特征值以及所述HOG特征进行目标位置的预测；所述相关滤波器组中包括与特征值的总层数数量对应的相关滤波器，所述特征值包括所述多卷积层特征值以及所述HOG特征。
可选地，提取所述卷积操作中生成的多卷积层特征值，包括：
在所述卷积操作中生成的每个尺度的卷积层中提取池化前的末层卷积层的特征值。
可选地，在调用预训练的相关滤波器组根据所述多层特征值以及所述HOG特征进行目标位置的预测之后，还包括：
根据所述目标位置的预测得到的预测位置对所述相关滤波器组进行更新训练。
可选地，所述孪生网络模型包括：样本分支网络以及搜索分支网络，调用所述孪生网络模型通过两分支网络对所述待跟踪帧图像进行目标位置的重检测，包括：
调用所述样本分支网络提取标记有所述待跟踪目标的首帧图像中的所述待跟踪目标的特征，作为第一特征；
调用所述搜索分支网络提取目标区域图像的特征，作为第二特征；所述目标区域图像为所述待跟踪帧图像中的所述待跟踪目标的候选区域图像；
根据所述第一特征以及所述第二特征进行目标位置的预测。
可选地，根据所述第一特征以及所述第二特征进行目标位置的预测，包括：
将所述第一特征进行离散傅里叶变换，得到第一离散特征，将所述第二特征进行离散傅里叶变换，得到第二离散特征；
根据所述第一离散特征以及多数第二离散特征进行模型响应图的构造，并根据所述模型响应图进行目标位置的预测。
可选地，所述孪生网络模型具体为：判别式孪生网络模型。
本申请还提供了一种目标跟踪装置，包括：
信息确定单元，用于确定待跟踪帧图像与待跟踪目标的信息；
变量设定单元，用于根据所述待跟踪帧图像以及所述信息对经过预训练的深度卷积网络模型以及孪生网络模型进行变量设定；
图像判断单元，用于判断所述待跟踪帧图像是否属于所述孪生网络模型的跟踪帧；其中，所述孪生网络模型在所述深度卷积网络模型每处理目标数量的帧图像后启动；若不属于，触发第一预测单元；若属于，触发第二预测单元；
所述第一预测单元，用于调用所述深度卷积网络模型根据所述待跟踪帧图像中的多层特征进行目标位置的预测，得到预测位置；
所述第二预测单元，用于调用所述孪生网络模型通过两分支网络对所述待跟踪帧图像进行目标位置的重检测，得到预测位置。
本申请还提供了一种目标跟踪设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的目标跟踪方法的步骤。
本申请还提供了一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述目标跟踪方法的步骤。
本申请所提供的目标跟踪方法，该方法提出了一种多模型协作的跟踪机制，每调用深度卷积网络模型处理目标数量的帧图像后，调用孪生网络模型进行帧图像的重检测，其中，深度卷积网络模型可以高效地训练相关滤波器组，提升实现效率；且调用深度卷积网络模型根据待跟踪帧图像中的多层特征进行目标位置的预测，借助了深度卷积特征的多层分层特征，可以精准的表现在不同光照变化、不同跟踪目标的姿态、不同监控视角及复杂背景的干扰等计算机视觉问题下待跟踪目标的特征信息，能适应绝大多数的监控场景，实现精准目标定位；另外，每隔若干帧之后，启用孪生网络模型对目标一起协作预测和定位，孪生网络模型可以辅助实现目标消失后目标的重新定位，实现稳定、高效、长时间的跟踪效果，使得每一帧的跟踪结果更加可靠。
本申请还提供了一种目标跟踪装置、设备及一种可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种目标跟踪方法的流程图；
图2为本申请实施例提供的一种深度卷积网络模型可视化卷积层特征提取示意图；
图3为本申请实施例提供的一种网络模型协作示意图；
图4为本申请实施例提供的一种多模型协作的跟踪过程实现流程示意图；
图5为本申请实施例提供的一种VGG-相关滤波模型提取的HOG特征可视化示意图；
图6为本申请实施例提供的一种VGG-相关滤波模型提取特征流程示意图；
图7为本申请实施例提供的一种跟踪效果展示图；
图8为本申请实施例提供的一种目标跟踪装置的结构框图；
图9为本申请实施例提供的一种目标跟踪设备的结构示意图。
具体实施方式
本申请的核心是提供一种目标跟踪方法，该方法可以稳定的保持长期准确目标跟踪；本申请的另一核心是提供一种目标跟踪装置、设备及一种可读存储介质。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本实施例提供的目标跟踪方法的流程图，该方法主要包括：
步骤s110、确定待跟踪帧图像与待跟踪目标的信息；
读取视频序列，视频序列中包含若干连续帧图像，确定视频序列当前待跟踪帧图像，待跟踪目标即视频序列中需要进行跟踪的目标，其中，本实施例中对于待跟踪目标的类型不做限定，可以为人、植物、动物、无生命体等，可以根据实际跟踪的需要进行待跟踪目标的设定。
待跟踪目标的信息的获取方式本实施例中不做限定，可以人为在首帧待跟踪帧图像中指定以及标注需要跟踪的目标位置，将指定以及标注的对象作为待跟踪目标；也可以输入待跟踪目标的信息，由系统根据该信息在首帧待跟踪帧图像中进行自动目标确定后确定图像中的待跟踪目标。而后续待跟踪目标的信息可以从前一帧图像中获取，在非初始追踪的第一帧图像中，当前待跟踪帧图像的前一帧图像中包括标记的待跟踪目标，可以根据前一帧图像中该目标的信息对后续图像帧进行目标位置的预测以及定位，实现连续图像帧中待跟踪目标的持续定位。
待跟踪目标的信息类型具体可以为需要跟踪的目标位置区域的图像，也可以为根据该区域图像提取的特征信息，在此对于信息种类不做限定。
步骤s120、根据待跟踪帧图像以及信息对经过预训练的深度卷积网络模型以及孪生网络模型进行变量设定；
单一的模型都存在着不足，在传统的目标跟踪系统中，一般根据提取的特征建立单一的模型，从而进行目标的位置与状态的预测。本实施例提出一种多模型协作方式，调用深度卷积网络模型以及孪生网络模型，不仅能够发挥着每一个模型所具有的优势，而且还弥补了各自存在的不足。
其中，深度卷积网络模型可以实现分层特征+相关滤波，借助了深度卷积特征的分层特征，可以高效地训练相关滤波器组，精准的特征提取能适应绝大多数的监控场景，但一般的深度卷积网络模型模型在目标跟丢之后，难以再次确定目标保持继续跟踪；本实施例中进一步调用孪生网络模型，孪生网络(Siamese network)是一种特殊类型的神经网络架构，与一个学习对其输入进行分类的模型不同，由两个完全相同的神经网络组成，同时共享网络参数，本发明利用孪生网络具备重检测性质，孪生网络模型可以辅助实现目标消失后目标的重新定位。两者互相结合，取长补短，最终能够达到稳定、高效、长时间的跟踪效果。
需要说明的是，本实施例中对于深度卷积网络模型以及孪生网络模型的具体模型类型选择不做限定，深度卷积网络模型可以选用VGG-相关滤波模型，孪生网络模型可以选用判别式孪生模型，以上为经实验验证性能较好的网络模型，当然，也可以选择其他网络模型结构。
本实施例中调用的深度卷积网络模型以及孪生网络模型为经过预训练的网络模型，训练过程在此不再赘述。根据待跟踪帧图像以及信息对经过预训练的深度卷积网络模型以及孪生网络模型进行变量设定的过程大体可以包括根据两模型中的变量参数进行参数计算以及模型初始化的过程，具体可以参见相关技术的介绍。
步骤s130、判断待跟踪帧图像是否属于孪生网络模型的跟踪帧；若不属于，触发步骤s140；若属于，触发步骤s150；
本实施例中孪生网络模型在深度卷积网络模型每处理目标数量的帧图像后启动，具体的目标数量在此不做限定，可以为4帧、5帧、10帧或20帧等，可以根据实际深度卷积网络模型的图片处理情况来确定。以4帧为例，可以第1帧至第4帧采用深度卷积网络模型进行跟踪处理，第5帧采用孪生网络模型进行跟踪处理，第6帧至第9帧采用深度卷积网络模型进行跟踪处理，第10帧采用孪生网络模型进行跟踪处理，以此类推。
由于孪生网络模型的网络层数较多，每一帧更新会大大耗费时间，增加计算开销，而深度卷积网络模型相较更轻量化，因此，本实施例中采用深度卷积网络模型作为主跟踪模型，每隔若干帧之后，启用判别式孪生网络模型对目标一起协作预测和定位，消除目标漂移或丢失后的目标重新查找难的问题，使得每一帧的跟踪结果更加可靠。
步骤s140、调用深度卷积网络模型根据待跟踪帧图像中的多层特征进行目标位置的预测，得到预测位置；
在实际的监控场景中，目标会遇到场景中各种不可预知的干扰因素，造成目标跟踪中的诸多困难，本实施例中利用深度卷积网络模型根据待跟踪帧图像中的多层特征进行目标位置的预测，深度卷积网络模型相对于其他模型提取的特征精准更丰富，可以应对复杂多变的跟踪场景，根据精准的特征训练而成的相关滤波器分类能力强；且调用深度卷积网络模型根据待跟踪帧图像中的多层特征进行目标位置的预测，借助了深度卷积特征的多层分层特征，可以精准的表现在不同光照变化、不同跟踪目标的姿态、不同监控视角及复杂背景的干扰等计算机视觉问题下待跟踪目标的特征信息，能适应绝大多数的监控场景，实现精准目标定位。
为保证特征的信息表现力，实现在复杂场景下的精准目标确定，深度卷积网络模型需要根据待跟踪帧图像中的多层特征进行目标位置的预测，而其中，本实施例中对于具体提取的特征不做限定，可以提取深度卷积网络模型在对图片进行卷积处理过程中的卷积层特征，比如Conv1-2和Conv2-2卷积层特征等；也可以提取非网络模型处理过程中的图片特征，比如HOG特征等，在此对于具体的多层特征的组成不做限定，可以根据实际的图片处理过程以及跟踪精度需求进行设定。
一个通道输出一层特征的特征图，深度卷积网络模型提取多层特征后会输出一组多通道的特征图，深度卷积网络模型会调用相关滤波器对特征图进行位置预测。相关滤波器Correlation filtering为深度卷积网络模型中的目标定位单元，主要思想是增强感兴趣区域的响应，并且抑制背景和非目标的响应，通过搜索最大响应的位置作为目标的定位。相关滤波通过傅里叶变换将相关运算从时域转换到频域，具有很高的计算效率。利用相关滤波器，构建每个特征通道的相关滤波器，比如提取6个层级的特征图时，预先构建6个相关滤波器用于分别处理6个层级的特征图，其中，相关滤波器对特征图进行处理，得到预测位置的过程在此不再赘述，可以参照相关技术的介绍。
步骤s150、调用孪生网络模型通过两分支网络对待跟踪帧图像进行目标位置的重检测，得到预测位置。
目标在复杂监控场景的运动过程中，会经受到各种不可预料的干扰，很难从始至终完成跟踪任务。而且，一般的模型在目标跟丢之后，难以再次确定目标保持继续跟踪，这导致了如果不加入人为干预，其系统已经不能正常工作。因此，本实施例中利用孪生网络模型具备的重检测性质来克服这一难点。由于孪生网络模型具有位置矫正功能，每隔若干帧启用判别式孪生网络模型可以对目标做一次重新检测，从而达到位置调整和更新，使得目标始终能够实现长时间有效的跟踪。
调用孪生网络模型通过两分支网络(孪生网络模型由两个完全相同的神经网络组成，同时共享网络参数)根据待跟踪帧图像进行目标位置的预测，具体的实现步骤可以参见相关技术的介绍，在此不再赘述。
基于上述介绍，本实施例提供的目标跟踪方法提出了一种多模型协作的跟踪机制，每调用深度卷积网络模型处理目标数量的帧图像后，调用孪生网络模型进行帧图像的重检测其中，深度卷积网络模型可以高效地训练相关滤波器组，提升实现效率；且调用深度卷积网络模型根据待跟踪帧图像中的多层特征进行目标位置的预测，借助了深度卷积特征的多层分层特征，可以精准的表现在不同光照变化、不同跟踪目标的姿态、不同监控视角及复杂背景的干扰等计算机视觉问题下待跟踪目标的特征信息，能适应绝大多数的监控场景，实现精准目标定位；另外，每隔若干帧之后，启用孪生网络模型对目标一起协作预测和定位，孪生网络模型可以辅助实现目标消失后目标的重新定位，实现稳定、高效、长时间的跟踪效果，使得每一帧的跟踪结果更加可靠。
上述实施例中对待跟踪帧图像中的多层特征的种类以及层数不做限定，本实施例中提供一种高精度的特征配置以及相应的深度卷积网络模型根据该特征配置下的位置预测过程。
可选地，调用深度卷积网络模型根据待跟踪帧图像中的多层特征进行目标位置的预测的过程具体可以包括：
(1)提取目标区域图像的HOG特征；目标区域图像为待跟踪帧图像中的待跟踪目标的候选区域图像；
(2)调用深度卷积网络模型对目标区域图像进行卷积操作；
(3)提取卷积操作中生成的多卷积层特征值；
(4)调用预训练的相关滤波器组根据多卷积层特征值以及HOG特征进行目标位置的预测；相关滤波器组中包括与特征值的总层数数量对应的相关滤波器，特征值包括多卷积层特征值以及HOG特征。
在实际的监控场景中，目标会遇到场景中各种不可预知的干扰因素，造成目标跟踪中存在诸多困难，为保证目标跟踪高效的稳定性和准确性，本实施例中采用深度卷积网络提取不同卷积层的特征，结合提取到的HOG手工特征(Histogram Of OrientedGradient，即方向梯度直方图，通过计算和统计图像局部区域的梯度方向直方图构成特征，反应的是图像各区域块的边缘形状信息。)进行位置预测，该配置下特征种类丰富，可以体现目标的全面特征，而根据精准的特征训练而成的相关滤波器分类能力强，在监控的复杂多变的场景中，能够适应目标的各种变化，保持跟踪系统的高稳定性和高准确性。
其中，本实施例中对于步骤(3)中具体进行特征值提取的卷积层不做限定，为保证卷积层提取的全面性以及精准性，提取卷积操作中生成的多卷积层特征值的过程具体可以为：在卷积操作中生成的每个尺度的卷积层中提取池化前的末层卷积层的特征值。以深度卷积网络模型为具有5个尺度19层的VGG-相关滤波模型(如图2所示)为例，则提取其中的Conv1-2，Conv2-2，Conv3-4，Conv4-4，Conv5-4的卷积层特征，深度卷积网络模型可视化卷积层特征提取如图2所示。以提取上述五层卷积层特征以及HOG特征为例，共6层特征，根据6层特征训练6个分类器多个相关滤波器组，然后将他们进行综合，从而获得当前帧的目标位置。
为了进一步保证深度卷积网络模型在目标追踪过程中根据图片的变化进行位置预测的能力，强化图片适应能力，可选地，在调用预训练的相关滤波器组根据多层特征值以及HOG特征进行目标位置的预测之后，可以进一步根据目标位置的预测得到的预测位置对相关滤波器组进行更新训练，更新利用卷积层训练得到的相关滤波器组模型，具体的模型更新过程不做限定，可以根据实际鲁棒性的需要进行相关更新公式的设定。
本实施例提供的深度卷积网络模型根据待跟踪帧图像中的多层特征进行目标位置的预测的过程，提出了一种可以利用VGGNet的5层卷积特征和1层的HOG手工特征，训练6个相关滤波器组，将其全部融合后共同确定目标的位置的实现方式，可以保证在在监控的复杂多变的场景中，能够适应目标的各种变化，保持跟踪的高稳定性和高准确性。
上述实施例中对于孪生网络模型的具体模型结构以及对应的目标位置预测的实现过程不做限定，本实施例中主要针对孪生网络模型协助跟踪的实现过程进行介绍。
可选地，孪生网络模型具体可以包括：样本分支网络以及搜索分支网络，调用孪生网络模型通过两分支网络对待跟踪帧图像进行目标位置的重检测的过程具体可以包括：
(1)调用样本分支网络提取标记有待跟踪目标的首帧图像中的待跟踪目标的特征，作为第一特征；
(2)调用搜索分支网络提取目标区域图像的特征，作为第二特征；目标区域图像为待跟踪帧图像中的待跟踪目标的候选区域图像；
(3)根据第一特征以及第二特征进行目标位置的预测。
每隔若干帧，启用孪生网络模型。该模型具备两个分支，其中一个分支是样本分支，作用是提取第1帧的真实目标的特征；而另外一个分支是搜索分支，该分支提取候选区域特征，该种配置下，孪生网络模型中的一条分支一直保留着第1帧的信息，孪生网络能保存第一帧的真实信息的优点应用至目标跟踪系统中，每隔若干帧可以对目标做一次重新检测，可以解决目标在丢失之后，能够继续确定目标的位置，同时也能更加准确地确定目标位置。
本实施例中对于步骤(3)中根据第一特征以及第二特征进行目标位置的预测的具体实现过程不做限定，可选地，一种实现过程具体包括以下步骤：
将第一特征进行离散傅里叶变换，得到第一离散特征，将第二特征进行离散傅里叶变换，得到第二离散特征；
根据第一离散特征以及多数第二离散特征进行模型响应图的构造，并根据模型响应图进行目标位置的预测。
传统孪生网络中普遍使用Triplet loss函数作为比对函数，利用欧式距离来判定正、负样本的相似性，误差大、很难来确定目标的准确位置，并没有很好地利用前一帧目标的信息，为进一步提升孪生网络模型目标位置预测的精准度，本实施例中提出将相关滤波操作融入了最后一层的卷积层，取代了在原来网络中的Triplet loss的比对函数，将相关滤波的相似性原理应用至跟踪，使得跟踪的效果更加优异，使得目标的预测更加准确。
另外，上述实施例中对于孪生网络模型的具体模型类型选择不做限定，可选地，可以选用判别式孪生网络模型。判别式孪生网络(Discriminant Siamese network)将最后一层的比对函数层替换成判别式相关滤波层，通过重新定义推导它的反向传播，并在数据集上重新训练完成，而网络的输出层则是跟踪目标的响应图。判别式孪生网络没有很深的网络层，可以保证跟踪系统的实时性，而且它的比对函数层改进成了相关滤波层，呈现出端到端的轻量级网络架构，并通过定义来推导出它的反向传播原理，它的网络输出为目标的概率热图。当然，也可以选用被其他孪生网络模型，在此不做限定。
为加深对上述实施例中介绍的目标跟踪过程的理解，本实施例中以一种具体的实现方式为例进行介绍。
本申请提出的目标跟踪方法中主要调用两个深度网络，分别为层数比较深的卷积网络模型和孪生网络模型。根据仿真实验，本实施例采用当前较为流行的VGGNet-19深度网络模型用于提取目标特征，并训练相关滤波器。其中VGG-相关滤波模型中还附属着HOG-相关滤波模型，而孪生网络模型选用判别式孪生网络模型(DCFSimaNet)，网络模型协作示意图如图3所示，以该模型配置下的多模型协作的跟踪过程实现流程示意图如图4所示。
详细步骤如下：
1、变量预设定及计算；
(1)读取视频序列，获得第1帧图像的大小，需要跟踪的目标位置(矩形的左上角横纵坐标和宽w及高度h)；
(2)计算高斯标签函数标签中的参数σ，其中
w和h分别表示t-1帧目标位置的宽和高，σ'表示输出因子，取值为0.1；cell_size表示为取块的边长，取值为4；
(3)计算候选区域(目标区域的2.5倍)，计算得到包含cell_size的长度M和高度N；
(4)针对每一个cell块，利用参数σ建立高斯函数标签，
其中Y(m,n)表示在(m,n)处的标签，符合高斯分布，为二维高斯核函数，m∈{0,1,…,M-1}，n∈{0,1,…,N-1}；
(5)初始化深度模型网络，本实施例采用的是VGG-相关滤波模型和判别式孪生网络模型。在前者所采用的是VGGNet-19网络，一种具体的框架如表1所示，一种判别式孪生模型的网络框架如表2所示；
表1一种VGGNet-19网络结构表
表2一种判别式孪生网络模型结构表
2、VGG-相关滤波模型提取候选区域特征及HOG特征；
(6)在预测第t帧的目标时，裁剪出目标的候选区域，其大小一般为t-1帧目标大小的2.5倍区域；其中1<t<＝视频长度；
(7)将候选图像区域进行单精度处理，并且利用深度网络进行重采样，归一化后计算出均值，然后将图像去均值处理；
(8)提取目标候选区域的HOG特征，维度为31维，记作
(M、N表示特征图的宽和高)，图5所示的HOG特征可视化表示；
(9)利用VGGNet-19网络对候选区域进行特征提取，提取其中的Conv1-2，Conv2-2，Conv3-4，Conv4-4，Conv5-4的不同卷积层特征，VGG-相关滤波模型提取的HOG特征可视化示意图如图5所示；
(10)将卷积层的每层输出是一组多通道的特征图，记作
D为通道个数。
3、相关滤波器组预测位置；
(11)利用相关滤波器，构建每个特征通道d(d∈{1,2,…,D})的相关滤波器，构造的公式为
其中，λ为相关滤波器的正则化参数，χl和y分别为Xl和Y的离散傅立叶变换，
为Xl的复数共轭；
(12)在下一帧预测阶段，获取图像中的候选区域，提取它在第l层中的第d个通道的特征图，表示为
它的离散傅立叶变换为
通过
计算第l层的相关响应图。
表示傅里叶逆变换操作。通过搜索相关响应图El的最大响应值所在的位置，就可以估计出目标在第l层特征图的中心，其中El的大小为M*N；
(13)获得了卷积层的特征响应之后，提取候选区域的HOG手工特征构造了响应图，从而组成了具有6个层级(包括5层卷积层和1层手工特征)的相关响应图，将全部的多级特征的响应图记为集合{E1,E2,…,El}，如图6所示为VGG-相关滤波模型提取特征流程示意图。
(14)将高一层的最大响应值与当前层的最大响应值加权得到当前层的位置，即第l-1级的最优位置为：El-1(m,n)＝al-1El-1(m,n)+alEl(m,n)，其中El(m,n)表示每一级的特征图中在(m,n)所在的响应图位置具有最大的响应值，al为第l级的权重，得到最终的响应图E，其过程如图6所示。
其中，在公式El-1(m,n)＝al-1El-1(m,n)+alEl(m,n)中，通过加权将多层融合，每一层的权值是可以被替代的，权值需要不断的调整，每一种权值的调整会有不同的效果。
(15)通过在最后的响应图E(m,n)中找到最大响应值即可以定位当前跟踪目标的中心位置pt＝(xt,yt)，如公式(xt,yt)＝argm,nmax E(m,n)；
4、判别式孪生网络模型协助跟踪；
(16)每隔若干帧，启用判别式孪生网络模型。该模型具备两个分支，其中一个是样本分支，作用是提取第1帧的真实目标的特征，将该过程记作
而另外一个是搜索分支，在步骤(15)中的得到的目标pt＝(xt,yt)周围采集候选区域，该分支提取候选区域特征，将该过程记作
(17)由于判别式孪生网络模型已经将相关滤波操作已经融入了最后一层的卷积层，将相关滤波的相似性原理应用至跟踪，使得跟踪的效果更加优异。将
和
进行离散傅里叶变换得到
和
得到该模型的响应图
(18)在G的响应图上搜索出最大值，得到判别式孪生网络模型预测而出的最佳位置，即(xt,yt)＝argm,nmax G(m,n)。将该结果作为当前帧的目标位置。
5、VGG-相关滤波模型更新；
(19)更新利用卷积层训练得到的相关滤波器组模型。为了获得鲁棒的近似值，可以更新第t帧的分子
和分母
从而有效地更新第t帧的相关滤波器
更新的公式为
其中
和
η为学习率。而判别式孪生网络模型不进行更新，以保证判别式孪生网络模型的一条分支一直保留着第一帧信息。
本实施例介绍的目标跟踪方法，提出了一种使用了VGG-相关滤波模型和判别式孪生网络模型共同协作从而实现稳定、准确的目标跟踪系统，将两个模型结合，可以弥补两者分别存在的缺点：VGG-相关滤波模型能进行在线更新，弥补了孪生网络不进行在线更新的缺点；而孪生网络则弥补了VGG-相关滤波模型未保存第1帧真实信息的缺点，实现了精准的目标预测。
以该过程进行实际目标跟踪测试，与其他跟踪方式对比下具有良好的跟踪性能，如图7所示为一种跟踪效果展示图，可见，SiameseFC以及HCFT这两种跟踪方法在持续目标跟踪过程中出现了目标丢失以及目标定位不准的问题，相较SiameseFC以及HCFT这两种跟踪方法，本实施例提供的跟踪方式不仅可以保证跟踪的精准度，而且可以保证高精准跟踪的长期稳定运行。
需要说明的是，本实施例中仅以上述配置下的实现过程为例进行介绍，其他配置下的实现过程均可参照本实施例的介绍，在此不再赘述。
请参考图8，图8为本实施例提供的目标跟踪装置的结构框图；主要包括：信息确定单元210、变量设定单元220、图像判断单元230、第一预测单元240以及第二预测单元250。本实施例提供的目标跟踪装置可与上述目标跟踪方法相互对照。
其中，信息确定单元210主要用于确定待跟踪帧图像与待跟踪目标的信息；
变量设定单元220主要用于根据待跟踪帧图像以及信息对经过预训练的深度卷积网络模型以及孪生网络模型进行变量设定；
图像判断单元230主要用于判断待跟踪帧图像是否属于孪生网络模型的跟踪帧；其中，孪生网络模型在深度卷积网络模型每处理目标数量的帧图像后启动；若不属于，触发第一预测单元240；若属于，触发第二预测单元250；
第一预测单元240主要用于调用深度卷积网络模型根据待跟踪帧图像中的多层特征进行目标位置的预测，得到预测位置；
第二预测单元250主要用于调用孪生网络模型通过两分支网络对待跟踪帧图像进行目标位置的重检测，得到预测位置。
本实施例提供一种目标跟踪设备，主要包括：存储器以及处理器。
其中，存储器用于存储程序；
处理器用于执行程序时实现如上述实施例介绍的目标跟踪方法的步骤，具体可参照上述目标跟踪方法的介绍。
请参考图9，为本实施例提供的目标跟踪设备的结构示意图，该目标跟踪设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在目标跟踪设备301上执行存储介质330中的一系列指令操作。
目标跟踪设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上面图1所描述的目标跟踪方法中的步骤可以由本实施例介绍的目标跟踪设备的结构实现。
本实施例公开一种可读存储介质，其上存储有程序，程序被处理器执行时实现如上述实施例介绍的目标跟踪方法的步骤，具体可参照上述实施例中对目标跟踪方法的介绍。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的目标跟踪方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种目标跟踪方法，其特征在于，包括：
确定待跟踪帧图像与待跟踪目标的信息；
根据所述待跟踪帧图像以及所述信息对经过预训练的深度卷积网络模型以及孪生网络模型进行变量设定；
判断所述待跟踪帧图像是否属于所述孪生网络模型的跟踪帧；其中，所述孪生网络模型在所述深度卷积网络模型每处理目标数量的帧图像后启动；
若不属于，调用所述深度卷积网络模型根据所述待跟踪帧图像中的多层特征进行目标位置的预测，得到预测位置；
若属于，调用所述孪生网络模型通过两分支网络对所述待跟踪帧图像进行目标位置的重检测，得到预测位置。
2.如权利要求1所述的目标跟踪方法，其特征在于，调用所述深度卷积网络模型根据所述待跟踪帧图像中的多层特征进行目标位置的预测，包括：
提取目标区域图像的HOG特征；所述目标区域图像为所述待跟踪帧图像中的所述待跟踪目标的候选区域图像；
调用所述深度卷积网络模型对所述目标区域图像进行卷积操作；
提取所述卷积操作中生成的多卷积层特征值；
调用预训练的相关滤波器组根据所述多卷积层特征值以及所述HOG特征进行目标位置的预测；所述相关滤波器组中包括与特征值的总层数数量对应的相关滤波器，所述特征值包括所述多卷积层特征值以及所述HOG特征。
3.如权利要求2所述的目标跟踪方法，其特征在于，提取所述卷积操作中生成的多卷积层特征值，包括：
在所述卷积操作中生成的每个尺度的卷积层中提取池化前的末层卷积层的特征值。
4.如权利要求2所述的目标跟踪方法，其特征在于，在调用预训练的相关滤波器组根据所述多层特征值以及所述HOG特征进行目标位置的预测之后，还包括：
根据所述目标位置的预测得到的预测位置对所述相关滤波器组进行更新训练。
5.如权利要求1所述的目标跟踪方法，其特征在于，所述孪生网络模型包括：样本分支网络以及搜索分支网络，调用所述孪生网络模型通过两分支网络对所述待跟踪帧图像进行目标位置的重检测，包括：
调用所述样本分支网络提取标记有所述待跟踪目标的首帧图像中的所述待跟踪目标的特征，作为第一特征；
调用所述搜索分支网络提取目标区域图像的特征，作为第二特征；所述目标区域图像为所述待跟踪帧图像中的所述待跟踪目标的候选区域图像；
根据所述第一特征以及所述第二特征进行目标位置的预测。
6.如权利要求5所述的目标跟踪方法，其特征在于，根据所述第一特征以及所述第二特征进行目标位置的预测，包括：
将所述第一特征进行离散傅里叶变换，得到第一离散特征，将所述第二特征进行离散傅里叶变换，得到第二离散特征；
根据所述第一离散特征以及多数第二离散特征进行模型响应图的构造，并根据所述模型响应图进行目标位置的预测。
7.如权利要求1所述的目标跟踪方法，其特征在于，所述孪生网络模型具体为：判别式孪生网络模型。
8.一种目标跟踪装置，其特征在于，包括：
信息确定单元，用于确定待跟踪帧图像与待跟踪目标的信息；
变量设定单元，用于根据所述待跟踪帧图像以及所述信息对经过预训练的深度卷积网络模型以及孪生网络模型进行变量设定；
图像判断单元，用于判断所述待跟踪帧图像是否属于所述孪生网络模型的跟踪帧；其中，所述孪生网络模型在所述深度卷积网络模型每处理目标数量的帧图像后启动；若不属于，触发第一预测单元；若属于，触发第二预测单元；
所述第一预测单元，用于调用所述深度卷积网络模型根据所述待跟踪帧图像中的多层特征进行目标位置的预测，得到预测位置；
所述第二预测单元，用于调用所述孪生网络模型通过两分支网络对所述待跟踪帧图像进行目标位置的重检测，得到预测位置。
9.一种目标跟踪设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的目标跟踪方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至7任一项所述目标跟踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010481945.5A CN111640138B (zh) | 2020-05-28 | 2020-05-28 | 一种目标跟踪方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010481945.5A CN111640138B (zh) | 2020-05-28 | 2020-05-28 | 一种目标跟踪方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111640138A true CN111640138A (zh) | 2020-09-08 |
| CN111640138B CN111640138B (zh) | 2023-10-27 |
Family
ID=72332154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010481945.5A Active CN111640138B (zh) | 2020-05-28 | 2020-05-28 | 一种目标跟踪方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111640138B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112762841A (zh) * | 2020-12-30 | 2021-05-07 | 天津大学 | 一种基于多分辨率深度特征的桥梁动位移监测系统及方法 |
| CN112906466A (zh) * | 2021-01-15 | 2021-06-04 | 深圳云天励飞技术股份有限公司 | 图像关联方法、系统及设备以及图像搜索方法及系统 |
| CN113592899A (zh) * | 2021-05-28 | 2021-11-02 | 北京理工大学重庆创新中心 | 一种相关滤波目标跟踪深度特征的提取方法 |
| CN116740135A (zh) * | 2023-05-18 | 2023-09-12 | 中国科学院空天信息创新研究院 | 红外弱小目标跟踪方法、装置、电子设备及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160110881A1 (en) * | 2014-10-20 | 2016-04-21 | Sesame Enable Ltd | Motion tracking device control systems and methods |
| CN107341479A (zh) * | 2017-07-11 | 2017-11-10 | 安徽大学 | 一种基于加权稀疏协作模型的目标跟踪方法 |
| CN107689052A (zh) * | 2017-07-11 | 2018-02-13 | 西安电子科技大学 | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 |
| CN108470355A (zh) * | 2018-04-04 | 2018-08-31 | 中山大学 | 融合卷积网络特征和判别式相关滤波器的目标跟踪方法 |
| CN108846358A (zh) * | 2018-06-13 | 2018-11-20 | 浙江工业大学 | 一种基于孪生网络进行特征融合的目标跟踪方法 |
| CN109543615A (zh) * | 2018-11-23 | 2019-03-29 | 长沙理工大学 | 一种基于多级特征的双学习模型目标跟踪方法 |
| CN109633589A (zh) * | 2019-01-08 | 2019-04-16 | 沈阳理工大学 | 目标跟踪中基于多模型优化多假设的多目标数据关联方法 |
| CN110298404A (zh) * | 2019-07-02 | 2019-10-01 | 西南交通大学 | 一种基于三重孪生哈希网络学习的目标跟踪方法 |
| CN110415271A (zh) * | 2019-06-28 | 2019-11-05 | 武汉大学 | 一种基于外观多样性的生成对抗孪生网络目标跟踪方法 |
| CN110796679A (zh) * | 2019-10-30 | 2020-02-14 | 电子科技大学 | 一种面向航拍影像的目标跟踪方法 |
| US20200082546A1 (en) * | 2018-09-10 | 2020-03-12 | Siemens Aktiengesellschaft | Tracking and traceability of parts of a product |
| CN111008996A (zh) * | 2019-12-09 | 2020-04-14 | 华侨大学 | 一种通过分层特征响应融合的目标跟踪方法 |
| CN111105442A (zh) * | 2019-12-23 | 2020-05-05 | 中国科学技术大学 | 切换式目标跟踪方法 |
| CN111179307A (zh) * | 2019-12-16 | 2020-05-19 | 浙江工业大学 | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 |
-
2020
- 2020-05-28 CN CN202010481945.5A patent/CN111640138B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160110881A1 (en) * | 2014-10-20 | 2016-04-21 | Sesame Enable Ltd | Motion tracking device control systems and methods |
| CN107341479A (zh) * | 2017-07-11 | 2017-11-10 | 安徽大学 | 一种基于加权稀疏协作模型的目标跟踪方法 |
| CN107689052A (zh) * | 2017-07-11 | 2018-02-13 | 西安电子科技大学 | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 |
| CN108470355A (zh) * | 2018-04-04 | 2018-08-31 | 中山大学 | 融合卷积网络特征和判别式相关滤波器的目标跟踪方法 |
| CN108846358A (zh) * | 2018-06-13 | 2018-11-20 | 浙江工业大学 | 一种基于孪生网络进行特征融合的目标跟踪方法 |
| US20200082546A1 (en) * | 2018-09-10 | 2020-03-12 | Siemens Aktiengesellschaft | Tracking and traceability of parts of a product |
| CN109543615A (zh) * | 2018-11-23 | 2019-03-29 | 长沙理工大学 | 一种基于多级特征的双学习模型目标跟踪方法 |
| CN109633589A (zh) * | 2019-01-08 | 2019-04-16 | 沈阳理工大学 | 目标跟踪中基于多模型优化多假设的多目标数据关联方法 |
| CN110415271A (zh) * | 2019-06-28 | 2019-11-05 | 武汉大学 | 一种基于外观多样性的生成对抗孪生网络目标跟踪方法 |
| CN110298404A (zh) * | 2019-07-02 | 2019-10-01 | 西南交通大学 | 一种基于三重孪生哈希网络学习的目标跟踪方法 |
| CN110796679A (zh) * | 2019-10-30 | 2020-02-14 | 电子科技大学 | 一种面向航拍影像的目标跟踪方法 |
| CN111008996A (zh) * | 2019-12-09 | 2020-04-14 | 华侨大学 | 一种通过分层特征响应融合的目标跟踪方法 |
| CN111179307A (zh) * | 2019-12-16 | 2020-05-19 | 浙江工业大学 | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 |
| CN111105442A (zh) * | 2019-12-23 | 2020-05-05 | 中国科学技术大学 | 切换式目标跟踪方法 |
Non-Patent Citations (4)
| Title |
|---|
| ZHANG HAN，NI WEIPING, YAN WEIDONG, WU JUNZHENG, BIAN HUI, XIANG DELIANG: "Visual tracking using Siamese convolutional neural network with region proposal and domain specific updating", NEUROCOMPUTING, vol. 275, pages 2645 - 2655, XP085309946, DOI: 10.1016/j.neucom.2017.11.050 * |
| 张园强;查宇飞;库涛;吴敏;毕笃彦;: "基于多实例回归模型的视觉跟踪算法研究", no. 05, pages 190 - 197 * |
| 董吉富，刘畅，曹方伟，凌源，高翔: "基于注意力机制的在线自适应孪生网络跟踪算法", 激光与光电子学进展, vol. 57, no. 2, pages 1 - 8 * |
| 陈志旺;张忠新;宋娟;罗红福;彭勇;: "基于目标感知特征筛选的孪生网络跟踪算法", no. 09, pages 110 - 126 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112762841A (zh) * | 2020-12-30 | 2021-05-07 | 天津大学 | 一种基于多分辨率深度特征的桥梁动位移监测系统及方法 |
| CN112906466A (zh) * | 2021-01-15 | 2021-06-04 | 深圳云天励飞技术股份有限公司 | 图像关联方法、系统及设备以及图像搜索方法及系统 |
| CN113592899A (zh) * | 2021-05-28 | 2021-11-02 | 北京理工大学重庆创新中心 | 一种相关滤波目标跟踪深度特征的提取方法 |
| CN116740135A (zh) * | 2023-05-18 | 2023-09-12 | 中国科学院空天信息创新研究院 | 红外弱小目标跟踪方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111640138B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291679B (zh) | 一种基于孪生网络的目标特定响应注意力目标跟踪方法 | |
| US10885381B2 (en) | Ship detection method and system based on multidimensional scene features | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN111640138A (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
| Li et al. | Adaptive deep convolutional neural networks for scene-specific object detection | |
| CN112926410B (zh) | 目标跟踪方法、装置、存储介质及智能视频系统 | |
| CN111914664A (zh) | 基于重识别的车辆多目标检测和轨迹跟踪方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN112150493B (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN109711416B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN108564598B (zh) | 一种改进的在线Boosting目标跟踪方法 | |
| CN113361495A (zh) | 人脸图像相似度的计算方法、装置、设备及存储介质 | |
| CN113706581B (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
| CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
| CN112668483A (zh) | 一种融合行人重识别和人脸检测的单目标人物跟踪方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN116665095B (zh) | 一种运动舰船检测方法、系统、存储介质和电子设备 | |
| CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及系统 | |
| CN107895162B (zh) | 基于物体先验的图像显著性目标检测算法 | |
| CN115471525A (zh) | 基于融合孪生网络与卡尔曼滤波的目标跟踪方法及系统 | |
| CN112613565B (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
| CN111415370A (zh) | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 | |
| CN111105436B (zh) | 目标跟踪方法、计算机设备及存储介质 | |
| CN114627156A (zh) | 消费级无人机视频运动目标精准追踪方法 | |
| CN113793362A (zh) | 基于多镜头视频的行人轨迹提取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |