CN112200831A - 一种基于动态模板的密集连接孪生神经网络目标跟踪方法 - Google Patents
一种基于动态模板的密集连接孪生神经网络目标跟踪方法 Download PDFInfo
- Publication number
- CN112200831A CN112200831A CN202010973244.3A CN202010973244A CN112200831A CN 112200831 A CN112200831 A CN 112200831A CN 202010973244 A CN202010973244 A CN 202010973244A CN 112200831 A CN112200831 A CN 112200831A
- Authority
- CN
- China
- Prior art keywords
- template
- target
- frame
- tracking
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 6
- 230000005764 inhibitory process Effects 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 230000004044 response Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 102400000832 Antiplasmin-cleaving enzyme FAP, soluble form Human genes 0.000 claims description 3
- 101800000492 Antiplasmin-cleaving enzyme FAP, soluble form Proteins 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 description 2
- 229960004134 propofol Drugs 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于动态模板的密集连接孪生神经网络目标跟踪方法，包括以下步骤：1)提取输入模板帧和检测帧图像对特征：使用主干网络为DenseNet的孪生神经网络提取输入图像对特征；2)将特征图输入RPN网络，经过分类分支和回归分支得到多个proposals；筛选候选区域：使用余弦窗抑制和尺度惩罚筛选出最终的proposals；3)对模板分支和检测分支得到的proposals进行相似性度量，使用非极大抑制得到最终的bounding box，通过线性插值更新图像尺寸，得到在检测帧中目标最终的预测跟踪位置；4)使用置信度作为模板是否更新的评判依据，更新模板。本发明在处理视频序列中特定目标的跟踪取得了较好的效果。
Description
技术领域
本发明涉及到计算机视觉中目标跟踪任务，是一种孪生神经网络目标跟踪框架，可以对视频序列执行跟踪定位功能，属于图像处理领域。
背景技术
基于视觉的目标跟踪是计算机视觉中众多任务里的一个重要分支，被广泛应用于智能安防，智慧交通和自动驾驶等领域。目标跟踪的任务就是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置，实现对运动目标行为的分析和理解，以便完成后续更高级的任务。研究人员对目标跟踪技术的探索已有多年，目标跟踪算法的性能逐渐改善，但是在复杂条件下对运动目标实现实时、稳定的跟踪仍存在很大的挑战，面临的挑战主要有：形态变化、尺度变化、遮挡与消失、图像模糊等。
随着深度学习在目标跟踪领域的应用，以孪生神经网络为基础的算法凭借其良好的性能和速度引起了广泛的关注。Tao等人首次将孪生神经网络引入到目标跟踪，在OTB50数据集上取得了很好的效果，但是受限于候选采样处理的计算量，速度仅有2FPS，无法实时运行。Bertinetto等人采用全连接层减少了计算量，并且只使用了五层卷积层来训练相似性函数，在实时运行的情况下取得了良好的跟踪结果，但是其精度依然无法超过使用相关滤波的算法如ECO。
发明内容
为了克服现有技术的不足，本发明提出了一种基于动态模板的密集连接孪生神经网络目标跟踪方法，与现有的孪生神经网络目标跟踪框架不同的是，该方法引入了更深的且效果更好的密集连接网络DenseNet取代AlexNet作为孪生神经网络特征提取的主干网络，进一步提升了网络的性能，并且改变了当前不使用模板更新的策略，引入了动态的模板更新策略来避免复杂场景下模型发生漂移的现象。本发明创造性的将深层卷积神经网络应用到孪生目标跟踪网络中且使用了动态的模板更新策略，有效的提升了目标跟踪的精度以及算法运行的鲁棒性。
本发明解决其技术问题所采用的技术方案是：
一种基于动态模板的密集连接孪生神经网络目标跟踪方法，该方法包括以下步骤：
步骤1：使用孪生神经网络提取特征，过程如下：
步骤1.1：该网络由拥有三个Dense Block的DenseNet组成，相邻两个Dense Block之间连接一个1*1的卷积层和一个2*2mean-pooling层；
步骤1.2：每个Dense Block由Batch Normalization层、ReLU层和卷积层组成；
步骤1.3：视频序列的初始帧为模板帧，当前帧为检测帧，分别输入孪生神经网络，得到模板帧和检测帧的特征图；
步骤2：将特征图输入RPN网络，生成候选区域，过程如下：
步骤2.1：RPN网络由两部分组成，一部分是分类分支，用于区分目标和背景，另一部分是回归分支，用于微调候选区域；
步骤2.2：对于分类分支，RPN网络接收步骤1生成的模板帧和检测帧的特征图，使用一个新的卷积核对它们进行卷积操作，缩小特征图的同时产生了新的特征图；
步骤2.3：以模板帧特征图为卷积核对检测帧特征图进行卷积操作得到响应图；
步骤2.4：对于回归分支，执行上述相同的操作同样得到响应图，根据分类分支和回归分支的输出提取出得分前M的输出，得到前M个proposals的位置信息；
步骤3：确定跟踪位置，过程如下：
步骤3.1：对模板分支的proposals和检测分支的proposals做相似性度量，获得跟踪结果的bounding box；
步骤3.2：使用非极大抑制(NMS)对最后预测输出的bounding box进行筛选，得出最终跟踪到的目标bounding box；
步骤3.3：使用线性插值更新目标尺寸，得出最终在检测帧上跟踪得到的目标位置；
步骤4：更新模板，过程如下：使用置信度作为模板是否更新的评判依据，置信度计算方式如下：
其中，Fmax，Fmin，Fw,h分别代表响应图上的最大值，最小值和(w，h)位置上的响应值；当置信度突然减小的时候，是目标跟丢的情况，这种情况不宜进行模板的更新，避免发生跟踪漂移；只有当APCEs和Fmax都以设定比例大于各自的历史均值时才进行模板更新。
经过上述步骤的操作，即可实现对视频序列中特定目标的精确跟踪。
进一步，所述2.4中，选择在目标周围7个单位内的anchors而不是整个特征图的anchors，删除了离目标较远的proposals，使用余弦窗抑制最大位移，使用尺度变化penalty抑制尺寸和比例的大幅变化，得出最后评分较高的五个proposals。
本发明的有益效果主要表现在：本发明提出一种基于密集连接孪生神经网络的目标跟踪方法。首先通过使用密集连接网络DenseNet为主干网络的孪生神经网络提取模板帧和检测帧的特征，然后通过RPN网络生成五个proposals，对模板分支和检测分支得到的proposals做相似性度量，获得预测的目标bounding box，使用非极大抑制对预测boundingbox进行筛选得出最终的目标bounding box，最后使用线性插值更新目标尺寸，得到检测帧中目标的具体位置。本发明可实现对视频序列中特定目标的精确跟踪。
附图说明
图1是本发明所提跟踪方法的算法框架示意图。
图2是密集连接孪生跟踪网络整体结构示意图。
图3是Dense Block结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种基于密集连接孪生神经网络的目标跟踪方法，所述方法包括特征提取，生成候选区域，确定跟踪位置三个过程。图2为密集连接孪生跟踪网络的整体结构，分为孪生网络特征提取和RPN网络生成候选区域两个部分。图3是Dense Block结构示意图。
所述基于密集连接孪生神经网络的目标跟踪方法包括以下步骤：
步骤1：使用孪生神经网络提取特征，过程如下：
步骤1.1：该网络主要以DenseNet为基础，由上下两个部分组成，两个部分共享权重和网络结构，分别接受模板帧和检测帧图像的输入；
步骤1.2：每个部分的主要结构都是使用三个Dense Block的DenseNet，相邻两个Dense Block之间连接一个1*1的卷积层和一个2*2的mean-pooling层；
步骤1.3：每个Dense Block由均由Batch Normalization层、ReLU层和卷积层三个部分组成；
步骤1.4：模板帧和检测帧经过这样的孪生网络结构分别得到各自的特征图；
步骤2：将特征图输入RPN网络，生成候选区域，过程如下：
步骤2.1：RPN网络由两部分组成，一部分是分类分支，用于区分目标和背景，另一部分是回归分支，用于微调候选区域；
步骤2.2：对于分类分支，RPN网络接收步骤1生成的模板帧和检测帧的特征图，使用一个新的卷积核对它们进行卷积操作，缩小特征图的同时产生了新的特征图；
步骤2.3：以模板帧特征图为卷积核对检测帧特征图进行卷积操作得到响应图；
步骤2.4：对于回归分支，执行上述相同的操作同样得到响应图，根据分类分支和回归分支的输出提取出得分前M的输出，得到前M个proposals的位置信息；
根据以下策略选择proposals；：选择在目标周围7个单位内的anchors而不是整个特征图的anchors，删除了离目标较远的proposals，使用余弦窗抑制最大位移，使用尺度变化penalty抑制尺寸和比例的大幅变化，得出最后评分较高的五个proposals；
步骤3：确定跟踪位置，过程如下：
步骤3.1：对模板分支和检测分支得到的proposals进行相似性度量，获得跟踪结果的bounding box；
步骤3.2：使用非极大抑制NMS对预测得到的多个bounding box进行筛选，得出最终的跟踪结果bounding box；
步骤3.3：使用线性插值更新模板尺寸，得出最终在检测帧上跟踪得到的目标位置；
步骤4：更新模板，过程如下：使用置信度作为模板是否更新的评判依据，置信度计算方式如下：
其中，Fmax，Fmin，Fw,h分别代表响应图上的最大值，最小值和(w，h)位置上的响应值；当置信度突然减小的时候，是目标跟丢的情况，这种情况不宜进行模板的更新，避免发生跟踪漂移；只有当APCEs和Fmax都以设定比例大于各自的历史均值时才进行模板更新。
经过上述步骤的操作，即可实现对视频序列中的选定目标的精确跟踪。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于动态模板的密集连接孪生神经网络目标跟踪方法，其特征在于，该方法包括以下步骤：
步骤1：使用孪生神经网络提取特征，过程如下：
步骤1.1：该网络由拥有三个Dense Block的DenseNet组成，相邻两个Dense Block之间连接一个1*1的卷积层和一个2*2mean-pooling层；
步骤1.2：每个Dense Block由Batch Normalization层、ReLU层和卷积层组成；
步骤1.3：视频序列的初始帧为模板帧，当前帧为检测帧，分别输入孪生神经网络，得到模板帧和检测帧的特征图；
步骤2：将特征图输入RPN网络，生成候选区域，过程如下：
步骤2.1：RPN网络由两部分组成，一部分是分类分支，用于区分目标和背景，另一部分是回归分支，用于微调候选区域；
步骤2.2：对于分类分支，RPN网络接收步骤1生成的模板帧和检测帧的特征图，使用一个新的卷积核对它们进行卷积操作，缩小特征图的同时产生了新的特征图；
步骤2.3：以模板帧特征图为卷积核对检测帧特征图进行卷积操作得到响应图；
步骤2.4：对于回归分支，执行上述相同的操作同样得到响应图，根据分类分支和回归分支的输出提取出得分前M的输出，得到前M个proposals的位置信息；
步骤3：确定跟踪位置，过程如下：
步骤3.1：对模板分支的proposals和检测分支的proposals做相似性度量，获得跟踪结果的bounding box；
步骤3.2：使用非极大抑制NMS对最后预测输出的bounding box进行筛选，得出最终跟踪到的目标bounding box；
步骤3.3：使用线性插值更新目标尺寸，得出最终在检测帧上跟踪得到的目标位置；
步骤4：更新模板，过程如下：使用置信度作为模板是否更新的评判依据，置信度计算方式如下：
其中，Fmax，Fmin，Fw,h分别代表响应图上的最大值，最小值和(w，h)位置上的响应值；当置信度突然减小的时候，是目标跟丢的情况，这种情况不宜进行模板的更新，避免发生跟踪漂移；只有当APCEs和Fmax都以设定比例大于各自的历史均值时才进行模板更新。
2.如权利要求1所述的一种基于动态模板的密集连接孪生神经网络目标跟踪方法，其特征在于，所述2.4中，选择在目标周围7个单位内的anchors而不是整个特征图的anchors，删除了离目标较远的proposals，使用余弦窗抑制最大位移，使用尺度变化penalty抑制尺寸和比例的大幅变化，得出最后评分较高的五个proposals。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010973244.3A CN112200831B (zh) | 2020-09-16 | 2020-09-16 | 一种基于动态模板的密集连接孪生神经网络目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010973244.3A CN112200831B (zh) | 2020-09-16 | 2020-09-16 | 一种基于动态模板的密集连接孪生神经网络目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112200831A true CN112200831A (zh) | 2021-01-08 |
| CN112200831B CN112200831B (zh) | 2024-03-26 |
Family
ID=74016373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010973244.3A Active CN112200831B (zh) | 2020-09-16 | 2020-09-16 | 一种基于动态模板的密集连接孪生神经网络目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200831B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359689A (zh) * | 2021-12-08 | 2022-04-15 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 一种动态目标的检测与跟踪方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200051250A1 (en) * | 2018-08-08 | 2020-02-13 | Beihang University | Target tracking method and device oriented to airborne-based monitoring scenarios |
| CN111179307A (zh) * | 2019-12-16 | 2020-05-19 | 浙江工业大学 | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 |
-
2020
- 2020-09-16 CN CN202010973244.3A patent/CN112200831B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200051250A1 (en) * | 2018-08-08 | 2020-02-13 | Beihang University | Target tracking method and device oriented to airborne-based monitoring scenarios |
| CN111179307A (zh) * | 2019-12-16 | 2020-05-19 | 浙江工业大学 | 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359689A (zh) * | 2021-12-08 | 2022-04-15 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 一种动态目标的检测与跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200831B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991272B (zh) | 一种基于视频跟踪的多目标车辆轨迹识别方法 | |
| CN111508002B (zh) | 一种小型低飞目标视觉检测跟踪系统及其方法 | |
| CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
| CN111476817A (zh) | 一种基于yolov3的多目标行人检测跟踪方法 | |
| CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
| CN111027377B (zh) | 一种双流神经网络时序动作定位方法 | |
| CN112287832A (zh) | 一种基于高分辨率遥感影像的城镇违法建筑物检测方法 | |
| CN113744311A (zh) | 基于全连接注意力模块的孪生神经网络运动目标跟踪方法 | |
| CN113706581B (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
| CN111160407A (zh) | 一种深度学习目标检测方法及系统 | |
| CN110111370B (zh) | 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法 | |
| CN111079604A (zh) | 面向大尺度遥感图像的微小目标快速检测方法 | |
| CN112100435B (zh) | 一种基于边缘端交通音视频同步样本的自动标注方法 | |
| CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
| CN110827262B (zh) | 一种基于连续有限帧红外图像的弱小目标检测方法 | |
| CN116030396B (zh) | 一种用于视频结构化提取的精确分割方法 | |
| CN117252904B (zh) | 基于长程空间感知与通道增强的目标跟踪方法与系统 | |
| CN113763427A (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| CN113643329B (zh) | 一种基于孪生注意力网络的在线更新目标跟踪方法和系统 | |
| CN113052136B (zh) | 一种基于改进Faster RCNN的行人检测方法 | |
| CN105405152B (zh) | 基于结构化支持向量机的自适应尺度目标跟踪方法 | |
| CN112200831A (zh) | 一种基于动态模板的密集连接孪生神经网络目标跟踪方法 | |
| CN111724409A (zh) | 一种基于密集连接孪生神经网络的目标跟踪方法 | |
| CN116129386A (zh) | 可行驶区域检测方法、系统及计算机可读介质 | |
| CN112163580B (zh) | 一种基于注意力机制的小目标检测算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |