CN113379792A - 基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法 - Google Patents

基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法 Download PDF

Info

Publication number
CN113379792A
CN113379792A CN202110512558.8A CN202110512558A CN113379792A CN 113379792 A CN113379792 A CN 113379792A CN 202110512558 A CN202110512558 A CN 202110512558A CN 113379792 A CN113379792 A CN 113379792A
Authority
CN
China
Prior art keywords
score
rectangular window
deep
shallow
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110512558.8A
Other languages
English (en)
Inventor
罗元
肖航
欧俊雄
陈旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110512558.8A priority Critical patent/CN113379792A/zh
Publication of CN113379792A publication Critical patent/CN113379792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于浅‑中‑深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法，该方法包括步骤：S1，提出了一种浅‑中‑深三级特征融合孪生网络；S2，从浅、中、深三类网络层提取出对应的特征图并进行特征级别的融合得到互补特征图；S3，利用孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，并将相似性得分图进行分数级别的融合得到最终的得分图；S4，寻找得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离；S5，以该距离控制矩形窗尺寸大小的变化，完成对得分图的滤波。实验结果证明，SiamSMDFFF相较于传统跟踪器在多项性能方面均有明显提高。

Description

基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网 络跟踪方法
技术领域
本发明属于目标跟踪领域，特别是SiamSMDFFF(Siamese Shallow-Middle-DeepFeature Fusion Filter)：基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪器。
背景技术
目标跟踪是机器视觉领域中具有重要研究意义的课题之一，其相关技术被广泛应用于模式识别、无人驾驶、人机交互、智能机器人和智慧医疗等领域。目标跟踪任务通常在视频图像序列第一帧中使用矩形框选定需要跟踪的目标，并在后续帧中持续标注出目标对象所在的空间位置，得到目标的运动轨迹。
传统的目标跟踪方法，如均值漂移、粒子滤波和卡尔曼滤波等，均表现出易受背景信息或环境因素干扰导致跟踪失败，且对于目标形状、尺度和速度等各类变化的鲁棒性亟待提高等不足。随后出现的基于相关滤波的目标跟踪方法，在利用傅里叶变换和循环矩阵理论的基础上，通过核函数的引进、图像特征的替换、尺度估计方法的设计和降维策略的使用等操作，大幅提高了跟踪性能。近年来，随着深度学习技术的发展，出现了将CNN提取的深度特征与相关滤波相结合的跟踪方法，同时还出现了构造端到端的深度网络完成目标跟踪的方法，其中孪生网络类型的跟踪器展现出了其在平衡速度和精度两个方面的优良性能。
基于孪生网络的目标跟踪方法将目标跟踪任务转化为相似性匹配任务，利用数据集，通过端到端的方式训练跟踪器。训练好的跟踪器在跟踪过程中不再进行网络权重的在线更新，从而保证了跟踪器的速度。但是传统的孪生网络类型的跟踪器通常只使用最后一层CNN提取到的包含语义信息的深层特征完成相似性匹配，并没有充分利用包含细致的表观信息、对相似物干扰鲁棒性较好的浅层特征以及在浅层的表观特征和深层的语义特征之间起过渡作用的中层特征。此外，为了进一步提高跟踪器的性能，传统方法通常使用余弦窗对得分图进行滤波以抑制背景干扰的负面影响，但是余弦窗滤波对目标相似物干扰的抑制效果有限。
发明内容
为了解决上述问题，本发明提出了一种基于具有互补性质的浅-中-深三级特征融合与基于聚类的可变矩形窗滤波相结合的孪生网络跟踪器。首先，从浅、中、深三类网络层提取出对应的特征图并进行特征级别的融合得到互补特征图；然后，将孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，再将这对相似性得分图进行分数级别的融合得到最终的得分图；最后，由于视频相邻帧之间符合严格的时间序列关系，目标运动状态具有连续性，从而可以对目标的运动方向进行预测，因为目标实际运动与得分图峰值点位置变化具有映射关系，所以可沿目标运动方向对得分图进行滤波。在滤波过程中，我们首先寻找得分图的峰值点，以峰值点作为初始聚类中心完成聚类，然后计算聚类中心与最远聚类点的距离，最后以该距离控制矩形窗尺寸大小的变化，完成对得分图的滤波。实验证明，SiamSMDFFF相较于传统跟踪器在多项性能方面均有明显提高。
本发明的技术方案如下：
S1，构建一种浅-中-深三级特征融合孪生网络；
S2，从浅、中、深三类网络层分别提取出对应的特征图并进行特征级别的融合得到互补特征图；
S3，利用孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，并将相似性得分图进行分数级别的融合得到最终的得分图；
S4，寻找最终得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离；
S5，以该距离控制矩形窗尺寸大小的变化，完成对最终得分图的滤波。
进一步，上述方案中构建浅-中-深三级特征融合孪生网络具体为：网络选用ResNeSt作为Siamese骨干网络，同时去掉ResNeSt最后的全连接层以使其适用于目标跟踪任务。
进一步，上述浅-中-深三级特征融合具体为，利用浅、中、深三类网络层提取出对应的特征图通过权值相加进行特征级别的融合得到互补特征图。
进一步，上述相似性得分图具体为，将孪生网络两条分支的互补特征图通过相关计算，便得到一对相似性得分图，再将这对相似性得分图进行分数级别的融合得到最终的得分图。
进一步，上述计算聚类中心与最远聚类点的距离具体为，借助得分图中峰值点与图像帧中目标位置的映射关系，通过计算峰值点距离图像中心点的位移矢量得到目标的运动方向，通过在得分图中建立等尺寸的平面直角坐标系xOy对位置进行量化，确定目标位置T(xT,yT)，得到目标运动方向D。
Figure BDA0003060912300000021
通过对得分图进行三维映射，x轴和y轴对应分值点位置，z轴对应得分图的分值，能够以分值的层级大小为标准对不同位置的得分点进行聚类。聚类时首先以峰值点T为初始聚类中心，实现同一层级的得分点的聚类以及不同层级的得分点的划分。在完成聚类后，可计算得到最高层级中最远聚类点S和峰值点T之间的距离r。
Figure BDA0003060912300000022
进一步，上述控制矩形窗尺寸大小的变化具体为，以峰值点为圆心，以r为半径，可得到一个圆形覆盖范围，矩形窗的两边应与圆形相切以保证滤波范围最有效。因此，在引入矩形窗函数rect(p)时，设置矩形窗宽度w＝2r，此外，由于得分图尺寸大小为25×25，所以矩形窗长度l至少应该设置为
Figure BDA0003060912300000023
以r控制矩形窗的大小变化，以D控制矩形窗的滤波方向，二者配合实现对矩形滤波窗的控制，最终对于得分图中任意点p(xi,yi)(1≤i≤25)，若在矩形窗内，其分值将被保留，而矩形窗外的分值将被置零。
Figure BDA0003060912300000031
本发明的优点及有益效果如下：
基于孪生网络的目标跟踪器展现了其相较于传统目标跟踪方法在平衡跟踪速度和精度方面的优良性能，但传统的孪生网络跟踪器通常只使用最后一层CNN提取到的包含语义信息的深层特征完成相似性匹配，并没有充分利用包含细致的表观信息的浅层特征以及在浅层的表观特征和深层的语义特征之间起过渡作用的中层特征。同时传统方法通常使用余弦窗对得分图进行滤波以抑制背景干扰的负面影响，但是余弦窗滤波对目标相似物干扰的抑制效果有限，导致跟踪器对相似物干扰的鲁棒性较差。本发明提出了SiamSMDFFF。SiamSMDFFF利用浅、中、深三类特征进行特征级别的融合得到互补特征图，通过将浅层的表观信息、中层的局部轮廓信息和深层语义信息融合能够实现不同类别特征之间的优势互补。之后利用互补特征图经相关计算而来的得分图在分数级别进行融合得到最终的得分图，然后寻找得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离，最后以该距离控制矩形窗尺寸大小的变化对得分图进行滤波，通过将矩形滤波窗控制在一个尽可能小的范围内，以克服目标相似干扰物在跟踪过程中的负面影响，提高跟踪器的鲁棒性。实验结果证明，SiamSMDFFF相较于传统跟踪器在多项性能方面均有明显提高。
附图说明
图1为浅-中-深三级特征融合孪生网络结构图；
图2为基于聚类的可变矩形窗滤波原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
S1，提出了一种浅-中-深三级特征融合孪生网络，网络选用ResNeSt作Siamese为骨干网络，同时去掉ResNeSt最后的全连接层以使其适用于目标跟踪任务。
S2，从浅、中、深三类网络层分别提取出对应的特征图并进行特征级别的融合得到互补特征图。
S3，利用孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，并将相似性得分图进行分数级别的融合得到最终的得分图。
S4，寻找最终得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离。借助得分图中峰值点与图像帧中目标位置的映射关系，通过计算峰值点距离图像中心点的位移矢量得到目标的运动方向，通过在得分图中建立等尺寸的平面直角坐标系xOy对位置进行量化，确定目标位置T(xT,yT)，得到目标运动方向D。
Figure BDA0003060912300000041
通过对最终得分图进行三维映射，x轴和y轴对应分值点位置，z轴对应得分图的分值，能够以分值的层级大小为标准对不同位置的得分点进行聚类，其中，层级的设置可以按需要进行调整，根据得分图中所有位置点的分值范围而定。聚类时首先以峰值点T为初始聚类中心，实现同一层级的得分点的聚类以及不同层级的得分点的划分。在完成聚类后，可计算得到最高层级中最远聚类点S和峰值点T之间的距离r。
Figure BDA0003060912300000042
S5，以该距离控制矩形窗尺寸大小的变化，完成对得分图的滤波。以峰值点为圆心，以r为半径，可得到一个圆形覆盖范围，矩形窗的两边应与圆形相切以保证滤波范围最有效。因此，在引入矩形窗函数rect(p)时，设置矩形窗宽度w＝2r，此外，由于得分图尺寸大小为25×25，所以矩形窗长度l至少应该设置为
Figure BDA0003060912300000043
以r控制矩形窗的大小变化，以D控制矩形窗的滤波方向，二者配合实现对矩形滤波窗的控制，最终对于得分图中任意点p(xi,yi)(1≤i≤25)，若在矩形窗内，其分值将被保留，而矩形窗外的分值将被置零。
Figure BDA0003060912300000044
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法，其特征在于，包括以下步骤：
S1，构建一种浅-中-深三级特征融合孪生网络；
S2，从浅、中、深三类网络层分别提取出对应的特征图并进行特征级别的融合得到互补特征图；
S3，利用孪生网络两条分支的互补特征图通过相关计算得到一对相似性得分图，并将这对相似性得分图进行分数级别的融合得到最终的得分图；
S4，寻找最终得分图中的峰值点作为初始聚类中心完成聚类，计算聚类中心与最远聚类点的距离；
S5，以步骤S4所述距离控制矩形窗尺寸大小的变化，完成对最终得分图的滤波。
2.根据权利要求1所述基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法，其特征在于：所述步骤S1中具体选用ResNeSt作为Siamese网络骨干网络，同时去掉ResNeSt最后的全连接层。
3.根据权利要求1所述基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法，其特征在于：所述计算聚类中心与最远聚类点的距离具体为，借助最终得分图中峰值点与图像帧中目标位置的映射关系，通过计算峰值点距离图像中心点的位移矢量得到目标的运动方向，通过在最终得分图中建立等尺寸的平面直角坐标系xOy对位置进行量化，确定目标位置T(xT,yT)，得到目标运动方向D，
Figure FDA0003060912290000011
通过对得分图进行三维映射，x轴和y轴对应分值点位置，z轴对应得分图的分值，以分值的层级大小为标准对不同位置的得分点进行聚类，聚类时首先以峰值点T为初始聚类中心，实现同一层级的得分点的聚类以及不同层级的得分点的划分；在完成聚类后，计算得到最高层级中最远聚类点S和峰值点T之间的距离r
Figure FDA0003060912290000012
xS，yS分别表示最远聚类点S的横坐标和纵坐标。
4.根据权利要求3所述基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法，其特征在于：
所述的控制矩形窗尺寸大小的变化具体为，引入矩形窗函数rect(p)时，设置矩形窗宽度w＝2r，矩形窗长度l至少设置为
Figure FDA0003060912290000013
以r控制矩形窗的大小变化，以D控制矩形窗的滤波方向，二者配合实现对矩形滤波窗的控制，对于最终得分图中任意点p(xi,yi)(1≤i≤25)，若在矩形窗内，其分值将被保留，而矩形窗外的分值将被置零。
CN202110512558.8A 2021-05-11 2021-05-11 基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法 Pending CN113379792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110512558.8A CN113379792A (zh) 2021-05-11 2021-05-11 基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110512558.8A CN113379792A (zh) 2021-05-11 2021-05-11 基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法

Publications (1)

Publication Number Publication Date
CN113379792A true CN113379792A (zh) 2021-09-10

Family

ID=77572640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110512558.8A Pending CN113379792A (zh) 2021-05-11 2021-05-11 基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法

Country Status (1)

Country Link
CN (1) CN113379792A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808166A (zh) * 2021-09-15 2021-12-17 西安电子科技大学 基于聚类差分和深度孪生卷积神经网络的单目标跟踪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330718A (zh) * 2020-11-12 2021-02-05 重庆邮电大学 一种基于cnn的三级信息融合视觉目标跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330718A (zh) * 2020-11-12 2021-02-05 重庆邮电大学 一种基于cnn的三级信息融合视觉目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗元等: "SiamFF: Visual Tracking With a Siamese Network Combining Information Fusion With Rectangular Window Filtering", 《IEEE》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808166A (zh) * 2021-09-15 2021-12-17 西安电子科技大学 基于聚类差分和深度孪生卷积神经网络的单目标跟踪方法

Similar Documents

Publication Publication Date Title
CN110135314B (zh) 一种基于深度轨迹预测的多目标跟踪方法
CN110473231B (zh) 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN109191491A (zh) 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN106055576A (zh) 一种大规模数据背景下的快速有效的图像检索方法
CN111376273B (zh) 一种类脑启发的机器人认知地图构建方法
CN108320293A (zh) 一种结合改进粒子群算法的快速点云边界提取技术
CN110516548B (zh) 一种基于三维眼球模型和Snakuscule的虹膜中心定位方法
CN101408983A (zh) 基于粒子滤波和活动轮廓模型的多目标跟踪方法
CN109727272B (zh) 一种基于双分支时空正则化相关滤波器的目标跟踪方法
CN113538218B (zh) 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法
CN112541441A (zh) 一种融合相关滤波的gm-phd视频多目标跟踪方法
CN113379792A (zh) 基于浅-中-深三级特征融合与可变矩形窗滤波的Siamese网络跟踪方法
CN110598804A (zh) 一种基于聚类和膜计算的改进FastSLAM算法
CN110544267B (zh) 一种自适应选择特征的相关滤波跟踪方法
CN111914832A (zh) 一种rgb-d相机在动态场景下的slam方法
CN113076988B (zh) 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法
CN112884799A (zh) 一种基于孪生神经网络的复杂场景下目标跟踪方法
CN112614161A (zh) 一种基于边缘置信度的三维物体跟踪方法
CN113763417A (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN109711417B (zh) 一种基于低水平显著性融合和测地线的视频显著性检测方法
CN113610888B (zh) 一种基于高斯平滑的孪生网络目标跟踪方法
CN113947636B (zh) 一种基于深度学习的激光slam定位系统及方法
CN114757967A (zh) 基于手工特征融合的多尺度抗遮挡目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910