CN112464900B - 基于孪生网络的多模板视觉目标跟踪方法 - Google Patents
基于孪生网络的多模板视觉目标跟踪方法 Download PDFInfo
- Publication number
- CN112464900B CN112464900B CN202011485768.4A CN202011485768A CN112464900B CN 112464900 B CN112464900 B CN 112464900B CN 202011485768 A CN202011485768 A CN 202011485768A CN 112464900 B CN112464900 B CN 112464900B
- Authority
- CN
- China
- Prior art keywords
- template
- pool
- tracking
- visual target
- twin network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于孪生网络的视觉目标跟踪方法,包括选择一个现有的孪生网络跟踪器;获取当前的模板池;计算各个模板的可靠性分数并从模板池中筛选出可靠模块集合;计算可靠模块集合中各个模板的匹配性分数并筛选出处理当前帧的最佳模板;采用最佳模板进行视觉目标跟踪。本发明提供的这种基于孪生网络的视觉目标跟踪方法,不需要重新训练网络,只需要进行额外的模板选择即可实现视觉目标跟踪,同时本发明还更新模板来提高跟踪精度;因此本发明方法不仅能够实现更好的跟踪性能,而且易于实施,可靠性高,有效性好。
Description
技术领域
本发明属于机器视觉领域,具体涉及一种基于孪生网络的视觉目标跟踪方法。
背景技术
随着经济技术的发展和人们生活水平的提高,摄像设备已经随处可见,同时机器视觉技术也已经广泛应用于人们的生产和生活当中,给人们的生产和生活带来了无尽的便利。
视觉目标跟踪是机器视觉领域的基础技术,旨在提取视频中感兴趣目标的位置和尺度信息。近期,基于孪生网络的跟踪方法在该领域取得巨大的进步。此类方法的核心思想是把目标跟踪任务转化为相似度匹配任务:以视频初始帧中的目标作为模板,以视频后续帧作为搜索帧,分别用全卷积神经网络提取特征,最后对模板特征和搜索特征进行互相关计算,得到响应图,从响应图的峰值信息中便可以得出目标的位置信息。
然而,现有的孪生网络跟踪方法,仅以第一帧的目标作为模板,难以应对目标在复杂场景下的外观变化,从而丢失目标的位置,造成视觉目标跟踪的失败。
发明内容
本发明的目的在于提供一种可靠性高、有效性好且易于实施的基于孪生网络的视觉目标跟踪方法。
本发明提供的这种基于孪生网络的视觉目标跟踪方法,包括如下步骤:
S1.选择一个现有的孪生网络跟踪器;
S2.获取当前的模板池;
S3.根据步骤S2获取的模板池,计算各个模板的可靠性分数,并从模板池中筛选出可靠模板集合;
S4.计算步骤S3得到的可靠模块集合中各个模板的匹配性分数,并从可靠模块集合中筛选出处理当前帧的最佳模板;
S5.采用步骤S4得到的最佳模板进行视觉目标跟踪。
所述的基于孪生网络的视觉目标跟踪方法,还包括如下步骤:
S6.计算当前帧最终跟踪结果的联合IOU,并判定是否为新的模式;
S7.计算模板池中各个模板的当前跟踪损失以及累计跟踪损失;
S8.根据步骤S6的计算结果和步骤S7的计算结果,跟新模板池。
步骤S1所述的现有的孪生网络跟踪器,具体包括Siamese-FC、Siamese-RPN、SiamMask和Siamfc++。
步骤S2所述的模板池,具体为模板池为一个集合S,其中每一项都包含若干与模板相关的信息;集合S表示为S={(zi,li,xi)|1≤i≤K},其中K为模板的数目,zi为模板图像,li为模板的跟踪损失,xi为模板图像zi所在的搜索帧图像;同时,视频初始帧中的模板始终保存在模板池S中的第一个位置。
步骤S3所述的计算各个模板的可靠性分数,并从模板池中筛选出可靠模块集合,具体为采用如下步骤得到各个模板的可靠性分数并得到可靠模板集合:
B.采用如下算式计算模板池S中各个模板的可靠性分数si:
si=f1*fi
式中f1为模板图像z1对应的深度特征,*为互相关操作;
C.采用如下规则选取模板,从而得到可靠模板集合G
式中s1为第一个模板的可靠性分数;τ为设定的阈值。
步骤S4所述的计算步骤S3得到的可靠模块集合中各个模板的匹配性分数,并从可靠模块集合中筛选出处理当前帧的最佳模板,具体为采用如下步骤计算匹配性分数并获取最佳模板:
a.计算可靠模板集合中各个模板的分类分数mi=SiamX(zi),并将各个模板的分类分数作为各个模板的匹配性分数;SiamX()为选中的孪生网络;
b.选取步骤a中匹配性分数最大的模板,即id=argmaxi∈G(mi),作为最终的最佳模板,即zid。
步骤S6所述的计算当前帧最终跟踪结果的联合IOU,并判定是否为新的模式,具体为采用如下步骤计算联合IOU并判定新的模式:
(1)采用如下算式计算模板图像zc和zid在各自搜索区域上跟踪结果的IOU:
式中,I1为模板图像zc和zid在xid上的跟踪结果的IOU;I2为模板图像zc和zid在xc上的跟踪结果的IOU;(zc,lc,xc)为从当前帧得到的模版信息;(zid,lid,xid)为步骤S4中得到的最佳模板信息;R(z,x)为使用模板z在搜索帧x上进行跟踪计算得到的结果;
(2)采用如下算式计算联合IOU:
式中Ic为联合IOU;
(3)采用如下规则判断新的模式:
若Ic的值大于或等于设定值α,则判定为不是新的模式;
若Ic的值小于设定值α,则判定为新的模式。
步骤S7所述的计算模板池中各个模板的当前跟踪损失以及累计跟踪损失,具体为采用如下步骤计算当前跟踪损失和累计跟踪损失:
1)采用如下算式计算模板池中的模板在当前帧的跟踪损失:
2)采用如下算式计算累计跟踪损失:
步骤S8所述的根据步骤S6的计算结果和步骤S7的计算结果,跟新模板池,具体为用模板zc替换当前的累计跟踪损失最大的模板。
本发明提供的这种基于孪生网络的视觉目标跟踪方法,不需要重新训练网络,只需要进行额外的模板选择和模板更新计算即可实现视觉目标跟踪,因此本发明方法不仅能够实现更好的跟踪性能,而且易于实施,可靠性高,有效性好。
附图说明
图1为本发明方法的方法流程示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图:本发明提供的这种基于孪生网络的视觉目标跟踪方法,包括如下步骤:
S1.选择一个现有的孪生网络跟踪器;比如Siamese-FC、Siamese-RPN、SiamMask、Siamfc++等;任意选择一个现有跟踪器即可;
S2.获取当前的模板池;模板池中的模板表示目标的不同外观;
具体为模板池为一个集合S,其中每一项都包含若干与模板相关的信息;集合S表示为S={(zi,li,xi)|1≤i≤K},其中K为模板的数目,zi为模板图像,li为模板的跟踪损失,xi为模板图像zi所在的搜索帧图像;同时,视频初始帧中的模板始终保存在模板池S中的第一个位置;
从视频的初始帧开始运行算法,当模板集S中的模板数目小于K时,直接把当前帧的跟踪结果作为新模板放入集合S中;当模板集S中的模板数目大于K时,进行更新模板集合的操作;
S3.根据步骤S2获取的模板池,计算各个模板的可靠性分数,并从模板池中筛选出可靠模块集合;具体为采用如下步骤得到各个模板的可靠性分数并得到可靠模板集合:
B.采用如下算式计算模板池S中各个模板的可靠性分数si:
si=f1*fi
式中f1为模板图像z1对应的深度特征,*为互相关操作;
C.采用如下规则选取模板,从而得到可靠模板集合G
式中s1为第一个模板的可靠性分数;τ为设定的阈值(可以设置为0.6);
S4.计算步骤S3得到的可靠模块集合中各个模板的匹配性分数,并从可靠模块集合中筛选出处理当前帧的最佳模板;具体为采用如下步骤计算匹配性分数并获取最佳模板:
a.计算可靠模板集合中各个模板的分类分数mi=SiamX(zi),并将各个模板的分类分数作为各个模板的匹配性分数;SiamX()为选中的孪生网络;
b.选取步骤a中匹配性分数最大的模板,即id=argmaxi∈G(mi),作为最终的最佳模板,即zid;
S5.采用步骤S4得到的最佳模板进行视觉目标跟踪;
S6.计算当前帧最终跟踪结果的联合IOU,并判定是否为新的模式;具体为采用如下步骤计算联合IOU并判定新的模式:
(1)采用如下算式计算模板图像zc和zid在各自搜索区域上跟踪结果的IOU:
式中,I1为模板图像zc和zid在xid上的跟踪结果的IOU;I2为模板图像zc和zid在xc上的跟踪结果的IOU;(zc,lc,xc)为从当前帧得到的模版信息;(zid,lid,xid)为步骤S4中得到的最佳模板信息;R(z,x)为使用模板z在搜索帧x上进行跟踪计算得到的结果;
(2)采用如下算式计算联合IOU:
式中Ic为联合IOU,取值范围为0~1;
(3)采用如下规则判断新的模式:
若Ic的值大于或等于设定值α,则判定为不是新的模式,此时算法退出;
若Ic的值小于设定值α,则判定为新的模式;
S7.计算模板池中各个模板的当前跟踪损失以及累计跟踪损失;具体为采用如下步骤计算当前跟踪损失和累计跟踪损失:
1)采用如下算式计算模板池中的模板在当前帧的跟踪损失:
2)采用如下算式计算累计跟踪损失:
S8.根据步骤S6的计算结果和步骤S7的计算结果,跟新模板池;具体为用模板zc替换当前的累计跟踪损失最大的模板。
以下,结合实验结果,说明本发明性能的优越性:
实验结果
本发明在步骤S1中选取Siamese-FC、Siamese-RPN和SiamMask作为基本孪生网络跟踪器,在OTB数据集上进行实验;实验结果表明了本发明能有效的改进孪生网络跟踪器的性能。本发明在OTB数据集上的实验结果如表1所示,使用的硬件平台如表2所示,软件平台如表3所示,Precision和AUC为OTB数据集设定的两项指标(越大越好),X-MT为配置了本发明所述内容的跟踪器。
表1实验结果示意表
跟踪器 | Precision | AUC |
Siamese-FC | 0.770 | 0.583 |
Siamese-FC-MT | 0.833 | 0.596 |
Siamese-RPN | 0.847 | 0.635 |
Siamese-RPN-MT | 0.860 | 0.647 |
SiamMask | 0.837 | 0.622 |
SiamMask-MT | 0.851 | 0.629 |
表2硬件平台示意表
表3软件平台示意表
通过上述实验可以看到,本发明方法具有更优秀的性能。
Claims (6)
1.一种基于孪生网络的视觉目标跟踪方法,包括如下步骤:
S1.选择一个现有的孪生网络跟踪器;
S2.获取当前的模板池;
S3.根据步骤S2获取的模板池,计算各个模板的可靠性分数,并从模板池中筛选出可靠模块集合;
S4.计算步骤S3得到的可靠模块集合中各个模板的匹配性分数,并从可靠模块集合中筛选出处理当前帧的最佳模板;
S5.采用步骤S4得到的最佳模板进行视觉目标跟踪;
S6.计算当前帧最终跟踪结果的联合IOU,并判定是否为新的模式;具体为采用如下步骤计算联合IOU并判定新的模式:
(1)采用如下算式计算模板图像zc和zid在各自搜索区域上跟踪结果的IOU:
式中,I1为模板图像zc和zid在xid上的跟踪结果的IOU;I2为模板图像zc和zid在xc上的跟踪结果的IOU;(zc,lc,xc)为从当前帧得到的模板 信息;(zid,lid,xid)为步骤S4中得到的最佳模板信息;R(z,x)为使用模板z在搜索帧x上进行跟踪计算得到的结果;
(2)采用如下算式计算联合IOU:
式中Ic为联合IOU;
(3)采用如下规则判断新的模式:
若Ic的值大于或等于设定值α,则判定为不是新的模式;
若Ic的值小于设定值α,则判定为新的模式;
S7.计算模板池中各个模板的当前跟踪损失以及累计跟踪损失;具体为采用如下步骤计算当前跟踪损失和累计跟踪损失:
1)采用如下算式计算模板池中的模板在当前帧的跟踪损失:
2)采用如下算式计算累计跟踪损失:
S8.根据步骤S6的计算结果和步骤S7的计算结果,跟新模板池。
2.根据权利要求1所述的基于孪生网络的视觉目标跟踪方法,其特征在于步骤S1所述的现有的孪生网络跟踪器,具体包括Siamese-FC、Siamese-RPN、SiamMask和Siamfc++。
3.根据权利要求2所述的基于孪生网络的视觉目标跟踪方法,其特征在于步骤S2所述的模板池,具体为模板池为一个集合S,其中每一项都包含若干与模板相关的信息;集合S表示为S={(zi,li,xi)|1≤i≤K},其中K为模板的数目,zi为模板图像,li为模板的跟踪损失,xi为模板图像zi所在的搜索帧图像;同时,视频初始帧中的模板始终保存在模板池S中的第一个位置。
5.根据权利要求4所述的基于孪生网络的视觉目标跟踪方法,其特征在于步骤S4所述的计算步骤S3得到的可靠模块集合中各个模板的匹配性分数,并从可靠模块集合中筛选出处理当前帧的最佳模板,具体为采用如下步骤计算匹配性分数并获取最佳模板:
a.计算可靠模板集合中各个模板的分类分数mi=SiamX(zi),并将各个模板的分类分数作为各个模板的匹配性分数;SiamX()为选中的孪生网络;
b.选取步骤a中匹配性分数最大的模板,作为最终的最佳模板。
6.根据权利要求5所述的基于孪生网络的视觉目标跟踪方法,其特征在于步骤S8所述的根据步骤S6的计算结果和步骤S7的计算结果,跟新模板池,具体为用模板zc替换当前的累计跟踪损失最大的模板。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011485768.4A CN112464900B (zh) | 2020-12-16 | 2020-12-16 | 基于孪生网络的多模板视觉目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011485768.4A CN112464900B (zh) | 2020-12-16 | 2020-12-16 | 基于孪生网络的多模板视觉目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112464900A CN112464900A (zh) | 2021-03-09 |
CN112464900B true CN112464900B (zh) | 2022-04-29 |
Family
ID=74803163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011485768.4A Active CN112464900B (zh) | 2020-12-16 | 2020-12-16 | 基于孪生网络的多模板视觉目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112464900B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113129335B (zh) * | 2021-03-25 | 2023-03-14 | 西安电子科技大学 | 一种基于孪生网络的视觉跟踪算法及多模板更新策略 |
CN113592915B (zh) * | 2021-10-08 | 2021-12-14 | 湖南大学 | 端到端旋转框目标搜索方法、系统及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121286A1 (zh) * | 2016-12-30 | 2018-07-05 | 纳恩博(北京)科技有限公司 | 目标跟踪方法和装置 |
CN110415271A (zh) * | 2019-06-28 | 2019-11-05 | 武汉大学 | 一种基于外观多样性的生成对抗孪生网络目标跟踪方法 |
CN110647836A (zh) * | 2019-09-18 | 2020-01-03 | 中国科学院光电技术研究所 | 一种鲁棒的基于深度学习的单目标跟踪方法 |
CN111144364A (zh) * | 2019-12-31 | 2020-05-12 | 北京理工大学重庆创新中心 | 一种基于通道注意更新机制的孪生网络目标跟踪方法 |
CN111639551A (zh) * | 2020-05-12 | 2020-09-08 | 华中科技大学 | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 |
-
2020
- 2020-12-16 CN CN202011485768.4A patent/CN112464900B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121286A1 (zh) * | 2016-12-30 | 2018-07-05 | 纳恩博(北京)科技有限公司 | 目标跟踪方法和装置 |
CN110415271A (zh) * | 2019-06-28 | 2019-11-05 | 武汉大学 | 一种基于外观多样性的生成对抗孪生网络目标跟踪方法 |
CN110647836A (zh) * | 2019-09-18 | 2020-01-03 | 中国科学院光电技术研究所 | 一种鲁棒的基于深度学习的单目标跟踪方法 |
CN111144364A (zh) * | 2019-12-31 | 2020-05-12 | 北京理工大学重庆创新中心 | 一种基于通道注意更新机制的孪生网络目标跟踪方法 |
CN111639551A (zh) * | 2020-05-12 | 2020-09-08 | 华中科技大学 | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 |
Non-Patent Citations (3)
Title |
---|
Deeper Siamese Network With Stronger Feature Representation for Visual Tracking;Chaoyi Zhang;《 IEEE Access ( Volume: 8)》;20200629;1-11 * |
基于Tiny Darknet全卷积孪生网络的目标跟踪;史璐璐等;《南京邮电大学学报(自然科学版)》;20180906(第04期);93-99 * |
基于注意力机制的在线自适应孪生网络跟踪算法;董吉富等;《激光与光电子学进展》;20200125(第02期);320-328 * |
Also Published As
Publication number | Publication date |
---|---|
CN112464900A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110135375B (zh) | 基于全局信息整合的多人姿态估计方法 | |
CN109191491B (zh) | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 | |
CN109583340B (zh) | 一种基于深度学习的视频目标检测方法 | |
CN106919897B (zh) | 一种基于三级残差网络的人脸图像年龄估计方法 | |
CN103793721B (zh) | 一种基于区域相关反馈的行人重识别方法及系统 | |
CN112464900B (zh) | 基于孪生网络的多模板视觉目标跟踪方法 | |
CN106446015A (zh) | 一种基于用户行为偏好的视频内容访问预测与推荐方法 | |
CN112132856A (zh) | 一种基于自适应模板更新的孪生网络跟踪方法 | |
CN113744311A (zh) | 基于全连接注意力模块的孪生神经网络运动目标跟踪方法 | |
CN109325471A (zh) | 一种结合表观特征和时空分布的双流网络行人重识别方法 | |
CN113706581B (zh) | 基于残差通道注意与多层次分类回归的目标跟踪方法 | |
CN107315795B (zh) | 联合特定人物和场景的视频实例检索方法及系统 | |
CN111091583B (zh) | 长期目标跟踪方法 | |
CN113643329B (zh) | 一种基于孪生注意力网络的在线更新目标跟踪方法和系统 | |
CN112818790A (zh) | 一种基于注意力机制与空间几何约束的行人重识别方法 | |
CN108830170A (zh) | 一种基于分层特征表示的端到端目标跟踪方法 | |
CN115482375A (zh) | 一种基于时空通联数据驱动的跨镜目标跟踪方法 | |
CN112767440A (zh) | 一种基于siam-fc网络的目标跟踪方法 | |
CN117557804A (zh) | 联合目标结构嵌入和多层次特征融合的多标签分类方法 | |
CN116051601A (zh) | 一种深度时空关联的视频目标跟踪方法及系统 | |
Zhang et al. | Person re-identification based on heterogeneous part-based deep network in camera networks | |
CN109784295B (zh) | 视频流特征识别方法、装置、设备及存储介质 | |
Doering et al. | A gated attention transformer for multi-person pose tracking | |
CN116894943A (zh) | 一种双约束的伪装目标检测方法及系统 | |
CN116109846A (zh) | 一种目标重识别方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |