CN115049705B - 多模板网络框架的目标跟踪方法及装置 - Google Patents

多模板网络框架的目标跟踪方法及装置 Download PDF

Info

Publication number
CN115049705B
CN115049705B CN202210706803.3A CN202210706803A CN115049705B CN 115049705 B CN115049705 B CN 115049705B CN 202210706803 A CN202210706803 A CN 202210706803A CN 115049705 B CN115049705 B CN 115049705B
Authority
CN
China
Prior art keywords
template
target
image
peak
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210706803.3A
Other languages
English (en)
Other versions
CN115049705A (zh
Inventor
付天宇
王一凡
王涌天
杨健
肖德强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210706803.3A priority Critical patent/CN115049705B/zh
Publication of CN115049705A publication Critical patent/CN115049705A/zh
Application granted granted Critical
Publication of CN115049705B publication Critical patent/CN115049705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

多模板网络框架的目标跟踪方法及装置,可针对不同应用场景的目标进行跟踪,准确率高、鲁棒性和兼容性好,具有很高的适用性和实用性。方法包括:(1)数据预处理;(2)双模板特征提取:双模板由两个孪生单模板子网络组成,两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像,每个子网络得到模板位置在搜索图像中的概率分布图;(3)峰值检测:对概率分布图按照从粗到细进行量化统计得到局部区域的峰值,当峰值大于设定的阈值时,其所在的位置被添加到位置候选集;(4)多特征优化。

Description

多模板网络框架的目标跟踪方法及装置
技术领域
本发明涉及医学图像处理的技术领域,尤其涉及一种多模板网络框架的目标跟踪方法,以及多模板网络框架的目标跟踪装置。
背景技术
随着大数据、云计算以及人工智能的快速发展,目标跟踪在许多领域拥有广泛的应用。其要求是已知第一帧图像当中跟踪目标的位置以及尺寸信息,在后续视频图像帧中对目标的位置以及尺寸等信息进行预测以达到跟踪的目的。
早期的目标跟踪方法主要基于生成式模型,近年来的目标跟踪主要基于判别式模型,可以分为相关滤波与深度学习两个方向。相关滤波起源与通讯领域,用于衡量两个信号的相似度,在目标跟踪领域其原理是与滤波模板图像进行相似性计算得到特征响应图,响应图的峰值位置即为预测的目标。虽然人工设置的特征速度很快可以达到数百帧每秒,但是这种基于纹理、颜色信息的提取表观特征的方法,很难维持较高的鲁棒性。而随着深度学习方法的广泛应用,人们开始考虑将其应用到目标跟踪中,并且提出了许多深度学习框架提升特征表达能力来提高跟踪的鲁棒性。
在实际应用中,会出现很多情况导致跟踪的准确率很低,甚至会出现跟踪错误目标的情况。例如:在超声图像跟踪过程中可能会出现相似目标,导致跟踪出现错误的情况;在高速无人机拍摄得到的比较模糊的红外图像或者遥感图像当中,由于噪声比较大可能会导致比较大的跟踪误差。Bharadwaj在2021年采用模板更新与线性卡尔曼滤波结合的框架更新孪生网络以此来得到鲁棒且准确的跟踪目标。但这种方法的模板更新采用阈值更新的策略很难找到适应与当前目标的模板,而且以超声图像跟踪为例,线性卡尔曼滤波忽视了人体运动的特性例如呼吸等导致的类周期运动和咳嗽导致的剧烈变速运动,导致跟踪此类目标的精度较低,因此需要采用新的优化跟踪框架对目标进行跟踪。
发明内容
为克服现有技术的缺陷,本发明要解决的技术问题是提供了一种多模板网络框架的目标跟踪方法,其可针对不同应用场景的目标进行跟踪,准确率高、鲁棒性和兼容性好,具有很高的适用性和实用性。
本发明的技术方案是:这种多模板网络框架的目标跟踪方法,其包括以下步骤:
(1)数据预处理:将初始帧模板图像、上一帧模板图像和当前帧输入图像进行裁剪和调整图像大小操作,得到适应于网络的尺寸;
(2)双模板特征提取:双模板由两个孪生单模板子网络组成,两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像,每个子网络得到模板位置在搜索图像中的概率分布图;
(3)峰值检测:为了防止背景中相似物体对目标的干扰,对概率分布图按照从粗到细进行量化统计得到局部区域的峰值,当峰值大于设定的阈值时,其所在的位置被添加到位置候选集;
(4)多特征优化:利用上下文相似性对模板与搜索图像的相关性进行量化,对候选目标的速度与背景速度的差异进行量化,二者量化值之和用于在位置候选集中挑选最佳目标位置。
本发明采用双模板特征提取,在长时序列中当目标发生较大形变时也能保持稳定跟踪。采用峰值检测、多特征优化的策略进行优化,能大幅改善目标跟踪过程中的漂移现象,对相似目标以及类周期运动和剧烈变速运动有较高的跟踪准确率。因此,本发明可针对不同应用场景的目标进行跟踪,准确率高、鲁棒性和兼容性好,具有很高的适用性和实用性。
还提供了多模板网络框架的目标跟踪装置,其包括:
数据预处理模块,其配置来将初始帧模板图像、上一帧模板图像和当前帧输入图像进行裁剪和调整图像大小操作,得到适应于网络的尺寸;双模板特征提取模块,其中双模板由两个孪生单模板子网络组成,两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像,每个子网络得到模板位置在搜索图像中的概率分布图;
峰值检测模块,其配置来峰值检测:为了防止背景中相似物体对目标的干扰,对概率分布图按照从粗到细进行量化统计得到局部区域的峰值,当峰值大于设定的阈值时,其所在的位置被添加到位置候选集;
多特征优化模块,其配置来多特征优化:利用上下文相似性对模板与搜索图像的相关性进行量化,对候选目标的速度与背景速度的差异进行量化,二者量化值之和用于在位置候选集中挑选最佳目标位置。
附图说明
图1是根据本发明的多模板网络框架的目标跟踪方法的流程图。
图2示出了根据本发明的多模板网络框架的目标跟踪方法的一个具体实施例的流程图。
具体实施方式
如图1所示,这种多模板网络框架的目标跟踪方法,其包括以下步骤:
(1)数据预处理:将初始帧模板图像、上一帧模板图像和当前帧输入图像进行crop和resize操作(即裁剪和调整图像大小操作),得到适应于网络的尺寸;
(2)双模板特征提取:双模板由两个孪生单模板子网络组成,两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像,每个子网络得到模板位置在搜索图像中的概率分布图;
(3)峰值检测:为了防止背景中相似物体对目标的干扰,对概率分布图按照从粗到细进行量化统计得到局部区域的峰值,当峰值大于设定的阈值时,其所在的位置被添加到位置候选集;
(4)多特征优化:利用上下文相似性对模板与搜索图像的相关性进行量化,对候选目标的速度与背景速度的差异进行量化,二者量化值之和用于在位置候选集中挑选最佳目标位置。
本发明采用双模板特征提取,在长时序列中当目标发生较大形变时也能保持稳定跟踪。采用峰值检测、多特征优化的策略进行优化,能大幅改善目标跟踪过程中的漂移现象,对相似目标以及类周期运动和剧烈变速运动有较高的跟踪准确率。因此,本发明可针对不同应用场景的目标进行跟踪,准确率高、鲁棒性和兼容性好,具有很高的适用性和实用性。
优选地,所述步骤(1)中,进行crop和resize操作后的尺寸分别为:127×127×3、255×255×3、127×127×3。
优选地,所述步骤(2)中,单模板子网络将初始帧或上一帧作为模板图像,将当前帧作为搜索图像,对单模板子网络中的浅层、中层、深层特征进行融合,将模板分支与搜索分支进行互相关运算,得到搜索图像中模板位置的概率分布图。
优选地,所述步骤(3)中,使用金字塔结构在低分辨率下寻找初始峰值位置,再依次提高分辨率详细定位峰值位置,峰值大于设定阈值时,将其所在位置添加至位置候选集。
优选地,所述步骤(4)中,对得到的位置候选集,通过上下文相似性和运动一致性进行质量评估,上下文相似性基于相关系数计算两幅图像之间的相似程度,结果越大表示与初始帧模板越相似;运动一致性用来计算目标位移与背景位移之间的差异;对候选点集中的每个点进行量化评估,判断量化的最大值是否大于阈值,若大于则将候选点视为目标点,否则将背景运动近似为目标运动。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括上述实施例方法的各步骤,而所述的存储介质可以是:ROM/RAM、磁碟、光盘、存储卡等。因此,与本发明的方法相对应的,本发明还同时包括一种多模板网络框架的目标跟踪装置,该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括:
多模板网络框架的目标跟踪装置,其包括:
数据预处理模块,其配置来将初始帧模板图像、上一帧模板图像和当前帧输入图像进行裁剪和调整图像大小操作,得到适应于网络的尺寸;双模板特征提取模块,其中双模板由两个孪生单模板子网络组成,两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像,每个子网络得到模板位置在搜索图像中的概率分布图;
峰值检测模块,其配置来峰值检测:为了防止背景中相似物体对目标的干扰,对概率分布图按照从粗到细进行量化统计得到局部区域的峰值,当峰值大于设定的阈值时,其所在的位置被添加到位置候选集;
多特征优化模块,其配置来多特征优化:利用上下文相似性对模板与搜索图像的相关性进行量化,对候选目标的速度与背景速度的差异进行量化,二者量化值之和用于在位置候选集中挑选最佳目标位置。
优选地,所述数据预处理模块中,进行crop和resize操作后的尺寸分别为:127×127×3、255×255×3、127×127×3。
优选地,所述双模板特征提取模块中,单模板子网络将初始帧或上一帧作为模板图像,将当前帧作为搜索图像,对单模板子网络中的浅层、中层、深层特征进行融合,将模板分支与搜索分支进行互相关运算,得到搜索图像中模板位置的概率分布图。
优选地,所述峰值检测模块中,使用金字塔结构在低分辨率下寻找初始峰值位置,再依次提高分辨率详细定位峰值位置,峰值大于设定阈值时,将其所在位置添加至位置候选集。
优选地,所述多特征优化模块中,对得到的位置候选集,通过上下文相似性和运动一致性进行质量评估,上下文相似性基于相关系数计算两幅图像之间的相似程度,结果越大表示与初始帧模板越相似;运动一致性用来计算目标位移与背景位移之间的差异;对候选点集中的每个点进行量化评估,判断量化的最大值是否大于阈值,若大于则将候选点视为目标点,否则将背景运动近似为目标运动。
与现有的目标跟踪方法相比,本方法的优点在于:
1.采用双模板跟踪,在长时序列中当目标发生较大形变时也能保持稳定跟踪。
2.采用峰值检测、上下文相似性、运动一致性的策略进行优化,能大幅改善目标跟踪过程中的漂移现象,对相似目标以及类周期运动和剧烈变速运动有较高的跟踪准确率。
3.可针对不同应用场景的目标进行跟踪,准确率高、鲁棒性和兼容性好,具有很高的适用性和实用性。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。

Claims (4)

1.多模板网络框架的目标跟踪方法,其特征在于:其包括以下步骤:
(1)数据预处理:将初始帧模板图像、上一帧模板图像和当前帧输入图像进行裁剪和调整图像大小操作,得到适应于网络的尺寸;
(2)双模板特征提取:双模板由两个孪生单模板子网络组成,两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像,每个子网络得到模板位置在搜索图像中的概率分布图;
(3)峰值检测:为了防止背景中相似物体对目标的干扰,对概率分布图按照从粗到细进行量化统计得到局部区域的峰值,当峰值大于设定的阈值时,其所在的位置被添加到位置候选集;
(4)多特征优化:利用上下文相似性对模板与搜索图像的相关性进行量化,对候选目标的速度与背景速度的差异进行量化,二者量化值之和用于在位置候选集中挑选最佳目标位置;
所述步骤(2)中,单模板子网络将初始帧或上一帧作为模板图像,将当前帧作为搜索图像,对单模板子网络中的浅层、中层、深层特征进行融合,将模板分支与搜索分支进行互相关运算,得到搜索图像中模板位置的概率分布图;
所述步骤(3)中,使用金字塔结构在低分辨率下寻找初始峰值位置,再依次提高分辨率详细定位峰值位置,峰值大于设定阈值时,将其所在位置添加至位置候选集;
所述步骤(4)中,对得到的位置候选集,通过上下文相似性和运动一致性进行质量评估,上下文相似性基于相关系数计算两幅图像之间的相似程度,结果越大表示与初始帧模板越相似;运动一致性用来计算目标位移与背景位移之间的差异;对候选点集中的每个点进行量化评估,判断量化的最大值是否大于阈值,若大于则将候选点视为目标点,否则将背景运动近似为目标运动。
2.根据权利要求1所述的多模板网络框架的目标跟踪方法,其特征在于:所述步骤(1)中,进行crop和resize操作后的尺寸分别为:、/>、/>
3.多模板网络框架的目标跟踪装置,其特征在于:其包括:
数据预处理模块,其配置来将初始帧模板图像、上一帧模板图像和当前帧输入图像进行裁剪和调整图像大小操作,得到适应于网络的尺寸;
双模板特征提取模块,其中双模板由两个孪生单模板子网络组成,两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像,每个子网络得到模板位置在搜索图像中的概率分布图;
峰值检测模块,其配置来峰值检测:为了防止背景中相似物体对目标的干扰,对概率分布图按照从粗到细进行量化统计得到局部区域的峰值,当峰值大于设定的阈值时,其所在的位置被添加到位置候选集;
多特征优化模块,其配置来多特征优化:利用上下文相似性对模板与搜索图像的相关性进行量化,对候选目标的速度与背景速度的差异进行量化,二者量化值之和用于在位置候选集中挑选最佳目标位置;
所述双模板特征提取模块中,单模板子网络将初始帧或上一帧作为模板图像,将当前帧作为搜索图像,对单模板子网络中的浅层、中层、深层特征进行融合,将模板分支与搜索分支进行互相关运算,得到搜索图像中模板位置的概率分布图;
所述峰值检测模块中,使用金字塔结构在低分辨率下寻找初始峰值位置,再依次提高分辨率详细定位峰值位置,峰值大于设定阈值时,将其所在位置添加至位置候选集;
所述多特征优化模块中,对得到的位置候选集,通过上下文相似性和运动一致性进行质量评估,上下文相似性基于相关系数计算两幅图像之间的相似程度,结果越大表示与初始帧模板越相似;运动一致性用来计算目标位移与背景位移之间的差异;对候选点集中的每个点进行量化评估,判断量化的最大值是否大于阈值,若大于则将候选点视为目标点,否则将背景运动近似为目标运动。
4.根据权利要求3所述的多模板网络框架的目标跟踪装置,其特征在于: 所述数据预处理模块中,进行crop和resize操作后的尺寸分别为:、/>
CN202210706803.3A 2022-06-21 2022-06-21 多模板网络框架的目标跟踪方法及装置 Active CN115049705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210706803.3A CN115049705B (zh) 2022-06-21 2022-06-21 多模板网络框架的目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210706803.3A CN115049705B (zh) 2022-06-21 2022-06-21 多模板网络框架的目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN115049705A CN115049705A (zh) 2022-09-13
CN115049705B true CN115049705B (zh) 2024-04-30

Family

ID=83164032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210706803.3A Active CN115049705B (zh) 2022-06-21 2022-06-21 多模板网络框架的目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN115049705B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122410A (en) * 1993-03-01 2000-09-19 United Parcel Service Of America, Inc. Method and apparatus for locating a two-dimensional symbol using a double template
CN111179314A (zh) * 2019-12-30 2020-05-19 北京工业大学 一种基于残差密集孪生网络的目标跟踪方法
CN112614131A (zh) * 2021-01-10 2021-04-06 复旦大学 基于形变表示学习的病理图像分析方法
CN114387459A (zh) * 2022-01-26 2022-04-22 桂林电子科技大学 动态双模板更新的单目标跟踪方法及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122410A (en) * 1993-03-01 2000-09-19 United Parcel Service Of America, Inc. Method and apparatus for locating a two-dimensional symbol using a double template
CN111179314A (zh) * 2019-12-30 2020-05-19 北京工业大学 一种基于残差密集孪生网络的目标跟踪方法
CN112614131A (zh) * 2021-01-10 2021-04-06 复旦大学 基于形变表示学习的病理图像分析方法
CN114387459A (zh) * 2022-01-26 2022-04-22 桂林电子科技大学 动态双模板更新的单目标跟踪方法及存储介质

Also Published As

Publication number Publication date
CN115049705A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
CN111462175B (zh) 时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备
CN108986140B (zh) 基于相关滤波和颜色检测的目标尺度自适应跟踪方法
Von Stumberg et al. Gn-net: The gauss-newton loss for multi-weather relocalization
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN106599836B (zh) 多人脸跟踪方法及跟踪系统
CN112069896B (zh) 一种基于孪生网络融合多模板特征的视频目标跟踪方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN111476817A (zh) 一种基于yolov3的多目标行人检测跟踪方法
CN110009060B (zh) 一种基于相关滤波与目标检测的鲁棒性长期跟踪方法
CN110175649A (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN115761393A (zh) 一种基于模板在线学习的无锚目标跟踪方法
CN115049705B (zh) 多模板网络框架的目标跟踪方法及装置
CN113129332A (zh) 执行目标对象跟踪的方法和装置
CN116543019A (zh) 一种基于精确边界框预测的单目标跟踪方法
CN114743045B (zh) 一种基于双分支区域建议网络的小样本目标检测方法
CN113379787B (zh) 基于3d卷积孪生神经网络和模板更新的目标跟踪方法
CN112200831B (zh) 一种基于动态模板的密集连接孪生神经网络目标跟踪方法
CN112926552B (zh) 基于深度神经网络的遥感影像车辆目标识别模型及方法
CN115311327A (zh) 融合共现统计与fhog梯度特征的目标跟踪方法及系统
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法
CN114897941B (zh) 基于Transformer和CNN的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant