CN113592899A - 一种相关滤波目标跟踪深度特征的提取方法 - Google Patents

一种相关滤波目标跟踪深度特征的提取方法 Download PDF

Info

Publication number
CN113592899A
CN113592899A CN202110593777.3A CN202110593777A CN113592899A CN 113592899 A CN113592899 A CN 113592899A CN 202110593777 A CN202110593777 A CN 202110593777A CN 113592899 A CN113592899 A CN 113592899A
Authority
CN
China
Prior art keywords
extracting
features
depth
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110593777.3A
Other languages
English (en)
Inventor
许廷发
张语珊
吴零越
吴凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Chongqing Innovation Center of Beijing University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN202110593777.3A priority Critical patent/CN113592899A/zh
Publication of CN113592899A publication Critical patent/CN113592899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种相关滤波目标跟踪深度特征的提取方法，包括S1：获取输入视频序列，设定目标跟踪的搜索区域；S2：构建深度特征提取网络模型，在残差网络模型卷积块输出后进行裁剪操作提取当前帧图像的深度特征，将深度特征和高斯标签作为输入训练滤波器；S3：获取下一帧图像数据根据对应搜索区域提取的特征；S4：下一帧图像数据对应提取的图像特征与相关滤波器进行相关操作获得目标预测位置。本发明通过构建模型中的裁剪修正操作，去除了深度特征提取过程中填充补零操作对特征质量的影响，提高了目标预测位置的准确性。

Description

一种相关滤波目标跟踪深度特征的提取方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种相关滤波目标跟踪深度特征的提取方法。
背景技术
视觉目标跟踪一直是计算机视觉领域的研究热点，在公共监控、自动驾驶等领域有着广泛的应用。跟踪的目的是在已知第一帧中目标的初始状态的情况下，预测目标在后续帧中的位置。当下，视觉跟踪的主流方法是判别方法，如基于相关滤波(DCF)的跟踪器，通常将其作为分类问题，然后进行精确的定位步骤。
在相关滤波跟踪过程中，为了得到鲁棒的目标描述，通常采用深度卷积神经网络进行特征提取。深度学习方法应用在计算机视觉许多不同的领域，特别是图像识别和分类方面具有突出的效果，例如AlexNet、google、VggNet、ResNet、DenseNet、SENet等。由于这些网络模型在图像的识别和分类中具有显著效果，因而其中一些网络模型也被引入到视觉目标跟踪任务中，进行特征的提取。
然而，深度卷积神经网络中大部分都涉及填充补零操作，由于在图像边缘进行填充操作与实际情况相矛盾，因此会降低其性能。
发明内容
本发明提供了一种相关滤波目标跟踪深度特征的提取方法，通过引入一个裁剪单元来裁减掉被填充补零操作影响的深度特征的最外层像素，提高模型的性能。
本发明提供了一种相关滤波目标跟踪深度特征的提取方法，方法具体步骤如下：
步骤S1：获取输入视频的各帧图像数据，设定目标跟踪的搜索区域。
步骤S2：构建深度特征提取网络模型，并根据该网络模型对当前帧图像数据的所述搜索区域进行特征提取，获得不受补零操作影响的特征；
通过得到的当前帧图像对应的深度特征以及高斯标签训练滤波模板；
步骤S3：获取下一帧图像数据根据所述深度特征提取网络模型，提取对应设定的搜索区域的图像特征；
步骤S4：将下一帧图像数据对应搜索搜索区域所提取的特征与训练得到的相关滤波器进行卷积操作得到目标预测位置。
进一步的，所述深度特征提取网络模型采用残差网络结构，在卷积块的激活函数输出后设有预处理层，所述预处理层对最外层特征进行裁剪，将特征范围由0：N裁剪为1：N-1，N表示特征范围。
进一步的，所述卷积块包括基本块basic block和瓶颈块和bottleneck block。
进一步的，所述卷积操作为对每个特征通道，求取输入特征和滤波模板的卷积，并将各个通道得到的结果相加，具体公式如下：
Figure BDA0003090234980000021
其中，d表示特征通道的个数，x表示输入特征，f表示滤波模板。
进一步的，所述搜索区域设定为以跟踪目标为中心的面积为跟踪目标面积的16倍的正方形区域。
进一步的，步骤S2中，训练相关滤波器的模板如下：
Figure BDA0003090234980000022
其中，ω为空间约束正则化项系数，αi为每个训练样本所占权重,Sf(xi)为对样本xi的输出卷积响应，yi为样本高斯标签，f为的滤波器，l为滤波器通道数量。
本发明的有益效果如下：
1、通过对ResNet残差网络模型中的每个卷积层的block进行裁剪修正操作，去除了深度特征提取过程中填充补零操作对特征质量的影响，提高了提取深度特征的图像表征效果，提高模型训练效果。
2、将上一帧图像提取的对应深度特征与高斯标签训练滤波模板并通过下一帧图像提取的对应深度特征进行卷积操作得到目标预测位置，对模板进行更新，使得最终的滤波模型的输出更加准确。
附图说明
图1是本发明方法流程示意图；
图2是本发明的训练流程示意图；
图3是本发明的ResNet网络结构basic block对比结构示意图；
图4是本发明的ResNet网络结构bottleneck block对比结构示意图。
具体实施方式
在下面的描述中对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明的实施例提供了一种相关滤波目标跟踪深度特征的提取方法，如图1所示，方法包括如下步骤：
步骤S1：获取输入视频的各帧图像数据，设定目标跟踪的搜索区域为以跟踪目标为中心的面积为跟踪目标面积的16倍的正方形区域。
步骤S2：构建深度特征提取网络模型，并根据该网络模型对当前帧图像数据的所述搜索区域进行特征提取，获得不受补零操作影响的特征；
所述深度特征提取网络模型采用残差网络结构，在卷积块的激活函数输出后设有预处理层，本实施例中，神经网络模型中所述卷积块包括基本块basic block和瓶颈块bottleneck block；
如图2所示，为神经网络模型中基本块basic block的结构对比图，左侧图为原始网络模型中basic block的结构图，为两个conv3×3的卷积层通过批归一化层bn和激活函数relu连接，右侧图为在卷积块的输出后增加的预处理操作。
如图3所示，为神经网络模型中瓶颈块bottleneck block的结构对比图，左侧图为原始网络模型中bottleneck block的结构图，包括两个conv1×1的卷积层和一个conv3×3的卷积层，卷积层之间通过批归一化层bn和激活函数relu连接，右侧图为在卷积块的输出后增加的预处理操作。
所述预处理操作即对特征范围进行裁剪，将最外层特征裁剪，特征范围由0：N裁剪为1：N-1，N表示特征范围。
通过得到的当前帧图像对应的深度特征以及高斯标签训练滤波模板；
训练相关滤波器的模板如下：
Figure BDA0003090234980000031
其中，ω为空间约束正则化项系数，αi为每个训练样本所占权重,Sf(xi)为对样本xi的输出卷积响应，yi为样本高斯标签，f为滤波器，l为滤波器通道数量。
步骤S3：获取下一帧图像数据根据所述深度特征提取网络模型，提取对应设定的搜索区域的图像特征；
步骤S4：将下一帧图像数据对应搜索搜索区域所提取的特征与训练得到的相关滤波器进行卷积操作得到目标预测位置；
所述卷积操作为对每个特征通道，求取输入特征和滤波模板的卷积，并将各个通道得到的结果相加，具体公式如下：
Figure BDA0003090234980000041
其中，d表示特征通道的个数，x表示输入特征，f表示滤波模板。
所述搜索区域的为以跟踪目标为中心的面积为跟踪目标面积的16倍的正方形区域。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种相关滤波目标跟踪深度特征的提取方法，其特征在于，包括如下步骤：
步骤S1：获取输入视频的各帧图像数据，设定目标跟踪的搜索区域；
步骤S2：构建深度特征提取网络模型，并根据该网络模型对当前帧图像数据的所述搜索区域进行特征提取，获得不受补零操作影响的特征；
通过得到的当前帧图像对应的深度特征以及高斯标签训练滤波模板；
步骤S3：获取下一帧图像数据根据所述深度特征提取网络模型，提取对应设定的搜索区域的图像特征；
步骤S4：将下一帧图像数据对应搜索区域所提取的特征与训练得到的相关滤波器进行卷积操作得到目标预测位置。
2.根据权利要求1所述的相关滤波目标跟踪深度特征的提取方法，其特征在于，所述深度特征提取网络模型采用残差网络结构，在卷积块的激活函数输出后设有预处理层，所述预处理层对最外层特征进行裁剪，将特征范围由0：N裁剪为1：N-1，N表示特征范围。
3.根据权利要求2所述的相关滤波目标跟踪深度特征的提取方法，其特征在于，所述卷积块包括基本块basic block和瓶颈块和bottleneck block。
4.根据权利要求1所述的相关滤波目标跟踪深度特征的提取方法，其特征在于，所述卷积操作为对每个特征通道，求取输入特征和滤波模板的卷积，并将各个通道得到的结果相加，具体公式如下：
Figure FDA0003090234970000011
其中，d表示特征通道的个数，x表示输入特征，f表示滤波模板。
5.根据权利要求1所述的相关滤波目标跟踪深度特征的提取方法，其特征在于，所述搜索区域设定为以跟踪目标为中心的面积为跟踪目标面积的16倍的正方形区域。
6.根据权利要求1所述的相关滤波目标跟踪深度特征的提取方法，其特征在于，步骤S2中，训练相关滤波器的模板如下：
Figure FDA0003090234970000012
其中，ω为空间约束正则化项系数，αi为每个训练样本所占权重,Sf(xi)为对样本xi的输出卷积响应，yi为样本高斯标签。
CN202110593777.3A 2021-05-28 2021-05-28 一种相关滤波目标跟踪深度特征的提取方法 Pending CN113592899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110593777.3A CN113592899A (zh) 2021-05-28 2021-05-28 一种相关滤波目标跟踪深度特征的提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110593777.3A CN113592899A (zh) 2021-05-28 2021-05-28 一种相关滤波目标跟踪深度特征的提取方法

Publications (1)

Publication Number Publication Date
CN113592899A true CN113592899A (zh) 2021-11-02

Family

ID=78243478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110593777.3A Pending CN113592899A (zh) 2021-05-28 2021-05-28 一种相关滤波目标跟踪深度特征的提取方法

Country Status (1)

Country Link
CN (1) CN113592899A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665485A (zh) * 2018-04-16 2018-10-16 华中科技大学 一种基于相关滤波与孪生卷积网络融合的目标跟踪方法
CN109801311A (zh) * 2019-01-31 2019-05-24 长安大学 一种基于深度残差网络特征的视觉目标跟踪方法
CN110570458A (zh) * 2019-08-12 2019-12-13 武汉大学 一种基于内部裁剪和多层特征信息融合的目标跟踪方法
CN110675429A (zh) * 2019-09-24 2020-01-10 湖南人文科技学院 基于孪生网络和相关滤波器的长短程互补型目标跟踪方法
CN110706253A (zh) * 2019-09-19 2020-01-17 中国科学院自动化研究所 基于表观特征和深度特征的目标跟踪方法、系统、装置
CN110889863A (zh) * 2019-09-03 2020-03-17 河南理工大学 一种基于目标感知相关滤波的目标跟踪方法
CN111161321A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
CN111179307A (zh) * 2019-12-16 2020-05-19 浙江工业大学 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
CN111179314A (zh) * 2019-12-30 2020-05-19 北京工业大学 一种基于残差密集孪生网络的目标跟踪方法
CN111400540A (zh) * 2020-03-11 2020-07-10 金陵科技学院 一种基于挤压和激励残差网络的歌声检测方法
CN111640138A (zh) * 2020-05-28 2020-09-08 济南博观智能科技有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111797716A (zh) * 2020-06-16 2020-10-20 电子科技大学 一种基于Siamese网络的单目标跟踪方法
US20200380274A1 (en) * 2019-06-03 2020-12-03 Nvidia Corporation Multi-object tracking using correlation filters in video analytics applications
CN112288772A (zh) * 2020-10-14 2021-01-29 武汉大学 基于在线多特征选择的通道注意力目标跟踪方法
CN112446900A (zh) * 2019-09-03 2021-03-05 中国科学院长春光学精密机械与物理研究所 孪生神经网络目标跟踪方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665485A (zh) * 2018-04-16 2018-10-16 华中科技大学 一种基于相关滤波与孪生卷积网络融合的目标跟踪方法
CN109801311A (zh) * 2019-01-31 2019-05-24 长安大学 一种基于深度残差网络特征的视觉目标跟踪方法
US20200380274A1 (en) * 2019-06-03 2020-12-03 Nvidia Corporation Multi-object tracking using correlation filters in video analytics applications
CN110570458A (zh) * 2019-08-12 2019-12-13 武汉大学 一种基于内部裁剪和多层特征信息融合的目标跟踪方法
CN110889863A (zh) * 2019-09-03 2020-03-17 河南理工大学 一种基于目标感知相关滤波的目标跟踪方法
CN112446900A (zh) * 2019-09-03 2021-03-05 中国科学院长春光学精密机械与物理研究所 孪生神经网络目标跟踪方法及系统
CN110706253A (zh) * 2019-09-19 2020-01-17 中国科学院自动化研究所 基于表观特征和深度特征的目标跟踪方法、系统、装置
CN110675429A (zh) * 2019-09-24 2020-01-10 湖南人文科技学院 基于孪生网络和相关滤波器的长短程互补型目标跟踪方法
CN111179307A (zh) * 2019-12-16 2020-05-19 浙江工业大学 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
CN111179314A (zh) * 2019-12-30 2020-05-19 北京工业大学 一种基于残差密集孪生网络的目标跟踪方法
CN111161321A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
CN111400540A (zh) * 2020-03-11 2020-07-10 金陵科技学院 一种基于挤压和激励残差网络的歌声检测方法
CN111640138A (zh) * 2020-05-28 2020-09-08 济南博观智能科技有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111797716A (zh) * 2020-06-16 2020-10-20 电子科技大学 一种基于Siamese网络的单目标跟踪方法
CN112288772A (zh) * 2020-10-14 2021-01-29 武汉大学 基于在线多特征选择的通道注意力目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANELLJAN M, ET AL.: "Learning Spatially Regularized Correlation Filters for Visual Tracking", 《IEEE》, pages 1 - 9 *
朱均安,等: "基于显著性区域加权的相关滤波目标跟踪", 《光学精密工程》 *

Similar Documents

Publication Publication Date Title
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN106920229B (zh) 图像模糊区域自动检测方法及系统
CN110889863B (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN109325589B (zh) 卷积计算方法及装置
CN112132856B (zh) 一种基于自适应模板更新的孪生网络跟踪方法
CN111340123A (zh) 一种基于深度卷积神经网络的图像分数标签预测方法
CN108305253B (zh) 一种基于多倍率深度学习的病理图像分类方法
CN111462068B (zh) 一种基于迁移学习的螺钉螺母检测方法
CN110288033B (zh) 一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法
CN111582093A (zh) 一种基于计算机视觉和深度学习的高分辨率图像中小目标自动检测方法
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN111815526B (zh) 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统
CN111192206A (zh) 一种提高图像清晰度的方法
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、系统、装置及介质
CN112084895A (zh) 一种基于深度学习的行人重识别方法
CN114782997A (zh) 基于多损失注意力自适应网络的行人重识别方法及系统
CN111462173A (zh) 基于孪生网络判别特征学习的视觉跟踪方法
CN110660077A (zh) 一种融合多个特征的多尺度目标跟踪方法
CN114359669A (zh) 图片分析模型调整方法、装置以及计算机可读存储介质
CN113850151A (zh) 一种驾驶员分心行为的识别方法、装置、终端及存储介质
CN112767450A (zh) 一种基于多损失学习的相关滤波目标跟踪方法及系统
CN113592899A (zh) 一种相关滤波目标跟踪深度特征的提取方法
CN110599460A (zh) 基于混合卷积神经网络的地下管网检测评估云系统
CN116052168A (zh) 基于单目标域图像的跨域语义分割模型生成方法及装置
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination