CN110689559B - 一种基于密集卷积网络特征的视觉目标跟踪方法 - Google Patents
一种基于密集卷积网络特征的视觉目标跟踪方法 Download PDFInfo
- Publication number
- CN110689559B CN110689559B CN201910947630.2A CN201910947630A CN110689559B CN 110689559 B CN110689559 B CN 110689559B CN 201910947630 A CN201910947630 A CN 201910947630A CN 110689559 B CN110689559 B CN 110689559B
- Authority
- CN
- China
- Prior art keywords
- target
- scale
- filter
- response
- apce
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于目标跟踪技术领域,具体涉及一种基于密集卷积网络特征的视觉目标跟踪方法。本发明提供的技术方案,包括以下五个步骤:步骤一、构建初始位置滤波器;步骤二、构建初始尺度滤波器;步骤三、目标定位;步骤四、尺度估计;步骤五、模型更新。通过深度密集卷积网络的不同层提取目标特征,基于APCE(Average Peak‑to‑Correlation Energy)值自适应地选择最佳响应图,然后确定目标中心位置。在此基础上,进一步对目标尺度进行估计,能够适应目标尺度变化,准确确定目标的大小,选择性地对模型进行在线更新。算法精确度和成功率较高,实现了目标的鲁棒跟踪,易于在实际场景中推广应用。
Description
技术领域
本发明属于目标跟踪技术领域,具体涉及一种基于密集卷积网络特征的视觉目标跟踪方法。
背景技术
计算机视觉作为人工智能的一个重要研究领域,其目的是让机器拥有与人类类似的视觉。计算机视觉是以图像(视频)为输入,研究图像信息组织、物体和场景识别等内容,进而对事件给予解释,从而实现对环境的表达和理解。计算机视觉领域包括诸多不同的研究方向,如物体检测、语义分割、目标跟踪、三维重建、行为识别等。
目标跟踪作为计算机视觉领域的基础问题之一,一直是该领域的研究热点。目标跟踪是指对图像序列中运动目标进行检测、提取和识别,获得运动目标的运动参数,如位置、速度、加速度和运动轨迹等,从而对运动目标的行为进行理解,以完成更高一级的任务。近年来,目标跟踪算法得到了飞速发展,在国际计算机视觉会议(ICCV)、国际计算机视觉和模式识别会议(CVPR)、欧洲计算机视觉会议(ECCV)等国际顶级会议上提出了大量先进的目标跟踪算法。但是,现实应用环境中,出现了尺度变化、目标遮挡等复杂场景,而且当跟踪算法投入实际应用时,实时性问题也非常重要。正是由于这些问题的存在,使得视觉目标跟踪算法的研究仍然充满着难点和挑战。由于目前跟踪算法精度和速度的限制,制约着跟踪算法在视频监控、智能交通、人机交互等实际场景中的广泛应用。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于密集卷积网络特征的视觉目标跟踪方法。
为解决上述技术问题,本发明采用的技术方案是:一种基于密集卷积网络特征的视觉目标跟踪方法,包括以下步骤:
步骤一、构建初始位置滤波器
1、在经过手工标注的首帧图像中,明确目标区域的位置和尺寸;
2、在密集卷积网络中,选取多层,对首帧图像的目标区域进行特征提取,得到多个不同的特征;
步骤二、构建初始尺度滤波器
1、在经过手工标注的首帧图像中,在已经明确的目标区域的基础上,通过尺度金字塔方法对目标进行采样,获得S种不同大小的候选目标样本;
2、在密集卷积网络中,选取用于对S种不同目标样本进行特征提取的层,进行特征提取后得到S个不同特征;
步骤三、目标定位
1、利用密集卷积网络的多层对输入图像进行特征提取,得到多个不同的特征。
2、利用位置滤波器对多个不同特征分别进行位置滤波,获得多个不同的响应图;
3、分别计算多个响应图的APCE值,计算方法为:其中Fmax表示响应图中最大值,Fmin表示响应图中最小值,Fw,h表示响应图中第w行、第h列的取值,mean表示取均值。选择APCE值最大的响应图作为最佳响应图,该响应图中最大值位置对应目标的中心位置;
步骤四、尺度估计:
1、依据已经确定的目标区域的位置和上一帧中估计的目标尺度,通过尺度金字塔方法对目标进行采样,获得S种不同尺度的候选目标样本;
2、在密集卷积网络中,选取用于对S种不同目标样本进行特征提取的层,进行特征提取后得到S个不同特征;
3、利用尺度滤波器对S个目标特征进行尺度滤波,得到响应图,该响应图中响应值最大的点即对应当前输入图像中目标的精确尺度;
步骤五、模型更新:
1、位置滤波器模型更新
确定第t帧图像中目标区域的位置和尺度后,在第t+1帧跟踪前对位置滤波器和尺度滤波器分别进行更新:
计算对第t帧图像跟踪时响应图的APCE值,如果该值大于预先设定的阈值APCE0,即APCEt>APCE0,则对位置滤波器进行更新,否则不更新,对位置滤波器的更新方法为:αt=(1-ηp)αt-1+ηpα(t),其中αt-1表示对第t帧图像跟踪前求得的滤波器模板,α(t)表示根据第t帧图像求得的滤波器模板,ηp为位置滤波器的学习率;
2、尺度滤波器模型更新
本发明与现有技术相比,具有以下优点:
1、该方法利用密集卷积网络(DenseNet)对图像特征进行提取,由于DenseNet网络层数较多,无论是浅层的位置信息还是深层的语义信息均能够有效提取。DenseNet网络较强的特征表示能力,将其与本发明的算法结合后,使得该算法具有了更高的跟踪精确度。
2、该方法针对不同属性的图像,依据响应图中APCE的值,自适应选择用于特征提取的DenseNet网络层,即自适应选择最佳的尺度滤波器,使得该算法具有较好的跟踪效果。
3、该方法采用多尺度采样技术,在跟踪过程中,能够适应目标尺度变化,实现对目标尺度的精确估计,因此该方法更具有实用性,便于推广使用。
4、该方法的模型更新策略中,并不是在每一帧跟踪后均对位置滤波器执行更新操作,而是根据APCE的取值自适应选择需要更新的帧,从而减少遮挡等场景下跟踪结果对模型的污染,使得跟踪算法具有更好的鲁棒性。
综上所述,本发明通过深度密集卷积网络的不同层提取目标特征,基于APCE(Average Peak-to-Correlation Energy)值自适应地选择最佳响应图,然后确定目标中心位置。在此基础上,进一步对目标尺度进行估计,能够适应目标尺度变化,准确确定目标的大小,选择性地对模型进行在线更新。算法精确度和成功率较高,实现了目标的鲁棒跟踪,易于在实际场景中推广应用。
附图说明:
图1为本发明方法的流程框图。
具体实施方式:
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
如图1所示,本发明提供的一种基于密集卷积网络特征的视觉目标跟踪方法,包括以下步骤:
步骤一、构建初始位置滤波器:
1、在经过手工标注的首帧图像中,已经明确了目标的中心位置和尺寸。根据目标位置,选取合适的ROI区域(Region of Interest,感兴趣区域)。
2、在密集卷积网络(DenseNet)中,选取五层,对首帧图像的ROI区域进行特征提取,得到五个不同的特征:
选定的五层的名称分别为:'conv1|relu'、'conv2_block6_concat'、'conv3_block12_concat'、'conv4_block48_concat'和'conv5_block32_concat'。
3、利用得到的五个特征,分别构建五个核相关滤波器(KCF1~KCF5)。通过高斯函数构建特征x的响应值y,根据公式构建初始位置滤波器α,其中,为y的傅里叶变换,||·||表示2-范数,F-1为傅里叶逆变换,x*为x的共轭,⊙为点乘运算,σ和λp为常数。
本发明中位置滤波器采用核相关滤波器(KCF),可以判别被跟踪区域是目标还是背景,核函数的本质就是通过映射关系将特征从低维空间映射到高维空间,从而将低维空间中的线性不可分变为高维空间中的线性可分。核相关滤波器还引入循环矩阵实现了密集采样,同时利用矩阵循环矩阵在傅立叶空间可对角化等性质简化计算,显著提高跟踪速度。
步骤二、构建初始尺度滤波器:
1、在经过手工标注的首帧图像中,在已经标注的目标位置和大小基础上,通过尺度金字塔方法对目标进行采样,获得S种不同大小的候选目标样本,本实施例中S=33。
2、在密集卷积网络(DenseNet)中,选取名称为pool4_Relu的DenseNet网络层,用于对S种不同目标样本进行特征提取,得到S个不同特征。
3、利用目标样本特征构建尺度滤波器。根据公式构建初始尺度滤波器Hl,其中,l表示特征向量的维数,且l=1,2,...,L,G为通过高斯函数构建的特征响应值g的傅里叶变换,G*为G的共轭,Fk为第k维特征的傅里叶变换,λs为常数。
需要说明的是,通过首帧输入图像构建初始尺度滤波器,采用多尺度采样技术,跟踪过程中能够适应目标尺度变化,从而实现对目标尺度的精确估计。
步骤三、目标定位:
1、利用密集卷积网络(DenseNet)的五层对输入图像进行特征提取,得到五个不同的特征。
2、利用位置滤波器对五个不同特征分别进行位置滤波,获得五个不同的响应图。响应图的大小均为s×t,s为位置滤波响应图的行向像素数,t为位置滤波响应图的列向像素数。
3、分别计算五个响应图的APCE值(APCE1~APCE5)。APCE值的计算方法为:其中Fmax表示响应图中最大值,Fmin表示响应图中最小值,Fw,h表示响应图中第w行、第h列的取值,mean表示取均值。选择APCE值最大的响应图作为最佳响应图。在最佳响应图中,最大值位置对应目标的中心位置。
需要说明的是,不同视频可能具有不同的属性,包括SV(尺度变化)、IV(光照变化)、OCC(目标遮挡)、DEF(目标形变)、MB(运动模糊)、FM(快速运动)、IPR(平面内旋转)、OPR(平面外旋转)、OV(目标超出视野)、BC(背景杂波)和LR(低分辨率)等。因此,针对不同视频应该在DenseNet网络中选取不同的层进行特征提取,这样才能保证每个视频的跟踪效果均为最好。分别计算五个响应图的APCE值,依据APCE值大小选择最佳响应图并确定目标中心位置。实现了DenseNet网络特征层的自适应选择,显著提高了跟踪精确度。
步骤四、尺度估计:
1、依据已经确定的目标位置和上一帧中估计的目标尺度,通过尺度金字塔方法对目标进行采样,获得S种不同尺度的候选目标样本。这里S=33。
2、在密集卷积网络(DenseNet)中,选取DenseNet网络层的名称为pool4_Relu,对S种不同目标样本进行特征提取,得到S个不同特征。
3、利用尺度滤波器对S个目标特征进行尺度滤波,得到响应图。该响应图中响应值最大的点即对应当前输入图像中目标的精确尺度,实现当前输入图像的尺度估计。
步骤五、模型更新:
1、位置滤波器模型更新:
确定第t帧图像中目标的位置和尺度后,为了使得跟踪算法更加鲁棒,需要在第t+1帧跟踪前对位置滤波器和尺度滤波器分别进行更新。计算对第t帧图像跟踪时响应图的APCE值,如果该值大于预先设定的阈值APCE0,即APCEt>APCE0,则对位置滤波器进行更新,否则不更新。对位置滤波器的更新方法为:αt=(1-ηp)αt-1+ηpα(t),其中αt-1表示对第t帧图像跟踪前求得的滤波器模板,α(t)表示根据第t帧图像求得的滤波器模板,ηp为位置滤波器的学习率。这里,APCE0=20,0<ηp<1。
2、尺度滤波器模型更新:
Claims (1)
1.一种基于密集卷积网络特征的视觉目标跟踪方法,其特征在于,包括以下步骤:
步骤一、构建初始位置滤波器
1、在经过手工标注的首帧图像中,明确目标区域的位置和尺寸;
2、在密集卷积网络中,选取多层,对首帧图像的目标区域进行特征提取,得到多个不同的特征;利用密集卷积网络DenseNet对图像特征进行提取,无论是浅层的位置信息还是深层的语义信息均能够提取;
3、利用得到的多个特征,分别构建多个核相关滤波器,根据公式
构建初始位置滤波器α,其中,
||·||表示2-范数,F-1为傅里叶逆变换,x*为x的共轭,⊙为点乘运算,σ和λp 为常数;
步骤二、构建初始尺度滤波器
1、在经过手工标注的首帧图像中,在已经明确的目标区域的基础上,通过尺度金字塔方法对目标进行采样,获得S种不同大小的候选目标样本;
2、在密集卷积网络中,选取用于对S种不同目标样本进行特征提取的层,进行特征提取后得到S个不同特征;
3、根据公式
构建初始尺度滤波器Hl,其中,l表示特征向量的维数,且l=1,2,...,L,
G为通过高斯函数构建的特征响应值g的傅里叶变换,G*为G的共轭,Fk为第k维特征的傅里叶变换,λs为常数;
步骤三、目标定位
1、利用密集卷积网络的多层对输入图像进行特征提取,得到多个不同的特征;
2、利用位置滤波器对多个不同特征分别进行位置滤波,获得多个不同的响应图;
3、分别计算多个响应图的APCE值,计算方法为:
其中Fmax表示响应图中最大值,Fmin表示响应图中最小值,Fw,h表示响应图中第w行、第h列的取值,mean表示取均值;选择APCE值最大的响应图作为最佳响应图,该响应图中最大值位置对应目标的中心位置;依据响应图中APCE的值,自适应选择用于特征提取的DenseNet网络层,即自适应选择最佳的尺度滤波器;
步骤四、尺度估计:
1、依据已经确定的目标区域的位置和上一帧中估计的目标尺度,通过尺度金字塔方法对目标进行采样,获得S种不同尺度的候选目标样本;
2、在密集卷积网络中,选取用于对S种不同目标样本进行特征提取的层,进行特征提取后得到S个不同特征;
3、利用尺度滤波器对S个目标特征进行尺度滤波,得到响应图,该响应图中响应值最大的点即对应当前输入图像中目标的精确尺度;
步骤五、模型更新:
1、位置滤波器模型更新
确定第t帧图像中目标区域的位置和尺度后,在第t+1帧跟踪前对位置滤波器和尺度滤波器分别进行更新:
计算对第t帧图像跟踪时响应图的APCE值,如果该值大于预先设定的阈值APCE0,即APCEt>APCE0,则对位置滤波器进行更新,否则不更新,对位置滤波器的更新方法为:αt =(1-ηp)αt-1+ηpα(t),其中αt-1表示对第t帧图像跟踪前求得的滤波器模板,α(t)表示根据第t帧图像求得的滤波器模板,ηp为位置滤波器的学习率;
2、尺度滤波器模型更新
尺度滤波器的分子项、部分分母项可以分别用A、B表示,即Al=G*⊙Fl、
对第t帧图像跟踪后,对尺度滤波器进行更新,尺度滤波器的更新方法为:
其中ηs为尺度滤波器的学习率;
并且,
步骤四中,
在密集卷积网络DenseNet中,选取DenseNet网络层的名称为pool4_Relu,对S种不同目标样本进行特征提取,得到S个不同特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910947630.2A CN110689559B (zh) | 2019-09-30 | 2019-09-30 | 一种基于密集卷积网络特征的视觉目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910947630.2A CN110689559B (zh) | 2019-09-30 | 2019-09-30 | 一种基于密集卷积网络特征的视觉目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110689559A CN110689559A (zh) | 2020-01-14 |
CN110689559B true CN110689559B (zh) | 2022-08-12 |
Family
ID=69111490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910947630.2A Active CN110689559B (zh) | 2019-09-30 | 2019-09-30 | 一种基于密集卷积网络特征的视觉目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110689559B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200833A (zh) * | 2020-09-17 | 2021-01-08 | 天津城建大学 | 一种基于残差网络和短期视觉记忆的相关滤波视频跟踪算法 |
CN112836584B (zh) * | 2021-01-05 | 2023-04-07 | 西安理工大学 | 基于深度学习的交通图像安全带分类方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN108182388A (zh) * | 2017-12-14 | 2018-06-19 | 哈尔滨工业大学(威海) | 一种基于图像的运动目标跟踪方法 |
CN108346159A (zh) * | 2018-01-28 | 2018-07-31 | 北京工业大学 | 一种基于跟踪-学习-检测的视觉目标跟踪方法 |
CN108921873A (zh) * | 2018-05-29 | 2018-11-30 | 福州大学 | 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法 |
CN109801311A (zh) * | 2019-01-31 | 2019-05-24 | 长安大学 | 一种基于深度残差网络特征的视觉目标跟踪方法 |
CN109816689A (zh) * | 2018-12-18 | 2019-05-28 | 昆明理工大学 | 一种多层卷积特征自适应融合的运动目标跟踪方法 |
CN110188753A (zh) * | 2019-05-21 | 2019-08-30 | 北京以萨技术股份有限公司 | 一种基于稠密连接卷积神经网络目标跟踪算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108381554B (zh) * | 2018-05-22 | 2020-03-17 | 中国矿业大学 | 基于wifi辅助定位的视觉跟踪移动机器人及控制方法 |
-
2019
- 2019-09-30 CN CN201910947630.2A patent/CN110689559B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN108182388A (zh) * | 2017-12-14 | 2018-06-19 | 哈尔滨工业大学(威海) | 一种基于图像的运动目标跟踪方法 |
CN108346159A (zh) * | 2018-01-28 | 2018-07-31 | 北京工业大学 | 一种基于跟踪-学习-检测的视觉目标跟踪方法 |
CN108921873A (zh) * | 2018-05-29 | 2018-11-30 | 福州大学 | 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法 |
CN109816689A (zh) * | 2018-12-18 | 2019-05-28 | 昆明理工大学 | 一种多层卷积特征自适应融合的运动目标跟踪方法 |
CN109801311A (zh) * | 2019-01-31 | 2019-05-24 | 长安大学 | 一种基于深度残差网络特征的视觉目标跟踪方法 |
CN110188753A (zh) * | 2019-05-21 | 2019-08-30 | 北京以萨技术股份有限公司 | 一种基于稠密连接卷积神经网络目标跟踪算法 |
Non-Patent Citations (1)
Title |
---|
SITUP: Scale Invariant Tracking using Average Peak-to-Correlation Energy;Haoyi Ma等;《arXiv:1812.03111v1》;20181207;第1-11页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110689559A (zh) | 2020-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110991272B (zh) | 一种基于视频跟踪的多目标车辆轨迹识别方法 | |
CN108734151B (zh) | 基于相关滤波以及深度孪生网络的鲁棒长程目标跟踪方法 | |
CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
CN110569723A (zh) | 一种结合特征融合与模型更新的目标跟踪方法 | |
CN108182388A (zh) | 一种基于图像的运动目标跟踪方法 | |
CN112163498B (zh) | 前景引导和纹理聚焦的行人重识别模型建立方法及其应用 | |
CN109035300B (zh) | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 | |
CN107452022A (zh) | 一种视频目标跟踪方法 | |
CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
CN112183675B (zh) | 一种基于孪生网络的针对低分辨率目标的跟踪方法 | |
CN104484890A (zh) | 基于复合稀疏模型的视频目标跟踪方法 | |
CN110689559B (zh) | 一种基于密集卷积网络特征的视觉目标跟踪方法 | |
CN103985143A (zh) | 基于字典学习的视频中判别性在线目标跟踪方法 | |
CN109191493B (zh) | 一种基于RefineNet神经网络和稀疏光流的目标跟踪方法 | |
Yang et al. | Visual tracking with long-short term based correlation filter | |
CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
Xu et al. | Hierarchical convolution fusion-based adaptive Siamese network for infrared target tracking | |
Shu et al. | Multi-feature fusion target re-location tracking based on correlation filters | |
CN108898619B (zh) | 一种基于pvanet神经网络的目标跟踪方法 | |
CN113033356B (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
CN110751670B (zh) | 一种基于融合的目标跟踪方法 | |
CN107590820B (zh) | 一种基于相关滤波的视频对象追踪方法及其智能装置 | |
Firouznia et al. | Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |