CN111383249A - 基于多区域层卷积特征的目标跟踪方法 - Google Patents

基于多区域层卷积特征的目标跟踪方法 Download PDF

Info

Publication number
CN111383249A
CN111383249A CN202010135414.0A CN202010135414A CN111383249A CN 111383249 A CN111383249 A CN 111383249A CN 202010135414 A CN202010135414 A CN 202010135414A CN 111383249 A CN111383249 A CN 111383249A
Authority
CN
China
Prior art keywords
target
layer
frame
filter
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010135414.0A
Other languages
English (en)
Other versions
CN111383249B (zh
Inventor
刘龙
杨尚其
史思琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010135414.0A priority Critical patent/CN111383249B/zh
Publication of CN111383249A publication Critical patent/CN111383249A/zh
Application granted granted Critical
Publication of CN111383249B publication Critical patent/CN111383249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于多区域层卷积特征的目标跟踪方法，步骤包括：步骤1，第一帧时确定目标区域并划分为多个子区域，提取子区域的卷积特征；初始化每层卷积特征的相关滤波器；步骤2，第二帧使用多层相关滤波器递推和加权融合的方法确定目标区域的位置，更新相关滤波器并初始化目标运动模型；步骤3，从第三帧开始，使用多层相关滤波器递推和加权融合的方法确定目标区域的位置，更新相关滤波器并更新运动模型为下一帧做准备；更新运动模型是为了得到下一帧目标位置的加权平均数
Figure DDA0002397123540000011
和协方差矩阵Σt+1，其作为在下一帧更新相关滤波器的重要参数。本发明基于多区域层卷积特征的目标跟踪方法解决了目标的部分遮挡和特征剧烈变化情况下跟踪精度低的问题。

Description

基于多区域层卷积特征的目标跟踪方法
技术领域
本发明属于视频图像跟踪技术领域，涉及一种基于多区域层卷积特征的目标跟踪方法。
背景技术
随着科技的发展和让社会的进步，人们对机器视觉技术的要求也不断的提高，在无人车驾驶、智能机器人、行为分析、无人飞行器、精确制导、空中预警等方面有着巨大的应用前景。
相关滤波目标跟踪方法具有处理速度快、跟踪精度高等优点,相关滤波目标跟踪方法使用在第一帧中人为选取的目标区域训练一个相关滤波器，在之后帧中使用训练好的滤波器对搜索区域进行相关操作，相关操作的结果中最大响应值点即为目标位置。当相关滤波目标跟踪方法使用从目标区域提取的卷积特征时，使用对多层相关滤波响应使用加权融合的方法推断目标位置。
对于相关滤波目标跟踪方法来说，针对目标区域提取的特征是其中关键，针对目标区域提取的特征分为以下两种：(1)手工特征，手工特征是人为设定的特征如图像的直方图特征、方向梯度直方图特征(HOG)、局部二值模式特征(LBP)；(2)卷积特征，卷积特征是使用深度卷积网络(CNNS)提取出的特征，深度卷积网络所提取的深层特征对目标的语义信息进行编码，这种特征对目标的外观变化具有较强的鲁棒性，但其空间解析度太低无法进行准确的定位，深度卷积网络所提取的浅层特征保留了大量空间信息有利于定位但其语义性不够强所以对目标的外观变化的鲁棒性较弱，且对于目标的部分遮挡和部分特征剧烈变化情况下跟踪精度低。
发明内容
本发明的目的是提供一种基于多区域层卷积特征的目标跟踪方法，解决了现有技术中存在的对于目标的部分遮挡和部分特征剧烈变化情况下鲁棒性差和跟踪精度低的问题。
本发明所采用的技术方案是，
基于多区域层卷积特征的目标跟踪方法，具体步骤为：
步骤1，输入待进行目标跟踪的视频序列并人为选取第一帧的目标区域p1，将目标区域p1划分为N+1个子区域，提取每个子区域的卷积特征；初始化每一层卷积特征所对应的相关滤波器；
步骤2，在第二帧时，计算每个子区域每一卷积层的相关滤波器在第二帧的搜索区域上的响应，用多层相关滤波器递推和加权融合的方法确定第二帧目标区域的位置，，更新每个子区域的相关滤波器，根据第二帧的目标位置和第一帧的目标位置初始化目标运动模型；
步骤3，从第三帧起，确定当前帧的目标搜索区域，提取目标搜索区域中的卷积特征
Figure BDA0002397123520000021
及上一帧每个子区域的滤波器
Figure BDA0002397123520000022
在卷积特征上的相关滤波响应
Figure BDA0002397123520000023
通过
Figure BDA0002397123520000024
逐层推断当前帧每个子区域的中心位置
Figure BDA0002397123520000025
对所有子区域的中心位置进行加权融合，得到并输出目标位置pt即为目标跟踪结果之后更新每个区域的相关滤波器和目标运动模型为下一帧的目标跟踪做准备；
其中更新运动模型的目的在于得到下一帧目标位置的加权平均数
Figure BDA0002397123520000031
和协方差矩阵Σt+1，作为在下一帧更新相关滤波器的重要参数。
本发明的特点还在于，
步骤1的具体步骤为：
步骤1.1，设置当前帧为第一帧，即t＝1，人为选取目标跟踪的视频序列中第一帧的目标区域p1；
步骤1.2，将当前帧的目标区域p1划分为N+1个子区域，每个子区域与其尺寸相同的汉宁窗相乘得到每个子区域的图像块
Figure BDA0002397123520000032
子区域中心位置
Figure BDA0002397123520000033
和每个区域中心位置到目标中心位置的位移
Figure BDA0002397123520000034
步骤1.3，提取每个子区域图像块
Figure BDA0002397123520000035
的卷积特征，并调整卷积特征分辨率使其与当前帧的分辨率一致，得到每个子区域的卷积特征
Figure BDA0002397123520000036
步骤1.4，初始化每个子区域每一卷积层对应的相关滤波器,得到每个子区域每一卷积层的相关滤波器在频域上的表示
Figure BDA0002397123520000037
Figure BDA0002397123520000038
表示第t帧第i个子区域第l层卷积特征所对应的滤波器的频域表示。
步骤1.4的具体步骤为：
令
Figure BDA0002397123520000039
为将
Figure BDA00023971235200000310
在长和宽上分别进行m和n个元素的循环位移后所生成的样本，每个样本对应的标签为yi(m,n)，其计算公式为：
Figure BDA00023971235200000311
其中σ为样本值的方差系数人为设定，此时相关滤波器的学习被转化成为一个凸优化问题，如公式(2)所示：
Figure BDA0002397123520000041
其中
Figure BDA0002397123520000042
为第t帧第i个区域第l层卷积特征所对应的滤波器的时域表示，*表示循环卷积，yi是一大小为hx×hy的矩阵，其矩阵第m行n列的元素yi,m,n＝y(m,n)，λ为滤波器的正则化系数，根据帕斯瓦尔公式将(2)式变换到频域得到：
Figure BDA0002397123520000043
Figure BDA0002397123520000044
是
Figure BDA0002397123520000045
的第d个通道，其中大写字母是由其小写母的离散傅里叶变换，字母上的横线表示复共轭，·表示矩阵的哈达玛积，
Figure BDA0002397123520000046
为第t帧第i个子区域第l层卷积特征所对应的滤波器的频域表示的分子式，
Figure BDA0002397123520000047
为第t帧第i个子区域第l层卷积特征所对应的滤波器的频域表示的分母式。
步骤2的具体步骤为：
步骤2.1，设置当前帧为第二帧，即t＝2；
步骤2.2，由上一帧中目标中心位置pt-1和目标大小s确定当前帧的目标搜索区域；
步骤2.3，目标搜索区域乘以大小相同的汉宁窗后，提取其中的卷积特征，并调整卷积特征分辨率使其与当前帧的分辨率一致，得到
Figure BDA0002397123520000048
其中
Figure BDA0002397123520000049
为卷积网络第l层提取出的卷积特征，L表示有L层卷积；
步骤2.4，分别计算上一帧每个子区域的滤波器
Figure BDA00023971235200000410
在卷积特征上的相关滤波响应
Figure BDA0002397123520000051
其中fi为第i个区域对应的滤波器在卷积特征上的相关滤波响应，fi为一个具有L个通道的矩阵，记
Figure BDA0002397123520000052
为其第l个通道(这里第l个通道对应着第l层卷积层的输出)，计算方法如下：
Figure BDA0002397123520000053
F-1表示傅里叶逆变换，其中zl,d是zl的第d个通道,Zl,d是zl,d的频域表示；
步骤2.5，对当前帧每个子区域的子区域中心位置进行估计，得到子区域中心位置
Figure BDA0002397123520000054
具体方法如下：
令
Figure BDA0002397123520000055
是在第l层相关滤波响应的最大值点的位置，则第在(l-1)层相关滤波响应值点的位置由下式得到
Figure BDA0002397123520000056
其中r是搜索范围，γ'l是正则化系数；
按照公式(5)由深层到浅层逐层的推断每个相关滤波最大响应值点的位置，最终得到的第一层卷积特征的相关滤波最大响应值点的位置就是当前帧第i个子区域的目标中心位置pt,i；
步骤2.6，对所有子区域的中心位置进行加权融合，得到并输出目标位置pt，pt的具体方法如公式(6)所示：
Figure BDA0002397123520000057
其中权重均为
Figure BDA0002397123520000058
其中
Figure BDA0002397123520000059
为所有子区域的目标中心位置，其计算方法为：
Figure BDA00023971235200000510
其中
Figure BDA0002397123520000061
每个子区域的中心位置到目标中心位置的位移目标位置，pt即为当前帧的跟踪结果；
步骤2.7，更新当前帧的相关滤波器，得到更新后的滤波器
Figure BDA0002397123520000062
步骤2.8，初始化目标运动模型，得到下一帧中目标位置的期望
Figure BDA0002397123520000063
和协方差矩阵Σt。
步骤2.7的具体方法为：
步骤2.7.1，按照步骤1.2～1.3的方法得到每个子区域的卷积特征
Figure BDA0002397123520000064
步骤2.7.2，对
Figure BDA0002397123520000065
进行离散傅里叶变换得到卷积网络第l层提取出的卷积特征的频域表示
Figure BDA0002397123520000066
通过公式(8)更新每个滤波器，得到更新后的滤波器
Figure BDA0002397123520000067
Figure BDA0002397123520000068
步骤2.8的具体方法为：
步骤2.8.1，根据p2和p1，0得到目标的运动速度(vx,vy)T，以为先验分布随机产生粒子得到粒子集合
Figure BDA00023971235200000618
K为粒子数，
Figure BDA00023971235200000610
Figure BDA00023971235200000611
分别是第t帧中第k个粒子在图像中x轴和y轴上的速度，记
Figure BDA00023971235200000612
Figure BDA00023971235200000613
分别是第t帧中第k个粒子在图像上x轴和y轴上的加速度，粒子权值
Figure BDA00023971235200000614
均为
Figure BDA00023971235200000615
步骤2.8.2，每个粒子在下一帧中的位置p't+1,k，
Figure BDA00023971235200000616
计算下一帧粒子位置期望
Figure BDA00023971235200000617
和下一帧中所有粒子的位置的协方差矩阵
Figure BDA0002397123520000071
Figure BDA0002397123520000072
和Σt+1将在下一帧中评价运动置信度。
步骤3的具体方法为：
步骤3.1，设置当前帧为第三帧，即t＝3；
步骤3.2，根据步骤2.2～2.4的方法，得到上一帧每个子区域的滤波器
Figure BDA0002397123520000073
在卷积特征上的相关滤波响应
Figure BDA0002397123520000074
步骤3.3，通过
Figure BDA0002397123520000075
对当前帧每个子区域的中心位置进行估计，得到每个子区域的中心位置
Figure BDA0002397123520000076
具体方法如下：
令
Figure BDA0002397123520000077
是在第l层相关滤波响应的最大值点的位置，则第在(l-1)层相关滤波响应值点的位置由公式(5)得到，按照公式(5)由深层到浅层逐层的推断每个相关滤波最大响应值点的位置，最终得到的第一层卷积特征的相关滤波最大响应值点的位置就是当前帧第i个子区域的目标中心位置pt,i；
Figure BDA0002397123520000078
其中r是搜索范围，
Figure BDA0002397123520000079
是正则化系数，
Figure BDA00023971235200000710
如公式(9)通过
Figure BDA00023971235200000711
进行更新：
Figure BDA00023971235200000712
其中γl是一常数，
Figure BDA00023971235200000713
的计算方法如下：
Figure BDA00023971235200000714
其中Ml和PSRl分别为每个滤波器响应各个通道的运动置信度和峰值旁瓣比；其计算方法分别如公式(11)和公式(12)：
Figure BDA0002397123520000081
Figure BDA0002397123520000082
其中
Figure BDA0002397123520000083
是第i个滤波器第l层相关滤波响应的最大响应值，
Figure BDA0002397123520000084
是第i个滤波器第l层相关滤波响应的均值，
Figure BDA0002397123520000085
是第i个滤波器第l层相关滤波响应的方差，
Figure BDA0002397123520000086
为当前帧中目标位置的期望值；
步骤3.4，对所有子区域的中心位置进行加权融合，得到并输出目标位置pt，目标位置pt即为当前帧的跟踪结果；
步骤3.5，更新相关滤波器和更新运动模型为下一帧的目标跟踪做准备，之后设置下一帧为当前帧并跳转至步骤3.2。
步骤3.4中，得到目标位置pt的具体方法如公式(13)所示：
Figure BDA0002397123520000087
其中αt,i为第i个区域去推断的目标中心位置的权值，计算方式为：
Figure BDA0002397123520000088
其中
Figure BDA0002397123520000089
为所有子区域的目标中心位置，其计算方法为：
Figure BDA00023971235200000810
其中
Figure BDA00023971235200000811
每个子区域的中心位置到目标中心位置的位移目标位置。
步骤3.5中更新相关滤波器的方法与步骤2.7相同。
步骤3.5中更新运动模型的方法具体的为
步骤3.5.1，计算当前帧粒子集合
Figure BDA00023971235200000812
计算方法如下
Figure BDA0002397123520000091
其中，ΔT为采样间隔；Wt是一个多变量高斯白噪声，计算主区域相关滤波响应f0所有通道的融合特征
Figure BDA0002397123520000092
更新粒子权值
Figure BDA0002397123520000093
若p't,k超出相关滤波的搜索范围则wt,k＝0，重采样，计算每个粒子在下一帧中的位置p't+1,k，
Figure BDA0002397123520000094
步骤3.5.2，计算下一帧中目标位置的加权平均数
Figure BDA0002397123520000095
和协方差矩阵
Figure BDA0002397123520000096
本发明的有益效果是
一、本发明对目标区域进行子区域的划分，子区域划分之后再进行汉宁窗加窗操作，减少了汉宁窗操作导致的边缘信息损失，使本发明在特征提取阶段可以保留更多的图像信息，实现了对目标的分块跟踪，提高了跟踪器在目标受到局部遮挡或是局部特征变化时的跟踪能力；
二、本发明采用多层相关滤波器递推和加权融合的方法确定目标区域的位置，实现了卷积层权值的自适应分配，提高了跟踪器的精度和鲁棒性；
三、本发明建立并实时更新运动模型，得到下一帧目标位置的加权平均数
Figure BDA0002397123520000097
和协方差矩阵Σt+1，作为在下一帧更新相关滤波器的重要参数，解决了由于相关滤波边界效应的存在所以边界难以应对目标快速运动、复杂运动和突变运动的情况。
附图说明
图1是本发明基于多区域层卷积特征的目标跟踪方法的总体框架图；
图2是本发明基于多区域层卷积特征的目标跟踪方法中子区域划分加窗实验的原图；
图3是图2添加汉宁窗后的结果图；
图4是图2进行划分之后子区域的加窗结果图；
图5是图4复原的整张图像；
图6是本发明基于多区域层卷积特征的目标跟踪方法中实施例1的跟踪结果图；
图7是本发明基于多区域层卷积特征的目标跟踪方法中实施例2的跟踪结果图；
图8是本发明基于多区域层卷积特征的目标跟踪方法中实施例2的精度曲线图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
基于多区域层卷积特征的目标跟踪方法，如图1，具体步骤为：
步骤1，输入待进行目标跟踪的视频序列并人为选取第一帧的目标区域p1，将目标区域p1划分为N+1个子区域，提取每个子区域的卷积特征；初始化每一层卷积特征所对应的相关滤波器；
步骤2，计算每个子区域每一卷积层的相关滤波器在第二帧的搜索区域上的响应，用多层相关滤波器递推和加权融合的方法确定第二帧目标区域的位置，更新每个子区域的相关滤波器，根据第二帧的目标位置和第一帧的目标位置初始化目标运动模型；
步骤3，从第三帧起，确定当前帧的目标搜索区域，提取目标搜索区域中的卷积特征
Figure BDA0002397123520000111
及上一帧每个子区域的滤波器
Figure BDA0002397123520000112
在卷积特征上的相关滤波响应
Figure BDA0002397123520000113
通过
Figure BDA0002397123520000114
逐层推断当前帧每个子区域的中心位置
Figure BDA0002397123520000115
对所有子区域的中心位置进行加权融合，得到并输出目标位置pt即为目标跟踪结果之后更新每个区域的相关滤波器和目标运动模型为下一帧的目标跟踪做准备；
其中更新运动模型的目的在于得到下一帧目标位置的加权平均数
Figure BDA0002397123520000116
和协方差矩阵Σt+1，作为在下一帧更新相关滤波器的重要参数。
其中步骤1的具体步骤为：
步骤1.1，设置当前帧为第一帧，即t＝1，人为选取目标跟踪的视频序列中第一帧的目标区域p1；
步骤1.2，将当前帧的目标区域p1划分为N+1个子区域，获取每个子区域的图像块
Figure BDA0002397123520000117
子区域中心位置
Figure BDA0002397123520000118
和每个区域中心位置到目标中心位置的位移
Figure BDA0002397123520000119
其中目标区域划分方法可根据具体任务选择不同的划分方法但划分为N+1个区域中必须包含目标区域；
步骤1.3，提取每个子区域图像块
Figure BDA00023971235200001110
的卷积特征，并调整卷积特征分辨率使其与当前帧的分辨率一致，一般采用双线性插值法，得到每个子区域的卷积特征
Figure BDA00023971235200001111
步骤1.4，初始化每个子区域每一卷积层对应的相关滤波器,得到每个子区域每一卷积层的相关滤波器在频域上的表示
Figure BDA0002397123520000121
Figure BDA0002397123520000122
表示第t帧第i个子区域第l层卷积特征所对应的滤波器的频域表示，具体步骤为：
令
Figure BDA0002397123520000123
为将
Figure BDA0002397123520000124
在长和宽上分别进行m和n个元素的循环位移后所生成的样本，每个样本对应的标签为yi(m,n)，其计算公式为：
Figure BDA0002397123520000125
其中σ为样本值的方差系数人为设定，此时相关滤波器的学习被转化成为一个凸优化问题，如公式(2)所示：
Figure BDA0002397123520000126
其中
Figure BDA0002397123520000127
为第t帧第i个区域第l层卷积特征所对应的滤波器的时域表示，*表示循环卷积，yi是一大小为hx×hy的矩阵，其矩阵第m行n列的元素yi,m,n＝y(m,n)，λ为滤波器的正则化系数，根据帕斯瓦尔公式将(2)式变换到频域得到：
Figure BDA0002397123520000128
Figure BDA0002397123520000129
是
Figure BDA00023971235200001210
的第d个通道，其中大写字母是由其小写母的离散傅里叶变换，字母上的横线表示复共轭，·表示矩阵的哈达玛积，
Figure BDA00023971235200001211
为第t帧第i个子区域第l层卷积特征所对应的滤波器的频域表示的分子式，
Figure BDA00023971235200001212
为第t帧第i个子区域第l层卷积特征所对应的滤波器的频域表示的分母式。
其中步骤2的具体步骤为：
步骤2.1，设置当前帧为第二帧，即t＝2；
步骤2.2，由上一帧中目标中心位置pt-1和目标大小s确定当前帧的目标搜索区域；
步骤2.3，目标搜索区域乘以大小相同的汉宁窗后，提取其中的卷积特征，并调整卷积特征分辨率使其与当前帧的分辨率一致，一般采用双线性插值法，得到
Figure BDA0002397123520000131
其中
Figure BDA0002397123520000132
为卷积网络第l层提取出的卷积特征，L表示有L层卷积；
步骤2.4，分别计算上一帧每个子区域的滤波器
Figure BDA0002397123520000133
在卷积特征上的相关滤波响应
Figure BDA0002397123520000134
其中fi为第i个区域对应的滤波器在卷积特征上的相关滤波响应，fi为一个具有L个通道的矩阵，记
Figure BDA0002397123520000135
为其第l个通道(这里第l个通道对应着第l层卷积层的输出)，计算方法如下：
Figure BDA0002397123520000136
F-1表示傅里叶逆变换，其中zl,d是zl的第d个通道,Zl,d是zl,d的频域表示；
步骤2.5，对当前帧每个子区域的子区域中心位置进行估计，得到子区域中心位置
Figure BDA0002397123520000137
具体方法如下：
令
Figure BDA0002397123520000138
是在第l层相关滤波响应的最大值点的位置，则第在(l-1)层相关滤波响应值点的位置由下式得到
Figure BDA0002397123520000139
其中r是搜索范围，γ'l是正则化系数；
按照公式(5)由深层到浅层逐层的推断每个相关滤波最大响应值点的位置，最终得到的第一层卷积特征的相关滤波最大响应值点的位置就是当前帧第i个子区域的目标中心位置pt,i；
步骤2.6，对所有子区域的中心位置进行加权融合，得到并输出目标位置pt，pt的具体方法如公式(6)所示：
Figure BDA0002397123520000141
其中权重均为
Figure BDA0002397123520000142
其中
Figure BDA0002397123520000143
为所有子区域的目标中心位置，其计算方法为：
Figure BDA0002397123520000144
其中
Figure BDA0002397123520000145
每个子区域的中心位置到目标中心位置的位移目标位置，pt即为当前帧的跟踪结果；
步骤2.7，更新当前帧的相关滤波器，得到更新后的滤波器
Figure BDA0002397123520000146
具体方法为：
步骤2.7.1，按照步骤1.2～1.3的方法得到每个子区域的卷积特征
Figure BDA0002397123520000147
步骤2.7.2，对
Figure BDA0002397123520000148
进行离散傅里叶变换得到卷积网络第l层提取出的卷积特征的频域表示
Figure BDA0002397123520000149
通过公式(8)更新每个滤波器，得到更新后的滤波器
Figure BDA00023971235200001410
Figure BDA00023971235200001411
步骤2.8，初始化目标运动模型，得到下一帧中目标位置的期望
Figure BDA00023971235200001412
和协方差矩阵Σt，具体方法为：
步骤2.8.1，根据p2和p1，0得到目标的运动速度(vx,vy)T，以为先验分布随机产生粒子得到粒子集合
Figure BDA00023971235200001413
K为粒子数，
Figure BDA0002397123520000151
Figure BDA0002397123520000152
分别是第t帧中第k个粒子在图像中x轴和y轴上的速度，记
Figure BDA0002397123520000153
Figure BDA0002397123520000154
分别是第t帧中第k个粒子在图像上x轴和y轴上的加速度，粒子权值
Figure BDA0002397123520000155
均为
Figure BDA0002397123520000156
步骤2.8.2，每个粒子在下一帧中的位置p't+1,k，
Figure BDA0002397123520000157
计算下一帧粒子位置期望
Figure BDA0002397123520000158
和下一帧中所有粒子的位置的协方差矩阵
Figure BDA0002397123520000159
Figure BDA00023971235200001510
和Σt+1将在下一帧中评价运动置信度。
其中步骤3的具体方法为：
步骤3.1，设置当前帧为第三帧，即t＝3；
步骤3.2，根据步骤2.2～2.4的方法，得到上一帧每个子区域的滤波器
Figure BDA00023971235200001511
在卷积特征上的相关滤波响应
Figure BDA00023971235200001512
步骤3.3，通过
Figure BDA00023971235200001513
对当前帧每个子区域的中心位置进行估计，得到每个子区域的中心位置
Figure BDA00023971235200001514
具体方法如下：
令
Figure BDA00023971235200001515
是在第l层相关滤波响应的最大值点的位置，则第在(l-1)层相关滤波响应值点的位置由公式(5)得到，按照公式(5)由深层到浅层逐层的推断每个相关滤波最大响应值点的位置，最终得到的第一层卷积特征的相关滤波最大响应值点的位置就是当前帧第i个子区域的目标中心位置pt,i；
Figure BDA00023971235200001516
其中r是搜索范围，
Figure BDA00023971235200001517
是正则化系数，
Figure BDA00023971235200001518
如公式(9)通过
Figure BDA00023971235200001519
进行更新：
Figure BDA00023971235200001520
其中γl是一常数，
Figure BDA0002397123520000161
的计算方法如下：
Figure BDA0002397123520000162
其中Ml和PSRl分别为每个滤波器响应各个通道的运动置信度和峰值旁瓣比；其计算方法分别如公式(11)和公式(12)：
Figure BDA0002397123520000163
Figure BDA0002397123520000164
其中
Figure BDA0002397123520000165
是第i个滤波器第l层相关滤波响应的最大响应值，
Figure BDA0002397123520000166
是第i个滤波器第l层相关滤波响应的均值，
Figure BDA0002397123520000167
是第i个滤波器第l层相关滤波响应的方差，
Figure BDA0002397123520000168
为当前帧中目标位置的期望值；
步骤3.4，对所有子区域的中心位置进行加权融合，得到并输出目标位置pt，pt的具体方法如公式(13)所示：
Figure BDA0002397123520000169
其中αt,i为第i个区域去推断的目标中心位置的权值，计算方式为：
Figure BDA00023971235200001610
其中
Figure BDA00023971235200001611
为所有子区域的目标中心位置，其计算方法为：
Figure BDA00023971235200001612
其中
Figure BDA00023971235200001613
每个子区域的中心位置到目标中心位置的位移目标位置，目标位置pt即为当前帧的跟踪结果；
步骤3.5，更新相关滤波器和更新运动模型为下一帧的目标跟踪做准备：
更新相关滤波器的方法与步骤2.7相同。
更新运动模型的方法具体的为
步骤3.5.1，计算当前帧粒子集合
Figure BDA0002397123520000171
计算方法如下
Figure BDA0002397123520000172
其中，ΔT为采样间隔；Wt是一个多变量高斯白噪声，计算主区域相关滤波响应f0所有通道的融合特征
Figure BDA0002397123520000173
更新粒子权值
Figure BDA0002397123520000174
若p't,k超出相关滤波的搜索范围则wt,k＝0，重采样，计算每个粒子在下一帧中的位置p't+1,k，
Figure BDA0002397123520000177
步骤3.5.2，计算下一帧中目标位置的加权平均数
Figure BDA0002397123520000175
和协方差矩阵
Figure BDA0002397123520000176
更新相关滤波器和更新运动模型之后设置下一帧为当前帧并跳转至步骤3.2。
子区域划分加窗实验
本发明方法在对目标区域进行子区域的划分，子区域划分之后再进行汉宁窗加窗操作，减少了汉宁窗操作导致的边缘信息损失，如图2为一张脸图像，其直接添加汉宁窗后结果图如图3，现将图分割为上半部分、下半部分、左半部分、右半部分、上四分之三部分、下四分之三部分、左四分之三部分和目标区域共九个子区域，对每个子区域单独加窗，其结果为图4，图为5是由图4各个子区域复原的整张图像；对比图3和图5，我们能够看出，图3只有中心附近区域的信息得到了保留边缘信息被损失；而子区域划分后大大保留了对应部分损失掉的信息，使得图5中更多的将边缘信息保留了下来，综上所述，相比于传统的相关滤波跟踪方法，本发明基于多区域的目标跟踪方法在特征提取阶段可以保留更多的信息。
实施例1
输入视频序列，为女子取书读书的视频；
执行步骤1～步骤3；
其中本实施例使用在ImageNet数据集上训练好的VGG-Net-19网络提取卷积特征，公式(2)(3)中的滤波器正则化系数λ取10-4，粒子数为600，采用将目标区域分割为上半部分、下半部分、左半部分、右半部分、上四分之三部分、下四分之三部分、左四分之三部分和目标区域共九个子区域的划分方法；
最终输出第23帧的目标跟踪结果，如图6所示，其中女子脸部部分被书籍遮挡，其跟踪结果准确。
实施例2
输入视频序列，为行人被车遮挡的视频；
执行步骤1～步骤3；
其中本实施例使用在ImageNet数据集上训练好的VGG-Net-19网络提取卷积特征，公式(2)(3)中的滤波器正则化系数λ取10-4，粒子数为600，采用将目标区域分割为上半部分、下半部分、左半部分、右半部分、上四分之三部分、下四分之三部分、左四分之三部分和目标区域共九个子区域的划分方法；
其输出为第12帧的目标跟踪结果，如图7所示，其中目标下半身被车身遮挡，依然能够输出准确的跟踪结果。
同时，对本实施例2进行了另一组实验，将实施例的原视频在输入时对每一帧的目标位置进行标注之后，执行步骤1～3，在步骤3.5更新运动模型时，根据所标注的目标位置，绘制每一帧运动模型计算出的下一帧粒子位置期望的精度曲线，其精度曲线如图8所示，其横轴代表运动模型计算出的下一帧粒子位置期望与每一帧标注的目标位置之差的绝对值记为误差，纵轴为所占帧数的百分比,曲线上的每个点表示在整个视频中误差小于横轴帧数的百分比，由图8可知，运动模型所计算出的下一帧粒子位置期望的精度足够作为评价目标运动置信度的指标。
本发明对目标区域进行子区域的划分、采用多层相关滤波器递推和加权融合的方法确定目标区域的位置，建立并实时更新运动模型，得到下一帧目标位置的加权平均数
Figure BDA0002397123520000191
和协方差矩阵Σt+1，作为在下一帧更新相关滤波器的重要参数，实现了卷积层权值的自适应分配，解决了由于相关滤波边界效应的存在所以边界难以应对目标快速运动、复杂运动和突变运动的情况，提高了跟踪器的精度和鲁棒性。

Claims (10)

1.基于多区域层卷积特征的目标跟踪方法，其特征在于，具体步骤为：
步骤1，输入待进行目标跟踪的视频序列并人为选取第一帧的目标区域p1，将所述目标区域p1划分为N+1个子区域，提取每个子区域的卷积特征；初始化每一层卷积特征所对应的相关滤波器；
步骤2，在第二帧时，计算每个子区域每一卷积层的相关滤波器在第二帧的搜索区域上的响应，用多层相关滤波器递推和加权融合的方法确定第二帧目标区域的位置，更新每个子区域的相关滤波器，根据第二帧的目标位置和第一帧的目标位置初始化目标运动模型；
步骤3，从第三帧起，确定当前帧的目标搜索区域，提取目标搜索区域中的卷积特征
Figure FDA0002397123510000011
及上一帧每个子区域的滤波器
Figure FDA0002397123510000012
在卷积特征上的相关滤波响应
Figure FDA0002397123510000013
通过
Figure FDA0002397123510000014
逐层推断当前帧每个子区域的中心位置
Figure FDA0002397123510000015
对所有子区域的中心位置进行加权融合，得到并输出目标位置pt即为目标跟踪结果之后更新每个区域的相关滤波器和目标运动模型为下一帧的目标跟踪做准备；
其中更新运动模型的目的在于得到下一帧目标位置的加权平均数
Figure FDA0002397123510000016
和协方差矩阵Σt+1，作为在下一帧更新相关滤波器的重要参数。
2.如权利要求1所述的基于多区域层卷积特征的目标跟踪方法，其特征在于，所述步骤1的具体步骤为：
步骤1.1，设置当前帧为第一帧，即t＝1，人为选取目标跟踪的视频序列中第一帧的目标区域p1；
步骤1.2，将当前帧的目标区域p1划分为N+1个子区域，获取每个子区域的图像块
Figure FDA0002397123510000021
子区域中心位置
Figure FDA0002397123510000022
和每个区域中心位置到目标中心位置的位移
Figure FDA0002397123510000023
步骤1.3，提取每个子区域图像块
Figure FDA0002397123510000024
的卷积特征，并调整卷积特征分辨率使其与当前帧的分辨率一致，得到每个子区域的卷积特征
Figure FDA0002397123510000025
步骤1.4，初始化每个子区域每一卷积层对应的相关滤波器,得到每个子区域每一卷积层的相关滤波器在频域上的表示
Figure FDA0002397123510000026
Figure FDA0002397123510000027
表示第t帧第i个子区域第l层卷积特征所对应的滤波器的频域表示。
3.如权利要求2所述的基于多区域层卷积特征的目标跟踪方法，其特征在于，所述步骤1.4的具体步骤为：
令
Figure FDA0002397123510000028
为将
Figure FDA0002397123510000029
在长和宽上分别进行m和n个元素的循环位移后所生成的样本，每个样本对应的标签为yi(m,n)，其计算公式为：
Figure FDA00023971235100000210
其中σ为样本值的方差系数人为设定，此时相关滤波器的学习被转化成为一个凸优化问题，如公式(2)所示：
Figure FDA00023971235100000211
其中
Figure FDA00023971235100000212
为第t帧第i个区域第l层卷积特征所对应的滤波器的时域表示，*表示循环卷积，yi是一大小为hx×hy的矩阵，其矩阵第m行n列的元素yi,m,n＝y(m,n)，λ为滤波器的正则化系数，根据帕斯瓦尔公式将(2)式变换到频域得到：
Figure FDA0002397123510000031
Figure FDA0002397123510000032
是
Figure FDA0002397123510000033
的第d个通道，其中大写字母是由其小写母的离散傅里叶变换，字母上的横线表示复共轭，·表示矩阵的哈达玛积，
Figure FDA0002397123510000034
为第t帧第i个子区域第l层卷积特征所对应的滤波器的频域表示的分子式，
Figure FDA0002397123510000035
为第t帧第i个子区域第l层卷积特征所对应的滤波器的频域表示的分母式。
4.如权利要求3所述的基于多区域层卷积特征的目标跟踪方法，其特征在于，所述步骤2的具体步骤为：
步骤2.1，设置当前帧为第二帧，即t＝2；
步骤2.2，由上一帧中目标中心位置pt-1和目标大小s确定当前帧的目标搜索区域；
步骤2.3，目标搜索区域乘以大小相同的汉宁窗后，提取其中的卷积特征，并调整卷积特征分辨率使其与当前帧的分辨率一致，得到
Figure FDA0002397123510000036
其中
Figure FDA0002397123510000037
为卷积网络第l层提取出的卷积特征，L表示有L层卷积；
步骤2.4，分别计算上一帧每个子区域的滤波器
Figure FDA0002397123510000038
在目标搜索区域R的卷积特征上的相关滤波响应
Figure FDA0002397123510000039
其中fi为第i个区域对应的滤波器在目标搜索区域的卷积特征上的相关滤波响应，fi为一个具有L个通道的矩阵，记fi l为其第l个通道(这里第l个通道对应着第l层卷积层的输出)，计算方法如下：
Figure FDA00023971235100000310
F-1表示傅里叶逆变换，其中zl,d是zl的第d个通道,Zl,d是zl,d的频域表示；
步骤2.5，对当前帧每个子区域的子区域中心位置进行估计，得到子区域中心位置
Figure FDA0002397123510000041
具体方法如下：
令
Figure FDA0002397123510000042
是在第l层相关滤波响应的最大值点的位置，则第在(l-1)层相关滤波响应值点的位置由下式得到
Figure FDA0002397123510000043
其中r是搜索范围，γ'l是正则化系数；
按照公式(5)由深层到浅层逐层的推断每个相关滤波最大响应值点的位置，最终得到的第一层卷积特征的相关滤波最大响应值点的位置就是当前帧第i个子区域的目标中心位置pt,i；
步骤2.6，对所有子区域的中心位置进行加权融合，得到并输出目标位置pt，pt的具体方法如公式()所示：
Figure FDA0002397123510000044
其中权重均为
Figure FDA0002397123510000045
其中
Figure FDA0002397123510000046
为所有子区域的目标中心位置，其计算方法为：
Figure FDA0002397123510000047
其中
Figure FDA0002397123510000048
每个子区域的中心位置到目标中心位置的位移目标位置，pt即为当前帧的跟踪结果；
步骤2.7，更新当前帧的相关滤波器，得到更新后的滤波器
Figure FDA0002397123510000049
步骤2.8，初始化目标运动模型，得到下一帧中目标位置的期望
Figure FDA00023971235100000410
和协方差矩阵Σt。
5.如权利要求4所述的基于多区域层卷积特征的目标跟踪方法，其特征在于，所述步骤2.7的具体方法为：
步骤2.7.1，按照所述步骤1.2～1.3的方法得到每个子区域的卷积特征
Figure FDA0002397123510000051
步骤2.7.2，对
Figure FDA0002397123510000052
进行离散傅里叶变换得到卷积网络第l层提取出的卷积特征的频域表示
Figure FDA0002397123510000053
通过公式(8)更新每个滤波器，得到更新后的滤波器
Figure FDA0002397123510000054
Figure FDA0002397123510000055
6.如权利要求5所述的基于多区域层卷积特征的目标跟踪方法，其特征在于，所述步骤2.8的具体方法为：
步骤2.8.1，根据p2和p1，0得到目标的运动速度(vx,vy)T，以为先验分布随机产生粒子得到粒子集合
Figure FDA0002397123510000056
K为粒子数，
Figure FDA0002397123510000057
Figure FDA0002397123510000058
分别是第t帧中第k个粒子在图像中x轴和y轴上的速度，记
Figure FDA0002397123510000059
Figure FDA00023971235100000510
分别是第t帧中第k个粒子在图像上x轴和y轴上的加速度，粒子权值
Figure FDA00023971235100000511
均为
Figure FDA00023971235100000512
步骤2.8.2，每个粒子在下一帧中的位置p't+1,k，
Figure FDA00023971235100000513
计算下一帧粒子位置期望
Figure FDA00023971235100000514
和下一帧中所有粒子的位置的协方差矩阵
Figure FDA00023971235100000515
Figure FDA00023971235100000516
和Σt+1将在下一帧中评价运动置信度。
7.如权利要求6所述的基于多区域层卷积特征的目标跟踪方法，其特征在于，所述步骤3的具体方法为：
步骤3.1，设置当前帧为第三帧，即t＝3；
步骤3.2，根据步骤2.2～2.4所述的方法，得到上一帧每个子区域的滤波器
Figure FDA0002397123510000061
在目标搜索区域的卷积特征上的相关滤波响应
Figure FDA0002397123510000062
步骤3.3，通过
Figure FDA0002397123510000063
对当前帧每个子区域的中心位置进行估计，得到每个子区域的中心位置
Figure FDA0002397123510000064
具体方法如下：
令
Figure FDA0002397123510000065
是在第l层相关滤波响应的最大值点的位置，则第在(l-1)层相关滤波响应值点的位置由公式(5)得到，按照公式(5)由深层到浅层逐层的推断每个相关滤波最大响应值点的位置，最终得到的第一层卷积特征的相关滤波最大响应值点的位置就是当前帧第i个子区域的目标中心位置pt,i；
Figure FDA0002397123510000066
其中r是搜索范围，
Figure FDA0002397123510000067
是正则化系数，
Figure FDA0002397123510000068
如公式(9)通过
Figure FDA0002397123510000069
进行更新：
Figure FDA00023971235100000610
其中γl是一常数，
Figure FDA00023971235100000611
的计算方法如下：
Figure FDA00023971235100000612
其中Ml和PSRl分别为每个滤波器响应各个通道的运动置信度和峰值旁瓣比；其计算方法分别如公式(11)和公式(12)：
Figure FDA00023971235100000613
Figure FDA0002397123510000071
其中
Figure FDA0002397123510000072
是第i个滤波器第l层相关滤波响应的最大响应值，
Figure FDA0002397123510000073
是第i个滤波器第l层相关滤波响应的均值，
Figure FDA0002397123510000074
是第i个滤波器第l层相关滤波响应的方差，
Figure FDA0002397123510000075
为当前帧中目标位置的期望值；
步骤3.4，对所有子区域的中心位置进行加权融合，得到并输出目标位置pt，目标位置pt即为当前帧的跟踪结果；
步骤3.5，更新相关滤波器和更新运动模型为下一帧的目标跟踪做准备，之后设置下一帧为当前帧并跳转至步骤3.2。
8.如权利要求7所述的基于多区域层卷积特征的目标跟踪方法，其特征在于，所述步骤3.4中，得到目标位置pt的具体方法如公式(13)所示：
Figure FDA0002397123510000076
其中αt,i为第i个区域去推断的目标中心位置的权值，计算方式为：
Figure FDA0002397123510000077
其中
Figure FDA0002397123510000078
为所有子区域的目标中心位置，其计算方法为：
Figure FDA0002397123510000079
其中
Figure FDA00023971235100000710
每个子区域的中心位置到目标中心位置的位移目标位置。
9.如权利要求7所述的基于多区域层卷积特征的目标跟踪方法，其特征在于，所述步骤3.5中更新相关滤波器的方法与步骤2.7相同。
10.如权利要求7所述的基于多区域层卷积特征的目标跟踪方法，其特征在于，所述步骤3.5中更新运动模型的方法具体的为
步骤3.5.1，计算当前帧粒子集合
Figure FDA0002397123510000081
计算方法如下
Figure FDA0002397123510000082
其中，ΔT为采样间隔；Wt是一个多变量高斯白噪声，计算主区域相关滤波响应f0所有通道的融合特征
Figure FDA0002397123510000083
Figure FDA0002397123510000084
更新粒子权值
Figure FDA0002397123510000085
若p't,k超出相关滤波的搜索范围则wt,k＝0，重采样，计算每个粒子在下一帧中的位置p't+1,k，
Figure FDA0002397123510000086
步骤3.5.2，计算下一帧中目标位置的加权平均数
Figure FDA0002397123510000087
和协方差矩阵
Figure FDA0002397123510000088
CN202010135414.0A 2020-03-02 2020-03-02 基于多区域层卷积特征的目标跟踪方法 Active CN111383249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010135414.0A CN111383249B (zh) 2020-03-02 2020-03-02 基于多区域层卷积特征的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010135414.0A CN111383249B (zh) 2020-03-02 2020-03-02 基于多区域层卷积特征的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111383249A true CN111383249A (zh) 2020-07-07
CN111383249B CN111383249B (zh) 2023-02-28

Family

ID=71218675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010135414.0A Active CN111383249B (zh) 2020-03-02 2020-03-02 基于多区域层卷积特征的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111383249B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819865A (zh) * 2021-02-26 2021-05-18 西安理工大学 基于自适应正则特征联合时间关联的相关滤波跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129906A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Deep cross-correlation learning for object tracking
CN108182388A (zh) * 2017-12-14 2018-06-19 哈尔滨工业大学（威海） 一种基于图像的运动目标跟踪方法
CN109741366A (zh) * 2018-11-27 2019-05-10 昆明理工大学 一种融合多层卷积特征的相关滤波目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129906A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Deep cross-correlation learning for object tracking
CN108182388A (zh) * 2017-12-14 2018-06-19 哈尔滨工业大学（威海） 一种基于图像的运动目标跟踪方法
CN109741366A (zh) * 2018-11-27 2019-05-10 昆明理工大学 一种融合多层卷积特征的相关滤波目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊昌镇等: "自适应卷积特征选择的实时跟踪算法", 《中国图象图形学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819865A (zh) * 2021-02-26 2021-05-18 西安理工大学 基于自适应正则特征联合时间关联的相关滤波跟踪方法
CN112819865B (zh) * 2021-02-26 2024-02-09 西安理工大学 基于自适应正则特征联合时间关联的相关滤波跟踪方法

Also Published As

Publication number Publication date
CN111383249B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN110210551B (zh) 一种基于自适应主体敏感的视觉目标跟踪方法
CN112348849B (zh) 一种孪生网络视频目标跟踪方法及装置
CN109741366B (zh) 一种融合多层卷积特征的相关滤波目标跟踪方法
CN108734723B (zh) 一种基于自适应权重联合学习的相关滤波目标跟踪方法
CN107689052B (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN108062531A (zh) 一种基于级联回归卷积神经网络的视频目标检测方法
CN110889863B (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN111008996B (zh) 一种通过分层特征响应融合的目标跟踪方法
CN106803265A (zh) 基于光流法和卡尔曼滤波的多目标跟踪方法
CN113807188B (zh) 基于锚框匹配和Siamese网络的无人机目标跟踪方法
CN111724411B (zh) 一种基于对冲算法的多特征融合跟踪方法
CN113870157A (zh) 一种基于CycleGAN的SAR图像合成方法
CN108537825B (zh) 一种基于迁移学习回归网络的目标跟踪方法
CN113344973A (zh) 一种基于时空正则化和特征可靠性评估的目标跟踪方法
CN111383249B (zh) 基于多区域层卷积特征的目标跟踪方法
CN110084834B (zh) 一种基于快速张量奇异值分解特征降维的目标跟踪方法
CN110660077A (zh) 一种融合多个特征的多尺度目标跟踪方法
CN111915603A (zh) 一种含噪声ebsd数据中无噪声相图的人工智能预测方法
CN110751670B (zh) 一种基于融合的目标跟踪方法
CN112819865B (zh) 基于自适应正则特征联合时间关联的相关滤波跟踪方法
CN113538509B (zh) 基于自适应相关滤波特征融合学习的视觉跟踪方法及装置
CN113470074B (zh) 一种基于分块判别的自适应时空正则化目标跟踪方法
CN112614158B (zh) 一种采样框自适应的多特征融合在线目标跟踪方法
CN114067240A (zh) 一种融合行人特性的在线更新策略行人单目标跟踪方法
CN113112522A (zh) 基于可变形卷积和模板更新的孪生网络目标跟踪的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant