CN111598926B - 对eco特征提取性能进行优化的目标跟踪方法及装置 - Google Patents
对eco特征提取性能进行优化的目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN111598926B CN111598926B CN202010410577.5A CN202010410577A CN111598926B CN 111598926 B CN111598926 B CN 111598926B CN 202010410577 A CN202010410577 A CN 202010410577A CN 111598926 B CN111598926 B CN 111598926B
- Authority
- CN
- China
- Prior art keywords
- eco
- image
- target
- sample
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000000605 extraction Methods 0.000 title claims abstract description 43
- 238000009826 distribution Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000004519 manufacturing process Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 64
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 238000003775 Density Functional Theory Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种对ECO特征提取性能进行优化的目标跟踪方法及装置，该方法包括以下步骤：读取视频或图像序列的第一帧图像，确定跟踪目标；将初始帧中跟踪目标所在候选区域缩放到特定大小，利用并行方式计算傅里叶变换来提取特征；针对特征制作label标签，修改高斯分布为多个极值；训练ECO的相关滤波器；读取下一帧图像，获取当前帧图像的目标位置及其置信度概率；将得到的目标作为样本，使用样本融合更新策略，更新ECO算法的样本集；利用更新的样本集提取特征，同时制作label标签训练ECO，更新相关滤波器；循环执行上述步骤。本发明能够提升ECO目标跟踪算法的整体运行速度，实现在嵌入式平台上能够并行加速计算。
Description
技术领域
本发明涉及计算机视觉应用目标跟踪领域，尤其涉及一种对ECO特征提取性能进行优化的目标跟踪方法及装置。
背景技术
视觉目标跟踪是计算机视觉中一个重要研究方向，在军事无人飞行器、精确制导以及空中预警和民用视频监控，人机交互和无人驾驶等众多领域有着极其广泛的应用，然而目标跟踪面临着目标尺度变换、重度遮挡、快速移动、超出视野和光照变化等众多挑战，因此提出一种可靠的实时视觉目标跟踪方法具有很重要的现实意义。
以往的相关滤波视觉目标跟踪算法主要是使用给出的样本去训练一个判别分类器，判断跟踪到的是目标还是周围的背景信息。主要使用轮转矩阵对样本进行采集，使用快速傅里叶变换对算法进行加速计算，而ECO目标跟踪算法在此基础上着重于解决模型过大的问题，通过减少参数，简化训练集，减少模型更新频率来加快跟踪速度，对抗模型漂移。对于目标轻度遮挡、姿态改变以及光照变化具有很好的跟踪效果，然而算法速度仍然有所限制，无法在嵌入式平台上达到实时跟踪的目的。
发明内容
为解决现有技术存在的上述问题，本发明提供一种对ECO特征提取性能进行优化的目标跟踪方法及装置。
本发明是这样实现的：
一方面，本发明提供一种对ECO特征提取性能进行优化的目标跟踪方法，包括以下步骤：
S1、读取视频或图像序列的第一帧图像，确定跟踪目标；
S2、将初始帧中跟踪目标所在候选区域缩放到特定大小，利用并行方式计算傅里叶变换来提取特征；
S3、针对特征制作label标签，修改高斯分布为多个极值；
S4、通过提取的特征和label标签训练ECO的相关滤波器；
S5、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
S6、将得到的目标作为样本，使用样本融合更新策略，更新ECO算法的样本集；
S7、利用更新的样本集采用步骤S2的方法提取特征，同时制作label标签训练ECO，更新相关滤波器；
S8、循环执行步骤S5~S7，直至当前视频或图像序列处理完。
进一步地，所述步骤S2具体包括：
先对跟踪目标所在候选区域z提取多尺度特征x，包括FHOG特征以及颜色CN特征，将提取的特征进行PCA降维，然后通过傅里叶变换由时域转为频域，傅里叶转化公式如下：
其中为降维后的离散特征，N、M对应二维离散特征的行数和列数。
进一步地，所述步骤S2中对跟踪目标所在候选区域提取FHOG特征具体包括：
（1）将输入的RGB三通道图像转化为单通道图像；
（2）采用gamma校正法对输入图像进行颜色空间的标准化，校正公式为：
其中0<gamma<1；
（3）计算图像梯度，包括每个像素点的梯度值和梯度方向，x方向和y方向的卷积核分别为：
得到水平方向梯度/>，垂直方向梯度/>，得到每个像素点的梯度和梯度方向/>分别为：
（4）构建18维hog特征向量，将图像分成若干个cell，每个cell的梯度方向按360度均分成18个方向块，每个方向块20度，计算每个cell的梯度方向直方图，则每个cell对应一个18维特征向量；
（5）通过归一化截断得到每个cell对应的36维特征向量；
将步骤（4）中每个cell的梯度方向分为9个方向块，其中0-20度或180-200度对应一个方向块，则对于这第/>个cell便对应9维特征向量，同时与其相邻的特征向量为：
定义，则36维特征向量/>为：
（6）利用PCA降维，得到36维特征向量的前13维特征向量；
（7）将前13维特征向量与步骤（4）得到的18维特征向量相加最终得到31维的特征向量。
进一步地，所述步骤S2中傅里叶变换的处理方式如下：
傅里叶变换方便处理长度N=2^M的情况，如果长度不是2的整数次幂的情况，则通过补零即可；将x(n)分为奇偶两个序列，有，进一步把一个N 点的FFT拆成两个N/2的DFT，同理逐渐拆下去，将2^m的DFT拆成m-1个2点的FFT，最后将其拆成多个8点的FFT。
进一步地，所述步骤S3中修改高斯分布为具有4峰值的二维高斯分布，具体生成方式如下：
（1）先对25*25的区域生成具有单峰值的服从二维高斯分布的label；
（2）相邻行和相邻列求和取均值，将其调整为24*24大小的具有多峰值且服从二维高斯分布的label；
（3）同时利用傅里叶变换转换到频域。
进一步地，所述步骤S4具体包括：
将傅里叶转化后特征插值到连续域，公式如下：
其中Xd是第d层特征，Nd为每层特征的行数，bd为事先计算的权重，T为连续区间的右侧，随后将各个特征图和相关滤波器进行卷积操作，公式如下：
其中，fd对应的是第d层特征通道对应相关滤波器，为第d层特征通道的连续域特征图，/>为所有特征通道，/>为样本x的得分置信度；
求解相关滤波器则通过最小化损失函数来实现，公式如下：
其中yj为label，即由当前训练样本对应生成且服从高斯向分布，αj为训练样本xj对应的权重，w为正则化因子。
进一步地，所述步骤S6中使用的样本融合更新策略具体为：
设定样本集中最大样本数量，则若：
（1）样本集未满，将新样本放到空余处；
（2）样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
（3）样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
（4）样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
另一方面，本发明还提供一种对ECO特征提取性能进行优化的目标跟踪装置，包括：
跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；
特征提取模块，用于将初始帧中跟踪目标所在候选区域缩放到特定大小，利用并行方式计算傅里叶变换来提取特征；
label标签制作模块，用于针对特征制作label标签，修改高斯分布为多个极值；
滤波器训练模块，用于通过提取的特征和label标签训练ECO相关滤波器；
目标位置确定模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
样本集更新模块，用于将得到的目标作为样本，使用样本融合更新策略，更新ECO算法的样本集；
滤波器更新模块，用于利用更新的样本集提取特征，同时制作label标签训练ECO，更新相关滤波器；
循环控制模块，用于控制目标位置确定模块、样本集更新模块、滤波器更新模块循环执行，直至当前视频或图像序列处理完。
进一步地，所述特征提取模块具体用于：
先对跟踪目标所在候选区域z提取多尺度特征x，包括FHOG特征以及颜色CN特征，将提取的特征进行PCA降维，然后通过傅里叶变换由时域转为频域，傅里叶转化公式如下：
其中为降维后的离散特征，N、M对应二维离散特征的行数和列数。
进一步地，所述特征提取模块对跟踪目标所在候选区域提取FHOG特征具体包括：
（1）将输入的RGB三通道图像转化为单通道图像；
（2）采用gamma校正法对输入图像进行颜色空间的标准化，校正公式为：
其中0<gamma<1；
（3）计算图像梯度，包括每个像素点的梯度值和梯度方向，x方向和y方向的卷积核分别为：
得到水平方向梯度/>，垂直方向梯度/>，得到每个像素点的梯度和梯度方向/>分别为：
（4）构建18维hog特征向量，将图像分成若干个cell，每个cell的梯度方向按360度均分成18个方向块，每个方向块20度，计算每个cell的梯度方向直方图，则每个cell对应一个18维特征向量；
（5）通过归一化截断得到每个cell对应的36维特征向量；
将步骤（4）中每个cell的梯度方向分为9个方向块，其中0-20度或180-200度对应一个方向块，则对于这第/>个cell便对应9维特征向量，同时与其相邻的特征向量为：
定义，则36维特征向量/>为：
（6）利用PCA降维，得到36维特征向量的前13维特征向量；
（7）将前13维特征向量与步骤（4）得到的18维特征向量相加最终得到31维的特征向量。
与现有技术相比，本发明具有以下有益效果：
本发明提供的这种对ECO特征提取性能进行优化的目标跟踪方法及装置，主要对ECO目标跟踪算法的特征提取性能进行优化，以此提升算法的整体运行速度，考虑到ECO目标跟踪算法需要进行大量的傅里叶变换计算，本发明针对傅里叶变换原理，修改特征提取方式，更换提取的cell尺寸和候选卷积区域的大小，实现在嵌入式平台上能够并行加速计算；同时考虑到修改尺寸之后对目标寻优会带来影响，本发明将单峰值二维高斯分布处理成多峰值，提升寻优效果。
附图说明
图1为本发明实施例提供的一种对ECO特征提取性能进行优化的目标跟踪方法的流程图；
图2为本发明实施例提供的傅里叶变换示意图；
图3为本发明实施例提供的一种对ECO特征提取性能进行优化的目标跟踪装置的方框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种对ECO特征提取性能进行优化的目标跟踪方法，包括以下步骤：
S1、读取视频或图像序列的第一帧图像，人为设定或通过目标检测算法来确定跟踪目标。
S2、将初始帧中跟踪目标所在候选区域缩放到特定大小，利用并行方式计算傅里叶变换来提取特征，具体包括：
先对跟踪目标所在候选区域z提取多尺度特征x，包括FHOG特征以及颜色CN特征，将提取的特征进行PCA降维，然后通过傅里叶变换由时域转为频域，傅里叶转化公式如下：
其中为降维后的离散特征，N、M对应二维离散特征的行数和列数。
上述过程中对跟踪目标所在候选区域提取FHOG特征具体包括：
（1）灰度化，即将输入的RGB三通道图像转化为单通道图像；
（2）采用gamma校正法对输入图像进行颜色空间的标准化，校正公式为：
其中0<gamma<1，优选地gamma=1/2，通过gamma压缩处理，可以降低光照变化以及局部图像阴影的影响；
（3）计算图像梯度，包括每个像素点的梯度值和梯度方向，x方向和y方向的卷积核分别为：
得到水平方向梯度/>，垂直方向梯度/>，得到每个像素点的梯度和梯度方向/>分别为：
（4）构建18维hog特征向量，将图像分成若干个cell，每个cell的梯度方向按360度均分成18个方向块，每个方向块20度，计算每个cell的梯度方向直方图，则每个cell对应一个18维特征向量；
（5）通过归一化截断得到每个cell对应的36维特征向量；
将步骤（4）中每个cell的梯度方向分为9个方向块，其中0-20度或180-200度对应一个方向块，则对于这第/>个cell便对应9维特征向量，同时与其相邻的特征向量为：
定义，则36维特征向量/>为：
（6）利用PCA降维，得到36维特征向量的前13维特征向量；
（7）将前13维特征向量与步骤（4）得到的18维特征向量相加最终得到31维的特征向量。
对于150*150大小的候选区域，经过FHOG特征提取(cell的size为6*6)之后，特征大小为25*25*31。
优选地，上述过程中傅里叶变换的处理方式如下：
傅里叶变换方便处理长度N=2^M的情况，如果长度不是2的整数次幂的情况，则通过补零即可；将x(n)分为奇偶两个序列，有，进一步把一个N 点的FFT拆成两个N/2的DFT，同理逐渐拆下去，将2^m的DFT拆成m-1个2点的FFT，最后将其拆成多个8点的FFT，如图2所示。
于是本发明考虑将特征区域宽高修改成8的倍数，故设置候选区域原大小为96*96，同时cell大小设置为4*4，则最终特征提取之后即可变为24*24，成为了8的倍数，以此实现在FPGA上并行计算。
S3、针对特征制作label标签，修改高斯分布为多个极值；
优选地，修改高斯分布为具有4峰值的二维高斯分布，具体生成方式如下：
（1）先对25*25的区域生成具有单峰值的服从二维高斯分布的label；
（2）相邻行和相邻列求和取均值，将其调整为24*24大小的具有多峰值且服从二维高斯分布的label；
（3）同时利用傅里叶变换转换到频域，同样可以进行并行加速。
S4、通过提取的特征和label标签训练ECO的相关滤波器；具体包括：
将傅里叶转化后特征插值到连续域，公式如下：
其中Xd是第d层特征，Nd为每层特征的行数，bd为事先计算的权重，T为连续区间的右侧，随后将各个特征图和相关滤波器进行卷积操作，公式如下：
其中，fd对应的是第d层特征通道对应相关滤波器，为第d层特征通道的连续域特征图，/>为所有特征通道，/>为样本x的得分置信度；
求解相关滤波器则通过最小化损失函数来实现，公式如下：
其中yj为label，即由当前训练样本对应生成且服从高斯向分布，αj为训练样本xj对应的权重，w为正则化因子。
S5、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
S6、将得到的目标作为样本，使用样本融合更新策略，更新ECO算法的样本集；样本融合更新策略具体为：
设定样本集中最大样本数量，则若：
（1）样本集未满，将新样本放到空余处；
（2）样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
（3）样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
（4）样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
S7、利用更新的样本集采用步骤S2的方法提取特征，同时制作label标签训练ECO，更新相关滤波器；
S8、循环执行步骤S5~S7，直至当前视频或图像序列处理完。
基于同一发明构思，本发明实施例还提供一种对ECO特征提取性能进行优化的目标跟踪装置，由于该装置解决技术问题的原理与上述方法实施例相似，故该装置的实施可以参照上述方法的实施，重复之处不再赘述。
如图3所示，为本发明实施例提供的一种对ECO特征提取性能进行优化的目标跟踪装置，该装置包括：
跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；
特征提取模块，用于将初始帧中跟踪目标所在候选区域缩放到特定大小，利用并行方式计算傅里叶变换来提取特征；
label标签制作模块，用于针对特征制作label标签，修改高斯分布为多个极值；
滤波器训练模块，用于通过提取的特征和label标签训练ECO相关滤波器；
目标位置确定模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
样本集更新模块，用于将得到的目标作为样本，使用样本融合更新策略，更新ECO算法的样本集；
滤波器更新模块，用于利用更新的样本集采用步骤S2的方法提取特征，同时制作label标签训练ECO，更新相关滤波器；
循环控制模块，用于控制目标位置确定模块、样本集更新模块、滤波器更新模块循环执行，直至当前视频或图像序列处理完。
在一个实施例中，所述特征提取模块具体用于：
先对跟踪目标所在候选区域z提取多尺度特征x，包括FHOG特征以及颜色CN特征，将提取的特征进行PCA降维，然后通过傅里叶变换由时域转为频域，傅里叶转化公式如下：
其中为降维后的离散特征，N、M对应二维离散特征的行数和列数。
在一个实施例中，所述特征提取模块对跟踪目标所在候选区域提取FHOG特征具体包括：
（1）将输入的RGB三通道图像转化为单通道图像；
（2）采用gamma校正法对输入图像进行颜色空间的标准化，校正公式为：
其中0<gamma<1；
（3）计算图像梯度，包括每个像素点的梯度值和梯度方向，x方向和y方向的卷积核分别为：
得到水平方向梯度/>，垂直方向梯度/>，得到每个像素点的梯度和梯度方向/>分别为：
（4）构建18维hog特征向量，将图像分成若干个cell，每个cell的梯度方向按360度均分成18个方向块，每个方向块20度，计算每个cell的梯度方向直方图，则每个cell对应一个18维特征向量；
（5）通过归一化截断得到每个cell对应的36维特征向量；
将步骤（4）中每个cell的梯度方向分为9个方向块，其中0-20度或180-200度对应一个方向块，则对于这第/>个cell便对应9维特征向量，同时与其相邻的特征向量为：
定义，则36维特征向量/>为：
（6）利用PCA降维，得到36维特征向量的前13维特征向量；
（7）将前13维特征向量与步骤（4）得到的18维特征向量相加最终得到31维的特征向量。
在一个实施例中，所述特征提取模块进行傅里叶变换的处理方式如下：
傅里叶变换方便处理长度N=2^M的情况，如果长度不是2的整数次幂的情况，则通过补零即可；将x(n)分为奇偶两个序列，有，进一步把一个N 点的FFT拆成两个N/2的DFT，同理逐渐拆下去，将2^m的DFT拆成m-1个2点的FFT，最后将其拆成多个8点的FFT。
在一个实施例中，所述label标签制作模块修改高斯分布为具有4峰值的二维高斯分布，具体生成方式如下：
（1）先对25*25的区域生成具有单峰值的服从二维高斯分布的label；
（2）相邻行和相邻列求和取均值，将其调整为24*24大小的具有多峰值且服从二维高斯分布的label；
（3）同时利用傅里叶变换转换到频域。
在一个实施例中，所述滤波器训练模块具体用于：
将傅里叶转化后特征插值到连续域，公式如下：
其中Xd是第d层特征，Nd为每层特征的行数，bd为事先计算的权重，T为连续区间的右侧，随后将各个特征图和相关滤波器进行卷积操作，公式如下：
其中，fd对应的是第d层特征通道对应相关滤波器，为第d层特征通道的连续域特征图，/>为所有特征通道，/>为样本x的得分置信度；
求解相关滤波器则通过最小化损失函数来实现，公式如下：
其中yj为label，即由当前训练样本对应生成且服从高斯向分布，αj为训练样本xj对应的权重，w为正则化因子。
在一个实施例中，所述样本集更新模块使用的样本融合更新策略具体为：
设定样本集中最大样本数量，则若：
（1）样本集未满，将新样本放到空余处；
（2）样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
（3）样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
（4）样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
综上所述，本发明实施例提供的这种对ECO特征提取性能进行优化的目标跟踪方法及装置，主要对ECO目标跟踪算法的特征提取性能进行优化，以此提升算法的整体运行速度，考虑到ECO目标跟踪算法需要进行大量的傅里叶变换计算，本发明针对傅里叶变换原理，修改特征提取方式，更换提取的cell尺寸和候选卷积区域的大小，实现在嵌入式平台上能够并行加速计算；同时考虑到修改尺寸之后对目标寻优会带来影响，本发明将单峰值二维高斯分布处理成多峰值，提升寻优效果。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种对ECO特征提取性能进行优化的目标跟踪方法，其特征在于，包括以下步骤：
S1、读取视频或图像序列的第一帧图像，确定跟踪目标；
S2、将初始帧中跟踪目标所在候选区域缩放到特定大小，利用并行方式计算傅里叶变换来提取特征；其中，步骤S2包括：将特征区域宽高修改成8的倍数，设置候选区域原大小为96*96，同时cell大小设置为4*4，则最终特征提取之后即可变为24*24，成为了8的倍数，以此实现在FPGA上并行计算；
S3、针对特征制作label标签，修改高斯分布为具有4峰值的二维高斯分布；
S4、通过提取的特征和label标签训练ECO的相关滤波器；
S5、读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
S6、将得到的目标作为样本，使用样本融合更新策略，更新ECO算法的样本集；
S7、利用更新的样本集采用步骤S2的方法提取特征，同时制作label标签训练ECO，更新相关滤波器；
S8、循环执行步骤S5～S7，直至当前视频或图像序列处理完。
2.如权利要求1所述的对ECO特征提取性能进行优化的目标跟踪方法，其特征在于，所述步骤S2具体包括：
先对跟踪目标所在候选区域z提取多尺度特征x，包括FHOG特征以及颜色CN特征，将提取的特征进行PCA降维，然后通过傅里叶变换由时域转为频域，傅里叶转化公式如下：
其中X(n,m)为降维后的离散特征，N、M对应二维离散特征的行数和列数。
3.如权利要求2所述的对ECO特征提取性能进行优化的目标跟踪方法，其特征在于，所述步骤S2中对跟踪目标所在候选区域提取FHOG特征具体包括：
(1)将输入的RGB三通道图像转化为单通道图像；
(2)采用gamma校正法对输入图像进行颜色空间的标准化，校正公式为：
I(x,y)＝I(x,y)gamma
其中0<gamma<1；
(3)计算图像梯度，包括每个像素点的梯度值和梯度方向，x方向和y方向的卷积核分别为：
Gx＝[-1,0,1],Gy＝[1,0,-1]T
得到I(x,y)水平方向梯度Gx(x,y)，垂直方向梯度Gy(x,y)，得到每个像素点的梯度G(x,y)和梯度方向α(x,y)分别为：
(4)构建18维hog特征向量，将图像分成若干个cell，每个cell的梯度方向按360度均分成18个方向块，每个方向块20度，计算每个cell的梯度方向直方图，则每个cell对应一个18维特征向量；
(5)通过归一化截断得到每个cell对应的36维特征向量；
将步骤(4)中每个cell的梯度方向分为9个方向块，其中0-20度或180-200度对应一个方向块，则对于C(i,j)这第(i,j)个cell便对应9维特征向量，同时与其相邻的特征向量为：
定义Nβ,γ＝(||C(i,j)||2+||C(i+β,j)||2+||C(i+β,j+γ)||2+||C(i,j+γ)||2)1/2，则36维特征向量H(i,j)为：
(6)利用PCA降维，得到36维特征向量的前13维特征向量；
(7)将前13维特征向量与步骤(4)得到的18维特征向量相加最终得到31维的特征向量。
4.如权利要求2所述的对ECO特征提取性能进行优化的目标跟踪方法，其特征在于，所述步骤S2中傅里叶变换的处理方式如下：
傅里叶变换方便处理长度N＝2^M的情况，如果长度不是2的整数次幂的情况，则通过补零即可；将x(n)分为奇偶两个序列，有x(n)＝x1(n)+x2(n)，进一步把一个N点的FFT拆成两个N/2的DFT，同理逐渐拆下去，将2^m的DFT拆成m-1个2点的FFT，最后将其拆成多个8点的FFT。
5.如权利要求1所述的对ECO特征提取性能进行优化的目标跟踪方法，其特征在于，所述步骤S3中修改高斯分布为具有4峰值的二维高斯分布，具体生成方式如下：
(1)先对25*25的区域生成具有单峰值的服从二维高斯分布的label；
(2)相邻行和相邻列求和取均值，将其调整为24*24大小的具有多峰值且服从二维高斯分布的label；
(3)同时利用傅里叶变换转换到频域。
6.如权利要求1所述的对ECO特征提取性能进行优化的目标跟踪方法，其特征在于，所述步骤S4具体包括：
将傅里叶转化后特征插值到连续域，公式如下：
其中Xd是第d层特征，Nd为每层特征的行数，bd为事先计算的权重，T为连续区间的右侧，随后将各个特征图和相关滤波器进行卷积操作，公式如下：
其中，fd对应的是第d层特征通道对应相关滤波器，Jd{xd}为第d层特征通道的连续域特征图，χ为所有特征通道，Sf{x}为样本x的得分置信度；
求解相关滤波器则通过最小化损失函数来实现，公式如下：
其中yj为label，即由当前训练样本对应生成且服从高斯向分布，αj为训练样本xj对应的权重，w为正则化因子。
7.如权利要求1所述的对ECO特征提取性能进行优化的目标跟踪方法，其特征在于，所述步骤S6中使用的样本融合更新策略具体为：
设定样本集中最大样本数量，则若：
(1)样本集未满，将新样本放到空余处；
(2)样本集已满，且样本集中有低于阈值权重的样本，此时用新样本替换旧样本；
(3)样本集已满，且新样本与所有现有样本的距离中的最小值小于现有样本距离间的最小值，此时将新样本与最近样本融合；
(4)样本集已满，且新样本与所有现有样本的距离中的最小值大于现有样本距离间的最小值，此时将两个最近的现有样本融合，并将新样本放在融合后样本集空缺处。
8.一种对ECO特征提取性能进行优化的目标跟踪装置，其特征在于，包括：
跟踪目标确定模块，用于读取视频或图像序列的第一帧图像，确定跟踪目标；
特征提取模块，用于将初始帧中跟踪目标所在候选区域缩放到特定大小，利用并行方式计算傅里叶变换来提取特征；其中，特征提取模块，具体用于：将特征区域宽高修改成8的倍数，设置候选区域原大小为96*96，同时cell大小设置为4*4，则最终特征提取之后即可变为24*24，成为了8的倍数，以此实现在FPGA上并行计算；
label标签制作模块，用于针对特征制作label标签，修改高斯分布为具有4峰值的二维高斯分布；
滤波器训练模块，用于通过提取的特征和label标签训练ECO相关滤波器；
目标位置确定模块，用于读取下一帧图像，利用训练好的相关滤波器卷积图像候选区域对应的特征，获取图像候选区域的置信度图，置信度图概率最大位置对应当前帧图像的目标位置及其置信度概率；
样本集更新模块，用于将得到的目标作为样本，使用样本融合更新策略，更新ECO算法的样本集；
滤波器更新模块，用于利用更新的样本集提取特征，同时制作label标签训练ECO，更新相关滤波器；
循环控制模块，用于控制目标位置确定模块、样本集更新模块、滤波器更新模块循环执行，直至当前视频或图像序列处理完。
9.如权利要求8所述对ECO特征提取性能进行优化的目标跟踪装置，其特征在于，所述特征提取模块具体用于：
先对跟踪目标所在候选区域z提取多尺度特征x，包括FHOG特征以及颜色CN特征，将提取的特征进行PCA降维，然后通过傅里叶变换由时域转为频域，傅里叶转化公式如下：
其中X(n,m)为降维后的离散特征，N、M对应二维离散特征的行数和列数。
10.如权利要求9所述对ECO特征提取性能进行优化的目标跟踪装置，其特征在于，所述特征提取模块对跟踪目标所在候选区域提取FHOG特征具体包括：
(1)将输入的RGB三通道图像转化为单通道图像；
(2)采用gamma校正法对输入图像进行颜色空间的标准化，校正公式为：
I(x,y)＝I(x,y)gamma
其中0<gamma<1；
(3)计算图像梯度，包括每个像素点的梯度值和梯度方向，x方向和y方向的卷积核分别为：
Gx＝[-1,0,1],Gy＝[1,0,-1]T
得到I(x,y)水平方向梯度Gx(x,y)，垂直方向梯度Gy(x,y)，得到每个像素点的梯度G(x,y)和梯度方向α(x,y)分别为：
(4)构建18维hog特征向量，将图像分成若干个cell，每个cell的梯度方向按360度均分成18个方向块，每个方向块20度，计算每个cell的梯度方向直方图，则每个cell对应一个18维特征向量；
(5)通过归一化截断得到每个cell对应的36维特征向量；
将步骤(4)中每个cell的梯度方向分为9个方向块，其中0-20度或180-200度对应一个方向块，则对于C(i,j)这第(i,j)个cell便对应9维特征向量，同时与其相邻的特征向量为：
定义Nβ,γ＝(||C(i,j)||2+||C(i+β,j)||2+||C(i+β,j+γ)||2+||C(i,j+γ)||2)1/2，则36维特征向量H(i,j)为：
(6)利用PCA降维，得到36维特征向量的前13维特征向量；
(7)将前13维特征向量与步骤(4)得到的18维特征向量相加最终得到31维的特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410577.5A CN111598926B (zh) | 2020-05-15 | 2020-05-15 | 对eco特征提取性能进行优化的目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410577.5A CN111598926B (zh) | 2020-05-15 | 2020-05-15 | 对eco特征提取性能进行优化的目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598926A CN111598926A (zh) | 2020-08-28 |
| CN111598926B true CN111598926B (zh) | 2023-10-13 |
Family
ID=72191045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010410577.5A Active CN111598926B (zh) | 2020-05-15 | 2020-05-15 | 对eco特征提取性能进行优化的目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598926B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107748873A (zh) * | 2017-10-31 | 2018-03-02 | 河北工业大学 | 一种融合背景信息的多峰目标跟踪方法 |
| CN105844665B (zh) * | 2016-03-21 | 2018-11-27 | 清华大学 | 视频对象追踪方法及装置 |
-
2020
- 2020-05-15 CN CN202010410577.5A patent/CN111598926B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844665B (zh) * | 2016-03-21 | 2018-11-27 | 清华大学 | 视频对象追踪方法及装置 |
| CN107748873A (zh) * | 2017-10-31 | 2018-03-02 | 河北工业大学 | 一种融合背景信息的多峰目标跟踪方法 |
Non-Patent Citations (6)
| Title |
|---|
| Martin Danelljan等.Beyond correlation filters: Learning continuous convolution operators for visual tracking.Computer vision - ECCV 2016.2016,第472-488页. * |
| Martin Danelljan等.ECO Efficient Convolution Operators for Tracking.2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).2017,第6931-6939页. * |
| Pedro F. Felzenszwalb等.Object Detection with Discriminatively Trained Part-Based Models.IEEE Transactions on Pattern Analysis and Machine Intelligence.2009,第32卷(第32期),第1627-1645页. * |
| 康继昌等.现代并行计算机原理.1997,第124-126页. * |
| 柳杨.数字图像物体识别理论详解与实战.2018,第30-33页. * |
| 郭洪伟.基于ECO的视频目标跟踪.中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑.2020,(第02期),第I138-1155页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598926A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111192292B (zh) | 基于注意力机制与孪生网络的目标跟踪方法及相关设备 | |
| Lopez-Antequera et al. | Appearance-invariant place recognition by discriminatively training a convolutional neural network | |
| US20210183097A1 (en) | Spare Part Identification Using a Locally Learned 3D Landmark Database | |
| CN109446889B (zh) | 基于孪生匹配网络的物体追踪方法及装置 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| CN109344727B (zh) | 身份证文本信息检测方法及装置、可读存储介质和终端 | |
| CN111598925B (zh) | 基于eco算法和区域生长分割的视觉目标跟踪方法及装置 | |
| CN111696110B (zh) | 场景分割方法及系统 | |
| CN110120065B (zh) | 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统 | |
| CN112836639A (zh) | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 | |
| CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN103208008A (zh) | 基于机器视觉的交通视频监控目标检测快速适应方法 | |
| CN109299305A (zh) | 一种基于多特征融合的空间图像检索系统及检索方法 | |
| CN112766170B (zh) | 基于簇类无人机图像的自适应分割检测方法及装置 | |
| CN109492537B (zh) | 一种物体识别方法及装置 | |
| CN113822264A (zh) | 一种文本识别方法、装置、计算机设备和存储介质 | |
| CN110517285B (zh) | 基于运动估计me-cnn网络的大场景极小目标跟踪 | |
| CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
| CN112101113B (zh) | 一种轻量化的无人机图像小目标检测方法 | |
| CN110580462B (zh) | 一种基于非局部网络的自然场景文本检测方法和系统 | |
| CN111598926B (zh) | 对eco特征提取性能进行优化的目标跟踪方法及装置 | |
| CN116824333A (zh) | 一种基于深度学习模型的鼻咽癌检测系统 | |
| CN115661694B (zh) | 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备 | |
| CN105184809A (zh) | 运动对象检测方法和运动对象检测装置 | |
| CN106650629A (zh) | 一种基于核稀疏表示的快速遥感目标检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 006, 20th Floor, Business Project (China Pharmaceutical Technology Trading Market), No. 1 Yaojian Road, North of Gaoxin Avenue and West of Heying Road, Wuhan Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430073 Patentee after: Wuhan Zhuomu Technology Co.,Ltd. Country or region after: China Address before: A2-32-05, 2nd floor, Guannan science and Technology Industrial Park, Guandong street, Donghu New Technology Development Zone, Wuhan, Hubei Province Patentee before: WUHAN ZMVISION TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |