CN110097575B - 一种基于局部特征及尺度池的目标跟踪方法 - Google Patents

一种基于局部特征及尺度池的目标跟踪方法 Download PDF

Info

Publication number
CN110097575B
CN110097575B CN201910348414.6A CN201910348414A CN110097575B CN 110097575 B CN110097575 B CN 110097575B CN 201910348414 A CN201910348414 A CN 201910348414A CN 110097575 B CN110097575 B CN 110097575B
Authority
CN
China
Prior art keywords
feature
target
response
image
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910348414.6A
Other languages
English (en)
Other versions
CN110097575A (zh
Inventor
张文超
彭真明
李美惠
龙鸿峰
彭凌冰
秦飞义
张鹏飞
曹兆洋
孔轩
张兰丹
程晓彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910348414.6A priority Critical patent/CN110097575B/zh
Publication of CN110097575A publication Critical patent/CN110097575A/zh
Application granted granted Critical
Publication of CN110097575B publication Critical patent/CN110097575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部特征及尺度池的目标跟踪方法，属于灰度图像目标跟踪技术领域，解决光照变化、尺度变化与背景干扰等复杂环境下目标跟踪算法精确度差的问题。本发明第一帧图像根据初始信息获取目标，基于目标的两种特征训练分类器，得到目标模型及分类器回归系数再初始化，第二帧图像利用尺度池获得不同尺度的目标，并提取特征一和特征二；基于初始化后的目标模型及分类器回归系数得到两种特征的多层核相关滤波响应图，再线性插值到一致大小后加权融合得到多层核相关滤波响应图，进而得到目标的预测位置及预测尺度，即完成一次目标跟踪，若跟踪未结束，实现第二帧图像到第三帧图像的跟踪，直到循环至最后一帧图像。本发明用于目标跟踪。

Description

一种基于局部特征及尺度池的目标跟踪方法
技术领域
一种基于局部特征及尺度池的目标跟踪方法，用于目标跟踪，属于灰度图像目标跟踪技 术领域。
背景技术
目标跟踪在计算机视觉领域的研究中有着非常重要的意义和价值，在很多领域具有广泛 应用，如智能视频监控、医疗、人机交互等民用领域，在军事上，对敌方运动目标进行快速 准确的搜索和跟踪等。目标跟踪主要分为生成式模型和判别式模型。生成式模型通过建立目 标数学模型，完成候选目标和目标模型之间的匹配，把最为相似的候选区域作为预测目标。 判别式模型由属于目标的正样本和属于背景的负样本所组成的训练集来训练分类算法，根据 得到的分类器计算目标的预测位置。
实际跟踪环境复杂多样，如光照变化、尺度变化与背景干扰等，从而造成目标跟踪算法 鲁棒性低，精确度差的问题。现有的一些基于核相关滤波的改进算法在一定程度上解决了目 标跟踪过程中特征不完善以及目标尺度变化的问题，但是此类方法在目标受到遮挡时，此时 目标外观特征与目标模型相差较大，无法准确完成候选区域与目标的匹配，因此会造成目标 丢失或者跟错目标，这类方法中分类器因为学习率固定会学习到错误的目标模型，进而造成 后续帧跟踪不准确，跟踪性能下降。
此外现有目标跟踪方法，只使用了原始灰度特征，在背景干扰情况下可能由于灰度特征 相似造成目标位置预测不准确，进而导致目标跟踪失败，跟踪稳定性较差。
发明内容
针对上述研究的问题，本发明的目的在于提供一种基于局部特征及尺度池的目标跟踪方 法，解决光照变化、尺度变化与背景干扰等复杂环境下目标跟踪算法鲁棒性低，精确度差的 问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于局部特征及尺度池的目标跟踪方法，包括如下步骤：
S1：读取视频帧序列，获取初始帧图像，即第一帧图像；
S2：根据初始帧图像的目标尺度信息，计算尺度大小，并根据尺度大小和给定的细胞单 元尺寸分别确定两种特征对应分类器的回归标签及二维余弦窗；
S3：获取当前帧图像作为当前帧，根据尺度大小和给定的目标位置选定目标区域图像， 并对目标区域图像进行直方图均衡化；
S4：基于两种特征的二维余弦窗，从直方图均衡化后的目标区域图像中提取特征一和特 征二；
S5：基于回归标签用特征一或特征二训练分类器，得到特征一和特征二对应的目标模型 及分类器回归系数，若步骤S3中的当前帧图像为第一帧图像，初始化特征一和特征二对应 的目标模型和分类器回归系数，若为最后一帧图像，不作处理，否则更新特征一和特征二对 应的目标模型和分类器回归系数；
S6：读取下一帧图像作为当前帧，步骤S3中的当前帧图像作为上一帧图像，在当前帧 图像中，根据上一帧目标位置及给定的多个尺度利用尺度池方法分别获取多个不同尺度的搜 索区域图像，并对多个搜索区域图像进行直方图均衡化，得到直方图均衡化的图像；
S7：分别对直方图均衡化图像进行计算，再根据计算得到的结果，基于特征一和特征二 对应的目标模型及分类器回归系数得到两种特征对应的多层核相关滤波响应图；
S8：若步骤S3中的当前帧为第一帧图像，初始化两种特征对应的响应融合权重，若为 最后一帧图像，不作处理，否则，基于上一帧图像计算得到的响应权重，更新两种特征对应 的响应融合权重，将两种特征对应的多层核相关滤波响应图线性插值到一致大小后，基于特 征一和特征二对应的响应融合权重加权融合得到多层响应融合图，再通过多层响应融合图得 到目标的预测位置以及预测尺度；
S9：判断视频帧序列是否已结束，若未结束，基于多层响应融合图计算峰值旁瓣比，判 断步骤6中的当前帧图像的跟踪状态进而计算响应权重以及学习率，计算后转到步骤S3进 行下一帧图像处理，否则，结束目标跟踪。
进一步，所述步骤S2的具体步骤如下：
S2.1：根据给定的初始帧图像的目标框大小target_sz，确定尺度大小为window_sz，其 中，window_sz为target_sz的1+padding倍，padding为调整尺度大小的参数；
S2.2：基于给定的细胞单元尺寸cell_sz1和细胞单元尺寸cell_sz2，再分别结合尺度大小 window_sz，确定两种特征的回归标签yf1、yf2以及二维余弦窗cos_window1、cos_window2：
具体步骤如下：
S2.2.1：定义空间带宽a，根据目标框大小target_sz的宽w和高h，计算高斯回归标签 的带宽，公式如下：
Figure BDA0002043083980000021
式中，针对两种特征，cell_sz取值为cell_sz1或cell_sz2，cell_sz取值为cell_sz1或 cell_sz2分别计算得到σ1、σ2；
S2.2.2：根据高斯回归标签函数，计算回归标签yf1和yf2，计算公式如下：
Figure BDA0002043083980000031
其中，f1oor(x)为向下取整函数，m、n为回归标签的宽和高，计算得到y′后，再进行循 环移位使回归标签峰值移到中心得到y，然后进行傅里叶变换得到回归标签
Figure BDA0002043083980000032
式中，针对两种特征，σ取值为σ1或σ2，σ取值为σ1或σ2分别计算得到回归标签 yf1和yf2；
S2.23：根据回归标签
Figure BDA0002043083980000033
尺寸利用MATLAB中相应hann函数计算余弦窗cos_window；
针对两种特征，
Figure BDA0002043083980000034
取值为yf1或yf2，
Figure BDA0002043083980000035
取值为vf1或yf2分别计算得到二维余弦窗cos_window1、cos_window2。
进一步，所述S3的具体步骤如下：
S3.1：读入当前帧图像，根据目标框大小target_sz和给定的当前帧图像的目标位置pos 得到大小为tmp_sz的目标区域，在当前帧图像上目标位置处截取大小为tmp_sz的图像块， 再线性插值到尺度大小window_sz大小最终得到目标区域图像，即图像块A，其中，tmp_sz 为target_sz的1+padding倍；
S3.2：对图像块A进行直方图均衡化，得到新图像块A′，即直方图均衡化后的目标区 域图像。
进一步，所述S4的具体步骤如下：
基于二维余弦窗cos_window1，提取图像块A′的31维FHOG特征作为特征一；具体步骤为：
基于给定的细胞单元尺寸cell_sz1，对图像块A′利用MATLAB相应piotr_toolbox工具 包提取FHOG特征，对其加二维余弦窗cos_window1，得到31维的FHOG特征作为特征一，FHOG指融合梯度直方图；
对图像块A′提取1维灰度特征g1、1维去均值灰度特征g2和1维局部二值模式LBP特征g3，线性融合得到共3维的融合特征g，再对融合特征g加二维余弦窗cos_window2，得 到3维融合特征作为特征二，然后进行快速傅里叶变换，得到处理后图像块A′在频域的特征xf2；具体步骤为：
对图像块A′提取1维灰度特征g1，即将图像块A′灰度归一化到区间[-0.5 0.5]；
对图像块A′提取1维去均值灰度特征g2，即将图像块A′归一化到区间[0 1]后再减去图 像块A′的平均灰度值；
对图像块A′提取1维局部二值模式LBP特征g3，1维局部二值模式LBP特征g3是图像块A′的局部的纹理特征；
将1维灰度特征g1、1维去均值灰度特征g2和1维局部二值模式LBP特征g3进行线性融合得到一个3维融合特征g，即将3个1维特征在第三维方向上进行串联连接；
对3维融合特征g加二维余弦窗cos_window2，得到3维融合特征作为特征二。
进一步，所述S5的具体步骤如下：
S5.1：将特征一和特征二分别进行快速傅里叶变换，得到图像块A′在频域的特征xf1和 xf2，分别利用回归标签yf1和yf2初始化正则化最小二乘分类器，再分别用特征xf1和特征 xf2训练对应的初始化后的正则化最小二乘分类器，得到特征一和特征二对应的目标模型；
计算图像块A′在频域的特征xf1和xf2的公式为：
Figure RE-GDA0002069676140000041
式中，f表示对图像块A′提取的31维FHOG特征或3维融合特征，⊙表示矩阵点乘，F(x) 表示傅里叶变换，
Figure RE-GDA0002069676140000042
表示得到的特征xf1或xf2；
S5.2：根据高斯核相关函数，基于特征xf1和xf2，计算频域上的高斯自相关核矩阵kf1 和kf2；高斯核相关函数的公式为：
Figure RE-GDA0002069676140000043
其中，kxx′代表x和x′的核相关矩阵，x、x′分别代表计算核相关矩阵所使用的不同特征 符号，在实际计算过程中可以替换为不同特征，||x||2为特征x中各元素的模的平方和再除以 N，N为矩阵x前两维尺寸之积，
Figure BDA0002043083980000044
表示矩阵x在傅里叶域中的形式，
Figure BDA0002043083980000045
*表示
Figure BDA0002043083980000046
的复共轭；
利用频域的特征xf1和xf2，将高斯核相关函数的公式中的x、x′均替换为xf1或将x、x′ 均替换为xf2，分别计算频域上的高斯自相关核矩阵kf1和高斯自相关核矩阵kf2；
S5.3：根据高斯自相关核矩阵kf1和kf2，计算分类器回归系数，计算公式为：
Figure BDA0002043083980000047
其中，λ为正则化参数，针对两种特征，kxx′取值为kf1或kf2，分别得到
Figure BDA0002043083980000048
的取值为alphaf1或alphaf2；
针对两种特征，利用回归标签yf1和高斯自相关核矩阵kf1，回归标签yf2和高斯自相 关核矩阵kf2，以及及正则化参数λ，分别计算得到分类器回归系数alphaf1和alphaf2；
S5.4：若步骤S3中的当前帧图像为第一帧图像，转到步骤S5.5，若为最后一帧图像， 不作处理，否则转到步骤S5.7；
S5.5：目标跟踪第二帧图像时，初始化目标模型
Figure BDA0002043083980000051
即将特征xf1和xf2作为初始目标 模型，得到初始化后特征一和特征二对应的目标模型model_xf1和model_xf2，即
Figure BDA0002043083980000052
其中，t表示第二帧图像；
S5.6：目标跟踪第二帧图像时，初始化分类器的回归系数
Figure BDA0002043083980000053
即将分类器回归系数alphaf1和alphaf2分别作为初始分类器回归系数，得到初始化后特征一和特征二对应的回归 系数model_alphaf1和回归系数mode1_alphaf2，即
Figure BDA0002043083980000054
其中，t表示第二帧图像；
S5.7：目标跟踪第三帧图像或第三帧之后的图像时，通过线性插值更新两种特征对应的 目标模型
Figure BDA0002043083980000055
即
Figure BDA0002043083980000056
其中，η为学习率，
Figure BDA0002043083980000057
为下一帧图像的目标模型，
Figure BDA0002043083980000058
为当前帧图像的目标模型；针对特征一和特征二，
Figure BDA0002043083980000059
和
Figure BDA00020430839800000510
的取值分别为两个，最终得到更新后的
Figure BDA00020430839800000511
取值为model_xf1和model_xf2；
S5.8：目标跟踪第三帧图像或第三帧之后的图像时，通过线性插值更新两种特征对应的 回归系数
Figure BDA00020430839800000512
即
Figure BDA00020430839800000513
其中，
Figure BDA00020430839800000514
为下一帧图像的分类器回归系数，
Figure BDA00020430839800000515
为当前帧图像的分类器回归系数，针对 特征一和特征二，
Figure BDA00020430839800000516
知
Figure BDA00020430839800000517
的取值分别为两个，最终得到更新后的
Figure BDA00020430839800000518
取值为model_alphaf1 和model_alphaf2。
进一步，所述S6的具体步骤如下：
S6.1：读取下一帧图像作为当前帧，步骤S3中的当前帧图像作为上一帧图像，设置一 个尺度矩阵search_size，即设置多个不同的尺度；
S6.2：根据尺度矩阵search_size、上一帧图像目标位置pos以及上一帧图像目标框大小 target_sz，在上一帧图像目标位置处，在当前帧图像中循环调用尺度矩阵search_size中的不 同尺度参数，依次截取不同尺度大小的图像块，尺度大小分别为target_sz的1+padding倍再 乘以search_size矩阵中每一个数值，并对截取的所有图像块线性插值到尺度大小window_sz 大小，最终得到包含多个图像块的图像块集合B；
S6.3：对图像块集合B中的图像块分别进行直方图均衡化，得到新图像块集合B′。
进一步，所述S7的具体步骤如下：
S7.1：基于给定的细胞单元尺寸cell_sz1，对新图像块集合B′中的图像块分别利用 MATLAB相应piotr_toolbox工具包提取FHOG特征，对其加二维余弦窗cos_window1，得到31维的FHOG特征，然后进行快速傅里叶变换，得到新图像块集合B′在频域的特征集合zf1；
对新图像块集合B′中的图像块分别提取1维灰度特征h1、1维去均值灰度特征h2和1 维局部二值模式LBP特征h3，线性融合得到共3维的融合特征h，再对融合特征h加二维 余弦窗cos_window2，得到3维融合特征，然后进行快速傅里叶变换，得到新图像块集合B′ 在频域的特征集合zf2；
S7.2：根据高斯核相关函数，基于特征集合zf1和zf2内的各特征，计算频域上的高斯 互相关核矩阵，得到频域上的高斯互相关核矩阵集合kzf1和kzf2；其中，高斯核相关函数 的公式为：
Figure RE-GDA0002069676140000061
针对特征一，利用频域的特征xf1和特征集合zf1中的特征，根据高斯核相关函数的公 式，将x、x′分别替换为xf1、zf1中的特征，计算频域上的高斯互相关核矩阵集合kzf1；针 对特征二，利用频域的特征xf2和特征集合zf2中的特征，根据高斯核相关函数的公式，将 x、x′分别替换为xf2、zf2中的特征，计算频域上的高斯互相关核矩阵集合kzf2；
S7.3：根据岭回归响应得分函数、高斯互相关核矩阵集合kzf1和kzf2，计算两种特征对 应的多层核相关滤波响应图response1和response2，岭回归响应得分函数的公式为：
Figure RE-GDA0002069676140000062
其中，
Figure BDA0002043083980000063
取值为高斯互相关核矩阵集合kzf1或kzf2中的一高斯互相关核矩阵，
Figure BDA0002043083980000064
为分 类器回归系数model_alphaf1或model_alphaf2，
Figure BDA0002043083980000071
为针对一高斯互相关核矩阵得到的单层 回归响应值；
针对高斯互相关核矩阵集合kzf1或kzf2得到特征一和特征二对应的多层回归响应值 后，进行傅里叶反变换回到时域，保留实部，最终得到多层核相关滤波响应图response1和 response2。
进一步，所述S8的具体步骤如下：
S8.1：若步骤S3中的当前帧为第一帧图像，转到步骤S8.2，若为最后一帧图像，不作 处理，否则，转到步骤S8.3；
S8.2：目标跟踪第二帧图像时，初始化两种特征对应的响应融合权重后转到步骤S8.4， 初始化两种特征对应的响应融合权重为：
wt＝wd.
其中，t表示第二帧图像，wd为人为定义的初始帧图像的响应权重，针对特征xf1和xf2分别得到初始帧图像的响应融合权重model_weight1和model_weight2；
S8.3：目标跟踪第三帧图像或第三帧之后的图像时，通过线性插值更新两种特征对应的 响应融合权重后转到步骤S8.4，更新公式为：
wt＝(1-20η)wt-1+20ηwnow；
其中，wt为当前帧图像的响应融合权重，wnow为上一帧图像计算得到的响应权重，wt-1为上一帧图像的响应融合权重，针对特征一和特征二，wt和wt-1的取值分别为两个，最终得 到更新后的wt取值为model_weight1和model_weight2；
S8.4：将特征一对应的多层核相关滤波响应图responsel线性插值到与特征二对应的多 层核相关滤波响应图response2相同大小后得到多层核相关滤波响应图responsel_1，再基于 特征一和特征二对应的响应融合权重进行加权融合，得到多层核相关滤波响应融合图 response，公式如下：
Figure BDA0002043083980000072
其中，wlt为特征一对应的响应融合权重model_weight1，w2t为特征二对应的响应融合 权重model_weight2.
Figure BDA0002043083980000073
为多层核相关滤波响应图response1_1，
Figure BDA0002043083980000074
为多层核相关滤波 响应图response2；
S8.5：基于多层核相关滤波响应融合图response寻找响应得分最大值，响应得分最大值 所在层数storey对应的目标尺度即为步骤S6中的该帧图像的目标预测尺度，将其作为步骤 S6中的该帧图像的目标框大小target_sz；
S8.6：根据响应得分最大值所在层的响应融合图的位置，计算目标的平移位置，再基于 平移位置计算出步骤S6中的该帧图像中目标的预测位置，将其作为目标位置pos。
进一步，所述S9的具体步骤如下：
S9.1：判断视频帧序列是否已结束，若未结束，转到步骤S9.2，否则，结束目标跟踪；
S9.2：基于多层响应融合图计算峰值旁瓣比，判断步骤6中的当前帧图像的跟踪状态进 而计算响应权重以及学习率，计算后转到步骤S3进行下一帧图像处理，其中，下一帧图像 是分别基于步骤S3和步骤S6中的当前帧，分别向下移动一帧，以实现下一帧图像的跟踪。
进一步，所述S9.2的具体步骤如下：
S9.2.1：基于多层响应融合图，计算响应得分最大值所在层响应融合图response(storey) 的峰值旁瓣比psr，公式如下：
Figure BDA0002043083980000081
其中，p为响应融合图response(storey)的最大值，即峰值，μ为响应融合图response(storey)的旁瓣区域的均值，σ为响应融合图response(storey)的旁瓣区域的标准差；
S9.2.2：若峰值旁瓣比psr大于指定阈值U1，计算余弦相似度，公式为：
Figure RE-GDA0002069676140000084
其中，va为新图像块集合B′在频域的特征集合zf中对应响应得分最大值所在层的特征 zf(storey)，vb为目标模型model_xf；
针对两种特征，zf取值为zf1(storey)或zf2(storey)，model_xf取值为model_xf1或 model_xf2，分别计算zf1(storey)与model_xf1、zf2(storey)与model_xf2的余弦相似度cs1、 cs2，若cs1、cs2其一小于指定阈值U2，设置学习率η，当前帧图像的响应权重为：
wnow＝wt；
其中，wt为当前帧图像的响应融合权重，取值为model_weight1或mode1_weight2；
针对两种特征，分别得到当前帧图像的响应权重为w1now、w2now，即wnow为w1now或w2now；
S9.2.3：若峰值旁瓣比psr大于指定阈值U1，且cs1、cs2不满足二者其一小于指定阈值U2，学习率η＝m*(2-cs1-cs2)+n，其中m、n均为调整学习率而人为给定的参数，分别计算 多层核相关滤波响应融合图response1和response2的响应得分最大值所在层的核相关滤波响 应融合图response1(storey)和response2(storey)的峰值旁瓣比psr1，psr2，然后得到两种特征 的当前帧图像的响应权重w1now、w2now，公式如下：
Figure BDA0002043083980000091
Figure BDA0002043083980000092
S9.2.4：若峰值旁瓣比psr不大于指定阈值U1，学习率η设定为0，当前帧图像的响应 权重为：
wnow＝wt；
其中，wt为当前帧图像的响应融合权重，取值为model_weight1或model_weight2；
针对两种特征，分别得到当前帧图像的响应权重为w1now、w2now，即wnow为w1now或w2now。
本发明同现有技术相比，其有益效果表现在：
一、本发明中核相关滤波算法属于判别式模型，其相对传统跟踪算法在性能和运行速度 上占有很大优势，适合于实时跟踪，对于复杂跟踪场景，与单一特征跟踪算法相比，多特征 融合算法通过各种特征之间的信息互补，结合起来可以发挥出各自特征的优势，更好地表征 目标图像，从而维持对目标的准确跟踪。利用尺度池方法在小范围内实现尺度自适应跟踪， 提高跟踪的精度。
二、本发明采用FHOG特征，以及灰度特征、去均值灰度特征、LBP特征融合得到的新特征，丰富目标的特征图谱，结合高斯核相关滤波，通过在响应图谱层进行融合，避免利用单一特征求解核相关滤波响应出现偏差的情况，在光照变化、背景干扰等复杂跟踪条件下，很好的提高了跟踪精度以及稳定性；
三、本发明通过引入尺度池方法，能够在一定范围内适应跟踪过程中目标的尺度变化， 采用一种基于峰值旁瓣比判断当前帧跟踪状态置信度的目标丢失判据，进一步引导模型及学 习率的自适应更新，解决目标尺度变化、目标遮挡、姿态变化剧烈情况下的稳定跟踪问题， 提高算法鲁棒性。
附图说明
图1是本发明的方法流程示意图；
图2是本发明的实施例中视频序列的初始帧图像；
图3是本发明的实施例中视频序列跟踪过程中第2帧的第三层响应融合图。
图4是本发明的实施例中3帧视频序列原图及跟踪效果图。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
本发明基于KCF框架，第一帧图像根据初始信息获取目标，基于目标的两种特征训练 分类器，得到对应特征的目标模型及分类器回归系数再初始化，第二帧图像利用尺度池获得 不同尺度的目标，并提取31维FHOG特征作为特征一，另将1维灰度特征，1维去均值灰度特征，1维局部二值模式LBP特征融合为3维融合特征作为特征二；再基于特征一和特征二对应的初始化后的目标模型及分类器回归系数得到两种特征对应的多层核相关滤波响应 图，两种特征对应的多层核相关滤波响应图线性插值到一致大小后加权融合得到多层核相关 滤波响应图，进而得到目标的预测位置及预测尺度，完成第一帧图像到第二帧图像的目标跟 踪。若跟踪未结束，根据多层核相关滤波响应图计算峰值旁瓣比判断跟踪状态计算第二帧图 像的响应权重及学习率，得到第二帧图像的两种特征对应的目标模型及分类器回归系数，再 通过线性插值更新目标模型、分类器回归系数和响应融合权重，进行下一帧图像处理，实现 第二帧图像到第三帧图像的跟踪，直到循环至最后一帧图像。具体步骤如下：
一种基于局部特征及尺度池的目标跟踪方法，包括如下步骤：
S1：读取视频帧序列，获取初始帧图像，即第一帧图像；
S2：根据初始帧图像的目标尺度信息，计算尺度大小，并根据尺度大小和给定的细胞单 元尺寸分别确定两种特征对应分类器的回归标签及二维余弦窗；
具体步骤如下：
S2.1：根据给定的初始帧图像的目标框大小target_sz，确定尺度大小为window_sz，其 中，window_sz为target_sz的1+padding倍，padding为调整尺度大小的参数，将padding定 义为1.5；
S2.2：基于给定的细胞单元尺寸cell_sz1和细胞单元尺寸cell_sz2，将cell_sz1定义为 4，cell_sz2定义为1，再分别结合尺度大小window_sz，确定两种特征的回归标签yf1、yf2 以及二维余弦窗cos_window1、cos_window2；
具体步骤如下：
S2.2.1：定义空间带宽a，将a定义为0.1，根据目标框大小target_sz的宽w和高h，计 算高斯回归标签的带宽，公式如下：
Figure BDA0002043083980000111
式中，针对两种特征，cell_sz取值为cell_sz1或cell_sz2，cell_sz取值为cell_sz1或 cell_sz2分别计算得到σ1、σ2；
S2.2.2：根据高斯回归标签函数，计算回归标签yf1和yf2，计算公式如下：
Figure BDA0002043083980000112
其中，floor(x)为向下取整函数，m、n为回归标签的宽和高，计算得到y′后，再进行循 环移位使回归标签峰值移到中心得到y，然后进行傅里叶变换得到回归标签
Figure BDA0002043083980000113
式中，针对两种特征，σ取值为σ1或σ2，σ取值为σ1或σ2分别计算得到回归标签 yf1和yf2；
S2.2.3：根据回归标签
Figure BDA0002043083980000114
尺寸利用MATLAB中相应hann函数计算余弦窗cos_window；
针对两种特征，
Figure BDA0002043083980000115
取值为yf1或yf2，
Figure BDA0002043083980000116
取值为yfl或yf2分别计算得到二维余弦窗cos_window1、cos_window2。
S3：获取当前帧图像作为当前帧，根据尺度大小和给定的目标位置选定目标区域图像， 并对目标区域图像进行直方图均衡化；
具体步骤如下：
S3.1：读入当前帧图像，根据目标框大小target_sz和给定的当前帧图像的目标位置pos 得到大小为tmp_sz的目标区域，在当前帧图像上目标位置处截取大小为tmp_sz的图像块， 再线性插值到尺度大小window_sz大小最终得到目标区域图像，即图像块A，其中，tmp_sz 为target_sz的1+padding倍；
S3.2：对图像块A进行直方图均衡化，得到新图像块A′，即直方图均衡化后的目标区 域图像。
S4：基于两种特征的二维余弦窗，从直方图均衡化后的目标区域图像中提取特征一和特 征二；
具体步骤如下：
基于二维余弦窗cos_window1，提取图像块A′的31维FHOG特征作为特征一；具体步骤为：
基于给定的细胞单元尺寸cell_sz1，对图像块A′利用MATLAB相应piotr_toolbox工具 包提取FHOG特征，对其加二维余弦窗cos_window1，得到31维的FHOG特征作为特征一，FHOG指融合梯度直方图；
对图像块A′提取1维灰度特征g1、1维去均值灰度特征g2和1维局部二值模式LBP特征g3，线性融合得到共3维的融合特征g，再对融合特征g加二维余弦窗cos_window2，得 到3维融合特征作为特征二，然后进行快速傅里叶变换，得到处理后图像块A′在频域的特征xf2；具体步骤为：
对图像块A′提取1维灰度特征g1，即将图像块A′灰度归一化到区间[-0.5 0.5]；
对图像块A′提取1维去均值灰度特征g2，即将图像块A′归一化到区间[0 1]后再减去图 像块A′的平均灰度值；
对图像块A′提取1维局部二值模式LBP特征g3，1维局部二值模式LBP特征g3是图像块A′的局部的纹理特征；
将1维灰度特征g1、1维去均值灰度特征g2和1维局部二值模式LBP特征g3进行线性融合得到一个3维融合特征g，即将3个1维特征在第三维方向上进行串联连接；
对3维融合特征g加二维余弦窗cos_window2，得到3维融合特征作为特征二。
S5：基于回归标签用特征一或特征二训练分类器，得到特征一和特征二对应的目标模型 及分类器回归系数，若步骤S3中的当前帧图像为第一帧图像，初始化特征一和特征二对应 的目标模型和分类器回归系数，若为最后一帧图像，不作处理，否则更新特征一和特征二对 应的目标模型和分类器回归系数；
具体步骤如下：
S5.1：将特征一和特征二分别进行快速傅里叶变换，得到图像块A′在频域的特征xf1和 xf2，分别利用回归标签yf1和yf2初始化正则化最小二乘分类器，再分别用特征xf1和特征 xf2训练对应的初始化后的正则化最小二乘分类器，得到特征一和特征二对应的目标模型；
计算图像块A′在频域的特征xfl和xf2的公式为：
Figure RE-GDA0002069676140000121
式中，f表示对图像块A′提取的31维FHOG特征或3维融合特征，⊙表示矩阵点乘，F(x) 表示傅里叶变换，
Figure RE-GDA0002069676140000131
表示得到的特征xf1或xf2；
S5.2：根据高斯核相关函数，基于特征xfl和xf2，计算频域上的高斯自相关核矩阵kfl 和kf2；高斯核相关函数的公式为：
Figure RE-GDA0002069676140000132
其中，kxx′代表x和x′的核相关矩阵，x、x′分别代表计算核相关矩阵所使用的不同特征 符号，在实际计算过程中可以替换为不同特征，||x||2为特征x中各元素的模的平方和再除以 N，N为矩阵x前两维尺寸之积，
Figure BDA0002043083980000131
表示矩阵x在傅里叶域中的形式，
Figure BDA0002043083980000132
*表示
Figure BDA0002043083980000133
的复共轭；
利用频域的特征xf1和xf2，将高斯核相关函数的公式中的x、x′均替换为xf1或将x、x′ 均替换为xf2，分别计算频域上的高斯自相关核矩阵kf1和高斯自相关核矩阵kf2；
S5.3：根据高斯自相关核矩阵kf1和kf2，计算分类器回归系数，计算公式为：
Figure BDA0002043083980000134
其中，λ为正则化参数，将λ定义为0.0001，针对两种特征，kxx′取值为kf1或kf2，分别得到
Figure BDA0002043083980000135
的取值为alphaf1或alphaf2；
针对两种特征，利用回归标签yf1和高斯自相关核矩阵kf1，回归标签yf2和高斯自相 关核矩阵kf2，以及及正则化参数λ，分别计算得到分类器回归系数alphaf1和alphaf2；
S5.4：若步骤S3中的当前帧图像为第一帧图像，转到步骤S5.5，若为最后一帧图像， 不作处理，否则转到步骤S5.7；
S5.5：目标跟踪第二帧图像时，初始化目标模型
Figure BDA0002043083980000136
即将特征xf1和xf2作为初始目标 模型，得到初始化后特征一和特征二对应的目标模型model_xf1和model_xf2，即
Figure BDA0002043083980000137
其中，t表示第二帧图像；
S5.6：目标跟踪第二帧图像时，初始化分类器的回归系数
Figure BDA0002043083980000138
即将分类器回归系数alphaf1和alphaf2分别作为初始分类器回归系数，得到初始化后特征一和特征二对应的回归 系数model_alphaf1和回归系数model_alphaf2，即
Figure BDA0002043083980000139
其中，t表示第二帧图像；
S5.7：目标跟踪第三帧图像或第三帧之后的图像时，通过线性插值更新两种特征对应的 目标模型
Figure BDA00020430839800001310
即
Figure BDA00020430839800001311
其中，η为学习率，
Figure BDA00020430839800001312
为下一帧图像的目标模型，
Figure BDA00020430839800001313
为当前帧图像的目标模型；针对特征一和特征二，
Figure BDA0002043083980000141
和
Figure BDA0002043083980000142
的取值分别为两个，最终得到更新后的
Figure BDA0002043083980000143
取值为model_xf1和model_xf2；
S5.8：目标跟踪第三帧图像或第三帧之后的图像时，通过线性插值更新两种特征对应的 回归系数
Figure BDA0002043083980000144
即
Figure BDA0002043083980000145
其中，
Figure BDA0002043083980000146
为下一帧图像的分类器回归系数，
Figure BDA0002043083980000147
为当前帧图像的分类器回归系数，针对 特征一和特征二，
Figure BDA0002043083980000148
和
Figure BDA0002043083980000149
的取值分别为两个，最终得到更新后的
Figure BDA00020430839800001410
取值为model_alphaf1 和model_alphaf2。
S6：读取下一帧图像作为当前帧，步骤S3中的当前帧图像作为上一帧图像，在当前帧 图像中，根据上一帧目标位置及给定的多个尺度利用尺度池方法分别获取多个不同尺度的搜 索区域图像，并对多个搜索区域图像进行直方图均衡化，得到直方图均衡化的图像；
具体步骤如下：
S6.1：读取下一帧图像作为当前帧，步骤S3中的当前帧图像作为上一帧图像，设置一 个尺度矩阵search_size，将search_size定义为[1 0.98 0.99 1.01 1.02]，即设置多个不 同的尺度；
S6.2：根据尺度矩阵search_size、上一帧图像目标位置pos以及上一帧图像目标框大小 target_sz，在上一帧图像目标位置处，在当前帧图像中循环调用尺度矩阵search_size中的不 同尺度参数，依次截取不同尺度大小的图像块，尺度大小分别为target_sz的1+padding倍再 乘以search_size矩阵中每一个数值，并对截取的所有图像块线性插值到尺度大小window_sz 大小，最终得到包含多个图像块的图像块集合B；
S6.3：对图像块集合B中的图像块分别进行直方图均衡化，得到新图像块集合B′。
S7：分别对直方图均衡化图像进行计算，再根据计算得到的结果，基于特征一和特征二 对应的目标模型及分类器回归系数得到两种特征对应的多层核相关滤波响应图；
具体步骤如下：
S7.1：基于给定的细胞单元尺寸cell_sz1，对新图像块集合B′中的图像块分别利用 MATLAB相应piotr_toolbox工具包提取FHOG特征，对其加二维余弦窗cos_window1，得到31维的FHOG特征，然后进行快速傅里叶变换，得到新图像块集合B′在频域的特征集合zf1；
对新图像块集合B′中的图像块分别提取1维灰度特征h1、1维去均值灰度特征h2和1 维局部二值模式LBP特征h3，线性融合得到共3维的融合特征h，再对融合特征h加二维 余弦窗cos_window2，得到3维融合特征，然后进行快速傅里叶变换，得到新图像块集合B′ 在频域的特征集合zf2；
S7.2：根据高斯核相关函数，基于特征集合zf1和zf2内的各特征，计算频域上的高斯 互相关核矩阵，得到频域上的高斯互相关核矩阵集合kzf1和kzf2；其中，高斯核相关函数 的公式为：
Figure RE-GDA0002069676140000151
针对特征一，利用频域的特征xf1和特征集合zf1中的特征，根据高斯核相关函数的公 式，将x、x′分别替换为xf1、zf1中的特征，计算频域上的高斯互相关核矩阵集合kzf1；针 对特征二，利用频域的特征xf2和特征集合zf2中的特征，根据高斯核相关函数的公式，将 x、x′分别替换为xf2、zf2中的特征，计算频域上的高斯互相关核矩阵集合kzf2；
S7.3：根据岭回归响应得分函数、高斯互相关核矩阵集合kzf1和kzf2，计算两种特征对 应的多层核相关滤波响应图response1和response2，岭回归响应得分函数的公式为：
Figure RE-GDA0002069676140000152
其中，
Figure BDA0002043083980000153
取值为高斯互相关核矩阵集合kzf1或kzf2中的一高斯互相关核矩阵，
Figure BDA0002043083980000154
为分 类器回归系数model_alphaf1或model_alphaf2，
Figure BDA0002043083980000155
为针对一高斯互相关核矩阵得到的单层 回归响应值；
针对高斯互相关核矩阵集合kzf1或kzf2得到特征一和特征二对应的多层回归响应值 后，进行傅里叶反变换回到时域，保留实部，最终得到多层核相关滤波响应图response1和 response2。
S8：若步骤S3中的当前帧为第一帧图像，初始化两种特征对应的响应融合权重，若为 最后一帧图像，不作处理，否则，基于上一帧图像计算得到的响应权重，更新两种特征对应 的响应融合权重，将两种特征对应的多层核相关滤波响应图线性插值到一致大小后，基于特 征一和特征二对应的响应融合权重加权融合得到多层响应融合图，再通过多层响应融合图得 到目标的预测位置以及预测尺度；
具体步骤如下：
S8.1：若步骤S3中的当前帧为第一帧图像，转到步骤S8.2，若为最后一帧图像，不作 处理，否则，转到步骤S8.3；
S8.2：目标跟踪第二帧图像时，初始化两种特征对应的响应融合权重后转到步骤S8.4， 初始化两种特征对应的响应融合权重为：
wt＝wd；
其中，t表示第二帧图像，wd为人为定义的初始帧图像的响应权重，针对特征xfl和xf2分别得到初始帧图像的响应融合权重model_weight1和model_weight2；
S8.3：目标跟踪第三帧图像或第三帧之后的图像时，通过线性插值更新两种特征对应的 响应融合权重后转到步骤S8.4，更新公式为：
wt＝(1-20η)wt-l+20ηwnow；
其中，wt为当前帧图像的响应融合权重，wnow为上一帧图像计算得到的响应权重，wt-1为上一帧图像的响应融合权重，针对特征一和特征二，wt和wt-1的取值分别为两个，最终得 到更新后的wt取值为model_weight1和model_weight2；
S8.4：将特征一对应的多层核相关滤波响应图responsel线性插值到与特征二对应的多 层核相关滤波响应图response2相同大小后得到多层核相关滤波响应图responsel_1，再基于 特征一和特征二对应的响应融合权重进行加权融合，得到多层核相关滤波响应融合图 response，公式如下：
Figure BDA0002043083980000161
其中，w1t为特征一对应的响应融合权重model_weight1，w2t为特征二对应的响应融合 权重model_weight2，
Figure BDA0002043083980000162
为多层核相关滤波响应图responsel_1，
Figure BDA0002043083980000163
为多层核相关滤波 响应图response2；
S8.5：基于多层核相关滤波响应融合图response寻找响应得分最大值，响应得分最大值 所在层数storey对应的目标尺度即为步骤S6中的该帧图像的目标预测尺度，将其作为步骤 S6中的该帧图像的目标框大小target_sz；
S8.6：根据响应得分最大值所在层的响应融合图的位置，计算目标的平移位置，再基于 平移位置计算出步骤S6中的该帧图像中目标的预测位置，将其作为目标位置pos。
S9：判断视频帧序列是否已结束，若未结束，基于多层响应融合图计算峰值旁瓣比，判 断步骤6中的当前帧图像的跟踪状态进而计算响应权重以及学习率，计算后转到步骤S3进 行下一帧图像处理，否则，结束目标跟踪。
具体步骤如下：
S9.1：判断视频帧序列是否已结束，若未结束，转到步骤S9.2，否则，结束目标跟踪；
S9.2：基于多层响应融合图计算峰值旁瓣比，判断步骤6中的当前帧图像的跟踪状态进 而计算响应权重以及学习率，计算后转到步骤S3进行下一帧图像处理，其中，下一帧图像 是分别基于步骤S3和步骤S6中的当前帧，分别向下移动一帧，以实现下一帧图像的跟踪。
进一步，所述S9.2的具体步骤如下：
S9.2.1：基于多层响应融合图，计算响应得分最大值所在层响应融合图response(storey) 的峰值旁瓣比psr，公式如下：
Figure BDA0002043083980000171
其中，p为响应融合图response(storey)的最大值，即峰值，μ为响应融合图response(storey)的旁瓣区域的均值，σ为响应融合图response(storey)的旁瓣区域的标准差；
S9.2.2：若峰值旁瓣比psr大于指定阈值U1，将U1定义为15，计算余弦相似度，公式为：
Figure RE-GDA0002069676140000172
其中，va为新图像块集合B′在频域的特征集合zf中对应响应得分最大值所在层的特征 zf(storey)，vb为目标模型model_xf；
针对两种特征，zf取值为zf1(storey)或zf2(storey)，model_xf取值为model_xf1或 model_xf2，分别计算zf1(storey)与model_xf1、zf2(storey)与model_xf2的余弦相似度cs1、 cs2，若cs1、cs2其一小于指定阈值U2，将U2定义为0.6，设置学习率η为0.05，当前帧图像的响应权重为：
wnow＝wt；
其中，wt为当前帧图像的响应融合权重，取值为model_weight1或model_weight2；
针对两种特征，分别得到当前帧图像的响应权重为w1now、w2now，即wnow为w1now或w2now；
S9.2.3：若峰值旁瓣比psr大于指定阈值U1，且cs1、cs2不满足二者其一小于指定阈值 U2，学习率η＝m*(2-cs1-cs2)+n，其中m、n均为调整学习率而人为给定的参数，将m定义 为0.09，将n定义为0.01，分别计算多层核相关滤波响应融合图response1和response2的响 应得分最大值所在层的核相关滤波响应融合图response1(storey)和response2(storey)的峰值旁 瓣比psr1，psr2，然后得到两种特征的当前帧图像的响应权重w1now、w2now，公式如下：
Figure BDA0002043083980000181
Figure BDA0002043083980000182
S9.2.4：若峰值旁瓣比psr不大于指定阈值U1，学习率η设定为0，当前帧图像的响应 权重为：
wnow＝wt；
其中，wt为当前帧图像的响应融合权重，取值为model_weight1或model_weight2；
针对两种特征，分别得到当前帧图像的响应权重为w1now、w2now，即wnow为w1now或w2now。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何 限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (10)

1.一种基于局部特征及尺度池的目标跟踪方法，其特征在于，包括如下步骤：
S1：读取视频帧序列，获取初始帧图像，即第一帧图像；
S2：根据初始帧图像的目标尺度信息，计算尺度大小，并根据尺度大小和给定的细胞单元尺寸分别确定两种特征对应分类器的回归标签及二维余弦窗；
S3：获取当前帧图像作为当前帧，根据尺度大小和给定的目标位置选定目标区域图像，并对目标区域图像进行直方图均衡化；
S4：基于两种特征的二维余弦窗，从直方图均衡化后的目标区域图像中提取特征一和特征二；
基于二维余弦窗cos_window1，提取图像块A'的31维FHOG特征作为特征一；
对图像块A'提取1维灰度特征g1、1维去均值灰度特征g2和1维局部二值模式LBP特征g3，线性融合得到共3维的融合特征g，再对融合特征g加二维余弦窗cos_window2，得到3维融合特征作为特征二；然后进行快速傅里叶变换，得到处理后图像块A'在频域的特征xf2；
S5：基于回归标签用特征一或特征二训练分类器，得到特征一和特征二对应的目标模型及分类器回归系数，若步骤S3中的当前帧图像为第一帧图像，初始化特征一和特征二对应的目标模型和分类器回归系数，若为最后一帧图像，不作处理，否则更新特征一和特征二对应的目标模型和分类器回归系数；
S6：读取下一帧图像作为当前帧，步骤S3中的当前帧图像作为上一帧图像，在当前帧图像中，根据上一帧目标位置及给定的多个尺度利用尺度池方法分别获取多个不同尺度的搜索区域图像，并对多个搜索区域图像进行直方图均衡化，得到直方图均衡化的图像；
S7：分别对直方图均衡化图像进行计算，再根据计算得到的结果，基于特征一和特征二对应的目标模型及分类器回归系数得到两种特征对应的多层核相关滤波响应图；
S8：若步骤S3中的当前帧为第一帧图像，初始化两种特征对应的响应融合权重，若为最后一帧图像，不作处理，否则，基于上一帧图像计算得到的响应权重，更新两种特征对应的响应融合权重，将两种特征对应的多层核相关滤波响应图线性插值到一致大小后，基于特征一和特征二对应的响应融合权重加权融合得到多层响应融合图，再通过多层响应融合图得到目标的预测位置以及预测尺度；
S9：判断视频帧序列是否已结束，若未结束，基于多层响应融合图计算峰值旁瓣比，判断步骤6中的当前帧图像的跟踪状态进而计算响应权重以及学习率，计算后转到步骤S3进行下一帧图像处理，否则，结束目标跟踪。
2.根据权利要求1所述的一种基于局部特征及尺度池的目标跟踪方法，其特征在于，所述步骤S2的具体步骤如下：
S2.1：根据给定的初始帧图像的目标框大小target_sz，确定尺度大小为window_sz，其中，window_sz为target_sz的1+padding倍，padding为调整尺度大小的参数；
S2.2：基于给定的细胞单元尺寸cell_sz1和细胞单元尺寸cell_sz2，再分别结合尺度大小window_sz，确定两种特征的回归标签yf1、yf2以及二维余弦窗cos_window1、cos_window2；
具体步骤如下：
S2.2.1：定义空间带宽a，根据目标框大小target_sz的宽w和高h，计算高斯回归标签的带宽，公式如下：
Figure FDA0003598185440000021
式中，针对两种特征，cell_sz取值为cell_sz1或cell_sz2，cell_sz取值为cell_sz1或cell_sz2分别计算得到σ1、σ2；
S2.2.2：根据高斯回归标签函数，计算回归标签yf1和yf2，计算公式如下：
Figure FDA0003598185440000022
其中，floor(x)为向下取整函数，m、n为回归标签的宽和高，计算得到y'后，再进行循环移位使回归标签峰值移到中心得到y，然后进行傅里叶变换得到回归标签
Figure FDA0003598185440000023
式中，针对两种特征，σ取值为σ1或σ2，σ取值为σ1或σ2分别计算得到回归标签yf1和yf2；
S2.2.3：根据回归标签
Figure FDA0003598185440000024
尺寸利用MATLAB中相应hann函数计算余弦窗cos_window；
针对两种特征，
Figure FDA0003598185440000025
取值为yf1或yf2，
Figure FDA0003598185440000026
取值为yf1或yf2分别计算得到二维余弦窗cos_window1、cos_window2。
3.根据权利要求2所述的一种基于局部特征及尺度池的目标跟踪方法，其特征在于，所述S3的具体步骤如下：
S3.1：读入当前帧图像，根据目标框大小target_sz和给定的当前帧图像的目标位置pos得到大小为tmp_sz的目标区域，在当前帧图像上目标位置处截取大小为tmp_sz的图像块，再线性插值到尺度大小window_sz大小最终得到目标区域图像，即图像块A，其中，tmp_sz为target_sz的1+padding倍；
S3.2：对图像块A进行直方图均衡化，得到新图像块A'，即直方图均衡化后的目标区域图像。
4.根据权利要求3所述的一种基于局部特征及尺度池的目标跟踪方法，其特征在于，所述S4的具体步骤如下：
提取特征一具体步骤为：
基于给定的细胞单元尺寸cell_sz1，对图像块A'利用MATLAB相应piotr_toolbox工具包提取FHOG特征，对其加二维余弦窗cos_window1，得到31维的FHOG特征作为特征一，FHOG指融合梯度直方图；
提取特征二具体步骤为：
对图像块A'提取1维灰度特征g1，即将图像块A'灰度归一化到区间[-0.5 0.5]；
对图像块A'提取1维去均值灰度特征g2，即将图像块A'归一化到区间[0 1]后再减去图像块A'的平均灰度值；
对图像块A'提取1维局部二值模式LBP特征g3，1维局部二值模式LBP特征g3是图像块A'的局部的纹理特征；
将1维灰度特征g1、1维去均值灰度特征g2和1维局部二值模式LBP特征g3进行线性融合得到一个3维融合特征g，即将3个1维特征在第三维方向上进行串联连接；
对3维融合特征g加二维余弦窗cos_window2，得到3维融合特征作为特征二。
5.根据权利要求4所述的一种基于局部特征及尺度池的目标跟踪方法，其特征在于，所述S5的具体步骤如下：
S5.1：将特征一和特征二分别进行快速傅里叶变换，得到图像块A'在频域的特征xf1和xf2，分别利用回归标签yf1和yf2初始化正则化最小二乘分类器，再分别用特征xf1和特征xf2训练对应的初始化后的正则化最小二乘分类器，得到特征一和特征二对应的目标模型；
计算图像块A'在频域的特征xf1和xf2的公式为：
Figure FDA0003598185440000031
式中，f表示对图像块A'提取的31维FHOG特征或3维融合特征，⊙表示矩阵点乘，F(x)表示傅里叶变换，
Figure FDA0003598185440000032
表示得到的特征xf1或xf2；
S5.2：根据高斯核相关函数，基于特征xf1和xf2，计算频域上的高斯自相关核矩阵kf1和kf2；高斯核相关函数的公式为:
Figure FDA0003598185440000033
其中，kxx'代表x和x'的核相关矩阵，x、x'分别代表计算核相关矩阵所使用的不同特征符号，||x||2为特征x中各元素的模的平方和再除以N，N为矩阵x前两维尺寸之积，
Figure FDA00035981854400000416
表示矩阵x在傅里叶域中的形式，
Figure FDA0003598185440000041
表示
Figure FDA0003598185440000042
的复共轭；
利用频域的特征xf1和xf2，将高斯核相关函数的公式中的x、x'均替换为xf1或将x、x'均替换为xf2，分别计算频域上的高斯自相关核矩阵kf1和高斯自相关核矩阵kf2；
S5.3：根据高斯自相关核矩阵kf1和kf2，计算分类器回归系数，计算公式为：
Figure FDA0003598185440000043
其中，λ为正则化参数，针对两种特征，kxx'取值为kf1或kf2，分别得到
Figure FDA0003598185440000044
的取值为alphaf1或alphaf2；
针对两种特征，利用回归标签yf1和高斯自相关核矩阵kf1，回归标签yf2和高斯自相关核矩阵kf2，以及正则化参数λ，分别计算得到分类器回归系数alphaf1和alphaf2；
S5.4：若步骤S3中的当前帧图像为第一帧图像，转到步骤S5.5，若为最后一帧图像，不作处理，否则转到步骤S5.7；
S5.5：目标跟踪第二帧图像时，初始化目标模型
Figure FDA0003598185440000045
即将特征xf1和xf2作为初始目标模型，得到初始化后特征一和特征二对应的目标模型model_xf1和model_xf2，即
Figure FDA0003598185440000046
其中，t表示第二帧图像；
S5.6：目标跟踪第二帧图像时，初始化分类器的回归系数
Figure FDA0003598185440000047
即将分类器回归系数alphaf1和alphaf2分别作为初始分类器回归系数，得到初始化后特征一和特征二对应的回归系数model_alphaf1和回归系数model_alphaf2，即
Figure FDA0003598185440000048
其中，t表示第二帧图像；
S5.7：目标跟踪第三帧图像或第三帧之后的图像时，通过线性插值更新两种特征对应的目标模型
Figure FDA0003598185440000049
即
Figure FDA00035981854400000410
其中，η为学习率，
Figure FDA00035981854400000411
为下一帧图像的目标模型，
Figure FDA00035981854400000412
为当前帧图像的目标模型；针对特征一和特征二，
Figure FDA00035981854400000413
和
Figure FDA00035981854400000414
的取值分别为两个，最终得到更新后的
Figure FDA00035981854400000415
取值为model_xf1和model_xf2；
S5.8：目标跟踪第三帧图像或第三帧之后的图像时，通过线性插值更新两种特征对应的回归系数
Figure FDA0003598185440000051
即
Figure FDA0003598185440000052
其中，
Figure FDA0003598185440000053
为下一帧图像的分类器回归系数，
Figure FDA0003598185440000054
为当前帧图像的分类器回归系数，针对特征一和特征二，
Figure FDA0003598185440000055
和
Figure FDA0003598185440000056
的取值分别为两个，最终得到更新后的
Figure FDA0003598185440000057
取值为model_alphaf1和model_alphaf2。
6.根据权利要求1-5任意一项所述的一种基于局部特征及尺度池的目标跟踪方法，其特征在于，所述S6的具体步骤如下：
S6.1：读取下一帧图像作为当前帧，步骤S3中的当前帧图像作为上一帧图像，设置一个尺度矩阵search_size，即设置多个不同的尺度；
S6.2：根据尺度矩阵search_size、上一帧图像目标位置pos以及上一帧图像目标框大小target_sz，在上一帧图像目标位置处，在当前帧图像中循环调用尺度矩阵search_size中的不同尺度参数，依次截取不同尺度大小的图像块，尺度大小分别为target_sz的1+padding倍再乘以search_size矩阵中每一个数值，并对截取的所有图像块线性插值到尺度大小window_sz大小，最终得到包含多个图像块的图像块集合B；
S6.3：对图像块集合B中的图像块分别进行直方图均衡化，得到新图像块集合B'。
7.根据权利要求6所述的一种基于局部特征及尺度池的目标跟踪方法，其特征在于，所述S7的具体步骤如下：
S7.1：基于给定的细胞单元尺寸cell_sz1，对新图像块集合B'中的图像块分别利用MATLAB相应piotr_toolbox工具包提取FHOG特征，对其加二维余弦窗cos_window1，得到31维的FHOG特征，然后进行快速傅里叶变换，得到新图像块集合B'在频域的特征集合zf1；
对新图像块集合B'中的图像块分别提取1维灰度特征h1、1维去均值灰度特征h2和1维局部二值模式LBP特征h3，线性融合得到共3维的融合特征h，再对融合特征h加二维余弦窗cos_window2，得到3维融合特征，然后进行快速傅里叶变换，得到新图像块集合B'在频域的特征集合zf2；
S7.2：根据高斯核相关函数，基于特征集合zf1和zf2内的各特征，计算频域上的高斯互相关核矩阵，得到频域上的高斯互相关核矩阵集合kzf1和kzf2；其中，高斯核相关函数的公式为：
Figure FDA0003598185440000061
针对特征一，利用频域的特征xf1和特征集合zf1中的特征，根据高斯核相关函数的公式，将x、x'分别替换为xf1、zf1中的特征，计算频域上的高斯互相关核矩阵集合kzf1；针对特征二，利用频域的特征xf2和特征集合zf2中的特征，根据高斯核相关函数的公式，将x、x'分别替换为xf2、zf2中的特征，计算频域上的高斯互相关核矩阵集合kzf2；
S7.3：根据岭回归响应得分函数、高斯互相关核矩阵集合kzf1和kzf2，计算两种特征对应的多层核相关滤波响应图response1和response2，岭回归响应得分函数的公式为：
Figure FDA0003598185440000062
其中，
Figure FDA0003598185440000063
取值为高斯互相关核矩阵集合kzf1或kzf2中的一高斯互相关核矩阵，
Figure FDA0003598185440000064
为分类器回归系数model_alphaf1或model_alphaf2，
Figure FDA0003598185440000065
为针对一高斯互相关核矩阵得到的单层回归响应值；
针对高斯互相关核矩阵集合kzf1或kzf2得到特征一和特征二对应的多层回归响应值后，进行傅里叶反变换回到时域，保留实部，最终得到多层核相关滤波响应图response1和response2。
8.根据权利要求7所述的一种基于局部特征及尺度池的目标跟踪方法，其特征在于，所述S8的具体步骤如下：
S8.1：若步骤S3中的当前帧为第一帧图像，转到步骤S8.2，若为最后一帧图像，不作处理，否则，转到步骤S8.3；
S8.2：目标跟踪第二帧图像时，初始化两种特征对应的响应融合权重后转到步骤S8.4，初始化两种特征对应的响应融合权重为：
wt＝wd；
其中，t表示第二帧图像，wd为人为定义的初始帧图像的响应权重，针对特征xf1和xf2分别得到初始帧图像的响应融合权重model_weight1和model_weight2；
S8.3：目标跟踪第三帧图像或第三帧之后的图像时，通过线性插值更新两种特征对应的响应融合权重后转到步骤S8.4，更新公式为：
wt＝(1-20η)wt-1+20ηwnow；
其中，wt为当前帧图像的响应融合权重，wnow为上一帧图像计算得到的响应权重，wt-1为上一帧图像的响应融合权重，针对特征一和特征二，wt和wt-1的取值分别为两个，最终得到更新后的wt取值为model_weight1和model_weight2；
S8.4：将特征一对应的多层核相关滤波响应图response1线性插值到与特征二对应的多层核相关滤波响应图response2相同大小后得到多层核相关滤波响应图response1_1，再基于特征一和特征二对应的响应融合权重进行加权融合，得到多层核相关滤波响应融合图response，公式如下：
Figure FDA0003598185440000071
其中，w1t为特征一对应的响应融合权重model_weight1，w2t为特征二对应的响应融合权重model_weight2，
Figure FDA0003598185440000072
为多层核相关滤波响应图response1_1，
Figure FDA0003598185440000073
为多层核相关滤波响应图response2；
S8.5：基于多层核相关滤波响应融合图response寻找响应得分最大值，响应得分最大值所在层数storey对应的目标尺度即为步骤S6中的该帧图像的目标预测尺度，将其作为步骤S6中的该帧图像的目标框大小target_sz；
S8.6：根据响应得分最大值所在层的响应融合图的位置，计算目标的平移位置，再基于平移位置计算出步骤S6中的该帧图像中目标的预测位置，将其作为目标位置pos。
9.根据权利要求8所述的一种基于局部特征及尺度池的目标跟踪方法，其特征在于，所述S9的具体步骤如下：
S9.1：判断视频帧序列是否已结束，若未结束，转到步骤S9.2，否则，结束目标跟踪；
S9.2：基于多层响应融合图计算峰值旁瓣比，判断步骤6中的当前帧图像的跟踪状态进而计算响应权重以及学习率，计算后转到步骤S3进行下一帧图像处理，其中，下一帧图像是分别基于步骤S3和步骤S6中的当前帧，分别向下移动一帧，以实现下一帧图像的跟踪。
10.根据权利要求9所述的一种基于局部特征及尺度池的目标跟踪方法，其特征在于，所述S9.2的具体步骤如下：
S9.2.1：基于多层响应融合图，计算响应得分最大值所在层响应融合图response(storey)的峰值旁瓣比psr，公式如下：
Figure FDA0003598185440000074
其中，p为响应融合图response(storey)的最大值，即峰值，μ为响应融合图response(storey)的旁瓣区域的均值，σ为响应融合图response(storey)的旁瓣区域的标准差；
S9.2.2：若峰值旁瓣比psr大于指定阈值U1，计算余弦相似度，公式为：
Figure FDA0003598185440000081
其中，va为新图像块集合B'在频域的特征集合zf中对应响应得分最大值所在层的特征zf(storey)，vb为目标模型model_xf；
针对两种特征，zf取值为zf1(storey)或zf2(storey)，model_xf取值为model_xf1或model_xf2，分别计算zf1(storey)与model_xf1、zf2(storey)与model_xf2的余弦相似度cs1、cs2，若cs1、cs2其一小于指定阈值U2，设置学习率η，当前帧图像的响应权重为：
wnow＝wt；
其中，wt为当前帧图像的响应融合权重，取值为model_weight1或model_weight2；
针对两种特征，分别得到当前帧图像的响应权重为w1now、w2now，即wnow为w1now或w2now；
S9.2.3：若峰值旁瓣比psr大于指定阈值U1，且cs1、cs2不满足二者其一小于指定阈值U2，学习率η＝m*(2-cs1-cs2)+n，其中m、n均为调整学习率而人为给定的参数，分别计算多层核相关滤波响应融合图response1和response2的响应得分最大值所在层的核相关滤波响应融合图response1(storey)和response2(storey)的峰值旁瓣比psr1，psr2，然后得到两种特征的当前帧图像的响应权重w1now、w2now，公式如下：
Figure FDA0003598185440000082
Figure FDA0003598185440000083
S9.2.4：若峰值旁瓣比psr不大于指定阈值U1，学习率η设定为0，当前帧图像的响应权重为：
wnow＝wt；
其中，wt为当前帧图像的响应融合权重，取值为model_weight1或model_weight2；
针对两种特征，分别得到当前帧图像的响应权重为w1now、w2now，即wnow为w1now或w2now。
CN201910348414.6A 2019-04-28 2019-04-28 一种基于局部特征及尺度池的目标跟踪方法 Active CN110097575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910348414.6A CN110097575B (zh) 2019-04-28 2019-04-28 一种基于局部特征及尺度池的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910348414.6A CN110097575B (zh) 2019-04-28 2019-04-28 一种基于局部特征及尺度池的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110097575A CN110097575A (zh) 2019-08-06
CN110097575B true CN110097575B (zh) 2022-07-01

Family

ID=67446145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910348414.6A Active CN110097575B (zh) 2019-04-28 2019-04-28 一种基于局部特征及尺度池的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110097575B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570460B (zh) * 2019-09-06 2024-02-13 腾讯云计算（北京）有限责任公司 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN111223123B (zh) * 2019-12-17 2024-03-19 西安天和防务技术股份有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN111815668B (zh) * 2020-06-23 2024-08-30 浙江大华技术股份有限公司 目标跟踪方法、电子设备及存储介质
CN112613565B (zh) * 2020-12-25 2022-04-19 电子科技大学 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
CN113393493B (zh) * 2021-05-28 2024-04-05 京东科技信息技术有限公司 目标对象的跟踪方法及装置
CN113808171B (zh) * 2021-09-27 2024-07-09 山东工商学院 基于特征权重池的动态特征选择的无人机视觉跟踪方法
CN114066934B (zh) * 2021-10-21 2024-03-22 华南理工大学 一种面向靶向微操作的抗遮挡细胞追踪方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9581431B1 (en) * 2014-03-18 2017-02-28 Jeffrey M. Sieracki Method and system for parallactically synced acquisition of images about common target
CN107748873A (zh) * 2017-10-31 2018-03-02 河北工业大学 一种融合背景信息的多峰目标跟踪方法
CN108010067A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN108596951A (zh) * 2018-03-30 2018-09-28 西安电子科技大学 一种融合特征的目标跟踪方法
CN108734177A (zh) * 2018-05-17 2018-11-02 中国人民解放军陆军工程大学 双步相关滤波目标跟踪方法
CN109584267A (zh) * 2018-11-05 2019-04-05 重庆邮电大学 一种结合背景信息的尺度自适应相关滤波跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170987B2 (en) * 2007-10-31 2012-05-01 At&T Intellectual Property I, L.P. Methods, systems and computer program products for automatically identifying and backing up user device content
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9581431B1 (en) * 2014-03-18 2017-02-28 Jeffrey M. Sieracki Method and system for parallactically synced acquisition of images about common target
CN107748873A (zh) * 2017-10-31 2018-03-02 河北工业大学 一种融合背景信息的多峰目标跟踪方法
CN108010067A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108346159A (zh) * 2018-01-28 2018-07-31 北京工业大学 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN108550161A (zh) * 2018-03-20 2018-09-18 南京邮电大学 一种尺度自适应核相关滤波快速目标跟踪方法
CN108596951A (zh) * 2018-03-30 2018-09-28 西安电子科技大学 一种融合特征的目标跟踪方法
CN108734177A (zh) * 2018-05-17 2018-11-02 中国人民解放军陆军工程大学 双步相关滤波目标跟踪方法
CN109584267A (zh) * 2018-11-05 2019-04-05 重庆邮电大学 一种结合背景信息的尺度自适应相关滤波跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep CNN With Multi-Scale Rotation Invariance Features for Ship Classification;Qiaoqiao Shi等;《IEEE》;20180706;第38656-38668页 *
视觉目标跟踪方法研究综述;葛宝义等;《中国图象图形学报》;20180816;第1091-1107页 *

Also Published As

Publication number Publication date
CN110097575A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097575B (zh) 一种基于局部特征及尺度池的目标跟踪方法
CN109816689B (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN107016689A (zh) 一种尺度自适应的相关滤波对冲目标跟踪方法
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN108090919A (zh) 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN110276785B (zh) 一种抗遮挡红外目标跟踪方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN111027372A (zh) 一种基于单目视觉与深度学习的行人目标检测识别方法
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN108875655A (zh) 一种基于多特征的实时目标视频跟踪方法及系统
Yang et al. Visual tracking with long-short term based correlation filter
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN110706253B (zh) 基于表观特征和深度特征的目标跟踪方法、系统、装置
CN109859241A (zh) 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法
CN106934398B (zh) 基于超像素聚类和稀疏表示的图像去噪方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN110889865A (zh) 一种基于局部加权稀疏特征选择的视频目标跟踪方法
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN106157330A (zh) 一种基于目标联合外观模型的视觉跟踪方法
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant