CN106296733B - 一种图像中目标跟踪方法 - Google Patents

Abstract

本发明公开了一种图像中目标跟踪方法，包括：从图像中采样预设数量的候选粒子，对候选粒子构建稀疏表示模型，稀疏表示模型中包含用于约束粒子的观测向量与残差向量之间差值的L2范数项、以及用于约束粒子的残差向量的L1范数项；求解稀疏表示模型，将重构误差累加和最小的候选粒子确定为目标；根据被确定为目标的候选粒子的重构向量、残差向量以及原模板向量对字典矩阵进行更新。本发明图像中目标跟踪方法，在建立稀疏表示模型中，增加了表示残差矩阵的约束项，在L2范数项中加入了稀疏表示残差矩阵的相关信息，使得对模型的求解更加精确，求解获得目标的稀疏表示系数精度提高，对目标跟踪的精确度及准确度提高。

Description

一种图像中目标跟踪方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像中目标跟踪方法。

背景技术

在图像处理中，基于稀疏模型的目标跟踪方法，具体为：在跟踪过程的初始时刻选定目标，利用目标的相关信息(颜色，灰度，外观以及姿态等)构建目标的信息字典，信息字典为一维向量的组合矩阵，每一列代表目标的一次采样；对于毎帧图像，建立稀疏模型，通过求解得到利用字典表示目标的表示系数，实现跟踪。

现有技术中，基于稀疏模型的目标跟踪技术，是利用简单的约束关系构建稀疏优化模型，一般采用的稀疏模型如下：

其中，D为目标字典，y为跟踪过程中对目标的一次采样，在实际应用中多采用粒子滤波技术选取一定数量的候选粒子，c为当前时刻目标利用字典D表示的系数。上式中第一项为L2范数约束，第二项为L0范数约束，由于L0范数的非连续性，在实际应用中多用L1范数替代L0范数。如此，优化后的稀疏模型为：

利用优化求解技术可以求解如上的最小化公式，便可得到利用字典D表示目标的系数c。

然而，该模型较为简单，求解获得表示目标的稀疏表示系数的精度比较低，在多数的跟踪应用中无法达到要求。

发明内容

鉴于此，本发明提供一种图像中目标跟踪方法，求解获得的目标的稀疏表示系数精度提高，使得对目标跟踪的精确度及准确度提高。

为实现上述目的，本发明提供如下技术方案：

一种图像中目标跟踪方法，包括：

从图像中采样预设数量的候选粒子，采样获得候选粒子的观测向量，对候选粒子构建稀疏表示模型，所述稀疏表示模型中包含用于约束粒子的观测向量与残差向量之间差值的L2范数项、用于约束粒子的表示系数的L1范数项，以及用于约束粒子的残差向量的L1范数项；

求解所述稀疏表示模型，获得候选粒子的表示系数矩阵及残差矩阵；

基于粒子的表示系数矩阵及残差矩阵获得候选粒子的重构矩阵，并根据粒子的观测矩阵、残差矩阵和所述重构矩阵计算候选粒子的重构误差累加和，将重构误差累加和最小的候选粒子确定为目标；

根据被确定为目标的候选粒子的重构向量、残差向量以及原模板向量对字典矩阵进行更新。

可选地，还包括：在进行目标跟踪前，对各帧图像进行奇异值分解，获得图像的奇异值矩阵，并获取由部分奇异值构成的重构图像。

可选地，所述对各帧图像进行奇异值分解，获得图像的奇异值矩阵，具体包括：

假设原图像A∈R^m×n，则存在正交矩阵U∈R^m×m和V∈R^n×n，满足：

A＝UΣV；

式中：

则Σ1＝diag(σ₁,σ₂,…,σ_r)为原图像A对应的奇异值矩阵；

所述获取由部分奇异值构成的重构图像，具体包括：

忽略所述奇异值矩阵中的零奇异值和接近于零的奇异值，基于剩余奇异值进行重构，构成重构图像，所述接近于零的奇异值指小于预设阈值的奇异值。

可选地，对于首帧图像，在图像中选定跟踪目标，并构建目标的字典矩阵。

可选地，以跟踪目标的灰度值为依据构建目标的字典矩阵；

所述构建目标的字典矩阵，具体包括：

在目标的预设半径范围内选定预设数量的采样点；

以每个采样点为中心，抽取目标大小的图像并转换为标准尺寸，归一化为模板向量；

将所有采样点的模板向量横向拼接组成所述目标的字典矩阵。

可选地，所述稀疏表示模型具体描述为：

其中，i表示粒子标号，i∈(1,2,……n)，n为采样的候选粒子的个数，y_i表示在当前帧图像中粒子i的观测向量，c_i表示y_i利用字典矩阵D表示的表示系数，e_i表示粒子i的残差向量。λ₁是调节表示系数稀疏度的标量，λ₂是调节残差向量稀疏度的标量，D表示字典矩阵。

可选地，所述稀疏表示模型的矩阵描述为：

其中，C∈R^mxn是各粒子的表示系数组成的系数矩阵，E∈R^dxn是各粒子残差向量组成的残差矩阵，Y∈R^dxn是粒子群的观测矩阵。

可选地，对于粒子i的重构误差累加和的计算公式为：

其中，矩阵W表示权重矩阵，

表示Hadamard乘积，即表示矩阵对应元素乘积。

可选地，根据被确定为目标的候选粒子的重构向量、残差向量以及原模板向量对字典矩阵进行更新，具体包括：根据以下计算式构建新的模板向量d_p′：

其中，i表示被确定为目标的候选粒子的标号，d_p′表示原模板向量，表示粒子i的表示系数向量，

表示粒子i的重构向量。

可选地，进一步包括：

根据p和p′的取值，分情况对字典矩阵D进行更新：

当p′＝1，代表当前被确定为目标的候选粒子的重构向量与字典矩阵的首模板向量的欧式距离最小，采用D_t(Dictindex(2))＝d_p′，D_t(Dictindex(3))＝D_t(Dictindex(1))＝d₁；

当p′≠1，p＝1，代表当前被确定为目标的候选粒子的重构向量与字典矩阵的首模板向量的欧式距离最大，采用D_t(Dictindex(2))＝d_p′；

当p′≠1，p≠1，代表当前被确定为目标的候选粒子的重构向量与字典矩阵的首模板向量的欧式距离非最大也非最小，采用D_t(Dictindex(1))＝d_p′。

由上述技术方案可知，本发明所提供的图像中目标跟踪方法，从图像中采样预设数量的候选粒子，采样获得候选粒子的观测向量，对候选粒子构建稀疏表示模型，所述稀疏表示模型中包含用于约束粒子的观测向量与残差向量之间差值的L2范数项、用于约束粒子的表示系数的L1范数项，以及用于约束粒子的残差向量的L1范数项；通过求解该稀疏表示模型，获得候选粒子的表示系数矩阵及残差矩阵；基于粒子的表示系数矩阵及残差矩阵获得候选粒子的重构矩阵，并根据粒子的观测矩阵、残差矩阵和重构矩阵计算候选粒子的重构误差累加和，将重构误差累加和最小的候选粒子确定为目标；根据被确定为目标的候选粒子的重构向量、残差向量以及原模板向量对字典矩阵进行更新。

本发明图像中目标跟踪方法，在建立的稀疏表示模型中，增加了表示残差矩阵的约束项，在L2范数项中加入了稀疏表示残差矩阵的相关信息，使得对模型的求解更加精确，求解获得的目标的稀疏表示系数精度提高，对目标跟踪的精确度及准确度提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像中目标跟踪方法的流程图；

图2为本发明实施例提供的图像中目标跟踪方法的整体过程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，为本发明实施例提供的一种图像中目标跟踪方法的流程图，本实施例图像中目标跟踪方法包括步骤：

S1：从图像中采样预设数量的候选粒子，采样获得候选粒子的观测向量，对候选粒子构建稀疏表示模型，所述稀疏表示模型中包含用于约束粒子的观测向量与残差向量之间差值的L2范数项、用于约束粒子的表示系数的L1范数项，以及用于约束粒子的残差向量的L1范数项；

S2：求解所述稀疏表示模型，获得候选粒子的表示系数矩阵及残差矩阵；

S3：基于粒子的表示系数矩阵及残差矩阵获得候选粒子的重构矩阵，并根据粒子的观测矩阵、残差矩阵和重构矩阵计算候选粒子的重构误差累加和，将重构误差累加和最小的候选粒子确定为目标；

S4：根据被确定为目标的候选粒子的重构向量、残差向量以及原模板向量对字典矩阵进行更新。

由上述内容可以看出，本实施例提供的图像中目标跟踪方法，从图像中采样预设数量的候选粒子，采样获得候选粒子的观测向量，对候选粒子构建稀疏表示模型，所述稀疏表示模型中包含用于约束粒子的观测向量与残差向量之间差值的L2范数项、用于约束粒子的表示系数的L1范数项，以及用于约束粒子的残差向量的L1范数项；通过求解该稀疏表示模型，获得候选粒子的表示系数矩阵及残差矩阵；基于粒子的表示系数矩阵及残差矩阵获得候选粒子的重构矩阵，并根据粒子的观测矩阵、残差矩阵和重构矩阵计算候选粒子的重构误差累加和，将重构误差累加和最小的候选粒子确定为目标；根据被确定为目标的候选粒子的重构向量、残差向量以及原模板向量对字典矩阵进行更新。

本发明图像中目标跟踪方法，在建立的稀疏表示模型中，增加了表示残差矩阵的约束项，在L2范数项中加入了稀疏表示残差矩阵的相关信息，使得对模型的求解更加精确，求解获得的目标的稀疏表示系数精度提高，对目标跟踪的精确度及准确度提高。有助于实现在实际场景中对目标持续稳定的跟踪。

下面结合具体实施方式对本发明图像中目标跟踪方法进行详细说明。

请参考图2，本实施例提供的图像中目标跟踪方法，具体包括以下过程：

S100：在进行目标跟踪前，对图像进行奇异值分解，获得各帧图像的奇异值矩阵，并获取由部分奇异值构成的重构图像。

本方法中在进行目标跟踪前对图像进行奇异值分解，获得各帧图像的奇异值重构图像，可以消除不相关因素如图像亮度等对图像中目标跟踪的影响，提高准确性。

具体的，假设原图像A∈R^m×n，则存在正交矩阵U∈R^m×m和V∈R^n×n，满足：

A＝UΣV；

式中：

则Σ₁＝diag(σ₁,σ₂,…,σ_r)为原图像A对应的奇异值矩阵，其对角元素按照顺序σ₁≥σ₂≥…≥σ_r＞0，r＝rank(A)。

获取由部分奇异值构成的重构图像，具体包括：

忽略所述奇异值矩阵中的零奇异值和接近于零的奇异值，基于剩余奇异值进行重构，构成重构图像，所述接近于零的奇异值指小于预设阈值的奇异值。所述接近于零的奇异值根据不同的奇异值矩阵有不同的大小范围，一般的，取小于最大奇异值的5％的奇异值为接近于零。

在获取的奇异值矩阵中，零奇异值与接近于零的奇异值只含有少量的矩阵重构时所需要的信息。因此，在重构矩阵时，可以忽略零与接近于零的奇异值，只利用其他剩余奇异值进行重构。这样可以滤除图像中作用较小的信息，也可以滤除噪声的能量，这样重构后的图像对于跟踪器会更加友好。

S101：对于首帧图像，在图像中选定跟踪目标，并构建目标的字典矩阵。

具体的，本实施例跟踪方法中以跟踪目标的灰度值为依据构建目标的字典矩阵，具体包括：

在目标的预设半径范围内选定预设数量的采样点；

以每个采样点为中心，抽取目标大小的图像并转换为标准尺寸，归一化为模板向量；

将所有采样点的模板向量横向拼接组成所述目标的字典矩阵。

S102：从图像中采样预设数量的候选粒子，采样获得候选粒子的观测向量，对候选粒子构建稀疏表示模型，所述稀疏表示模型中包含用于约束粒子的观测向量与残差向量之间差值的L2范数项、用于约束粒子的表示系数的L1范数项，以及用于约束粒子的残差向量的L1范数项。

本实施例目标跟踪方法中采用粒子滤波技术。对于读取的下一帧图像，从图像中采样预设数量的候选粒子，采样获得候选粒子i的观测向量y_i，对应观测矩阵Y，i表示粒子标号。

本实施例中，采用的稀疏表示模型具体描述为：

其中，i表示粒子标号，i∈(1,2,……n)，n为采样的候选粒子的个数，y_i表示在当前帧图像中粒子i的观测向量，c_i表示y_i利用字典矩阵D表示的表示系数，e_i表示粒子i的残差向量。λ₁是调节表示系数稀疏度的标量，λ₂是调节残差向量稀疏度的标量，D表示字典矩阵。

上述稀疏表示模型以矩阵描述为：

其中，C∈R^mxn是各粒子的表示系数组成的系数矩阵，E∈R^dxn是各粒子残差向量组成的残差矩阵，Y∈R^dxn是粒子群的观测矩阵，其每一列代表一个粒子的观测向量。

S103：求解所述稀疏表示模型，获得候选粒子的表示系数矩阵及残差矩阵。

基于上述稀疏表示模型，固定残差矩阵E，优化问题转变为经典的最小绝对收缩与选择算法模型，该模型可以通过多种现有已公开算法求解。

固定系数矩阵C，优化问题变为一个凸优化问题，全局最小值可以通过收缩算子求得残差矩阵E：

S104：基于粒子的表示系数矩阵及残差矩阵获得候选粒子的重构矩阵，并根据粒子的观测矩阵、残差矩阵和重构矩阵计算候选粒子的重构误差累加和，将重构误差累加和最小的候选粒子确定为目标。

在获得候选粒子的表示系数矩阵C和残差矩阵E后，对每个候选粒子进行重构，基于粒子的表示系数矩阵C及残差矩阵E获得候选粒子的重构矩阵Y′∈R^dxn，重构矩阵Y′中每一列对应相应候选粒子的重构图像。

根据如下计算公式计算粒子i的重构误差累加和：

其中，

表示Hadamard乘积，即表示矩阵对应元素乘积，矩阵W表示权重矩阵，根据残差矩阵的计算绝对指数值得到。

将粒子群的观测矩阵Y、残差矩阵E和重构矩阵Y′代入上式中则可计算获得每个粒子的重构误差累加和。通过选取候选粒子中重构误差累加和最小的候选粒子，确定为目标。

在图像目标跟踪过程中，定义t时刻采样的目标观测集y_t，同时由x_t表示目标在时刻t的状态，后验概率可以通过贝叶斯定理递归推出，具体如下：

p(x_t|y_t)∝p(y_t|x_t)∫p(x_t|x_t-1)p(x_t-1|y_t-1)dx_t-1；

式中，p(x_t|x_t-1)是动态模型，一般采用高斯分布进行描述，如下：

p(x_t|x_t-1)＝N(x_t；x_t-1,σ)；

σ表示对角协方差矩阵，它的元素为状态变量x_t中分量的标准差。

p(y_t|x_t)表示相似度测量，反应了目标的状态x_t与观测状态y_t之间的相似度。那么当前时刻的目标可以通过最大后验估计计算得出：，

在粒子滤波框架下，p(y_t|x_t)与重构误差累加和Residual的关系可由以下等式描述：

S105：根据被确定为目标的候选粒子的重构向量、残差向量以及原模板向量对字典矩阵进行更新。

具体的，测量被确定为目标的候选粒子的重构向量与模板向量d的欧式距离，模板向量d为字典矩阵中的向量，并依距离值降序排列，获得顺序索引Dictindex∈R^m×1；

根据以下计算式构建新的模板向量d′_p：

其中，i表示被确定为目标的候选粒子的标号，d_p′表示原模板向量，表示粒子i的表示系数向量，

表示粒子i的重构向量。

进一步可根据p和p′的取值，分情况对字典矩阵D进行更新，具体包括：

当p′＝1，代表当前被确定为目标的候选粒子的重构向量与字典矩阵的首模板向量的欧式距离最小，即最相似，采用D_t(Dictindex(2))＝d_p′，D_t(Dictindex(3))＝D_t(Dictindex(1))＝d₁。

当p′≠1，p＝1，代表当前被确定为目标的候选粒子的重构向量与字典矩阵的首模板向量的欧式距离最大，即最不相似，采用D_t(Dictindex(2))＝d_p′。

当p′≠1，p≠1，代表当前被确定为目标的候选粒子的重构向量与字典矩阵的首模板向量的欧式距离非最大也非最小，采用替换方式更新字典D_t(Dictindex(1))＝d_p′。

在对当前帧图像进行目标跟踪，并更新字典矩阵后，则继续读取下一帧图像进行目标跟踪，即进入步骤S102继续进行，对毎帧图像循环执行，直到跟踪结束。

本发明图像中目标跟踪方法，在建立的稀疏表示模型中，增加了表示残差矩阵的约束项，在L2范数项中加入了稀疏表示残差矩阵的相关信息，在求解表示系数与更新字典矩阵部分，分别求解结合了残差矩阵的信息，使得求解表示系数和字典更新的精度与准确度提高，对目标跟踪的精确度及准确度提高。本发明方法涉及的计算量与现有技术中采用的稀疏模型计算量相当，但求解更精确，优于现有的跟踪算法，有助于实现在实际场景中对目标持续稳定的跟踪。

以上对本发明所提供的一种图像中目标跟踪方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种图像中目标跟踪方法，其特征在于，包括：

从图像中采样预设数量的候选粒子，采样获得候选粒子的观测向量，对候选粒子构建稀疏表示模型，所述稀疏表示模型中包含用于约束粒子的观测向量与残差向量之间差值的L2范数项、用于约束粒子的表示系数的L1范数项，以及用于约束粒子的残差向量的L1范数项；

求解所述稀疏表示模型，获得候选粒子的表示系数矩阵及残差矩阵；

基于粒子的表示系数矩阵及残差矩阵获得候选粒子的重构矩阵，并根据粒子的观测矩阵、残差矩阵和所述重构矩阵计算候选粒子的重构误差累加和，将重构误差累加和最小的候选粒子确定为目标；

根据被确定为目标的候选粒子的重构向量、残差向量以及原模板向量对字典矩阵进行更新；

所述稀疏表示模型具体描述为：

其中，i表示粒子标号，i∈(1,2,……n)，n为采样的候选粒子的个数，y_i表示在当前帧图像中粒子i的观测向量，c_i表示y_i利用字典矩阵D表示的表示系数，e_i表示粒子i的残差向量，λ₁是调节表示系数稀疏度的标量，λ₂是调节残差向量稀疏度的标量，D表示字典矩阵；

对于粒子i的重构误差累加和的计算公式为：

其中，矩阵W表示权重矩阵，⊙表示Hadamard乘积，即表示矩阵对应元素乘积；

根据被确定为目标的候选粒子的重构向量、残差向量以及原模板向量对字典矩阵进行更新，具体包括：根据以下计算式构建新的模板向量d_p′：

其中，i表示被确定为目标的候选粒子的标号，d_p′表示原模板向量，

表示粒子i的表示系数向量，

表示粒子i的重构向量；

进一步包括：根据p和p′的取值，分情况对字典矩阵D进行更新：

当p′＝1，代表当前被确定为目标的候选粒子的重构向量与字典矩阵的首模板向量的欧式距离最小，采用D_t(Dictindex(2))＝d_p′，D_t(Dictindex(3))＝D_t(Dictindex(1))＝d₁；

当p′≠1，p＝1，代表当前被确定为目标的候选粒子的重构向量与字典矩阵的首模板向量的欧式距离最大，采用D_t(Dictindex(2))＝d_p′；

当p′≠1，p≠1，代表当前被确定为目标的候选粒子的重构向量与字典矩阵的首模板向量的欧式距离非最大也非最小，采用D_t(Dictindex(1))＝d_p′。

2.如权利要求1所述的方法，其特征在于，还包括：在进行目标跟踪前，对各帧图像进行奇异值分解，获得图像的奇异值矩阵，并获取由部分奇异值构成的重构图像。

3.如权利要求2所述的方法，其特征在于，所述对各帧图像进行奇异值分解，获得图像的奇异值矩阵，具体包括：

假设原图像A∈R^m×n，则存在正交矩阵U∈R^m×m和V∈R^n×n，满足：

A＝UΣV；

式中：

Σ₁＝diag(σ₁,σ₂,…,σ_r)；则Σ₁＝diag(σ₁,σ₂,…,σ_r)为原图像A对应的奇异值矩阵；

所述获取由部分奇异值构成的重构图像，具体包括：

忽略所述奇异值矩阵中的零奇异值和接近于零的奇异值，基于剩余奇异值进行重构，构成重构图像，所述接近于零的奇异值指小于预设阈值的奇异值。

4.如权利要求1所述的方法，其特征在于，对于首帧图像，在图像中选定跟踪目标，并构建目标的字典矩阵。

5.如权利要求4所述的方法，其特征在于，以跟踪目标的灰度值为依据构建目标的字典矩阵；

所述构建目标的字典矩阵，具体包括：

在目标的预设半径范围内选定预设数量的采样点；

以每个采样点为中心，抽取目标大小的图像并转换为标准尺寸，归一化为模板向量；

将所有采样点的模板向量横向拼接组成所述目标的字典矩阵。

6.如权利要求1所述的方法，其特征在于，所述稀疏表示模型的矩阵描述为：

其中，C∈R^mxn是各粒子的表示系数组成的系数矩阵，E∈R^dxn是各粒子残差向量组成的残差矩阵，Y∈R^dxn是粒子群的观测矩阵。

Images