CN104021395A - 一种基于高阶偏最小二乘法的目标跟踪算法 - Google Patents

Abstract

本发明公开了一种基于高阶偏最小二乘法的目标跟踪算法，包括初始化阶段、训练阶段、测试阶段，和更新阶段。本发明以二维张量来表示图像块，保存了该图像块内在的空间结构信息，同时，本发明综合了多个时序的图像块及其类别来建立高阶张量，并以偏最小二乘法来分析该高阶张量与其类别矩阵的关联之处，使目标跟踪算法的性能大大提高。

Description

一种基于高阶偏最小二乘法的目标跟踪算法

技术领域

本发明涉及信息技术领域中的计算机视觉和模式识别方向，特别涉及一种基于高阶偏最小二乘法的目标跟踪算法。

背景技术

随着监控摄像头安装数量的日益增多，以及平安城市和公共安全需求的日益增长，采用人工的视频监控方式已经远远不能满足需要，因此智能视频监控技术应运而生并迅速成为一个研究热点。智能视频监控技术是一个跨领域的研究方向，它的研究内容丰富，应用领域广泛多样。一般而言，智能视频监控研究中对视频图像的处理可以分为底层、中层、以及高层三个层次。其中目标跟踪算法是智能视频监控技术中层分析阶段的核心组成部件，其目的是获得运动目标的活动时间、位置、运动方向、运动速度、大小、表观(颜色、形状、纹理)等信息。虽然目标跟踪算法的研究已经持续了很多年，研究者们提出了各种各样的跟踪方法；但是目标跟踪在实际应用中遇到的很多难点问题依然没有得到很好的解决，例如光照突变、遮挡、姿态/视角变化、相似物体与杂乱背景干扰等。

发明内容

本发明的目的在于克服现有技术之不足，提供一种基于高阶偏最小二乘法的目标跟踪算法，以二维张量来表示图像块，保存了该图像块内在的空间结构信息，同时，本发明综合了多个时序的图像块及其类别来建立高阶张量，并以偏最小二乘法来分析该高阶张量与其类别矩阵的关联之处，使目标跟踪算法的性能大大提高。

本发明解决其技术问题所采用的技术方案为：一种基于高阶偏最小二乘法的目标跟踪算法，包括初始化阶段、训练阶段、测试阶段，和更新阶段；

所述初始化阶段包括：指定一个目标物体，并设定以该目标物体的中心为中心的n-1种不同相对方位为该目标物体的n-1种非目标方位；将当前时刻记为t时刻，并提取从t-m时刻到t时刻的m帧图像，其中m为一个预先设定的正整数；针对所提取的每一帧图像，人为找到该图像中的目标物体，以该目标物体的中心为中心截取包含该目标物体的1个第一图像块，之后分别以该目标物体的n-1种非目标方位为中心截取n-1个第二图像块，其中n为一个预先设定的大于1的正整数；所有第一图像块和所有第二图像块的大小均一致；将所截取的每个第一图像块和每个第二图像块均用一个I₁×I₂的特征矩阵表示，I₁和I₂均为一个预先设定的正整数；将当前的m个第一图像块组成一个图像集，并记为目标图像集；将当前以同一种非目标方位为中心的第二图像块组成一个图像集，并记为非目标图像集，得到n-1个非目标图像集；将t时刻的一帧图像中目标物体的中心位置设为当前位置；然后转入训练阶段；

所述训练阶段包括：

A1、将当前的目标图像集的类别标记为目标类，将当前的n-1个非目标图像集的各类别分别标记为第1非目标类、第2非目标类、…第n-1非目标类；然后将所述目标类、第1非目标类、第2非目标类、…第n-1非目标类分别对应n个类别行向量，记为y₁，y₂，…，y_n，其中，y_i＝[0，0，...，1，...，0](i＝1，2，…m)，是除了第i个元素为1之外，其余全为0的向量，当i＝1时，其含义表示目标类，当1＜i≤n时，其含义表示第i-1非目标类；

A2、基于当前的1个目标图像集和n-1个非目标图像集构建一个高阶张量，记为X，且其中第一阶的n表示n个类别，第二阶和第三阶的I₁×I₂表示所截取的图像块的特征矩阵大小为I₁×I₂，第四阶的m表示m帧图像；将所述n个类别行向量y₁，y₂，…，y_n依照X的第一阶中n个类别的顺序从上到下排列、构建成一个X的类别矩阵，记为Y，得出Y∈R^n×n：

A3、利用高阶偏最小二乘法，分别将X和Y分解为

$X={\mathrm{\Σ}}_{r=1}^R{G}_r{\×}_1{t}_r{\×}_2{P_r}^{\left(1\right)}{\×}_3{P_r}^{\left(2\right)}{\×}_4{P_r}^{\left(3\right)}+E_R---\left(1\right)$

$Y={\mathrm{\Σ}}_{r=1}^R{u}_r{q}_r^T+F_R---\left(2\right)$

其中，R表示对X和Y的分解进行R次迭代，G_r表示X的第r次迭代的核心张量，t_r表示X的第r次迭代的隐藏向量，P_r ⁽¹⁾、P_r ⁽²⁾、P_r ⁽³⁾为X第r次迭代的三个加载矩阵，u_r为Y第r次迭代的隐藏向量，q_r为Y第r次迭代的加载向量，E_R为X经过R次迭代后所得的残差张量，F_R为Y经过R次迭代后所得的残差矩阵，t_r、u_r和q_r均为列向量；同时，||q_r||＝1，||t_r||＝1，以及i＝1，2，3，r＝1，2，...R；

A4、将对当前的X进行R次迭代所得的所有隐藏向量组成一个隐藏矩阵，记为T，则T＝[t₁，t₂，...t_R]；将对当前Y进行R次迭代所得的所有隐藏向量组成一个隐藏矩阵，记为U，则U＝[u₁，u₂，...u_R]；对U与T作关联处理，得出U＝TD+Z，其中D是对角矩阵，Z是高斯残差；将公式(2)中的Y分解改写为：

$Y={\mathrm{\Σ}}_{r=1}^R{u}_r{q}_r^T+F_R={\mathrm{\Σ}}_{r=1}^R{d}_r{t}_r{q}_r^T+F_R^{,}---\left(3\right)$

其中，d_r为D的第r个对角元素，F’_R＝F_R+ZQ，Q为由q₁，q₂，...q_R构成的矩阵，Q＝[q₁，q₂，...q_R]；

A5、根据公式(1)，设定

X₁＝X＝G₁×₁t₁×₂P₁ ⁽¹⁾×₃P₁ ⁽²⁾×₄P₁ ⁽³⁾+E₁

X₂＝X₁-G₁×₁t₁×₂P₁ ⁽¹⁾×₃P₁ ⁽²⁾×₄P₁ ⁽³⁾＝E₁   (4)

……

X_R＝X_R-1-G_R-1×₁t_R-1×₂P_R-1 ⁽¹⁾×₃P_R-1 ⁽²⁾×₄P_R-1 ⁽³⁾＝E_R-1

其中，E_R-1为X经过R-1次迭代后所得的残差张量；

同理根据公式(3)，得出Y₁，Y₂，...Y_R，之后根据

$\begin{array}{c}{\max }_{\{{P_r}^{\left(i\right)},q_r\}}{\left|\right|X}_r{\×}_1{Y_r}^T{\×}_1{q_r}^T{\×}_2{P_r}^{{\left(1\right)}^T}{\×}_3{P_r}^{{\left(2\right)}^T}{\×}_4{P_r}^{{\left(3\right)}^T}{\left|\right|}_F^2\\ s.t.{P_r}^{{\left(i\right)}^T}{P_r}^{\left(i\right)}=I,{\left|\right|q_r\left|\right|}_F=1,i=\mathrm{1,2,3},r=\mathrm{1,2},...R\end{array}---\left(5\right)$

同时，设定C_r＝X_r×₁Y_r ^T，利用高阶奇异值分解依次计算出C_r的单次迭代的核心张量G_r ^(C)，并求解出P_r ⁽¹⁾、P_r ⁽²⁾、P_r ⁽³⁾和q_r，r＝1，2，...R，然后根据

$\begin{array}{c}{t}_1\←{\left(X_1{\×}_2{P_1}^{{\left(1\right)}^T}{\×}_3{P_1}^{{\left(2\right)}^T}{\×}_4{P_1}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{1\left(1\right)}^{{\left(C\right)}^{+}},t_1\←t_1/{\left|\right|t_1\left|\right|}_F\\ t_2\←{\left(X_2{\×}_2{P_2}^{{\left(1\right)}^T}{\×}_3{P_2}^{{\left(2\right)}^T}{\×}_4{P_2}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{2\left(1\right)}^{{\left(C\right)}^{+}},t_2\←t_2/{\left|\right|t_2\left|\right|}_F\\ ......\\ t_R\←{\left(X_R{\×}_2{P_R}^{{\left(1\right)}^T}{\×}_3{P_R}^{{\left(2\right)}^T}{\×}_4{P_R}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{R\left(1\right)}^{{\left(C\right)}^{+}},t_R\←t_R/{\left|\right|t_R\left|\right|}_F\end{array}---\left(6\right)$

依次求解出t₁，t₂，...t_R；

最后根据

d₁＝t₁ ^Tu₁＝t₁ ^TY₁q₁

d₂＝t₂ ^Tu₂＝t₂ ^TY₂q₂   (7)

……

d_R＝t_R ^Tu_R＝t_R ^TY_Rq_R

依求解出d₁，d₂，...d_R；然后转入测试阶段；

所述测试阶段包括：

B1、提取下一时刻的一帧图像，设定该图像上以所述当前位置为中心、以指定半径长度为半径的圆形区域为该图像的搜索区域；转入步骤B2；

B2、在当前一帧图像的搜索区域中选取至少一个位置，作为当前一帧图像的测试位置；对于当前一帧图像的每个测试位置，分别以该测试位置为中心提取图像块，作为该测试位置的测试图像块；所有测试图像块大小均一致，且与所述初始化阶段中第一图像块或第二图像块的大小一致；转入步骤B3；

B3、将当前所提取的每个测试图像块均用一个I₁×I₂的特征矩阵表示；针对所提取的每个测试图像块：将该测试图像块与当前的目标图像集中的所有图像块一起组成一个新的图像集，记为测试图像集，然后基于该测试图像集构建一个新的高阶张量，记为X^new，且X^new∈R^{I1×I2×(m+1)}；将该测试图像块对应的类别行向量设为y^new，则

y^new≈X^newWDQ^T   (8)

其中，W是R列的矩阵，每一列表示为

$w_r=({P_r}^{\left(3\right)}\⊗{P_r}^{\left(2\right)}\⊗{P_r}^{\left(1\right)})G_r^{+}---\left(9\right)$

由公式(8)和(9)计算出y^new＝[β，γ₁，γ₂，...，γ_n-1]，其中β表示该测试图像块对应目标类的概率，γ_i(i＝1，...，n-1)表示该测试图像块对应第i非目标类的概率；

计算出当前所有测试图像块对应的类别行向量后，转入步骤B4；

B4、根据这些测试图像块对应的类别行向量，选取其中与所述目标类对应的类别行向量最接近的一个，若该类别行向量与所述目标类对应的类别行向量的差值大于预设的阈值，则舍弃当前所获取的所有测试图像块，并转入步骤B2；若该类别行向量与所述目标类对应的类别行向量的差值小于或等于预设的阈值，则转入更新阶段；

所述更新阶段包括：

C1、将所述当前位置更新为所选取的类别行向量所对应的测试图像块的测试位置，并记录跟踪；然后，将该测试图像块添加到当前的目标图像集中并将该目标图像集中对应时刻最早的一个图像块删除，得到1个新的目标图像集；

C2、以所述当前位置为中心获取当前一帧图像中目标物体的n-1种非目标方位；之后，分别以这n-1种非目标方位为中心提取n-1个图像块，这n-1个图像块的大小均与所述初始化阶段中第一图像块或第二图像块的大小一致；然后，将这n-1个图像块根据所围绕的非目标方位、分别添加到当前的n-1个非目标图像集中，并将这n-1个非目标图像集中对应时刻最早的一个图像块删除，得到n-1个新的非目标图像集；

C3、将当前目标图像集中所有图像块和当前n-1个非目标图像集中所有图像块均用一个I₁×I₂的特征矩阵表示，转入训练阶段。

一实施例中：所述指定半径长度为所指定的目标物体的宽度的2至3倍。

一实施例中：所述I₁×I₂的特征矩阵为I₁×I₂的灰度值特征矩阵。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1.本发明的一种基于高阶偏最小二乘法的目标跟踪算法，相对于传统的以一个特征向量来表示图像块的目标跟踪算法，本发明以二维张量(I₁×I₂的特征矩阵)来表示图像块，保存了该图像块内在的空间结构信息，同时，本发明综合了多个时序的图像块及其类别来建立高阶张量，并以偏最小二乘法来分析该高阶张量与其类别矩阵的关联之处，使目标跟踪算法的性能大大提高。

2.本发明的一种基于高阶偏最小二乘法的目标跟踪算法，精细地将单一的非目标类划分为多个类别，从而能够找出对目标类别造成干扰最大的非目标类别，最终改善该目标跟踪算法的性能。

附图说明

图1为本发明实施例的一种基于高阶偏最小二乘法的目标跟踪算法示意图。

具体实施方式

实施例，

如图1所示，本发明提供了一种基于高阶偏最小二乘法的目标跟踪算法，包括初始化阶段001、训练阶段002、测试阶段003，和更新阶段004；

所述初始化阶段001包括：指定一个目标物体，并设定以该目标物体的中心为中心的n-1种不同相对方位为该目标物体的n-1种非目标方位(例如某一种非目标方位为，在目标物体中心点的东方偏南30度、距离该目标物体中心3个像素点的位置)；将当前时刻记为t时刻，并提取从t-m时刻到t时刻的m帧图像，其中m为一个预先设定的正整数；针对所提取的每一帧图像，人为找到该图像中的目标物体，以该目标物体的中心为中心截取包含该目标物体的1个第一图像块，之后分别以该目标物体的n-1种非目标方位为中心截取n-1个第二图像块，其中n为一个预先设定的大于1的正整数；所有第一图像块和所有第二图像块的大小均一致；将所截取的每个第一图像块和每个第二图像块均用一个I₁×I₂的特征矩阵表示，I₁和I₂均为一个预先设定的正整数；将当前的m个第一图像块组成一个图像集，并记为目标图像集；将当前以同一种非目标方位为中心的第二图像块组成一个图像集，并记为非目标图像集，得到n-1个非目标图像集；将t时刻的一帧图像中目标物体的中心位置设为当前位置；然后转入训练阶段002；

所述训练阶段002包括：

A1、将当前的目标图像集的类别标记为目标类，将当前的n-1个非目标图像集的各类别分别标记为第1非目标类、第2非目标类、…第n-1非目标类；然后将所述目标类、第1非目标类、第2非目标类、…第n-1非目标类分别对应n个类别行向量，记为y₁，y₂，…，y_n，其中，y_i＝[0，0，...，1，...，0](i＝1，2，…m)，是除了第i个元素为1之外，其余全为0的向量，当i＝1时，其含义表示目标类，当1＜i≤n时，其含义表示第i-1非目标类；

A2、基于当前的1个目标图像集和n-1个非目标图像集构建一个高阶张量，记为X，且其中第一阶的n表示n个类别，第二阶和第三阶的I₁×I₂表示所截取的图像块的特征矩阵大小为I₁×I₂，第四阶的m表示m帧图像；将所述n个类别行向量y₁，y₂，…，y_nY∈R^n×n；

A3、利用高阶偏最小二乘法，分别将X和Y分解为

$X={\mathrm{\Σ}}_{r=1}^R{G}_r{\×}_1{t}_r{\×}_2{P_r}^{\left(1\right)}{\×}_3{P_r}^{\left(2\right)}{\×}_4{P_r}^{\left(3\right)}+E_R---\left(1\right)$

$Y={\mathrm{\Σ}}_{r=1}^R{u}_r{q}_r^T+F_R---\left(2\right)$

其中，R表示对X和Y的分解进行R次迭代，G_r表示X的第r次迭代的核心张量，t_r表示X的第r次迭代的隐藏向量，P_r ⁽¹⁾、P_r ⁽²⁾、P_r ⁽³⁾为X第r次迭代的三个加载矩阵，u_r为Y第r次迭代的隐藏向量，q_r为Y第r次迭代的加载向量，E_R为X经过R次迭代后所得的残差张量，F_R为Y经过R次迭代后所得的残差矩阵，t_r、u_r和q_r均为列向量；同时，||q_r||＝1，||t_r||＝1，以及i＝1，2，3，r＝1，2，...R；当R越大时，代表进行越多次迭代，得出的隐藏向量也就越精细，而残差矩阵或残差张量也会越小。但是进行太多次，可能会影响系统速度，占用太多计算资源，所以R需要在预测结果的精确度和计算效率之间取一个平衡点，一般可以根据经验来取值，也可以根据交叉验算等算法来确定；

A4、将对当前的X进行R次迭代所得的所有隐藏向量组成一个隐藏矩阵，记为T，则T＝[t₁，t₂，...t_R]；将对当前Y进行R次迭代所得的所有隐藏向量组成一个隐藏矩阵，记为U，则U＝[u₁，u₂，...u_R]；对U与T作关联处理，得出U＝TD+Z，其中D是对角矩阵，Z是高斯残差；将公式(2)中的Y分解改写为：

$Y={\mathrm{\Σ}}_{r=1}^R{u}_r{q}_r^T+F_R={\mathrm{\Σ}}_{r=1}^R{d}_r{t}_r{q}_r^T+F_R^{,}---\left(3\right)$

其中，d_r为D的第r个对角元素，F_R＝F_R+ZQ，Q为由q₁，q₂，...q_R构成的矩阵，Q＝[q₁，q₂，...q_R]；

A5、根据公式(1)，设定

X₁＝X＝G₁×₁t₁×₂P₁ ⁽¹⁾×₃P₁ ⁽²⁾×₄P₁ ⁽³⁾+E₁

X₂＝X₁-G₁×₁t₁×₂P₁ ⁽¹⁾×₃P₁ ⁽²⁾×₄P₁ ⁽³⁾＝E₁   (4)

……

X_R＝X_R-1-G_R-1×₁t_R-1×₂P_R-1 ⁽¹⁾×₃P_R-1 ⁽²⁾×₄P_R-1 ⁽³⁾＝E_R-1

其中，E_R-1为X经过R-1次迭代后所得的残差张量；

同理根据公式(3)，得出Y₁，Y₂，...Y_R，

$\begin{array}{c}{Y}_1=d_1{t}_1{q}_1^T+F_1^{,}\\ Y_2=Y_1-d_1{t}_1{q}_1^T=F_1^{,}\\ ......\\ Y_R=Y_{R-1}-d_{R-1}{t}_{R-1}{q}_{R-1}^T=F_{R-1}^{,}\end{array}$

其中，F’_R-1为Y经过如上所述的R-1次迭代后所得的残差矩阵；

之后根据

$\begin{array}{c}{\max }_{\{{P_r}^{\left(i\right)},q_r\}}{\left|\right|X}_r{\×}_1{Y_r}^T{\×}_1{q_r}^T{\×}_2{P_r}^{{\left(1\right)}^T}{\×}_3{P_r}^{{\left(2\right)}^T}{\×}_4{P_r}^{{\left(3\right)}^T}{\left|\right|}_F^2\\ s.t.{P_r}^{{\left(i\right)}^T}{P_r}^{\left(i\right)}=I,{\left|\right|q_r\left|\right|}_F=1,i=\mathrm{1,2,3},r=\mathrm{1,2},...R\end{array}---\left(5\right)$

同时，设定C_r＝X_r×₁Y_r ^T，利用高阶奇异值分解依次计算出C_r的单次迭代的核心张量G_r ^(C)，并求解出P_r ⁽¹⁾、P_r ⁽²⁾、P_r ⁽³⁾和q_r，r＝1，2，...R；

每一次分解都要尽可能地提取数据的有效成分，因此需要使残差张量和残差矩阵最小化；例如，针对第一次分解，X₁＝X＝G₁×₁t₁×₂P₁ ⁽¹⁾×₃P₁ ⁽²⁾×₄P₁ ⁽³⁾+E₁，需要使||E₁||_F和||F₁’||_F同时最小，等价于求||G₁||_R和||d₁||_F同时最大，又等价于求最大；而由X₁＝X＝G₁×₁t₁×₂P₁ ⁽¹⁾×₃P₁ ⁽²⁾×₄P₁ ⁽³⁾+E₁，可得出在忽略残差的情况下， $G_1=X_1{\×}_1{t_1}^T{\×}_2{P_1}^{{\left(1\right)}^T}{\×}_3{P_1}^{{\left(2\right)}^T}{\×}_4{P_1}^{{\left(3\right)}^T},$ 同理， $d_1=t_1^T{Y}_1{q}_1,$ 另外，由 $\left|\right|t_1\left|\right|=t_1^T{t}_1=1,$ 因此，将G₁和d₁代入则最终可得需要最大化 ${\left|\right|X_1{\×}_1{Y_1}^T{\×}_1{q_1}^T{\×}_2{P_1}^{{\left(1\right)}^T}{\×}_3{P_1}^{{\left(2\right)}^T}{\×}_4{P_1}^{{\left(3\right)}^T}\left|\right|}_F^2,$ 扩展到第r次迭代，从而得出公式(5)；

而 $C_r=X_r{\×}_1{Y_r}^T\≈d_r{G}_r{\×}_1{q}_r{\×}_2{P_r}^{\left(1\right)}{\×}_3{P_r}^{\left(2\right)}{\×}_4{P_r}^{\left(3\right)}\⇒C_r\≈G_r^{\left(C\right)}{\×}_1{q}_r{\×}_2{P_r}^{\left(1\right)}{\×}_3{P_r}^{\left(2\right)}{\×}_4{P_r}^{\left(3\right)},$ 因此可利用现有的HOOI算法(高阶正交迭代算法)来分解C_r，从而直接得出G_r ^(C)、P_r ⁽¹⁾、P_r ⁽²⁾、P_r ⁽³⁾和q_r，r＝1，2，...R，并可得出G_r ^(C)＝d_rG_r，与G_r存在线性关系；

然后根据

$\begin{array}{c}{t}_1\←{\left(X_1{\×}_2{P_1}^{{\left(1\right)}^T}{\×}_3{P_1}^{{\left(2\right)}^T}{\×}_4{P_1}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G_{1\left(1\right)}^{{\left(C\right)}^{+},}t}_1\←t_1/{\left|\right|t_1\left|\right|}_F\\ t_2\←{\left(X_2{\×}_2{P_2}^{{\left(1\right)}^T}{\×}_3{P_2}^{{\left(2\right)}^T}{\×}_4{P_2}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{2\left(1\right)}^{{\left(C\right)}^{+}},t_2\←t_2/{\left|\right|t_2\left|\right|}_F\\ ......\end{array}---\left(6\right)$

$t_R\←{\left(X_R{\×}_2{P_R}^{{\left(1\right)}^T}{\×}_3{P_R}^{{\left(2\right)}^T}{\×}_4{P_R}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{R\left(1\right)}^{{\left(C\right)}^{+}},t_R\←t_R/{\left|\right|t_R\left|\right|}_F$

依次求解出t₁，t₂，...t_R；需要解释说明的是，若设定一个高阶张量为A，则A₍₁₎表示A的mode-1展开，而A⁺表示A的M-P伪逆；以X的第一次迭代为例，可得到公式(6)的推导过程为

$\begin{array}{c}{X}_1=G_1{\×}_1{t}_1{\×}_2{P_1}^{\left(1\right)}{\×}_3{P_1}^{\left(2\right)}{\×}_4{P_1}^{\left(3\right)}+E_1\\ \⇒X_1\≈G_1{\×}_1{t}_1{\×}_2{P_1}^{\left(1\right)}{\×}_3{P_1}^{\left(2\right)}{\×}_4{P_1}^{\left(3\right)}\\ \⇒X_1{\×}_2{P_1}^{{\left(1\right)}^T}{\×}_3{P_1}^{{\left(2\right)}^T}{\×}_4{P_1}^{{\left(3\right)}^T}\≈G_1{\×}_1{t}_1\\ \⇒{\left(X_1{\×}_2{P_1}^{{\left(1\right)}^T}{\×}_3{P_1}^{{\left(2\right)}^T}{\×}_4{P_1}^{{\left(3\right)}^T}\right)}_{\left(1\right)}\≈G_{1\left(1\right)}{\×}_1{t}_1\\ \⇒{\left(X_1{\×}_2{P_1}^{{\left(1\right)}^T}{\×}_3{P_1}^{{\left(2\right)}^T}{\×}_4{P_1}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{1\left(1\right)}^{+}\→t_1\\ \⇒{\left(X_1{\×}_2{P_1}^{{\left(1\right)}^T}{\×}_3{P_1}^{{\left(2\right)}^T}{\×}_4{P_1}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{1\left(1\right)}^{\left(C\right)+}\→t_1\end{array}$ (由于G₁与G₁ ^(c)存在线性关系，因此可用来求解)；

最后根据

d₁＝t₁ ^Tu₁＝t₁ ^TY₁q₁

d₂＝t₂ ^Tu₂＝t₂ ^TY₂q₂   (7)

……

d_R＝t_R ^Tu_R＝t_R ^TY_Rq_R

依求解出d₁，d₂，...d_R；然后转入测试阶段003；其中，以Y的第一次迭代为例，可得到公式(7)的推导过程为

$\begin{array}{c}{Y}_1=d_1{t}_1{q}_1^T+F_1^{,}\\ \⇒Y_1\≈d_1{t}_1{q}_1^T\\ \⇒d_1\≈t_1^T{Y}_1{q}_1\end{array}$

所述测试阶段003包括：

B1、提取下一时刻的一帧图像，设定该图像上以所述当前位置为中心、以指定半径长度为半径的圆形区域为该图像的搜索区域；转入步骤B2；

B2、在当前一帧图像的搜索区域中选取至少一个位置，作为当前一帧图像的测试位置；对于当前一帧图像的每个测试位置，分别以该测试位置为中心提取图像块，作为该测试位置的测试图像块；所有测试图像块大小均一致，且与所述初始化阶段001中第一图像块或第二图像块的大小一致；转入步骤B3；

B3、将当前所提取的每个测试图像块均用一个I₁×I₂的特征矩阵表示；针对所提取的每个测试图像块：将该测试图像块与当前的目标图像集中的所有图像块一起组成一个新的图像集，记为测试图像集，然后基于该测试图像集构建一个新的高阶张量，记为X^new，且X^new∈R^{I1×I2×(m+1)}，也就是将该测试图像块的I₁×I₂的特征矩阵添加到当前的X中属于目标类的那部分的最后；将该测试图像块对应的类别行向量设为y^new，则

y^new≈X^newWDQ^T   (8)

其中，W是R列的矩阵，每一列表示为

$w_r=({P_r}^{\left(3\right)}\⊗{P_r}^{\left(2\right)}\⊗{P_r}^{\left(1\right)})G_r^{+}---\left(9\right)$

由公式(8)和(9)计算出y^new＝[β，γ₁，γ₂，...，γ_n-1]，其中β表示该测试图像块对应目标类的概率，γ_i(i＝1，...，n-1)表示该测试图像块对应第i非目标类的概率；

公式(8)和(9)的推导过程为，首先由公式(3)可得， 其次，根据如上所述的公式(6)的推导过程可得

$t_r\←{\left(X_r{\×}_2{P_r}^{{\left(1\right)}^T}{\×}_3{P_r}^{{\left(2\right)}^T}{\×}_4{P_4}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{r\left(1\right)}^{+},(r=\mathrm{1,2},...R)$

$\⇒t_r\←X_r({P_r}^{\left(3\right)}\⊗{P_r}^{\left(2\right)}\⊗{P_r}^{\left(1\right)})G_r^{+}$ (根据克罗内克积的性质进行等价推导)

$\⇒t_r\←X_r{w}_r$ (已设定 $w_r=({P_r}^{\left(3\right)}\⊗{P_r}^{\left(2\right)}\⊗{P_r}^{\left(1\right)})G_r^{+}$ )

$\⇒T=\mathrm{XW}$ (已设定T＝[t₁，t₂，...t_R]，W＝[w₁，w₂，...w_R])

$\⇒Y\≈{\mathrm{XWDQ}}^T$

$\⇒y^{\mathrm{new}}\≈X^{\mathrm{new}}{\mathrm{WDQ}}^T$

计算出当前所有测试图像块对应的类别行向量后，转入步骤B4；

B4、根据这些测试图像块对应的类别行向量，选取其中与所述目标类对应的类别行向量最接近的一个，若该类别行向量与所述目标类对应的类别行向量的差值大于预设的阈值，则舍弃当前所获取的所有测试图像块，并转入步骤B2；若该类别行向量与所述目标类对应的类别行向量的差值小于或等于预设的阈值，则转入更新阶段004；

所述更新阶段004包括：

C1、将所述当前位置更新为所选取的类别行向量所对应的测试图像块的测试位置，并记录跟踪；然后，将该测试图像块添加到当前的目标图像集中并将该目标图像集中对应时刻最早的一个图像块删除，得到1个新的目标图像集；

C2、以所述当前位置为中心获取当前一帧图像中目标物体的n-1种非目标方位；之后，分别以这n-1种非目标方位为中心提取n-1个图像块，这n-1个图像块的大小均与所述初始化阶段001中第一图像块或第二图像块的大小一致；然后，将这n-1个图像块根据所围绕的非目标方位、分别添加到当前的n-1个非目标图像集中，并将这n-1个非目标图像集中对应时刻最早的一个图像块删除，得到n-1个新的非目标图像集；

C3、将当前目标图像集中所有图像块和当前n-1个非目标图像集中所有图像块均用一个I₁×I₂的特征矩阵表示，转入训练阶段002。

一实施例中：所述指定半径长度为所指定的目标物体的宽度的2至3倍。

一实施例中：所述I₁×I₂的特征矩阵为I₁×I₂的灰度值特征矩阵。

上述实施例仅用来进一步说明本发明的一种基于高阶偏最小二乘法的目标跟踪算法，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围内。

Claims (3)

1.一种基于高阶偏最小二乘法的目标跟踪算法，其特征在于，包括初始化阶段、训练阶段、测试阶段，和更新阶段；

所述初始化阶段包括：指定一个目标物体，并设定以该目标物体的中心为中心的n-1种不同相对方位为该目标物体的n-1种非目标方位；将当前时刻记为t时刻，并提取从t-m时刻到t时刻的m帧图像，其中m为一个预先设定的正整数；针对所提取的每一帧图像，人为找到该图像中的目标物体，以该目标物体的中心为中心截取包含该目标物体的1个第一图像块，之后分别以该目标物体的n-1种非目标方位为中心截取n-1个第二图像块，其中n为一个预先设定的大于1的正整数；所有第一图像块和所有第二图像块的大小均一致；将所截取的每个第一图像块和每个第二图像块均用一个I₁×I₂的特征矩阵表示，I₁和I₂均为一个预先设定的正整数；将当前的m个第一图像块组成一个图像集，并记为目标图像集；将当前以同一种非目标方位为中心的第二图像块组成一个图像集，并记为非目标图像集，得到n-1个非目标图像集；将t时刻的一帧图像中目标物体的中心位置设为当前位置；然后转入训练阶段；

所述训练阶段包括：

A1、将当前的目标图像集的类别标记为目标类，将当前的n-1个非目标图像集的各类别分别标记为第1非目标类、第2非目标类、…第n-1非目标类；然后将所述目标类、第1非目标类、第2非目标类、…第n-1非目标类分别对应n个类别行向量，记为y₁，y₂，…，y_n，其中，y_i＝[0，0，...，1，...，0](i＝1，2，…m)，是除了第i个元素为1之外，其余全为0的向量，当i＝1时，其含义表示目标类，当1＜i≤n时，其含义表示第i-1非目标类；

A2、基于当前的1个目标图像集和n-1个非目标图像集构建一个高阶张量，记为X，且其中第一阶的n表示n个类别，第二阶和第三阶的I₁×I₂表示所截取的图像块的特征矩阵大小为I₁×I₂，第四阶的m表示m帧图像；将所述n个类别行向量y₁，y₂，…，y_n依照X的第一阶中n个类别的顺序从上到下排列、构建成一个X的类别矩阵，记为Y，得出Y∈R^n×n；

A3、利用高阶偏最小二乘法，分别将X和Y分解为

$X={\mathrm{\Σ}}_{r=1}^R{G}_r{\×}_1{t}_r{\×}_2{P_r}^{\left(1\right)}{\×}_3{P_r}^{\left(2\right)}{\×}_4{P_r}^{\left(3\right)}+E_R---\left(1\right)$

$Y={\mathrm{\Σ}}_{r=1}^R{u}_r{q}_r^T+F_R---\left(2\right)$

其中，R表示对X和Y的分解进行R次迭代，G_r表示X的第r次迭代的核心张量，t_r表示X的第r次迭代的隐藏向量，P_r ⁽¹⁾、P_r ⁽²⁾、P_r ⁽³⁾为X第r次迭代的三个加载矩阵，u_r为Y第r次迭代的隐藏向量，q_r为Y第r次迭代的加载向量，E_R为X经过R次迭代后所得的残差张量，F_R为Y经过R次迭代后所得的残差矩阵，t_r、u_r和q_r均为列向量；同时，||q_r||＝1，||t_r||＝1，以及i＝1，2，3，r＝1，2，...R；

A4、将对当前的X进行R次迭代所得的所有隐藏向量组成一个隐藏矩阵，记为T，则T＝[t₁，t₂，...t_R]；将对当前Y进行R次迭代所得的所有隐藏向量组成一个隐藏矩阵，记为U，则U＝[u₁，u₂，...u_R]；对U与T作关联处理，得出U＝TD+Z，其中D是对角矩阵，Z是高斯残差；将公式(2)中的Y分解改写为：

$Y={\mathrm{\Σ}}_{r=1}^R{u}_r{q}_r^T+F_R={\mathrm{\Σ}}_{r=1}^R{d}_r{t}_r{q}_r^T+F_R^{,}---\left(3\right)$

其中，d_r为D的第r个对角元素，F_R＝F_R+ZQ，Q为由q₁，q₂，...q_R构成的矩阵，Q＝[q₁，q₂，...q_R]；

A5、根据公式(1)，设定

X₁＝X＝G₁×₁t₁×₂P₁ ⁽¹⁾×₃P₁ ⁽²⁾×₄P₁ ⁽³⁾+E₁

X₂＝X₁-G₁×₁t₁×₂P₁ ⁽¹⁾×₃P₁ ⁽²⁾×₄P₁ ⁽³⁾＝E₁   (4)

……

X_R＝X_R-1-G_R-1×₁t_R-1×₂P_R-1 ⁽¹⁾×₃P_R-1 ⁽²⁾×₄P_R-1 ⁽³⁾＝E_R-1

其中，E_R-1为X经过R-1次迭代后所得的残差张量；

同理根据公式(3)，得出Y₁，Y₂，...Y_R，之后根据

$\begin{array}{c}{\max }_{\{{P_r}^{\left(i\right)},q_r\}}{\left|\right|X}_r{\×}_1{Y_r}^T{\×}_1{q_r}^T{\×}_2{P_r}^{{\left(1\right)}^T}{\×}_3{P_r}^{{\left(2\right)}^T}{\×}_4{P_r}^{{\left(3\right)}^T}{\left|\right|}_F^2\\ s.t.{P_r}^{{\left(i\right)}^T}{P_r}^{\left(i\right)}=I,{\left|\right|q_r\left|\right|}_F=1,i=\mathrm{1,2,3},r=\mathrm{1,2},...R\end{array}---\left(5\right)$

同时，设定C_r＝X_r×₁Y_r ^T，利用高阶奇异值分解依次计算出C_r的单次迭代的核心张量G_r ^(C)，并求解出P_r ⁽¹⁾、P_r ⁽²⁾、P_r ⁽³⁾和q_r，r＝1，2，...R，然后根据

$\begin{array}{c}{t}_1\←{\left(X_1{\×}_2{P_1}^{{\left(1\right)}^T}{\×}_3{P_1}^{{\left(2\right)}^T}{\×}_4{P_1}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{1\left(1\right)}^{{\left(C\right)}^{+}},t_1\←t_1/{\left|\right|t_1\left|\right|}_F\\ t_2\←{\left(X_2{\×}_2{P_2}^{{\left(1\right)}^T}{\×}_3{P_2}^{{\left(2\right)}^T}{\×}_4{P_2}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{2\left(1\right)}^{{\left(C\right)}^{+}},t_2\←t_2/{\left|\right|t_2\left|\right|}_F\\ ......\\ t_R\←{\left(X_R{\×}_2{P_R}^{{\left(1\right)}^T}{\×}_3{P_R}^{{\left(2\right)}^T}{\×}_4{P_R}^{{\left(3\right)}^T}\right)}_{\left(1\right)}{G}_{R\left(1\right)}^{{\left(C\right)}^{+}},t_R\←t_R/{\left|\right|t_R\left|\right|}_F\end{array}---\left(6\right)$

依次求解出t₁，t₂，...t_R；

最后根据

d₁＝t₁ ^Tu₁＝t₁ ^TY₁q₁

d₂＝t₂ ^Tu₂＝t₂ ^TY₂q₂   (7)

……

d_R＝t_R ^Tu_R＝t_R ^TY_Rq_R

依求解出d₁，d₂，...d_R；然后转入测试阶段；

所述测试阶段包括：

B1、提取下一时刻的一帧图像，设定该图像上以所述当前位置为中心、以指定半径长度为半径的圆形区域为该图像的搜索区域；转入步骤B2；

B2、在当前一帧图像的搜索区域中选取至少一个位置，作为当前一帧图像的测试位置；对于当前一帧图像的每个测试位置，分别以该测试位置为中心提取图像块，作为该测试位置的测试图像块；所有测试图像块大小均一致，且与所述初始化阶段中第一图像块或第二图像块的大小一致；转入步骤B3；

B3、将当前所提取的每个测试图像块均用一个I₁×I₂的特征矩阵表示；针对所提取的每个测试图像块：将该测试图像块与当前的目标图像集中的所有图像块一起组成一个新的图像集，记为测试图像集，然后基于该测试图像集构建一个新的高阶张量，记为X^new，且X^new∈R^{I1×I2×(m+1)}；将该测试图像块对应的类别行向量设为y^new，则

y^new≈X^newWDQ^T   (8)

其中，W是R列的矩阵，每一列表示为

$w_r=({P_r}^{\left(3\right)}\⊗{P_r}^{\left(2\right)}\⊗{P_r}^{\left(1\right)})G_r^{+}---\left(9\right)$

由公式(8)和(9)计算出y^new＝[β，γ₁，γ₂，...，γ_n-1]，其中β表示该测试图像块对应目标类的概率，γ_i(i＝1，...，n-1)表示该测试图像块对应第i非目标类的概率；

计算出当前所有测试图像块对应的类别行向量后，转入步骤B4；

B4、根据这些测试图像块对应的类别行向量，选取其中与所述目标类对应的类别行向量最接近的一个，若该类别行向量与所述目标类对应的类别行向量的差值大于预设的阈值，则舍弃当前所获取的所有测试图像块，并转入步骤B2；若该类别行向量与所述目标类对应的类别行向量的差值小于或等于预设的阈值，则转入更新阶段；

所述更新阶段包括：

C1、将所述当前位置更新为所选取的类别行向量所对应的测试图像块的测试位置，并记录跟踪；然后，将该测试图像块添加到当前的目标图像集中并将该目标图像集中对应时刻最早的一个图像块删除，得到1个新的目标图像集；

C2、以所述当前位置为中心获取当前一帧图像中目标物体的n-1种非目标方位；之后，分别以这n-1种非目标方位为中心提取n-1个图像块，这n-1个图像块的大小均与所述初始化阶段中第一图像块或第二图像块的大小一致；然后，将这n-1个图像块根据所围绕的非目标方位、分别添加到当前的n-1个非目标图像集中，并将这n-1个非目标图像集中对应时刻最早的一个图像块删除，得到n-1个新的非目标图像集；

C3、将当前目标图像集中所有图像块和当前n-1个非目标图像集中所有图像块均用一个I₁×I₂的特征矩阵表示，转入训练阶段。

2.如权利要求1所述的一种基于高阶偏最小二乘法的目标跟踪算法，其特征在于，所述指定半径长度为所指定的目标物体的宽度的2至3倍。

3.如权利要求1所述的一种基于高阶偏最小二乘法的目标跟踪算法，其特征在于，所述I₁×I₂的特征矩阵为I₁×I₂的灰度值特征矩阵。