CN106570886A - 一种基于超分辨率重建的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于超分辨率重建的目标跟踪方法，该方法首先提出一种非线性迭代算法对目标图像序列的低分辨率图像进行超分辨率重建；其次，对超分辨率重建后的图像进行标准化并确定期望的运动目标区域；最后，结合变模板方法，在期望的运动目标区域中对目标进行检测与跟踪。本发明基于超分辨率重建的目标跟踪方法，较好解决了目标运动中形变造成的检测困难，检测与跟踪效果良好。

Description

一种基于超分辨率重建的目标跟踪方法

技术领域

本发明涉及一种目标跟踪方法，特别是涉及一种基于超分辨率重建的目标跟踪方法，属于信息感知与识别技术领域。

背景技术

随着模式识别和各种智能系统技术的发展，动态目标识别技术得到了广泛的应用。基于图像序列的运动目标检测和跟踪是指在图像序列中实时地检测出运动目标并跟踪它们。目标检测是指在给定的图片中确定目标的位置及大小的过程。文献中的方法主要有：基于启发式规则的方法、基于特征的方法、基于聚类学习的方法、以及基于人工神经网的方法等。目标检测技术可以用来搜索图像序列中目标的初始位置，也可用于在跟踪过程中定位目标。但由于这些方法的计算复杂度比较高，因而难以满足目标跟踪的实时性要求。目标跟踪是指在输入图像序列中确定某个目标的运动轨迹及大小变化的过程。目标跟踪方法主要有：基于外观特征信息的方法、基于运动信息的方法、基于运动模型的方法、基于局部特征的方法等。这些方法的共同出发点是利用相关的启发性知识(如根据外观特征和运动信息限定搜索空间)达到快速跟踪的目的，通常只使用了目标的一小部分或局部的分布信息，在一些典型的约束环境下(如背景简单静止的视频等)可以取得很好的目标跟踪效果。

在图像序列的目标跟踪中，图像的质量是影响其准确率的重要因素，而往往我们获得的图像分辨率较低，质量较差，这样，严重影响了目标跟踪的效果。

发明内容

本发明所要解决的技术问题是：提供一种基于超分辨率重建的目标跟踪方法，将分辨率较低的图像序列进行了超分辨率重建，大大改善了图像的质量，并利用变模板较好的解决了对图像序列中目标运动变形的检测问题和传统方法漏检测的局限，提高了目标跟踪的匹配准确率。

本发明为解决上述技术问题采用以下技术方案：

一种基于超分辨率重建的目标跟踪方法，包括如下步骤：

步骤1，利用非线性迭代算法对输入的低分辨率图像序列进行超分辨率重建，得到超分辨率图像序列；

步骤2，对超分辨率图像序列以及初始模板进行标准化处理，并确定期望的目标运动区域；

步骤3，对期望的目标运动区域，利用变模板匹配方法对目标进行检测跟踪。

作为本发明的一种优选方案，所述步骤1的具体过程包括如下步骤：

步骤1-1，计算低分辨率图像序列运动参数的初始解α⁽⁰⁾；

步骤1-2，根据α⁽⁰⁾求得超分辨率图像序列的初始解z⁽⁰⁾以及W(α⁽⁰⁾)、J(z⁽⁰⁾,α⁽⁰⁾)、y-W(α⁽⁰⁾)；其中，z⁽⁰⁾＝(W^T(α⁽⁰⁾)W(α⁽⁰⁾)+λT(ε))^-1W^T(α⁽⁰⁾)y；

步骤1-3，对于第c次迭代，c为大于等于0的整数，计算P^(c)，Q^(c)，其中

步骤1-4，根据得到

步骤1-5，更新估计值α^(c+1)＝α^(c)+Δα^(c)和z^(c+1)＝z^(c)+Δz^(c)；

步骤1-6，对于第c+1次迭代，如果c+1的值大于规定迭代次数，则终止迭代，且超分辨率图像序列的最终解为z^(c+1)；否则，返回步骤1-3继续；

上述步骤中，W(α)为图像序列运动参数α的方程，J(z,α)为W(α)z和α的雅克比行列式，k＝1,2,…,N，y_k为低分辨率图像序列中第k帧图像，N为低分辨率图像序列的总帧数，λ为配准参数，T(ε)＝L(ε)^TL(ε)表示二次型z^Tz的系数，L(ε)表示T(ε)分解后的系数，Δα、Δz分别表示运动参数α、超分辨率图像z的运动变化，右上角T表示转置。

作为本发明的一种优选方案，步骤2所述对超分辨率图像序列进行标准化处理的公式为：

z′_k(i,j)＝[255/(Max-Min)](z_k(i,j)-Min)

其中，z′_k(i,j)、z_k(i,j)分别表示标准化后、标准化前的超分辨率图像序列中第k帧图像的灰度值，Max＝max(z_k(i,j))，Min＝min(z_k(i,j))，(i,j)表示像素点，k＝1,2,…,N，N为低分辨率图像序列的总帧数。

作为本发明的一种优选方案，步骤2所述确定期望的目标运动区域的具体过程包括如下步骤：

步骤2-1，设定阈值通过如下公式获得反映运动目标可能存在区域的图像M_k，

步骤2-2，将每帧图像M_k中灰度值为0的像素点去除，灰度值不为0的像素点保留，得到不规则区域S_l，l＝1,2,…,L，L≤N，将不规则区域S_l所在图像M_k中能将S_l包含在内的最小外接矩形作为可能的目标运动区域MR_l，L为所有可能的目标运动区域个数；

步骤2-3，若可能的目标运动区域MR_l的长小于η倍标准化后初始模板的长或者可能的目标运动区域MR_l的宽小于η倍标准化后初始模板的宽，则将满足上述条件的区域去除，0<η<1；

步骤2-4，以步骤2-3剩下区域中的第一个区域的中心为圆心，α||V||(α≥1)为半径画圆，将剩下区域中与该圆有交点或者包含在圆内的区域作为期望的目标运动区域；当没有期望的目标运动区域时，以剩下区域中的第二个区域的中心为圆心，增加α的值，以α||V||为半径画圆，再次判断有无期望的目标运动区域；以此类推，直到至少有一个期望的目标运动区域存在；

上述步骤中，z′_k(i,j)表示标准化后的超分辨率图像序列中第k帧图像的灰度值，N为低分辨率图像序列的总帧数，Down、Up分别表示能将S_l包含在内的最小外接矩形垂直投影的下、上边界，Right、Left分别表示能将S_l包含在内的最小外接矩形垂直投影的右、左边界。

作为本发明的一种优选方案，所述步骤3的具体过程包括如下步骤：

步骤3-1，对任意一个期望的目标运动区域，利用如下方法进行模板更新：将在第d-1个区域中匹配到的目标区域记为R_d-1，并以第d-1个区域时的匹配位置为中心，以第d-1个区域的匹配模板T_d-1的长宽在该区域对应的标准化后超分辨率图像上截取子图像SR_d-1；根据目标匹配相关系数法分别计算R_d-1与T'_d-1的相关系数最大值RT_1,d和SR_d-1与T_d-1的相关系数RT_2,d；

计算ΔRT_2,d＝RT_2,d-1-RT_2,d，当差值ΔRT_2,d大于给定的阈值ΔR且RT_2,d<0.95时，第d个区域的匹配模板为否则，第d个区域的匹配模板为T_d-1；

其中，T'_d-1的求取方法如下：设R_d-1为m₁×n₁的图像，T_d-1为k₁×l₁的图像，取M₁＝max{m₁,k₁}，N₁＝max{n₁,l₁}，将T_d-1扩展成M₁×N₁的图像T_d'_-1，扩展部分的灰度值设置为0；

步骤3-2，对任意一个期望的目标运动区域，利用对应的模板进行目标检测；

第一种情况，当前区域采用前一个区域的模板进行检测，预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标，停止搜索；若则在大于预设分辨率的分辨率下进行检测，如果检测到目标，则停止搜索；若则认为当前区域不存在目标；如果上述过程未检测到目标且各个分辨率下RT_1,d的最大值大于等于则更新模板后重复上述搜索过程；

第二种情况，当前区域采用更新后的模板进行检测，预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标，停止搜索；若则在大于预设分辨率的分辨率下进行检测，如果检测到目标，则停止搜索；若则认为当前区域不存在目标；

如果上述两种情况均未检测到目标，则跳至下一个区域并重复上述两种情况，直至检测到目标。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明将分辨率较低的图像序列进行了超分辨率重建，大大改善了图像的质量，并利用变模板较好的解决了对图像序列中目标运动变形的检测问题和传统方法漏检测的局限，提高了目标跟踪的匹配准确率。

2、本发明相较于传统方法跟踪到大概25帧左右时固定模板不能适应目标的形变，以致目标丢失的问题，大大提高了对目标形变的适应性，到200帧时，目标的检测和跟踪依然很精确，并且跟踪的效率有很大的提高。

3、本发明目标定位准确、跟踪的鲁棒性很好。在图像灰度变化较大、目标变形时也可以很好地跟踪目标。

附图说明

图1是本发明基于超分辨率重建的目标跟踪方法的流程图。

图2是本发明实施例图像序列的其中一帧图像，其中，(a)为标准化前的图像，(b)为标准化后的图像。

图3是本发明方法中反映图2中运动目标可能存在区域的图像。

图4是本发明方法中反映图3在垂直方向和水平方向的灰度投影图，其中，(a)为垂直方向，(b)为水平方向。

图5是本发明实施例部分图像序列的截屏。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明提出了一种基于超分辨率增强和变模板匹配的图像序列目标检测与跟踪算法，此算法在对图像序列中目标进行跟踪之前，用一种非线性迭代的方法，增加了图像的超分辨率重建步骤，从而显著提升了图像的质量，也对后面的目标跟踪起到了积极的效果，试验表明，此算法目标跟踪匹配效果较好，有良好的应用前景。

如图1所示，为基于超分辨率图像重建的目标跟踪方法的流程图，其中利用非线性迭代算法对输入的低分辨率图像序列进行超分辨率重建，包括以下步骤：

步骤1、根据通用算法求出运动参数初始解α⁽⁰⁾；

令：z为超分辨率(Super Resolution，SR)目标图像的向量形式，即z为目标图像矩阵按行向量进行叠加后形成的向量，其中，y_k(k＝1,2,…,N)为图像序列中第k帧低分辨率(Low Resolution，LR)目标图像，N为图像序列中所有图像的总帧数，而其中，n_k表示高斯噪声干扰，W(α)是关于图像变换运动参数α的方程，那么，可以得出下式：

y＝W(α)z+n (1)

这里：

上面式子中，α_k为第k帧LR图像的仿射运动参数，包括旋转运动参数θ，缩放参数s以及平移参数t，h_ck和h_lk分别代表镜头和光线对第k帧LR图像所带来的影响，本发明假设H_k为已知，D为下采样因子，而S_k(α_k)为以α_k为运动参数的变换矩阵，s_x、s_y分别表示x、y轴的尺度变换，t_x、t_y分别表示x、y轴的平移。

对于上述公式(1)，SR和LR图像的误差可以用下式表示：

这里：λ是一个配准参数，T(ε)＝L(ε)^TL(ε)是一个对称矩阵。

为了使得误差E(α,z)最小，令：于是有：

W^T(α)W(α)z+λT(ε)z＝W^T(α)y (3)

易知，矩阵W^T(α)W(α)+λT(ε)是可逆的，所以，由(3)式可解得：

z＝(W^T(α)W(α)+λT(ε))^-1W^T(α)y (4)

(2)式可写成如下形式：

令：Δα和Δz分别表示运动参数α和SR图像z的很小的运动变化，那么：

其中，

(7)式中，J(z,α)、J(Δz,α)分别是W(α)z和α、W(α)Δz和α的雅克比行列式，这样，(5)式的最小化问题就演变成如下问题：

令：那么有：

这样，为了求解(9)式的最小化问题，令：即可得方程：

只要解出式(10)，我们就可以得出令E(α+Δα,z+Δz)最小的Δα和Δz了。这样就可以得到目标图像配准运动参数以及SR图像重建的迭代方程，如下：

步骤2、将α⁽⁰⁾带入(4)式中，有z⁽⁰⁾＝(W^T(α⁽⁰⁾)W(α⁽⁰⁾)+λT(ε))^-1W^T(α⁽⁰⁾)y，根据此式求出SR图像初始解z⁽⁰⁾；

步骤3、令c＝0，算出W(α⁽⁰⁾)，J(z⁽⁰⁾,α⁽⁰⁾)，y-W(α⁽⁰⁾)；

步骤4、对于第c次迭代，算出P^(c)，Q^(c)，其中：

步骤5、根据(10)式，得出Δα^(c)，Δz^(c)，如下：

步骤6、修正估计值，得出α^(c+1)，z^(c+1)：

α^(c+1)＝α^(c)+Δα^(c)，z^(c+1)＝z^(c)+Δz^(c)

步骤7、计算W(α^(c+1))，J(z^(c+1),α^(c+1))，y-W(α^(c+1))

步骤8、令c＝c+1，如果c的值大于迭代规定次数，则停止迭代，α的最终解α_f为α^(c+1)，z的最终解z_f为z^(c+1)，即：α_f＝α^(c+1)，z_f＝z^(c+1)，如果c的值小于等于迭代规定次数，则返回到步骤4继续运算。

对超分辨图像序列和初始模板进行标准化并确定期望的运动目标区域，包括以下步骤：

步骤1、为了实验的方便，可以先对上面得到的第k(k＝1,2,…,N)帧的SR图像z(i,j)进行标准化处理，即将z(i,j)变为0-255级灰度值图像z′(i,j)(如图2的(a)、(b)所示)，具体方法如下：

z′_k(i,j)＝[255/(Max-Min)](z_k(i,j)-Min) (12)

其中，Max＝max(z_k(i,j))，Min＝min(z_k(i,j))，即Max和Min分别为z_k(i,j)里面元素的最大最小值。初始模板标准化过程同上。

SR图像序列每帧图像中反映运动目标可能存在区域的图像M_k(如图3所示)可以如下获得：

其中，阈值D_m由试验确定，在本发明中，我们是根据下式来选取的：

步骤2、求出图像M_k后，在其基础上求取可能的目标运动区域MR_l。可能的目标运动区域可以如下求取：

设M＝{(i,j)|i＝1,2,…,m,j＝1,2,…,n}为图像M_k的所有像素点集合，且所有图像M_k中存在L(L≤N)个区域S_l＝{(i,j)|M_k(i,j)≠0}，l＝1,2,…,d，如果M_k(q)≠0，存在p∈S_l使|p-q|<D_l，则p∈S_l。并将区域S_l的外接矩形MR_l(矩形的长宽为水平和垂直方向)称为可能的目标运动区域，这里距离可以使用传统的欧式距离或者街坊距离等，D_l为预先设定的阈值。用上述方法可以在M_k中求出L个可能的目标运动区域，记为MR₁,MR₂,…,MR_L。

当然，为了更准确的求取运动区域，根据目标的特殊性，还可以结合目标灰度投影的方法来求得可能的运动区域，具体做法为：将图3在x和y方向上分别进行投影映射，得到垂直投影和水平投影(如图4的(a)、(b)所示)，根据投影曲线和目标结构特征确定目标的可能外接矩形，图4的(a)、(b)所标的虚线为一种可能的目标外接矩形。

当然，上面方法只是得到可能的运动区域，我们要进一步求取期望的目标运动区域。另外，极端情况下，当没有可能的目标运动区域即M_k中所有像素点的值均为0，则搜索标准化后的SR图像，以上一次匹配区域为中心扩展搜索区域，并用初始模板去匹配。如果检测到目标则停止；否则直到搜索完整个图像序列。

步骤3、去除过小的区域。如果区域MR_l(0≤l≤L)的长宽中至少一个小于标准化后初始模板长宽的η(0<η<1)倍，则认为它不可能是目标的运动区域，首先去除。

步骤4、以前一次的匹配中心为圆心，以α||V||(α≥1)为半径画圆，则和圆有交点或者包含在圆内的区域MR_l(0≤l≤L)作为期望的目标运动区域。调整α(α≥1)的值，直到至少有一个这样的区域存在。

步骤5、如果使用后面的变模板匹配算法在求取出的所有期望目标运动区域中没有检测到目标，则去除这些运算过的区域，然后增加α(α≥1)的值，返回步骤4；如果检测到目标，停止。否则，继续步骤5直到圆覆盖整个图像。

运动区域确定以后，在对目标的跟踪和检测过程中，初始模板的选择方法主要有两种：1)首先确定运动区域中是否有目标，这可以用当今比较常见的目标检测算法来检测，如：基于特征的目标检测方法、基于图像的目标检测方法等，这里就不再赘述了；如果在运动区域中检测出目标，就以此作为初始模板，在跟踪过程中根据运动分析获得的变模板的位置以及现状参数，更新模板。2)用灰度投影法确定运动区域中可能存在目标的外接矩形，然后从标准目标库中选取一幅标准目标作为初始模板，用初始模板对可能存在的外接矩形进行匹配，只要匹配结果小于初始设定的阈值，那么，就认为匹配成功，然后在跟踪过程中根据运动分析获得的变模板的位置以及现状参数，更新模板。两种算法各具优缺点，第一种方法在理想情况下跟踪的效果比较好，但是，由于对计算的需求比较大，因此实时性存在一定的问题，实际情况中容易出现跟踪目标丢失的问题，而第二种方法虽然一开始相对不容易跟踪到目标，但是一旦跟踪上，就不容易丢失，本发明采用的是第二种方法。

基于变模板匹配运动目标检测与跟踪方法，包含以下步骤：

步骤1、本发明使用上述方法获得期望的目标运动区域MR_d和当前的模板T_d，来更新模板，并作为下一帧和后续帧的匹配模板和基础。一种简单的更新方法是：如果在第d个区域时需要更新模板，设MR_d(0≤d≤D₁，D₁≤L)为第d-1个区域中目标所在的运动区域，那么在d-1个区域中匹配到的目标区域记为R_d-1，则：

T_d＝R_d-1 (15)

如果不考虑其他运动物体的运动区域和目标的运动区域间的重叠或者粘连，上述方法能够使模板较好的跟踪目标的形变。但是实际系统常常要面临运动区域的重叠或是粘连的情况，故本发明将上述方法作一些改进：

步骤2、除了求取R_d-1外，还以第d-1个区域时的匹配位置为中心，以T_d-1的长宽在第d-1个区域对应的标准化后SR图像上截取子图像SR_d-1；然后根据目标匹配相关系数法分别计算R_d-1与T'_d-1的相关系数的最大值RT_1,d和SR_d-1与T_d-1的相关系数RT_2,d。其中T'_d-1如下求取：设R_d-1为m₁×n₁的图像，T_d-1为k₁×l₁的图像，取M₁＝max{m₁,k₁}，N₁＝max{n₁,l₁}将T_d-1扩展成M₁×N₁的图像T_d'_-1，且图像的扩展部分的灰度值设置为0。则

为了避免模板更新过于频繁，计算前一次和当前匹配的相关系数的差值ΔRT_2,d＝RT_2,d-1-RT_2,d，只有当差值ΔRT_2,d大于给定的阈值ΔR时，才更新模板。阈值ΔR是由实验得出的经验值，本发明选择ΔR＝0.2且RT_2,d<0.95时更新模板。

基于变模板匹配的方法用初始模板进行目标的匹配，如果在某分辨率a下的最大相关系数RT_1,d大于或等于预先设定的此分辨率下的阈值则认为检测到匹配目标，停止搜索；如果则搜索较高分辨率下的区域；如果则认为此区域不存在运动目标，跳出此区域搜索下一个区域；如果从粗到精搜索完也没有匹配结果，且各个分辨率下RT_1,d的最大值则更新模板后重新搜索，否则跳出此区域搜索下一个区域。如果搜索完所有期望的运动区域也没有检测到目标，则求取新的期望运动区域重新搜索。如果还是没有匹配成功则搜索当前原始图像，以上一次匹配区域为中心扩展搜索区域，并用原模板去匹配。如果检测到目标则停止；否则直到搜索完整个图像序列。

本发明对基于超分辨率重建和变模板匹配的目标检测与跟踪算法进行了仿真验证实验，具体如下：试验采用了40个图像序列，每个图像序列分别有1到3个目标，其中，大约10个图像序列中的目标在运动过程中明显变换了角度，同时与使用传统的方法比较：从试验数据上来看，使用传统算法，跟踪到大概25帧左右时固定模板已经不能适应目标的形变，以致目标丢失。采用新算法后，算法对目标形变的适应性大大提高，到200帧时，目标的检测和跟踪依然很精确，并且跟踪的效率有很大的提高。

结果说明：如图5所示为其中部分图像序列的截屏，都是352×624的灰度图像。分别为第23、105、70、180帧的跟踪情况。从试验结果可以看出，新方法目标定位准确、跟踪的鲁棒性很好。在图像灰度变化较大、目标变形时也可以很好地跟踪目标。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于超分辨率重建的目标跟踪方法，其特征在于，包括如下步骤：

步骤1，利用非线性迭代算法对输入的低分辨率图像序列进行超分辨率重建，得到超分辨率图像序列；

步骤2，对超分辨率图像序列以及初始模板进行标准化处理，并确定期望的目标运动区域；

步骤3，对期望的目标运动区域，利用变模板匹配方法对目标进行检测跟踪。

2.根据权利要求1所述基于超分辨率重建的目标跟踪方法，其特征在于，所述步骤1的具体过程包括如下步骤：

步骤1-1，计算低分辨率图像序列运动参数的初始解α⁽⁰⁾；

步骤1-2，根据α⁽⁰⁾求得超分辨率图像序列的初始解z⁽⁰⁾以及W(α⁽⁰⁾)、J(z⁽⁰⁾,α⁽⁰⁾)、y-W(α⁽⁰⁾)；其中，z⁽⁰⁾＝(W^T(α⁽⁰⁾)W(α⁽⁰⁾)+λT(ε))^-1W^T(α⁽⁰⁾)y；

步骤1-3，对于第c次迭代，c为大于等于0的整数，计算P^(c)，Q^(c)，其中

$P^{\left(c\right)}=\left(\begin{array}{cc}J(z^{\left(c\right)},{\mathrm{\&alpha;}}^{\left(c\right)})& W\left({\mathrm{\&alpha;}}^{\left(c\right)}\right)\\ 0& \sqrt{\mathrm{\&lambda;}}L\left(\mathrm{\&epsiv;}\right)\end{array}\right),Q^{\left(c\right)}=\left(\begin{array}{c}y-W\left({\mathrm{\&alpha;}}^{\left(c\right)}\right)\\ -\sqrt{\mathrm{\&lambda;}}L\left(\mathrm{\&epsiv;}\right)z^{\left(c\right)}\end{array}\right);$

步骤1-4，根据得到

步骤1-5，更新估计值α^(c+¹⁾＝α^(c)+Δα^(c)和z^(c+¹⁾＝z^(c)+Δz^(c)；

步骤1-6，对于第c+1次迭代，如果c+1的值大于规定迭代次数，则终止迭代，且超分辨率图像序列的最终解为z^(c+1)；否则，返回步骤1-3继续；

上述步骤中，W(α)为图像序列运动参数α的方程，J(z,α)为W(α)z和α的雅克比行列式，y_k为低分辨率图像序列中第k帧图像，N为低分辨率图像序列的总帧数，λ为配准参数，T(ε)＝L(ε)^TL(ε)表示二次型zTz的系数，L(ε)表示T(ε)分解后的系数，Δα、Δz分别表示运动参数α、超分辨率图像z的运动变化，右上角T表示转置。

3.根据权利要求1所述基于超分辨率重建的目标跟踪方法，其特征在于，步骤2所述对超分辨率图像序列进行标准化处理的公式为：

z′_k(i,j)＝[255/(Max-Min)](z_k(i,j)-Min)

其中，z′_k(i,j)、z_k(i,j)分别表示标准化后、标准化前的超分辨率图像序列中第k帧图像的灰度值，Max＝max(z_k(i,j))，Min＝min(z_k(i,j))，(i,j)表示像素点，k＝1,2,…,N，N为低分辨率图像序列的总帧数。

4.根据权利要求1所述基于超分辨率重建的目标跟踪方法，其特征在于，步骤2所述确定期望的目标运动区域的具体过程包括如下步骤：

步骤2-1，设定阈值通过如下公式获得反映运动目标可能存在区域的图像M_k，

步骤2-2，将每帧图像M_k中灰度值为0的像素点去除，灰度值不为0的像素点保留，得到不规则区域S_l，l＝1,2,…,L，L≤N，将不规则区域S_l所在图像M_k中能将S_l包含在内的最小外接矩形作为可能的目标运动区域MR_l，L为所有可能的目标运动区域个数；

步骤2-3，若可能的目标运动区域MR_l的长小于η倍标准化后初始模板的长或者可能的目标运动区域MR_l的宽小于η倍标准化后初始模板的宽，则将满足上述条件的区域去除，0<η<1；

步骤2-4，以步骤2-3剩下区域中的第一个区域的中心为圆心，α||V||(α≥1)为半径画圆，将剩下区域中与该圆有交点或者包含在圆内的区域作为期望的目标运动区域；当没有期望的目标运动区域时，以剩下区域中的第二个区域的中心为圆心，增加α的值，以α||V||为半径画圆，再次判断有无期望的目标运动区域；以此类推，直到至少有一个期望的目标运动区域存在；

上述步骤中，z′_k(i,j)表示标准化后的超分辨率图像序列中第k帧图像的灰度值，N为低分辨率图像序列的总帧数，Down、Up分别表示能将S_l包含在内的最小外接矩形垂直投影的下、上边界，Right、Left分别表示能将S_l包含在内的最小外接矩形垂直投影的右、左边界。

5.根据权利要求1所述基于超分辨率重建的目标跟踪方法，其特征在于，所述步骤3的具体过程包括如下步骤：

步骤3-1，对任意一个期望的目标运动区域，利用如下方法进行模板更新：将在第d-1个区域中匹配到的目标区域记为R_d-1，并以第d-1个区域时的匹配位置为中心，以第d-1个区域的匹配模板T_d-1的长宽在该区域对应的标准化后超分辨率图像上截取子图像SR_d-1；根据目标匹配相关系数法分别计算R_d-1与T′_d-1的相关系数最大值RT_1,d和SR_d-1与T_d-1的相关系数RT_2,d；

计算ΔRT_2,d＝RT_2,d-1-RT_2,d，当差值ΔRT_2,d大于给定的阈值ΔR且RT_2,d<0.95时，第d个区域的匹配模板为否则，第d个区域的匹配模板为T_d-1；

其中，T′_d-1的求取方法如下：设R_d-1为m₁×n₁的图像，T_d-1为k₁×l₁的图像，取M₁＝max{m₁,k₁}，N₁＝max{n₁,l₁}，将T_d-1扩展成M₁×N₁的图像T_d'_-1，扩展部分的灰度值设置为0；

步骤3-2，对任意一个期望的目标运动区域，利用对应的模板进行目标检测；

第一种情况，当前区域采用前一个区域的模板进行检测，预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标，停止搜索；若则在大于预设分辨率的分辨率下进行检测，如果检测到目标，则停止搜索；若则认为当前区域不存在目标；如果上述过程未检测到目标且各个分辨率下RT_1,d的最大值大于等于则更新模板后重复上述搜索过程；

第二种情况，当前区域采用更新后的模板进行检测，预先设定分辨率a及该分辨率对应的阈值若相关系数最大值则认为检测到目标，停止搜索；若则在大于预设分辨率的分辨率下进行检测，如果检测到目标，则停止搜索；若则认为当前区域不存在目标；

如果上述两种情况均未检测到目标，则跳至下一个区域并重复上述两种情况，直至检测到目标。