CN104346811A - 基于视频图像的目标实时追踪方法及其装置 - Google Patents

Abstract

本申请公开了一种基于视频图像的目标实时追踪方法/装置：获取跟踪目标在参考帧中的位置，基于该位置计算跟踪目标在当前帧的位置，而后利用所计算的位置上的特征矩阵基于验证模型判断当前帧的跟踪目标是否追踪成功，从而提高了跟踪的正确性，进而降低了错误追踪跟踪目标的概率；进一步，利用连贯度模型计算跟踪目标形态连贯度以决定是否需要更新验证模型、预设分类器，从而保证了追踪的可持续性。

Description

基于视频图像的目标实时追踪方法及其装置

技术领域

本申请涉及视频与图像信息处理领域，尤其涉及到一种基于视频图像的目标实时追踪方法及其装置。

背景技术

目标追踪是一种主动的视频监控方式，在监控场景中出现突发事件或检测到感兴趣目标后，主动对该目标进行锁定，通过不断估算偏移量，调整摄像机的角度、焦急等参数，来达到持续追踪目标的目的。通过不断追踪，可以捕获目标的完整运行轨迹和详细特征信息，为突发事件分析、感兴趣目标行为分析以及公安机关办案提供数据支持。

通常，在对跟踪目标进行实时追踪时，会从已知跟踪目标位置的图像帧中选取一帧作为参考帧，以辅助当前帧的追踪。当跟踪目标形态变化、被阻挡物遮拦等状况发生时，常会发生追踪偏移甚至追踪错误。现有技术中，尚缺乏对跟踪目标的追踪验证，因此，当前帧跟踪目标追踪偏移/错误后，在后续的追踪过程中，其目标追踪可能会建立在追踪偏移/错误参考帧的基础上，从而导致偏移/错误累积，进而导致整个追踪失败。

发明内容

本申请提供一种基于视频图像的目标实时追踪方法及其装置，以实现验证跟踪目标是否被正确跟踪。

根据本申请的第一方面，本申请提供一种基于视频图像的目标实时追踪方法，包括：

图像获取步骤：获取当前帧图像数据；

跟踪目标参考帧位置确定步骤：从之前的已知跟踪目标位置的图像数据中选取至少一帧作为参考帧，并获取跟踪目标在参考帧中的位置；

跟踪目标当前位置计算步骤：基于跟踪目标在参考帧图像数据中的位置计算跟踪目标在当前帧的位置；

跟踪目标验证步骤：计算当前帧位置像素矩阵的特征矩阵，基于该特征矩阵利用验证模型计算跟踪目标在该当前帧位置上的验证概率，如果验证概率大于预设验证阈值，则该当前帧的位置为跟踪目标在该当前帧的位置。

根据本申请的第二方面，本申请提供一种基于视频图像的目标实时追踪装置，包括：图像获取模块、参考位置确定模块、当前位置计算模块和跟踪目标验证模块，其中，

图像获取模块用于获取当前帧图像数据；

参考位置确定模块用于从之前至少一帧已知跟踪目标位置的图像数据中选取一帧作为参考帧，并获取跟踪目标在参考帧中的位置；

当前位置计算模块用于基于跟踪目标在参考帧图像数据中的位置计算跟踪目标在当前帧的位置；

跟踪目标验证模块，用于计算当前帧位置像素矩阵的特征矩阵，基于该特征矩阵利用验证模型计算跟踪目标在该当前帧位置上的验证概率，如果验证概率大于预设验证阈值，则该当前帧的位置为跟踪目标在该当前帧的位置。

本申请的有益效果是：由于利用验证模型计算跟踪目标在当前帧跟踪位置上的验证概率，根据所求的验证概率能够判断出当前帧跟踪目标所处位置是否正确，从而提高了跟踪的正确性，进而降低了错误追踪跟踪目标的概率。

附图说明

图1为本申请实施例基于视频图像的目标实时追踪装置的一种结构示意图；

图2为本申请实施例基于视频图像的目标实时追踪方法流程图；

图3a和图3b为本申请实施例跟踪目标所在位置示意图，其中，图3a为跟踪目标在参考帧中的位置示意；图3b为跟踪目标在当前帧中的位置示意图；

图4为本申请实施例划分像素块的策略示意图；

图5为本申请实施例跟踪目标的当前帧位置计算流程图；

图6为本申请实施例P-N分类器队列示意图；

图7为本申请实施例跟踪目标验证流程图；

图8为本申请实施例跟踪目标形态连贯度计算流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

在基于视频图像对目标进行实时跟踪时，通常会实时地从已知跟踪目标位置的图像中选取一帧作为参考帧，基于跟踪目标在所选取参考帧的位置来计算跟踪目标在当前图像帧的位置，从而实现跟踪目标的实时跟踪。

请参考图1，为本实施例公开的一种基于视频图像的目标实时追踪装置，该追踪装置包括：图像获取模块1、跟踪目标参考帧位置确定模块2、跟踪目标当前位置计算模块3和跟踪目标验证模块4，其中，

图像获取模块1用于获取当前帧图像数据；

参考位置确定模块2用于从之前至少一帧已知跟踪目标位置的图像数据中选取一帧作为参考帧，并获取跟踪目标在参考帧中的位置Rect0；

当前位置计算模块3用于基于跟踪目标在参考帧图像数据中的位置Rect0计算跟踪目标在当前帧的位置Rect1；

跟踪目标验证模块4用于计算当前帧位置Rect1像素矩阵的特征矩阵，基于该特征矩阵利用验证模型计算跟踪目标在该当前帧位置Rect1上的验证概率p2，如果验证概率p2大于预设验证阈值T2，则该当前帧的位置Rect1为跟踪目标在该当前帧的位置，否则，该当前帧的位置Rect1非所述跟踪目标在该当前帧的位置。

在优选的实施例中，还包括更新模块5，更新模块5用于基于当前帧位置Rect1像素矩阵的特征矩阵利用连贯度模型计算用于表征跟踪目标形态变化的形态连贯度p3，如果形态连贯度p3在预设连贯范围内，则对验证模型进行更新。

根据上述基于视频图像的目标实时追踪装置，本实施例还公开了一种基于视频图像的目标实时追踪方法，请参考图2，为该追踪方法的流程图，具体方法包括步骤如下：

步骤S100，图像获取。获取当前帧图像数据。图像数据可以是灰度图像数据，也可以是彩色图像数据。

步骤S200，跟踪目标参考帧位置确定。从之前的已知跟踪目标位置的图像数据中选取至少一帧作为参考帧，并获取跟踪目标在所述参考帧中的位置Rect0。请参考图3a，为已知跟踪目标位置的一帧图像数据，其中虚线框所示为跟踪目标在该参考帧图像所在的位置Rect0，该图像的其余部分为背景图像数据。在具体实施例中，跟踪目标可以是人、动物、交通工具、和/或其它用户感兴趣的能够与背景图像区分的任何物体。

在具体实施例中，参考帧可以是一帧，也可以是多帧，采用多帧图像作为参考帧相对于一帧作为参考帧所包含的信息会更丰富，譬如能够获得跟踪目标之前的运动矢量、形态变化等。当采用一帧图像作为参考帧时，应优选最接近当前帧的图像帧作为参考帧，譬如，当前帧为第n帧，当第n-a帧和第n-b帧的图像中都已知跟踪目标时(其中，a<b<n)，则应优选第n-a帧图像作为参考帧图像。

步骤S300，跟踪目标当前位置计算。基于跟踪目标在参考帧图像数据中的位置Rect0计算跟踪目标在当前帧的位置Rect1。请参考图3b，为虚线框所示跟踪目标在当前帧图像中的位置Rect1。在具体的实施例中，可以采用现有的技术方案计算跟踪目标在当前帧图像中的位置Rect1，例如贝叶斯估计、支持向量机(SVM)等。

步骤S400，跟踪目标验证。计算当前帧位置Rect1像素矩阵的特征矩阵，基于该特征矩阵利用验证模型计算跟踪目标在该当前帧位置Rect1上的验证概率p2。如果验证概率p2大于预设验证阈值T2，则执行步骤S501，否则执行步骤S502。需要说明的是，特征矩阵可以采用现有的技术方案求取，例如求取该像素矩阵的特征值，根据特征值求得特征向量，进而得到特征矩阵。在具体实施例中，预设验证阈值T2可以根据经验或者理论推导在系统中设置。

步骤S501，当前帧跟踪成功。如果验证概率p2大于预设验证阈值T2，则可以确定该当前帧的位置Rect1为跟踪目标在该当前帧的位置，即步骤S300所跟踪到的目标是正确的，目标处于持续跟踪中。在优选的实施例中，可将当前帧图像数据作为下一帧的参考帧图像。

步骤S502，当前帧跟踪失败。如果验证概率p2小于预设验证阈值T2，则该当前帧的位置Rect1并非跟踪目标在该当前帧的位置，即步骤S300中跟踪目标丢失。在实际跟踪过程中，跟踪目标的丢失可能是因为跟踪目标被遮挡物遮挡，也有可能是确实没有跟踪到，在一具体实施例中，可以修正跟踪目标的位置，重新跟踪；在另一具体实施例中，也可以放弃当前帧的跟踪，进入下一帧图像的跟踪。在进行下一帧图像的目标跟踪时，应优选继续采用目前的参考帧图像作为下一次跟踪的参考帧。

在优选的实施例中，可以对当前帧滑动窗口，而后利用各窗口的多尺度矩形特征来计算跟踪目标在当前帧的位置，因此，在步骤S100获取当前帧图像数据之后，还可以进一步包括：

步骤S600，窗口滑动。基于与选取的参考帧相同的预设规则对获取的当前帧图像滑动窗口形成多个窗口，如图3b实线框所示，需要说明的是，在具体实施例中，形成的多个窗口应覆盖Rect0附近的区域，在优选的实施例中，形成的多个窗口应该能够遍历当前帧图像的所有位置。

对于每个窗口，都会包含着多个大小不同的像素块，在一具体实施例中，可以利用随机矩形列表RT＝{RT(1)，RT(2)，RT(3)……RT(m)}来表征各个不同的像素块，如图4所示。各像素块之间可以部分交叠，也可以不交叠。其中，一种优选的预设规则为：以跟踪目标在参考帧中的位置Rect0为基准，按照预设的水平、垂直和尺度的步长(sx,sy,ss)对位置Rect0附近窗口领域的所有的检测位置(不同的像素块)进行编号。随机矩形RT列表可以是自上而下、从左到右的顺序标记，也可以是逆序标记，还可以是随机的。需要说明的是，在具体实施例中，在一段对跟踪目标完整跟踪的视频图像中，随机矩形列表RT的编号方式应该保持一致，在优选的实施例中，随机矩形列表RT＝{RT(1)，RT(2)，RT(3)……RT(m)}在算法初始化时计算一次，然后在追踪的过程中保持不变。对当前帧图像滑动窗口并对窗口划分像素块，可以高效地计算各窗口像素均值，例如可以通过积分图计算各窗口的灰度均值，从而降低多尺度矩形特征计算的复杂度。

步骤S700，多尺度矩形特征U提取。提取当前帧各窗口的多尺度矩形特征U＝{U(1)，U(2)，U(3)……U(m)}，其中，m为正整数，U(m)为某一窗口第m个像素块的多尺度矩形特征。在一具体实施例中，可以利用像素均值的方法求取各像素块的多尺度矩形特征，具体地，可以采用实现如下公式计算各像素块的多尺度矩形特征U：

$U\left(j\right)=\frac{1}{w_j*h_j}*{\mathrm{\&Sigma;}}_{(x,y)\&SubsetEqual;\mathrm{RT}\left(j\right)}I(x,y)---\left(1\right)$

其中，U(j)为RT(j)像素块的多尺度矩形特征；w_j、h_j分别为RT(j)像素块的长和宽，在具体实施例中，可以为像素点数；(x,y)为RT(j)像素块中的像素点；I(x,y)为像素点(x,y)的像素值，例如灰度值。

由于跟踪特征例如尺度不变特征(SIFT)等复杂度较高、并且图像分辨率不断提升从100万到200万到500万，使得算法实时性不足。在优选的实施例中，可以利用符合压缩感知RIP(Restricted Isometry Property)条件的稀疏随机矩阵R对各窗口的多尺度矩形特征U进行降维得到压缩的矩形特征V＝{V(1),V(2),…,V(n)}，n<<m，从而，将高维(m维)空间的多尺度矩形特征U降至一个低维(n维)压缩子空间，降低了特征复杂度同时保留高维图像特征空间的信息。具体地，可以采用下述公式对多尺度矩形特征U进行压缩降维：

V_n×1＝R_n×m*U_m×1   (2)

多尺度矩形特征U_m×1是个m维的特征向量，U_m×1的每一维分量值为各像素块的多尺度矩形特征U＝{U(1)，U(2)，U(3)……U(m)}。稀疏随机矩阵R_n×m是个m×n维的稀疏矩阵，只有少部分的非零元素，稀疏随机矩阵R_n×m中各元素如公式(3)所示：

其中，k＝m/c，c为稀疏随机矩阵R_n×m每行非零元素最多的个数，每一行需要计算的元素数量<c。稀疏随机矩阵R的运算和存储空间小，生成简单，只需要一个均匀的随机生成器，该随机矩阵R只需要在算法初始化的时候随机生成一次，然后在跟踪过程中保持不变。

通过稀疏随机矩阵R，将m维的特征降为n维，而n<<m，从而大幅度的降低计算的复杂度，同时RIP条件保证了高维特征信息不会因为降维而丢失，保持了特征的稳定性。压缩的矩形特征V中每一维分量都是多尺度矩形特征U中各个分量的线性组合。由于稀疏随机矩阵R的系数可正，可负，所以压缩特征像广义Haar-Like特征一样计算相关灰度差。稀疏随机矩阵R对这些数目庞大的Haar-Like特征进行压缩，稀疏感知理论保证了，压缩后的特征几乎保留原有图像的信息。因此，可以直接对压缩空间里面的投影特征进行分类，而避免了维数灾难。因此，在具体实施例中，可以采用压缩的矩形特征V来替代高维的多尺度矩形特征U。

在未作特别说明的情况下，本申请文件中所提及的多尺度矩形特征U也包括压缩降维后的矩形特征。

在具体实施例中，提取多尺度矩形特征U之后，请参考图5，步骤S300包括：

步骤S310，求取各像素块的跟踪检测值。将当前帧各像素块的多尺度矩形特征U＝{U(1)，U(2)，U(3)……U(m)}代入预设分类器，并求取各像素块的跟踪检测值p1。其中，预设分类器可以是现有的分类器，例如贝叶斯分类器、支持向量机(SVM)等。优选采用贝叶斯分类器，此时，跟踪检测值p1为贝叶斯检测值。假设多尺度矩形特征U(当然也可以是压缩后的，以下同)的每一维分量都相互独立，并且满足高斯分布，对于每一个待检测的像素块，属于跟踪目标或非跟踪目标的概率是等价的，那么跟踪检测值p1可以优选采用如下公式进行描述：

$p1\left(U\left(j\right)\right)={\mathrm{\&Sigma;}}_{i=1}^m\log \left(\frac{{\mathrm{bp}}_i\left[U_i\left(j\right)\right]}{{\mathrm{bn}}_i\left[U_i\left(j\right)\right]}\right)---\left(4\right)$

其中，bp()为贝叶斯分类器的正样本模型，bn()为贝叶斯分类器的负样本模型，bp()和bn()的每一维分量都是高斯函数，即bp()为满足g(μ_P，ρ_P)的序列，bn()为满足g(μ_N，ρ_N)的序列，g()为高斯分布，μ_P、ρ_P和μ_N、ρ_N分别为正样本和负样本的均值、方差；U(j)为第j个像素块的多尺度矩形特征；p1(U(j))为第j个像素块的跟踪检测值；m为正整数，为U(j)的维数；U_i(j)表示第j个像素块多尺度矩形特征的第i维特征向量。

步骤S320，查找跟踪目标的位置。当采用贝叶斯检测值作为跟踪检测值时，某个像素块的跟踪检测值p1越高则该属于像素块跟踪目标的概率越大，因此，查找跟踪检测值p1(U(j))的极大值，跟踪检测值p1的极大值所对应的像素块即为跟踪目标在该当前帧的位置Rect1。

步骤S400所采用的验证模型可以优选为P-N分类器，请参考图6，P-N分类器包括用于表征跟踪目标特征信息的目标队列P(Positive List)和用于表征背景信息的背景队列N(Negative List)。在具体实施例中，目标队列P(背景队列N)保存的跟踪目标特征信息(背景信息)可以是一定时间段内的，也可以是跟踪开始时的全部信息。需要说明的是，所存储的信息应当是有效的，即存储的信息应当是从跟踪成功的图像帧中提取。通过P-N分类器可以获得步骤S300所计算位置Rect1的像素块属于跟踪目标的概率，根据该概率可以判断是否跟踪成功。因此，请参考图7，步骤S400具体可包括：

步骤S410，获取目标队列P。在具体实施例中，可以预设目标队列P的容量。在跟踪目标所在图像帧位置附近选取(例如随机选取)若干像素块，并将被选取的像素块的多尺度矩形特征U依次加入目标队列P。在一具体实施例中，可以从随机矩形列表RT与跟踪位置Rect1的距离小于r0(r0为常数，可以根据目标的大小确定)的元素中随机采样若干像素块，并将这些像素块的多尺度矩形特征U依次加入目标队列P。需要说明的是，在对跟踪目标进行跟踪的初期，目标队列P中的元素数量应该会小于目标队列P的容量，而随着跟踪的持续，目标队列P中的元素数量趋近于目标队列P的容量。当然，在其它实施例中，在P-N分类器首次使用时，目标队列P中的元素也可以通过初始化完成。

步骤S420，获取背景队列N。在具体实施例中，可以预设背景队列N的容量。在远离跟踪目标所在图像帧位置的区域选取(例如随机选取)若干像素块，并将被选取的像素块的多尺度矩形特征U依次加入背景队列N。在一具体实施例中，可以从随机矩形列表RT与跟踪位置Rect1的距离大于r1(r1为常数，r1≥r0)的元素中随机采样若干像素块，并将这些像素块的多尺度矩形特征U依次加入背景队列N。需要说明的是，在对跟踪目标进行跟踪的初期，背景队列N中的元素数量应该会小于背景队列N的容量，而随着跟踪的持续，背景队列N中的元素数量趋近于背景队列N的容量。当然，在其它实施例中，在P-N分类器首次使用时，背景队列N中的元素也可以通过初始化完成。

步骤S430，查找目标队列最大相关函数值。计算当前帧跟踪目标位置Rect1像素块的多尺度矩形特征与目标队列P的相关函数，并查找目标队列最大相关函数值。

步骤S440，查找背景队列最大相关函数值。计算当前帧跟踪目标位置Rect1像素块的多尺度矩形特征与背景队列N的相关函数，并查找背景队列最大相关函数值。

步骤S450，求取验证概率p2。根据目标队列最大相关函数值和背景队列最大相关函数值求取验证概率p2，从而判断当前帧跟踪目标位置Rect1是否正确。在具体实施例中，可以采用如下公式求取验证概率p2：

$p2\left(U\right)=\frac{{\max }_{i=\mathrm{1,2},...,s}\left(\mathrm{ncc}(P_i,U)\right)}{{\max }_{i=\mathrm{1,2},...,s}\left(\mathrm{ncc}(P_i,U)\right)+{\max }_{i=\mathrm{1,2},...,t}\left(\mathrm{ncc}(N_i,U)\right)}---\left(5\right)$

式(5)中，ncc()为相关度函数；U为当前帧跟踪目标位置Rect1像素块的多尺度矩形特征；s和t分别为目标队列P和背景队列N的容量。将公式(5)求取的验证概率p2与预设验证阈值T2比较，如果p2≥T2则说明当前帧的跟踪目标跟踪成功，否则跟踪失败。

在现实场景中，由于跟踪目标形态变化、相互遮挡等因素，容易导致跟踪的失败，无法持续的追踪。当跟踪目标形态发生变化时，验证模型和/或预设分类器也应随之而改变，以适应新的环境。因此，在优选的实施例中，基于视频图像的目标实时追踪方法还包括：

步骤S800，形态连贯度p3计算。基于当前帧位置Rect1像素矩阵的特征矩阵利用连贯度模型计算用于表征跟踪目标形态变化的形态连贯度p3。如果形态连贯度p3在预设范围内，则执行步骤S910，在优选的实施例中，还执行步骤S920；否则保持验证模型和/或预设分类器的状态并进行下一帧图像的追踪。

步骤S910，预设分类器更新。如果形态连贯度p3在预设连贯范围内，则对预设分类器进行更新。

步骤S920，验证模型更新。如果形态连贯度p3在预设连贯范围内，则对验证模型进行更新。

以预设分类器为贝叶斯分类器、验证模型为P-N分类器为例进行说明。请参考图8，步骤S800具体包括：

步骤S810，获取目标队列P。

步骤S820，获取背景队列N。

步骤S830，查找正样本队列最大相关函数值。

步骤S840，查找背景队列最大相关函数值。

其中，步骤S810、步骤S820和步骤S840具体可参见步骤S410、步骤S420和步骤S440。需要说明的是，步骤S810、步骤S820和步骤S840可以与步骤S410、步骤S420和步骤S440同步求取，当然也可以分别求取。

对于步骤S830，从获取的目标队列P中按顺序选取若干元素验证队列，并计算当前帧跟踪目标位置Rect1像素块的多尺度矩形特征与验证队列的相关函数，并查找验证队列最大相关函数值。验证队列优选从靠近当前时间节点的序列中选取；验证队列的容量可以根据系统设定，在本实施例中，以其为目标队列P容量的一半为例进行说明。

步骤S850，求取形态连贯度p3。根据目标队列最大相关函数值和背景队列最大相关函数值求取形态连贯度p3。在具体实施例中，假设验证队列的容量为目标队列P容量的一半，则可以采用如下公式求取形态连贯度p3：

$p3\left(U\right)=\frac{{\max }_{i=\mathrm{1,2},...,s/2}\left(\mathrm{ncc}(P_i,U)\right)}{{\max }_{i=\mathrm{1,2},...,s/2}\left(\mathrm{ncc}(P_i,U)\right)+{\max }_{i=\mathrm{1,2},...,t}\left(\mathrm{ncc}(N_i,U)\right)}---\left(6\right)$

值得注意的是，在求取形态连贯度p3时，只需目标队列P前一半容量的元素(靠近当前时间节点的)。将公式(6)求取的形态连贯度p3与预设第一连贯阈值T3比较，如果p3≥T3，则说明跟踪目标发生了形态变化，应当更新贝叶斯分类器和P-N分类器；而如果p3＜T3，则说明跟踪目标形态变化太大，不适合贝叶斯分类器和P-N分类器的更新，以避免跟踪目标漂移。进一步，在优选的实施例中，还可以预设第二连贯阈值T4，其中T4＞T3，将形态连贯度p3与预设的第二连贯阈值T4进行比较，如果p3＞T4，则说明跟踪目标的形态变化较小，没必要更新贝叶斯分类器和P-N分类器，从而提高了系统运行的效率。

在具体实施例中，可以采用迭代方法和FIFO(First in First Out)的机制分别更新贝叶斯分类器和P-N分类器，具体地，

对于P-N分类器，当步骤S850判断出需要更新P-N分类器时，则按照步骤S410和步骤S420的方法分别计算加入目标队列P和背景队列N的像素块的多尺度矩形特征U，并将这些像素块的多尺度矩形特征U分别按照时间先后顺序加入目标队列P和背景队列N。需要说明的是，由于目标队列P和背景队列N的容量有限，因此，当向目标队列P和背景队列N加入新的多尺度矩形特征U时，会超出目标队列P和背景队列N的容量，按照FIFO的机制，将最先加入目标队列P和背景队列N的元素删除，从而保证了目标队列P和背景队列N的容量不变，也完成了目标队列P和背景队列N的更新。

对于贝叶斯分类器，从当前帧跟踪目标位置Rect1附近邻域中采样若干正样本构成正样本队列PL，在优选的实施例中，还计算正样本队列PL各元素的权值PV，根据正样本队列PL及其各元素所占权值PV计算正样本队列PL各维分量的均值和方差，按照一定的学习率来更新正样本模型bp()。在具体实施例中，各元素的权值PV与该元素对应像素块到当前帧跟踪位置Rect1的距离r成反比(即距离目标位置越近权值越大)，具体地，正样本队列PL各元素的权值可以通过权值公式PV＝(r0-r)/r0来计算，其中，r为该元素对应像素块到跟踪位置Rect1的距离。同理，参照步骤S420或者步骤S820选取若干像素块构成背景队列N，，由于背景队列N中各元素对应像素块到跟踪位置Rect1的距离都较远，因此，在优选实施例中，可以认为背景队列N各元素的权值NV相等，NV＝1，根据背景队列N和NV计算背景队列N各维分量的均值和方差，按照一定的学习率来更新负样本模型bn()。具体迭代更新机制如下公式所示：

$\left\{\begin{array}{c}\mathrm{\&mu;}=\mathrm{\&lambda;}*\mathrm{\&mu;}+(1-\mathrm{\&lambda;})*{\mathrm{\&mu;}}^i\\ \mathrm{\&rho;}=\sqrt{\mathrm{\&lambda;}*{\left(\mathrm{\&rho;}\right)}^2+(1-\mathrm{\&lambda;})*{\left({\mathrm{\&rho;}}^i\right)}^2+(1-\mathrm{\&lambda;})*{(\mathrm{\&rho;}-{\mathrm{\&rho;}}^i)}^2}\end{array}\right.---\left(7\right)$

其中，μ和ρ分别是均值和方差，λ是学习率，i是当前的时间点。至此，完成了贝叶斯分类器的更新。

在求得跟踪目标在当前帧的位置Rect1后，结合跟踪目标在参考帧中的位置Rect0可以计算跟踪目标的帧间偏移量，以便于控制云台调整摄像机的角度和焦距等参数，使得跟踪目标处于图像中心。因此，在优选的实施例中，本实施例公开的跟踪目标的追踪方法还包括：

偏移量估计步骤：根据跟踪目标在当前帧和参考帧的坐标计算跟踪目标的偏移量，所述偏移量包括水平位移dx、垂直位移dy、和/或尺度偏移ds。不妨设跟踪目标在参考帧中的位置Rect0为(x0,y0,w0,h0)，在当前帧的位置Rect1为(x1,y1,w1,h1)，则可采用如下公式计算跟踪目标的偏移量：

$\left\{\begin{array}{c}\mathrm{dx}=x1-x0\\ \mathrm{dy}=y1-y0\\ \mathrm{ds}=\frac{w1*h1}{w0*h0}-1\end{array}\right.---\left(8\right)$

其中，(x0，y0)、(x1，y1)分别为跟踪目标在参考帧和当前帧的位置坐标；(w0，h0)、(w1，h1)分别为跟踪目标在参考帧、当前帧所在位置的宽度和高度。

本实施例公开的基于视频图像的目标实时追踪方法，利用验证模型对跟踪目标所在位置进行验证，从而提高了在对跟踪目标进行实时追踪时的追踪准确性，有效地降低了错误追踪目标的概率。

进一步，在完成当前帧跟踪目标的追踪后，选择性地对验证模型和预设分类器进行更新，从而能够适应跟踪目标的形态变化，以及当跟踪目标进入新的环境时(例如从干道进入支路、从室内到室外)也能够对跟踪目标进行持续的追踪。此外，根据跟踪目标的形态连贯度p3所处的范围判断是否更新验证模型和预设分类器，从而能够避免验证模型和预设分类器的盲目更新，进一步降低了目标追踪漂移的概率，也能够提高系统的运行效率。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种基于视频图像的目标实时追踪方法，其特征在于，包括：

图像获取步骤：获取当前帧图像数据；

跟踪目标参考帧位置确定步骤：从之前的已知跟踪目标位置的图像数据中选取至少一帧作为参考帧，并获取跟踪目标在所述参考帧中的位置(Rect0)；

跟踪目标当前位置计算步骤：基于跟踪目标在参考帧图像数据中的位置(Rect0)计算跟踪目标在当前帧的位置(Rect1)；

跟踪目标验证步骤：计算当前帧位置(Rect1)像素矩阵的特征矩阵，基于该特征矩阵利用验证模型计算跟踪目标在该当前帧位置(Rect1)上的验证概率(p2)，如果验证概率(p2)大于预设验证阈值(T2)，则该当前帧的位置(Rect1)为所述跟踪目标在该当前帧的位置。

2.如权利要求1所述的目标实时追踪方法，其特征在于，如果验证概率(p2)小于预设验证阈值(T2)，则该当前帧的位置(Rect1)非所述跟踪目标在该当前帧的位置。

3.如权利要求1所述的目标实时追踪方法，其特征在于，还包括：

窗口滑动步骤：基于与选取的参考帧相同的预设规则对获取的当前帧图像滑动窗口形成多个窗口；

多尺度矩形特征(U)提取步骤：提取各窗口中各像素块的多尺度矩形特征U＝{U(1)，U(2)，U(3)……U(m)}，其中，m为正整数，U(m)为各窗口中第m个像素块的多尺度矩形特征；

所述跟踪目标当前位置计算步骤包括：

将各窗口中各像素块的多尺度矩形特征U＝{U(1)，U(2)，U(3)……U(m)}代入预设分类器，并求取各像素块的跟踪检测值(p1)；

查找跟踪检测值(p1)的极大值，所述跟踪检测值(p1)的极大值所对应的像素块即为跟踪目标在该当前帧的位置(Rect1)。

4.如权利要求3所述的目标实时追踪方法，其特征在于，所述验证模型为P-N分类器，所述P-N分类器包括用于表征跟踪目标特征信息的目标队列(P)和用于表征背景信息的背景队列(N)；

所述跟踪目标验证步骤包括：

获取目标队列(P)；

获取背景队列(N)；

计算当前帧跟踪目标位置(Rect1)像素块的多尺度矩形特征与目标队列(P)的相关函数，并查找目标队列最大相关函数值；

计算当前帧跟踪目标位置(Rect1)像素块的多尺度矩形特征与背景队列(N)的相关函数，并查找背景队列最大相关函数值；

根据目标队列最大相关函数值和背景队列最大相关函数值求取所述验证概率(p2)。

5.如权利要求3所述的目标实时追踪方法，其特征在于，还包括：

基于当前帧位置(Rect1)像素矩阵的特征矩阵利用连贯度模型计算用于表征跟踪目标形态变化的形态连贯度(p3)；

如果所述形态连贯度(p3)在预设连贯范围内，则对所述验证模型和/或预设分类器进行更新。

6.如权利要求5所述的目标实时追踪方法，其特征在于，所述连贯度模型包括：用于表征跟踪目标特征信息的目标队列(P)和用于表征背景信息的背景队列(N)；

所述形态连贯度(p3)的计算方法包括：

获取目标队列(P)；

获取背景队列(N)；

从获取的目标队列(P)中选取若干元素构成验证队列，并计算当前帧跟踪目标位置(Rect1)像素块的多尺度矩形特征与所述验证队列的相关函数，并查找验证队列最大相关函数值；

计算当前帧跟踪目标位置(Rect1)像素块的多尺度矩形特征与背景队列(N)的相关函数，并查找背景队列最大相关函数值；

根据目标队列最大相关函数值和背景队列最大相关函数值求取所述形态连贯度(p3)。

7.如权利要求5所述的目标实时追踪方法，其特征在于，所述对验证模型更新包括：

从当前帧跟踪目标位置(Rect1)的邻域内随机采样若干正样本构成正样本队列(PL)；正样本队列(PL)中各元素所占权值(PV)与该元素到当前帧跟踪目标位置Rect1的距离成反比。

8.如权利要求1-7任意一项所述的目标实时追踪方法，其特征在于，还包括：

偏移量估计步骤：根据跟踪目标在当前帧和参考帧的坐标计算跟踪目标的偏移量，所述偏移量包括水平位移、垂直位移、和/或尺度偏移。

9.一种基于视频图像的目标实时追踪装置，其特征在于，包括：

图像获取模块，用于获取当前帧图像数据；

参考位置确定模块，用于从之前至少一帧已知跟踪目标位置的图像数据中选取一帧作为参考帧，并获取跟踪目标在所述参考帧中的位置(Rect0)；

当前位置计算模块，用于基于跟踪目标在参考帧图像数据中的位置(Rect0)计算跟踪目标在当前帧的位置(Rect1)；

跟踪目标验证模块，用于计算当前帧位置(Rect1)像素矩阵的特征矩阵，基于该特征矩阵利用验证模型计算跟踪目标在该当前帧位置(Rect1)上的验证概率(p2)，如果验证概率(p2)大于预设验证阈值(T2)，则该当前帧的位置(Rect1)为所述跟踪目标在该当前帧的位置。

10.如权利要求9所述的目标实时追踪装置，其特征在于，还包括：

更新模块，用于基于当前帧位置(Rect1)像素矩阵的特征矩阵利用连贯度模型计算用于表征跟踪目标形态变化的形态连贯度(p3)；如果所述形态连贯度(p3)在预设连贯范围内，则对所述验证模型进行更新。