CN101477690B - 一种视频帧序列中物体轮廓跟踪的方法和装置 - Google Patents

Abstract

公开了一种视频帧序列中物体轮廓跟踪的方法和装置，属于计算机视觉领域。所述方法包括：选取参考帧中待跟踪物体的跟踪点和边缘点；计算跟踪点从参考帧到处理帧的运动矢量，根据参考帧中跟踪点获取跟踪点在处理帧中的位置；根据跟踪点从参考帧到处理帧的运动矢量，计算边缘点从参考帧到处理帧的运动矢量，根据参考帧中边缘点估计边缘点在处理帧中的位置；根据边缘点在处理帧中位置，获取待跟踪物体在处理帧中轮廓。所述装置包括：边缘点选取模块、跟踪点选取模块、跟踪点跟踪模块、边缘点估计模块、轮廓恢复模块。本发明通过跟踪点的位置估计边缘点在处理帧的位置，获取物体轮廓，提高了物体轮廓跟踪的效率，增强了物体轮廓跟踪的实时性。

Description

一种视频帧序列中物体轮廓跟踪的方法和装置

技术领域

本发明涉及计算机视觉领域，特别涉及一种视频帧序列中物体轮廓跟踪的方法和装置。

背景技术

在计算机视觉领域中，通过提取视觉帧序列中物体的特征属性，并对特征属性进行相似度匹配，可以实现对物体的跟踪。物体的跟踪有两种不同的技术要求，一种是跟踪物体在视频帧序列中的运动轨迹，一种是跟踪视频帧序列每一帧中物体准确的轮廓信息。在实际应用中，对物体轮廓进行有效的跟踪，为物体行为分析、物体提取等工作提供了坚实的基础，属于计算机视觉领域中的重要课题。

对于视频帧序列中的物体，跟踪算法主要包括基于特征点的跟踪算法、基于核模型的跟踪算法和基于物体轮廓的跟踪算法，其中基于物体轮廓的跟踪算法能够准确跟踪物体的运动信息和轮廓信息，且适用于物体的非刚性运动，较其它跟踪算法有较高的应用价值，得到了广泛地应用。

目前，基于物体轮廓的跟踪算法通常将物体视频帧序列中前一帧的轮廓应用到当前帧作为初始轮廓，对其进行特征计算和调整，获得物体最终轮廓，实现对非刚性运动物体的跟踪，基于物体轮廓的跟踪算法主要通过概率统计或能量函数实现。

在概率统计方法中，物体轮廓位置的求解，等效为对物体轮廓位置的概率密度函数的估计，通过递归的贝叶斯滤波器求解实现。在离散有限的状态空间下，可以使用基于蒙特卡洛积分法的粒子滤波器进行物体轮廓跟踪，粒子滤波器随机抽取粒子样本，获得粒子样本的权重信息，然后利用粒子样本和对应的权重信息计算物体状态的函数分布，当粒子样本数足够大时，这种方法能够很好近似物体状态的后验分布。

利用能量函数的方法又称为主动轮廓收敛算法，使用一条由多个控制点组成的连续闭合曲线作为物体轮廓模型，设计能量函数来评价物体轮廓的匹配度。通过不断地迭代，调整物体轮廓，得到能量函数的最优解，即内外能量达到平衡，则得到了物体轮廓的最优位置。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

在现有技术中，采用粒子滤波器进行物体轮廓跟踪，随着粒子数的增加，计算量成级数增加；采用主动轮廓收敛算法对图像进行调整，在迭代无法收敛时，无法得到能量函数的最优解，即无法得到物体轮廓的最优位置，同时物体轮廓的迭代调整过程，计算量较大且收敛过程耗时。因此，现有技术中的物体轮廓跟踪算法，降低了物体轮廓跟踪的效率，从而影响了物体轮廓跟踪的实时性。

发明内容

为了提高物体轮廓跟踪的效率和实时性，本发明实施例提供了一种视频帧序列中物体轮廓跟踪的方法和装置。所述技术方案如下：

一种视频帧序列中物体轮廓跟踪的方法，所述方法包括：

选取参考帧中待跟踪物体的跟踪点和边缘点；

计算所述跟踪点从所述参考帧到处理帧的运动矢量，根据所述参考帧中的跟踪点获取所述跟踪点在所述处理帧中的位置；

根据所述跟踪点从所述参考帧到所述处理帧的运动矢量，计算所述边缘点从所述参考帧到所述处理帧的运动矢量，根据所述参考帧中的边缘点估计所述边缘点在所述处理帧中的位置；

根据所述边缘点在所述处理帧中的位置，获取所述待跟踪物体在所述处理帧中的轮廓；

所述计算所述跟踪点从所述参考帧到处理帧的运动矢量，具体为：

分别计算每个所述跟踪点在所述处理帧中的梯度二阶矩；

分别计算每个所述跟踪点在所述参考帧中的像素点窗口与所述跟踪点在所述处理帧中的像素点窗口的灰度误差；

将每个所述跟踪点的灰度误差除以每个所述跟踪点在所述处理帧中的梯度二阶矩，获取每个所述跟踪点的运动矢量。

一种视频帧序列中物体轮廓跟踪的装置，所述装置包括：

跟踪点选取模块，用于选取参考帧中待跟踪物体的跟踪点；

边缘点选取模块，用于选取所述参考帧中所述待跟踪物体的边缘点；

跟踪点跟踪模块，用于计算所述跟踪点从所述参考帧到处理帧的运动矢量，根据所述参考帧中的跟踪点获取所述跟踪点在所述处理帧中的位置；

边缘点估计模块，用于根据所述跟踪点从所述参考帧到所述处理帧的运动矢量，计算所述边缘点从所述参考帧到所述处理帧的运动矢量，根据所述参考帧中的边缘点估计所述边缘点在所述处理帧中的位置；

轮廓恢复模块，用于根据所述边缘点在所述处理帧中的位置，获取所述待跟踪物体在所述处理帧中的轮廓；

所述跟踪点跟踪模块，具体包括：

第一计算单元，用于分别计算每个所述跟踪点在所述处理帧中的梯度二阶矩；

第二计算单元，用于分别计算每个所述跟踪点在所述参考帧中的像素点窗口与所述跟踪点在所述处理帧中的像素点窗口的灰度误差；

第三计算单元，用于将每个所述跟踪点的灰度误差除以每个所述跟踪点在所述处理帧中的梯度二阶矩，获取每个所述跟踪点的运动矢量。

本发明实施例提供的技术方案的有益效果是：

本发明实施例获取在参考帧上物体轮廓的边缘点和跟踪点，通过计算运动矢量获得跟踪点在处理帧的位置，并通过加权边缘点最近邻的跟踪点运动矢量估计边缘点在处理帧的位置，利用边缘点在处理帧的位置得到物体在处理帧中的轮廓，最后将跟踪结束的处理帧作为参考帧，后续一帧作为处理帧连续跟踪物体轮廓，从而提高了物体轮廓跟踪的效率，增强了物体轮廓跟踪的实时性。

附图说明

图1是本发明实施例提供的视频帧序列中物体轮廓跟踪的方法流程图；

图2是本发明实施例1提供的视频帧序列中物体轮廓跟踪的方法流程图；

图3是本发明实施例1提供的参考帧中跟踪点提取方法流程图；

图4是本发明实施例2提供的视频帧序列中物体轮廓跟踪的装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，本发明实施例提供了一种视频帧序列中物体轮廓跟踪的方法，包括：

101：选取参考帧中待跟踪物体的跟踪点和边缘点；

102：计算跟踪点从参考帧到处理帧的运动矢量，根据参考帧中的跟踪点获取跟踪点在处理帧中的位置；

103：根据跟踪点从参考帧到处理帧的运动矢量，计算边缘点从参考帧到处理帧的运动矢量，根据参考帧中的边缘点估计边缘点在处理帧中的位置；

104：根据边缘点在处理帧中的位置，获取待跟踪物体在处理帧中的轮廓。

本发明实施例获取在参考帧上物体轮廓的边缘点和跟踪点，通过计算运动矢量获得跟踪点在处理帧的位置，并通过加权边缘点最近邻的跟踪点运动矢量估计边缘点在处理帧的位置，利用边缘点在处理帧的位置得到物体在处理帧中的轮廓，最后将跟踪结束的处理帧作为参考帧，后续一帧作为处理帧连续跟踪物体轮廓，从而提高了物体轮廓跟踪的效率，增强了物体轮廓跟踪的实时性。

实施例1

本发明实施例提供了一种针对视频帧序列中的物体轮廓进行跟踪的方法，该方法使用的系统硬件平台包括视频采集设备、跟踪服务器、视频显示设备和人机交互设备，其中视频采集设备与跟踪服务器连接，并将采集到的视频图像在视频显示设备上实时显示，视频显示设备与人机交互设备连接，用户通过人机交互设备对采集到的视频图像进行操作。跟踪服务器利用本发明实施例提供的物体轮廓跟踪方法对物体轮廓进行跟踪，并在视频显示设备上对物体轮廓亮度显示。

参见图2，本发明实施例提供了一种视频帧序列中物体轮廓跟踪的方法，具体包括：

201：在实时显示的视频图像中，利用人机交互方式标记视频图像，并保存标记的第一帧视频图像，同时记录待跟踪物体的标记操作；

其中，人机交互方式可以为鼠标操作、点触屏操作等方式；

标记包括在前景图像上做标记和在背景图像上做标记，具体地，前景图像指的是待跟踪物体，可以利用简单的鼠标操作，例如左键单击，标记待跟踪物体；

通过标记前景图像提取待跟踪物体，但是当背景图像与前景图像难以分辨时，例如背景图像与前景图像颜色相近，为了避免将背景图像误判为前景图像，本发明实施例对背景图像进行标记，可以利用与前景图像的标记不同的鼠标操作，例如左键双击，标记背景图像。

202：将保存的第一帧待跟踪物体图像作为参考帧，并将记录的待跟踪物体的标记操作全部作用于该参考帧；

203：提取待跟踪物体图像，获取参考帧中待跟踪物体的轮廓；

具体地，将参考帧从彩色图像的RGB(Red Green Blue，红绿蓝)空间转为灰度图像，对参考帧灰度图像进行分割，得到多个分割块区域；

本发明实施例通过标记操作将标记点附近颜色纹理相近的图像分割出来，提取待跟踪物体的轮廓，标记一点不足以分割出待跟踪物体，用户可以标记多个颜色纹理不同的点，将经过两种不同标记操作的分割块区域分别作为前景图像和背景图像的种子，将多个分割块区域融合在一起，得到参考帧中待跟踪物体的轮廓；

其中，可以利用分水岭算法对参考帧灰度图像进行分割；

可以利用Graph Cut算法将多个分割块区域融合在一起，提取待跟踪图像；

种子指的是已确定图像类别为前景图像或者背景图像的分割块区域。

204：选取参考帧中待跟踪物体的边缘点；

具体地，在参考帧待跟踪物体轮廓边缘上，可以等距离地选择边缘点，例如可以每隔10个像素点选择一个边缘点；

其中，边缘点用于恢复待跟踪物体的轮廓，记为

表示第k帧视频图像中第j个边缘点。

205：选取参考帧中待跟踪物体的跟踪点；

参见图3，跟踪点的选取过程具体包括：

205a：分别求取参考帧灰度图像在水平x方向与垂直y方向的梯度图像，分别记为I_x，I_y。

205b：在梯度图像上，分别以参考帧中待跟踪物体轮廓内部的每个像素点为中心，构建一定小大的像素点窗口，求取每个像素点窗口的梯度二阶矩：

$G=\underset{x,y}{\mathrm{\Σ}}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]---\left(1\right)$

本发明实施例中，构建3×3像素点窗口。

205c：求解每个像素点梯度二阶矩的特征值λ₁、λ₂，当某一像素点梯度二阶矩的特征值λ₁、λ₂满足

min(λ₁，λ₂)＞λ                  (2)

时，选取该像素点为待跟踪物体的参考帧跟踪点，记为

表示第k帧视频图像中第j个跟踪点；

其中，λ为像素点梯度二阶矩的特征值阈值，与像素点窗口的大小有关，在构建像素点窗口时设定λ。

206：分别求取每个跟踪点在处理帧中的梯度二阶矩；

其中，处理帧指的是参考帧的下一帧图像，即当前帧的下一帧图像；

具体地，

可以将跟踪点在参考帧图像中的坐标记为(x，y)，在处理帧中，以跟踪点坐标(x，y)为中心构建一定大小的像素点窗口，求取跟踪点在处理帧中的梯度二阶矩：

$G=\underset{x,y}{\mathrm{\Σ}}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]---\left(3\right)$

本发明实施例中，以跟踪点

坐标(x，y)为中心构建25×25像素点窗口。

207：分别计算跟踪点在参考帧中的像素点窗口与该跟踪点在处理帧中对应的像素点窗口的灰度误差；

具体地，将跟踪点

在参考帧中以坐标(x，y)为中心的3×3像素点窗口记为

在处理帧中以坐标(x，y)为中心的25×25像素点窗口记为

则与

的灰度误差为：

$e=\underset{x,y}{\mathrm{\Σ}}{\mathrm{\ω}}_{x,y}(W_{(x,y)}^{k+1}-W_{(x,y)}^k)\·\left[\begin{array}{c}{I}_x\\ I_y\end{array}\right]---\left(4\right)$

208：分别计算跟踪点从参考帧到处理帧的运动矢量，获取所有跟踪点在处理帧中的位置；

具体地，将每个跟踪点的灰度误差除以每个跟踪点在处理帧中的梯度二阶矩，获取每个跟踪点的运动矢量。

跟踪点

的运动矢量可以记为

根据跟踪点

在处理帧中的梯度二阶矩和灰度误差，计算得到运动矢量

为：

${\mathrm{\Δ}}_{T_j^k}=G^{-1}e---\left(5\right)$

根据跟踪点

从参考帧到处理帧的运动矢量，计算得到跟踪点

在处理帧中的位置：

$T_j^{k+1}=T_j^k+{\mathrm{\Δ}}_{T_j^k}---\left(6\right)$

209：在参考帧中，为每个边缘点寻找最近邻的若干个跟踪点；

本发明实施例为边缘点

选取三个跟踪点，记为{T_i1，T_i2，T_i3}，通过对该三个跟踪点的跟踪，估计边缘点

在处理帧中的位置。

210：将每个边缘点最近邻的跟踪点的运动矢量加权求和，计算每个边缘点从参考帧到处理帧的运动矢量，估计所有边缘点在处理帧中的位置；

具体地，

对于与边缘点

最近邻的三个跟踪点{T_i1，T_i2，T_i3}，通过步骤210所述方法计算得到三个跟踪点从参考帧到处理帧的三个运动矢量，将三个运动矢量进行加权求和，得到边缘点

从参考帧到处理帧的运动矢量，

${\mathrm{\Δ}}_{C_i^k}=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{\mathrm{\Δ}}_{T_{\mathrm{ij}}}---\left(7\right)$

其中，

$\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_j=1---\left(8\right)$

${\mathrm{\ω}}_j\·D(C_i^k,T_{\mathrm{ij}})=\mathrm{cons}.---\left(9\right)$

ω_j为边缘点

的第j个最近邻跟踪点的权重；

表示边缘点

第j个最近邻跟踪点与边缘点

的欧式距离，其中边缘点

第j个最近邻跟踪点与边缘点

的距离可以采用其它距离，本发明实施例采用欧式距离。

根据边缘点

从参考帧到处理帧的运动矢量，计算得到边缘点

在处理帧中的位置：

$C_i^{k+1}=C_i^k+{\mathrm{\Δ}}_{C_i^k}---\left(10\right)$

在本发明实施例中，处理帧的边缘点位置并不通过跟踪得到，而是选择最近邻的跟踪点作为参考，通过加权平均最近邻跟踪点的运动矢量获得边缘点的运动矢量，从而估计边缘点在处理帧中的位置。边缘点位置的预测利用了多个跟踪点的运动信息，有效地提高了跟踪算法抑制噪声的能力。

211：利用处理帧中估计的边缘点位置，初始恢复待跟踪物体轮廓；

具体地，可以将处理帧中的边缘点按照顺序进行B-样条插值，恢复待跟踪物体的初始轮廓，本发明实施例中采用了3次B-样条插值，如下：

$p_{i,3}\left(t\right)=\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{p}_{i+k}\·F_{k,3}\left(t\right)---\left(11\right)$

其中，插值公式

$F_{k,3}\left(t\right)=\frac{1}{3!}\underset{j=0}{\overset{3-k}{\mathrm{\Σ}}}{(-1)}^j{C}_4^j{(t+3-k-j)}^3---\left(12\right)$

212：优化待跟踪物体轮廓，得到高精度的待跟踪物体轮廓；

本发明实施例利用初始恢复的待跟踪物体轮廓和梯度信息，对物体轮廓进行全局迭代调整，得到待跟踪物体的真实边缘。

213：将跟踪结束的处理帧作为下一次跟踪的参考帧，后续一帧作为下一次跟踪的处理帧进行连续实时跟踪，返回步骤206。

本发明实施例获取在参考帧上物体轮廓的边缘点和跟踪点，通过计算运动矢量获得跟踪点在处理帧的位置，并通过加权边缘点最近邻的跟踪点运动矢量估计边缘点在处理帧的位置，利用边缘点在处理帧的位置得到物体在处理帧中的轮廓，最后将跟踪结束的处理帧作为参考帧，后续一帧作为处理帧连续跟踪物体轮廓，从而提高了物体轮廓跟踪的效率，增强了物体轮廓跟踪的实时性。

实施例2

参见图4，本发明实施例提供了一种视频帧序列中物体轮廓跟踪的装置，具体包括：

存储模块401，用于存储标记的第一帧待跟踪物体的视频图像，同时存储对待跟踪物体的标记操作，并将保存的第一帧待跟踪物体图像作为参考帧，将记录的对待跟踪物体的标记操作全部作用于该参考帧。

轮廓提取模块402，用于获取参考帧中待跟踪物体的轮廓；

具体地，将参考帧从彩色图像的RGB(Red Green Blue，红绿蓝)空间转为灰度图像，对参考帧灰度图像进行分割，得到多个分割块区域；

本发明实施例通过标记操作将标记点附近颜色纹理相近的图像分割出来，提取待跟踪物体的轮廓，标记一点不足以分割出待跟踪物体，用户可以标记多个颜色纹理不同的点，将经过两种不同标记操作的分割块区域分别作为前景图像和背景图像的种子，将多个分割块区域融合在一起，得到参考帧中待跟踪物体的轮廓；

其中，种子指的是已确定图像类别为前景图像或者背景图像的分割块区域；本发明实施例中，对参考帧灰度图像进行分割可以采用分水岭算法；提取待跟踪物体图像可以采用Graph Cut算法。

边缘点选取模块403，用于选取参考帧中待跟踪物体的边缘点；

具体地，在参考帧待跟踪物体轮廓边缘上，可以等距离地选择边缘点，例如可以每隔10个像素点选择一个边缘点。

跟踪点选取模块404，用于选取参考帧中待跟踪物体的跟踪点；

具体地，

首先，分别求取参考帧灰度图像在水平x方向与垂直y方向的梯度图像，分别记为I_x，I_y；

然后，分别以参考帧中待跟踪物体轮廓内部的每个像素点为中心，构建一定小大的像素点窗口，求取每个像素点窗口的梯度二阶矩：

$G=\underset{x,y}{\mathrm{\Σ}}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]---\left(13\right)$

例如本发明实施例中可以构建3×3像素点窗口；

最后，求解每个像素点梯度二阶矩的特征值λ₁、λ₂，当某一像素点梯度二阶矩的特征值λ₁、λ₂满足

min(λ₁，λ₂)＞λ               (14)

时，选取该像素点为待跟踪物体的参考帧跟踪点，可以记为表示第k帧视频图像中第j个跟踪点；

其中，λ为像素点梯度二阶矩的特征值阈值，与像素点窗口的大小有关，在构建像素点窗口时设定λ。

跟踪点跟踪模块405，用于计算每个跟踪点从参考帧到处理帧的运动矢量，确定参考帧中每个跟踪点在处理帧中的位置；

具体地，

首先，分别求取每个跟踪点在处理帧中的梯度二阶矩；

可以将跟踪点

在参考帧图像中的坐标记为(x，y)，在处理帧中，以跟踪点

坐标(x，y)为中心构建一定大小的像素点窗口，求取跟踪点在处理帧中的梯度二阶矩：

$G=\underset{x,y}{\mathrm{\Σ}}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]---\left(15\right)$

本发明实施例中，以跟踪点

坐标(x，y)为中心构建25×25像素点窗口；

然后，分别计算跟踪点在参考帧中的像素点窗口与该跟踪点在处理帧中对应的像素点窗口的灰度误差；

将跟踪点

在参考帧中以坐标(x，y)为中心的3×3像素点窗口记为

在处理帧中以坐标(x，y)为中心的25×25像素点窗口记为

则与

的灰度误差为：

$e=\underset{x,y}{\mathrm{\Σ}}{\mathrm{\ω}}_{x,y}(W_{(x,y)}^{k+1}-W_{(x,y)}^k)\·\left[\begin{array}{c}{I}_x\\ I_y\end{array}\right]---\left(16\right)$

最后，分别计算跟踪点从参考帧到处理帧的运动矢量，获取所有跟踪点在处理帧中的位置；

将每个跟踪点的灰度误差除以每个跟踪点在处理帧中的梯度二阶矩，跟踪点

的运动矢量可以记为

根据跟踪点在处理帧中的梯度二阶矩和灰度误差，计算得到运动矢量为：

${\mathrm{\Δ}}_{T_j^k}=G^{-1}e---\left(17\right)$

根据跟踪点

从参考帧到处理帧的运动矢量，计算得到跟踪点在处理帧中的位置：

$T_j^{k+1}=T_j^k+{\mathrm{\Δ}}_{T_j^k}---\left(18\right)$

边缘点估计模块1306，用于通过查找每个边缘点最近邻的跟踪点，将每个最近邻的跟踪点的运动矢量加权求和，得到每个边缘点从参考帧到处理帧的运动矢量，估计所有边缘点在处理帧中的位置；

具体地，本发明实施例中为边缘点

选取三个跟踪点，记为{T_i1，T_i2，T_i3}，通过对该三个跟踪点的跟踪，估计边缘点

在处理帧中的位置；

对于与边缘点最近邻的三个跟踪点{T_i1，T_i2，T_i3}，通过步骤208所述方法计算得到三个跟踪点从参考帧到处理帧的三个运动矢量，将三个运动矢量进行加权求和，得到边缘点从参考帧到处理帧的运动矢量，

${\mathrm{\Δ}}_{C_i^k}=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{\mathrm{\Δ}}_{T_{\mathrm{ij}}}---\left(19\right)$

其中，

${\mathrm{\ω}}_j\·D(C_i^k,T_{\mathrm{ij}})=\mathrm{cons}.---\left(21\right)$

ω_j为边缘点

的第j个最近邻跟踪点的权重；

表示边缘点

第j个最近邻跟踪点与边缘点

的欧式距离，其中边缘点

第j个最近邻跟踪点与边缘点

的距离可以采用其它距离，本发明实施例采用欧式距离；

根据边缘点从参考帧到处理帧的运动矢量，计算得到边缘点

在处理帧中的位置：

$C_i^{k+1}=C_i^k+{\mathrm{\Δ}}_{C_i^k}---\left(22\right)$

轮廓恢复模块407，用于利用处理帧中估计的边缘点位置，恢复待跟踪物体在处理帧中的轮廓，并进一步优化，得到高精度的待跟踪物体轮廓；

具体地，可以将处理帧中的边缘点按照顺序进行B-样条插值，恢复待跟踪物体的初始轮廓，本发明实施例中采用了3次B-样条插值，如下：

$p_{i,3}\left(t\right)=\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{p}_{i+k}\·F_{k,3}\left(t\right)---\left(23\right)$

其中，插值公式

$F_{k,3}\left(t\right)=\frac{1}{3!}\underset{j=0}{\overset{3-k}{\mathrm{\Σ}}}{(-1)}^j{C}_4^j{(t+3-k-j)}^3---\left(24\right)$

进一步地，轮廓获取模块402具体包括：

转换单元402a，用于将参考帧从彩色图像的RGB(Red Green Blue，红绿蓝)空间转为灰度图像；

分割单元402b，用于对转换单元402a得到的参考帧灰度图像进行分割，得到多个分割块区域，并将经过两种不同标记操作的分割块区域分别作为前景图像和背景图像的种子，提取待跟踪物体图像，获取参考帧中待跟踪物体的轮廓。

跟踪点选取模块404具体包括：

第一求取单元404a，用于分别求取参考帧灰度图像在水平方向和垂直方向的梯度图像；

第二求取单元404b，用于在梯度图像上，分别以参考帧中待跟踪物体轮廓内部的每个像素点为中心，构建一定大小的像素点窗口，求取每个像素点窗口的梯度二阶矩；

比较单元404c，用于求解每个像素点的梯度二阶矩特征值，比较梯度二阶矩特征值与特征值阈值的关系，当梯度二阶矩特征值的最小值大于特征值阈值时，该像素点为跟踪点。

跟踪点跟踪模块405具体包括：

第一计算单元405a，用于计算每个跟踪点在处理帧中的梯度二阶矩；

第二计算单元405b，用于计算每个跟踪点在参考帧中的像素点窗口与该跟踪点在处理帧中对应的像素点窗口的灰度误差；

第三计算单元405c，用于将第二计算单元405b得到的灰度误差除以第一计算单元405a得到的梯度二阶矩，计算跟踪点从参考帧到处理帧的运动矢量；

位置跟踪单元405d，用于通过跟踪点在参考帧中的位置和第三计算单元405c得到的运动矢量获取所有跟踪点在处理帧中的位置。

边缘点估计模块406具体包括：

查找单元406a，用于在参考帧中为每个边缘点查找最近邻的若干个跟踪点；

计算单元406b，用于将查找单元406a查找的每个边缘点最近邻的跟踪点的运动矢量加权求和，计算每个边缘点从参考帧到处理帧的运动矢量；

位置估计单元406c，用于通过边缘点在参考帧中的位置和计算单元406b得到的运动矢量估计所有边缘点在处理帧中的位置。

本发明实施例通过边缘点选取模块和跟踪点选取模块获取物体轮廓在参考帧的边缘点和跟踪点，并通过跟踪点跟踪模块和边缘点估计模块分别计算跟踪点和边缘点在处理帧中的运动矢量，估计边缘点在处理帧中的位置，由轮廓恢复模块恢复调整得到待跟踪物体真实轮廓，最后将跟踪结束的处理帧作为参考帧，后续一帧作为处理帧连续跟踪物体轮廓，从而提高了物体轮廓跟踪的效率，增强了物体轮廓跟踪的实时性。

以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频帧序列中物体轮廓跟踪的方法，其特征在于，所述方法包括：

选取参考帧中待跟踪物体的跟踪点和边缘点；

计算所述跟踪点从所述参考帧到处理帧的运动矢量，根据所述参考帧中的跟踪点获取所述跟踪点在所述处理帧中的位置；

根据所述跟踪点从所述参考帧到所述处理帧的运动矢量，计算所述边缘点从所述参考帧到所述处理帧的运动矢量，根据所述参考帧中的边缘点估计所述边缘点在所述处理帧中的位置；

根据所述边缘点在所述处理帧中的位置，获取所述待跟踪物体在所述处理帧中的轮廓；

所述计算所述跟踪点从所述参考帧到处理帧的运动矢量，具体为：

分别计算每个所述跟踪点在所述处理帧中的梯度二阶矩；

分别计算每个所述跟踪点在所述参考帧中的像素点窗口与所述跟踪点在所述处理帧中的像素点窗口的灰度误差；

将每个所述跟踪点的灰度误差除以每个所述跟踪点在所述处理帧中的梯度二阶矩，获取每个所述跟踪点的运动矢量。

2.如权利要求1所述的方法，其特征在于，所述选取参考帧中待跟踪物体的跟踪点，具体为：

分别求取所述参考帧灰度图像在水平方向和垂直方向的梯度图像；

在所述梯度图像中，分别以所述参考帧中所述待跟踪物体轮廓内部的每个像素点为中心，构建像素点窗口，求取每个所述像素点窗口的梯度二阶矩；

求解每个所述像素点窗口的梯度二阶矩的特征值，比较所述特征值与预设的特征值阈值的关系，当所述特征值的最小值大于所述特征值阈值时，所述像素点为所述跟踪点。

3.如权利要求1所述的方法，其特征在于，所述根据所述跟踪点从所述参考帧到处理帧的运动矢量，计算所述边缘点从所述参考帧到所述处理帧的运动矢量，具体为：

在所述参考帧中，为每个所述边缘点寻找最近邻的跟踪点；

将每个所述最近邻的跟踪点的运动矢量加权求和，得到每个所述边缘点从所述参考帧到所述处理帧的运动矢量。

4.如权利要求1所述的方法，其特征在于，所述方法在选取参考帧中待跟踪物体的跟踪点和边缘点前，还包括：

标记视频图像，选取所述参考帧；

获取所述参考帧中所述待跟踪物体的轮廓。

5.如权利要求4所述的方法，其特征在于，所述标记视频图像，选取所述参考帧，具体为：

通过不同的标记操作标记所述视频图像的前景图像和背景图像；

保存标记的第一帧所述视频图像，记录标记所述前景图像的标记操作；

选取所述第一帧所述视频图像为所述参考帧，并将记录的所述标记操作作用于所述参考帧。

6.如权利要求1所述的方法，其特征在于，所述方法在根据所述边缘点在所述处理帧中的位置，获取所述待跟踪物体在所述处理帧中的轮廓后，还包括：

将所述处理帧作为下一次跟踪的参考帧，后续一帧作为下一次跟踪的处理帧，连续跟踪所述待跟踪物体的轮廓。

7.一种视频帧序列中物体轮廓跟踪的装置，其特征在于，所述装置包括：

跟踪点选取模块，用于选取参考帧中待跟踪物体的跟踪点；

边缘点选取模块，用于选取所述参考帧中所述待跟踪物体的边缘点；

跟踪点跟踪模块，用于计算所述跟踪点从所述参考帧到处理帧的运动矢量，根据所述参考帧中的跟踪点获取所述跟踪点在所述处理帧中的位置；

边缘点估计模块，用于根据所述跟踪点从所述参考帧到所述处理帧的运动矢量，计算所述边缘点从所述参考帧到所述处理帧的运动矢量，根据所述参考帧中的边缘点估计所述边缘点在所述处理帧中的位置；

轮廓恢复模块，用于根据所述边缘点在所述处理帧中的位置，获取所述待跟踪物体在所述处理帧中的轮廓；

所述跟踪点跟踪模块，具体包括：

第一计算单元，用于分别计算每个所述跟踪点在所述处理帧中的梯度二阶矩；

第二计算单元，用于分别计算每个所述跟踪点在所述参考帧中的像素点窗口与所述跟踪点在所述处理帧中的像素点窗口的灰度误差；

第三计算单元，用于将每个所述跟踪点的灰度误差除以每个所述跟踪点在所述处理帧中的梯度二阶矩，获取每个所述跟踪点的运动矢量。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

存储模块，用于存储标记的第一帧所述待跟踪物体的视频图像，同时存储对所述待跟踪物体的标记操作，并将存储的所述第一帧视频图像作为所述参考帧，将存储的对所述待跟踪物体的标记操作全部作用于所述参考帧；

轮廓获取模块，用于获取所述参考帧中所述待跟踪物体的轮廓。

9.如权利要求7所述的装置，其特征在于，所述跟踪点选取模块，具体包括：

第一求取单元，用于分别求取所述参考帧灰度图像在水平方向和垂直方向的梯度图像；

第二求取单元，用于在所述梯度图像中，分别以所述参考帧中所述待跟踪物体轮廓内部的每个像素点为中心构建像素点窗口，求取每个所述像素点窗口的梯度二阶矩；

比较单元，用于求解每个所述像素点窗口的梯度二阶矩的特征值，比较所述特征值与预先设定的特征值阈值的关系，当所述特征值的最小值大于所述特征值阈值时，所述像素点为所述跟踪点。

10.如权利要求7所述的装置，其特征在于，所述边缘点估计模块，具体包括：

查找单元，用于在所述参考帧中为每个所述边缘点寻找最近邻的跟踪点；

计算单元，将每个所述最近邻的跟踪点的运动矢量加权求和，得到每个所述边缘点从所述参考帧到所述处理帧的运动矢量。

Images