CN102456226B - 兴趣区域的追踪方法 - Google Patents

Abstract

本发明公开了一种兴趣区域的追踪方法。该兴趣区域追踪方法通过一特征点监测与追踪模块在一初始时间时，将一图像画面的一兴趣区域先作一局部特征点的监测，然后对此监测到的至少一特征点进行追踪；一线性转换模块利用所追踪的多个对应的特征点，来求出前后两帧图像画面的兴趣区域的转换关系；一预测及更新模块在一目前时间，对此兴趣区域的移动位置作预测及修正；一粗差点去除模块通过此预测及更新模块对兴趣区域的修正结果，去除落在兴趣区域之外的至少一粗差点。通过本发明各实施例，可以得到稳定且平滑的兴趣区域的追踪，此类兴趣区域可以是移动物、背景或同时包括移动物及背景。

Description

兴趣区域的追踪方法

技术领域

本发明涉及智能监控领域，尤其涉及一种兴趣区域（Region-Of-Interest，简称ROI）的追踪方法。

背景技术

智能型监控系统逐渐崛起后，一些技术的开发是后端系统中利用图像分析技术来提取有意义的事件信息。固定式摄影机的监控范围有限并存在监视死角。当事件发生的区域广大时，固定式摄影机无法获得整体事件的监控画面。有些技术的探索是通过在高空运载工具，例如热气球、无人驾驶飞机等，架设摄影机来俯视地面摄影并分析图像监测事件，辅助地面监控系统进行大范围区域的监测，达到无死角的全面性监控。

飞行工具上利用计算机视觉对地面物体进行追踪的技术中，针对移动物体监测的技术，例如，可通过仿射模型的形变(affine warping)技术，先将一移动物体的连续的输入图像彼此对正(registration)后，计算连续两帧稳定的(stabilized)图像的正交流(normal flow)，监测出移动物体。然后以四连通标记(4-connectivity connected component labeling)技术给予标记。再针对每帧图像上标记好的物体，考虑其属性，例如，质量中心位置、主轴方向、长度等属性，来计算出相邻图像上物体之间的相似度，并给予关联，进而追踪此移动物体。

移动物体追踪主要有三种策略。一为通过点光流的追踪(KLT Tracker)，将相邻画面的物体关联起来。二为计算出物体的外貌或运动特征，将相邻画面的移动物，通过设定一阈值来判断相关性，或考虑画面中多数移动物体的特征来算出最佳的匹配机率。三为通过滤波器技术如粒子滤波器(particle filter)来进行移动物体的追踪。

视觉式的兴趣区域追踪有基于图像样板(image template)比对或基于特征点追踪的兴趣区域追踪法。前者的追踪技术是根据兴趣区域的图像特征，在下一帧图像内搜寻最大相似响应的区域，例如平均值移位法(meanshift scheme)，为利用平均值移位法所算出的特征空间的梯度信息，快速找到追踪的目标区域。后者的追踪技术是在兴趣区域监测特征点，并通过光流法追踪前后两帧图像的特征点的对应关系，通过此关系作为追踪整个兴趣区域的依据，例如随机样本相合法(Random sample Consensus，简称RANSAC)，为基于大数法则，利用随机方式选取数个特征点，来估测前、后帧图像兴趣区域的单应性转换关系(homography)，并且利用重复递归的方式来找出与所有特征点最匹配的单应性转换。当正确或合适此转换的点(inlier)过少时，此RANSAC法需要重复执行多次循环，耗费大量运算资源来得到可靠的追踪结果。

视觉式的兴趣区域追踪的相关专利如美国专利号6757434的文献，其公开了一种视频图像上追踪兴趣区域的技术，可用于图像压缩编码。如图1所示，此技术针对第k-1帧图像上的兴趣区域110，先利用边界投影方式在第k帧图像上预测兴趣区域的边缘位置120，再逆向于第k-1帧图像上寻找匹配点130。另一篇美国专利公开号US2010/0045800的文献中，其技术是将兴趣区域区分为内圈及外圈，并分别计算此内外圈的色彩直方图作为特征，并将其作为追踪的依据。

图像上追踪兴趣区域的相关论文如Region-of-interest Tracking basedon Keypoint Trajectories on a Group of Pictures,International Workshop onContent-based Multimedia Indexing,2007，其公开了一种通过特征点在图像上追踪兴趣区域的技术，此技术通过M-估测器来估算前后两帧兴趣区域的仿射转换(affine transform)，并通过一最佳化算法来解M-估测器的问题。此技术利用统计的意义剔除粗差点(outlier)，但此最佳化过程会耗费大量的运算资源。

目前，飞行工具上物体追踪技术往往需要大量且复杂的运算资源。基本上，需要仰赖个人计算机等级以上的运算装置来达到实时运算，而飞行工具上也往往有其负载的限制，因而适合搭载较轻巧的嵌入式系统。所以，物体追踪的演算机制需要运算速度快并且有效率。

发明内容

本发明公开的实施例可提供一种兴趣区域的追踪系统、方法及计算机程序产品。

在一实施例中，所公开的是关于一种兴趣区域的追踪系统。此系统包括一特征点监测与追踪模块(feature point detecting and tracking module)、一线性转换模块(linear transformation module)、一预测及更新模块(estimationand update module)、以及一粗差点去除模块(outlier rejection module)。特征点监测与追踪模块在一初始时间时，将一图像画面的一兴趣区域先作一局部特征点的监测，然后对此监测到的至少一特征点进行追踪。线性转换模块利用所追踪的多个对应的特征点，来求出前后两帧图像画面的兴趣区域的转换关系。预测及更新模块在一目前时间，对此兴趣区域的移动位置作预测及修正。粗差点去除模块通过预测及更新模块对兴趣区域的修正结果，将落在兴趣区域之外的至少一粗差点去除。

在另一实施例中，所公开的是关于一种兴趣区域的追踪方法。此方法包括：在一初始时间时，通过一特征点监测与追踪模块将一图像画面的一兴趣区域先作一局部特征点的监测，然后对此监测到的至少一特征点进行追踪；根据所追踪的多个对应的特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系；通过一预测及更新模块，在一目前时间对兴趣区域的移动位置作预测及修正；根据预测及更新模块对兴趣区域的修正结果，通过一粗差点去除模块将落在兴趣区域之外的至少一粗差点去除；以及设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果。

在另一实施例中，所公开的是关于一种兴趣区域的追踪装置。此装置包括一存储器以及存储于此存储器的一可执行的计算机程序。此计算机程序通过一处理器来执行：在一初始时间时，通过一特征点监测与追踪模块将一图像画面的一兴趣区域先作一局部特征点的监测，然后对此监测到的至少一特征点进行追踪；根据所追踪的多个对应的特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系；通过一预测及更新模块，在一目前时间对兴趣区域的移动位置作预测及修正；根据预测及更新模块对兴趣区域的修正结果，通过一粗差点去除模块将落在兴趣区域之外的至少一粗差点去除；以及设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果。

本发明各实施例可以产生如下的有益效果：可以得到稳定且平滑的兴趣区域的追踪，此类兴趣区域可以是移动物、背景或同时包括移动物及背景。

附图说明

图1是一范例示意图，说明一种视频图像上追踪兴趣区域的技术。

图2是兴趣区域追踪技术的应用场景的一个范例示意图，与所公开的某些实施例一致。

图3是兴趣区域的追踪系统的一个范例示意图，与所公开的某些实施例一致。

图4A至图4C是范例示意图，分别说明矩形区域在图像中移动的三种情况，与所公开的某些实施例一致。

图5A是一范例示意图，说明特征点监测与追踪模块对行驶中的汽车的一兴趣区域作特征点监测，其中“+”为监测到的特征点，与所公开的某些实施例一致。

图5B是一范例示意图，说明特征点监测与追踪模块利用光流法进行特征点的追踪，其中“-”为行驶中的汽车的移动向量，与所公开的某些实施例一致。

图6A至图6C是范例示意图，说明线性转换模块求出的前后两帧图像画面的兴趣区域的转换关系，与所公开的某些实施例一致。

图7A至图7C是范例示意图，说明预测及更新模块利用卡曼滤波器，进行滤波及兴趣区域估测，与所公开的某些实施例一致。

图8是粗差点移除的一个范例示意图，与所公开的某些实施例一致。

图9是兴趣区域的追踪方法的一范例流程图，与所公开的某些实施例一致。

图10是一范例示意图，说明兴趣区域的追踪的计算机程序产品及其应用场景，与所公开的某些实施例一致。

本附图的元件符号简要说明：

110-兴趣区域；         120-兴趣区域的边缘位置；

130-匹配点；

I_t-t时间的串流图像；           I_t+n-时间t+n的图像画面；

ROI_t-时间t的兴趣区域；         ROI_t+n-时间t+n的兴趣区域；

300-兴趣区域的追踪系统；       310-特征点监测与追踪模块；

312-兴趣区域；                 314-特征点；

320-线性转换模块；             324-单应性转换；

330-预测及更新模块；           334-修正结果；

333-符合一特征点再监测条件?    344-符合一终止条件?

340-粗差点去除模块；           355-删除此兴趣区域；

377-重新进行特征点监测；

366-输入新图像画面并将时间t加1；

410、420、430-矩形区域；

500-行驶中的汽车；             512-兴趣区域；

a、b-不同时间的广角摄影机位置；

P_a-前帧图像画面的兴趣区域在位置a的投影；

P_b-后帧图像画面的兴趣区域在位置b的投影；

H_ba-单应性转换矩阵；

710-t时间时的兴趣区域；

720-预测出的t+1时间的兴趣区域；

725-监测出的t+1时间的兴趣区域；

730-被修正后的t+1时间的兴趣区域；

801～804被去除的粗差点；

810-t时间时，图像画面上兴趣区域；

820-t+1时间时，图像画面上的兴趣区域；

910-在一初始时间时，通过一特征点监测与追踪模块来点选一图像画面的一兴趣区域，并对此兴趣区域作一局部特征点的监测，及对此监测到的至少一特征点进行追踪；

920-根据所追踪的多个对应的特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系；

930-通过一预测及更新模块，在一目前时间对兴趣区域的移动位置作预测及修正；

940-根据预测及更新模块对兴趣区域修正的结果，通过一粗差点去除模块将落在兴趣区域之外的至少一粗差点去除；

950-设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果；

1000计算机程序产品；     1010存储器；

1020计算机程序；         1030处理器。

具体实施方式

本发明公开了一种图像式的兴趣区域的追踪技术，此追踪技术结合特征点估测与追踪、单应性转换矩阵估测(homography transform estimation)、滤波器追踪(filtering for tracking)以及粗差点去除技术，来进行兴趣区域的追踪。此类兴趣区域可以是移动物体(moving object)、或是固定背景(background)、或是同时含有移动物体及背景。移动物体例如是行驶中的汽车、轮船等，固定背景例如是地貌、建筑物等。兴趣区域的边界可以是规则或不规则的形状(irregular in shape)。

通过基于特征点追踪的单应性透视投影转换，可推算出兴趣区域的移动情况。通过滤波器的预测及更新能力，可稳定且平滑地追踪兴趣区域。通过滤波器的追踪结果，来重新估测单应性转换矩阵，并去除粗差点。

图2是兴趣区域追踪技术的应用场景的一个范例示意图，与所公开的某些实施例一致。图2的范例中，假设在一空中飞行器上，架设一广角摄影机及另一回转式(Pan/Tilt)摄影机。广角摄影机能有效观看大范围场景，PT摄影机有两个角度的自由度(pan与tilt)，可旋转并局部放大广角摄影机视野内的特定范围，以取得高分辨率的图像信息。此广角摄影机实时图像提取，将所取得的串流图像I_t回传至地表伺服端的用户，用户可通过如鼠标或触控式屏幕，在t时间点选串流图像I_t上的兴趣区域ROI_t，再通过无线信号回传至空中飞行器端，驱动此回转式摄影机聚焦于点选的兴趣区域，来拍摄高分辨率的放大图像，提供地表用户更为精细的信息。

图2的应用场景中，由于数据传输的延迟，此时广角摄影机所取得的图像I_t+n将为t+n时间的图像画面，与串流图像I_t的取像时间已有时间差n，其中n等于图像由空中飞行器传输至地表服务器所需的时间，因此，用户所点选的兴趣区域的位置，与空中飞行器上实时取得图像上的位置必然有所差距，因此必须通过兴趣区域追踪技术，在系统暂存的历史图像中，由图像I_t快速追踪兴趣区域ROI_t至图像I_t+n，才能够将回转式摄影机驱动至准确位置，所以追踪速度需越快越好，并且至少要大于取像速度，例如大于30帧/秒(frames/sec)。而此时兴趣区域追踪技术需处理至少存储由时间点t至t+n的所有图像画面的队列式图像缓冲区，并由时间t的图像开始追踪兴趣区域ROI_t的位置直到时间t+n的兴趣区域ROI_t+n在图像画面I_t+n中移动的位置。

除了图2的应用场景外，此兴趣区域追踪技术还可应用于如下的场景：农渔牧观测及资源研究、地形地貌侦照及监控、气象观测及资料收集、交通监视与管控、台风油污森林火灾的灾情调查、空中观测与摄影、核生化污染及环境监测、海难搜救、水土保持、土石流道路破坏、边境巡逻、海域渔场巡视保护、建筑物及房间内的图像分析、电力线或输油管线沿线监看、与取代高价格的卫星等。

图3是兴趣区域的追踪系统的一个范例示意图，与所公开的某些实施例一致。图3的范例中，兴趣区域的追踪系统300可包括一特征点监测与追踪模块310、一线性转换模块320、一预测及更新模块330、以及一粗差点去除模块340。

特征点监测与追踪模块310在一初始时间(t=0)时，将一图像画面It的一兴趣区域312先作一局部特征点的监测，例如利用Harris特征点监测法来进行此局部特征点的监测，然后对此图像画面It的特征点进行追踪，例如利用光流法进行特征点(feature point)的追踪。将兴趣区域312输入特征点监测与追踪模块310有多种方式，例如，可由一用户通过如鼠标或触控式屏幕点选一图像画面I_t的一区域后，输入此区域至特征点监测与追踪模块310。线性转换模块320利用特征点监测与追踪模块310所追踪的多个对应的特征点314，来求出前后两帧图像画面，即I_t与I_t+1，的兴趣区域的转换关系。此转换关系即所谓的单应性转换324，可推算出兴趣区域的移动情况。

再通过预测及更新模块330，例如利用卡曼滤波器，对兴趣区域的移动位置作预测及修正，而粗差点去除模块340通过预测及更新模块330对兴趣区域的修正结果334，将落在兴趣区域之外的粗差点去除。其中，如标号333所示，兴趣区域的追踪系统300可设定是否进行一特征点再监测的条件，例如当可靠的特征点数量小于一预设阀值时，如小于初始点数的某一百分比时，则如标号377所示，重新进行特征点监测，来得到稳定且可靠的兴趣区域的追踪结果。

一兴趣区域的追踪如标号344所示，也可以设定是否符合一终止条件，例如当此兴趣区域位于画面边缘时，则停止对此兴趣区域的追踪，换句话说，删除此兴趣区域，如标号355所示。否则，如标号366所示，输入新图像画面并将时间t加1，然后，特征点监测与追踪模块310再利用光流法进行新图像画面的特征点的追踪。

以下以一行驶中的汽车为例，并配合附图来说明兴趣区域的追踪系统300中各模块的运行原理和结果。

兴趣区域的选取与特征点监测的原理，举例说明如下。当用户选好一兴趣区域后，此兴趣区域假设为一W×H的矩形，W与H分别为此矩形的宽与长。首先在此矩形内取得最大响应的m个Harris特征点，此m个特征点的选取是观察一帧图像画面中局部的矩形区域，将此矩形区域在图像中以不同的方向作微小的移动，来了解矩形区域中灰度变化的强弱，矩形区域可分为三种情况：(1)在矩形区域移动的图像中，若灰度值的变化是趋于平坦，则无论此矩形区域要往哪个方向移动，此矩形区域中的灰度并不会有特别明显的变化，如图4A的矩形区域410的范例所示；(2)若矩形区域在边或是线的图像区域中移动，则当矩形区域沿着边或线的方向与边或线垂直，则灰度变化将会相当强烈，如第四B图的范例所示，矩形区域420沿着右边的方向移动，则其右边区域的灰度变化相当强烈；(3)若矩形区域在具有特征点的图像区域中移动，则无论哪一个方向的移动都会造成此矩形区域中强烈的灰度变化，如图4C的范例所示，矩形区域430无论沿着左右或上下的方向移动，都会造成矩形区域430中强烈的灰度变化。

依此，此矩形区域在各方向移动后，其变化的总和可以用公式(1)来表示：

$E_{x,y}=\underset{u,v}{\mathrm{\Σ}}{w}_{u,v}|I_{x+u,y+v}-I_{u,v}|---\left(1\right)$

其中w_u,v表示所定义的矩形区域，若点(u,v)的位置在区域中，则w_u,v的值为1，否则为0；I_u,v为图像当中，点在(u,v)坐标的灰度值；x与y则分别表示在x方向及y方向的移动量。

式(1)可以泰勒展开式展开并估算出图像I在x方向以及y方向的梯度后，公式(1)可以进一步简化为

E_x,y=Ax²+2Cxy+By²         (2)

其中， $A={\left(\frac{\∂I}{\∂x}\right)}^2{w}_{u,v},B={\left(\frac{\∂I}{\∂y}\right)}^2{w}_{u,v},C=\left(\frac{\∂I}{\∂x}\right){\left(\frac{\∂I}{\∂y}\right)}^2{w}_{u,v}.$

为了减少图像中噪声的影响，将二元的wu,v以Gaussian函数来取代，而公式(2)以矩阵来表示如下:

E_x,y=(x,y)Z(x,y)^T         (3)

其中，Z是一个2×2的灰度强度变化且对称(symmetric)的矩阵，

$Z=\left[\begin{array}{cc}A& C\\ C& B\end{array}\right].$

令λ₁，λ₂为矩阵Z的特征值，经由对λ₁与λ₂的大小可以得知:(1)若λ₁、λ₂的值都很小，则表示该区域的灰度变化不明显；(2)若λ₁、λ₂的值为一大一小，则表示该区域有边或是线的存在；(3)若λ₁、λ₂的值都很大，则表示该区域无论在哪一个方向，其灰度变化都很强烈，也就是该区域中有特征点的存在。因此，可设定一灰度强度变化响应函数R(Z)来判断该点是否为特征点：

$\begin{array}{c}R\left(Z\right)=\det \left(Z\right)-k\·{\mathrm{trace}}^2\left(Z\right)\\ ={\mathrm{\λ}}_1{\mathrm{\λ}}_2-k\·{({\mathrm{\λ}}_1+{\mathrm{\λ}}_2)}^2\end{array}---\left(4\right)$

其中k为一常数值，det(Z)为矩阵Z的行列式值，trace(Z)为矩阵Z的对角线的总和(sum of the main diagonal)。通过R的计算，即可挑选出兴趣区域内灰度强度变化响应最大的前m个点，作为后续追踪的依据，并加入于特征点的追踪列表中M={p₁,p₂,…,p_m}。此特征点的追踪列表可存储于特征点监测与追踪模块310中。

图5A的范例中，特征点监测与追踪模块310在一初始时间(t=0)时，对行驶中的汽车500点选一兴趣区域512，然后对此兴趣区域512先作一局部特征点的监测，其中，十字标记“+”为监测到的特征点。图5B是特征点监测与追踪模块310利用光流法进行特征点的追踪，其中，线段标记“-”为行驶中的汽车500的移动向量(motion vector)。图5B的估测特征点在下帧图像画面上的位置，及特征点的追踪的原理，举例说明如下。

假设同一特征点pi在连续时间t与t+1，在图像画面上具有外貌的不变性，即I_t(x,y)=I_t+1(x+u,y+v)，(u,v)表示该点的移动向量。可通过泰勒展开式将此式子之后项展开为

$I_{t+1}(x+u,y+v)\≈I_{t+1}(x,y)+\frac{\∂I}{\∂x}u+\frac{\∂I}{\∂x}v---\left(5\right)$

考虑该点满足外貌不变性，则式(5)可推导如下：

$\begin{array}{c}0=I_{t+1}(x+u,y+v)-I_t(x,y)\\ \≈I_{t+1}(x,y)+I_{x}u+I_{y}u-I_t(x,y)\\ \≈(I_{t+1}(x,y)-I_t(x,y))+I_{x}u+I_{y}v\\ \≈I_t+I_{x}u+I_{y}u\end{array}---\left(6\right)$

其中

与

由于式(6)有两个未知数u及v，但仅有一方程式，因此，假设该点附近的点也有相同的移动向量，考虑以该点为中心的一n×n窗，可将式(6)扩增为：

$\left[\begin{array}{cc}{I}_x\left(p_1\right)& I_y\left(p_1\right)\\ I_x\left(p_2\right)& I_y\left(p_2\right)\\ ...& ...\\ I_x\left(p_{n^2}\right)& I_y\left(p_{n^2}\right)\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]=-\left[\begin{array}{c}{I}_t\left(p_1\right)\\ I_t\left(p_2\right)\\ ...\\ I_t\left(p_{n^2}\right)\end{array}\right]---\left(7\right)$

如此一来，就可通过最小平方和法解出式(7)的u及v，即该特征点的移动向量。进而推得在下帧图像画面上的位置。

图6A至图6C是范例示意图，说明线性转换模块320求出的前后两帧图像画面的兴趣区域的转换关系，与所公开的某些实施例一致。图6A至图6C的范例中，前后两帧图像画面的兴趣区域的转换关系可表示为

P_a=H_baP_b        (8)

其中，假设a和b分别为不同时间的广角摄影机(例如架设在一空中飞行器上)位置，如图6A所示。而P_a是前帧图像画面的兴趣区域在广角摄影机位置a的投影，如图6A所示。P_b是后帧图像画面的兴趣区域在广角摄影机位置b的投影，如B图6B所示。H_ba是P_b与P_a的单应性透视投影转换关系，为一3x3矩阵，如下所示:

$H_{\mathrm{ba}}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]---\left(9\right)$

此单应性转换H_ba是对于相邻两帧图像的对应特征点，计算相同一平面在不同视角的转换关系，如图6B与图6C所示。由于通过光流法做特征点追踪，也即前后相邻两帧图像画面上的特征点关系为已知，即可将其代入式(8)，通过最小平方和法，即可求得H_ba，即单应性转换矩阵。

图7A至图7C是范例示意图，说明预测及更新模块330利用卡曼滤波器，进行滤波及兴趣区域估测，与所公开的某些实施例一致。其中，预测及更新模块330利用卡曼滤波器修正兴趣区域方框的四个顶点{(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)}，并假设各个顶点为一独立且等速运动模型。即设定卡曼滤波器的状态向量为

X=[x₁y₁Δx₁Δy₁x₂y₂Δx₂Δy₂…x₄y₄Δx₄Δy₄]，Δx与Δy分别为其在x与y方向的移动速度。

图7B的范例中，根据t时间图7A的兴趣区域710的方框的四个顶点{(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)}预测(predict)出t+1时间的兴趣区域720，且在t+1时间监测出兴趣区域725，来对预测出的t+1时间的兴趣区域720进行修正。被修正后的t+1时间的兴趣区域就是图7C范例中的兴趣区域730。图7A至图7C的滤波及兴趣区域估测的原理说明如下。

在贝氏理论下，对象追踪问题可被转换为一推论(Inference)问题，即在已知追踪对象状态(state)的事前机率(prior probability)下，在获得新的测量(measurement)后，求解该目标状态的事后机率(posterior probability)。假设追踪物体的状态向量为{x_t}_t=1,2,...，其中t为离散时间序列，对应的状态方程式为x_t+1=A_tx_t+V_t，其中A为状态转换函数，表示该物体由时间t到时间t+1的移动模型，而V表示在移动过程中所伴随的噪声。假设该物体所观测的特征向量为{z_t}_t=1,2,...，则对应的测量方程式为z_t=H_tx_t+W_t，其中H为测量转换函数，描述物体状态与测量所得的特征向量之间的转换关系，而W则为测量时所伴随的噪声。

有了状态转换及测量方程式后，对象追踪的两项工作则包括根据t时间前的测量，来预测t+1时间的状态，以及根据t+1时间的测量，来对预测的状态进行修正。前项工作为计算p(x_t+1|z_1:t)∝p(x_t+1|x_t)p(x_t|z_1:t)，后项工作为计算p(x_t+1|z_1:t+1)∝p(z_t+1|x_t+1)p(x_t+1|z_1:t)。通过持续计算此两式子，来预测及修正此移动物体的状态，就可追踪此移动物体。当系统的状态转换函数A与测量转换函数H为线性关系，且状态转换噪声V与测量噪声W都满足高斯模型时，预测及更新模块330可通过如卡曼滤波器(Kalman Filter)来求解事后机率。

图8是粗差点移除的一个范例示意图，与所公开的某些实施例一致。图8的范例中，粗差点去除模块340可通过预测及更新模块330对兴趣区域的修正结果，来去除会落在该兴趣区域之外的至少一粗差点(特征点)，被去除的粗差点例如是因追踪错误而产生的粗差点。图8的范例中，四个画圈处如标号801～804所示，就是被去除的粗差点。图8的去除粗差点的原则说明如下。

假设在t时间时，图像画面上兴趣区域810的四个角点为p_t={p₁,p₂,p₃,p₄}，而通过卡曼滤波器更新后，在t+1时间时，图像画面上的兴趣区域820的四个角点为p_t+1={p₁`,p<sub>2</sub>`,p₃`,p<sub>4</sub>`}。将p_t与p_t+1视为式(8)的P_b和P_a并代入，可得出此时两兴趣区域的单应性矩阵H_ROI。然后检验前后(t时间及t+1时间)两帧图像画面上兴趣区域的所有特征点p,t与其对应点p,t+1，若其满足式子|p_,t+1-H_ROI.p,t|>γ，表示该特征点的位置不是落在该兴趣区域内，将其视为粗差点并予以去除，γ是一预设的阀值(threshold)。

上述去除粗差点的策略会使得特征点的点数逐渐减少，因此，本实施例考虑追踪系统的稳定度，设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测(re-detection)，例如当满足特征点数少于初始特征点数m的一预定比值时，例如少于0.2×m，则对于目前的兴趣区域进行特征点的再监测。另一方面，由于移动物体的持续移动，该兴趣区域会离开视野，因此也设定当一兴趣区域的至少一边界点离开图像画面的有效区域时，即停止追踪该兴趣区域。

承上所述，图9是兴趣区域的追踪方法的一范例流程图，与所公开的某些实施例一致。参考图9，在一初始时间时，通过一特征点监测与追踪模块来点选一图像画面的一兴趣区域，并对此兴趣区域作一局部特征点的监测，及对此监测到的至少一特征点进行追踪，如步骤910所示。根据所追踪的多个对应的特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系，如步骤920所示。再通过一预测及更新模块，在一目前时间对兴趣区域的移动位置作预测及修正，如步骤930所示。然后，根据预测及更新模块对兴趣区域的修正结果，通过一粗差点去除模块将落在兴趣区域之外的至少一粗差点去除，如步骤940所示。设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果，如步骤950所示。特征点再监测的条件以及各步骤的细节，其范例如前所载，不再重述。

本发明的实施例也可以用一计算机程序产品(computer programproduct)来实现。如图10的范例所示，计算机程序产品1000至少包括一存储器1010以及存储于此存储器的一可执行的计算机程序(executablecomputer program)1020。此计算机程序可通过一处理器1030或计算机系统来执行图9的兴趣区域的追踪方法的步骤910至步骤950。处理器1030还可包括特征点监测与追踪模块310、线性转换模块320、预测及更新模块330、以及粗差点去除模块340，通过这些模块来执行步骤910至步骤940，并且处理器1030也可设定一特征点再监测的条件，来对目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果。

图10的范例中，处理器或计算机系统1030也可结合两部摄影机如图2的应用场景，来进行数据传输与上述的兴趣区域的追踪。

本发明的实施例以兴趣区域是固定物体、或是移动物体、或是固定背景、或是同时含有移动物体及背景来执行追踪，并将追踪结果与一些追踪技术相较。当兴趣区域是固定物体时，本发明的实施例的追踪结果可稳定地锁住该兴趣区域，不会因为兴趣区域与其周围色彩分布太相似而造成追踪不稳定。当兴趣区域皆属于移动物体时，本发明的实施例不需建立背景模型，也无须计算特征点的描述子，而是通过特征点的追踪来获取整个兴趣区域的移动轨迹，其追踪结果有平滑稳定的结果。当兴趣区域较大且包括移动物体及背景时，本发明的实施例可以将背景的特征点视为粗差点而予以滤除，得到追踪稳定的结果，不会如同平均值移位法容易因为兴趣区域含有背景信息而造成误差的累积及产生漂移的现象。

在特征点追踪都失败的情况下，本发明的实施例因为利用预测及更新模块，例如利用卡曼滤波器，的预测的功能，可以比RANSAC法多追踪一些图像画面。因为本发明的实施例无需递归求解，从一实验范例的数据显示，本发明的实施例对运算所耗费的资源或成本远少于RANSAC法；而相比于平均值移位法，本发明的实施例所耗费的资源或成本相差不大，但本发明的实施例会有既稳定又显著优越的追踪结果。

综上所述，本发明的实施例可提供一种图像式的兴趣区域的追踪技术，包括兴趣区域的追踪系统与方法及计算机程序产品。其结合特征点估测与追踪、单应性转换矩阵估测、预测及更新模块(如卡曼滤波器)的追踪及粗差点去除技术，可得到稳定且平滑的兴趣区域的追踪，此类兴趣区域可以是移动物体、背景或同时包括移动物及背景。通过基于特征点追踪的单应性透视投影转换，可推算兴趣区域的移动情况。通过如卡曼滤波器的预测及更新能力，可得到稳定且平滑的兴趣区域追踪。通过如卡曼滤波器的追踪结果，可有效去除落在兴趣区域之外的粗差点。

以上所述仅为本发明的实施例，应当不能依此限定本发明实施的范围。即凡是对权利要求所作的等同变化与改进，仍然应当属于本发明专利所涵盖的保护范围。

Claims (6)

1.一种兴趣区域的追踪方法，其特征在于，运作在一追踪系统上，该方法包括:

在一初始时间时，通过一特征点监测与追踪模块将一图像画面的一兴趣区域先作局部特征点的监测，然后对该监测到的至少一特征点进行追踪，其中，在该局部特征点的监测中，该方法设定一灰度强度变化响应函数R(Z)来判断该兴趣区域中的一点是否为一特征点，Z为一灰度强度变化且对称的矩阵；

根据所追踪的至少一特征点，由一线性转换模块来求出前后两帧图像画面的兴趣区域的转换关系；

通过一预测及更新模块，在一目前时间对该兴趣区域的移动位置作预测及修正；

根据该预测及更新模块对兴趣区域修正的结果，将落在该兴趣区域之外的至少一粗差点去除；以及

设定一特征点再监测的条件，来对该目前时间的兴趣区域进行特征点的再监测，以获得在一稳定度范围内的追踪结果。

2.根据权利要求1所述的追踪方法，其特征在于，该方法还包括:当该兴趣区域的至少一边界点离开该图像画面的一有效区域时，即停止追踪该兴趣区域。

3.根据权利要求1所述的追踪方法，其特征在于，该特征点再监测的条件为当该至少一特征点的点数少于一初始特征点数的一预定比值的情形发生时。

4.根据权利要求1所述的追踪方法，其特征在于，该前后两帧图像画面的兴趣区域的转换关系是一种单应性透视投影转换关系。

5.根据权利要求1所述的追踪方法，其特征在于，通过该灰度强度变化响应函数R(Z)的计算，来挑选出该兴趣区域内灰度强度变化响应最大的前m个点，作为后续追踪的依据并加入一特征点的追踪列表中，m为大于1的整数。

6.根据权利要求1所述的追踪方法，其特征在于，该前后两帧图像画面上兴趣区域的所有特征点p_,t与其对应点p_,t+1，若其满足式子|P_,t+1-H_ROI·p_,t|＞γ，则视对应点p_,t+1为粗差点并予以去除，γ是一预设的阀值，H_ROI为该前后两帧图像画面的兴趣区域的转换关系，t与t+1分别代表前后两时间点。

Images