CN101888479A - 检测和跟踪目标图像的方法及装置 - Google Patents

Abstract

本发明涉及一种检测和跟踪目标图像的方法及装置，属于视频监控技术领域。该方法包括：在视频图像帧中对目标进行检测，根据检测到的目标的所在区域建立目标的初始直方图模型；对后续视频图像帧进行区域检测，根据检测的区域建立所述目标的跟踪直方图模型；根据目标的初始直方图模型与目标的跟踪直方图模型的相似度，确定当前时刻目标图像的尺度以及所在区域的中心位置，并判断是否更新目标的初始直方图模型；根据当前时刻视频图像的中心位置和当前时刻目标的所在区域的中心位置，调整摄像装置的转动方向和速度，以及根据目标图像的尺度调整摄像装置的焦距。本发明可用于大场景中对目标检测和跟踪，以改善大场景中对目标检测和跟踪的效果。

Description

检测和跟踪目标图像的方法及装置

技术领域

本发明涉及视频监控技术领域，尤其涉及一种检测和跟踪目标图像的方法及装置。

背景技术

在视频监控技术中，摄像装置的安装方式有固定式安装和云台全方位上下、左右移动及镜头变倍、变焦(Pan/Tilt/Zoom，以下简称PTZ)式安装。固定式安装摄像装置，是将摄像装置固定在某一个位置，在监控过程中，摄像装置的视角无法调整。云台全方位上下、左右移动及镜头变倍、变焦PTZ的方式安装摄像装置，是将摄像装置架设在云台上，在监控的过程中通过控制总线及通信协议传输相应的控制指令，使得云台可以水平(Panning)竖直(Tilting)自由转动，以及调整摄像装置的焦距(Zooming)。

但是，采用固定的方式安装摄像装置时，在监控的过程中，监控的场景范围固定，存在监控死角，因此，获得高分辨率的目标细节图像信息难度大，导致事后取证困难等问题。

而采用全方位上下、左右移动及镜头变倍、变焦PTZ的方式安装摄像装置时，可以通过云台的水平(Panning)竖直(Tilting)自由转动，以及摄像装置焦距(Zooming)的调整来灵活实现大场景、多视角、不同分辨率的视频图像的捕获，实现“局部放大镜”的作用。

通过PTZ方式安装摄像装置来进行视频监控的过程中，通常采用人工的方式操控键盘或调整摇杆来实现云台的上下、左右移动及摄像装置镜头变倍、变焦等。但是，由于人的生理和心理特性的局限性，大规模的视频进行长时间监控难度较大。为此，出现了采用传统算法或短时背景差的自主PTZ跟踪方案，实现对目标的检测和跟踪，如采用Isard在1998年《国际计算机杂志》“视频跟踪中的条件密度遍历”(conditional density propagation for visualtracking，International Journal of Computer Vision)提出的Condensation算法，以及Comaniciu在2003年《IEEE模式分析及机器智能交互》“基于核的目标跟踪中”(Kernel-based object tracking，IEEE Transactions onPattern Analysis and Machine Intelligence，2003)提出的Mean Shift算法。

但是，基于传统算法的Mean Shift方法需要通过手动精确标注目标的初始位置，而且在跟踪过程中没有调整摄像装置的焦距，尤其当目标图像的尺度变化较大时，导致对目标跟踪的失败。另外，基于传统算法的PTZ检测跟踪方案通过局部极值或概率统计的方法确定目标在视频图像中的实际位置，导致跟踪的效果差。基于短时背景差的PTZ跟踪方案通过建立背景模型来提取目标以进行跟踪，但是，当目标的移动速度很慢或者静止时，混入了目标信息，容易导致跟踪的盲目性，不能有效确定具体跟踪的什么目标，以及目标跟踪错误。

发明内容

为了克服上述现有技术的缺陷，本发明提供一种检测和跟踪目标图像的方法及装置，以实现对目标的有效检测和跟踪，减少或消除目标跟踪错误，改善大场景应用中目标检测和跟踪的效果。

为实现上述目的，本发明提供了一种检测和跟踪目标图像的方法，该方法包括：

在视频图像帧中对目标进行检测，根据检测到的所述目标的所在区域建立所述目标的初始直方图模型；

对后续视频图像帧进行区域检测，根据检测的区域建立所述目标的跟踪直方图模型；根据所述目标的初始直方图模型与所述目标的跟踪直方图模型的相似度，确定当前时刻所述目标图像的尺度以及所在区域的中心位置，并判断是否更新所述目标的初始直方图模型；

根据当前时刻视频图像的中心位置和当前时刻所述目标的所在区域的中心位置，调整摄像装置的转动方向和速度，以及根据所述目标图像的尺度调整摄像装置的焦距。

为实现上述目的，本发明还提供了一种检测和跟踪目标图像的装置，该装置包括：

检测模块，用于在视频图像帧中对目标进行检测，根据检测到的所述目标的所在区域建立所述目标的初始直方图模型；

跟踪模块，用于对后续视频图像帧进行区域检测，根据检测的区域建立所述目标的跟踪直方图模型；根据所述目标的初始直方图模型与所述目标的跟踪直方图模型的相似度，确定当前时刻所述目标图像的尺度以及所在区域的中心位置，并判断是否更新所述目标的初始直方图模型；

控制模块，用于根据当前时刻视频图像的中心位置和当前时刻所述目标的所在区域的中心位置，调整摄像装置的转动方向和速度，以及根据所述目标图像的尺度调整摄像装置的焦距。

本发明中，通过视频图像的灰度特征、纹理特征和块特征等，在目标检测阶段建立目标的初始直方图模型，并在跟踪阶段更新目标的初始直方图模型，同时，在跟踪阶段，根据实时获取的视频图像的灰度特征、纹理特征和块特征等建立跟踪直方图模型，并与目标的初始直方图模型比对，确定目标所在区域的中心位置，以与摄像装置视野范围对应的视频图像的中心位置比对，调整摄像装置的转动方向和速度，实现了对目标的实时跟踪。当发现目标图像中的尺度发生变化，通过调整摄像装置焦距以保持目标图像在各图像帧中的尺度一致。本发明的技术方案实现了对目标的有效检测和跟踪，减少或消除了目标跟踪错误，改善了大场景中对目标检测和跟踪的效果。

附图说明

图1为本发明检测和跟踪目标图像的方法实施例的流程图；

图2为建立跟踪直方图模型的流程图；

图3为确定当前时刻目标的所在区域的中心位置实施例一的流程图；

图4为确定当前时刻目标的所在区域的中心位置实施例二的流程图；

图5为判断是否更新目标的初始直方图模型的流程图；

图6为应用本发明检测和跟踪目标图像的方法实施例的控制框图；

图7为本发明检测和跟踪目标图像的装置实施例结构示意图。

具体实施方式

下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。

图1为本发明检测和跟踪目标图像的方法实施例的流程图。如图1所示，本实施例的技术方案中，检测和跟踪目标图像的方法包括如下步骤：

步骤101、在视频图像帧中对目标进行检测，根据检测到的目标的所在区域建立目标的初始直方图模型；

具体地，本实施例中，步骤101可以具体包括：

步骤111、根据级联Adaboost方法在视频图像帧中检测目标并确定目标的所在区域；

本实施例中，根据Viola提出的级联Adaboost检测方法构建检测器，自动对视频图像帧进行检测以确定目标的位置及其所在区域。

步骤112、获取目标的所在区域的灰度特征、纹理特征和块特征；

本实施例中，没有采用常用的基于颜色的直方图特征，而是提取了基于视频图像的灰度图像中的灰度特征、纹理特征和块特征，这样，在对目标进行检测和跟踪时，不但可以针对白天的彩色视频图像，而且还可以应用于夜间的灰度视频图像。

灰度特征是基于像素点的特征，不包含目标的空间信息，受目标的旋转、尺度变化和部分遮挡等影响较小，而且灰度特征容易提取。灰度图像的纹理特征具有局部不规则和全局规则的特性，对噪声具有较强的抵抗力。另外，块特征可以反映目标的空间信息。因此，结合灰度特征和块特征可以有效地补充灰度特征不包含的目标的空间信息。

本实施例中，步骤112可以具体包括：获取目标的所在区域的16个区间的灰度特征、16个区间的局部二进制(Local Binary Pattern，以下简称：LBP)纹理特征和16个区间的块特征。

具体地，获取目标的所在区域16个区间的块特征可以包括：通过积分图来获取目标所在区域16个区间的块特征。本实施例中，可以采用5*5的块均值信息，最终量化到16个区间上来实现16个区间上的块特征的获取。

局部二进制LBP纹理特征和块特征的计算公式分别如式(1)和式(2)所示：

${\mathrm{LBP}}_{P,R}=\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_p-g_c)2^p......\left(1\right)$

${\mathrm{Block}}_{P,R}=\frac{1}{P}\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}{g}_p......\left(2\right)$

其中，R为目标的所在区域的每个像素与相邻像素的距离，反映了纹理在空间上的分辨率，P为相邻像素的数目，g_c表示目标的所在区域中心点y_c的灰度值，g_p表示以y_c为中心点、半径为R的圆环上的第P个等分点的灰度值。

步骤113、根据灰度特征、纹理特征和块特征，建立目标的初始直方图模型。

步骤102、对后续视频图像帧进行区域检测，根据检测的区域建立目标的跟踪直方图模型；根据目标的初始直方图模型与目标的跟踪直方图模型的相似度，确定当前时刻目标图像的尺度以及所在区域的中心位置，并判断是否更新目标的初始直方图模型；

为了提高检测和跟踪的效率，可以利用均值漂移Mean shift方法，在后续视频图像帧中，对目标可能存在的局部区域检测和寻找，并实时提取该局部区域的灰度特征、纹理特征和块特征等，从而根据提取的灰度特征、纹理特征和块特征等实时建立目标的跟踪直方图模型，实现对目标的位置的实时跟踪。

步骤103、根据当前时刻视频图像的中心位置和当前时刻目标所在区域的中心位置，调整摄像装置的转动方向和速度，以及根据目标图像的尺度调整摄像装置的焦距。

具体地，图2为建立跟踪直方图模型的流程图。如图2所示，其可以包括：

步骤201、对后续视频图像帧进行区域检测；

步骤202、提取检测到的区域的灰度特征、纹理特征和块特征；

步骤203、根据灰度特征、纹理特征和块特征，建立目标的跟踪直方图模型。

图3为确定当前时刻目标的所在区域的中心位置实施例一的流程图。如图3所示，本实施例中，根据目标的初始直方图模型与跟踪直方图模型的相似度，确定当前时刻目标图像的尺度以及所在区域的中心位置可以具体包括：

步骤301、获取目标的初始直方图模型与所述目标的跟踪直方图模型的相似度；

步骤302、判断相似度是否大于预设的阈值，如果是，则执行步骤303；

步骤303、确定并输出当前时刻目标图像的尺度及所在区域的中心位置。

根据不同时刻的目标在视频图像帧中可能存在的区域，根据其相应的灰度特征、纹理特征和块特征建立处在不同时刻的目标的跟踪直方图模型，并将该跟踪直方图模型与初始直方图模型进行相似度对比，一旦发现某一时刻的相似度大于预设的阈值，则进行后续的步骤，否则，继续获取不同时刻的视频图像帧，并进行相似度比对过程。

除了上述通过预设相似度的方法外还可以由用户预设进行相似度比对次数门限的方法来确定目标的所在的区域的中心位置。

图4为确定当前时刻目标的所在区域的中心位置实施例二的流程图。如图4所示，实施例中，其可以具体包括：

步骤401、获取目标的跟踪直方图模型与目标的初始直方图模型的相似度判断次数；

步骤402、判断相似度判断次数是否大于预设的门限，如果是，则执行步骤403；

步骤403、确定并输出当前时刻目标图像的尺度及所在区域的中心位置。

图5为判断是否更新目标的初始直方图模型的流程图。如图5所示，本实施例中，其可以具体包括：

步骤501、获取目标的初始直方图模型与目标的跟踪直方图模型的相似度；

步骤502、判相似度的变化趋势是否连续下降，如果连续下降，则根据当前时刻的被检测的区域，检测目标，如果检测到目标，则执行步骤503；

步骤503、根据当前时刻的被检测区域的目标跟踪直方图模型更新目标的初始直方图模型。

这里，可以将当前时刻目标的跟踪直方图模型作为更新后的目标的初始直方图模型。

通过对目标的初始直方图模型进行更新，有效解决了目标尺度的不断变化、光照剧变以及遮挡等对跟踪效果的影响。

本实施例中，检测器自动确定目标所在的区域时，为了防止检测过程中虚警的存在，一旦发生误报，摄像装置可能会出现漫无目的转动调整，根据级联Adaboost方法检测视频图像帧中目标时，可以由检测器检测目标在连续数帧图像在相同位置的目标图像的尺度并判断是否一致，如果对连续数帧视频图像进行检测时发现在相同位置附近检测出了尺度一致的目标，此时才视为检测到目标，否则，则视为未检测到目标。在跟踪的过程中根据均值漂移Mean shift方法在后续视频图像帧中寻找一区域，并根据该区域的灰度特征、纹理特征和块特征建立目标的跟踪直方图模型中还可以进行验证，跟踪目标在连续数帧视频图像中的位置，判断连续多次检测中是否检测到目标。一旦发现连续数帧图像中没有发现目标，确定目标消失，则要重新由检测器对目标进行检测。

图6为应用本发明检测和跟踪目标图像的方法实施例的控制框图。如图6所示，在对云台及摄像装置焦距控制过程中，由于云台转动及摄像装置转动的滞后、控制总线上通信的阻塞以及其它外界干扰等因素，很难对控制对象建立一个精确的数学模型。因此，可以但不局限于采用数字PID(ProportionIntegration Differentiation，简称：PID)控制方法，再利用本发明的检测和跟踪目标图像的方法对目标的所在区域进行跟踪并获取当前时刻目标的所在区域的中心位置，利用当前时刻目标的所在区域的中心位置与当前时刻视频图像的中心位置的偏差量以及数字PID控制方法控制云台转动方向和速度；利用当前时刻视频图像中目标图像的尺度变化来调整摄像装置的焦距。

图7为本发明检测和跟踪目标图像的装置实施例结构示意图。如图7所示，本实施例中检测和跟踪目标的装置包括：检测模块1、跟踪模块2和控制模块3，其中，检测模块1用于在视频图像帧中对目标进行检测，根据检测到的目标的所在区域建立目标的初始直方图模型；跟踪模块2用于对后续视频图像帧进行区域检测，根据检测的区域建立目标的跟踪直方图模型；根据目标的初始直方图模型与目标的跟踪直方图模型的相似度，确定当前时刻目标图像的尺度以及所在区域的中心位置，并判断是否更新目标的初始直方图模型；控制模块3用于根据当前时刻视频图像的中心位置和当前时刻目标的所在区域的中心位置，调整摄像装置的转动方向和速度，以及根据目标图像的尺度调整摄像装置的焦距。

本实施例中，检测模块1可以具体包括：第一检测单元、第一特征提取单元和第一模型建立单元，其中，第一检测单元用于在视频图像帧中检测目标并确定目标的所在区域；第一特征提取单元用于获取目标的所在区域的灰度特征、纹理特征和块特征；第一模型建立单元用于根据灰度特征、纹理特征和块特征，建立目标的初始直方图模型。

具体地，第一检测单元可以包括：第一目标检测子单元、预处理子单元和区域确定子单元，其中，第一目标检测子单元用于在视频图像帧中检测目标；预处理子单元用于根据连续数帧视频图像检测到的目标图像的尺度是否一致，确定是否检测到目标；区域确定子单元用于根据检测到的目标，确定目标的所在区域。

本实施例中，跟踪模块可以包括：第二检测单元、第二特征提取单元、第二模型建立单元和位置确定单元，其中，第二检测单元用于对后续视频图像帧进行区域检测；第二特征提取单元用于提取检测到的区域的灰度特征、纹理特征和块特征；第二模型建立单元用于根据灰度特征、纹理特征和块特征，建立目标的跟踪直方图模型；位置确定单元用于根据目标的初始直方图模型与跟踪直方图模型的相似度，确定当前时刻目标的所在区域的中心位置，并判断是否更新目标的初始直方图模型。

具体地，本实施例中，位置确定单元可以包括：相似度获取子单元、中心位置确定子单元和模型更新单元，其中，相似度获取子单元用于获取目标的初始直方图模型与目标的跟踪直方图模型的相似度；中心位置确定子单元用于根据相似度是否大于预设的阈值，或相似度的判断次数是否大于预设的门限，确定并输出当前时刻目标图像的尺度及所在区域的中心位置；模型更新单元用于判断所述相似度的变化趋势是否连续下降，如果连续下降，则根据当前时刻的被检测的区域，检测目标，如果检测到目标，则根据当前时刻的被检测区域的目标跟踪直方图模型更新目标的初始直方图模型。

具体地，第二检测单元可以包括：第二目标检测子单元和验证子单元，其中，第二目标检测子单元用于对后续视频图像帧进行区域检测；验证子单元用于判断连续多次检测中是否检测到目标，如果没有检测到目标，则确定目标消失，并重新对目标进行检测。

本发明的上述实施例中，通过视频图像的灰度特征、纹理特征和块特征等，在目标检测阶段建立目标的初始直方图模型，并在跟踪阶段更新目标的初始直方图模型，同时，在跟踪阶段，根据实时获取的视频图像的灰度特征、纹理特征和块特征等建立跟踪直方图模型，并与目标的初始直方图模型比对，确定目标所在区域的中心位置，以与摄像装置视野范围对应的视频图像的中心位置比对，调整摄像装置的转动方向和速度，实现了对目标的实时跟踪。当发现目标图像中的尺度发生变化，通过调整摄像装置焦距以保持目标图像在各图像帧中的尺度一致。本发明的技术方案实现了对目标的有效检测和跟踪，减少或消除了目标跟踪错误，改善了大场景中对目标检测和跟踪的效果。最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种检测和跟踪视频图像的方法，其特征在于，包括：

在视频图像帧中对目标进行检测，根据检测到的所述目标的所在区域建立所述目标的初始直方图模型；

对后续视频图像帧进行区域检测，根据检测的区域建立所述目标的跟踪直方图模型；根据所述目标的初始直方图模型与所述目标的跟踪直方图模型的相似度，确定当前时刻所述目标图像的尺度以及所在区域的中心位置，并判断是否更新所述目标的初始直方图模型；

根据当前时刻视频图像的中心位置和当前时刻所述目标的所在区域的中心位置，调整摄像装置的转动方向和速度，以及根据所述目标图像的尺度调整摄像装置的焦距。

2.根据权利要求1所述的方法，其特征在于，建立所述目标的初始直方图模型包括：

在视频图像帧中检测目标并确定所述目标的所在区域；

获取所述目标的所在区域的灰度特征、纹理特征和块特征；

根据所述灰度特征、纹理特征和块特征，建立所述目标的初始直方图模型。

3.根据权利要求2所述的方法，其特征在于，所述在视频图像帧中检测目标包括：

检测连续数帧视频图像在相同位置的目标图像的尺度并判断是否一致；如果一致，则视为在视频图像帧中检测到目标；否则，视为在视频图像帧中未检测到目标。

4.根据权利要求2所述的方法，其特征在于，所述获取目标的所在区域的灰度特征、纹理特征和块特征包括：

获取所述目标的所在区域的16个区间的灰度特征、16个区间的局部二进制纹理特征和16个区间的块特征。

5.根据权利要求4所述的方法，其特征在于，所述获取目标的所在区域的16个区间的块特征包括：

通过积分图获取目标的所在区域的16个区间的块特征。

6.根据权利要求1所述的方法，其特征在于，所述建立跟踪直方图模型包括：

对后续视频图像帧进行区域检测；

提取检测到的区域的灰度特征、纹理特征和块特征；

根据所述灰度特征、纹理特征和块特征，建立所述目标的跟踪直方图模型。

7.根据权利要求1所述的方法，其特征在于，确定当前时刻所述目标的所在区域的中心位置包括：

获取所述目标的初始直方图模型与所述目标的跟踪直方图模型的相似度；

判断所述相似度是否大于预设的阈值，如果是，则确定并输出当前时刻所述目标图像的尺度及所在区域的中心位置。

8.根据权利要求1所述的方法，其特征在于，所述确定当前时刻所述目标图像的尺度及所在区域的中心位置包括：

获取所述目标的跟踪直方图模型与目标的初始直方图模型的相似度判断次数；

判断所述相似度判断次数是否大于预设的门限，如果是，则确定并输出当前时刻所述目标图像的尺度及所在区域的中心位置。

9.根据权利要求1所述的方法，其特征在于，所述判断是否更新所述目标的初始直方图模型包括：

获取所述目标的初始直方图模型与所述目标的跟踪直方图模型的相似度；

判断所述相似度的变化趋势是否连续下降，如果连续下降，则根据当前时刻的被检测的区域，检测所述目标，如果检测到所述目标，则根据当前时刻的被检测区域的目标跟踪直方图模型更新所述目标的初始直方图模型。

10.根据权利要求1所述的方法，其特征在于，所述对后续视频图像帧进行区域检测包括：判断连续多次检测中是否检测到所述目标，如果没有检测到所述目标，则确定所述目标消失，并重新对目标进行检测。

11.一种检测和跟踪目标图像的装置，其特征在于，包括：

检测模块，用于在视频图像帧中对目标进行检测，根据检测到的所述目标的所在区域建立所述目标的初始直方图模型；

跟踪模块，用于对后续视频图像帧进行区域检测，根据检测的区域建立所述目标的跟踪直方图模型；根据所述目标的初始直方图模型与所述目标的跟踪直方图模型的相似度，确定当前时刻所述目标图像的尺度以及所在区域的中心位置，并判断是否更新所述目标的初始直方图模型；

控制模块，用于根据当前时刻视频图像的中心位置和当前时刻所述目标的所在区域的中心位置，调整摄像装置的转动方向和速度，以及根据所述目标图像的尺度调整摄像装置的焦距。

12.根据权利要求11所述的装置，其特征在于，所述检测模块包括：

第一检测单元，用于在视频图像帧中检测目标并确定所述目标的所在区域；

第一特征提取单元，用于获取所述目标的所在区域的灰度特征、纹理特征和块特征；

第一模型建立单元，用于根据所述灰度特征、纹理特征和块特征，建立所述目标的初始直方图模型。

13.根据权利要求11所述的装置，其特征在于，所述跟踪模块包括：

第二检测单元，用于对后续视频图像帧进行区域检测；

第二特征提取单元，用于提取检测到的区域的灰度特征、纹理特征和块特征；

第二模型建立单元，用于根据所述灰度特征、纹理特征和块特征，建立所述目标的跟踪直方图模型；

位置确定单元，用于根据所述目标的初始直方图模型与跟踪直方图模型的相似度，确定当前时刻所述目标的所在区域的中心位置，并判断是否更新所述目标的初始直方图模型。

14.根据权利要求13所述的装置，其特征在于，所述位置确定单元包括：

相似度获取子单元，用于获取所述目标的初始直方图模型与所述目标的跟踪直方图模型的相似度；

中心位置确定子单元，用于根据所述相似度是否大于预设的阈值，或所述相似度的判断次数是否大于预设的门限，确定并输出当前时刻所述目标图像的尺度及所在区域的中心位置；

模型更新单元，用于判断所述相似度的变化趋势是否连续下降，如果连续下降，则根据当前时刻的被检测的区域，检测所述目标，如果检测到所述目标，则根据当前时刻的被检测区域的目标跟踪直方图模型更新所述目标的初始直方图模型。

15.根据权利要求12所述的装置，其特征在于，所述第一检测单元包括：

第一目标检测子单元，用于在视频图像帧中检测目标；

预处理子单元，用于根据连续数帧视频图像检测到的所述目标图像的尺度是否一致，确定是否检测到所述目标；

区域确定子单元，用于根据检测到的目标，确定所述目标的所在区域。

16.根据权利要求13所述的装置，其特征在于，所述第二检测单元包括：

第二目标检测子单元，用于对后续视频图像帧进行区域检测；

验证子单元，用于判断连续多次检测中是否检测到所述目标，如果没有检测到所述目标，则确定所述目标消失，并重新对目标进行检测。

Images