CN101699862B - Ptz摄像机获取感兴趣区域高分辨率图像的方法 - Google Patents

Abstract

本发明公开了一种视频监控技术领域的PTZ摄像机获取感兴趣区域高分辨率图像的方法，包括以下步骤：设置若干捕捉视野，并记录相应的切换途径；背景建模，对运动目标检测；对运动目标和运动目标的感兴趣区域的运动状态进行建模跟踪；对感兴趣区域的运动路径进行预测；切换到选取的捕捉视野；对选定的捕捉视野进行若干帧拍摄后，恢复运动检测和跟踪预测；对得到的图像进行分析，重复上述步骤。本发明使用一个PTZ摄像机，通过预先设置捕捉视野和对感兴趣区域的运动路径进行预测，实现了对感兴趣区域的直接定位，对系统硬件要求低，可以准确快速的获取感兴趣区域高分辨率的图像。

Description

PTZ摄像机获取感兴趣区域高分辨率图像的方法

技术领域

本发明涉及的是一种视频监控技术领域的方法，具体是一种PTZ(Pan-Tilt-Zoom，旋转俯仰缩放)摄像机获取感兴趣区域高分辨率图像的方法。

背景技术

视频监控的基本形式是利用安装在重要场所的摄像机，远程监控场景中的物体，行人和事件。相关的智能化应用包括利用计算机视觉和图像处理的方法对视频进行目标检测、目标识别、目标跟踪以及对目标行为进行描述和理解。目前，视频监控的主要方式还是安排专门人员观察采集到的视频，而一些智能化的功能例如基于人脸或者步态的身份识别等，已经发挥了一定的作用，但还不能取代观察员。如何从监控摄像机采集的视频中提供更加有效和关键的信息给观察员和图像处理模块是现在研究的热点。一方面，监控系统需要掌握场景中的景物是否变化，是否有人经过；另一方面，一些局部特征，如行人的脸部特征、携带物体的外观，更是影响到安全情况的重要信息。目前监控应用中流行的云台摄像机大多具有全方位视角变化和较大范围光学变焦的能力，并可以通过网络远程控制摄像头运动。

经对现有技术文献的检索发现，Ajmal Mian在2008国际会议论文上发表了题为“Realtime Face Detection and Tracking Using a Single Pan，Tilt，Zoom Camera(单一PTZ摄像机的实时人脸检测和跟踪方法)”的文章，该文依靠图像处理和分析，直接在图像中进行人脸检测和跟踪(人脸是一种常见的感兴趣区域)，随后依据人脸的位置和大小，调节PTZ摄像机进行视野的调整，以获得更清晰的人脸图像，但是该技术在实际应用中，当目标较小时，很难通过人脸检测得到感兴趣区域，跟踪也就无从开始；虽然考虑了延迟环节，要求指令发送要有间隔，但是没有做出运动预测；在人脸占据较大比例之后，按照正常人的运动速度和其中的延迟，要将人脸稳定在视野内将难以实现。

又经检索发现，中国专利申请号为200610152659.4，专利名称为：空间移动物体锁定寻标装置及其方法，该申请案首先比较前后帧的影响差别，利用差分信息界定出移动物体，然后跟据移动物体在画面中的位置和大小，调整PTZ摄像机的朝向和焦距，使移动物体在影像中所占比例适当，以提供清晰且分辨率高的影像。但是该技术用PTZ摄像机完全去跟踪目标，则对原来的大场景失去监控；对系统硬件性能有较高要求，同时也很难以软件模块的形式应用到已经搭建好的监控系统中。

又经检索发现，美国专利号为7542588，专利名称为：System and method forassuring high resolution imaging of distinctive characteristics of a movingobject(运动物体显著特征高分辨率成像的系统和方法)，该专利采用(至少)一个静止摄像机和(至少)一个运动摄像机对场景进行监控，当有目标经过时，静止摄像机会检测到目标，并对目标进行运动预测，此时控制另一个PTZ摄像机指向预测位置，并依据目标大小调节焦距，对目标进行高分辨率拍摄。但是该技术需要利用至少两个摄像机来完成高分辨率图像的捕获任务；并没有考虑直接针对特征进行抓拍，而以人的位置作为运动摄像机的聚焦目标。

发明内容

本发明的目的在于克服现有技术的不足，提供一种PTZ摄像机获取感兴趣区域高分辨率图像的方法。本发明通过对PTZ摄像机设置捕捉视野，结合对感兴趣区域的路径预测，利用一台PTZ摄像机对感兴趣区域直接定位，实现了PTZ摄像机获取感兴趣区域图像的目的。

本发明是通过以下技术方案实现的，包括如下步骤：

第一步，根据默认摄像场景，对PTZ摄像机设置若干个捕捉视野，并记录每个捕捉视野与默认摄像场景的切换途径。

所述的记录每个捕捉视野与默认摄像场景的切换途径，是标定预置点或者是设置PTZ指令，其中：标定预置点是对于有预置点功能的PTZ摄像机，直接将设置的捕捉视野标定为预置点，并记录捕捉视野与默认拍摄场景的对应关系和切换所需的时间；设置PTZ指令是对于没有预置点功能的PTZ摄像机，人为获取并记录实现捕捉视野与默认拍摄场景切换的控制指令，并记录捕捉视野与默认拍摄场景的对应关系和切换所需的时间。

所述的捕捉视野，其区域在同一焦距下，大于感兴趣区域。

第二步，将PTZ摄像机调节到默认摄像场景，进行背景建模，在模型稳定之后，开始进行运动目标检测。

所述的模型是混合高斯模型。

第三步，当PTZ摄像机检测到运动目标出现时，选择运动目标的感兴趣区域，开始对运动目标和运动目标的感兴趣区域的运动状态进行建模跟踪。

所述的选择运动目标的感兴趣区域是按照运动目标的比例，或者是按照运动目标的对称分析，得到运动目标的感兴趣区域所在的范围。

所述的跟踪是基于外观模型的模板匹配跟踪，或者是基于颜色直方图的粒子滤波跟踪。

第四步，当稳定跟踪运动目标若干帧，且运动目标接近设置的捕捉范围时，对感兴趣区域的运动路径进行预测。

第五步，根据感兴趣区域的运动路径预测结果，选取捕捉视野；并根据切换到选定的捕捉视野所需的时间，提前停止运动检测和跟踪，调整PTZ摄像机到选定的捕捉视野。

所述的选取捕捉视野是指通过和感兴趣区域的运动路径预测结果进行比较，从设置的捕捉视野中，选择出在PTZ摄像机完成视野切换过程后，完全包括感兴趣区域且感兴趣区域所占捕捉视野面积最大的捕捉视野。

第六步，在选定的捕捉视野拍摄若干帧图像后，使PTZ摄像机返回默认摄像场景，恢复运动检测和跟踪预测。

第七步，对拍摄的图像进行图像分析，当拍摄的图像中不包括感兴趣区域时，返回第四步，重新对该感兴趣区域进行路径预测和拍摄，直至该感兴趣区域从默认摄像场景中消失，再返回第三步，等待新的运动目标进入视野；当拍摄的图像中包括感兴趣区域时，将该目标标记为已捕获，此时直接返回第三步，等待新的运动目标进入视野。

与现有技术相比，本发明的有益效果是：整个系统只使用一个PTZ摄像机，对系统硬件要求低，在默认摄像场景和捕捉视野之间切换，兼顾了捕捉感兴趣区域图像和整个摄像场景的需要；通过以运动目标作为检测跟踪的对象，不会因为感兴趣的区域分辨率过低而无法检测到感兴趣的区域；依靠事先的预置点或指令标定，在捕捉过程中，只需要根据目标运动，进行一次视野选择和一次PTZ摄像机的调整，就可以达到目标；而不需要不断地分析图像和发出控制信号，这就降低了对PTZ摄像机响应延迟的要求，使得本发明更容易应用到一般设备上。

附图说明

图1是实施例中设置的默认摄像场景。

图2是实施例的运动目标的检测结果示意图；

其中：(a)、(b)和(c)分别是三个不同时刻得到的运动目标的检测结果示意图。

图3是实施例的运动目标的跟踪结果示意图；

其中：(a)(b)和(c)分别是对应图2(a)、图2(b)和图2(c)中的运动目标的跟踪结果示意图。

图4是实施例中感兴趣区域的运动路径预测和视野选择示意图。

图5是实施例选定的捕捉视野的图像；

其中：(a)是选定的捕捉视野的第一帧图像；(b)是选定的捕捉视野的第十帧图像。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例使用一台通过网络连接的有预置点功能的PTZ摄像机和一台PC机，监控一实验室入口，包括步骤如下：

第一步，根据默认摄像场景，对PTZ摄像机设置若干个捕捉视野，并记录每个捕捉视野与默认摄像场景的切换途径。

默认摄像场景如图1所示，其中虚线框内是适合摄像的视野，两个实线框代表两个有重叠的捕捉视野。

所述的记录每个捕捉视野与默认摄像场景的切换途径，直接将设置的捕捉视野标定为预置点，并记录捕捉视野与默认拍摄场景的对应关系和切换所需的时间。

所述的捕捉视野，其区域在同一焦距下，大于感兴趣区域。

第二步，将PTZ摄像机调节到默认摄像场景，开始进行混合高斯背景建模，在经过三十帧的训练后模型稳定，开始进行运动目标检测。

本实施例中所述的混合高斯背景建模是使用三个高斯模型来拟合一个点的颜色分布，则模型由三个高斯函数组成，X_t为当前图像上的一个点，那么X_t属于这个混合高斯模型的概率P(X_t)为：

$P\left(X_t\right)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{w}_{i,t}*\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})$

其中：w_i，t是第i个高斯模型的权重，η(X_t，μ_i，t，∑_i，t)是一个高斯函数，可以表示为：

$\mathrm{\η}(X,\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(X-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(X-\mathrm{\μ})}$

图像上的每个点都可以用前几帧信息建立一个初始高斯模型，随后通过加权当前帧更新高斯模型；不能匹配进该模型的点将用来建立新的高斯模型。当模型数目达到三时，新的模型将取代权重最小的旧模型，获得当前帧各点属于该模型的概率后，通过和门限(本实施例中设为的对比最后确定每个点是属于背景还是运动目标，图2(a)、图2(b)和图2(c)所示分别是一个人走进实验室的三个不同时刻得到的检测结果示意图。

第三步，当PTZ摄像机检测到有人出现时，选择人脸作为感兴趣区域，开始对人脸的运动状态进行建模跟踪。

所述的选择人脸作为感兴趣区域是取人体上部1/5区域为人脸区域，记录人脸的运动轨迹和速度。

所述的跟踪是基于外观模型的模板匹配跟踪，即将目标的颜色模型和前景概率保存在模板中，在每一帧，都用上一帧保存的颜色模板和前景概率模板与新检测到的运动区域进行匹配，最接近的标记为同一目标，并更新模型，进而达到跟踪效果。其模型的计算公式为：

$A(x_m,t)=\left\{\begin{array}{cc}\frac{\mathrm{\αI}(x_c+x_m)+A(x_m,t-1)}{\mathrm{\α}+1}& ;x_c+x_m\∈X\\ A(x_m,t-1)& ;x_c+x_m\∉X\end{array}\right.$

$P(x_m,t)=\left\{\begin{array}{cc}\frac{\mathrm{\β}+P(x_m,t-1)}{\mathrm{\β}+1}& ;x_c+x_m\∈F\\ \frac{P(x_m,t-1)}{\mathrm{\β}+1}& ;x_c+x_m\∉F\end{array}\right.$

其中：A是颜色模板，P是前景概率模板，I是当前图像，x_c表示目标质心在图像上的坐标，x_m表示目标模板中的相对质心的坐标，F表示当前前景(运动)区域，X表示分析后归为此目标的区域。

用来计算任一区域与目标模板的相似度Sim(x_c)的计算公式为：

$\mathrm{Sim}\left(x_c\right)=\frac{\underset{x\∈F}{\mathrm{\Σ}}P(x-x_c)\·|I\left(x\right)-A(x-x_c)|}{\underset{x\∈F}{\mathrm{\Σ}}P(x-x_c)}$

其中：x代表图像坐标。

当两个目标连接或者相互遮挡时，对有争议的点进行最近邻分类，得到争议点较多的目标被认为处于较低的深度，多个目标情况可以此类推，在图2(a)、图2(b)和图2(c)的三幅图的对应时刻，得到的运动目标的跟踪结果分别如图3(a)、图3(b)和图3(c)所示。

第四步，当稳定跟踪运动目标二十帧后，且目标接近预定的捕捉范围时，对感兴趣区域的运动路径进行预测。

本实施例通过计算最近二十帧的平均速度，作为感兴趣区域的速度v，设当前人脸位置为x₀，则x₀+v·t就是预测的路径。

第五步，根据感兴趣区域的运动路径预测结果，选取捕捉视野；并根据切换到选定的捕捉视野所需的时间，提前停止运动检测和跟踪，调整PTZ摄像机到选定的捕捉视野。

所述的选取捕捉视野是指通过和感兴趣区域的运动路径预测结果进行比较，从设置的捕捉视野中，选择出在PTZ摄像机完成视野切换过程后，完全包括感兴趣区域且感兴趣区域所占捕捉视野面积最大的捕捉视野，即满足如下条件：

$j=\underset{i}{\arg \min }(x_0+v\·t_{\mathrm{move}}^i-{\mathrm{center}}^i)$

其中：i和j都是捕捉视野的编号，centerⁱ是第i个捕捉视野的中心在默认摄像场景中的坐标，t_move ⁱ是从默认摄像场景切换到对准第i个捕捉区域所需要的时间，当选定了第j个捕捉视野，也就意味着感兴趣区域将在t_move ^j时间后位于第j个捕捉视野。

感兴趣区域的运动路径预测和视野选择如图4所示，其中虚线框为感兴趣区域，实线框为选择的捕捉视野，虚线箭头部分表示预测的路径结果，此时停止背景建模和目标跟踪，调用选择的捕捉视野的预置点，调整PTZ摄像机到图4中实线框区域。

第六步，在选定的捕捉视野拍摄十帧图像后，使PTZ摄像机返回默认摄像场景，恢复运动检测和跟踪预测。

得到的选定的捕捉视野的第一帧图像如图5(a)所示，得到的选定的捕捉视野的第十帧图像如图5(b)所示。

第七步，对拍摄的图像进行图像分析，当拍摄的图像中不包括人脸区域时，返回第四步，重新对该感兴趣区域进行路径预测和拍摄，直至该感兴趣区域从默认摄像场景中消失，再返回第三步，等待新的运动目标进入视野；当拍摄的图像中包括人脸区域时，则将该目标标记为已捕获，此时直接返回第三步，等待新的运动目标进入视野。

本实施例中只使用一个PTZ摄像机，对硬件要求低，默认摄像场景和捕捉视野之间切换，兼顾了捕捉人脸图像和整个摄像场景的需要；通过以运动人体作为检测跟踪的对象，不会因为人脸区域分辨率过低而无法检测到人脸区域；依靠事先的预置点或指令标定，在捕捉过程中，只需要根据目标运动，进行一次视野选择和一次PTZ摄像机的调整，就可以达到目标；而不需要不断地分析图像和发出控制信号，这就降低了对PTZ摄像机响应延迟的要求，使得本发明更容易应用到一般设备上。

Claims (5)

1.一种PTZ摄像机获取感兴趣区域高分辨率图像的方法，其特征在于，包括以下步骤：

第一步，根据默认摄像场景，对PTZ摄像机设置若干个捕捉视野，并记录每个捕捉视野与默认摄像场景的切换途径；

所述的捕捉视野，其区域在同一焦距下，大于感兴趣区域；

第二步，将PTZ摄像机调节到默认摄像场景，进行背景建模，在模型稳定之后，开始进行运动目标检测；

第三步，当PTZ摄像机检测到运动目标出现时，选择运动目标的感兴趣区域，开始对运动目标和运动目标的感兴趣区域的运动状态进行建模跟踪；

第四步，当稳定跟踪运动目标若干帧，且运动目标接近设置的捕捉范围时，对感兴趣区域的运动路径进行预测，预测方法如下：计算最近二十帧的平均速度，作为感兴趣区域的速度v，设当前人脸位置为x₀，则x₀+v·t就是预测的路径，其中：t表示从默认摄像场景切换到预测捕捉视野所需要的时间；

第五步，根据感兴趣区域的运动路径预测结果，选取捕捉视野；并根据切换到选定的捕捉视野所需的时间，提前停止运动检测和跟踪，调整PTZ摄像机到选定的捕捉视野；

所述的选取捕捉视野是指通过和感兴趣区域的运动路径预测结果进行比较，从设置的捕捉视野中，选择出在PTZ摄像机完成视野切换过程后，完全包括感兴趣区域且感兴趣区域所占捕捉视野面积最大的捕捉视野；

第六步，在选定的捕捉视野拍摄若干帧图像后，使PTZ摄像机返回默认摄像场景，恢复运动检测和跟踪预测；

第七步，对拍摄的图像进行图像分析，当拍摄的图像中不包括感兴趣区域时，返回第四步，重新对该感兴趣区域进行路径预测和拍摄，直至该感兴趣区域从默认摄像场景中消失，再返回第三步，等待新的运动目标进入视野；当拍摄的图像中包括感兴趣区域时，将该目标标记为已捕获，此时直接返回第三步，等待新的运动目标进入视野。

2.根据权利要求1所述的PTZ摄像机获取感兴趣区域高分辨率图像的方法，其特征是，第一步中所述的记录每个捕捉视野与默认摄像场景的切换途径，是标定预置点或者是设置PTZ指令，其中：标定预置点是对于有预置点功能的PTZ摄像机，直接将设置的捕捉视野标定为预置点，并记录捕捉视野与默认拍摄场景的对应关系和切换所需的时间；设置PTZ指令是对于没有预置点功能的PTZ摄像机，人为获取并记录实现捕捉视野与默认拍摄场景切换的控制指令，并记录捕捉视野与默认拍摄场景的对应关系和切换所需的时间。

3.根据权利要求1所述的PTZ摄像机获取感兴趣区域高分辨率图像的方法，其特征是，第二步中所述的模型是混合高斯模型。

4.根据权利要求1所述的PTZ摄像机获取感兴趣区域高分辨率图像的方法，其特征是，第三步中所述的选择运动目标的感兴趣区域是按照运动目标的比例，或者是按照运动目标的对称分析，得到运动目标的感兴趣区域所在的范围。

5.根据权利要求1所述的PTZ摄像机获取感兴趣区域高分辨率图像的方法，其特征是，第三步中所述的跟踪是基于外观模型的模板匹配跟踪，或者是基于颜色的直方图粒子滤波跟踪。

Images