CN101572803A - 基于视频监控的可定制式自动跟踪系统 - Google Patents

Abstract

本发明公开了一种在视频监控中能够对用户指定的运动目标实现自动跟踪的系统。该系统将摄像头固定在云台上，首先由摄像头获得图像，并将图像数据传输给PC机，在PC机上实现对图像的分析与处理。该系统在图像上自动的标注出运动目标的位置，用户可以从中指定需要监控的目标。系统提取监控目标的颜色特征，根据监控目标在图像中的位置判断出云台的移动方向，PC机发出指令控制机械云台带动摄像头对处于运动状态的监控目标进行跟踪，使得监控目标能够始终处于监控画面的中央，提高了视频监控的智能性。

Description

基于视频监控的可定制式自动跟踪系统

技术领域

本发明涉及视频监控的自动跟踪控制装置以及对运动目标的自动检测与跟踪技术。

背景技术

视频监控是计算机视觉领域中的一个重要的研究课题。随着经济的不断发展，科技水平的不断提高，安防问题成为了越来越不可忽视的问题。在现实社会中，大到各种类型的恐怖袭击，小到日常生活中经常发生的偷窃行为，可以说安防问题遍布现代人类生活的各个角落。视频监控是进行安全保障的一种常用手段，当前广泛的应用于银行、车站、办公楼等各种公共场所。当前大部分视频监控系统为数字视频监控系统。这种系统实现了视频监控手段的数字化、网络化和集成化，但是它存在一个最主要的缺陷——对视频内容只能靠人来判断。众所周知，视频监控工作劳动强度很大，它对工作人员的注意力、警惕性，特别对异常情况的反应能力要求很高，一般监控过程中发生的失误都是由注意力不集中造成的。同时，它多用于“事后处理”，即调查取证，并没有充分发挥视频监控系统的主动性。

鉴于数字视频监控系统的以上缺陷，近年来有关研究人员提出了智能视频监控技术。本发明根据智能视频监控技术的需求设计了一种“可定制式自动跟踪系统”，其主要功能是能够自动搜索运动目标，并能对用户指定的目标进行自主跟踪。这种系统能够有效的减轻监控工作人员的负担，降低误报、漏报现象的发生并能自动进行视频行为分析，及时识别可疑人员和可疑活动，提醒(或警报)监控人员关注相关视频画面，有足够的时间对潜在(或正在发生)的威胁进行处理，真正起到安全防范的作用。

发明内容

本发明有两个主要目的：

其一，当摄像头静止时，能够在视频图像上标注出所有的显著性运动区域，便于用户的观察。

其二，允许用户选择需要监控的目标。当目标选定后，系统能够自动跟踪目标，提高视频监控的智能性。

根据上述的第一个主要目的，本发明设计了一套视频中对运动物体的检测方法，包括以下步骤：

(1)采用背景减除法找出图像中的运动像素。这个方法是目前比较常见的一种运动检测的方法，其思路是将当前图像与背景图像对应位置的像素进行差分，若差值大于某个阈值，则认为该像素为前景运动像素，否则认为该像素是背景像素。

(2)对检测到的运动像素进行区域划分和连通区域标记。本发明自行开发的连通域标记方法，能够快速准确的定位图像中的每一个连通域，得到独立的运动区域。

(3)对于每一个独立的运动区域，确定其最小外接矩形框体，并在视频图像中标注。

根据所述的第二个目的，本发明提供了一种自动跟踪策略，其特征在于步骤为：

1.根据用户在屏幕上的点击位置，确定监控目标：

2.提取目标的颜色直方图信息，利用颜色特征对目标进行实时跟踪；

3.根据目标在图像中的位置，确定摄像头的运动方向；

4.向云台发送控制指令，控制云台带动摄像头跟踪运动目标。

附图说明

图1为本发明中自动跟踪控制系统的总体结构示意图；

图2为自动跟踪控制软件的模块结构图；

图3是系统软件算法的流程图；

图4是背景减除算法的实现流程；

图5是连通域标定算法的实现流程；

图6是特征跟踪算法的实现流程。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图对本发明进行进一步的详细说明。

本发明的基本思想是：在摄像头静止时，系统自动在视频图像中标注出监控场景中的运动物体位置。必要时用户通过屏幕点击的方式确定需要监控的目标。一旦监控目标确定，根据其在图像中的位置信息确定摄像头的运动方向，并向安装了摄像头的机械云台发出控制信号，使得机械云台带动摄像头随着监控目标的位置变化而移动，实现摄像头对运动目标的自动跟踪。

图1为本发明中自动跟踪控制系统的总体结构示意图。如图1所示，系统的硬件包括：摄像头、云台、云台控制器、PC机。

将摄像头固定在云台上，共同构成传感器模块。摄像头采集到的图像数据通过USB数据传输方式送给PC机处理，上位机生成云台控制信号，通过云台控制器控制云台的运动，进而驱动摄像头跟踪运动目标。PC机上带有自动跟踪控制软件，由图像处理模块，运动分析模块、人机交互模块等部分构成。

图2为自动跟踪控制软件的模块结构图。各模块的具体说明如下：

1.通用图像处理模块

功能：图像采集、图像预处理、图像视频存储等。用于采集图像数据，进行图像预处理，选择指定格式将图像或视频保存至硬盘。

输入：原始视频信息

输出：标准格式图像信息

2.人机交互模块

功能：人机交互模块包含所有的显示功能与可视化界面，提供人工参数控制接口。

输入：电机控制信号与存储信号

输出：实时视频信息

3.运动分析模块

功能：对预处理后的图像序列的高层处理，完成检测跟踪、位置反馈等。对运动物体或前景物体的检测、滤除背景部分，在图像序列中建立运动目标的对应参数匹配，预测运动目标在图像中的位置，实现跟踪。还可以根据处理结果获得云台运动的反馈控制参数。

输入：标准格式图像信息

输出：位置参数以及中间处理结果

图3是系统软件算法的流程图。系统软件中采用的算法，主要包括前景检测、连通区域聚类、特征跟踪三部分。

前景检测算法：采用背景减除的方法得到图像中的运动像素。具体描述如下：

步骤301，从摄像头中读取当前时刻的图像信息，图像尺寸大小为640×480，结构是三通道RGB格式，该图像作为当前检测周期的原始数据。

步骤302，对背景进行建模，记录背景帧的数据。

步骤303，当前帧图像数据与背景图像数据进行差分，得到以二值图像表示的前景帧。

连通区域聚类：当存在多个目标时，需要将分散的二值像素区域进行分类合并。具体描述为：步骤304，根据位置等信息，利用形态学等手段，对每个运动的物体进行定位，为每个运动对象加上区域矩形框体。

特征跟踪算法：用户指定监控目标后，对目标当前的位置进行定位，并通过特征跟踪算法跟踪目标。具体描述为：步骤305，根据目标框体内的空间像素域的某些特征，在以后的每一帧中进行计算，找出最佳匹配值重新定位。

图4是背景减除算法的具体流程，思路是将当前图像与背景图像进行差分来检测图像中的变化区域实现对运动目标的检测。具体步骤如下：

步骤401，采集信号，提取视频信号的首帧作为背景帧，视频信号的其他帧作为实时帧。

步骤402，将当前帧与背景帧对应的像素进行差分，得到前景帧。具体方法是差值大于预先设定的阈值，则标记为运动像素，否则为背景像素。

在步骤402后，利用新得到的前景帧更新背景帧，以自适应的适应背景的变化。

图5是连通域标定算法流程。在运动检测后的二值化的图像Mn中，运动目标的象素往往缺乏整体的连续性，需要对检测结果进行有效的区域划分和连通区域标记。本系统自行开发的连通域标记方法，能够快速准确的定位图像中每一个连通域。主要包括三个步骤：

步骤501，合并近邻像素。采用数学形态学操作和降低分辨率的方法，提取出连续的运动区域。首先，为了尽量消除运动目标水平方向和垂直方向的小裂缝，对图像Mn进行形态学中的膨胀操作，得到图像Dn。然后降低Dn的分辨率得到图像Rn，具体方法是把Dn分割为8×8的小格，如果方格内象素值为255的象素个数占到一半以上，则该小格的所有像素的像素值为255，否则为0。最后对Rn进行形态学闭操作。这样可以初步的得到不同运动目标的运动区域。

步骤502，连通区域标记。在得到运动区域之后还要进行连通区域标记，连通操作一般用迭代的区域生长方法，该方法速度慢，内存消耗大。本发明采用一种仅使用一次扫描二值图像的方法标记运动目标。二值图像任意一行中的直线用数据结构为：

struct tagLine{

    long m_lRow；

    long m_lColumnHead；

    long m_lColumnTail；

    tagLine m_pNext；}

如果相邻两行的直线Line1和Line2八邻域连通，则必须同时满足以下关系：

Line1.m_lColumnTail+1≥Line2.m_lColumnHead

Line2.m_lColumnTail+1≥Line1.m_lColumnHead

如果上两式都取为＞，则表示四邻域连通。通过逐行扫描，将所有连通的直线连成链表并进行统一的数字标记，就可以得到连通区域的信息。通过这些信息就可以方便地计算出各个运动目标的质心、面积、周长，用于目标的分类或是特征表达。

步骤503，框体定位。对所有独立的连通区域，分别提取它们的最小外接矩形框体，并在视频图像中标注。这样可以使用户清楚的知道当前存在的运动物体。

图6是特征跟踪算法的实现流程。本发明在跟踪时使用基于颜色特征的跟踪方法，当目标区域确定后，计算其颜色空间的直方图分布，当采集到下一帧时，在附近区域内搜索与其分布相似的区域进行匹配操作，选择最优解作为目标区域。

所述的基于颜色跟踪的步骤包括：

步骤601，将上一帧检测到的运动目标区域作为原始直方图模板保存下来；

步骤602，在当前帧中根据直方图模板计算反向投影图像；

步骤603，在反向投影图中发现目标中心，并将跟踪框中心移至目标中心，完成帧内跟踪。

在得到目标位置后，需要确定摄像头的运动方向。假设视频图像的长、宽分别为W、H，在图像中心作一矩形区域，长宽分别为W/4、H/4，将该区域设为图像的中心区域。当监控目标的质心位于中心区域的左侧则需控制摄像头向左运动；当质心位于中心区域右侧则需控制摄像头向右运动；当质心在中心区域内，则摄像头不需要运动。

确定摄像头运动方向后，需要发送指令控制云台运动。控制协议命令格式如表1所示：

表1 YAAN控制协议

首字节	地址	命令号	数据	校验和
					0x02	1字节	1字节	1或2字节	1字节

其通讯方式是RS-485，串口具体设置为：波特率为4800，数据位为8，无校验位，停止位为1。

协议说明：

1.首字节永远是0x02；

2.地址范围是0x00~0xff(十进制是0~255)，其中0xff为广播地址；

3.命令号范围为1-17；

4.数据由一个(命令号2-11)或两个(命令号1和12-17)字节组成；

5.校验和占一个字节，将前面字节求和后取其低字节。

协议具体控制方式如表2所示：

表2 YAAN协议控制方式

命令号	数据1	数据2	说明(命令长度6字节)
				0x01	0x0右0x02左0x04上0x08下0x06左上	0x01光圈开0x02光圈关	云台和镜头命令(数据1和2的每一个二进制位代表一个具体的功能，当此位为1时，该项功能打开)

	0x0A左下0x05右上0x09右下0x10缩小0x20放大0x40聚焦近0x80聚焦远
				0x01	0x00	0x00	停止命令
0x0E	0x00~0xFF水平方向速度	0x00~0xFF垂直方向速度	云台速度
				0x0F	0x03	0x00	水平自动

根据表2提供的控制规律，预先建立对电机编码器控制的指令集合，包括控制云台向上、下、左、右、左上、左下、右上、右下、停止等9行指令。指令集合如表3：

表3云台电机控制指令集

云台动作	指令字符
		停止运动	0x020101000004
向上方运动	0x020101040008
		向下方运动	0x02010108000C
向左方运动	0x020101020006
		向右方运动	0x020101010005
向左上方运动	0x02010106000A
		向左下方运动	0x0201010A000E
向右上方运动	0x020101050009
		向右下方运动	0x02010109000D

确定云台运动方向后，发送对应的指令给云台控制器，即可控制云台的运动。由上述技术方案可见，本发明一种集常规的定点监控与镜头自主跟踪于一体的视频监控系统。在定点监控时能够自动搜索出监控场景中的运动物体位置。用户可以通过屏幕点击的方式确定需要镜头自主跟踪的目标。当所选目标的表观颜色特征与背景环境具有良好的可分性时，系统能够较好的实现对目标的镜头自主跟踪。

Claims (7)

1.一种视频监控中的可定制式自动跟踪方法，其特征在于，包括以下步骤：

(1)当摄像头静止时，在视频图像中标注出所有的运动物体的位置；

(2)用户通过屏幕点击，确定监控目标，摄像头自动跟踪目标运动。

2.根据权利要求1中的方法，所述标注所有的运动物体的位置，其特征在于，包括以下步骤：

(1)采用背景减除法找出图像中的运动像素；

(2)对检测到的运动像素进行区域划分和连通区域标记；

(3)对于每一个独立的运动区域，确定其最小外接矩形位置，并在视频图像中标注。

3.根据权利要求1中的方法，所述摄像头自动跟踪目标运动，其特征在于，包括以下步骤：

(1)根据用户在屏幕上的点击位置确定监控目标；

(2)提取目标的颜色直方图信息，利用颜色特征对目标进行实时跟踪；

(3)根据目标在图像中的位置，确定摄像头的运动方向；

(4)向云台发送控制指令，控制云台带动摄像头跟踪运动目标。

4.根据权利要求2中的方法，所述对检测到的运动像素进行区域划分，其特征在于，包括以下步骤：对运动检测后的二值化的图像Mn进行形态学中的膨胀操作，得到图像Dn；降低图像Dn的分辨率得到图像Rn；对图像Rn进行形态学闭操作。

5.根据权利要求4中的方法，所述降低图像Dn的分辨率得到图像Rn，其特征在于：将图像Dn分割为8×8的小格，如果方格内象素值为255的象素个数占到一半以上，则该小格的所有像素的像素值为255，否则为0。

6.根据权利要求3中的方法，所述根据用户在屏幕上的点击位置确定监控目标，其特征在于，包括以下步骤：获取用户鼠标点击位置在图像中的坐标；判断该坐标是否属于某个已标注的运动物体区域，若判断成立，则将该物体作为监控目标。

7.根据权利要求3中的方法，所述提取目标的颜色直方图信息，利用颜色特征对目标进行实时跟踪，其特征在于步骤为：

(1)将第n帧检测到的运动目标区域作为原始直方图模板保存下来；

(2)在第n+1帧中根据直方图模板计算反向投影图像；

(3)在反向投影图中发现目标中心，并将跟踪框中心移至目标中心，完成帧内跟踪。

Images