CN100499808C - 基于目标的图像位置自动控制摄像机运动的方法 - Google Patents

Abstract

本发明一种基于目标的图像位置自动控制摄像机运动的方法，步骤是：一、输入图像序列并预处理；从摄像机中采集图像序列，经视频传输线传输到目标跟踪系统，对图像序列进行滤波去噪预处理后放入目标跟踪系统的缓冲区；二、对目标跟踪系统缓冲区中的1帧图像进行分区；分为摄像机静止区、保持区及变化区；三、目标检测与跟踪；对当前目标跟踪系统缓冲区中的图像，采用差分或光流等方法进行检测，检测到目标的初始位置后，采用帧间差分或基于特征跟踪算法更新目标位置，实现跟踪；四、判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法；当目标位于不同区域时，驱动摄像机运动，保证目标始终位于图像的中央区域。

Description

基于目标的图像位置自动控制摄像机运动的方法

(一)技术领域：

本发明一种基于目标的图像位置自动控制摄像机运动的方法，涉及摄像机运动控制方法，尤其是指一种对视频监控过程中出现的运动目标即将走出摄像机视场时的摄像机运动控制方法，属于视频监控应用技术。

(二)背景技术：

视频监控系统由图像采集、图像处理、图像传输、图像监控和系统控制等相关电子设备和传输介质组成的。视觉监控系统已成为安全防范技术体系中不可或缺的重要组成部分，目前已广泛应用于交通、金融、商业、医院、工矿企业、住宅小区等。

视频监控系统的主要目的是对景物和目标进行实时的分析和处理、对异常情况进行预警。系统控制是对异常目标或感兴趣目标进行实时跟踪，当目标走出视场时，云台驱动摄像机转动，锁定目标。

公开号为CN 1554193A的专利中的摄像机运动控制算法，需要知道摄像机的焦距f的精确值，这个焦距是由摄像机反馈给系统的，摄像机的性能指标要求高、控制算法和系统都很复杂，目前带有焦距反馈的摄像机都售价高，成本太大。普通摄像机焦距值可以通过标定来获得，但当焦距变化后需要重新标定，这在目标连续跟踪过程中焦距连续变化的情况下是很不现实的。

公开号为CN 1271233的专利中采用的方法是角度差法，首先需要人为指定一个目的角度，计算当前摄像机角度和指定角度的差值，通过这个差值来控制摄像机的转动，这种方法需要人为的参与，自动化程度不高，且软件系统复杂。

(三)发明内容：

本发明一种基于目标的图像位置自动控制摄像机运动的方法，其目的是：提供一种较为简便、实用并具有较高控制精度的摄像机运动控制方法。针对现有监控系统中摄像机运动控制方法或系统复杂或成本高昂的不足，提出了一种仅靠目标的图像位置判别就能自动完成的摄像机运动控制方法，具有跟踪迅速、实时性强、成本低的特点。

本发明一种基于目标的图像位置自动控制摄像机运动的方法，该方法包括如下步骤：

一、输入图像序列并预处理：

从摄像机101中采集图像序列，该摄像机可以是彩色或黑白摄像机，经视频传输线108传输到目标跟踪系统107，目标跟踪系统可以是PC机，也可以是采用专用硬件的嵌入式系统，目标跟踪系统107对图像序列进行滤波去噪预处理，将含有目标的清晰图像放入目标跟踪系统的缓冲区；

二、对目标跟踪系统缓冲区中的1帧图像进行分区：

图像的分辨率为M×N，XOY为图像平面坐标系，a、b、c、d、e、f、g、h为正实数；

摄像机静止区S定义为：

                               S＝{(x，y)|b≤x≤c，f≤y≤g}       [1]

摄像机运动状态保持区K定义为：

$K=\left\{(x,y)\right|a\≤x\≤d,e\≤y\≤h,(x,y)\∉S\}---\left[2\right]$

摄像机运动状态变化区C定义为

C＝C₁∪C₂∪C₃∪C₄∪C₅∪C₆∪C₇∪C₈   [3]

其中各子分区C₁-C₈定义为：

$\left\{\begin{array}{c}{C}_1=\left\{(x,y)\right|0\≤x\≤a,0\≤y\≤e\}\\ C_2=\left\{(x,y)\right|a\≤x\≤d,0\≤y\≤e\}\\ C_3=\left\{(x,y)\right|d\≤x\≤M,0\≤y\≤e\}\\ C_4=\left\{(x,y)\right|d\≤x\≤M,e\≤y\≤h\}\\ C_5=\left\{(x,y)\right|d\≤x\≤M,h\≤y\≤N\}\\ C_6=\left\{(x,y)\right|a\≤x\≤d,h\≤y\≤N\}\\ C_7=\left\{(x,y)\right|0\≤x\≤a,h\≤y\≤N\}\\ C_8=\left\{(x,y)\right|0\≤x\≤a,h\≤y\≤N\}\end{array}\right.---\left[4\right]$

其中，C₁-C₈分别代表的子分区为：左上、上、右上、右、右下、下、左下、左。各个分区的形状为长方形，且边长可以根据需要适当的调整大小；

三、目标检测与跟踪：

对当前目标跟踪系统缓冲区中的图像采用差分或光流等方法进行目标检测，检测到目标的初始位置后，采用帧间差分或基于特征跟踪等算法更新目标位置，实现目标跟踪；

四、判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法：

当目标位于摄像机分区图中不同区域的时候，根据一定的策略，驱动摄像机运动，就可以保证目标始终位于图像的中央区域(S+K)，策略如下：

1)图像中目标位于摄像机静止区S：

当目标为静止，则保持静止状态；如果摄像机的运动状态为运动，则发送控制命令，使摄像机静止；

2)图像中目标位于摄像机运动状态保持区K：

保持摄像机的运动状态不变；

3)图像中目标位于摄像机运动状态变化区C：

若目标在子分区C₈，则驱动摄像机向左转动；若目标在子分区C₄，则驱动摄像机向右转动；若目标在子分区C₂，则驱动摄像机向上转动；若目标在子分区C₆，则驱动摄像机向下转动；若目标在子分区C₁，则驱动摄像机向左上转动；若目标在子分区C₇，则驱动摄像机向左下转动；若目标在子分区C₃，则驱动摄像机向右上转动；若目标在子分区C₅，则驱动摄像机向右下转动；

摄像机的运动控制算法流程是：首先判断摄像机的运动状态是否为静止401，如果摄像机正在转动，则判断目标是否位于摄像机静止区S 402，是则发送指令，使摄像机静止403，否则执行结束420；如果摄像机是静止的，则判断目标是否在上方子分区C₂ 404，是则使摄像机向上转动405，然后执行420，否则执行406；如果目标在下方子分区C₆ 406，是则使摄像机向下转动407，然后执行420，否则执行408；如果目标在左方子分区C₈ 408，是则使摄像机向左转动409，然后执行420，否则执行410；如果目标在右方子分区C₄ 410，是则使摄像机向右转动411，然后执行420，否则执行412；如果目标在左上方子分区C₁ 412，是则使摄像机向左上转动413，然后执行420，否则执行414；如果目标在左下方子分区C₇ 414，是则使摄像机向左下转动415，然后执行420，否则执行416；如果目标在右上方子分区C₃ 416，是则使摄像机向右上转动417，然后执行420，否则执行418；如果目标在右下方子分区C₅ 418，是则使摄像机向右下转动419，否则执行420。

本发明一种基于目标的图像位置自动控制摄像机运动的方法，其优点是：该方法简便、实用，精确度高，跟踪迅速、实时性强、而且成本低。

(四)附图说明：

图1是目标跟踪系统的硬件组成和跟踪场景。

图2是系统算法的总体框图。

图3是图像平面进行区域划分。

图4是摄像机运动控制算法的程序框图。

图中标号如下：

101 摄像机          102 云台         103 云台支架

104 控制信号        105 云台解码器   106 监视器

107 目标跟踪系统    108 视频传输线   109 运动目标所在的平面

110 运动目标

图中英文字母定义如下：

S摄像机静止区      K摄像机保持区    C摄像机运动状态变化区

C₁-C₈子分区

(五)具体实施方式：

本发明一种基于目标的图像位置自动控制摄像机运动的方法，该方法具有如下步骤：

一、输入图像序列并预处理：

从摄像机101中采集图像序列，该摄像机可以是彩色或黑白摄像机，经视频传输线108传输到目标跟踪系统107，目标跟踪系统可以是PC机，也可以是采用专用硬件的嵌入式系统，目标跟踪系统107对图像序列进行滤波去噪预处理，将含有目标的清晰图像放入目标跟踪系统的缓冲区。

如图1所示，系统的硬件组成：系统由可变焦彩色摄像机101、自由度云台102、云台解码器105、监视器106、目标跟踪系统107、视频传输线108等组成；

该目标跟踪系统107是由软件和硬件构成，其中，软件包含目标检测跟踪算法、摄像机运动控制算法组成；硬件可以是PC或采用专用硬件的嵌入式系统，如DSP。

系统算法的总体框图：

如图2所示，系统的总体处理流程为：从摄像机采集一帧图像，经过预处理后，对摄像机视场内的运动目标进行检测和跟踪，得到了目标的位置信息后，根据目标在图像中的分区位置及摄像机运动控制策略自动驱动摄像机转动。重复执行这一过程，就实现了在对感兴趣目标的持续跟踪过程中，能够自动驱动摄像机转动以保证目标始终在图像的中央区域。

二、对目标跟踪系统缓冲区中的1帧图像进行分区：

如图3所示，图像的分辨率为M×N，XOY为图像平面坐标系，a、b、c、d、e、f、g、h为正实数。

摄像机静止区定义为

    S＝{(x，y)|b≤x≤c，f≤y≤g}       [1]

摄像机运动状态保持区定义为

$K=\left\{(x,y)\right|a\≤x\≤d,e\≤y\≤h,(x,y)\∉S\}---\left[2\right]$

摄像机运动状态变化区定义为

C＝C₁∪C₂∪C₃∪C₄∪C₅∪C₆∪C₇∪C₈   [3]

其中各子分区定义为

$\left\{\begin{array}{c}{C}_1=\left\{(x,y)\right|0\≤x\≤a,0\≤y\≤e\}\\ C_2=\left\{(x,y)\right|a\≤x\≤d,0\≤y\≤e\}\\ C_3=\left\{(x,y)\right|d\≤x\≤M,0\≤y\≤e\}\\ C_4=\left\{(x,y)\right|d\≤x\≤M,e\≤y\≤h\}\\ C_5=\left\{(x,y)\right|d\≤x\≤M,h\≤y\≤N\}\\ C_6=\left\{(x,y)\right|a\≤x\≤d,h\≤y\≤N\}\\ C_7=\left\{(x,y)\right|0\≤x\≤a,h\≤y\≤N\}\\ C_8=\left\{(x,y)\right|0\≤x\≤a,h\≤y\≤N\}\end{array}\right.---\left[4\right]$

其中，C₁-C₈分别代表的子分区为：左上、上、右上、右、右下、下、左下、左。各个分区的形状为长方形，且边长可以根据需要适当的调整大小。

三、目标检测与跟踪：

对当前目标跟踪系统缓冲区中的图像采用差分或光流等方法进行目标检测，检测到目标的初始位置后，采用帧间差分或基于特征跟踪等算法更新目标位置，实现目标跟踪。

四、判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法：

如图3所示的摄像机分区图，当目标位于不同区域的时候，根据一定的策略，驱动摄像机运动，就可以保证目标始终位于图像的中央区域(S+K)，策略如下：

1)图像中目标位于摄像机静止区S：

当目标为静止，则保持静止状态；如果摄像机的运动状态为运动，则发送控制命令，使摄像机静止。

2)图像中目标位于摄像机运动状态保持区K：保持摄像机的运动状态不变。

3)图像中目标位于摄像机运动状态变化区C：

若目标在子分区C₈，则驱动摄像机向左转动；若目标在子分区C₄，则驱动摄像机向右转动；若目标在子分区C₂，则驱动摄像机向上转动；若目标在子分区C₆，则驱动摄像机向下转动；若目标在子分区C₁，则驱动摄像机向左上转动；若目标在子分区C₇，则驱动摄像机向左下转动；若目标在子分区C₃，则驱动摄像机向右上转动；若目标在子分区C₅，则驱动摄像机向右下转动。

如图4所示，摄像机的转动控制算法流程是：首先判断摄像机的运动状态是否为静止401，如果摄像机正在转动，则判断目标是否位于摄像机静止区S 402，是则发送指令，使摄像机静止403，否则执行结束420。如果摄像机是静止的，则判断目标是否在上方子分区C₂ 404，是则使摄像机向上转动405，然后执行420，否则执行406；如果目标在下方子分区C₆ 406，是则使摄像机向下转动407，然后执行420，否则执行408；如果目标在左方子分区C₈ 408，是则使摄像机向左转动409，然后执行420，否则执行410；如果目标在右方子分区C₄ 410，是则使摄像机向右转动411，然后执行420，否则执行412；如果目标在左上方子分区C₁ 412，是则使摄像机向左上转动413，然后执行420，否则执行414；如果目标在左下方子分区C₇ 414，是则使摄像机向左下转动415，然后执行420，否则执行416；如果目标在右上方子分区C₃ 416，是则使摄像机向右上转动417，然后执行420，否则执行418；如果目标在右下方子分区C₅ 418，是则使摄像机向右下转动419，否则执行420。

Claims (2)

1、一种基于目标的图像位置自动控制摄像机运动的方法，该方法包括如下步骤：

一、输入图像序列并预处理：

从摄像机中采集图像序列，该摄像机是彩色或黑白摄像机，经视频传输线传输到目标跟踪系统，目标跟踪系统是PC机，也是采用专用硬件的嵌入式系统，目标跟踪系统对图像序列进行滤波去噪预处理，将含有目标的清晰图像放入目标跟踪系统的缓冲区；

二、对目标跟踪系统缓冲区中的1帧图像进行分区：

图像的分辨率为M×N，XOY为图像平面坐标系，a、b、c、d、e、f、g、h为正实数；

其中，a≤b≤c≤d；e≤f≤g≤h；

摄像机静止区S定义为：

S＝{(x，y)|b≤x≤c，f≤y≤g}               [1]

摄像机运动状态保持区K定义为：

$K=\left\{(x,y)\right|a\≤x\≤d,e\≤y\≤h,(x,y)\∉S\}---\left[2\right]$

摄像机运动状态变化区C定义为

C＝C₁∪C₂∪C₃∪C₄∪C₅∪C₆∪C₇∪C₈            [3]

其中各子分区C₁-C₈定义为：

$\left\{\begin{array}{c}{C}_1=\left\{(x,y)\right|0\≤x\≤a,0\≤y\≤e\}\\ C_2=\left\{(x,y)\right|a\≤x\≤d,0\≤y\≤e\}\\ C_3=\left\{(x,y)\right|d\≤x\≤M,0\≤y\≤e\}\\ C_4=\left\{(x,y)\right|d\≤x\≤M,e\≤y\≤h\}\\ C_5=\left\{(x,y)\right|d\≤x\≤M,h\≤y\≤N\}\\ C_6=\left\{(x,y)\right|a\≤x\≤d,h\≤y\≤N\}\\ C_7=\left\{(x,y)\right|0\≤x\≤a,h\≤y\≤N\}\\ C_8=\left\{(x,y)\right|0\≤x\≤a,h\≤y\≤N\}\end{array}\right.---\left[4\right]$

其中，C₁-C₈分别代表的子分区为：左上、上、右上、右、右下、下、左下、左；各个分区的形状为长方形，且边长根据需要适当的调整大小；

三、目标检测与跟踪：

对当前目标跟踪系统缓冲区中的图像采用差分或光流方法进行目标检测，检测到目标的初始位置后，采用帧间差分或基于特征跟踪算法更新目标位置，实现目标跟踪；

四、判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法：

当目标位于摄像机分区图中不同区域的时候，根据一定的策略，驱动摄像机运动，就保证目标始终位于图像的中央区域，策略如下：

1)图像中目标位于摄像机静止区S：

当目标为静止，则保持静止状态；如果摄像机的运动状态为运动，则发送控制命令，使摄像机静止；

2)图像中目标位于摄像机运动状态保持区K：保持摄像机的运动状态不变；

3)图像中目标位于摄像机运动状态变化区C：

若目标在子分区C₈，则驱动摄像机向左转动；若目标在子分区C₄，则驱动摄像机向右转动；若目标在子分区C₂，则驱动摄像机向上转动；若目标在子分区C₆，则驱动摄像机向下转动；若目标在子分区C₁，则驱动摄像机向左上转动；若目标在子分区C₇，则驱动摄像机向左下转动；若目标在子分区C₃，则驱动摄像机向右上转动；若目标在子分区C₅，则驱动摄像机向右下转动。

2、根据权利要求1所述的一种基于目标的图像位置自动控制摄像机运动的方法，其特征在于：所述的判断目标在图像中的位置并制定策略自动驱动摄像机转动的控制方法，使摄像机自动转动的控制算法流程是：首先判断摄像机的运动状态是否为静止，如果摄像机正在转动，则判断目标是否位于摄像机静止区S，是则发送指令，使摄像机静止，否则执行结束；如果摄像机是静止的，则判断目标是否在上方子分区C₂，是则使摄像机向上转动，然后执行结束，否则判断目标是否在下方子分区C₆；如果目标在下方子分区C₆，则使摄像机向下转动，然后执行结束，否则判断目标是否在左方子分区C₈；如果目标在左方子分区C₈，则使摄像机向左转动，然后执行结束，否则判断目标是否在右方子分区C₄；如果目标在右方子分区C₄，则使摄像机向右转动，然后执行结束，否则判断目标是否在左上方子分区C₁；如果目标在左上方子分区C₁，则使摄像机向左上转动，然后执行结束，否则判断目标是否在左下方子分区C₇；如果目标在左下方子分区C₇，则使摄像机向左下转动，然后执行结束，否则判断目标是否在右上方子分区C₃；如果目标在右上方子分区C₃，则使摄像机向右上转动，然后执行结束，否则判断目标是否在右下方子分区C₅；如果目标在右下方子分区C₅，则使摄像机向右下转动，否则执行结束。

Images