CN100531373C - 基于双摄像头联动结构的视频运动目标特写跟踪监视方法 - Google Patents

Abstract

本发明公开的基于双摄像头联动结构的视频运动目标特写跟踪监视方法，通过一个全景监控摄像头对监视区域的目标进行识别，确定出目标的位置、运行速度和方向，锁定跟踪目标之后，将目标信息传给由云台控制转向的特写跟踪摄像头，由特写跟踪摄像头对锁定目标进行特写、放大后跟踪，显示目标的特写画面，从而获取目标更多信息。既可对全景进行监控，又可对可疑目标进行自动判断，并实现特写跟踪的功能。

Description

基于双摄像头联动结构的视频运动目标特写跟踪监视方法

技术领域

本发明属视频监控技术领域，涉及一种视频运动目标的监控方法，具体涉及一种利用双摄像头联动结构对视频运动目标进行监视的方法。

背景技术

随着计算机视频图像处理技术的不断发展，以及安防、反恐等领域的迫切需要，智能化的监控系统要求对入侵目标的行为分析做到一定程度的自动化。

为了保证能够检测出运动目标，视频监视系统的摄像头设定大多为固定模式。固定模式下的目标检测存在的问题是：如果需要增大目标的分辨率，则监视的场景只能集中在某个局部，例如，机场的登机入口处等。如果需要增大监视范围，则无法保证监视画面中的入侵目标细节的刻画。例如，在小区门口逃逸摩托车的车牌信息等。

如果既要对全景进行监控，又要对可疑目标进行自动判断，并进行特写跟踪，就需要以“一静一动”的模式来完成。

发明内容

本发明的目的在于提供一种基于双摄像头联动结构的视频运动目标特写跟踪监视方法，对视频目标即可全景监控，又可进行特写跟踪。

本发明所采用的技术方案是，基于双摄像头联动结构的视频运动目标特写跟踪监视方法，通过一个全景监控摄像头对监视区域的目标进行识别，确定出目标的位置、运行速度和方向，锁定跟踪目标之后，将目标信息传给由云台控制转向的特写跟踪摄像头，由特写跟踪摄像头对锁定目标进行特写、放大后跟踪，显示目标的特写画面，从而获取目标更多信息，该方法按以下步骤进行，

a.采用一全景监控摄像头和一设置在云台上的特写跟踪摄像头，采用一计算机实现全景监控摄像头和特写跟踪摄像头之间的联动，即建立场景画面中的每个点分别在两个摄像头所拍摄的视频画面中的位置对应关系，根据全景摄像头中目标的位置来确定特写摄像头的朝向，使之能够正对需要跟踪的目标；

b.利用全景监控摄像头对监视区域的目标进行行为检测，即运用图像及视频处理的方法将运动目标与场景的背景区别分离，获得入侵目标的个数、行走速度、行走方向以及所在位置的信息；

c.对上述检测到的目标设置运动方向、目标位置、运动速度、目标颜色四个特征参数，并记录下来，在视频的帧与帧之间运用模板匹配的方法对运动目标进行跟踪，获得每一个目标的运动轨迹信息；

d.全景监控摄像头将获得的目标运动轨迹信息通过步骤a建立的联动关系传输给特写跟踪摄像头，通过控制云台的转动带动特写跟踪摄像头转动，进行目标跟踪，实时准确地将锁定的目标经过放大之后显示在监控画面中；

e.控制特写跟踪摄像头焦距的缩放来拉近目标，对上述得到的锁定在监控画面中的目标进行特写拍摄。

本发明方法采用双摄像头联动结构，实现对入侵监视视野的运动目标进行特写跟踪。全景监控摄像头完成的是一个视角比较广的，对某个区域的全景监视。虽然全景中的每个目标的分辨率都比较小，很难详细辨认，但是计算机对获得的全景监视视频信息的自动分析，能够获得入侵目标在监视区域中的运行轨迹，动作的过程等等。为此，本发明利用全景监控摄像头完成对进入监视区域的目标进行识别，确定出目标的位置、运行速度和方向。全景监控摄像头在锁定了跟踪目标之后，将检测到的可疑目标的运动速度及方向信息经串口通信传给特写跟踪摄像头。特写跟踪摄像头负责对可疑目标进行特写放大后跟踪，显示目标的特写画面，从而可获取可疑目标的更多信息，弥补了当所得到的视频提供的可疑目标较小或模糊不清无法辨认的不足。

附图说明

图1是本发明方法采用的双摄像头夹角与照射位置关系示意图；

图2摄像头夹角与云台控制角的关系示意图；

图3视频帧中某像素点的像素值变化曲线，横坐标为时间轴，单位为帧序号；纵坐标为某时刻该点的归一化像素值；

图4云台六种基本运动的变化轨迹；

图5摄像头焦距样本拟合效果图，横坐标为指令间隔时间，纵坐标为放大倍数。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于双摄像头联动结构的视频运动目标特写跟踪监视方法，采用的是两个摄像头联动的结构。所谓的双摄像头联动结构，是指设置一个固定不动的全景监控摄像头，完成对整个监视区域的全景监视。另一个架设在有两个自由度的可旋转云台上的摄像头，完成对锁定目标的特写跟踪。当全景监视摄像头发现目标后，对其运动的速度与方向进行判断，并驱动特写跟踪摄像头随着目标的运动而转动跟踪。所谓的特写跟踪，是指跟踪目标摄像头的监视画面只有目标，这样，能够因增大目标的分辨率而使得目标物的正确辨认成为可能。

两个摄像头通过一个计算机实现联动。全景摄像头固定在某个位置上，摄像头连接到计算机上的视频卡上，将视频信号传输到计算机中，计算机对输入的视频信号进行处理，并判断出何时有可疑目标出现。一旦判断出有可疑目标出现，就计算其所在位置，以及其运动速度和方向，并将这些参数通过运动控制卡传输出去，控制另一个架设在两自由度的转动云台上的摄像头，转动到目标所在的位置，之后摄像头调整焦距，使该摄像头能够对目标进行放大特写跟踪。当这个特写跟踪摄像头获得目标之后，也将视频信号通过视频卡传输到计算机中，计算机根据目标的运动速度及方向，控制该特写跟踪摄像头随着目标的运动而运动，完成对目标的特写跟踪。

双摄像头联动方法

当全景监控摄像头锁定了入侵目标之后，要使另一个特写跟踪摄像头能够找到该目标物并对其进行放大跟踪，则需要建立两个摄像头之间的联动关系，即建立场景画面中的每个点分别在两个摄像头所拍摄的视频画面中的位置对应关系。即根据全景摄像头中目标的位置来确定特写摄像头的朝向，使之能够正对需要跟踪的目标。下面来介绍一下该联动关系建立的过程。

如图1所示，假定两部摄像头的成像点重合(如图1中的O点)，据摄像头的成像原理可知，特写摄像头所对准的位置与它相对于全景摄像头的夹角有关。

设全景监视摄像头的方向向量为Φ，是一个固定值，设特写跟踪摄像头的初始方向向量为φ，二者的夹角为θ^(Φ，φ)。以全景摄像头的方向向量为基准建立水平投影面X和竖直投影面Y。将夹角投影到两个面上，分解为X方向夹角θ_X ^(Φ，φ)和Y方向夹角θ_Y ^(Φ，φ)。在这里，特写摄像头对准全景摄像头中的(x，y)点，从图中可知如下关系：

${\mathrm{\θ}}_X^{(\mathrm{\Φ},\mathrm{\φ})}=k_{x}x---\left(1\right)$

${\mathrm{\θ}}_Y^{(\mathrm{\Φ},\mathrm{\φ})}=k_{y}y---\left(2\right)$

位置坐标和摄像头夹角成线性关系。

有了这样的关系，当需要让特写摄像头指向全景摄像头中的某一点的时候，就可以通过控制两部摄像头的夹角来实现。换句话说，如果需要让特写摄像头指向(x，y)点，就控制摄像头使之与全景摄像头的夹角为θ^(Φ，φ)。

这一控制过程是由云台的转动来实现的。下面就是要将对两部摄像头的夹角控制转换为对云台的两个夹角的控制。如图2所示，全景摄像头的方向向量为Φ，它与水平面的夹角设为β，是一个固定值，设特写摄像头的方向向量为φ。以全景摄像头的照射方向为基准，建立X投影面和Y投影面，分别对应于图中的OAX平面和OAY平面。

对特写跟踪摄像头方向向量φ向两个平面上投影，从向量φ上一点B分别向两个投影面做垂线，得到X面的垂点为B’，Y面的垂点为Y，Y’是B在向量Φ上的投影点。这样就分别得到两部摄像头X方向夹角θ_X ^(Φ，φ)和Y方向夹角θ_Y ^(Φ，φ)，对应于图2中∠AOB′，∠AOY。另一方面，根据云台的结构可知，云台水平方向的转动夹角对应于图中α_X，竖直方向的转动夹角对应于图中的α_Y。

接下来就是要建立坐标(x，y)与(α_X，α_Y)之间的关系。首先，计算云台的水平转动角α_X。根据图中关系，可知：

$\tan {\mathrm{\θ}}_X^{(\mathrm{\Φ},\mathrm{\φ})}=\frac{\left|Y^{\′}{B}^{\′}\right|}{\left|Y^{\′}O\right|}---\left(3\right)$

$\tan {\mathrm{\α}}_X=\frac{\left|\mathrm{YB}\right|}{\left|{\mathrm{YO}}^{\′}\right|}---\left(4\right)$

根据投影关系可知：|YB|＝|Y′B′|则由式(3)(4)可得：

$\tan {\mathrm{\α}}_X=\frac{\left|Y^{\′}O\right|}{\left|{\mathrm{YO}}^{\′}\right|}\tan {\mathrm{\θ}}_X^{(\mathrm{\Φ},\mathrm{\φ})}---\left(5\right)$

图2中

则有：

$\left|\mathrm{YO}\right|=\frac{\left|Y^{\′}O\right|}{\cos {\mathrm{\θ}}_Y^{(\mathrm{\Φ},\mathrm{\φ})}}---\left(7\right)$

由此可得：

将式(1)(2)式代入(10)得到α_X的最终计算公式：

接下来再计算云台的竖直转动角α_Y。根据图中关系，可知：

|BY|＝|BO′|sinα_X      (12)

|YO′|＝|BO′|cosα_X    (13)

将式(13)代入(6)可得：

在直角三角形⊥BYO中有如下关系：

在直角三角形⊥BO′O中有如下关系：

再将式(1)，(2)代入(16)，得到α_Y的最终计算公式：

根据上面得到的双摄像头的联动关系，首先计算出全景监视摄像头中锁定目标在特写跟踪摄像头中的位置，将特写跟踪摄像头转动至相应的位置，使锁定的目标物在特写跟踪摄像头的监视视野中，之后，特写跟踪摄像头根据判断出的目标运动方向与速度进行相应的转动，完成对目标的特写跟踪。在完成了一个目标的特写跟踪之后，该摄像头复位，并等待下一个目标的出现。

全景监控摄像头的信息处理

全景监视摄像头是固定不动的，该摄像头的作用是，对固定的监视场景中出现的运动目标进行检测，并对其行为进行简单的分析，获得入侵目标的个数、入侵目标的行走速度、行走方向，以及所在位置等信息，可对运动目标的可疑行为进行自动识别并及时报警。

根据实际需要可自行设置警戒方式如：入侵警戒区域、警戒线，也可以是整个监视区域，以进入监视视野的先后顺序进行跟踪。当标识完成之后，系统就对进入警戒区域内的目标进行检测，在检测出目标后，还可对监视场景中的人数进行统计，并可对在监视视野中的人物聚众进行自动判断并报警。

1)运动目标的检测

下面以人物作为运动目标来进行说明。所谓的运动目标检测就是指运用图像及视频处理的手段将运动的目标(人)与场景的背景相区别分离。本发明采用了对背景进行建模的方法，获得一个背景画面(指自动生成的无目标物的监视场景)，之后不断对该背景进行更新，以保证在目标检测中，能够适应户外不同时间，不同天气下的光照环境的变化导致的背景变化。

本发明采用了基于像素灰度归类的方法来实现对背景进行建模，在获得不包含运动目标的背景帧之后，采用简单的帧间差方法，就可检测出运动目标。

像素灰度归类算法是建立在假设背景像素灰度以最大概率出现在图像序列中的前提下的。这种假设在实际应用中是可行的，因为只有背景是固定不变的，而运动目标只是短时间内遮挡了背景，而大部分时间内背景是未被遮挡的。所以，本发明利用灰度差对相应像素点灰度进行归类，选择出现频率最高的灰度值作为该点的背景像素值。具体的算法如下。

首先，输入一段包含有N帧图像的视频，之后，对该N帧图像中的每个像素的灰度值分布进行统计，在本专利中，灰度值是经过归一化处理后的结果。即，设当前点的像素值为f(i，j)，则归一化后的像素值x(i，j)为：

x(i，j)＝f(i，j)/255                              (18)

这里，255是目前8位位图的最大像素值。

之后，判断该N帧图像中的灰度分布进行统计，设定波动范围为0.1，则将归一化后的灰度值划分为10个数值等级，对每个像素值给定一个10维的数组N_x(i，j)(k)，k＝1，2，...，10，则有：

N_x(i，j)(k)＝{N帧图像中，灰度值落在(k-0.05，k+0.05)范围内的像素个数}

统计结束之后，找出N_x(i，j)(k)，k＝1，2，...，10为最大时，对应的k。

即：N_max＝max{N_x(i，j)(k)，k＝1，2，...，10}

之后，计算其均值和方差，获得候补背景点灰度分布的置信区间。这样，实际上就得到了该监视画面的背景模型。

如图3所示，是一段具有155帧视频中的某一像素点的像素值归一化后的变化曲线，横轴表示时间轴，单位为帧序号。纵轴为经过归一化后的像素值。从该曲线可知，在该视频段中，该点会在某些时刻被目标物遮挡，统计出现频度较多的部分是归一化后的0.55附近，将其作为背景值，通过聚类处理，获得其分布均值与方差，根据统计数学的置信区间的定义，将落在背景置信区间内的点当作是背景点，否则就判断为候补目标点。

之后，将判断为候补目标的点再进行连通域的特性分析，将判断为非目标的点删除，留下的就是判断为目标的点。

对输入的新一帧的视频画面，判断相应的像素点的灰度值是否落在了置信区间内。如果不是的话，该点为目标的像素点，这时，背景模型不变。如果是的话，则表明该点为未被目标遮挡的背景点，则按照下面的公式计算均值与方差，修正背景模型。

均值更新：

x_t+1(i，j)＝(x_t(i，j)+x_t+1(i，j))/2                     (19)

其中，x_t+1(i，j)表示当前时刻的像素均值，x_t(i，j)为前一时刻的像素均值，x_t+1(i，j)为当前时刻的像素值。

显然，按照式(19)，可以实现渐消记忆，使得对背景的建模，始终反映当前时刻的光照环境。

方差更新：

${{\mathrm{\σ}}^2}_{t+1}(i,j)=\underset{k=1}{\overset{N_{\max }}{\mathrm{\Σ}}}{(x(i,j)-{\stackrel{\‾}{x}}_{t+1}(i,j))}^2---\left(20\right)$

这时，用作检测运动目标的背景帧图像为[x_t+1(i，j)]_m*n。

系统在执行监控任务时，对输入的当前帧的像素值x(i，j)，采用帧间差的方法按照下式计算：

e(i，j)＝|x(i，j)-x_t+1(i，j)|                             (21)

如果帧间差e(i，j)大于事先设定的阈值，则表明该点为目标点，否则，表明为背景点，将其用式(19)，(20)进行更新。

2)运动目标的跟踪

计算机对全景监控摄像头拍摄到的视频信号按照上面的方法进行检测，一旦发现了目标之后，就要记录所检测到的目标的特性参数。考虑到在监视区域中，有可能出现多个目标，而目标在区域中的运动轨迹是不断发生变化的，为了防止错误跟踪，对一个检测到的目标设置“运动方向”、“目标位置”、“运动速度”、“目标颜色”四个特征参数。将这四个特征参数记录下来，在视频的帧与帧之间运用模板匹配的方法对运动目标进行跟踪，并且记录每一个目标的运动轨迹，通过目标的运动轨迹以及其当前位置驱动特写跟踪摄像头，让特写跟踪摄像头找到锁定的目标，并进行特写跟踪。

因为数据传送至特写跟踪摄像头会有一定的时间滞后，因此还需要考虑前后视频帧之间的关系。

当有多个运动目标进入监视视野，如果运动目标之间没有交叉，本系统通过判断连续两帧上检测出的目标之间的距离来区分目标，并对目标进行编号。同时计算出每个目标的运动速度及方向。

在多个目标之间的运动轨迹出现交叉的情况下，则通过对目标运动速度、颜色特征、方向特征进行比较来区分目标，从而获得每个目标的运动轨迹并对其进行记录。

对运动目标速度的统计，采用的是估计目标中心点在不同帧中移动的像素数的方法来实现。目标颜色特征的分析，则是通过对人的体型及人们的日常习惯把颜色特征分成三部分即：头，上身，下身，经过一定比例的分割并统计出每一部分的三个颜色通道的一个均值。对目标运动方向的估计，主要是由目标在当前几帧内坐标的变化求差获取目标的运动方向。然后根据这三个特征来区分我们所检测的目标并对其进行编号，实时获取每个运动目标的运动轨迹信息。

3)可疑行为的报警

有了对运动目标轨迹信息的检测与自动分析的方法，就可实现在用户设置的警戒方式下，对目标进入警戒区域、目标穿越警戒线、目标在热点区域聚众等全局性的可疑行为的识别，并在识别出可疑行为后进行报警。

特写跟踪摄像头的控制

当全景监控摄像头获得了入侵目标之后，通过前面介绍的双摄像头的联动方式，要求特写跟踪摄像头完成“特写拍摄”及“目标跟踪”两个动作。为此，特写跟踪摄像头的控制，实际上需要完成对架设摄像头的云台转动进行控制，以及对摄像头焦距进行控制。

“特写拍摄”就是通过控制摄像头焦距的大小来实现目标的清晰显示，以便于后续的人脸三维重建、目标身份识别。

“目标跟踪”就是根据传输过来的目标特征参数，控制云台带动摄像头转动，实时准确地将锁定的目标经过放大之后显示在监控画面中。

1)云台控制

云台控制，是为了完成“目标跟踪”的任务。可采用一个由水平和竖直方向上两个高精度步进电机来驱动，两部电机由MPC07运动控制卡来发送指令控制。MPC07控制卡是基于PC机PCI总线的步进电机的上位控制单元，它与PC机构成主从式控制结构。PC机负责人机交互界面的管理和控制系统的实时监控等方面的工作(例如键盘和鼠标的管理、系统状态的显示、控制指令的发送、外部信号的监控等等)。MPC07卡完成运动控制的所有细节(包括脉冲和方向信号的输出、自动升降速的处理、原点和限位等信号的检测等等)。

MPC07控制卡的运动控制功能主要取决于运动函数库。运动函数库为单轴及多轴的步进或伺服控制提供了许多运动函数：单轴运动、多轴独立运动、多轴插补运动等等。另外，为了配合运动控制系统的开发，还提供了间隙补偿功能。下面简单介绍一下这些功能对应的函数和运动方式。

该控制卡提供了六种基本运动类型，列在表1中。图4给出了在该控制卡控制下，云台的六种基本运动轨迹。

表1MPC07控制卡的六种基本运动类型

函数	功能
		con_pmove	以常速移动指定距离(图4(a))
fast_pmove	以梯形速度移动指定距离(图4(b))
		con_vmove	以指定的常速连续运动(图4(c))
fast_vmove	加速后保持在指定高速的连续运动(图4(d))
		con_hmove	以常速运动至原点(图4(e))
fast_hmove	加速后快速移至原点位置(图4(f))

带有升/降速控制的运动函数称之为快速(fast)运动函数，例如：fast_pmove，fast_vmove和fast_hmove。而常速运动函数则称之为常速(con)运动函数，如con_pmove，con_vmove，con_hmove。此外该卡还提供了多轴独立运动、多轴插补运动等多种运动方式。

在跟踪控制上，本系统采用此卡做硬件支持，在VC开发环境下，系统检测到指定目标位置后，位置信息与控制卡的脉冲信号经过一定的转换关系，控制MPC07发送指定的脉冲信号，从而带动特写跟踪摄像头运动来完成对指定目标的跟踪。

2)摄像头焦距控制

特写跟踪摄像头的焦距可根据实际场景进行事先设置，以保证在监视区域范围内，对人物细节的清楚观察。

摄像头焦距控制，是为了完成对目标的“特写拍摄”任务。为了能够更清楚的记录目标，为后面的人物正脸检测和面部三维重建打下基础，必须进行特写的拍摄，这就必须调节特写跟踪摄像头的焦距。本系统采用串口通信技术控制摄像头焦距的缩放来拉近目标给其以特写拍摄。在VC开发环境下，采用MSCOMM控件实现串口通信，焦距的控制指令有固定的格式，发送信号的时间长短直接决定了焦距变化的大小。

表2中，列出了焦距控制指令表。

表2摄像头焦距控制指令表

操作	串口指令
		摄像机焦距放缩停止	EE0041h
摄像机焦距放大开始	EE004Ch
		摄像机焦距缩小开始	EE004Bh

由于系统采用的摄像头无法直接获得焦距的大小参数，因此，本发明采用了间接的方法来获得焦距的大小。这里，选取目标的面积与标准视频(假设为320×240像素)大小的比值作为反映焦距大小的标志。实际上这两者的比例并不是实际焦距的精确反映，因为即使在相同的焦距下目标人物的大小不仅与焦距有关还与其它客观因素有关，比如大人和小孩在相同焦距下所占的视频比例是不一样的，但对于特写显示而言，目的是将目标放大(或缩小)到一定比例只要能够辨识就达到要求了，并不需要精确反映焦距，所以这样的间接反映关系完全满足系统要求。

下面再介绍一下本发明中摄像头的数学模型建立过程。本摄像头一个重要特点是，在放大过程中，起始大小与终止大小的比值，与放大指令的间隔时间是对应的。这样就可以根据这一特点对摄像机进行建模。

设摄像机初始放大倍数为α₀，T_n时刻的摄像机放大倍数为α_n

ΔT＝T_k-T_k-1   k∈n                                     (22)

假设ΔT保持恒定并且足够小，则可以近似认为在ΔT时间内起始焦距大小和终止焦距大小的比值与ΔT成线性关系，则有：

$\frac{{\mathrm{\α}}_k}{{\mathrm{\α}}_{k-1}}=\mathrm{A\ΔT}---\left(23\right)$

其中，α_k表示T_k时刻的摄像机焦距大小，A为常数。

依此类推则有：

$\frac{{\mathrm{\α}}_n}{{\mathrm{\α}}_0}=\frac{{\mathrm{\α}}_n}{{\mathrm{\α}}_{n-1}}\·\frac{{\mathrm{\α}}_{n-1}}{{\mathrm{\α}}_{n-2}}\mathrm{\Λ}\frac{{\mathrm{\α}}_1}{{\mathrm{\α}}_0}={\left(\mathrm{A\ΔT}\right)}^n---\left(24\right)$

放缩指令的间隔时间t可以被表示为：

t＝nΔT    (25)

$n=\frac{t}{\mathrm{\ΔT}}---\left(26\right)$

将(26)代入(24)得：

$\mathrm{\Δ\α}\left(t\right)=\frac{{\mathrm{\α}}_t}{{\mathrm{\α}}_0}={\left(\mathrm{A\ΔT}\right)}^{\frac{t}{\mathrm{\ΔT}}}---\left(27\right)$

由于A，ΔT都是常数，则(27)可以被转换为：

$\mathrm{\Δ\α}\left(t\right)=\frac{{\mathrm{\α}}_t}{{\mathrm{\α}}_0}=T^t---\left(28\right)$

上式中 $T={\left(\mathrm{A\ΔT}\right)}^{\frac{1}{\mathrm{\ΔT}}}$ 为常数。

另一方面，考虑到系统放缩焦距时，是通过解码器中继电器的导通与断开来实现的，因此焦距放缩时会存在机械响应时间τ，则对(28)进行调整得：

$\mathrm{\Δ\α}\left(t\right)=\frac{{\mathrm{\α}}_t}{{\mathrm{\α}}_0}=T^{t-\mathrm{\τ}}---\left(29\right)$

这样摄像机焦距放大的数学模型就被建立了。

同理：由于焦距的放大与缩小是对称的，则可以得到摄像机焦距缩小的数学模型：

$\mathrm{\Δ\α}\left(t\right)=\frac{{\mathrm{\α}}_0}{{\mathrm{\α}}_t}=T^{t-\mathrm{\τ}}---\left(30\right)$

接下来就是要确定参数，在这里，对摄像机的放大倍数和指令间隔时间做了如下的采样测试，实验结果见表3。

表3摄像机放大时间t与放大比例采样表

t(s)	Δα	t(s)	Δα	t(s)	Δα
						0.5	1.19	1.4	4.46	2.3	25.00
0.6	1.23	1.5	5.98	2.4	29.64
						0.7	1.49	1.6	5.99	2.5	37.35
0.8	1.78	1.7	7.72	2.6	42.98
						0.9	2.09	1.8	9.68	2.7	52.16
1.0	2.42	1.9	11.11	2.8	64.00
						1.1	3.16	2.0	13.44	2.9	79.01
1.2	3.57	2.1	15.12	3.0	100.00
						1.3	4.01	2.2	19.75	3.1	118.51

根据以上的采样测试实验数据，对以上数学模型进行了拟合，如图11所示，是对采样点进行拟合后得到的拟合曲线。线条1为样本曲线，线条2为拟合出的摄像机焦距放大的数学模型曲线。这样，就可得到，焦距放大的数学模型为：

$\mathrm{\Δ\α}\left(t\right)=\frac{{\mathrm{\α}}_t}{{\mathrm{\α}}_0}={6.119}^{t-0.5217}---\left(31\right)$

焦距缩小的数学模型为：

$\mathrm{\Δ\α}\left(t\right)=\frac{{\mathrm{\α}}_0}{{\mathrm{\α}}_t}={6.119}^{t-0.5217}---\left(32\right)$

对摄像机焦距的控制主要目的是为了调整摄像机焦距，使关心的目标物在画面中保持一个理想的大小，以便于观察。根据这一要求，对摄像机焦距的控制可以不需要像云台位置控制那样，对精度有较高的要求。因此不需要采用较复杂的控制方法。

在这里，根据上面确定的数学模型，对焦距的控制采用如下算法：

视频画面中目标物的大小为m，设给定的目标期望大小为M，则误差e表示为：

$e=\frac{m}{M}---\left(33\right)$

本系统设定允许误差范围为(0.9，1.1)，当e∈(0.9，1.1)，可以不对摄像机焦距进行调解，否则利用如下公式来确定调节时间：

$t=\left\{\begin{array}{cc}\frac{\ln e}{\ln 6.119}+0.5217& e>1.1\\ \frac{\ln 1/e}{\ln 6.119}+0.5217& e<0.9\end{array}\right.---\left(34\right)$

通过这种算法，就可以实现根据大小误差调节摄像机焦距的目的，其调节效果能够满足人观察的需要即可。如果需要提高控制效果，只需要调整误差允许范围即可。

Claims (4)

1.基于双摄像头联动结构的视频运动目标特写跟踪监视方法，通过一个全景监控摄像头对监视区域的目标进行识别，确定出目标的位置、运行速度和方向，锁定跟踪目标之后，将目标信息传给由云台控制转向的特写跟踪摄像头，由特写跟踪摄像头对锁定目标进行特写、放大后跟踪，显示目标的特写画面，从而获取目标更多信息，其特征在于，该方法按以下步骤进行，

a.采用一全景监控摄像头和一设置在云台上的特写跟踪摄像头，采用一计算机实现全景监控摄像头和特写跟踪摄像头之间的联动，即建立场景画面中的每个点分别在两个摄像头所拍摄的视频画面中的位置对应关系，根据全景摄像头中目标的位置来确定特写摄像头的朝向，使之能够正对需要跟踪的目标；

b.利用全景监控摄像头对监视区域的目标进行行为检测，即运用图像及视频处理的方法将运动目标与场景的背景区别分离，获得入侵目标的个数、行走速度、行走方向以及所在位置的信息；

c.对上述检测到的目标设置运动方向、目标位置、运动速度、目标颜色四个特征参数，并记录下来，在视频的帧与帧之间运用模板匹配的方法对运动目标进行跟踪，获得每一个目标的运动轨迹信息；

运用模板匹配的方法对运动目标进行跟踪具体采用，

当运动目标之间没有交叉时，通过判断连续两帧上检测出的目标之间的距离来区分目标，并对目标进行编号，同时得出每个目标的运动速度及方向；

当多个目标之间的运动轨迹出现交叉时，则通过对目标运动速度、颜色特征、方向特征进行比较来区分目标，从而获得每个目标的运动轨迹并对其进行记录；

对运动目标速度的统计，采用的是估计目标中心点在不同帧中移动的像素数的方法来实现；

目标颜色特征的分析，则是通过对人的体型及人们的日常习惯把颜色特征分成三部分即：头，上身，下身，经过一定比例的分割并统计出每一部分的三个颜色通道的一个均值；

对目标运动方向的估计，由目标在当前几帧内坐标的变化求差获取目标的运动方向；

然后根据这三个特征来区分检测的目标并对其进行编号，实时获取每个运动目标的运动轨迹信息；

d.全景监控摄像头将获得的目标运动轨迹信息通过步骤a建立的联动关系传输给特写跟踪摄像头，通过控制云台的转动带动特写跟踪摄像头转动，进行目标跟踪，实时准确地将锁定的目标经过放大之后显示在监控画面中；

e.控制特写跟踪摄像头焦距的缩放来拉近目标，对上述得到的锁定在监控画面中的目标进行特写拍摄。

2.按照权利要求1所述的方法，其特征在于，所述步骤b中对运动目标进行检测，是采用，首先利用像素灰度归类算法对背景进行建模，获得一个背景帧，不断对该背景进行更新，再采用帧间差方法，将运动目标检测出，具体步骤如下，

首先，输入一段包含有N帧图像的视频，设当前点的像素值为f(i，j)，归一化后的像素值x(i，j)为：x(i，j)＝f(i，j)/255

对该N帧图像中的每个像素的灰度值分布进行统计，设定波动范围为0.1，则将归一化后的灰度值划分为10个数值等级，对每个像素值给定一个10维的数组N_x(i，j)(k)，k＝1，2，...，10，则有：

N_x(i，j)(k)＝{N帧图像中，灰度值落在(k-0.05，k+0.05)范围内的像素个数}

统计结束之后，找出N_x(i，j)(k)，k＝1，2，...，10为最大时，对应的k，

即：N_max＝max{N_x(i，j)(k)，k＝1，2，...，10}

计算其均值和方差，获得候补背景点灰度分布的置信区间，即得到了该监视画面的背景模型；

之后，将判断为候补目标的点再进行连通域的特性分析，将判断为非目标的点删除，留下的就是判断为目标的点；

对输入的新一帧的视频画面，判断相应的像素点的灰度值是否落在了置信区间内，如果没有落在置信区间内，该点为目标的像素点，这时，背景模型不变；如果落在置信区间内，则表明该点为未被目标遮挡的背景点，则按照下面的公式计算均值与方差，修正背景模型；

均值更新：

x_t+1(i，j)＝(x_t(i，j)+x_t+1(i，j))/2

其中，x_t+1(i，j)表示当前时刻的像素均值，x_t(i，j)为前一时刻的像素均值，x_t+1(i，j)为当前时刻的像素值，

方差更新：

${{\mathrm{\&sigma;}}^2}_{t+1}(i,j)=\underset{k=1}{\overset{N_{\max }}{\mathrm{\&Sigma;}}}{(x(i,j)-{\stackrel{\&OverBar;}{x}}_{t+1}(i,j))}^2$

这时，用作检测运动目标的背景帧图像为[x_t+1(i，j)]_m*n，

在执行监控任务时，对输入的当前帧的像素值x(i，j)，采用帧间差的方法按照下式计算：

e(i，j)＝|x(i，j)-x_t+1(i，j)|

如果帧间差e(i，j)大于事先设定的阈值，则表明该点为目标点，否则，表明为背景点，将其用均值更新公式或方差更新公式进行更新。

3.按照权利要求1所述的方法，其特征在于，所述步骤d中，采用MPC07运动控制卡来发送指令控制云台的转动，MPC07运动控制卡中预存入运动函数库来控制运动方式，当检测到指定目标位置后，位置信息与控制卡的脉冲信号经过一定的转换关系，控制MPC07发送指定的脉冲信号，从而带动特写跟踪摄像头运动来完成对指定目标的跟踪。

4.按照权利要求1所述的方法，其特征在于，所述步骤e中，对焦距的控制采用如下算法：

视频画面中目标物的大小为m，设给定的目标期望大小为M，则误差e表示为：

$e=\frac{m}{M}$

若误差e在设定的误差允许范围内，不对摄像机焦距进行调解，否则利用如下公式来确定调节时间：

$t=\left\{\begin{array}{cc}\frac{\ln e}{\ln 6.119}+0.5217& e>1.1\\ \frac{\ln 1/e}{\ln 6.119}+0.5217& e<0.9\end{array}\right.$

其调节效果能够满足人观察的需要即可。

Images