CN101969548B - 基于双目摄像的主动视频获取方法及装置 - Google Patents

Abstract

本发明公开了一种基于双目摄像的主动视频获取方法及装置。发明的技术方案是：在同一监视场景中安装1台主摄像机、1台从摄像机和一套嵌入式智能分析控制系统，系统工作时，前端嵌入式智能分析控制系统通过分析主摄像机获取到的监视场景全局视频画面，快速提取出可能存在的有价值目标区域，然后根据目标区域位置计算出从摄像机所需的控制参数，快速控制从摄像机获取目标区域的高清晰细节信息。本发明可有效地确定监视场景中的有价值区域，可持续跟踪运动目标，实现多目标动态连续跟踪。

Description

基于双目摄像的主动视频获取方法及装置

技术领域

本发明主要涉及一种基于双目摄像的主动视频获取方法及装置。

背景技术

视频监视系统是安防领域的重要组成部分，广泛应用于对党政机关、军事重地、交通要道、公共场所、民宅等场所的监视，以防止破坏、盗窃、滋事等违法行为的发生，保障人民安全与社会和谐。

但在现有的视频监视系统中，在同一观测点处通常只架设一台摄像机，采集固定分辨率的视频画面，这种监视方式存在如下问题：(1)如果摄像机的镜头处于广角端，则采集到的是该观测点下场景的全局信息，此时虽然可以准确定位场景中的运动目标，并对目标实现跟踪，但由于单个目标所占的像素数很少，不能提供足够的细节信息(如人脸细节、车辆牌照号等)，难以确认目标的具体特性；(2)如果摄像机的镜头处于长焦端，此时虽然可以采集到单个目标的细节信息，但由于监视区域过小，难以实现对运动目标的可靠跟踪，同时由于场景信息的丢失，增大了抓证取证的难度；(3)现有监视系统大多由人来观察监视画面和控制摄像机运动，在目标的选取上存在一定的随意性，且由于人眼在长时间工作下的视觉疲劳效应，会错失很多有价值的目标。

专利【基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法.200610147316】使用两台主摄像机获取监视场景的目标信息，进而控制从摄像机对目标进行跟踪，系统构成复杂，造价高；专利【具有多摄像机的智能跟踪监控系统.200410016455】使用一台全景相机和多台从摄像机做目标跟踪，只能检测运动目标，不能对目标种类进行细分，系统成本高，效率低。专利【利用单个摄像机进行主从视频跟踪的方法.200510120070】使用一台高分辨率相机来执行监视任务，同时输出低分辨率的场景全局信息和高分辨率的运动区域信息，所获取的运动区域细节水平与摄像机直接相关，灵活性差，且高分辨率的图像对处理和传输的负担很大；专利【基于联动摄像机的视频监控装置及其跟踪记录方法.200910106883】通过将主从摄像机安装在一套联动平台上同步运动、同步获取目标不同分辨率的信息，只适用于单目标的场合，且系统成本很高。文献【双摄像机系统对移动目标的跟踪，机器人，2007.03】使用一台台计算机来分析主摄像机获取到的视频画面并进行目标提取，使用另一台计算机来控制从摄像机的PT姿态，系统构成复杂，不能实现变焦处理，不能跟踪多个运动目标；文献【基于灰度匹配的双摄像头智能云台控制系统，河北师范大学学报，自然科学版，2007.09】使用一台PC机来控制两台主从摄像机做目标跟踪，系统结构复杂，实时性差，从摄像机焦距不能自主调节，不能跟踪多个运动目标。

发明内容

为解决现有监视系统视频获取的问题，本发明提出了一种基于双目摄像的主动视频获取方法及装置。

本发明的技术方案是：在同一监视场景中安装1台主摄像机、1台从摄像机和一套嵌入式智能分析控制系统，其中主摄像机连接嵌入式智能分析控制系统，嵌入式智能分析控制系统连接从摄像机。主摄像机为定焦摄像机，从摄像机为带云台的电动三可调摄像机。系统工作时，前端嵌入式智能分析控制系统通过分析主摄像机获取到的监视场景全局视频画面，提取出可能存在的有价值目标区域，然后根据目标区域位置计算出从摄像机所需的控制参数，控制从摄像机获取目标区域的高清晰细节信息。系统架构如图1所示。

一、有价值目标区域提取

对于现有视频监视应用而言，运动中的人员和车辆是两大类重点监视目标，对于人员而言，头部区域是监视的重点，对于车辆而言，车牌区域是监视的重点。现有运动区域检测方法仅能做到运动区域提取，不能对运动目标类型做进一步细分，不能判别运动区域的重要程度。为解决该问题，本专利首先提取整个运动区域的运动矢量，然后通过分析运动区域的运动矢量和运动区域的形状特征，对运动区域进行分类，根据分类结果标定出运动区域中的有价值目标区域。

1.1基于边缘特征的区域运动特征提取方法

传统的运动目标检测方法主要有背景减除法、相邻帧差法、光流法等。背景减除法提取到的运动区域较为完整，但提取效果受制于背景重构方法的性能，适应性较差；相邻帧差法计算简单，但提取到的运动区域不够完整；光流法运算量大，难以应用到嵌入式系统之中。

本发明通过综合运用多帧差法和边缘检测技术，提取到完整的运动区域，进而获取该运动区域的运动矢量，方法流程如下：

step1取相邻两帧图像I_k-1、I_k，计算帧间绝对灰度差图像D_(k，k-1)。

step2确定自适应阈值T。计算绝对灰度差图像的均值m，并将其乘以一个加权系数t，得到自适应阈值T＝m×t，实验中取t＝10。

step3获取运动区域M_k。

$M_k=\left\{\begin{array}{cc}1& ,D_{(k,k-1)}>T\\ 0& ,\mathrm{else}\end{array}\right.$

Step4对M_k对做中值滤波和形态学处理，消除噪声和空洞。

Step5利用水平、垂直直方图划分单个运动区域m_i。

Step6使用Canny算子对图像I_k-1、I_k做边缘，获取边缘图像E_k-1、E_k。

Step7对于每一个运动区域m_i，在边缘图像E_k-1、E_k中寻找其边缘包络，该边缘包络所围区域为即为运动区域m_i在图像I_k-1、I_k中对应的实际运动物体区域m_i(k-1)和m_i(k)。

Step8求取m_i(k-1)和m_i(k)的质心，进而得到运动区域的运动矢量。

1.2基于运动区域形状和运动方向的目标分类方法

通过前期目标分割后的行人和车辆区域具有如下特征，如图2所示，图中箭头为运动方向，方框为运动区域。

行人和车辆区域均为矩形或近似矩形区域；

行人所占矩形区域长边与图像垂直边缘平行，车辆所占矩形区域长边与车辆运动方向平行；

行人所占区域长宽比为3～5，头部始终处于区域上部；

车辆所占的区域长宽比为1～5，车牌区域始终位于垂直方向上较低的一侧。

根据上述特征，通过运动区域形状特征和运动方向将运动区域进行细分，方法流程如下：

Step1、提取运动区域；

Step2、通过hough变换检验运动区域是否为矩形，如果是矩形，转入Step3，否则判定运动区域为其它目标，本次处理结束；

Step3、计算矩形区域边缘与图像边界的夹角，如果夹角在15度以内，转入Step4，否则转入Step5；

Step4、计算矩形区域的长宽比，如果比值大于3，则判定该区域为行人，否则判定该区域为车辆，转入Step6；

Step5、计算矩形区域边缘与该区域运动方向的夹角，如果夹角在15度以内，判定运动区域为车辆，转入Step6，否则判定运动区域为其他目标，本次处理结束；

Step6、对于行人区域，将矩形区域中靠顶部的三分之一部分作为重点目标区域，对于运动车辆区域，将矩形区域中靠底部的三分之一部分作为重点目标区域。

二、从摄像机姿态调整参数获取

当主摄像机检测到运动目标后，需要控制从摄像机获取目标的高分辨率细节信息，要实现这一目的，需要如下步骤：1、计算从摄像机的偏转角度，使得偏转后的从摄像机光心主轴对准目标；2、计算从摄像机的焦距，使得从摄像机变焦后，目标在从摄像机的画面中占据尽可能大的面积。

2.1从摄像机偏转角度计算

(1)基于针孔模型的主摄像机视场中目标中心偏转角度获取方法

图3为基于针孔模型的目标成像模型，(a)中，O为主摄像机光心，L为主摄像机光轴，f为主摄像机焦距，α为主摄像机视场角角度的一半，x为目标点偏离光轴的角度，p为成像面半径，r为目标点在成像面上与光轴之间的距离。由图可得：

$\left.\begin{array}{c}\tan x=\frac{r}{f}\\ \tan \mathrm{\α}=\frac{p}{f}\end{array}\right\}\⇒\frac{\tan x}{\tan \mathrm{\α}}=\frac{r}{p}\⇒\tan x=\tan \mathrm{\α}\×\frac{r}{p}---(2-1)$

(2)基于针孔模型和目标预分类的目标距离获取方法

图3(b)中O为主摄像机光心，L为主摄像机光轴，f为主摄像机焦距，D为目标距离光心的距离，x₁、x2为目标两侧端点偏离光轴的角度，R1、R2为实际目标两侧端点与光轴之间的距离，r1、r2为目标两侧端点在成像面上与光轴之间的距离。由图可得：

$\left.\begin{array}{c}\tan x1=\frac{r1}{f}=\frac{R1}{D}\⇒R1=D\×\tan \mathrm{xl}\\ \tan x2=\frac{r2}{f}=\frac{R2}{D}\⇒R2=D\×\tan x2\end{array}\right\}\⇒R1-R2=D\×(\tan x1-\tan x2)\⇒---(2-2)$

$\⇒D=\frac{R1-R2}{\tan x1-\tan x2}$

将式2-1带入式2-2中可得

$D=\frac{R1-R2}{\tan \mathrm{\α}\×\frac{r1}{p}-\tan \mathrm{\α}\×\frac{r2}{p}}=\frac{p\×(R1-R2)}{\tan \mathrm{\α}\×(r1-r2)}---(2-3)$

对于图3(c)同理可得：

$D=\frac{p\×(R1+R2)}{\tan \mathrm{\α}\×(r1+r2)}---(2-4)$

综合式2-3、2-4可得：

$D=\mathrm{ctg\α}\×\mathrm{\ΔR}\×\frac{p}{\mathrm{\Δr}}---(2-5)$

式2-5中ΔR为目标实际宽度，单位为米，Δr为目标在成像面上的宽度，单位和成像面半径p一样为像素，最终得到的目标实际距离D单位为米。在实际系统中，获取到运动目标后，通过对运动目标进行分类，可以根据目标类别测算出出目标的实际宽度ΔR，进而得到目标实际距离D。

(3)基于针孔模型和3参数模型的从摄像机视场中目标中心偏转角度获取方法

如果主从摄像机的光心和光轴重合，则目标在从摄像机视场中的偏转角度和在主摄像机视场中的偏转角度相同。但在实际系统中，主摄像机和从摄像机的安装位置不同，通过主摄像机数据计算得到的偏转角度数据，需要根据主从摄像机的相对位置关系进行修正后，才能用于从摄像机的姿态控制。

图4为主从摄像机常见位置关系，其中v、h为实际系统固定值，H和V根据实际目标计算得到，α为目标在主摄像机视场中的偏转角度，β为目标在从摄像机视场中的偏转角度，通过式2-6即可得到从摄像机所需的偏转角度。

$\tan \mathrm{\α}=\frac{H}{V}$

2.2基于针孔模型和目标距离的从摄像机焦距获取方法

图5为基于针孔模型的摄像机成像示意图，图中H为整个视场宽度的一半，Hx为目标宽度的一半，D为目标到光心的距离，F为最短焦距，Fx为获取目标细节所需的焦距，L为感光元件宽度的一半。

上述参数中，L为从摄像机固定值，D、Hx由前面的计算可以得到，则从摄像机所需的焦距可通过式2-7得到。

$\frac{\mathrm{Hx}}{D}=\frac{L}{\mathrm{Fx}}\⇒\mathrm{Hx}\×\mathrm{Fx}=D\×L\⇒\mathrm{Fx}=\frac{D\×L}{\mathrm{Hx}}---(2-7)$

三、从摄像机自动目标跟踪

现有采用PTZ可变摄像系统的监视系统中，云台的运动方式分为手动控制和自动巡航两种。在手动控制方式下，摄像机的姿态调节完全取决于操作人员，具有一定的随意性，对有价值目标的发现和跟踪效率不高；在自动巡航方式下，由于目标运动的随意性，系统的跟踪效率很差。为解决这些问题，本发明在获取运动目标位置参数后，自动调整从摄像机方向的姿态，使得运动目标始终处于从摄像机视场中心，跟踪流程如下。

Step1、系统初始化，从摄像机姿态调整到初始位置；

Step2、主摄像机获取监视场景视频画面；

Step3、检测场景中的运动目标；

Step4、计算从摄像机跟踪目标时的姿态参数；

Step5、调整从摄像机的姿态进行目标跟踪，发出控制指令后回到Step2。

在实际系统中，PTZ可变摄像系统可分为低、中速恒速系统和高速变速系统，由于系统运动速度不同，在跟踪目标时需要使用不同的跟踪方法。

3.1PT-Z模式跟踪方法

PT-Z模式跟踪方法是优先调整从摄像机的水平和俯仰姿态，当从摄像机的主光轴对准目标后，再调整从摄像机的焦距，获取目标的高分辨率细节信息。

对于使用低速、中速云台的恒速PTZ系统而言，由于云台转动速度较慢，在跟踪目标时，应当优先对云台的PT参数进行调节，当从摄像机主光轴逼近目标区域中心后，再对Z参数进行调节。设云台转速为ω每秒，变焦速度为f每秒；设系统每秒可以处理N帧画面，则两次处理之间，云台的转动角度为ω/N，变焦距离为f/N，具体跟踪方法流程如下：

step1：系统初始化，从摄像机云台和焦距运动到初始位置(初始位置时，主从摄像机光轴平行，焦距处于整个焦距范围的中间位置，下同)；

step2：获取运动目标参数，根据目标的运动趋势，估算出下一帧时目标的存在位置；

step3：根据目标的存在位置和从摄像机当前的姿态计算从摄像机所需偏转角度Ω和变焦位置F；

step4：如果偏转角度Ω超过ω/2N，则发出云台偏转控制命令，然后跳转到step7，反之进入step5；

step5：如果变焦位置F超过f/2N，发出变焦控制指令，然后跳转到step7，反之进入step6；

step6：停止从摄像机运动；

step7：获取新一帧图像，重新计算运动目标位置，并根据从摄像机当前的运动状态，计算出从摄像机当前的实际位置和焦距。转入step3步骤。

3.2Z-PT模式跟踪方法

Z-PT模式跟踪方法是优先调整从摄像机的焦距，满足获取目标的高分辨率细节信息的要求，然后再对从摄像机的水平和俯仰姿态进行调节，使得从摄像机的主光轴对准目标。

对于使用高速云台的变速PTZ系统而言，由于云台转动速度快，可以极快的对准目标区域，因此在跟踪目标时，可优先对Z参数进行调节，当从摄像机达到所需的焦距时，再对云台的PT参数进行调节。设云台转速范围为ωn∈[ωmin～ωmax]每秒，变焦速度为f每秒；设系统每秒可以处理N帧画面，则两次处理之间，云台的转动角度为ωn/N，变焦距离为f/N，具体跟踪方法流程如下：

step1：系统初始化，从摄像机云台和焦距运动到初始位置；

step2：获取运动目标参数，根据目标的运动趋势，估算出下一帧时目标的存在位置；

step3：根据目标的存在位置和从摄像机当前的姿态计算从摄像机所需偏转角度Ω和变焦位置F；

step4：如果变焦位置F超过f/2N，发出变焦控制指令，然后跳转到step7，反之进入step5；

step5：如果偏转角度Ω超过ωmin/2N，从64个速度等级中挑选出在1/N秒后能够使摄像机光轴最接近目标的速度等级ωi，将ωi设定为云台当前的运动速度，发出云台偏转控制命令，然后跳转到step7，反之进入step6；

step6：停止从摄像机运动；

step7：获取新一帧图像，重新计算运动目标位置，并根据从摄像机当前的运动状态，计算出从摄像机当前的实际位置和焦距。转入step3步骤。

3.3基于目标重要性和距离排序的多目标连续跟踪方法

基于目标重要性和距离排序的多目标连续跟踪方法，是首先依据目标的重要性和目标之间的距离对待跟踪的目标进行排序，然后按照排序的结果对各个目标依次进行跟踪，系统每进行一次运动目标检测，排序结果就会动态更新一次。

在实际场景中，通常同时存在多个运动目标，需要对多个目标实行轮流跟踪，本专利采用的方法是根据目标的重要性和位置对目标进行排序，建立目标跟踪列表，依据列表的顺序依次跟踪各个目标，具体方法流程如下：

step1：系统初始化；

step2：获取运动目标；

step3：运动目标排序，排序原则为：(1)列表首位的目标距离从摄像机光轴距离最近，列表中第i位的目标在所有n＞i的目标中距离第i-1位的目标最近；(2)高优先级的目标先排序，低优先级的目标后排序；

step4：将列表首位目标的状态设为跟踪中，将其余目标状态设为待跟踪；

step5：对状态为跟踪中的目标实施跟踪；

step6：重新获取运动目标，并与当前的目标列表进行对比，剔除已消失的目标，如果当前跟踪中的目标已经被跟踪到(即从摄像机的姿态已经可以获取该目标高分辨率细节信息)，则将该目标的状态设定为已跟踪；如果当前跟踪中的目标未被跟踪到且有优先级更高的新目标出现，则将当前跟踪中的目标属性改为待跟踪；

step7：将所有新目标的属性设为待跟踪，对所有待跟踪的目标进行排序，并将所有已跟踪的目标排在队列尾端，如果当前没有跟踪中的目标，则将待跟踪队列第一位的目标设为当前跟踪目标，将该目标的状态设为跟踪中；跳转到step5。

本发明的主要优点如下：(1)采用运动区域尺寸与运动趋势相结合的方法对目标进行分类，可以有效地确定监视场景中的有价值区域；(2)通过对目标进行预分类来估算目标的实际距离，并根据主从摄像机的相对位置来精确计算从摄像机所需的姿态调整参数；(3)根据现有云台设备类型，设计了不同的跟踪方法，可以持续跟踪运动目标；(4)通过对目标进行排序和状态划分，实现多目标动态连续跟踪。

附图说明

图1是双目高清主动摄像系统架构图；

图2是行人区域和车辆区域的运动和形状特征示意图；

图3是运动区域细分方法流程图；

图4是基于针孔模型的目标成像模型；

图5是主从摄像机常见位置关系；

图6是基于针孔模型的摄像机成像示意图；

图7是跟踪流程图。

具体实施方式

基于双目摄像的主动视频获取方法的总体流程如下。

(1)选取一台固定焦距的摄像机作为主摄像机，选取一台PTZ参数可调的摄像机作为从摄像机，选取高性能DSP平台作为嵌入式处理平台；将主从摄像机的设备参数(包括镜头焦距、视场角、成像器件尺寸)和安装位置信息存储到嵌入式处理平台，将主摄像机的视频输出接入嵌入式处理平台，将从摄像机的控制信号线接到嵌入式处理平台。

(2)嵌入式处理平台获取到主摄像机获取到的监视场景视频画面后，首先使用基于边缘特征的区域运动特征提取方法提取场景中的运动目标区域及该区域对应的运动矢量信息，然后使用基于运动区域形状和运动方向的目标分类方法对运动目标区域进行分类，找出可能存在的有价值目标区域，进而使用基于针孔模型的主摄像机视场中目标中心偏转角度获取方法、基于针孔模型和目标预分类的目标距离获取方法计算出目标在主摄像机视场中的位置参数，最后使用基于针孔模型和3参数模型的从摄像机视场中目标中心偏转角度获取方法、基于针孔模型和目标距离的从摄像机焦距获取方法计算出从摄像机获取目标细节信息时所需的PTZ姿态参数。当场景中存在多个有价值目标区域时，使用上述方法计算出每个目标区域的相关参数，并根据目标的重要性和相对距离将目标进行排序。

(3)嵌入式处理平台通过分析从摄像机的当前PTZ姿态和从摄像机获取目标细节信息时所需的PTZ姿态的差异，针对实际从摄像机的类型，使用PT-Z模式跟踪方法或Z-PT模式跟踪方法向从摄像机发出姿态控制命令，使得从摄像机做指向目标区域中的运动。当场景中存在多个目标区域时，按照前面排好序的目标列表依次对各个目标实施跟踪。

(4)嵌入式处理平台每获取到主摄像机获取到的一帧监视场景视频画面后，就重复执行上面的(2)、(3)步，实现对场景中所有有价值目标的动态跟踪。

Claims (4)

1.基于双目摄像的主动视频获取方法，采用装置包括1台主摄像机、1台从摄像机和一套嵌入式智能分析控制系统，其中主摄像机连接嵌入式智能分析控制系统，嵌入式智能分析控制系统连接从摄像机，主摄像机为定焦摄像机，从摄像机为带云台的摄像机，其特征在于，该方法使用基于边缘特征的区域运动特征提取方法和基于运动区域形状与运动方向的目标分类方法，提取出有价值目标区域，根据目标重要性和距离对目标进行排序，然后使用优先调整从摄像机的水平和俯仰姿态，当从摄像机的主光轴对准目标后，再调整从摄像机的焦距，获取目标的高分辨率细节信息的方法或优先调整从摄像机的焦距，满足获取目标的高分辨率细节信息的要求，然后再对从摄像机的水平和俯仰姿态进行调节，使得从摄像机的主光轴对准目标的方法控制从摄像机实现目标跟踪；

基于边缘特征的区域运动特征提取方法的流程如下：

step1取相邻两帧图像I_k-1、I_k，计算帧间绝对灰度差图像D_(k，k-1)；

step2确定自适应阈值T，计算绝对灰度差图像的均值m，并将其乘以一个加权系数t，得到自适应阈值T＝m×t，实验中取t＝10；

step3获取运动区域M_k；

Step4对M_k做中值滤波和形态学处理，消除噪声和空洞；

Step5利用水平、垂直直方图划分单个运动区域m_i，m_i是指某个运动区域；

Step6使用Canny算子对图像I_k-1、I_k做边缘，获取边缘图像E_k-1、E_k；

Step7对于每一个运动区域m_i，在边缘图像E_k-1、E_k中寻找其边缘包络，该边缘包络所围区域即为运动区域m_i在图像I_k-1、I_k中对应的实际运动物体区域m_i(k-1)和m_i(k)；

Step8求取m_i(k-1)和m_i(k)的质心，进而得到运动区域的运动矢量。

2.根据权利要求1所述的基于双目摄像的主动视频获取方法，其特征在于基于运动区域形状和运动方向的目标分类方法的流程如下：

Step1、提取运动区域；

Step2、通过Hough变换检验运动区域是否为矩形，如果是矩形，转入Step3，否则判定运动区域为其它目标，本次处理结束；

Step3、计算矩形区域边缘与图像边界的夹角，如果夹角在15度以内，转入Step4，否则转入Step5；

Step4、计算矩形区域的长宽比，如果比值大于3，则判定该区域为行人，否则判定该区 域为车辆，转入Step6；

Step5、计算矩形区域边缘与该区域运动方向的夹角，如果夹角在15度以内，判定运动区域为车辆，转入Step6，否则判定运动区域为其他目标，本次处理结束；

Step6、对于行人区域，将矩形区域中靠顶部的三分之一部分作为重点目标区域，对于运动车辆区域，将矩形区域中靠底部的三分之一部分作为重点目标区域。

3.根据权利要求1所述的基于双目摄像的主动视频获取方法，其特征在于PT-Z模式跟踪方法流程如下：

step1：系统初始化，从摄像机云台和焦距运动到初始位置，初始位置时，主从摄像机光轴平行，焦距处于整个焦距范围的中间位置；

step2：获取运动目标参数，根据目标的运动趋势，估算出下一帧时目标的存在位置；

step3：根据目标的存在位置和从摄像机当前的姿态计算从摄像机所需偏转角度Ω和变焦位置F；

step4：如果偏转角度Ω超过ω/2N，则发出云台偏转控制命令，然后跳转到step7，反之进入step5，其中ω为云台转速，N为系统每秒可以处理的帧数；

step5：如果变焦位置F超过f/2N，发出变焦控制指令，然后跳转到step7，反之进入step6，其中f为变焦速度；

step6：停止从摄像机运动；

step7：获取新一帧图像，重新计算运动目标位置，并根据从摄像机当前的运动状态，计算出从摄像机当前的实际位置和焦距，转入step3步骤。

4.根据权利要求1所述的基于双目摄像的主动视频获取方法，其特征在于

(a)Z-PT模式跟踪方法流程如下：

step1：系统初始化，从摄像机云台和焦距运动到初始位置；

step2：获取运动目标参数，根据目标的运动趋势，估算出下一帧时目标的存在位置；

step3：根据目标的存在位置和从摄像机当前的姿态计算从摄像机所需偏转角度Ω和变焦位置F；

step4：如果变焦位置F超过f/2N，发出变焦控制指令，然后跳转到step7，反之进入step5，其中f为变焦速度，N为系统每秒可以处理的帧数；

step5：如果偏转角度Ω超过ωmin/2N，从64个速度等级中挑选出在1/N秒后能够使摄像机光轴最接近目标的速度等级ωi，将ωi设定为云台当前的运动速度，发出云台偏转控制命令，然后跳转到step7，反之进入step6，其中ωmin为云台最慢转速，N为系统每秒可以 处理的帧数；

step6：停止从摄像机运动；

step7：获取新一帧图像，重新计算运动目标位置，并根据从摄像机当前的运动状态，计算出从摄像机当前的实际位置和焦距，转入step3步骤；

(b)基于目标重要性和距离排序的多目标连续跟踪方法流程如下：

step1：系统初始化；

step2：获取运动目标；

step3：运动目标排序，排序原则为：(1)列表首位的目标距离从摄像机光轴距离最近，列表中第i位的目标在所有n＞i的目标中距离第i-1位的目标最近，其中n、i为数字，表示目标在列表中的序号；(2)高优先级的目标先排序，低优先级的目标后排序；

step4：将列表首位目标的状态设为跟踪中，将其余目标状态设为待跟踪；

step5：对状态为跟踪中的目标实施跟踪；

step6：重新获取运动目标，并与当前的目标列表进行对比，剔除已消失的目标，如果当前跟踪中的目标已经被跟踪到，即从摄像机的姿态已经可以获取该目标高分辨率细节信息，则将该目标的状态设定为已跟踪；如果当前跟踪中的目标未被跟踪到且有优先级更高的新目标出现，则将当前跟踪中的目标属性改为待跟踪；

step7：将所有新目标的属性设为待跟踪，对所有待跟踪的目标进行排序，并将所有已跟踪的目标排在队列尾端，如果当前没有跟踪中的目标，则将待跟踪队列第一位的目标设为当前跟踪目标，将该目标的状态设为跟踪中；跳转到step5。 

Images