CN101860732B - 一种控制云台摄像机自动跟踪目标的方法 - Google Patents

Abstract

本发明涉及一种控制云台摄像机自动跟踪目标的方法，包括以下步骤：自动选择跟踪模式：视频处理模块根据目标的跟踪状态自动选择自动跟踪模式和全局搜索模式；自动跟踪模式的处理过程为：视频处理模块判断云台摄像机状态，在匹配到跟踪目标后，根据目标的位置和大小发送控制命令对摄像机位置和焦距进行调整；全局搜索模式的处理过程为：视频处理模块对监控区域的若干个搜索区域按照轮巡方式进行目标检测和匹配直至搜索到跟踪目标。本发明设计合理，实现了摄像机对目标的自动跟踪功能，保证了目标始终处于位置及大小均适合监控的良好状态，具有跟踪精度高、实时性强、成本低、扩充灵活等特点，方便了监控人员的使用，提高了监控人员的工作效率。

Description

一种控制云台摄像机自动跟踪目标的方法

技术领域

本发明属于视频监控领域，尤其是一种控制云台摄像机自动跟踪目标的方法。

背景技术

云台摄像机是当今监控领域中最为普遍使用的监控前端设备之一。监控人员可以控制云台摄像机实时观察监控区域的每一个角落，还可以为云台摄像机定制各种功能，如预置位、巡航、寻迹等，监控人员可以根据监控区域的特点为云台摄像机定制各种功能使云台摄像机按照预置的命令运行。但是现实世界是千变万化的，事先预置的监控路线不能完全满足实际的需要，实际上可以通过云台摄像机提供的实时视频信息作为云台控制的重要参考依据。随着科技的发展，图像处理技术已经广泛应用于公共安全，通过成熟的目标检测及匹配算法从图像或视频中可以获取到目标所在的位置、大小以及目标数量等信息，再经过伺服控制系统驱动云台摄像机转动就可以实现目标自动跟踪功能。当云台具备目标自动跟踪功能时，可根据目标的实际运动信息控制云台的运行，云台的运行不再是盲目的，可以实时捕获到目标的状态，提供更具价值的监控信息。当目标发生违规行为时可以向监控人员发出警报信息，解除了监控人员必须时刻在岗的烦恼。

一套目标自动跟踪设备的实现可以分为两大主要部分：一部分是根据视频图像获取目标信息，另一部分就是根据目标信息驱动摄像机转动实现对目标的自动跟踪。目前，许多成熟的目标检测和匹配的图像智能算法基本上都能够给出比较准确的目标检测和匹配结果，然而一套自动跟踪设备不单需要视频分析的支持还需要伺服控制系统对摄像机进行控制，视频分析算法和驱动摄像机转动的伺服控制系统必须配合得当才可以实现对目标的自动跟踪。现有的目标跟踪系统存在的另一问题是如何根据目标信息控制云台伺服模块实现目标的自动跟踪，虽然对目标跟踪系统的视频分析部分的描述比较多，然而对摄像机控制方法的描述却不常见。目标跟踪系统的实现需要掌握伺服控制系统对摄像机的控制状态，一般需要伺服控制系统对控制状态进行信息反馈，这样的伺服控制系统的实现比较复杂，而且由于视频帧率一般可以达到每秒25帧，而经过伺服控制系统控制的云台摄像机对控制命令的响应速度却难达于此要求，不同的伺服控制系统对控制命令的响应速度和准确度也存在差别，这就给目标跟踪系统的设计带来很大的困难。一旦控制设备对控制命令的响应没有达到需求就可能导致目标在图像中丢失，图像分析算法就将失去作用，这样也必然导致跟踪的失败，因而可以说准确掌握对跟踪设备的控制也是实现目标自动跟踪至关重要的一部分。

发明内容

本发明的目的在于克服现有技术的不足，提供一种控制云台摄像机自动跟踪目标的方法，该方法将目标跟踪算法和云台摄像机控制方法有机地结合在一起，不仅能够给出准确的目标检测及匹配结果，而且还能控制云台摄像机准确而迅速响应控制命令，使目标始终出现在摄像机的视野范围内并且大小合适，便于监控人员能够准确辨识目标，实现对目标的准确跟踪。

本发明解决其技术问题是采取以下技术方案实现的：

一种控制云台摄像机自动跟踪目标的方法，包括以下步骤：

(1)自动选择跟踪模式：视频处理模块根据目标的跟踪状态自动选择自动跟踪模式和全局搜索模式；

(2)自动跟踪模式的处理过程为：视频处理模块判断云台摄像机状态，当云台摄像机状态为静止状态时进行目标检测和匹配，在匹配到跟踪目标后，根据目标的位置向云台伺服模块发送控制命令对摄像机位置进行调整，或者根据目标的大小向摄像机发送控制命令对摄像机焦距进行调整；

(3)全局搜索模式的处理过程为：视频处理模块对监控区域的若干个搜索区域按照轮巡方式进行目标检测和匹配直至搜索到跟踪目标。

而且，所述的自动选择跟踪模式的方法为：视频处理模块对目标检测和匹配的结果进行统计，当跟踪目标连续丢失帧数达到切换阀值时选择全局搜索模式，否则选择自动跟踪模式。

而且，所述的控制命令包括控制摄像机转动以使目标居于图像中间的转动命令和控制摄像机变焦以使目标在图像中处于大小合适的变焦命令。

而且，所述的视频处理模块判断云台摄像机状态是根据控制命令是否发出和视场是否固定两个条件来进行的。

而且，所述的云台摄像机状态包括：已发出控制命令且视场是变化的运行状态、没有发出控制命令或发出的控制命令已完成且视场是固定的静止状态、没有发出控制命令或发出的控制命令已完成且视场是变化的扰动状态、已发出云台控制指令且视场是固定的延时状态和已发出云台控制指令且视场是固定的并持续一段时间的超时状态。

而且，所述的视场是否固定的判断方法是根据相邻两帧视频图像之间的差异来进行判定，相邻两帧视频图像之间的差异是通过统计两帧视频图像之间存在差异的像素个数来判定的，当图像中存在差异的像素个数小于一定阈值时，则判断视场是固定的，反之则视场是变化的。

而且，所述的目标检测算法采用基于图像差分或者基于光流方法；目标匹配算法采用基于特征或目标的帧间距离信息特征匹配。

本发明的优点和积极效果是：

1、本发明将目标跟踪算法和云台摄像机控制方法有机地结合在一起，仅靠目标在视频图像中的位置和大小信息并根据图像帧间差异判定云台伺服模块对当前控制命令的执行状态就可以完成对摄像机的自动控制，实现了单摄像机下的自动跟踪目标任务，无需云台伺服模块进行控制状态信息反馈，具有跟踪精度高、跟踪迅速、简便实用、实时性强等特点。

2、本发明通过控制摄像机水平360度垂直90度转动可以获取更广阔的视场角，同时通过控制摄像机变焦调整解决了广角摄像机无法看清细节的问题，当发现目标要脱离摄像头视场时，能够及时控制摄像机转动使目标重新位于图像中心，当发现目标大小不合适时，能够及时控制摄像机变焦，使目标重新处于大小合适的良好状态，从而保证了目标始终处于位置及大小均适合监控的良好状态，方便了监控人员对目标的监视。

3、本发明在单摄像机下即可完成对目标的自动跟踪功能，避免了云台摄像机配合广角摄像机这种方案带来的高成本问题。

4、本发明采用基于视场变化或固定的目标检测和匹配算法均适用，增加了系统扩充的灵活性。

5、本发明可以将目标的相关信息回送到控制中心发出报警信息，大大地提高了监控人员的工作效率。

6、本发明将目标跟踪算法和云台控制方法较好地结合在一起实现了对目标的自动跟踪功能，保证了目标始终处于位置及大小均适合监控的良好状态，具有跟踪精度高、实时性强、成本低、扩充灵活等特点，方便了监控人员的使用同时也提高了监控人员的工作效率。

附图说明

图1是本发明的处理流程示意图；

图2是云台摄像机的原理框图；

图3是云台摄像机内的视频处理模块原理框图；

图4是判定云台摄像机响应控制命令状态的状态转换图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种控制云台摄像机自动跟踪目标的方法，是在如图2所示的云台摄像机上实现的，云台摄像机由摄像机201、云台伺服模块202、云台控制模块203及视频处理模块204连接构成，视频处理模块204和云台控制模块203还与监控中心相连接分别进行视频信号及控制信号的传送。本云台摄像机与传统的云台摄像机相比，增加了视频处理模块204，该视频处理模块204由软件和硬件组成，其中软件包括云台摄像机状态判定模块、目标检测和匹配模块及摄像机控制模块组成；硬件由视频处理芯片(如DSP处理器)、外部存储器、视频A/D模块、视频D/A模块及控制信号输出模块(如RS485信号输出)连接构成，如图3所示。视频处理模块204通过视频A/D模块获取由摄像机201送来的模拟视频信号，并将其转换为数字视频信号，供视频处理芯片处理；视频处理芯片通过对数字视频信号进行分析后向云台控制模块203发送控制命令，云台控制模块203通过云台伺服模块202控制摄像机对目标进行跟踪。

视频处理模块204的作用是至关重要的，一方面要完成在视频图像中检测和匹配运动目标的功能并给出目标的位置和大小信息，另一方面根据视频信号分析云台伺服模块202对控制命令的响应状态，以获取控制云台摄像机的适宜时机并发出控制命令以保证摄像机201实时地对目标进行跟踪。

一种控制云台摄像机自动跟踪目标的方法，如图1所示，包括以下步骤：

(1)自动选择跟踪模式：视频处理模块根据目标的跟踪状态自动选择自动跟踪模式和全局搜索模式，当目标的跟踪状态良好时，选择自动跟踪模式进行跟踪处理，否则选择全局搜索模式进行跟踪处理。

在本步骤中，视频处理模块采用两种跟踪模式对跟踪目标进行跟踪。在跟踪状态良好的情况下始终工作在自动跟踪模式，否则自动切换到全局搜索模式。两种工作模式切换的方法是：视频处理模块对目标检测和匹配的结果加以统计，当跟踪目标连续丢失帧数达到切换阀值时，则选择全局搜索模式；当每帧或者跟踪目标连续丢失帧数小于切换阀值时都能在视频图像中找到跟踪目标并获取到目标的位置和大小，即此时目标的跟踪状态良好，则选择自动跟踪模式。

(2)自动跟踪模式的处理过程如下：视频处理模块判断云台摄像机状态，当云台摄像机处于静止状态下进行目标检测和匹配，在匹配到跟踪目标后，根据目标的位置向云台伺服模块发送控制命令对摄像机位置进行调整，或者根据目标的大小向摄像机发送控制命令对摄像机焦距进行调整。

视频处理模块需要对控制命令的响应状态进行判定，只有在云台摄像机状态处于静止状态下且匹配到跟踪目标后才是控制云台摄像机的最佳时机。

视频处理模块发送的控制命令包括：转动命令和变焦命令，转动命令是指向云台伺服模块发送命令并控制摄像机转动以使目标居于图像中间，变焦命令是指向摄像机发送命令并控制摄像机变焦以使目标在图像中处于大小合适状态。云台摄像机对控制命令的响应状态包括：已发出控制命令且视场是变化的运行状态、没有发出控制命令或发出的控制命令已完成且视场是固定的静止状态、没有发出控制命令或发出的控制命令已完成且视场是变化的扰动状态、已发出云台控制指令且视场是固定的延时状态和已发出云台控制指令且视场是固定的并持续一段时间的超时状态。任意时刻云台摄像机必然处于上述五种状态的其中一种。下面对五种云台摄像机状态分别进行说明：

运行状态：该状态是指发出控制指令后云台摄像机正处于执行命令的状态。此状态判定条件有两个：一是视频处理模块204已发出转动云台或要求摄像机变焦的命令，二是由图像帧间差异判定视场是变化的。由于视频处理模块204只对云台伺服模块202或摄像机201发送控制命令，而云台伺服模块202或摄像机何时开始执行及何时执行结束并不向视频处理模块反馈，因此，视频处理模块204无法掌控云台伺服模块202或摄像机201对发出命令的执行情况。然而在自动跟踪模式下执行转动命令和变焦命令的共同点就是视场会发生变化，也就是视频图像的帧间差异较大，因此可以利用此时图像特点判定云台摄像机状态。视场是固定的还是变化的的判断方法采用由图像帧间差异判定方法进行，该判定方法根据相邻两帧视频图像之间的差异实现，相邻两帧视频图像之间的差异是通过统计两帧视频图像之间存在差异的像素个数来判定的，当图像中存在差异的像素数量小于一定阈值时，则判断视场是固定的，反之则视场是变化的。该阈值可以根据监控现场环境进行调整。当有控制命令发出且视场变化的时候，则判定云台摄像机正处于执行控制命令的过程中，即云台摄像机状态为运行状态。

静止状态：该状态是指没有发出控制命令或发出的控制命令已完成并且由图像帧间差异判定视场是固定的，则判定云台摄像机状态为静止状态。

扰动状态：该状态是指没有发出控制命令或发出的控制命令已完成，但由图像帧间差异判定视场是变化的，考虑到此种情况是由于云台受到风力等外界的干扰而使摄像机采集的图像发生变化，则判断云台摄像机状态为扰动状态。

延时状态：该状态是指已发出云台控制指令，但是由图像帧间差异统计判定视场是固定的，此状态说明视频处理模块204已发出控制命令，但是云台伺服模块202还没有来得及响应，这是由于视频帧率和云台摄像机的响应速度的差距，这种情况是非常容易出现的，因而判定云台摄像机状态为延时状态。

超时状态：该状态是指已发出控制命令，但是由图像帧间差异统计判定视场是固定的，且这种状态已持续一段时间，这表明云台对控制命令没有响应或响应命令的延时过长，则判断云台摄像机状态为超时状态。如果不对这种情况进行处理，就有可能导致目标由于运动跑到视场外造成目标跟踪丢失，在这种状态下需要重新进行目标检测和匹配及对云台重新发出控制命令，保证目标跟踪的连续性。

自动跟踪模式的处理过程的具体处理过程如下：

云台摄像机状态判定步骤：云台摄像机状态判定模块可以通过图4的状态转换图来实现。云台摄像机状态判定的方法主要依据两个输入条件和当前状态，两个输入条件分别是：视场是否固定、控制命令是否发出，这两个输入条件可组合为四种输入状态，即：输入状态0/0代表视场固定且无控制命令发出的输入状态，输入状态0/1代表视场固定且有控制命令发出的输入状态，输入状态1/0代表视场变化且无控制命令发出的输入状态，输入状态1/1代表视场变化且有控制命令发出的输入状态。云台时刻处于上述五种状态中一种状态，依据不同的输入条件及当前状态进行云台摄像机状态的判定，依据此状态判定方法可以准确掌握云台对命令的执行情况，因而可以适时的对云台发控制命令，且可以避免云台响应延迟、不响应、外界扰动等情况对云台控制的影响，保证跟踪的顺利进行。

目标检测和匹配步骤：当判定云台摄像机状态为静止状态时也就是对云台摄像机进行控制的最佳时机。要对云台摄像机进行控制，就需要此时的目标信息，即目标位置信息和大小信息。目标检测可以采用基于图像差分或者基于光流等方法；目标匹配可以采用基于色彩特征或目标的帧间距离信息匹配。在此步骤输出目标的位置信息和大小信息。在本步骤中，对于云台处于非静止状态时就不用进行目标检测和匹配，继续进行下一帧云台运行状态判断。当目标匹配失败时需进行跟踪模式是否切换的判断，若达到切换条件，则进入全局搜索模式搜索运动目标，否则继续运行在自动跟踪模式。

摄像机控制步骤：云台伺服模块202主要根据目标的位置和大小发出对云台摄像机的控制命令，并通知云台摄像机状态判定模块是否有控制命令发出作为云台摄像机状态判定的输入条件，以便掌握云台对命令的执行情况。本系统只采用两种控制命令来实现对目标的追踪。当目标处于图像边缘时对云台摄像机发出转动命令使云台发生转动，把目标重新移到图像中心。当目标过大(或过小)时对云台摄像机发出变焦命令把目标拉远(或拉近)使目标处于大小合适的状态，便于监控人员对目标的观察，且变化倍数可调以保证适应不同环境下不同的变倍需求。

(3)全局搜索模式的处理过程为：视频处理模块对监控区域的若干个搜索区域按照轮巡方式进行目标检测和匹配直至搜索到跟踪目标。

全局搜索模式实际上是对跟踪目标丢失的处理过程，其是在跟踪目标连续丢失帧数达到切换阀值时才启动的。全局搜索模式的思想是将监控区域划分成若干个搜索区域，使所有搜索区域覆盖整个监控区域。当全局搜索模式启动后对所有搜索区域进行轮巡搜索，即转动云台摄像机到预先设置的每个搜索区域，当视场固定时进行目标检测和匹配，当找到与目标匹配的运动目标后，跳出全局搜索模式，进入目标跟踪模式，指挥云台继续跟踪目标，否则就对下一个搜索区域进行搜索，直至整个监控区域搜索完毕，若仍未找到目标，对监控中心发出警报，提示监控人员目标已不在监控区。

视频处理模块重复上述(1)～(3)步骤，就可以实现控制云台自动跟踪目标，在此过程下可以保证目标始终在视场范围内且大小合适，从而实现了目标始终处于位置及大小均适合监控的良好状态。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (1)

1.一种控制云台摄像机自动跟踪目标的方法，其特征在于：包括以下步骤：

(1)自动选择跟踪模式：视频处理模块根据目标的跟踪状态自动选择自动跟踪模式和全局搜索模式；

(2)自动跟踪模式的处理过程为：视频处理模块判断云台摄像机状态，当云台摄像机状态为静止状态时进行目标检测和匹配，在匹配到跟踪目标后，根据目标的位置向云台伺服模块发送控制命令对摄像机位置进行调整，或者根据目标的大小向摄像机发送控制命令对摄像机焦距进行调整；

(3)全局搜索模式的处理过程为：视频处理模块对监控区域的若干个搜索区域按照轮巡方式进行目标检测和匹配直至搜索到跟踪目标；

所述的自动选择跟踪模式的方法为：视频处理模块对目标检测和匹配的结果进行统计，当跟踪目标连续丢失帧数达到切换阀值时选择全局搜索模式，否则选择自动跟踪模式；

所述的控制命令包括控制摄像机转动以使目标居于图像中间的转动命令和控制摄像机变焦以使目标在图像中处于大小合适的变焦命令；

所述的视频处理模块判断云台摄像机状态是根据控制命令是否发出和视场是否固定两个条件来进行的；

所述的云台摄像机状态包括：已发出控制命令且视场是变化的运行状态、没有发出控制命令或发出的控制命令已完成且视场是固定的静止状态、没有发出控制命令或发出的控制命令已完成且视场是变化的扰动状态、已发出云台控制指令且视场是固定的延时状态和已发出云台控制指令且视场是固定的并持续一段时间的超时状态；

所述的视场是否固定的判断方法是根据相邻两帧视频图像之间的差异来进行判定，相邻两帧视频图像之间的差异是通过统计两帧视频图像之间存在差异的像素个数来判定的，当图像中存在差异的像素个数小于一定阈值时，则判断视场是固定的，反之则视场是变化的；

所述的目标检测算法采用基于图像差分或者基于光流方法；目标匹配算法采用基于特征或目标的帧间距离信息特征匹配。