CN101917599A - 一种云台故障检测方法及装置 - Google Patents

Abstract

本发明公开了一种云台故障检测方法及装置，所述方法包括步骤：A、向待测云台发出云台控制指令，并获取连续采集的系列图像作为待分析图像；B、对待分析图像进行特征提取并分析，得出其中背景图像的变化状态，据此确定待测云台的变化状态；C、判断背景图像的运动状态和云台控制指令是否一致，据此判定待测云台是否工作正常。本发明所提供的故障检测方法及装置对光照变化、图像前景目标运动干扰、随机噪声干扰的适应性更强；扩展了云台故障检测的功能，不仅可检测到云台的运动或静止状态，还可检测出云台运动时具体的运动方向和移动大小；还可进一步估计出云台的运动速度，更加准确地判断云台的可靠性。

Description

一种云台故障检测方法及装置

[技术领域]

本发明涉及视频监控技术领域，尤其涉及一种云台故障检测方法及装置。

[背景技术]

在视频监控系统中，为了提高监控区域的范围，视频设备一般都安装在有一定自由度的云台上面，通过控制云台的转动来完成对同一监控点不同角度的监控。为了保证云台能够根据远端指令控制进行准确转动来实现监控目的，需要定期对云台进行巡检以保证云台不发生故障。

传统的云台故障检测采用人工巡检方式，这种方式具有劳动强度大、故障检测不及时、效率低下的缺点。而专利号为200710119244的中国专利公开了“一种视频监控设备前端云台故障的自动监测方法和装置”，采用基于图像像素级运算的方法来实现云台故障的自动检测，基本思想如下：首先提取云台上的视频设备采集的静态背景图象，待云台转动指令下达后，提取视频设备采集的当前图像，将当前图像与背景图像作差，如果差异值大于阈值，则云台发生转动，反之，云台静止。该方法存在以下技术缺陷：

1)容易受到环境光照变化、随机噪声、前景目标运动的影响，阈值的选取在很大程度上依赖于图像内容，自适应性较差，大大降低了云台故障自动巡检的有效性。

2)其云台故障自动巡检功能只能监测到云台的两个状态：运动、静止，功能比较单一，而对于云台错误的运动方式无能为力。

[发明内容]

本发明要解决的一个技术问题是提供一种鲁棒的云台故障检测方法，以及相应的云台故障检测装置，适用于现场光照会产生变化、前景存在运动目标的环境中，具有较强的自适应性。

为了解决上述技术问题，本发明采用的技术方案是，

一种云台故障检测方法，包括步骤：

A、向所述待测云台发出云台控制指令，并获取所述待测云台上的视频设备连续采集的系列图像作为待分析图像；

B、对所述待分析图像进行特征提取并分析，得出其中背景图像的变化状态，并据此确定待测云台的变化状态；

C、判断所述待测云台的变化状态和所述云台控制指令是否一致，若一致，则判定所述待测云台工作正常；若不一致，则判定所述待测云台出现故障。

其中，所述步骤A中，从所述待测云台上的视频设备连续采集的系列图像中选取两幅图像作为待分析图像，且所述两幅图像间隔20帧-30帧。

其中，所述步骤B进一步包括：

B1、利用SURF算法计算得出所述待分析图像的对应特征点集合O：O＝{(x，y)→(x′，y′)|(x₁，y₁)→(x′₁，y′₁)，...，(x_n，y_n)→(x′_n，y′_n)}；其中的(x_n，y_n)和(x′_n，y′_n)表示所述两幅图像中的对应特征点；

B2、根据所述对应特征点集合O计算得出所述待分析图像的图像背景对应点集合O′；

B3、根据所述图像背景对应点集合O′判定背景图像的变化状态，并据此确定所述待测云台的变化状态。

其中，所述步骤B2进一步包括：

B21、根据对应特征点集合O计算得到图像特征点对距离集合S；

B22、利用自适应聚类算法对所述图像特征点对距离集合S进行分割，最终计算得出图像背景对应点集合O′。

其中，所述步骤B3进一步包括：

利用所述图像背景对应点集合O′采用以下公式估算背景图像的移动角度θ和移动距离r，其中，

$\mathrm{\θ}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\θ}}_i,$ ${\mathrm{\θ}}_i=\arctan \left(\frac{y_i^{\′}-y_i}{x_i^{\′}-x_i}\right),$ {(x_i，y_i)→(x′_i，y′_i)}∈O′；

r_i＝|x_i-x′_i|+|y_i-y′_i|；且所述M为图像背景对应点集合O′中元素的个数；

根据所述移动角度θ和移动距离r判断待测云台的运动状态：当r＜r₀，则判定待测云台静止；当r≥r₀，则判定待测云台运动；其中，r₀为距离阈值，r₀∈[1，3]；

且在判定待测云台运动时，继续判定云台的运动方向dir：

若

则云台的运动方向dir为向上；

若

则云台的运动方向dir为向下；

若

则云台的运动方向dir为向左；

若

则云台的运动方向dir为向右。

其中，所述步骤B21中，图像特征点对距离集合

S＝{r₁，r₂，...，r_n|r_n＝|x_n-x′_n|+|y_n-y′_n|}，

其中的r_n反映所述两幅图像中对应特征点(x_n，y_n)→(x′_n，y′_n)移动的距离。

其中，所述步骤B22进一步包括：

①定义聚类集合S′＝{φ}，S′表示运动目标类集合；

②从S中取出一个元素r_j，加入到S′，加入条件为：

当S′＝{φ}时，在S′中添加一个运动目标类c，并直接将r_j加入到该运动目标类c中；

当S′≠{φ}时，计算r_j与集合S′＝{c₁，c₂，...，c_m}中每一个类c_i的中心点c_ic的距离得到集合dist＝{|r_j-c_1c|，|r_j-c_2c|，...，|r_j-c_mc|}，计算集合dist中的最小值d_min＝argmin{dist}并将r_j进行归类：

i：如果d_min＜T₀，则将r_j加入到与r_j距离最近的中心点c_ic所属类c_i中，同时，将用以对运动目标类中元素进行计数的该类计数器

加1；

ii：如果d_min≥T₀，则在S′中添加一个新的运动目标类c_m+1，并将r_j加入到c_m+1中，同时，增加定义该类计数器

并赋初值为0；

其中的T₀为分类阈值，T₀＝3；

③若S≠{φ}，则转至步骤②，否则继续执行步骤④；

④查找出类计数器集合

中的最大值

其中的m即运动目标类集合S′中元素的个数，然后在

对应的运动目标类c_j中找到中心点r；

⑤从集合O中挑选出r的近邻集合O′，即图像背景对应点集合，O′＝{(x_m，y_m)→(x′_m，y′_m)|m∈[1，2，...，M]，|r-(|x_m-x′_m|+|y_m-y′_m|)|＜T₀)}。

本发明要解决的另一个技术问题是提供一种云台故障检测装置，应用于视频监控系统中的视频管理服务器，该装置包括：

图像采集模块，用于在视频管理服务器向待测云台发出云台控制指令后获取所述待测云台上的视频设备连续采集的系列图像作为待分析图像；

运动状态检测模块，用于对所述待分析图像进行特征提取并分析，得出其中背景图像的变化状态，据此确定待测云台的变化状态；

检测结果判断模块，用于通过对比所述待测云台的变化状态和所述云台控制指令是否一致来判定待测云台是否发生故障。

其中，所述运动状态检测模块包括：

SURF特征提取/匹配模块，用于利用SURF算法计算得出所述待分析图像的对应特征点集合；

背景图像匹配点对估算模块，用于根据所述对应特征点集合计算得出待分析图像的图像背景对应点集合；

运动状态判定模块，用于根据所述图像背景对应点集合计算得出背景图像的变化状态，据此确定待测云台的变化状态。

本发明具有以下有益效果：

本发明通过对比背景图像的运动状态和云台控制指令是否一致的方法来检测云台是否发生故障，与现有技术相比，具有如下优势：

1)本发明应用基于SURF描述子的图像匹配方法，较图像像素级匹配方法更加稳定，对光照变化、图像前景目标运动干扰、随机噪声干扰的适应性更强；

2)扩展了云台故障检测的功能，不仅可以检测到云台的运动或静止状态，还可以检测出云台运动时具体的运动方向和移动大小；

3)利用背景图像的移动方向和大小还可以进一步估计出云台的运动速度，更加准确地判断云台的可靠性。

[附图说明]

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例中云台故障检测装置结构图。

图2是本发明实施例中云台故障检测方法流程图。

图3是本发明实施例中图像背景对应点集合O′的计算方法流程图。

[具体实施方式]

本发明的核心思想为：在需要进行巡检时，向待测云台发出云台控制指令(指令的种类包括向上、向下、向左、向右、停五种)，同时，云台上的视频设备连续采集一系列图像作为待分析图像；然后，利用SURF算法对待分析图像进行特征提取，通过这些特征计算得出其中背景图像的变化状态，进而据此确定待测云台的变化状态(包括待测云台的由静止状态到运动状态的变化、由运动状态到静止状态的变化、以及运动状态下的运动方向和运动速度)；最后，将所得待测云台的变化状态与上述云台控制指令比较得出检测结果，若两者一致，则表明待测云台工作正常，否则表明待测云台发生故障。其中，SURF(Speeding-Up Robust Feature，快速的健壮特征)算法是在SIFT(Scale Invarint Feature Transform，尺度不变特征变换)算法基础上发展起来一种更加高效的方法，算法思想与SIFT基本一致，由于引入了积分图，计算更加快速，识别性能与SIFT相当；该SURF算法同样对图像旋转、缩放、甚至仿射变换都能很好保持图像不变特征，对一定范围内的光照变化也有很好的适应性，在图像识别方面应用广阔，因而本发明采用SURF算法来实现。

请参阅图1，该图所示为本实施例中云台故障检测装置的结构，包括：依次连接的图像采集模块、运动状态检测模块、检测结果判断模块，其中，

图像采集模块，用于在视频管理服务器向待测云台发出云台控制指令后获取待测云台上的视频设备连续采集的系列图像作为待分析图像；

运动状态检测模块，用于通过分析计算待分析图像中背景图像的变化状态来确定待测云台的变化状态；该模块具体包括：利用SURF算法计算得出待分析图像的对应特征点集合的SURF特征提取/匹配模块、根据对应特征点集合计算得出待分析图像的图像背景对应点集合的背景图像匹配点对估算模块、以及根据图像背景对应点集合计算得出背景图像的运动状态的运动状态判定模块；

检测结果判断模块，用于通过对比背景图像的运动状态和云台控制指令是否一致来判定云台是否发生故障。

请参阅图2，该图所示为上述装置所实现的云台故障检测方法，具体包括以下步骤：

步骤201、进行图像采集：在视频监控系统中视频管理服务器向编码器发出云台控制指令、由编码器根据云台控制指令控制云台发生转动时，触发图像采集模块获取云台上视频设备连续采集的多帧图像，挑选其中两幅图像作为分析的输入图像(考虑到云台转动较慢，图像内容发生变化需要一定时间，因而所挑选的两幅图像之间最好间隔20-30帧)。

步骤202、利用SURF算法计算得到上述两幅图像的对应特征点集合O：O＝{(x，y)→(x′，y′)|(x₁，y₁)→(x′₁，y′₁)，...，(x_n，y_n)→(x′_n，y′_n)}，其中的对应特征点(x，y)与(x′，y′)反映了两幅图像中具有局部纹理相似的像素点。

步骤203、采用自适应聚类算法从对应特征点集合O中分割得到图像背景对应点集合O′(其中的图像背景对应点反映了两幅图像中的背景图像部分的具有局部纹理相似的像素点)，具体包括以下步骤：

a、根据对应特征点集合O计算图像特征点对距离集合S：S＝{r₁，r₂，...，r_n|r_n＝|x_n-x′_n|+|y_n-y′_n|}，其中的r_n反映了对应特征点(x_n，y_n)→(x′_n，y′_n)移动的距离。

b、基于图像背景点较前景点运动慢的特点，利用自适应聚类算法在集合S上进行分割，最终获得图像背景对应点集合O′，该步骤具体如图3所示，包括：

301、定义聚类集合S′＝{φ}，S′表示运动目标类集合；由于待分析图像中包括背景图像以及一个或者多个运动前景，而背景图像以及各运动前景的运动速度会有所区别，所以本实施例中将根据运动速度的不同对待分析图像的对应特征点进行分类，并将该类称为运动目标类；

302、从S中取出一个元素r_j，加入到S′，加入条件为：

A：当S′＝{φ}时，在S′中添加一个运动目标类c，并直接将r_j加入到该运动目标类c中；

B：当S′≠{φ}时，计算r_j与集合S′＝{c₁，c₂，...，c_m}中每一个类的中心点的距离得到集合dist＝{|r_j-c_1c|，|r_j-c_2c|，...，|r_j-c_mc|}(其中，c_ic表示类c_i的中心点(i＝1、2、...、m))，计算集合dist中的最小值d_min＝argmin{dist}并将r_j进行归类：

B1：如果d_min＜T₀，则将r_j加入到包含与r_j距离最近的中心点的类c_i中，同时，将用以对运动目标类中元素进行计数的该类计数器

加1；

B2：如果d_min≥T₀，则在S′中添加一个新的运动目标类c_m+1，并将r_j加入到c_m+1中，同时，增加定义该类计数器

并赋初值为0；

其中的T₀为分类阈值，T₀＝3；

303、若S≠{φ}，算法转至步骤302，否则继续执行步骤304；

304、查找出类计数器集合

(其中m即运动目标类集合S′中元素的个数)中的最大值

由于背景点的数量较前景运动点的数量大得多且运动更加一致，所以本实施例中将

对应的运动目标类c_j确定为背景图像点的集合，然后在c_j中找到中心点r_j；

305、从集合O中挑选出r_j的近邻集合O′，即图像背景对应点集合，O′＝{(x_m，y_m)→(x′_m，y′_m)|m∈[1，2，....，M]，|r_j-(|x_m-x′_m|+|y_m-y′_m|)|＜T₀)}

步骤204、利用图像背景对应点集合O′估算背景图像移动角度θ和移动距离r；按照以下公式计算，

移动角度：

{(x_i，y_i)→(x′_i，y′_i)}∈O′；

移动距离：r_i＝|x_i-x′_i|+|y_i-y′_i|；

步骤205、判定云台运动状态，规则如下：若r＜r₀，则判定云台静止；若r≥r₀，则判定云台运动；r₀∈[1，3]，且运动方向dir表示如下：

若

则云台的运动方向dir为向上；

若则云台的运动方向dir为向下；

若

则云台的运动方向dir为向左；

若

则云台的运动方向dir为向右。

步骤206、将云台运动状态与云台控制指令进行比较，若两者一致，表明云台工作正常；若不一致，表明云台运动出现故障。

在上述方法中，因为背景图像的变化状态体现了云台的运动状态，所以还可计算获取前后两幅图像的时间差，根据该时间差以及步骤205中计算得到的背景图像的移动角度和移动距离来进一步确定云台的运动速度，以便更加准确地判断云台的可靠性。

另外，可在matlab7.1平台上，采用matlab编程语言进行仿真实验，实验参数参照上文中步骤201至206所述，利用云台转动视频流录像作为输入数据，云台控制指令可设置为向上、向下、向左、向右或静止不动，图像中还包含有运动目标和光照变化情况。根据仿真试验结果可见，本发明可以准确地检测出云台是否按照控制指令进行运动或者静止以及在运动时运动方向是否正确。所以，可以采用本发明对大量云台进行批量检测，既大大节省了巡检时间和劳动成本，又保证了检测的准确性。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种云台故障检测方法，其特征在于，包括步骤：

A、向所述待测云台发出云台控制指令，并获取所述待测云台上的视频设备连续采集的系列图像作为待分析图像；

B、对所述待分析图像进行特征提取并分析，得出其中背景图像的变化状态，并据此确定待测云台的变化状态；

C、判断所述待测云台的变化状态和所述云台控制指令是否一致，若一致，则判定所述待测云台工作正常；若不一致，则判定所述待测云台出现故障。

2.根据权利要求1所述的云台故障检测方法，其特征在于，所述步骤A中，从所述待测云台上的视频设备连续采集的系列图像中选取两幅图像作为待分析图像，且所述两幅图像间隔20帧-30帧。

3.根据权利要求2所述的云台故障检测方法，其特征在于，所述步骤B进一步包括：

B1、利用SURF算法计算得出所述待分析图像的对应特征点集合O：O＝{(x，y)→(x′，y′)|(x₁，y₁)→(x′₁，y′₁)，...，(x_n，y_n)→(x′_n，y′_n)}；其中的(x_n，y_n)和(x′_n，y′_n)表示所述两幅图像中的对应特征点；

B2、根据所述对应特征点集合O计算得出所述待分析图像的图像背景对应点集合O′；

B3、根据所述图像背景对应点集合O′判定背景图像的变化状态，并据此确定所述待测云台的变化状态。

4.根据权利要求3所述的云台故障检测方法，其特征在于，所述步骤B2进一步包括：

B21、根据对应特征点集合O计算得到图像特征点对距离集合S；

B22、利用自适应聚类算法对所述图像特征点对距离集合S进行分割，最终计算得出图像背景对应点集合O′。

5.根据权利要求3所述的云台故障检测方法，其特征在于，所述步骤B3进一步包括：

利用所述图像背景对应点集合O′采用以下公式估算背景图像的移动角度θ和移动距离r，其中，

$\mathrm{\θ}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\θ}}_i,$ ${\mathrm{\θ}}_i=\arctan \left(\frac{y_i^{\′}-y_i}{x_i^{\′}-x_i}\right),$ {(x_i，y_i)→(x′_i，y′_i)}∈O′；

r_i＝|x_i-x′_i|+|y_i-y′_i|；且所述M为图像背景对应点集合O′中元素的个数；

根据所述移动角度θ和移动距离r判断待测云台的运动状态：当r＜r₀，则判定待测云台静止；当r≥r₀，则判定待测云台运动；其中，r₀为距离阈值，r₀∈[1，3]；

且在判定待测云台运动时，继续判定云台的运动方向dir：

若则云台的运动方向dir为向上；

若

则云台的运动方向dir为向下；

若

则云台的运动方向dir为向左；

若

则云台的运动方向dir为向右。

6.根据权利要求4所述的云台故障检测方法，其特征在于，所述步骤B21中，图像特征点对距离集合

S＝{r₁，r₂，...，r_n|r_n＝|x_n-x′_n|+|y_n-y′_n|}，

其中的r_n反映所述两幅图像中对应特征点(x_n，y_n)→(x′_n，y′_n)移动的距离。

7.根据权利要求4所述的云台故障检测方法，其特征在于，所述步骤B22进一步包括：

①定义聚类集合S′＝{φ}，S′表示运动目标类集合；

②从S中取出一个元素r_j，加入到S′，加入条件为：

当S′＝{φ}时，在S′中添加一个运动目标类c，并直接将r_j加入到该运动目标类c中；

当S′≠{φ}时，计算r_j与集合S′＝{c₁，c₂，...，c_m}中每一个类c_i的中心点c_ic的距离得到集合dist＝{|r_j-c_1c|，|r_j-c_2c|，...，|r_j-c_mc|}，计算集合dist中的最小值d_min＝argmin{dist}并将r_j进行归类：

i：如果d_min＜T₀，则将r_j加入到与r_j距离最近的中心点c_ic所属类c_i中，同时，将用以对运动目标类中元素进行计数的该类计数器加1；

ii：如果d_min≥T₀，则在S′中添加一个新的运动目标类c_m+1，并将r_j加入到c_m+1中，同时，增加定义该类计数器

并赋初值为0；

其中的T₀为分类阈值，T₀＝3；

③若S≠{φ}，则转至步骤②，否则继续执行步骤④；

④查找出类计数器集合

中的最大值其中的m即运动目标类集合S′中元素的个数，然后在

对应的运动目标类c_j中找到中心点r；

⑤从集合O中挑选出r的近邻集合O′，即图像背景对应点集合，O′＝{(x_m，y_m)→(x′_m，y′_m)|m∈[1，2，....，M]，|r-(|x_m-x′_m|+|y_m-y′_m|)|＜T₀)}。

8.一种云台故障检测装置，应用于视频监控系统中的视频管理服务器，其特征在于，该装置包括：

图像采集模块，用于在视频管理服务器向待测云台发出云台控制指令后获取所述待测云台上的视频设备连续采集的系列图像作为待分析图像；

运动状态检测模块，用于对所述待分析图像进行特征提取并分析，得出其中背景图像的变化状态，据此确定待测云台的变化状态；

检测结果判断模块，用于通过对比所述待测云台的变化状态和所述云台控制指令是否一致来判定待测云台是否发生故障。

9.根据权利要求8所述的云台故障检测装置，其特征在于，所述运动状态检测模块包括：

SURF特征提取/匹配模块，用于利用SURF算法计算得出所述待分析图像的对应特征点集合；

背景图像匹配点对估算模块，用于根据所述对应特征点集合计算得出待分析图像的图像背景对应点集合；

运动状态判定模块，用于根据所述图像背景对应点集合计算得出背景图像的变化状态，据此确定待测云台的变化状态。

Images