CN103455822A - 复杂工业环境中的巡检机器人系统及多人脸动态跟踪方法 - Google Patents

Abstract

本发明公开了一种复杂工业环境中的巡检机器人系统及多人脸动态跟踪方法。所述机器人系统由智能巡检机器人、电磁导航线路和监控中心组成。所述方法如下：平板接收天线与无线影音传送接收器相连，通过安装在监控主机PCI插槽内的图像采集卡，将视频信号送入监控主机。多人脸动态跟踪方法主要通过联合AdaBoost算法、Camshift算法和卡尔曼滤波来实现多人脸的自动跟踪，即首先基于AdaBoost算法进行视频图像中人脸区域的检测，实现搜索窗口的初始化；然后基于Camshift算法进行多人脸的跟踪，并结合卡尔曼滤波对人脸运动目标进行预测。本发明提高跟踪稳定性和精确性，尤其克服多人脸重叠时的目标丢失问题。

Description

复杂工业环境中的巡检机器人系统及多人脸动态跟踪方法

所属技术领域

本发明涉及存在各种易燃易爆物、有毒有害气体和辐射等复杂工业环境下的机器人巡检系统设计，尤其涉及到系统的多人脸动态跟踪方法。

背景技术

随着中国国民经济的不断发展，在一些存在各种易燃易爆物、有毒有害气体和辐射的复杂工业环境中，如化工企业、大型油库、液化气站及核设施场所，设备状态及环境信息直接关系到生产设备的可靠性和人民生命财产的安全，而此类复杂工业环境又不允许人类长时间值守和巡视，因此利用智能巡检机器人来替代人工巡检显得尤为必要，这一方面可以大幅度降低人工劳动强度，另一方面也保障了巡检人员的生命安全。

因此，近年来巡检机器人引起了国内外科研机构的重视，尤其是针对变电站安防工作的巡检机器人得到了快速发展。中国专利号为200410024231.2的专利文献公开了一种“电站设备智能自主巡检机器人”。该巡检机器人包括由全球定位系统和激光测距传感器组成的导航信息传递单元，以及由温度检测器和图像系统采集器等组成的检测单元。基于全球定位系统和激光测距传感器的联合导航方式，虽然实现了巡检机器人的自主导航，但由于全球定位系统的定位误差较大，使得机器人在实际中往往无法正确而安全地导航，这反而会降低导航效率。该巡检机器人虽然配有图像采集系统，但只是记录巡检过程中的情况，而监控室工作人员不能实时看到巡检现场，不能对可能发生的突发事件进行及时处理。中国专利号为200910016781.2的专利文献公开了一种“变电站智能巡检机器人”。该专利只是重点介绍了机器人的结构组成，对于机器人重要的导航方式未提。虽然该机器人配有微型摄像头，但对摄像头的作用，即用于机器人导航还是进行现场巡视，若用于现场巡视，是进行现场记录还是将视频信号实时传输到监控中心，该专利都未曾提到，而这对于巡检机器人的功能而言却非常重要。中国专利号为201110005671.3的专利文献公开了一种“变电站巡检机器人的结构设计”。该机器人采用履带式运动机构，导航方式主要基于GPS（全球定位系统）和电子罗盘来实现，同时利用车体腹部的红外循迹传感器来修正小车行走路径，但红外传感器很容易受不同时刻的光线干扰，再加上GPS较大的定位误差，使得巡检机器人的导航难度增大，导航效率降低。此外该机器人也装有图像采集装置，并通过无线路由器将数据发回远程控制中心，但作为全天候的长时间监控，若仅依靠工作人员紧盯视频来防止现场外来人员的闯入是不切实际的，这会因为工作强度大而造成监控疲惫，从而降低现场监控效果。中国专利号为201110091997.2的专利文献公开了“一种变电站轨道式智能巡检机器人”。该机器人基于路面铺设的轨道实现了精确行走和定位控制，巡检效率非常高，但是当巡检路线更改时，要想重新铺设轨道就比较麻烦；另外铺于路面之上的轨道会给该区域其它车辆、人员等的运行造成不便。

总之目前现有巡检机器人主要针对变电站，而应用于存在各种易燃易爆物、有毒有害气体和辐射等工业环境中的巡检机器人还很少。此外，为了能实时监控巡检现场，工业环境中的巡检机器人系统还需能将现场视频实时传送到监控中心。而为了能及时处理现场外来人员的闯入，监控系统应能对视频中闯入人员的脸部进行识别和动态跟踪，并及时报警。

视频动态跟踪是图像处理中的一个重要技术，中国专利号为201010129492.6的专利文献公开了一种“用于视频序列的多角度多目标快速人脸跟踪方法”，该方法主要是基于Camshift算法来实现人脸跟踪，当多人脸时基于卡尔曼滤波来预测。但Camshift算法需要手工初始化跟踪目标，而在工业环境的现场巡视过程中，外来人员闯入是偶发性事件，因此该技术无法运用于工业环境中的巡检机器人系统。中国专利号为201210487250.3的专利文献公开了“一种运动目标跟踪方法”，在该专利中提到了利用AdaBoost算法进行搜索窗口的初始化，然后再基于Camshift算法进行目标跟踪。但当视频中出现多目标且发生重叠时，该方法会造成个别跟踪目标丢失，如何解决该问题，该专利未提到。

从目前已有的目标动态跟踪专利文献来看，Camshift算法是主要的跟踪方法之一，但是该方法容易受噪声干扰，如何进一步改进Camshift算法来提高跟踪效果，现有专利还很少提到。

发明内容

本发明的目的在于为了解决存在各种易燃易爆物、有毒有害气体和辐射的复杂工业环境的安防工作，设计了一种巡检机器人系统。为了对巡检现场外来闯入人员的有效监控，降低监控中心里监控人员的工作强度，并帮助监控人员及时处理现场突发事件，本发明进而提供了视频监控中的多人脸动态跟踪方法。本发明的复杂工业环境中的巡检机器人系统，由智能巡检机器人、电磁导航线路和监控中心组成；其中智能巡检机器人包括微处理器、左轮直流电机驱动器、左轮直流电机、左轮、右轮直流电机驱动器、右轮直流电机、右轮、云台、高清彩色红外摄像机、无线影音传送发射器、平板发送天线、红外近距离检测传感器、电子罗盘传感器、电磁检测模块和第一通信模块，红外近距离检测传感器、电子罗盘传感器和电磁检测模块的输出端分别接微处理器的输入端，电磁检测模块用于与电磁导航线路电磁感应，微处理器依次通过左轮直流电机驱动器、左轮直流电机驱动左轮运动，微处理器依次通过右轮直流电机驱动器、右轮直流电机驱动右轮运动，微处理器通过第一通信模块与监控中心相互通信，装有高清彩色红外摄像机的云台通过RS485线与微处理器通信；高清彩色红外摄像机通过视频线与无线影音传送发射器相连后再通过标准SMA天线接口与平板发送天线相连。

所述智能巡检机器人还包括涡轮蜗杆减速器和减速电机驱动器，平板发送天线固定在涡轮蜗杆减速器上并通过减速电机驱动器与微处理器相连。

所述的电磁检测模块由依次连接的LC选频回路、TL082两级放大电路和二极管整流电路组成。

所述电磁导航线路由20KHz方波电源和埋于路面之下的漆包线组成。

所述的20KHz方波电源电路由依次连接的基于555时基电路的振荡电路、基于L298的功率驱动电路和基于NPN晶体管恒流控制电路组成。

所述监控中心包括监控主机、图像采集卡、无线影音传送接收器、平板接收天线、第二通信模块和Zigbee转USB模块，平板接收天线与平板发送天线无线连接并依次通过图像采集卡、无线影音传送接收器将视频信号送入监控主机，第二通信模块与第一通信模块无线连接并通过Zigbee转USB模块与监控主机连接。

复杂工业环境中的巡检机器人系统的多人脸动态跟踪方法，采用如下步骤：

(1)利用高清彩色红外摄像机获取现场视频图像；

(2)采用基于AdaBoost算法对步骤（1）获取的现场视频图像中人脸区域检测，实现搜索窗口的自动初始化；

(3)根据步骤（2）所检测的人脸区域数，分配多路跟踪器，并基于Camshift算法30来进行各自目标的跟踪；

(4)将步骤（1）获取的现场视频图像从RGB颜色空间转到HSV颜色空间，通过较小和较大V阈值，以及较小S_min阈值进行去噪；

(5)各跟踪器统计各搜索窗口中人脸肤色图像H分量的直方图，通过各直方图反向投影生成各肤色概率分布图；

(6)各跟踪器计算各自搜索窗口的零阶矩、一阶矩和二阶矩，进而获得各自目标窗口的质心和方向角；

(7)各跟踪器将各自搜索窗口中心移到质心，直到移动距离小于预设值，并根据零阶矩调整各自窗口大小；

(8)基于卡尔曼滤波，各跟踪器进行各人脸的预测。

所述的基于S_min阈值的去噪采用了自适应调整方法，步骤如下：

(a)基于AdaBoost算法初始化一个跟踪窗口，大小为S₀，设定初始S_min阈值:S_min0，计算搜索窗口的零阶矩，得到目标窗口的大小为S₁；

(b)更新S_min，得到新S_min1阈值，即S_min1＝S_min0×k。

有益效果

本发明针对存在各种易燃易爆物、有毒有害气体和辐射的复杂工业环境，如化工企业、大型油库、液化气站以及核设施场所，设计了一种巡检机器人系统进而提供了一种多人脸动态跟踪方法。所设计的智能巡检机器人主要通过电磁导航系统来实现自主导航，且导航精确而快速。此外，电磁导航线路铺设在路面之下，不会受光线、气温影响而进行全天候的四季巡检。当巡检道路发生改变时，电磁线路重新铺设非常方便。高清摄像头通过无线影音传送发射和接收器将现场视频传送到监控中心，便于监控人员对现场实时监控。而多人脸动态跟踪方法可以对现场外来闯入人员进行识别、自动跟踪，并进行报警，降低了监控人员的工作强度，提高了系统的监控效率和效果。

附图说明

图1智能巡检机器人的结构组成；

图2电磁检测模块设计电路；

图320KHz方波电源设计电路；

图4监控中心的结构组成；

图5多人脸动态跟踪算法流程；

图中1.微处理器，2.左轮直流电机驱动器，3.左轮直流电机，4.左轮，5.右轮直流电机驱动器，6.右轮直流电机，7.右轮，8.云台，9.高清彩色红外摄像机，10.无线影音传送发射器，11.平板发送天线，12.涡轮蜗杆减速器，13.减速电机驱动器，14.红外近距离检测传感器，15.电子罗盘传感器，16.电磁检测模块，17.基于CC2530芯片的DRF1605H模块(1)，18.LC选频回路，19.TL082两级放大电路，20.二极管整流电路，21.基于555时基电路的振荡电路，22.基于L298的功率驱动电路，23.基于NPN晶体管恒流控制电路，24.监控主机，25.图像采集卡，26.无线影音传送接收器，27.平板接收天线，28.基于CC2530芯片的DRF1605H模块(2)，29.Zigbee转USB模块，30.Camshift算法。

R1‐R7：电阻，C1‐C5：电容，D1‐D2：肖特基二极管，T1：NPN晶体管，Q1：三极管。

具体实施方式

下面结合附图对本发明的复杂工业环境中巡检机器人系统及多人脸动态跟踪方法进行详细描述：

复杂工业环境中的巡检机器人系统由智能巡检机器人、电磁导航线路和监控中心组成。

如图1所示，智能巡检机器人结构组成如下：以微处理器1为核心，红外近距离检测传感器14用来检测近距离障碍物，与微处理器1相连；电子罗盘传感器15用来检测巡检机器人的运动方向，与微处理器1相连。装有高清彩色红外摄像机9的云台8通过RS485线与微处理器1通信。高清彩色红外摄像机9通过视频线与无线影音传送发射器10相连，再通过标准SMA天线接口与平板发送天线11相连。为了提高无线视频传输的效果，实现视频信号的定向传输，平板发送天线11固定在涡轮蜗杆减速器12上，并通过减速电机驱动器13与微处理器1相连。巡检机器人在巡检过程中，通过电子罗盘传感器15来获得机器人的角度信息，从而通过微处理器1和减速电机驱动器13来驱动涡轮蜗杆减速器12，进而转动平板发送天线11，并使其能始终朝向监控中心的接收器，实现无线视频的定向传输。电磁检测模块16主要是在机器人电磁导航过程中用以探测电磁信号，与微处理器1相连。基于CC2530芯片的DRF1605H模块(1)17（即第一通信模块）是用以实现巡检机器人与监控中心无线通信，主要帮助机器人无线接收监控中心的控制命令，并无线反馈机器人的状态信息到监控中心，主要通过RS232串口与微处理器1相连。

如图2所示，巡检机器人电磁导航中的电磁检测模块16的电路主要由LC选频回路18、TL082两级放大电路19和二极管整流电路20组成。

巡检机器人的电磁导航线路主要是由20KHz方波电源和埋于路面之下的漆包线组成。

如图3所示，20KHz方波电源设计电路由基于555时基电路的振荡电路21，基于L298的功率驱动电路22，和基于NPN晶体管恒流控制电路23组成。

如图4所示，监控中心以监控主机24为核心，用于与巡检机器人进行无线通信的基于CC2530芯片的DRF1605H模块(2)28（即第二通信模块），通过Zigbee转USB模块29与监控主机24相连。用于接收无线视频的平板接收天线27，通过无线影音传送接收器26、安装在监控主机24PCI插槽内的图像采集卡25，将视频信号送入监控主机24。

本发明的多人脸动态跟踪方法的方案是：联合AdaBoost算法、Camshift算法和卡尔曼滤波来实现多人脸的自动跟踪，即首先基于AdaBoost算法进行视频图像中人脸区域的检测，实现搜索窗口的初始化；然后基于Camshift算法进行多人脸的跟踪，并结合卡尔曼滤波对人脸运动目标进行预测，提高跟踪稳定性和精确性，尤其克服多人脸重叠时目标丢失的问题。

如图5所示，多人脸动态跟踪方法采用如下步骤：

(1)利用高清彩色红外摄像机9获取现场视频图像；

(2)基于AdaBoost算法进行视频图像中人脸区域检测，实现搜索窗口的自动初始化；

(3)根据所检测的人脸区域数，分配多路跟踪器，并基于下述Camshift算法30来进行各自目标的跟踪；

(4)将视频图像从RGB颜色空间转到HSV颜色空间，通过较小和较大V阈值，以及较小S_min阈值进行去噪；

(5)各跟踪器统计各搜索窗口中人脸肤色图像H分量的直方图，通过各直方图反向投影生成各肤色概率分布图；

(6)各跟踪器计算各自搜索窗口的零阶矩、一阶矩和二阶矩，进而获得各自目标窗口的质心和方向角；

(7)各跟踪器将各自搜索窗口中心移到质心，直到移动距离小于预设值，并根据零阶矩调整各自窗口大小；

(8)基于卡尔曼滤波，各跟踪器进行各人脸的预测，解决多目标重叠丢失问题。

其中所述基于AdaBoost算法进行视频图像中人脸区域检测采用如下步骤：

(1)用Haar‐like特征来表示人脸，通过积分图快速计算特征值；

(2)用AdaBoost算法将若干个弱分类器按照加权方式构造成一个强分类器；

(3)将得到的强分类器串联起来构成一个级联式人脸分类器。

更进一步地，所述用AdaBoost算法构造强分类器的步骤如下：

(1)设输入的n个训练样本分别为：{(x₁,y₁),(x₂,y₂),……,(x_n,y_n)}，其中x_i是输入的训练样本，y_i∈{0,1}分别代表训练的人脸样本和非人脸样本，其中0代表非人脸样本，1代表人脸样本；

(2)初始化每个训练样本的权重为ω_t：

${\mathrm{\ω}}_t\left(x_i\right)=\frac{1}{n},i=\mathrm{1,2}......,n$

(3)进行t(t=1,2,3,…,n)轮样本训练后，归一化样本的权重为：

${\mathrm{\ω}}_t=\left(x_i\right)=\frac{{\mathrm{\ω}}_x\left(x_i\right)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ω}}_t\left(x_j\right)}$

(4)对于每个矩阵特征j，都训练对应的弱分类器h_j，计算所有矩阵特征对应的弱分类器的加权错误率：

${\mathrm{\ϵ}}_j=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ω}}_t\left(x_i\right)|h_j\left(x_i\right)-y_i|$

(5)选出分类错误率最低的弱分类器h_t，设该分类器的错误率为ε_t，根据ε_t来调整权重：

${\mathrm{\β}}_i=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t}$

(6)设α_t＝-logβ_t，则最终的强分类器的表达式为：

其中所述基于S_min阈值的去噪，本发明通过建立S_min阈值与搜索窗口大小的关系，来自适应调节S_min阈值，避免了传统的固定S_min阈值，从而较好地消除了图像噪声的干扰，提高了Camshift算法的跟踪精度。S_min阈值自适应调整步骤如下：

(1)基于AdaBoost算法初始化一个跟踪窗口，大小为S₀，设定初始S_min阈值为30，即令S_min0=30，计算搜索窗口的零阶矩，得到目标窗口的大小为S₁；

(2)设

更新S_min，得到新S_min1阈值，即S_min0=S_min0×k。

Claims (8)

1.一种复杂工业环境中的巡检机器人系统，其特征在于：由智能巡检机器人、电磁导航线路和监控中心组成；其中智能巡检机器人包括微处理器（1）、左轮直流电机驱动器（2）、左轮直流电机（3）、左轮（4）、右轮直流电机驱动器（5）、右轮直流电机（6）、右轮（7）、云台（8）、高清彩色红外摄像机（9）、无线影音传送发射器（10）、平板发送天线（11）、红外近距离检测传感器（14）、电子罗盘传感器（15）、电磁检测模块（16）和第一通信模块（17），红外近距离检测传感器（14）、电子罗盘传感器（15）和电磁检测模块（16）的输出端分别接微处理器（1）的输入端，电磁检测模块（16）用于与电磁导航线路电磁感应，微处理器（1）依次通过左轮直流电机驱动器（2）、左轮直流电机（3）驱动左轮（4）运动，微处理器（1）依次通过右轮直流电机驱动器（5）、右轮直流电机（6）驱动右轮（7）运动，微处理器（1）通过第一通信模块（17）与监控中心相互通信，装有高清彩色红外摄像机（9）的云台（8）通过RS485线与微处理器（1）通信；高清彩色红外摄像机（9）通过视频线与无线影音传送发射器（10）相连后再通过标准SMA天线接口与平板发送天线（11）相连。

2.根据权利要求1所述的复杂工业环境中的巡检机器人系统，其特征在于所述智能巡检机器人还包括涡轮蜗杆减速器（12）和减速电机驱动器（13），平板发送天线（11）固定在涡轮蜗杆减速器（12）上并通过减速电机驱动器(13)与微处理器(1)相连。

3.根据权利要求1所述的复杂工业环境中的巡检机器人系统，其特征在于所述的电磁检测模块（16）由依次连接的LC选频回路（18）、TL082两级放大电路（19）和二极管整流电路（20）组成。

4.根据权利要求1所述的复杂工业环境中的巡检机器人系统，其特征在于所述电磁导航线路由20KHz方波电源和埋于路面之下的漆包线组成。

5.根据权利要求4所述的复杂工业环境中的巡检机器人系统，其特征在于所述的20KHz方波电源电路由依次连接的基于555时基电路的振荡电路（21）、基于L298的功率驱动电路（22）和基于NPN晶体管恒流控制电路（23）组成。

6.根据权利要求1所述的复杂工业环境中的巡检机器人系统，其特征在于所述监控中心包括监控主机（24）、图像采集卡（25）、无线影音传送接收器（26）、平板接收天线（27）、第二通信模块（28）和Zigbee转USB模块（29），平板接收天线（27）与平板发送天线（11）无线连接并依次通过图像采集卡（25）、无线影音传送接收器（26）将视频信号送入监控主机（24），第二通信模块（28）与第一通信模块（17）无线连接并通过Zigbee转USB模块（29）与监控主机（24）连接。

7.一种如权利1所述的复杂工业环境中的巡检机器人系统的多人脸动态跟踪方法，其特征在于采用如下步骤：

(1)利用高清彩色红外摄像机（9）获取现场视频图像；

(2)采用基于AdaBoost算法对步骤（1）获取的现场视频图像中人脸区域检测，实现搜索窗口的自动初始化；

(3)根据步骤（2）所检测的人脸区域数，分配多路跟踪器，并基于Camshift算法30来进行各自目标的跟踪；

(4)将步骤（1）获取的现场视频图像从RGB颜色空间转到HSV颜色空间，通过较小和较大V阈值，以及较小S_min阈值进行去噪；

(5)各跟踪器统计各搜索窗口中人脸肤色图像H分量的直方图，通过各直方图反向投影生成各肤色概率分布图；

(6)各跟踪器计算各自搜索窗口的零阶矩、一阶矩和二阶矩，进而获得各自目标窗口的质心和方向角；

(7)各跟踪器将各自搜索窗口中心移到质心，直到移动距离小于预设值，并根据零阶矩调整各自窗口大小；

(8)基于卡尔曼滤波，各跟踪器进行各人脸的预测。

8.根据权利要求7所述的复杂工业环境中的巡检机器人系统的多人脸动态跟踪方法，其特征在于所述的基于S_min阈值的去噪采用了自适应调整方法，步骤如下：

(a)基于AdaBoost算法初始化一个跟踪窗口，大小为S₀，设定初始S_min阈值：S_min0，计算搜索窗口的零阶矩，得到目标窗口的大小为S₁；

(b)

更新S_min，得到新S_min1阈值，即S_min0=S_min0×k。

Images