CN101319875A - 基于视觉注意机制的气体泄漏源搜寻方法 - Google Patents

Abstract

一种基于视觉注意机制的气体泄漏源搜寻方法，在气体泄漏源搜寻过程中，引入视觉注意机制，锁定场景中易发生泄漏的设备，从而引导机器人快速、准确地探明气体泄漏源的位置，具体实现方式是采用集中采集场景信息、集中判定、统筹规划、逐一排查的方式。步骤：训练获取能有效凸显易发生泄漏设备的对比映射图合并权值系数；采用全扫描方式集中获取场景的全貌信息；确定可疑区域的个数、位置及优先级；按递推寻优方法逐一排查这些可疑区域是否是气体泄漏源。本发明采用集中采集、集中判断、统筹规划的方式，不受流场状况的影响，能够避免搜寻目标与实际需求的脱节，训练获取能有效凸显易发生泄漏设备的对比映射图，具有搜寻效率高，适用性强，应用价值高，误判率低特点。

Description

基于视觉注意机制的气体泄漏源搜寻方法

技术领域

本发明涉及一种毒害气体泄漏自动检测的方法。特别是涉及一种搜寻效率高，适用性强，应用价值高和误判率低的基于视觉注意机制的气体泄漏源搜寻方法。

背景技术

随着工业化的发展，毒害气体已成为人们在生产和生活中不得不面对的危险来源。石油和化工行业、危险品储运、恐怖袭击、垃圾填埋等均是毒害气体发生和泄漏较为普遍的场所。因此，针对毒害气体泄漏源搜寻和定位的技术研究及应用就显得非常必要。一方面，它可为此类突发事件的预警和应急处理提供技术支撑；另一方面，对于保障人民生命财产安全，促进社会经济的和谐发展具有重大现实意义。

传统的气体泄漏源搜寻方法主要分两步完成。首先，应尽快找到泄漏气体信息；其次，快速地追踪泄漏气体信息，即烟羽发现和烟羽追踪。在烟羽发现方面，目前普遍采用随机搜索方式，如“Z”(Zigzag)字形运动、螺旋运动等方法(期刊：IEEE SensorsJournal；著者：Hayes A T，Martinoli A，Goodman R M；出版年月：2002年；文章题目：Distributed odor source localization，页码：260-271)。但是，这些便利的方法都是基于场景中的所有区域出现泄漏源的概率相同的假设，该假设显然与实际情况不符，因为场景中有些区域出现泄漏源的概率大，有些则可能小。因此，上述随机方法存在一定的盲目性。在烟羽追踪方面，目前典型的追踪算法主要有两大类：化学趋向性(Chemotaxis)方法和风趋向性(Anemotaxis)方法。其中，化学趋向性方法主要是依据气体传感器所获取的气体浓度(或浓度梯度)信息追踪气体烟羽，并最终找到气味源(期刊：Robotics and Autonomous Systems；著者：Russell R A，Alireza B H，ShepherdR L，et al；出版年月：2003年；文章题目：A Comparison of Reactive Robot ChemotaxisAlgorithms，页码：83-97)。这类方法由于受传感器恢复时间(多在几十秒)的限制，仅在连续分布的烟羽环境中可以成功，而这样的烟羽一般只在室内(平均风速小于20cm/s)且气体长时间泄漏之后才可能出现。但在实际烟羽中，由于湍流引起不同尺度的漩涡会将气体烟羽“撕”成很多细丝，从而导致烟羽内部的浓度发生剧烈振荡，致使机器人很容易陷入局部最优而搜寻失败。风趋向性方法是当机器人感知到气体烟羽信息时便沿着逆风方向追踪并找到气味源(期刊：IEEE International Conference onMechatronics and Automation，；著者：Lu T F，Liang C；出版年月：2006年；文章题目：Novel wind sensor for robotic chemical plume tracking，页码：933-938)。目前这类方法多是在相对稳定的人工风场(如风洞或风扇)条件下进行了实验验证。而在实际风场中，风向的不稳定时常出现，这不可避免地对风趋向性方法的搜寻效果产生不同程度的影响。此外，上述基于非视觉传感信息的搜寻方法一般只能利用局部信息(如局部浓度或风速/风向信息)规划局部路径，一个搜寻任务往往需要多次(分时)采集，多步规划才能完成，因此，这些方法普遍存在搜寻效率低的缺点。

以上分析可以看出，可靠性差、搜寻效率低是目前传统的气体泄漏源搜寻方法面临的主要问题。大量气体泄漏事故的调查结果表明，易发生泄漏的设备主要分为10类，即管道、挠性连接器、过滤器、阀门、压力容器或反应器、泵、压缩机、储罐、加压或冷冻气体容器及放散管(北京：化学工业出版社；著者：王凯全，邵辉；出版年月：2004年；著作题目：事故理论与分析技术)。通过研究发现这些设备在外形上都有其自身的特点，如果能在搜寻过程中借助视觉对这些易发生泄漏的设备给予特别的关注，则可极大地提高搜寻的效率和成功率。例如，在气体烟羽发现阶段，可通过视觉预先锁定场景中一些易发生泄漏的设备，并首先对这些设备所在的区域进行搜寻，这在一定程度上可以有效克服随机搜寻的盲目性；在烟羽追踪过程中，由于气体浓度场和风场具有复杂多变的特性，致使在某些情况下化学趋向性方法和风趋向性方法都可能完全失效，那么，视觉也可为下一步搜寻方向的判定提供有益的线索。显然，通过大量气体泄漏事故调查统计出的易发生泄漏设备能提供重要的搜寻线索，但目前国内外技术文献尚未见专门针对具体的易发生泄漏设备的搜寻方法报道。

最近几年，国外少数科研人员开始尝试利用视觉信息搜寻气体泄漏源，并取得一些初步的成果。2006年Kowadlo等人提出将“裂纹”作为气体泄漏源的视觉特征辅助嗅觉进行搜寻(期刊：IEEE International Conference on Robotics and Automation；著者：Kowadlo G，David R，Russell R A；出版年月：2006年；文章题目：Bi-modal Search usingComplementary Sensing(Olfaction/Vision)for Odour Source Localisation，页码：2041-2046)。显然，该方法只适用于机器人距离泄漏源较近且泄漏裂缝较大的情况。同年，Ishida等人还提出通过颜色辨别物体是否为可疑目标，但该方法误判率较高，因此很难应用于实际的搜寻任务(期刊：Autonomous Robots；著者：Ishida H，Tanaka H，Taniguchi H；出版年月：2006年；文章题目：Mobile robot navigation using visionand olfaction to search for a gas/odor source，页码：231-238)。另外，通常情况下一个场景中往往存在多个可疑目标，那么如何规划搜寻路径尽快完成搜寻任务，目前国内外技术文献还没有相关成果报道。现有的利用视觉信息的搜寻方法由于没有规划搜寻路径，不可避免地出现多目标重复搜寻问题，使得这些搜寻方法的效率大大降低。

分析已有文献的技术报道可以看出，应用针对性不强、误判率高、搜寻效率低是目前基于视觉信息的搜寻方法主要存在的问题。

发明内容

本发明所要解决的技术问题是，提供一种采用任务驱动视觉注意机制，迅速判定场景中的可疑目标(易发生泄漏设备)的位置，并统筹规划较优的机器人搜寻路径，快速、准确地完成气体泄漏源的搜寻任务的基于视觉注意机制的气体泄漏源搜寻方法。

本发明所采用的技术方案是：一种基于视觉注意机制的气体泄漏源搜寻方法，在气体泄漏源搜寻过程中，引入视觉注意机制，锁定场景中易发生泄漏的设备，即可疑目标，从而引导机器人快速、准确地探明气体泄漏源的位置，具体实现方式是采用集中采集场景信息、集中判定、统筹规划、逐一排查的方式。具体步骤如下：

(一)训练获取能有效凸显易发生泄漏设备的对比映射图合并权值系数；

(二)采用全扫描方式集中获取场景的全貌信息；

(三)确定可疑区域的个数、位置及优先级；

(四)按递推寻优方法逐一排查这些可疑区域是否是气体泄漏源。

所述的获得易发生泄漏设备的对比映射图合并权值系数是采用如下公式：

$w(t+1)=w\left(t\right)+\mathrm{\η}\frac{{\stackrel{\‾}{M}}_{\mathrm{in}}-{\stackrel{\‾}{M}}_{\mathrm{out}}}{N}$

其中，η是学习系数，M_in是对比映射图中泄漏源区域的平均显著值，M_out是对比映射图中除去泄漏源区域外其它区域的平均显著值，N是除泄漏源区域以外的其它区域中平均显著值大于或等于泄漏源区域平均显著值M_in的区域个数。

所述的采用全扫描方式集中获取场景的全貌信息，首先通过激光或超声传感器对该场景中区域大小进行探测，然后驱动机器人移动至可达区域的几何中心，并将该中心定为搜寻的起点位置，移动机器人驱动云台每隔设定的视场角采集一幅局部场景图像，由多幅局部场景图像构成被测场景全貌。

所述的确定可疑区域的个数、位置及优先级包括：首先，对局部场景图像进行采样、滤波处理，获取多特征多尺度的图像信息；其次，采用中央一周边差运算得到多特征及多尺度的对比映射图；然后，将对比映射图分别与不同设备的权值系数相乘后合并，得到定位相应设备的显著图，如果显著图中区域的平均显著值超过设定阈值，则判断该区域中存在相应的可疑设备，标记该区域位置，并将可疑区域的平均显著值作为该区域的优先级；最后，综合所有的局部场景图像的分析结果，确定场景中可疑区域的个数、位置及优先级。

所述的按递推寻优方法逐一排查这些可疑区域是否是气体泄漏源，包括：当排除某一个可疑位置不是泄漏源后，就以该位置为起点规划下一步的搜寻目标，规划的路径采用可疑区域的优先级与路径长度的比值作为优化指标。

本发明的基于视觉注意机制的气体泄漏源搜寻方法，具有如下特点：

1.搜寻效率高，本发明提出的搜寻方法采用集中采集、集中判断、统筹规划的策略，此外，视觉注意机制的引入也大大缩短了可疑目标的判定时间，因此，其搜寻效率明显高于传统的基于非视觉传感信息的搜寻方法(如化学趋向性方法和风趋向性方法)。

2.适用性强，本发明提出的基于视觉信息的搜寻方法几乎不受流场状况的影响，其适用性明显强于传统的基于非视觉传感信息的搜寻方法。

3.应用价值高，本发明提出的泄漏源搜寻方法充分考虑了气体泄漏源搜寻任务的应用需求，对实际易发生泄漏的设备，给予了重点关注，避免了搜寻目标与实际需求的脱节，使得搜寻方法具有较高的实际应用价值。

4.误判率低，本发明提出的视觉定位方法对每一类易发生泄漏的设备，都通过大量的样本图像训练确定重要特征和最佳尺度，从而得到相应的对比映射图合并权值，确保易发生泄漏的设备能在注意模型的竞争机制中有效地凸显，因此，大大减少了搜寻目标的误判率。

附图说明

图1是本发明的基于视觉注意机制的气体泄漏源搜寻流程图；

图2是气体泄漏源搜寻装置的整体结构示意图；

图3递推寻优的搜寻路径规划图。

具体实施方式

下面结合实施例和附图对本发明的基于视觉注意机制的气体泄漏源搜寻方法做出详细说明。

本发明的基于视觉注意机制的气体泄漏源搜寻方法，是通过如图2所示的由移动机器人和传感器组两部分组成的气体泄漏源搜寻装置实现的。

针对不同的实际应用环境，移动机器人可采用轮式、履带式或轮履复合式。传感器组包含超声传感器4或激光测距传感器3(如德国施克LMS 200)、视觉传感器1(如SonyEVI-D100)、嗅觉传感器2(如IBRID MX6)等。超声传感器4或激光测距传感器3用于对机器人可达区域进行探测；视觉传感器1用于获取场景的图像信息(为了使采集的场景全貌信息更全面，摄像头安装高度距离地面1.3-1.5m，且底座装配(俯仰和水平)两自由度云台)；嗅觉传感器2可提供机器人当前位置的气体浓度信息。

本发明的基于视觉注意机制的气体泄漏源搜寻方法，是在气体泄漏源搜寻过程中，引入视觉注意机制，锁定场景中易发生泄漏的设备，即可疑目标，从而引导机器人快速、准确地探明气体泄漏源的位置，具体实现方式是采用集中采集场景信息、集中判定、统筹规划、逐一排查的方式。具体实现过程如图1所示，包括如下步骤：

(一)训练获取能有效凸显易发生泄漏设备的对比映射图合并权值系数；

本发明采用具有优先级的特征和尺度竞争机制的合并策略，以凸显场景中的特定目标，即任务驱动视觉注意机制计算模型。由于对比映射图已经包含了特征和尺度信息，因此仅需要获取对比映射图的优先级(权值大小)即可，获取的方法可采用有监督的权值迭代方法。权值迭代方法的设计应满足以下要求：目标与周边差别大且出现类似差别的区域少的对比映射图的优先级较高，而对突出目标贡献小的对比映射图的权值较小，这样在合并过程中就不会削弱搜寻目标的显著程度。此外，在实际应用中，不必求取那些优先级较小的对比映射图，这样可大大减少计算量。公式(1)给出了本发明提出的对比映射图权值迭代公式。

$w(t+1)=w\left(t\right)+\mathrm{\η}\frac{{\stackrel{\‾}{M}}_{\mathrm{in}}-{\stackrel{\‾}{M}}_{\mathrm{out}}}{N}---\left(1\right)$

其中，η是学习系数，M_in是对比映射图中泄漏源区域的平均显著值，M_out是对比映射图中除去泄漏源区域外其它区域的平均显著值，N是除泄漏源区域以外的其它区域中平均显著值大于或等于泄漏源区域平均显著值M_in的区域个数。通过大量样本图像的训练，可获得不同设备的多特征及多尺度的对比映射图合并权值系数。

在搜寻前首先要获取易发生泄漏设备的多特征及多尺度的对比映射图合并权值。本发明采用公式(1)给出的权值迭代公式对大量样本图像进行训练，分别得到10类易发生泄漏设备的对比映射图合并权值系数。但应当注意一点，10类易发生泄漏设备往往出现在不同的场合，因此，在实际应用中应当根据搜寻任务的需求，选择一类或几类易发生泄漏设备进行排查，以提高搜寻的针对性和准确性。

(二)采用全扫描方式集中获取场景的全貌信息；

当移动机器人进入某一场景，首先可通过激光或超声传感器对该场景中机器人可达区域大小进行探测，然后驱动机器人移动至可达区域大致的几何中心，并将该中心定为搜寻的起点位置，该位置便于获取场景的全貌信息，同时也有利于统筹规划搜寻路径。场景全貌信息获取采用全扫描方式，即移动机器人驱动云台每隔固定的视场角采集一幅局部场景图像，因此场景全貌就由多幅局部场景图像构成。

本实施例是驱动云台每隔45°采集一幅局部场景图像(所采用的摄像系统的视场角为50°左右)，因此场景全貌由8幅局部图像构成，如采用广角镜头，可适当相应地增大云台扫描视角间隔。

(三)确定可疑区域的个数、位置及优先级；

首先，对局部场景图像进行采样、滤波处理，获取多特征多尺度的图像信息；其次，采用中央-周边差运算得到多特征及多尺度的对比映射图；然后，将对比映射图分别与不同设备的权值系数相乘后合并，得到搜寻相应设备的显著图，如果显著图中区域的平均显著值超过设定阈值，则判断该区域中存在相应的可疑设备，标记该区域位置，并将可疑区域的平均显著值作为该区域的优先级；最后，综合所有的局部场景图像的分析结果，确定场景中可疑区域的个数、位置及优先级。

(1)为了抽取图像中的多尺度信息，可采用高斯金字塔形式将原始图像分解为4层(对应尺度0～4)，其中第0层为原始图像，下一层图像通过对上一层图像进行低通滤波和间隔采样获得。

(2)对金字塔的每一层分别提取多个初级视觉特征，如亮度、颜色、朝向等。

(2)

多尺度亮度图像I(σ_i)＝(r(σ_i)+g(σ_i)+b(σ_i))/3

其中，σ_i为尺度(i＝1，2，…4)，r，g，b为真彩色图像的三个颜色分量图。

多尺度颜色图像用两个RG(σ_i)，BY(σ_i)颉颃特征对表示，分别代表“红/绿”和“蓝/黄”色彩通道的对比，计算公式如下：

RG(σ_i)＝(r(σ_i)-g(σ_i))/max(r(σ_i)，g(σ_i)，b(σ_i))              (3)

BY(σ_i)＝(b(σ_i)-min(r(σ_i)，g(σ_i)))/max(r(σ_i)，g(σ_i)，b(σ_i)) (4)

在亮度金字塔图像I(σ_i)基础上，采用方向为0°、45°、90°和135°的Gabor滤波器组分别对I(σ_i)进行滤波，得到多尺度朝向图像O(σ_i，θ)，其中θ∈[0°，45°，90°，135°]为Gabor滤波器方向。O(σ_i，θ)的计算公式如下：

O(σ_i，θ)＝‖I(σ_i)*G₀(θ)‖+‖I(σ_i)*G_π/2(θ)‖                (5)

其中，为Gabor函数，表示为：

f_x＝fcosθ，f_y＝fsinθ

式中，θ为朝向，f表示变化频率，δ_x和δ_y表示感受野的作用范围，对应不同形式的感受野：

时为对称型感受野；

时为反对称型感受野。

(3)为了获取各个特征维上的对比信息，本发明采用“中心-外周差”抽取机制：首先定义特征金字塔的{0，1，2}层为中心层c，{3，4}为外周层s，然后将同一类特征图的中心层和外周层图像对应的像素值相减，完成中心-外周差运算，得到对比映射图。每一类特征图的计算组合有5种：{(0-3)、(1-3)、(0-4)、(1-4)、(2-4)}。注意相减时尺寸小的图像首先要进行插值处理，以保证参与运算的两幅图像的大小一样。若记中心-外周差操作为Θ，则亮度、颜色和朝向对比映射图可分别由式(7)～(10)求得：

I(c，s)＝|I(c)ΘI(s)|              (7)

RG(c，d)＝|RG(c)ΘRG(s)|           (8)

BY(c，s)＝|BY(c)ΘBY(s)|           (9)

O(c，s，θ)＝|O(c，θ)ΘO(s，θ)|  (10)

由此，可得到5幅亮度对比映射图、10幅颜色对比映射图和4个方向共20幅朝向对比映射图，共35幅对比映射图。

(4)以阀门类设备定位为例详细说明可疑区域个数、位置及优先级的确定过程。利用训练得到的阀门类设备权值系数加权合并35幅对比映射图，得到搜寻此类设备的显著图。将此显著图划分为不同的显著区域，计算不同区域的平均显著值，并与预先给定的阀门类判断阈值(此阈值经过大量实验确定)进行比较，如果平均显著值大于阈值则认为该区域是可疑区域，标记该区域的位置，并将可疑区域的平均显著值作为该区域的优先级。

与上述定位方法类似，分别求得同一场景中存在其它类别易发生泄漏设备的可疑区域个数、位置及优先级。合并这些可疑区域，得到场景中总的可疑目标区域的个数、位置及优先级。

(四)按递推寻优方法逐一排查这些可疑区域是否是气体泄漏源。

如场景中仅存在一个可疑区域，直接驱动机器人至该区域进行搜寻。当场景中出现多个可能发生泄漏的区域时，就有必要统筹规划搜寻路径，以提高搜寻效率。由于事先无法确定哪一次排查会发现泄漏源，因此，本发明提出采用递推寻优的搜寻策略，即当排除某一个可疑位置不是泄漏源后，就以该位置为起点规划下一步的搜寻目标，要求规划的路径满足一定的优化指标，本发明采用可疑区域的优先级(平均显著值)与路径长度的比值作为优化指标。

下面以场景中存在三个可疑的目标区域为例具体说明递推寻优的搜寻过程，图3中O为场景几何中心，三个目标区域标记为A、B、C，假定它们的平均显著值分别为P_A＝2.7、P_B＝1.8、P_C＝1.5；AB线段距离L_AB为10米，AC线段距离L_AC为6.5米。首先，驱动机器人至优先级最高的可疑区域(A位置)进行排查，如果嗅觉传感器的输出超过给定的阈值，则认为找到气体泄漏源，完成搜寻任务；如果A位置不存在气体泄漏源，计算其它未排查区域的平均显著值与路径长度的比值，即P_B/L_AB＝0.18，P_C/L_AC＝0.23，由于，P_B/L_AB＞P_C/LAC，因此确定C为下一步的搜索区域，如C位置也不存在气体泄漏源，驱动机器人对B进行排查。应当注意的是，在路径规划过程中应剔除已排查过的区域，避免重复搜索。

Claims (6)

1.一种基于视觉注意机制的气体泄漏源搜寻方法，其特征在于，在气体泄漏源搜寻过程中，引入视觉注意机制，锁定场景中易发生泄漏的设备，即可疑目标，从而引导机器人快速、准确地探明气体泄漏源的位置，具体实现方式是采用集中采集场景信息、集中判定、统筹规划、逐一排查的方式。

2.根据权利要求1所述的基于视觉注意机制的气体泄漏源搜寻方法，其特征在于，具体步骤如下：

(一)训练获取能有效凸显易发生泄漏设备的对比映射图合并权值系数；

(二)采用全扫描方式集中获取场景的全貌信息；

(三)确定可疑区域的个数、位置及优先级；

(四)按递推寻优方法逐一排查这些可疑区域是否是气体泄漏源。

3.根据权利要求2所述的基于视觉注意机制的气体泄漏源搜寻方法，其特征在于，所述的获得易发生泄漏设备的对比映射图合并权值系数是采用如下公式：

$(t+1)=w\left(t\right)\frac{{\stackrel{\‾}{M}}_{\mathrm{in}}-{\stackrel{\‾}{M}}_{\mathrm{out}}}{N}$

其中，η是学习系数，M_in是对比映射图中泄漏源区域的平均显著值，M_out是对比映射图中除去泄漏源区域外其它区域的平均显著值，N是除泄漏源区域以外的其它区域中平均显著值大于或等于泄漏源区域平均显著值M_in的区域个数。

4.根据权利要求2所述的基于视觉注意机制的气体泄漏源搜寻方法，其特征在于，所述的采用全扫描方式集中获取场景的全貌信息，首先通过激光或超声传感器对该场景中区域大小进行探测，然后驱动机器人移动至可达区域的几何中心，并将该中心定为搜寻的起点位置，移动机器人驱动云台每隔设定的视场角采集一幅局部场景图像，由多幅局部场景图像构成被测场景全貌。

5.根据权利要求2所述的基于视觉注意机制的气体泄漏源搜寻方法，其特征在于，所述的确定可疑区域的个数、位置及优先级包括：首先，对局部场景图像进行采样、滤波处理，获取多特征多尺度的图像信息；其次，采用中央-周边差运算得到多特征及多尺度的对比映射图；然后，将对比映射图分别与不同设备的权值系数相乘后合并，得到定位相应设备的显著图，如果显著图中区域的平均显著值超过设定阈值，则判断该区域中存在相应的可疑设备，标记该区域位置，并将可疑区域的平均显著值作为该区域的优先级；最后，综合所有的局部场景图像的分析结果，确定场景中可疑区域的个数、位置及优先级。

6.根据权利要求2所述的基于视觉注意机制的气体泄漏源搜寻方法，其特征在于，所述的按递推寻优方法逐一排查这些可疑区域是否是气体泄漏源，包括：当排除某一个可疑位置不是泄漏源后，就以该位置为起点规划下一步的搜寻目标，规划的路径采用可疑区域的优先级与路径长度的比值作为优化指标。

Images