CN105741244B - 一种室内巡检机器人弱光下去除阴影和光晕的方法 - Google Patents

Abstract

本发明公开了一种室内巡检机器人弱光下去除阴影和光晕的方法，包括以下步骤：对机器人采集的图片进行多尺度Retinex增强，对增强处理的图像的像素点通过mean shift滤波进行有限次迭代，消除噪声点，将图像平滑化，利用光照归一化的方法去除低光阴影区域后，通过OTSU阈值分割方法进行图像分割，得到二值化结果。该方法能有效地去除弱光环境中设备存在的阴影并消除光晕的影响，同时能够保留后期模式识别所需的有效信息。

Description

一种室内巡检机器人弱光下去除阴影和光晕的方法

技术领域

本发明涉及一种室内巡检机器人弱光下去除阴影和光晕的方法。

背景技术

在电力系统中，由于电能的生成和输配送阶段的连续性，对整个系统的各个设备单元的可靠运作有极高的要求，因此对电力设备的可靠性巡检至关重要。变电站作为电力输配送的最重要环节，其室内设备是整个变电站的核心，其中设备包括各种监控屏、电源柜和后台设备，原始的人工检测处理方式需要值班人员周期性的进入室内进行逐设备巡检并记录，由于工作的长期性和重复性常常导致值班人员在巡检设备时因疲惫而遗漏或错判，造成工作失误。

随着计算机视觉和模式识别等技术的发展，将计算机视觉引入工程领域，通过对现场照片进行数字处理，可人工远程监控甚至以计算机来全自动监控设备的运行情况，大大减少了原始人力方式的工作量和错误几率。安全可靠是智能场景监控的最终目标，现有的室内检测方案多为轨道机器人巡检，其在效率上大大优于人工检测，但是由于室内环境的特殊性，通常情况下变电站室内环境光线较暗，加上不同设备之间由于前期布局和后期的扩充等导致遮挡光线等问题，机器人需要处理的图片很多具有光晕或者阴影，导致处理结果存在误差，不得不需要人工进行验证。

发明内容

本发明为了解决上述问题，提出了一种室内巡检机器人弱光下去除阴影和光晕的方法，本方法应用于室内轨道机器人在低光条件下针对光晕和阴影图片处理不佳的情况下，利用图像增强算法来减少或去除低亮度下光晕和阴影对图片处理的影响。

为了实现上述目的，本发明采用如下技术方案：

一种室内巡检机器人弱光下去除阴影和光晕的方法，包括以下步骤：

对机器人采集的图片根据图像明暗关系确定权值取值，进行多尺度Retinex增强，对增强处理的图像的像素点通过mean shift滤波进行有限次迭代，消除噪声点，将图像平滑化，利用光照归一化的方法去除低光阴影区域后，通过OTSU阈值分割方法进行图像分割，得到二值化结果。

所述多尺度Retinex增强的具体方法为：从原始图像中分离出反射率图像，利用多个尺度下Retinex处理得到多个结果，根据明暗关系直方图分布确定各个尺度的权值，对处理结果进行融合。

所述多尺度Retinex增强的具体方法中，进行多次不同尺度的高斯模糊来求得图像数据的光照分量，在对不同尺度下的结果进行加权组合，权值分配为等分且权值和为1，通过直方图算得明暗区域的大小关系，由该比例得出小尺度所占的权值。

所述mean shift滤波的具体方法为：通过迭代的方式利用核密度估计各个像素点，使噪声点移动到像素点概率密度函数梯度的方向进行迭代，每次迭代后都使其趋向正常的像素点值。

所述mean shift滤波中，由mean shift进行聚类滤波，对增强后的图像计算meanshift向量，根据向量值来移动核函数，移动的结束条件是该核函数的中心点收敛到数据空间中密度最大的点，即该密度梯度的估计值小于设定值。

进一步的，所述核函数为高斯核函数。

所述光照归一化的方法为对图像进行直方图均衡化处理。

所述像素点为五维向量，由一个三维的颜色空间向量描述，同时有一个二维的地理坐标向量。

本发明的有益效果为：

(1)能有效地去除弱光环境中设备存在的阴影并消除光晕的影响，同时能够保留后期模式识别所需的有效信息。

附图说明

图1为本发明的低光下带有阴影的压板开关照片示意图；

图2为图1利用OSTU进行分割图像得到二值化后的结果示意图；

图3为图1以Retinex原理增强后的低光条件过程示意图；

图4为本发明的现场LED设备的光晕和高光示意图；

图5为将图4利用OTSU阈值分割后进行二值化结果示意图；

图6(a)为本发明正常信号示意图；

图6(b)为本发明的有光晕的信号示意图；

图7为本发明消除光晕后的信号示意图；

图8(a)-(c)为基于mean shift平滑的现场LED设备的光晕和高光照片和其二值化结果示意图；

图9(a)为带光晕LED指示灯原图、二值图和增强后二值图；

图9(b)为普通光照压板开关原图、二值图和增强后二值图；

图9(c)为高光下LED指示灯原图、二值图和增强后二值图；

图9(d)为带光晕LED指示灯原图、二值图和增强后二值图；

图9(e)为暗光压板开光原图、二值图和增强后二值图；

图9(f)为带光晕LED指示灯原图、二值图和增强后二值图；

图9(g)为暗光压板开关原图、二值图和增强后二值图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

由于在变电站室内环境的封闭性，很多时候光线和灯光的照射并不充足，此外还考虑不同设备之间的影响，室内机器人在巡检的过程中需要识别或处理低光照且带有阴影的现场照片。

如图1所示，图中是室内设备识别常见的压板开关，可以看到在低光下，无论肉眼还是计算机视觉处理都会遇到困难，人工处理这样的情况会花费更多的精力，而计算机处理常用的为将其灰度化后做二值处理，如图2所示，利用OSTU进行分割图像得到二值化后的结果，可以看到由于图片整体亮度较低，加上阴影的影响，压板开关和设备已经被错误的分割，这样的分割结果在之后的模式识别处理也会导致错误的识别结果，最终会导致巡检识别异常。

在人脸识别中由于光照不均匀常常需要进行光照归一化的预处理过程，人感知到某点的光照并不取决于该点的绝对光照值，还和其周围的光照值有关，Retinex增强处理方法可以改善图像颜色恒常性，压缩图像的动态范围，提高对比度，有效地显示低光区域(阴影)内的图像细节，因此在预处理人脸样本图像时大都采用该方式来减少光照不均带来的同类别不同样本特征点的差异性。

传统的Retinex理论中假设原始图像S是光照图像L和反射率图像R的乘积，即S(x,y)＝R(x,y)·L(x,y)，如果能够从原始图像S中估计出光照L，从而将反射率图像R分离出来，便能够消除光照L的影响，改善图像的视觉效果，单尺度Retinex(single scaleRetinex，SSR)可简述为：R(x，y)＝logS(x，y)-log[F(x，y)*S(x，y)]其中*表示卷积运算；F(x，y)＝λexp(-(x²+y²)/c²).为高斯核，λ为归一化常数，使得∫∫F(x,y)dxdy＝1；c为控制邻域范围的尺度常量，利用SSR方法可以有效地改善高动态范围图像的视觉效果，增强低光区域的显示。

但是，与人脸的单侧阴影不同，在设备中的阴影由于设备的整体面积远大于人脸，拍摄到的识别区域内阴影区域具有多种形状和角度的变化，单尺度Retinex方式处理并不能得到最有效果，结合了加权平均的思路，首先利用多个尺度下Retinex处理得到多个结果，根据明暗关系直方图分布确定各个尺度的权值，将带有权值的结果融合得到最终的处理结果如图3所示。

这里的多尺度增强就是进行多次不同尺度的高斯模糊来求得图像数据的光照分量，在对不同尺度下的结果进行加权组合，一般的权值分配为等分且权值和为1，这里通过直方图算得明暗区域的大小关系，由该比例得出小尺度所占的权值，因为小尺度下其暗区域的细节能够得到较好地增强，高和中权值取等值，这里采用三个尺度数，即高、中、低取三个尺度值。

利用Retinex原理进行增强后，图像原明暗对比处会产生光晕现象，无论单尺度还是多尺度处理后在原图中每一个压板开关经过增强后周围都产生一圈较亮的光晕。

然而，除了利用Retinex方法增强图像会产生光晕外，在室内巡检的过程中存在大量的LED指示灯，如果用人工逐个查看的方式耗时费力，采用计算机视觉进行模式识别的过程中由于低光下LED光源极容易产生光晕如图4、图5所示，给识别造成了较大的困难，此外在日光直射下设备表面光照过强会导致产生高光混淆仪表显示，造成不能识别或错误识别。图6(a)、图6(b)是对产生光晕和高光的指示灯照片进行OTSU分割图像后得到的二值化结果，可以看出由于光晕或者环境高光的影响，使得设备指示灯的二值化结果不够准确，极端情况下会造成错误识别。

经retinex增强后的图像，低亮度区域信息得到增强，产生光晕或原先的阴影还存在，这些在特征空间中可以认为是与主要特征相比特征密度较小，因此由mean shift进行聚类滤波，对增强后的图像计算meanshift向量，根据向量值来移动核函数(这里采用高斯核函数)，移动(迭代)的结束条件是该核函数的中心点收敛到数据空间中密度最大的点，即该密度梯度的估计值为0，这里取一个较小阈值，只要小于该值可近似认为达到条件。

光晕和高光现象在图像中产生的原因是亮度变化发生了跳变，在低光下产生光源LED会产生光晕，在日光直射下镜面反射会产生照片的高光，以光晕为例，用一维信号来分析其产生的原因和处理方案，如图6(a)所示，在正常情况下图像的边缘可以近似认为是一个信号阶跃，但是一旦有光晕产生的时候，信号波形在阶跃的两侧产生了两个较明显的跳变，如图7中箭头所示，如果能保持阶跃的间断而压缩减弱跳变部分，便能够减弱甚至消除光晕的影响。

本发明以mean shift平滑图像来达到降低光晕对图像识别影响的目的。

mean shift算法严格意义上是一种聚类的方法，但其被应用于图像平滑领域后的主要目的就是为了减少图像中的噪声点，去除少数的“尖锐点”，提高图像质量。图像由像素点构成，每个像素点由一个三维的颜色空间向量(L,U,V)或(R,G,B)描述，同时有一个二维的地理坐标向量(x，y)，因此每个像素可看成是由一个5维向量描述。像素的这种有规律分布，整体构成了图像。

对于图像中每个像素点施用mean shift算法。对于一般正常的像素点，不会有太大的变化。而对于少数的“尖锐噪声点”，由于其值必然与周围像素点的值相差甚远，而meanshift算法会使该点移动到“像素点概率密度函数梯度的方向”进行迭代，每次迭代后都使其接近“正常的像素点值”。而mean shift算法是收敛的，也即该“噪声点”在经过有限次的迭代算法后，必然收敛到某一个“正常的像素值”。经过对每个像素点都进行迭代后，图像必然被平滑，噪声点被抑制。如图8所示，将现场图片经mean shift平滑滤波后，再利用OTSU方法进行图像分割，得到二值化结果，可以看到图像特征更加的明确，生成的二值图像噪声点更少。

阈值分割采用的最为普遍的二值分割，相比基本全局阈值不用设置经验阈值，有一定的自适应性；最大熵和自适应阈值分割理论上可行，未进行测试，进行阈值分割的主要目的是查看能够用最简单的方式对图像进行分割并且能够去除掉阴影或光晕的影响，保留模式识别所需的有效信息。

从样本库中选取7张包含阴影和光晕以及环境高光的测试样本进行测试，首先对每张图片进行多尺度Retinex增强，然后对增强处理的样本进行mean shift平滑滤波以尽可能的消除环境光晕和增强产生的光晕，最终对平滑后图像进行自适应的OTSU图像分割得到二值图像来进行效果的评判，如图9(a)、9(d)、9(f)这三组中带有光晕，若直接进行二值化，光晕会影响得到的结果，LED区域基本无法辨认，通过增强后能够获得更纯粹的LED区域信息；9(b)、9(e)、9(g)这三组中是带有阴影的压板开关其中9(e)和9(g)还处于较暗的光线条件下，直接其阴影在二值化后会被误认为是开关的部分，影响后面的识别工作，通过增强后能完全消除阴影，并保留足够的信息进行开光状态的识别；9(c)是带有镜面反射造成的高光图像，中间部分由于高光使得不能分割出来，利用文章方法增强后，能够分割出中间部分，排除高光区域的干扰，但结果不够纯净，可以后面通过形态学等方式获得更加利于识别的图像。通过增强前后的对比可以很明显看到该方法组合较好的去除了图像中阴影和光晕影响，并还原了低光区域内的有效信息。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (3)

1.一种室内巡检机器人弱光下去除阴影和光晕的方法，其特征是：包括以下步骤：

对机器人采集的图片根据图像明暗关系确定权值取值，进行多尺度Retinex增强，多尺度Retinex增强的过程中，进行多次不同尺度的高斯模糊来求得图像数据的光照分量，在对不同尺度下的结果进行加权组合时，采用三个尺度，即高、中、低三个尺度值，权值和为1，高和中权值取等值，通过直方图算得明暗区域的大小关系，由明暗区域的大小比例得出小尺度所占的权值，对增强处理的图像的像素点通过mean shift滤波进行有限次迭代，由meanshift进行聚类滤波，对增强后的图像计算mean shift向量，根据向量值来移动核函数，移动的结束条件是该核函数的中心点收敛到数据空间中密度最大的点，即像素点概率密度函数梯度的估计值小于设定值，消除噪声点，将图像平滑化，利用光照归一化的方法去除低光阴影区域后，通过OTSU阈值分割方法进行图像分割，得到二值化结果；

所述光照归一化的方法为对图像进行直方图均衡化处理；所述像素点为五维向量，由一个三维的颜色空间向量描述，同时有一个二维的地理坐标向量；

所述mean shift滤波的具体方法为：通过迭代的方式利用核密度估计各个像素点，使噪声点移动到像素点概率密度函数梯度的方向进行迭代，每次迭代后都使其趋向正常的像素点值。

2.如权利要求1所述的一种室内巡检机器人弱光下去除阴影和光晕的方法，其特征是：所述多尺度Retinex增强的具体方法为：从原始图像中分离出反射率图像，利用多个尺度下Retinex处理得到多个结果，根据明暗关系直方图分布确定各个尺度的权值，对处理结果进行融合。

3.如权利要求1所述的一种室内巡检机器人弱光下去除阴影和光晕的方法，其特征是：所述核函数为高斯核函数。