CN106296666A - 一种彩色图像去阴影方法和应用 - Google Patents

Abstract

本发明公布了一种图像去阴影方法和应用。去阴影方法包括无阴影特征分析过程、无阴影变换参数获取过程和无阴影特征成像过程。应用于道路路面检测，检测方法包括先采用无阴影特征提取方法进行感兴趣区域选择和特征提取，再进行图像滤波、分割和路面区域选择，最后进行图像形态学滤波和孔洞填充。本发明方法能够去除彩色图像中存在的阴影，作为预处理步骤应用到多种机器视觉领域，道路路面检测应用可解决强阴影下的道路路面检测问题。本发明技术方案具有低复杂度、处理速度快和高准确度的优势。

Description

一种彩色图像去阴影方法和应用

技术领域

本发明涉及机器视觉领域，尤其涉及一种彩色图像去阴影方法和基于该方法对道路路面区域进行检测的应用。

背景技术

图像中的阴影对边缘提取，图像匹配的机器视觉算法都有影响，彩色图像由RGB三个灰度分量图像构成。由于这三个分量的灰度图像非常类似，机器视觉算法通常先将它们转为一个灰度分量进行处理。由于这三个灰度分量中都包含亮度信息，所以直接采用这三个分量或者他们的加权和、最大最小值构成的灰度分量都存在光照变化的干扰问题。特别是在阴影情况下，光照变化对机器视觉算法的干扰很大。现有方法对阴影的预处理主要分为抗阴影特征提取子、无阴影特征提取子以及阴影检测和去除方法三种：

(一)抗阴影特征提取子。通过颜色空间转换将亮度成分和对光照变化不敏感的颜色成分抽取出来，采用颜色分量进行后续处理。由于颜色空间的描述是理想模型，这些提取子虽然可以一定程度地减弱阴影的干扰，但无法完全地去除图像中的阴影。特别是在强阴影情况下，这些提取子可能完全失效。

(二)无阴影特征提取子。通过成像物理理论分析和实验得出的无阴影特征提取子可以完全地去除阴影。但现有的方法仍然无法解决一些强阴影情形。

(三)阴影检测和去除方法。首先对阴影区域进行检测，然后再利用恢复算法对阴影部分的图像进行修复。这种方法往往复杂度较高，处理速度较慢，且绝大多数的现有方法都会不同程度地丢失阴影区域的细节信息。

综合来看，现有对阴影的处理方法无法在保证实时性的同时(处理速度快)达到很好的阴影去除效果，特别是在强阴影情形下。这就使得阴影干扰成为很多实时性要求高的机器视觉任务的难点，比如智能车辆感知技术中的道路检测问题。

智能车辆感知技术使得车辆能够主动地感知周围环境，进而积极地预防交通事故，甚至完成自动驾驶。认路是驾驶的前提，因此道路检测是智能车辆感知不可或缺的一部分。道路检测方法对一张驾驶员视角的道路图像进行处理，检测出其中路面所在的区域。路边的树木，建筑物都会在道路上留下阴影，特别是在光照强烈的情形，阴影的干扰十分严重，使得道路区域难以正确地检出。

发明内容

为了克服上述现有技术的不足，本发明提供一种彩色图像去阴影方法和基于该方法对道路路面区域进行检测的应用，本发明方法能够去除彩色图像中存在的阴影，作为预处理步骤应用到多种机器视觉领域。基于该方法对道路路面区域进行检测的应用具体利用所述去阴影方法解决强阴影下的道路路面检测问题。

本发明提供的图像去阴影方法包括无阴影特征分析、无阴影变换参数获取、无阴影特征成像；道路路面检测方法包括先进行感兴趣区域选择和特征提取(采用前面的无阴影特征提取方法)，再进行图像滤波、分割和路面区域选择，最后进行图像形态学滤波和孔洞填充。本发明提供的彩色图像去阴影方法，包括无阴影特征分析过程、无阴影变换参数获取过程和无阴影特征成像过程。上述图像去阴影方法可应用于道路检测，；除道路检测外，还可应用于其他场景，包括前景分割、图像匹配、基于颜色的图像分割和边缘提取等。在前景分割问题中，由于感兴趣的前景物体的投影也会随着物体的运动而运动，同时背景中也有可能有运动的阴影，这会使得部分阴影被错误地识别为前景。应用该方法去除阴影后，再应用前景分割算法，能够减弱阴影造成的干扰。图像匹配此外，光照差异也是图像匹配的一大问题，我们希望在不同光照下的物体能够正确的匹配，而不希望由于局部阴影造成的光照不均匀使得匹配算法失效。因此本方法也适用于图像匹配问题，进一步地，可以应用到基于图像的定位系统中。

本发明提供的技术方案是：

一种图像去阴影方法，包括无阴影特征分析提取过程、无阴影变换参数获取过程和无阴影特征成像过程；具体包括如下步骤：

1)无阴影特征分析提取过程：对原始图像中同一材料在不同光照下的像素RGB值进行统计分析，或者通过物理成像模型找出含阴影图像中不变的特性，获得无阴影特征的表达式K＝f(R,G,B,…)，其中，K为无阴影特征矩阵；R、G、B分别对应原始图像的红绿蓝颜色的三个分量矩阵；…表示其他额外参数；f为转换表达式；

2)无阴影变换参数获取过程：对步骤1)所述无阴影特征矩阵K＝f(R,G,B,…)，通过确定表达式中的参数，计算得到对应的无阴影特征矩阵K；

3)无阴影特征成像过程：将所述无阴影矩阵转换为灰度图像，通过特征可视化得到无阴影特征灰度图像。

针对上述图像去阴影方法，进一步地，步骤1)利用RGB空间的线性关系定义所述无阴影特征的表达式；所述RGB空间的线性关系包括RGB每两个分量的线性关系或RGB三分量的线性组合的线性关系。

针对上述图像去阴影方法，进一步地，步骤1)选用B和G分量的线性关系表示用于路面检测的图像的无阴影特征，所述无阴影特征的表达式为式1：

其中，b为待确定的其他参数，几何意义是拟合直线的截距；对于路面区域，K的取值为一个定值，K即为所求的无阴影特征矩阵。

针对上述图像去阴影方法，进一步地，步骤3)所述将无阴影特征矩阵转换为灰度图像，具体通过图像分割方法提取得到感兴趣区域材料的灰度值。更进一步地，所述图像分割方法具体采用对无阴影特征矩阵进行归一化，使得矩阵各个元素的值分布在0和1之间，从而得到无阴影特征灰度图像。更具体地，通过求解最优划分区间的方法获得自然图像特征值最优区间的下界和上界m和n，再将区间(m,n)映射到区间(0，1)做归一化，得到无阴影灰度图C；所述最优划分区间通过式1～式3求解：

分别计算得到一张或多张图像中的像素值对应的K的取值，将K取值的最大值和最小值分别记作K_max和K_min，统计直方图记作H：

max:g(m,n)-c(m,n) (式1)

其中，m和n为所求最优区间的下界和上界；将(m,n)区间映射到(0，1)区间做归一化：

得到最终的无阴影灰度图C。

本发明提供的上述图像去阴影方法可应用于多种机器视觉领域，包括图像前景分割、图像匹配、基于颜色的图像分割和边缘提取、道路检测等场景。

本发明具体提供了上述图像去阴影方法在道路检测中的应用方法，包括图像预处理过程、路面提取过程和图像后处理过程；具体地，首先通过无阴影特征分析提取过程进行感兴趣区域选择和特征提取，再进行图像滤波、分割和路面区域选择，最后进行图像形态学滤波和孔洞填充；具体包括如下步骤：

81)进行图像预处理，取出无关区域和干扰信息；

82)路面提取过程：包括图像分割和路面区域选择；通过所述图像分割，将道路图像划分成多个区域；通过所述路面区域选择对各个区域进行评估，选择得到最可能为路面的区域；

83)图像后处理过程：通过图像形态学滤波，将多余的部分去除；采用孔洞填充算法对路面区域中的孔洞进行填补；

完成后处理后，输出道路检测结果。

针对上述图像去阴影方法在道路检测中的应用，其中，步骤81)具体通过选择感兴趣区域去除无关区域；通过无阴影特征提取方法去除掉阴影的干扰，得到无阴影灰度图。

进一步地，所述无阴影灰度图为式5：

式5中，C为无阴影灰度图；G、B分别对应图像的绿和蓝颜色的分量矩阵；b为相机参数，为拟合得到直线在G轴上的截距。

与现有技术相比，本发明的有益效果是：

相比背景技术中总结的三类现有技术(抗阴影特征提取子、无阴影特征提取子和阴影检测和去除方法)，本方法结合了低复杂度(决定处理速度)和高准确度的优势。对于一些强阴影的情形，抗阴影特征提取子和无阴影特征提取子都无法很好地工作。而且，抗阴影特征提取子和无阴影特征提取子提取出的特征图像区分度差，不利于后续的图像处理和分析工作。

相比之下，本发明提供的去阴影方法具有很好的区分度，便于图像分割等后续处理。第三类技术阴影检测和去除的缺陷是复杂度高，处理速度慢，而本发明所述的方法在低复杂度的情况下取得了准确的去阴影效果，能够应对实时性要求高的场合。因此，本发明方法能够去除彩色图像中存在的阴影，作为预处理步骤应用到多种机器视觉领域。先采用本发明提供的去阴影方法进行预处理，之后再使用相应处理方法，可以提高其对阴影干扰的鲁棒性，取得更好的性能。

附图说明

图1是本发明实施例中采用同一材料平面的像素值在RGB空间的分布规律示意图；

其中，(a)为从道路图像中选出的路面区域(感兴趣对象的样本)；(b)为该区域的各个像素点；(c)为将像素点绘制到RGB三维空间，这些点分布在一条直线附近；(d)为将三维空间的像素点投影到GB二维平面上，这些点的坐标可以用一个直线去拟合。

图2为本发明实施例的去阴影效果图；

其中，左图均为原始图像的灰度图；右图为得到的相应的无阴影图像。

图3是道路检测任务说明；

其中，左图(a)是原始图像，作为输入；右图(b)为输出的处理结果，通过一个二值图像表征路面区域位置。

图4是本发明提供的将图像去阴影方法应用于道路路面检测的方法流程框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种彩色图像去阴影方法和基于该方法对道路路面区域进行检测的应用，提供了利用所述去阴影方法解决强阴影下的道路路面检测问题的实施实例。本发明方法能够去除彩色图像中存在的阴影，作为预处理步骤应用到多种机器视觉领域。

以下叙述本发明提供的图像去阴影方法和道路路面检测方法的具体实施。去阴影方法包括无阴影特征分析，无阴影变换参数获取、无阴影特征成像；道路路面检测方法包括先进行感兴趣区域选择和特征提取(采用前面的无阴影特征提取方法)，再进行图像滤波、分割和路面区域选择，最后进行图像形态学滤波和孔洞填充。

在图像去阴影方法中，无阴影特征提取子的设计框架包括三大步骤：无阴影特征分析，无阴影变换参数获取和无阴影特征成像：

无阴影特征分析：根据对含阴影图像中同一材料在不同光照下的像素RGB值进行统计分析或者从物理成像模型出发，找出其中不变的特性规律，对该规律的描述即为无阴影特征的表达式K＝f(R,G,B,…)，其中K为无阴影特征矩阵，R，G，B对应原始图像的红绿蓝三个颜色分量矩阵，省略号表示其他可能的参数，f为转换表达式。具体地，我们采用RGB空间的线性规律：把位于同一材料平面上的像素映射到RGB空间，它们的像素值分布在一条直线上，如图(c)。对于不同的问题，我们可以采用不同的定义方式，以路面检测问题为例，我们可以仅选用B,G分量，给出下列无阴影特征定义：

$f:(G,B,b)\→K,K=\frac{G-b}{B}$

其中，b为待确定的额外参数。该定义的导出是利用了B,G分量之间的线性关系。将图右图的三维像素分布投影到BG坐标平面后，可以看到BG之间服从线性关系(如图1(d))，因此对于路面区域，K的取值为一个定值，K即为所求的无阴影特征矩阵。此外，利用RGB空间的线性规律还可以定义很多其他的变式，如选用其他两个分量的线性关系，或利用三分量的线性组合之间的线性关系。

无阴影变换参数获取。在表达式中，除了各点的像素值(R、G、B外)待确定外，一般还有其他参数需要确定。通过数据拟合或者其他标定方法确定这些参数。在前面的定义中，b是待确定的参数，它的几何意义是拟合直线的截距。对于路面检测问题我们感兴趣的平面是路面，对路面区域像素做拟合，取出所得直线在G轴上的截距的值，即为待确定的b的值。确定了b值后，输入一张道路彩色图像(RGB已知)，我们就可以计算出对应的无阴影矩阵。

无阴影特征成像。这一步进行对所得特征的可视化(将矩阵转换为适合人眼观察的灰度图像)，特征可视化后就得到一个无阴影特征灰度图像。在得到的无阴影图像中，感兴趣区域材料的灰度值一致，可以通过图像分割方法提取出来。最简单的成像方法是对特征矩阵直接进行归一化，即使得矩阵各个元素的值分布在0和1之间。如果有一个取值非常大或者非常小的像素，就会使得整个图像对比度很低。因此，为了得到有效的特征灰度图像，我们需要分析对于应用场合的自然图像该特征值的分布情况，剔除那些少数偏大或者偏小的像素值。以路面检测问题为例，可以取出一张或多张道路图像中的像素值，分别计算出这些像素值对应的K的取值，将K取值的最大最小值分别记作K_max和K_min，统计直方图记作H，则最优划分区间的求解可以定义为一个最优化问题：

max:g(m,n)-c(m,n),

$g(m,n)=\frac{{\Σ}_{i=m}^{n}H\left(i\right)}{{\Σ}_{i=K_{\min }}^{K_{\max }}H\left(i\right)},$

$c(m,n)=\frac{m-n}{K_{max}-K_{min}}$

其中，m和n为所求最优区间的下界和上界。求得最优解后，将(m,n)区间映射到(0，1)区间做归一化，就得到最终的无阴影灰度图C：

$C=\frac{K-m}{n-m}$

本发明还提供一种基于无阴影特征提取的道路检测框架，图1是本发明提供的将图像去阴影方法应用于道路路面检测的方法流程框图，主要包括三大部分：

图像预处理。预处理的目的是取出无关区域和干扰信息，这里通过感兴趣区域选择去除掉无关区域，通过无阴影特征提取去除掉阴影的干扰；

路面提取。通过预处理后，现有的路面提取方法可以抵御阴影的干扰，不再在强阴影下失效。路面提取主要划分为两大步骤：图像分割和路面区域选择。通过图像分割，将道路图像划分成一个个区域；接着进行路面区域选择：对各个区域进行评估，选择最可能为路面的区域；

图像后处理。路面提取得到的路面候选区域并不完美，可能含有多余或者缺失的区域。通过图像形态学滤波，可以将多余的部分去除；道路上的车道标记可能会在区域中形成孔洞，采用孔洞填充算法对这些洞进行填补。完成后处理后，输出最终的道路检测结果。

实施例一：

在本发明实施例中，基于无阴影特征提取子的设计框架，提供一种适合于路面检测的无阴影特征提取子，其步骤如下：

离线相机标定。对应用场景的图像进行标定，即人工标出其中感兴趣的对象区域。标定工作可以使用交互软件完成。对于路面检测我们感兴趣的区域是路面，打开一张含阴影图片，圈出其中部分路面区域，如图1(a)所示，交互软件会将该区域内部的图像像素，如图1(b)所示，绘制到RGB空间如图1(c)，然后投影到GB空间，像素点云的分布可以由一个直线方程去拟合，软件对数据进行拟合得到直线在G轴上的截距b即为所需的相机参数，如图1(d)。

映射范围确定。得到相机参数b后，下一步是确定归一化的区间，即前面的m和n。以前面所选的道路图像为例，为简化运算，我们选用m＝1、n＝2作为归一化区间。此外，为了使得到的无阴影灰度图更加自然，我们做了反相处理(用1-C代替C)。最终得到的无阴影灰度图定义为：

$C=2-\frac{G-b}{B}$

利用上述转换公式，即可将彩色道路图像转换为无阴影灰度图，并且实验结果表明，该公式不仅可应用于道路图像，对于大多数自然图像，该转换公式都能得到很好的去阴影效果。使用该方法得到的无阴影特征提取效果如图所示。

实施例二：

在本发明实施例中，提供一种道路路面检测方法。道路检测方法对一张驾驶员视角的道路图像进行处理，检测出其中路面所在的区域,如图3。所述道路路面检测的方法框架如图4所示，具体包括以下步骤：

感兴趣区域(ROI,Region of interest)选择。该步骤将后续处理步骤限定于一个子区域内，以提高系统效率。对无关的区域进行处理不仅浪费时间，还可能引入噪声影响系统的性能。因此第一步是定义对于实施应用来说那些图像区域是没用的，哪些区域是有用的。对后续处理有用的区域称为感兴趣区域。另外，从简单角度考虑，一般选取矩形的感兴趣区域，按照矩形的ROI窗口划分后，直接得到一个子图像，方便了后续处理。对于道路检测问题，我们感兴趣的是路面部分，而在采集设备(如行车记录仪，车载摄像头)道路图像中，路面一般位于下半部分，而上半部分主要是天空，对道路检测是干扰信息。简单地，可以直接选取下半部分图像作为感兴趣区域，也可以根据实际应用场合做一定的调整，采用更加精确的ROI。

路面特征提取。一般采用颜色信息进行路面的分割，但由于路面可能出现大量阴影，采用颜色信息进行的分割可能失效。我们采用前面提出的无阴影特征提取方法，输入ROI内的彩色图像，输出一个无阴影的灰度图像。

图像滤波去噪。在原始图像中可能存在噪声，同时前面的路面特征提取也会引入噪声。该步骤通过对图像应用一组滤波器去除这些噪声。首先利用中值滤波去除其中的椒盐噪声，其次使用平滑滤波，过滤掉高频的噪声。

图像分割。采用图像分割算法对滤波后的图像进行分割，划分为一个个连通的区域。

路面区域选择。由于路面是ROI区域内最显著的区域，其占有面积也最大，通过连通分量分析即可提取出其中面积最大的路面区域。采用连通分量是在分割区域中筛选出路面区域的最简单的方法。也可以对区域特征分类选取最接近路面特征的区域，从而更加准确地提取出路面区域。

图像形态学滤波。连通分量分析得到的路面区域可能包含了一些无关的区域，对二值图像进行形态学滤波可以将这些无关区域去除掉。

孔洞填充。路面上的道路标记可能会在提取出的区域中形成若干孔洞，通过孔洞填充算法将这些孔洞填满，得到最终的路面检测结果。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种图像去阴影方法，包括无阴影特征分析提取过程、无阴影变换参数获取过程和无阴影特征成像过程；具体包括如下步骤：

1)无阴影特征分析提取过程：对原始图像中同一材料在不同光照下的像素RGB值进行统计分析，或者通过物理成像模型找出含阴影图像中不变的特性，获得无阴影特征的表达式K＝f(R,G,B,…)，其中，K为无阴影特征矩阵；R、G、B分别对应原始图像的红绿蓝颜色的三个分量矩阵；…表示其他参数；f为转换表达式；

2)无阴影变换参数获取过程：对步骤1)所述无阴影特征矩阵K＝f(R,G,B,…)，通过确定表达式中的参数，计算得到对应的无阴影特征矩阵K；

3)无阴影特征成像过程：将所述无阴影矩阵转换为灰度图像，通过特征可视化得到无阴影特征灰度图像。

2.如权利要求1所述图像去阴影方法，其特征是，步骤1)利用RGB空间的线性关系定义所述无阴影特征的表达式；所述RGB空间的线性关系包括RGB每两个分量的线性关系或RGB三分量的线性组合的线性关系。

3.如权利要求1所述图像去阴影方法，其特征是，步骤1)选用B和G分量的线性关系表示用于路面检测的图像的无阴影特征，所述无阴影特征的表达式为式1：

其中，b为待确定的其他参数，几何意义是拟合直线的截距；对于路面区域，K的取值为一个定值，K即为所求的无阴影特征矩阵。

4.如权利要求1所述图像去阴影方法，其特征是，步骤3)所述将无阴影特征矩阵转换为灰度图像，具体通过图像分割方法提取得到感兴趣区域材料的灰度值。

5.如权利要求4所述图像去阴影方法，其特征是，所述图像分割方法具体采用对无阴影特征矩阵进行归一化，使得矩阵各个元素的值分布在0和1之间，从而得到无阴影特征灰度图像。

6.如权利要求5所述图像去阴影方法，其特征是，通过求解最优划分区间的方法获得自然图像特征值最优区间的下界和上界m和n，再将区间(m,n)映射到区间(0，1)做归一化，得到无阴影灰度图C；所述最优划分区间通过式1～式3求解：

分别计算得到一张或多张图像中的像素值对应的K的取值，将K取值的最大值和最小值分别记作K_max和K_min，统计直方图记作H：

max:g(m,n)-c(m,n) (式1)

其中，m和n为所求最优区间的下界和上界；将(m,n)区间映射到(0，1)区间做归一化：

得到最终的无阴影灰度图C。

7.权利要求1～6所述图像去阴影方法在机器视觉领域中的应用。

8.权利要求1～6所述图像去阴影方法在道路检测中的应用方法，其特征是，包括图像预处理过程、路面提取过程和图像后处理过程；首先通过无阴影特征分析提取过程进行感兴趣区域选择和特征提取，再进行图像滤波、分割和路面区域选择，最后进行图像形态学滤波和孔洞填充；具体包括如下步骤：

81)进行图像预处理，取出无关区域和干扰信息；

82)路面提取过程：包括图像分割和路面区域选择；通过所述图像分割，将道路图像划分成多个区域；通过所述路面区域选择对各个区域进行评估，选择得到最可能为路面的区域；

83)图像后处理过程：通过图像形态学滤波，将多余的部分去除；采用孔洞填充算法对路面区域中的孔洞进行填补；

完成后处理后，输出道路检测结果。

9.如权利要求8所述图像去阴影方法在道路检测中的应用方法，其特征是，步骤81)具体通过选择感兴趣区域去除无关区域；通过无阴影特征提取方法去除掉阴影的干扰，得到无阴影灰度图。

10.如权利要求9所述图像去阴影方法在道路检测中的应用方法，其特征是，所述无阴影灰度图为式5：

式5中，C为无阴影灰度图；G、B分别对应图像的绿和蓝颜色的分量矩阵；b为相机参数，为拟合得到直线在G轴上的截距。