CN115660964A - 基于阈值分区加权亮度分量的夜间道路图像增强方法 - Google Patents

Abstract

本发明提供了一种基于阈值分区加权亮度分量的夜间道路图像增强方法，包括如下步骤：根据最大熵法得到的阈值将HSV颜色空间的V分量划分为暗区和亮区；针对暗区，运用改进的双曲正割分布的累积分布函数提高其亮度，针对亮区，运用改进的双曲正切S型函数增强其亮度；将增强后的V_new(i,j)分量与原始输入图像的H、S分量融合后转换回RGB颜色空间，用非线性变换函数LC进行光照补偿；采用双尺度均值滤波增强图像细节，获得最终夜间增强图像。本发明既能提高夜间图像暗区域的亮度，同时还能避免亮区过增强，且还能够实现自适应增强，无需手动调参，能够满足智能驾驶的实时性能。

Description

基于阈值分区加权亮度分量的夜间道路图像增强方法

技术领域

本发明涉及夜间图像增强技术领域，特别是一种基于阈值分区加权亮度分量的夜间道路图像增强方法。

背景技术

计算机视觉技术是智能驾驶系统中的关键一环，尤其在傍晚或夜间等低照度条件下，拍摄到的图像往往缺失了目标的形状和高维纹理信息，存在亮度和对比度低、细节模糊、噪声大等问题，导致图像检测、识别系统无法准确清晰地识别出图像中的有用信息。要解决这一系列问题，需要对获取到的夜间道路图像进行质量增强处理。夜间图像增强的最终目的是提高图像的亮度和对比度，并抑制噪声的放大，恢复更多的图像细节。

传统方法包括直方图均衡化、基于Retinex理论、基于数学模型等。近些年，国内外学者围绕夜间环境下视觉图像处理技术进行了相关研究。论文《基于光照图估计的Retinex低照度图像增强算法》中，基于Retinex理论提出用L2范数初始化光照图，改进RTV模型细化光照图，增强了图像的对比度，但该模型鲁棒性差，算法耗时长。论文《基于光照分量校正和补偿的低照度图像增强算法》中，使用多尺度梯度域引导滤波和二维自适应伽马校正对亮度分量处理得到光照图，该算法提高了图像整体亮度，但阴影区域增强不明显。

此外，深度学习也逐渐应用于计算机视觉领域，并取得了一些成果。现已存在现有技术利用神经网络来训练权重参数、学习图像特征，达到增强图像的效果。

但是，使用直方图均衡化方法处理夜间低照度图像时，将一副图像的直方图分布变成近似均匀分布，由于夜间图像普遍偏暗，低像素值偏多。直方图均衡化以后，像素值动态范围被扩大，导致变换后图像的灰度级减少，不能保证图像的细节信息。由于夜间道路图像常有人造光源(如车灯、路灯、建筑反光材料等)的干扰，导致获取图像存在伪影现象，致使直方图有高峰，经处理后会出现过增强或曝光现象。

Retinex理论在对光照图像进行估计时，都会假设初始光照图像是缓慢变化的，即光照图像是平滑的，但在亮度相差很大的边缘处，光照变化是非平滑的。在这种情况下，Retinex增强算法在亮度差异大的边缘处易产生光晕现象。而且，无论是单尺度还是多尺度的 Retinex算法，都是分通道单独进行，对于RGB彩色图像，由于没有考虑到不同颜色通道之间的关系，导致有些图像处理完后发生色偏、失真等现象，对彩色图像具有局限性。

基于数学模型的方法，更多的是基于各种先验条件基础上的，其模型的实用条件有限，鲁棒性差。

基于深度学习的图像增强方法虽然效果较好，但是训练模型对实验设备要求高，数据集的采集和建立也是一个难题。

总之，现有夜间图像增强技术存在主要存在如下缺陷：

(1)现有方法大多是使用全局无差别的方式增强夜间图像，但由于夜间道路上常有路灯、车灯、建筑反光等光源的存在，易导致图像暗区亮度增强的同时，在光源区域过增强，发生曝光现象；

(2)智能驾驶系统是动态路径、图像识别和系统操作实时进行的，然而现有技术中还存在一些方法在运行时需手动调整参数，这对于智能驾驶的实时性能来说得不到满足。

发明内容

为了克服现有技术的不足，本发明提供了一种基于阈值分区加权亮度分量的夜间道路图像增强方法，既能提高夜间图像暗区域的亮度，同时还能避免亮区(如灯光、建筑物反光等)过增强，且还能够实现自适应增强，无需手动调参，能够满足智能驾驶的实时性能。

本发明解决其技术问题所采用的技术方案是：一种基于阈值分区加权亮度分量的夜间道路图像增强方法，包括如下步骤：

S1.对原始输入图像用最大熵法获取阈值，将原始输入图像从 RGB颜色空间转换为HSV颜色空间，根据最大熵法得到的阈值将 HSV颜色空间的V分量划分为暗区和亮区；

S2.针对暗区，运用改进的双曲正割分布的累积分布函数提高其亮度，该累积分布函数定义如下：

其中，(i,j)是像素点的位置索引，V_new-CDF-HSD(i,j)是增强后的亮度分量，V(i,j)是转换为HSV颜色空间后的V分量；

为权重矩阵，公式为：

针对亮区，运用改进的双曲正切S型函数增强其亮度，该双曲正切S型函数定义如下：

其中，V_new-tan-S(i,j)是使用改进的双曲正切S型函数对V分量进行映射处理后的结果；λ是控制增强过程的标量，公式为：

式中，s(X)为原始输入图像的灰度值方差；

S3.将增强后的V_new(i,j)分量与原始输入图像的H、S分量融合后转换回RGB颜色空间，用非线性变换函数LC进行光照补偿，该LC 函数定义如下：

式中，I_in为亮度增强后转换回RGB颜色空间的图像；

S4.采用双尺度均值滤波增强图像细节，获得最终夜间增强图像。

进一步地，步骤S3中对图像进行光照补偿后，通过灰度世界法对图像进行色偏调整。

进一步地，所述通过灰度世界法对图像进行色偏调整的具体操作为：

计算RGB三通道的均值

定值K可以表示为：

三通道的增益系数：

调整后的RGB值为R′、G′、B′：

R′＝β_R*R，G′＝β_G*G，B′＝β_B*B。

进一步地，步骤S1中所述根据最大熵法得到的阈值将HSV颜色空间的V分量划分为暗区和亮区的具体操作为：

图像熵定义：

式中，H(I)为图像熵，(u,v)为像素点的位置索引，g＝I(u,v)，I 为输入图像，p(g)为像素(u,v)的概率；给定一个阈值q，分别求出q阈值分割出的暗区和亮区的累积概率P_L(q)、P_D(q)，两者和为1；两区域对应的熵表示如下：

式中，H_L(q)、H_D(q)分别表示亮区和暗区的熵；

在阈值q下，图像总熵为：

H(q)＝H_L(q)+H_D(q)

H＝max(H(q))

计算所有阈值下的图像总熵H(q)，将最大熵H＝max(H(q))对应的阈值作为最佳阈值T；

在HSV颜色空间中，将亮度分量V像素值t≤T的区域划分为暗区，将亮度分量V像素值t>T的区域划分为暗区。

进一步地，步骤S4的具体操作为：

通过均值滤波将图像分解成不同尺度的图层：

B＝X*Z

其中，X为经步骤S3处理后所获得的增强图像，Z为均值滤波器，B为均值滤波卷积后的图像，表示图像基础层；

从增强图像中减去基础层得到细节层D，即：

D＝X-B

将细节层D与经步骤S3处理后所获得的图像相加，最终输出图像I_output：

I_output＝X+D

I_output即为所述最终夜间增强图像。

本发明的积极效果：

(1)通过最大熵法得到的最佳阈值对亮度分量V进行分区，同时采用改进的双曲正割分布的累积分布函数提高暗区亮度，采用改进的双曲正切S型函数增强亮区亮度，此方式不仅能够提高低强度和中等强度像素，同时还能够抑制高强度像素过增加，从而增强夜间图像整体亮度，且对比度也随之提高。

(2)本发明采用非线性变换函数LC对图像进行光照补偿，改善了夜间图像色彩失真问题。

(3)自适应参数，不需要手动调参，因此可节省运算时间。

附图说明

图1是本发明所述夜间道路图像增强方法的流程示意图；

图2a是不同λ值对应的函数图像；

图2b是改进前后的函数图像对比图；

图3a是原始输入图像；

图3b是最终输出图像；

图3c是原始输入图像的直方图；

图3d是最终输出图像的直方图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细说明。

参照图1，本发明优选实施例提供一种基于阈值分区加权亮度分量的夜间道路图像增强方法，包括如下步骤：

S1.对原始输入图像使用最大熵法得到一个阈值，将原始输入图像从RGB颜色空间转换为HSV颜色空间，根据最大熵法得到的阈值将HSV颜色空间的V分量划分为暗区和亮区，具体操作为：

图像熵定义：

式中，H(I)为图像熵，(u,v)为像素点的位置索引，g＝I(u,v)，I 为输入RGB图像，p(g)为像素(u,v)的概率；给定一个阈值q，分别求出q阈值分割出的暗区和亮区的累积概率P_L(q)、P_D(q)，两者和为1；两区域对应的熵表示如下：

式中，H_L(q)、H_D(q)分别表示亮区和暗区的熵；

在阈值q下，图像总熵为：

H(q)＝H_L(q)+H_D(q)

H＝max(H(q))

计算所有阈值下的图像总熵H(q)，将最大熵H＝max(H(q))对应的阈值作为最佳阈值T；

在HSV颜色空间中，将亮度分量V像素值t≤T的区域划分为暗区，将亮度分量V像素值t>T的区域划分为亮区。

夜间图像的明显特征是整体亮度较暗，所以对亮度的增强是夜间图像增强的首要工作。现有增强方法多为全局增强，易导致亮区域过增强。在亮度增强过程中，需提高暗区强度，同时抑制亮区强度过度增强，以免产生曝光现象。因此，本专利提出使用最大熵原理将图像分为暗区和亮区两部分，并对其分别处理。

除最大熵法外，也存在其他阈值分割方法，如全局阈值法、最大类间方差法。全局阈值法仅在物体的灰度值和背景的灰度值不变的情况下效果很好,但更多的情况是照明情况并不均匀。最大类间方差法对图像噪声敏感，只能针对单一目标分割，当目标和背景大小比例悬殊时，类间方差函数可能呈现双峰或者多峰，无法准确地设计阈值，故会造成分割结果不理想；且这两种算法均需手动确定阈值。最大熵原理分区的优势：自动确定阈值，根据包含信息量的多少来分割，尽可能区分出更准确的亮区和暗区。

S2.针对暗区，运用双曲正割分布的累积分布函数(CDF-HSD) 来提高亮度，此类函数具有平滑性和渐进性，且保持单调递增。标准 CDF-HSD为：

为了提高函数在暗区域亮度和对比度方面的增强能力，本专利对其进行了改进，改进后的双曲正割分布的累积分布函数定义如下：

其中，(i,j)是像素点的位置索引，V_new-CDF-HSD(i,j)是增强后的亮度分量，V(i,j)是转换为HSV颜色空间后的V分量；

为权重矩阵，控制亮度增强程度，其计算公式为：

其中，V(i,j)是转换为HSV颜色空间后的V分量。

针对亮区，为避免过增强，对亮区进行数据平缓处理。tan-sigmoid 函数(双曲正切S型函数)特性是在大于零的领域内，图像光滑递增，达到一定值后，递增缓慢直至恒定，可以满足平缓处理需求，标准函数定义如下：

f(x)值域为[-1,1]，由于像素值为非零值，且为了避免像素值处理结果为负，故对该函数进行改进，改进后的双曲正切S型函数定义如下：

其中，V_new-tan-S(i,j)是使用改进的双曲正切S型函数对V分量进行映射处理后的结果；(i,j)是像素点的位置索引；V(i,j)是转换为 HSV空间后的V分量；λ是控制增强过程的标量，公式为：

式中，s(X)为原始输入图像的灰度值方差；λ保留两位小数，由图2a可以看出：其值越小，亮度越大，但不宜过小，过度减小λ会导致像素超出标准范围成为无效像素，λ最佳范围为2～7。

改进前后的函数图像对比如图2b所示(λ取2)，在高强度像素区域(如曝光区域)，f(x)函数值过度下降，而改进后的V_new-tan-S(i,j)做一个递缓处理，避免出现过增强现象。

最终获得增强后的V_new(i,j)分量如下所示：

S3.将增强后的V_new(i,j)分量与原始输入图像的H、S分量融合后转换回RGB颜色空间，此时得到的图像亮度整体偏暗，因此，需要进行光照补偿。本专利采用非线性变换函数(Illumination compensation，LC)进行光照补偿(其他光照补偿有伽马矫正等，伽马矫正需要设计伽马值，自适应性差，本专利提出法光照补偿方法是自适应补偿光照)，该LC函数定义如下：

式中，I_in为亮度增强后转换回RGB颜色空间的图像；||表示绝对值，1.3×I_in调整图像色度。该映射函数可以增强图像整体亮度，同时不会影响图像对比度效果。

光照补偿处理后的图像可能存在轻微色偏问题，需进行颜色平衡。灰色世界法认为：对于一幅色彩变化的图像，其RGB三个通道的平均值趋于一个定值K。将这一假设用于待处理图像，消除光照环境对图像颜色的影响。即本专利通过灰度世界法进行色偏调整，削弱图像中环境光的影响，还原后的图像更符合真实场景，具体操作如下：

计算RGB三通道的均值

定值K可以表示为：

三通道的增益系数：

调整后的RGB值为R′、G′、B′：

R′＝β_R*R，G′＝β_G*G，B′＝β_B*B。

常见颜色平衡方法有完美反射法、色温估计法等。完美反射法的亮度最大区域不是白色时效果不佳，RGB值易溢出(大于255)。色温估计法算法复杂，运算耗时，不能满足夜间道路视觉处理的实时性要求。本专利所采用的灰度世界法算法简单、易实现且运行速度快。

S4.采用双尺度均值滤波增强图像细节，获得最终夜间增强图像：

在前述增强的过程中，像素之间的非线性映射易造成道路图像中车道线边缘位置像素梯度突变，导致车道线边缘信息、纹理细节丢失。因此，本专利采用双尺度均值滤波，对图像进行降噪处理，同时恢复更多细节信息，具体操作为：

通过均值滤波将图像分解成不同尺度的图层：

B＝X*Z

其中，X为经步骤S3处理后所获得的增强图像，Z为均值滤波器，若图像尺寸较小，选择滤波半径3x3。B为均值滤波卷积后的图像，表示图像基础层；

从增强图像中减去基础层得到细节层D，即：

D＝X-B

双尺度分解的目的是为了得到基础层B和细节层D，将细节层D 与经步骤S3处理后所获得的图像相加，最终输出图像I_output：

I_output＝X+D

I_output即为所述最终夜间增强图像。

经过本专利所述方法对夜间图像进行增强处理后，低照度图像中道路交通信息细节得到了有效改善，道路图像中的车道线和地标提示信息更明显(如图3a、图3b对比所示)。此外，从增强前后图像的直方图(图3c、图3d)可以看出，增强后图像的直方图扩大了灰度级等级，灰度级整体向右偏移，且中等强度像素数量偏多。由此可见，图像的视觉效果得到了整体提升。

以上所述的仅为本发明的优选实施例，所应理解的是，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，并不用于限定本发明的保护范围，凡在本发明的思想和原则之内所做的任何修改、等同替换等等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于阈值分区加权亮度分量的夜间道路图像增强方法，其特征在于，包括如下步骤：

S1.对原始输入图像用最大熵法获取阈值，将原始输入图像从RGB颜色空间转换为HSV颜色空间，根据最大熵法得到的阈值将HSV颜色空间的V分量划分为暗区和亮区；

S2.针对暗区，运用改进的双曲正割分布的累积分布函数提高其亮度，该累积分布函数定义如下：

其中，(i,j)是像素点的位置索引，V_new-CDF-HSD(i,j)是增强后的亮度分量，V(i,j)是转换为HSV颜色空间后的V分量；

为权重矩阵，公式为：

针对亮区，运用改进的双曲正切S型函数增强其亮度，该双曲正切S型函数定义如下：

其中，V_new-tan-S(i,j)是使用改进的双曲正切S型函数对V分量进行映射处理后的结果；λ是控制增强过程的标量，公式为：

式中，s(X)为原始输入图像的灰度值方差；

S3.将增强后的V_new(i,j)分量与原始输入图像的H、S分量融合后转换回RGB颜色空间，用非线性变换函数LC进行光照补偿，该LC函数定义如下：

式中，I_in为亮度增强后转换回RGB颜色空间的图像；

S4.采用双尺度均值滤波增强图像细节，获得最终夜间增强图像。

2.根据权利要求1所述的一种基于阈值分区加权亮度分量的夜间道路图像增强方法，其特征在于：步骤S3中对图像进行光照补偿后，通过灰度世界法对图像进行色偏调整。

3.根据权利要求2所述的一种基于阈值分区加权亮度分量的夜间道路图像增强方法，其特征在于：所述通过灰度世界法对图像进行色偏调整的具体操作为：

计算RGB三通道的均值

定值K可以表示为：

三通道的增益系数：

调整后的RGB值为R′、G′、B′：

R′＝β_R*R，G′＝β_G*G，B′＝β_B*B。

4.根据权利要求1所述的一种基于阈值分区加权亮度分量的夜间道路图像增强方法，其特征在于：步骤S1中所述根据最大熵法得到的阈值将HSV颜色空间的V分量划分为暗区和亮区的具体操作为：

图像熵定义：

式中，H(I)为图像熵，(u,v)为像素点的位置索引，g＝I(u,v)，I为输入图像，p(g)为像素(u,v)的概率；给定一个阈值q，分别求出q阈值分割出的暗区和亮区的累积概率P_L(q)、P_D(q)，两者和为1；两区域对应的熵表示如下：

式中，H_L(q)、H_D(q)分别表示亮区和暗区的熵；

在阈值q下，图像总熵为：

H(q)＝H_L(q)+H_D(q)

H＝max(H(q))

计算所有阈值下的图像总熵H(q)，将最大熵H＝max(H(q))对应的阈值作为最佳阈值T；

在HSV颜色空间中，将亮度分量V像素值t≤T的区域划分为暗区，将亮度分量V像素值t>T的区域划分为暗区。

5.根据权利要求1所述的一种基于阈值分区加权亮度分量的夜间道路图像增强方法，其特征在于：步骤S4的具体操作为：

通过均值滤波将图像分解成不同尺度的图层：

B＝X*Z

其中，X为经步骤S3处理后所获得的增强图像，Z为均值滤波器，B为均值滤波卷积后的图像，表示图像基础层；

从增强图像中减去基础层得到细节层D，即：

D＝X-B

将细节层D与经步骤S3处理后所获得的图像相加，最终输出图像I_output：

I_output＝X+D

I_output即为所述最终夜间增强图像。

Images