CN113012079A - 低亮度车底图像增强方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于曝光融合的低亮度车底图像增强方法、装置及存储介质，低亮度车底图像增强方法包括如下步骤：把输入图像转为HLS色彩空间，得到H，L，S三个通道；对于亮度通道L，首先进行局部直方均衡化需要的超参tileGridSize、clipLimit的自适应搜索，然后用得到的参数对亮度通道进行局部直方均衡化，得到高亮度图像；将上步得到的高亮度图像，与原低亮度图像进行基于泊松编辑的曝光融合，然后进行双边滤波，最终得到亮度增强后的图像。本发明有效的降低了算法的计算复杂度，同时保证了优秀的细节和真实程度，并且实验验证本发明在4K级像素图像上取得了优秀的亮度增强效果和效率。

Description

低亮度车底图像增强方法、装置及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及基于曝光融合的低亮度图像增强方法。

背景技术

计算机视觉算法大规模应用的过程中，输入图像的质量不高是算法落地的一大困难，比如在车底异物检测的应用场景下，车底图像亮度低就是一个重要问题，如果能通过算法对图像进行亮度增强，可大大提高后续视觉算法的应用效果。

在计算机视觉与图像处理领域，目前主流的低亮度图像的增强方法主要可以分类为：基于灰度变换的低亮度图像增强方法、基于Retinex理论的方法、基于深度学习的低亮度图像增强方法。

基于灰度变换的低亮度图像增强方法假设图像在灰度模式下，像素灰度的分布应该服从均匀分布，该类方法对灰度计算全局映射，将输入图像的灰度分布映射到均匀分布。这类做法一方面在解全局映射函数的时候时间复杂度较高，难以应用于4k级像素的图像，另一方面生成的结果往往面临着细节信息丢失，局部过增强等问题。

基于Retinex理论的方法，认为一张拍摄的图像可以分解成两部分，即反射分量和入射分量(又称光照分量)，令I表示图像，则其可分解为I=I'×M其中，I'代表反射分量,M代表入射分量，×代表像素级别点击。通过估计并消除入射分量的不良影响，进而得到增强后的图像。然而现有的基于Retinex理论的低照度图像增强方法在照度分量估计问题上存在不足，导致增强后的图像往往会出现细节信息损失和颜色失真的问题。

基于深度学习的方法，利用低亮度图像与正常照度图像之间的非线性映射关系，采用深度神经网络模型实现从低照度图像到正常照度图像的端到端映射。虽然能够获得较高的图像视觉质量，但是该方法的处理效果很大程度上取决于训练数据集的质量。而且计算量过大，难以应用于4k级像素的图像。

发明内容

本发明提供了一种用于车底图像亮度增强方法、装置及存储介质。

车底图像亮度增强方法，包括如下步骤：

步骤1，把输入图像转为HLS色彩空间，得到H，L，S三个通道；对于亮度通道L，首先进行局部直方均衡化需要的超参tileGridSize、clipLimit的自适应搜索，然后用得到的参数对亮度通道进行局部直方均衡化，得到高亮度图像；

步骤2，将步骤1得到的高亮度图像，与原低亮度图像进行基于泊松编辑的曝光融合，然后进行双边滤波，最终得到亮度增强后的图像。

优选的，步骤1包括：

步骤1-1，读取输入的图像imgInput，然后把输入图像转换为HLS格式。HLS 是Hue(色相)、Luminance(亮度)、Saturation(饱和度)。色相是颜色的一种属性，它实质上是色彩的基本颜色，亮度就是各种颜色的图形原色（如RGB图像的原色为R、G、B三种或各种自的色相）的明暗度，亮度调整也就是明暗度的调整。亮度范围从 0到255，共分为256个等级。饱和度是指图像颜色的彩度.对于每一种颜色都有一种人为规定的 标准颜色，饱和度就是用描述颜色与标准颜色之间的相近程度的物理量。调整饱和度就是调整图像的彩度。然后计算输入图像对应的H、L、S通道的像素值，并合并保存到新的变量imghls，并获得其亮度通道L。

步骤1-2，确定参数tileGridSize（记为BS）和clipLimit（记为CL）的取值范围，以及搜索粒度。其中BS和CL 分别指使用局部直方均衡化的方法对图像的亮度通道L进行调整时，需要决定的超参tileGridSize、clipLimit。

步骤1-3，设计如下评估图像质量的方法

函数：

其中，

是优化后得到亮度通道，

是步骤1-1提取得到的输入图像的亮度通道，下标p代表一个像素，

和

分别是

，

其中的像素。α是控制系数，取值为0.5，

和

分别是水平方向和垂直方向的差分算子。

和

是水平和垂直方向的差分系数，取值为1和1。

步骤1-4，在步骤1-2确定的(BS,CL)二维空间网格中，把每个采样点的BS和CL值作为局部直方均衡化计算的参数，对L局部直方均衡化，得到L'；然后根据步骤1-3中评估图像质量的方法，计算每个采样点上的

的值，得到所有采样点的值，通过样条插值法绘制图像质量关于BS和CL的曲线；

步骤1-4-1，在步骤1-2确定的(BS,CL)二维空间网格中，把每个采样点的BS和CL值作为局部直方均衡化计算的参数，对L局部直方均衡化，得到L'。

其中局部直方图均衡算法，又称为子块直方图均衡算法按照所均衡子块的重叠程度来分类，可分为子块不重叠、子块重叠与子块部分重叠三种，本发明使用子块部分重叠的均衡算法，该方法的关键在于：

（1）子块不是逐像素移动，而是将移动步长约取为子块尺寸的几分之一。

（2）子块均衡的灰度转换函数不仅用于映射子块中心像素灰度值，而且用于映射子块所有像素的灰度值。

（3）对多次被均衡的像素，将均衡结果取平均作为该像素在输出图像中的灰度值

其特点是：

（1）由于子块部分重叠方式减少了相邻子块间的均衡函数形状差异，使块效应基本得以消除对于子块边界可能出现的少量块效应，用块效应消除滤波器 （BERF）不难克服。

（2）由于子块均衡总次数比子块重叠方式少得多，计算效率大幅度提高。

（ 3）图像细节的增强能力与子块重叠算法相近。

步骤1-4-2，根据步骤1-3中评估图像质量的方法，计算每个采样点上的

的值，得到所有采样点的值，通过样条插值法绘制图像质量关于BS和CL的曲线；

步骤1-5，根据步骤1-4得到的图像质量关于BS和CL的曲线，计算曲线各采样点的曲率，其中曲率公式为：

公式中，

是图像质量的曲线上的点，K是点

处的曲率，

是曲线在对应点上的二阶导数，

是曲线在对应点上的一阶导数的平方。求得曲线曲率最大时的BS与CL的取值（bs*，cl*）为最佳参数，用以进行后续步骤的局部均衡直方优化；

步骤1-6，把步骤1-5的BS和CL的最佳参数传到局部直方均衡化计算的函数中，然后对L进行局部直方均衡化，得到最佳的增强后的亮度通道L^*。

步骤1-7，把步骤1-6得到的L^*，和步骤1-1中的H和S进行整合，并将其转换到RGB颜色空间，得到高亮度图像imgHighlight。

优选的，步骤2包括：

步骤2-1，使用泊松编辑方法计算imgHighlight和imgInput的融合图像imgFusion。

步骤2-1-1，计算imgHighlight和imgInput的每个通道的梯度场，并按通道求和，得到融合图像的梯度场。也就是对imgHighlight和imgInput的每个通道使用gradX和gradY梯度算子进行卷积，即可得到imgHighlight和imgInput的每个通道的梯度场。然后按照通道分别求和，即得到了融合图像的梯度场的三个通道的结果。其中水平方向导数的卷积算子gradX是：

垂直方向导数的卷积算子gradY是：

步骤2-1-2，对步骤2-1-1得到的融合图像的梯度场的每个通道，分别使用laplacian算子进行卷积，从而获得融合图像的散度。

其中laplacian算子是：

步骤2-1-3，对步骤2-1-2得到的融合图像的

。根据泊松方程

其中，A为常数矩阵。调用opencv的源码中泊松方程的快速求解的方法求解线性方程，得到

。然后对各个通道进行简单的堆积，即得到了对imgHighlight和imgInput的基于泊松编辑的图像融合结果imgFusion。

步骤2-2，对步骤2-1 得到的曝光融合的结果图像imgFusion，进行双边滤波，修复异常值，得到最终亮度增强的结果图像imgOutput。

本发明在进行亮度增强时，为了适应于4K级像素的图像场景，充分考虑了如何降低算法的复杂度，提高算法的运行效率。相比于其他方法，本发明使用的对亮度通道进行局部直方均衡化的策略以及基于泊松编辑的曝光融合的方法都有效的降低了算法的计算复杂度，减少了运行时间，达到了实时运行的难点，并且在4K级像素图像上取得了优秀的亮度增强效果。

有益效果：本发明通过自适应参数搜索、局部直方均衡化、基于泊松编辑的曝光融合等方法设计的图像亮度增强方法不经可以在4K像素级的高清大图上快速运行，同时对比同任务方法取得了优秀的亮度增强结果。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1本发明中作为输入图像的低亮度车底图像的一般示例。

图2 本发明的详细流程图。

图3本发明的输入的低亮度图像以及本发明进行亮度增强后的输出图像的对比结果，其中a为输入的低亮度图像，b为基于灰度的方法进行亮度增强后的输出，c为本发明进行亮度增强后的输出图像。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

实施例1

参照本发明方法流程（如图2），具体方法包括以下步骤：

步骤1．输入低亮度图像：读取如图1所示的低亮度的车底图像，读取输入的图像为RGB格式，保存到变量imgInput，根据输入低亮度图像imgInput，求解最佳参数，并生成高亮度图像imgHighlight。

步骤1具体如下：

步骤1-1，对于输入的低亮度图像imgInput，调用opencv的cvtColor函数，计算输入图像对应的H、L、S通道的像素值，并合并保存到新的变量imghls，并获得其亮度通道L。

步骤1-2，确定参数BS和CL的取值范围，以及搜索粒度。其中，BS和CL 分别指使用局部直方均衡化的方法对图像的亮度通道L进行调整时，需要决定的超参tileGridSize、clipLimit。

本实施例设定BS的搜索范围是（0.1，0.3），搜索粒度是0.02，CL的搜索范围是（0.96，0.99），搜索粒度是0.01。

步骤1-3，设计如下评估图像质量的方法

函数：

其中，

是优化后得到亮度通道，

是步骤1-1提取得到的输入图像的亮度通道；下标p代表一个像素，

和

分别是

，

其中的像素，α是控制系数，取值为0.5，

和

分别是水平方向和垂直方向的差分算子，

和

是水平和垂直方向的差分系数；取值为1和1。

步骤1-4，在步骤1-2确定的(BS,CL)二维空间网格中，把每个采样点的BS和CL值作为局部直方均衡化计算的参数，对L局部直方均衡化，得到L'；然后根据步骤1-3中评估图像质量的方法，计算每个采样点上的

的值，得到所有采样点的值，通过样条插值法绘制图像质量

关于BS和CL的曲线；

步骤1-4-1，在步骤1-2确定的(BS,CL)二维空间网格中，把每个采样点的BS和CL值作为局部直方均衡化计算的参数，调用opencv的equalizeHist函数，对L局部直方均衡化，得到L'。

步骤1-4-2，根据步骤1-3中评估图像质量的方法，计算每个采样点上的

的值，得到所有采样点的值，通过样条插值法绘制图像质量关于BS和CL的曲线；

步骤1-5，根据步骤1-4得到的图像质量关于BS和CL的曲线，计算曲线各采样点的曲率，其中曲率公式为：

公式中，

是图像质量的曲线上的点，K是点

处的曲率，

是曲线在对应点上的二阶导数，

是曲线在对应点上的一阶导数的平方。通过二阶导数的零点求得曲线曲率最大时的BS与CL的取值（bs*，cl*）为最佳参数，用以进行后续步骤的局部均衡直方优化；

步骤1-6，把步骤1-5的BS和CL的最佳参数作为超参，调用opencv的equalizeHist函数对L进行局部直方均衡化，得到最佳的增强后的亮度通道L^*。

步骤1-7，把步骤1-6得到的L^*，和步骤1-1中的H和S进行整合，调用opencv的cvtColor函数将其转换到RGB颜色空间，得到高亮度图像imgHighlight。

步骤2：将输入的低亮度图像与得到的高连渡图像进行曝光融合。

步骤2包括：

步骤2-1，使用泊松编辑方法计算imgHighlight和imgInput的融合图像imgFusion。

步骤2-1-1，计算imgHighlight和imgInput的每个通道的梯度场，并按通道求和，得到融合图像的梯度场。也就是对imgHighlight和imgInput的每个通道使用gradX和gradY梯度算子调用opencv的filter2D函数进行卷积，即可得到imgHighlight和imgInput的每个通道的梯度场。然后按照通道分别求和，即得到了融合图像的梯度场的三个通道的结果。

其中水平方向导数的卷积算子gradX是：

垂直方向导数的卷积算子gradY是：

步骤2-1-2，对步骤2-1-1得到的融合图像的梯度场的每个通道，分别调用opencv的filter2D函数使用laplacian算子进行卷积，从而获得融合图像的散度

。

其中，laplacian算子是：

步骤2-1-3，对步骤2-1-2得到的融合图像的散度

。根据泊松方程

，

其中，A为常数矩阵。调用opencv的源码中泊松方程的快速求解的方法求解线性方程，得到

。然后对各个通道进行简单的堆积，即得到了对imgHighlight和imgInput的基于泊松编辑的图像融合结果imgFusion。

步骤2-2，对步骤2-1 得到的曝光融合的结果图像imgFusion，进行双边滤波，修复异常值，得到最终亮度增强的结果图像imgOutput。

如图3所示是本发明的输入的低亮度图像以及本发明进行亮度增强后的输出图像的对比结果，其中a为输入的低亮度图像，b为基于灰度的方法进行亮度增强后的输出图像，c为本发明进行亮度增强后的输出图像。可以看到本发明不但可以有效提高极暗区域的亮度，还可以保持大量细节的完整性。

实验结果表明，本发明不仅具有优秀的时间复杂度，同时还具有优秀的亮度增强结果。对于4K像素级的图像，本算法可以快速运行，并取得优秀结果，表1是本发明在不同尺度的输入图像上运行耗时。可以看到由于本发明，时间复杂度远低于灰度方法，所以随着图片像素级增大，本发明可以近乎实时的完成检测。

表格 1 不同增强方法在不同图像像素值情况的耗时

	1080*1920	2560*1440	3840*2160
				基于灰度的方法用时	0.19s	1.29s	21.23s
本发明用时	0.09s	0.14s	0.87s

实施例2

本发明还提供一种低亮度车底图像增强装置，包括处理器和存储器；所述存储器中存储有程序或指令，所述程序或指令由所述处理器加载并执行以实现实施例1低亮度车底图像增强方法。

实施例3

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行实施例1低亮度车底图像增强方法 。

所属领域的技术人员可以清楚地了解到，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory， ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序 代码的介质。

本发明提供的用于车底图像亮度增强的方法、装置及存储介质，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于曝光融合的低亮度车底图像增强方法，其特征在于，包括如下步骤：

步骤1，把输入图像转为HLS色彩空间，得到H，L，S三个通道；对于亮度通道L，首先进行局部直方均衡化需要的超参tileGridSize、clipLimit的自适应搜索，然后用得到的参数对亮度通道进行局部直方均衡化，得到高亮度图像；

步骤2，将步骤1得到的高亮度图像，与原低亮度图像进行基于泊松编辑的曝光融合，最终得到亮度增强后的图像;

步骤1包括：

步骤1-1，读取输入的图像imgInput，然后计算输入图像imgInput在HLS色彩空间中的映射结果，并获得其亮度通道L；

步骤1-2，进行局部直方均衡化需要的超参tileGridSize、clipLimit的自适应搜索,首先确定tileGridSize、clipLimit这两个参数的取值范围，以及搜索粒度；

步骤1-3，进行局部直方均衡化需要的超参tileGridSize、clipLimit的自适应搜索,并设计评估图像质量的方法

函数：

其中，

是优化后得到亮度通道，

是步骤1-1提取得到的输入图像的亮度通道；下标p代表一个像素，

和

分别是

，

其中的像素，α是控制系数，

和

分别是水平方向和垂直方向的差分算子，

和

是水平和垂直方向的差分系数；

步骤1-4，在步骤1-2确定的(tileGridSize、clipLimit)二维空间网格中，把每个采样点的tileGridSize和clipLimit值作为局部直方均衡化计算的参数，对L局部直方均衡化，得到L'；然后根据步骤1-3中评估图像质量的方法，计算每个采样点上的

的值，得到所有采样点的值，通过样条插值法绘制图像质量关于tileGridSize和clipLimit的曲线；

步骤1-5，根据步骤1-4得到的图像质量关于tileGridSize和clipLimit的曲线，计算曲线各采样点的曲率，其中曲率公式为：

式中，

是图像质量的曲线上的点，K是点处的

曲率，

是曲线在对应点上的二阶导数，

是曲线在对应点上的一阶导数的平方；求得曲线曲率最大时的tileGridSize和clipLimit的取值（bs*，cl*）为最佳参数，用以进行后续步骤的局部均衡直方优化；

步骤1-6，把步骤1-5的tileGridSize和clipLimit的最佳参数（bs*，cl*）作为局部直方均衡化计算的超参取值，然后对L进行局部直方均衡化，得到最佳的增强后的亮度通道L^*；

步骤1-7，把步骤1-6得到的L^*，和步骤1-1中的H和S进行整合，并将其转换到RGB颜色空间，得到高亮度图像imgHighlight。

2.根据权利要求1所述的低亮度车底图像增强方法，其特征在于，步骤2包括：

步骤2-1，使用泊松编辑方法计算imgHighlight和imgInput的融合图像imgFusion；

步骤2-2，对步骤2-1 得到的曝光融合的结果图像imgFusion，进行双边滤波，修复异常值，得到最终亮度增强的结果图像imgOutput。

3.根据权利要求2所述的低亮度车底图像增强方法，其特征在于，步骤2-1中，对imgHighlight和imgInput进行基于泊松编辑的曝光融合，得到曝光融合的结果图像imgFusion的方法是：

步骤2-1-1，计算imgHighlight和imgInput的每个通道的梯度场，并按通道求和，得到融合图像的梯度场：

对imgHighlight和imgInput的每个通道使用gradX和gradY梯度算子进行卷积，得到imgHighlight和imgInput的每个通道的梯度场；

其中水平方向导数的卷积算子gradX是：

垂直方向导数的卷积算子gradY是：

然后按照通道分别求和，即得到了融合图像的梯度场的三个通道的结果；

步骤2-1-2，对步骤2-1-1得到的融合图像的梯度场的每个通道，分别使用laplacian算子进行卷积，从而获得融合图像的散度

；

其中laplacian算子是：

步骤2-1-3，对步骤2-1-2得到的

，根据泊松方程求解线性方程，得到

；然后对各个通道进行简单的堆积，即得到了对imgHighlight和imgInput的基于泊松编辑的图像融合结果imgFusion，

其中，泊松方程为：

，

其中，A为常数矩阵。

4.根据权利要求2所述的低亮度车底图像增强方法，其特征在于，设定tileGridSize的取值范围是（0.1，0.3），搜索粒度是0.02；clipLimit的取值范围是（0.96，0.99），搜索粒度是0.01。

5.根据权利要求2所述的低亮度车底图像增强方法，其特征在于，控制系数α取值为0.5；水平方向的差分系数

取值为1，垂直方向的差分系数

取值为1。

6.一种低亮度车底图像增强装置，其特征在于，包括处理器和存储器；所述存储器中存储有程序或指令，所述程序或指令由所述处理器加载并执行以实现如权利要求1至5任一所述的低亮度车底图像增强方法。

7.一种计算机可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5任一项所述低亮度车底图像增强方法的步骤。

Images