CN115330608A

CN115330608A - 基于多尺度滤波器的低照度图像增强方法和装置

Info

Publication number: CN115330608A
Application number: CN202210815038.9A
Authority: CN
Inventors: 金益
Original assignee: Suzhou Vocational University
Current assignee: Suzhou Vocational University
Priority date: 2022-07-12
Filing date: 2022-07-12
Publication date: 2022-11-11

Abstract

本发明实施例公开了基于多尺度滤波器的低照度图像增强方法和装置。所述方法，包括：获取低照度的原始图像；将所述原始图像由RGB颜色空间转换至HSV颜色空间；根据所述原始图像在HSV颜色空间中的亮度分量，估计所述原始图像的照度图像；基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像；对所述滤波后的照度图像进行处理，得到增强图像。基于该方法和装置，可以提升对于低照度图像的增强效果，有效增强低照度图像的图像质量。

Description

基于多尺度滤波器的低照度图像增强方法和装置

技术领域

本发明实施例涉及计算机技术领域，尤其涉及基于多尺度滤波器的低照度图像增强方法、装置、电子设备和存储介质。

背景技术

图像识别已经在故障处理、环境监测、分类识别、异常检测等领域发挥出了不可替代的作用。图像识别由多个环节组成，其中图像增强是除了最终识别环节之外的一个最为关键的环节。图像增强是提升图像质量过程中必不可少的一个关键环节，因此，图像增强效果会直接影响最终识别的准确性和效率。在采集图像过程中，在多种夜间因素的综合作用下，周围环境完全处在一个低照度的状态，导致所采集到的图像噪声增加，质量下降，使得采集结果的可应用性不强，所以给相关工作造成了很大的困难。

现阶段，深度学习方法已经在图像增强领域得到了广泛应用。例如闫飞等人提出了一种基于卷积神经网络的舰船图像增强方法，该方法采用同态滤波器对原始舰船图像进行预处理，优化舰船图像的细节信息，引入卷积神经网络对舰船图像色彩进行校正处理和补偿，解决舰船图像偏色问题，以此提升图像增强效果。钟元权提出了一种基于混合随机深度学习的页岩地层图像增强方法，该方法以有限数量的高分辨率图像为基础，使用一种重建方法来生成大量合理的岩层图像，并将其应用至深度学习网络中来，利用训练好的深度学习网络进行页岩地层图像增强。除深度学习方法之外，还可以采用 Retinex算法进行图像增强。例如，Park S等人利用Retinex算法进行图像增强，其原理是从原始图像中估计入射光，从而得到反射率，据此对图像采集角度与方式进行调整，以达到图像质量的增强。然而，上述方法均存在未针对原始图像采取滤波处理，导致图像增强效果不理想的问题。

发明内容

本发明实施例的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

本发明实施例提供了基于多尺度滤波器的低照度图像增强方法、装置、电子设备和存储介质，其可以提升对于低照度图像的增强效果，有效增强低照度图像的图像质量。

第一方面，提供了一种基于多尺度滤波器的低照度图像增强方法，包括：

获取低照度的原始图像；

将所述原始图像由RGB颜色空间转换至HSV颜色空间；

根据所述原始图像在HSV颜色空间中的亮度分量，估计所述原始图像的照度图像；

基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像；

对所述滤波后的照度图像进行处理，得到增强图像。

可选地，所述基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像，包括：

针对所述照度图像设置多个尺度，为每个尺度设置多个尺度取值；

基于所述引导滤波器和每个尺度下的每个尺度取值，对所述照度图像进行滤波，得到每个尺度下与所述多个尺度取值相对应的多个滤波结果；

从每个尺度的多个滤波结果中选择最优的一个滤波结果作为每个尺度下的目标滤波结果；

基于所述多个尺度下的多个目标滤波结果，得到所述滤波后的照度图像。

可选地，所述基于所述多个尺度下的多个目标滤波结果，得到所述滤波后的照度图像，包括：

对所述多个目标滤波结果进行平均，得到所述滤波后的照度图像。

可选地，所述对所述滤波后的照度图像进行处理，得到增强图像，包括：

基于所述滤波后的照度图像以及所述多个目标滤波结果中的最大值，对所述滤波后的照度图像进行亮度校正，得到校正后的照度图像；

对所述校正后的照度图像进行处理，得到所述增强图像。

可选地，所述基于所述滤波后的照度图像以及所述多个目标滤波结果中的最大值，对所述滤波后的照度图像进行亮度校正，得到校正后的照度图像，包括：

针对所述滤波后的照度图像

基于以下公式进行伽马亮度校正，得到所述校正后的照度图像：

其中，L′代表所述校正后的照度图像，

代表所述多个目标滤波结果中的最大值，cdf(·)代表所述滤波后的照度图像

概率密度的累计分布函数。

可选地，所述对所述校正后的照度图像进行处理，得到所述增强图像，包括：

基于Retinex算法，对所述校正后的照度图像进行亮度增强，得到亮度增强的反射图像；

对所述亮度增强的反射图像进行饱和度线性拉伸，得到饱和度线性拉伸处理后的反射图像；

对所述饱和度线性拉伸处理后的反射图像进行处理，得到所述增强图像。

可选地，所述对所述饱和度线性拉伸处理后的反射图像进行处理，得到所述增强图像，包括：

将所述饱和度线性拉伸处理后的反射图像由所述HSV颜色空间转换至所述RGB颜色空间；

对所述转换至所述RGB颜色空间的反射图像进行颜色恢复处理，得到所述增强图像。

第二方面，提供了一种基于多尺度滤波器的低照度图像增强装置，包括：

原始图像获取模块，用于获取低照度的原始图像；

颜色空间转换模块，用于将所述原始图像由RGB颜色空间转换至HSV 颜色空间；

照度图像估计模块，用于根据所述原始图像在HSV颜色空间中的亮度分量，估计所述原始图像的照度图像；

多尺度滤波模块，用于基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像；

增强图像生成模块，用于对所述滤波后的照度图像进行处理，得到增强图像。

第三方面，提供了一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的方法。

第四方面，提供了一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现所述的方法。

本发明实施例至少包括以下有益效果：

本发明实施例提供的基于多尺度滤波器的低照度图像增强方法、装置、电子设备和存储介质。该方法首先获取低照度的原始图像，将所述原始图像由RGB颜色空间转换至HSV颜色空间，再根据所述原始图像在HSV颜色空间中的亮度分量，估计所述原始图像的照度图像，然后基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像，最后对所述滤波后的照度图像进行处理，得到增强图像。基于该方法和装置，基于引导滤波器对原始图像的照度图像进行多尺度滤波，提升对于低照度图像的增强效果，有效增强低照度图像的图像质量。

本发明实施例的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明实施例的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明一个实施例提供的基于多尺度滤波器的低照度图像增强方法的流程图；

图2为本发明一个实施例提供的RGB颜色空间的示意图；

图3为本发明一个实施例提供的HSV颜色空间的示意图；

图4本发明一个实施例提供的滤波后的照度图像的处理过程的流程图；

图5本发明一个实施例提供的校正后的照度图像的处理过程的流程图；

图6A为本发明另一个实施例提供的原始图像Image1；

图6B为本发明另一个实施例提供的原始图像Image2；

图6C为本发明另一个实施例提供的原始图像Image3；

图6D为本发明另一个实施例提供的原始图像Image4；

图6E为本发明另一个实施例提供的原始图像Image5；

图7A为本发明另一个实施例提供的基于多尺度滤波器的低照度图像增强方法对原始图像Image2处理得到的增强图像；

图7B为基于卷积神经网络的增强方法对原始图像Image2处理得到的增强图像；

图7C为基于混合随机深度学习的增强方法对原始图像Image2处理得到的增强图像；

图7D为基于Retinex算法的增强方法对原始图像Image2处理得到的增强图像；

图8A为本发明另一个实施例提供的基于多尺度滤波器的低照度图像增强方法对原始图像Image3处理得到的增强图像；

图8B为基于卷积神经网络的增强方法对原始图像Image3处理得到的增强图像；

图8C为基于混合随机深度学习的增强方法对原始图像Image3处理得到的增强图像；

图8D为基于Retinex算法的增强方法对原始图像Image3处理得到的增强图像；

图9为本发明一个实施例提供的基于多尺度滤波器的低照度图像增强装置的结构示意图；

图10为本发明一个实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图对本发明实施例做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

在夜间这种光照程度极为不足的环境下所采集到的图像清晰度普遍较低，图像中很多有价值的信息都会隐藏起来，导致无法从图像中准确提取出所需要的信息，降低了图像识别的准确度，因此对图像质量进行增强是十分必要的。基于此，本发明实施例提供了一种基于多尺度滤波器的低照度图像增强方法，其基于引导滤波器对原始图像的照度图像进行多尺度滤波，以提升对于低照度图像的增强效果，有效增强低照度图像的图像质量。

图1为本发明实施例提供的基于多尺度滤波器的低照度图像增强方法的流程图，由具有处理能力的系统、服务端设备或基于多尺度滤波器的低照度图像增强装置执行。如图1所示，该方法包括：

步骤110，获取低照度的原始图像。

这里，原始图像可以是在光照程度不足的环境下采集的图像，例如在夜间采集的图像。本发明实施例对此不做具体限定。为描述方便，以下将“低照度的原始图像”简称为“低照度图像”或“原始图像”。

步骤120，将所述原始图像由RGB颜色空间转换至HSV颜色空间。

由于原始图像的亮度较低，因此需要对亮度分量进行增强处理。在对原始图像的亮度分量进行增强处理之前，需要先将原始图像转换至HSV颜色空间。此外，低照度图像往往带有色彩，不同的色彩组成一个完整的颜色空间。颜色空间的表现形式多样，不同的颜色空间之间存在联系，彼此之间可以转换。为更好的处理彩色图像，以获得更好的图像增强效果，对低照度图像进行颜色空间的转换，即将原始图像从RGB颜色空间转换至HSV颜色空间。

图2示出了RGB颜色空间。如图2所示，RGB颜色空间中的R、G、B 分别对应三种基本色，即红色、绿色和蓝色。R、G、B三种基础颜色共同构成了图像色彩，彼此间常常叠加组成其它颜色，一旦其中一种颜色的分量发生改变，也会影响其它两种分量，所以常常会产生颜色失真问题。

图3示出了HSV颜色空间。如图3所示，HSV颜色空间中的H(Hue)、S(Saturation)、V(Value)分别代表由色调、饱和度和亮度。其中，H、S、V的取值范围分别为[0,1]、[0°,360°]以及[0,1]。

具体地，可以基于以下公式将原始图像的RGB颜色空间转换至HSV颜色空间：

V＝max(R,G,B) (1)

式中，max(R,G,B)代表R,G,B分量中的最大值，min(R,G,B)代表R,G,B分量中的最小值。

通过本步骤的颜色空间转换后，可以获得原始图像的H、S、V分量。

步骤130，根据所述原始图像在HSV颜色空间中的亮度分量，估计所述原始图像的照度图像。

在一些实施例中，所述根据所述原始图像在HSV颜色空间中的亮度分量，估计所述原始图像的照度图像，包括：根据所述原始图像在RGB颜色空间中红色分量、蓝色分量和绿色分量中的最大值，确定全局照度图像；根据所述原始图像在HSV颜色空间中的亮度分量，确定局部照度图像；对所述全局照度图像和所述局部照度图像进行加权平均处理，得到所述照度图像。

这里，根据原始图像在RGB颜色空间中红色分量、蓝色分量和绿色分量中的最大值确定全局照度图像，将全局照度图像引入至对于照度图像的估计中，可以使原始图像全局对比度都得到增强，同时对原始图像的动态范围压缩，便于后期验证。

为方便与滤波后的照度图像进行区分，本步骤得到的照度图像也可以称为“初步估计的照度图像”。

步骤140，基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像。

在原始图像采集过程中图像会存在噪声，尤其在夜间低照度情况下，原始图像噪声更多，因此需要构造一种多尺度滤波器对原始图像进行滤波处理，以减少原始图像中的噪声。

具体地，本发明实施例采用引导滤波器进行图像去噪处理，该滤波器基本模型如下：

式中，G代表引导图像，

代表输出图像(即滤波结果)，Ω_ξ(p′)代表以像素p′为中心和ξ为半径的方形窗口，a_p′和b_p′都是窗口内的线性系数，p′代表照度图像中的像素点，p代表去噪处理后的像素点。

利用传统引导滤波器进行图像去噪的同时，为最大程度保留原始图像中的细节，可以对传统引导滤波器进行改进，将G在方形窗口内均值和方差的乘积作为权重值，给传统引导滤波器加权，即构建加权引导滤波器。

式中，G代表引导图像，

代表输出图像(即滤波结果)，Ω_ξ(p′)代表以像素p′为中心和ξ为半径的方形窗口，a_p′和b_p′都是窗口内的线性系数，p′代表照度图像中的像素点，p代表去噪处理后的像素点，w_i为方形窗内均值和方差的乘积，i代表原始图像中的像素索引。

针对一个给定的尺度，可以基于公式(4)或公式(5)对初步估计的照度图像进行滤波处理，确定在给定尺度下的滤波结果。对于给定的多个尺度，则可以基于公式(4)或公式(5)对初步估计的照度图像分别进行滤波处理，分别确定在多个尺度下的多个滤波结果。之后，可以再根据多个尺度下的多个滤波结果，确定滤波后的照度图像。

在一个给定尺度中，可以选择多个尺度取值，不同的尺度取值可能对滤波效果产生影响。因此，在每个尺度下需要选择不同的尺度取值对初步估计的照度图像进行处理，以得到处理效果最优的滤波后照度图像。在一些实施例中，所述基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像，包括：针对所述照度图像设置多个尺度，为每个尺度设置多个尺度取值；基于所述引导滤波器和每个尺度下的每个尺度取值，对所述照度图像进行滤波，得到每个尺度下与所述多个尺度取值相对应的多个滤波结果；从每个尺度的多个滤波结果中选择最优的一个滤波结果作为每个尺度下的目标滤波结果；基于所述多个尺度下的多个目标滤波结果，得到所述滤波后的照度图像。

这里，针对多个尺度中的每个尺度，为其设置一个取值范围，该取值范围包括多个尺度取值，再从每个尺度范围中选取多个尺度取值用于对照度图像进行滤波处理。在一些示例中，多个尺度包括低、中、高三个尺度。可以将低尺度的取值范围设置为[0,50]，将中尺度的取值范围设置为(50,100]，将高尺度的取值范围设置为(100,200]，再从每个尺度的取值范围中选取规定个数的尺度取值，规定个数可以是10个或者20个。本发明实施例对于每个尺度的取值范围以及具体的尺度取值不做具体限定。

对于每个尺度下的每个尺度取值，可以基于公式(4)或公式(5)中所示出的引导滤波器对初步估计的照度图像进行滤波处理，最终得到每个尺度下的多个滤波结果，其中，每个滤波结果是根据每个尺度取值计算的。

接下来，可以每个尺度下的多个滤波结果中选择出一个最优的滤波结果。这里，可以根据滤波效果，对滤波结果进行筛选。例如，可以使用现有的滤波评价指标对滤波效果进行评价，将评价指标最好的滤波结果作为每个尺度下的目标滤波结果，相应地，目标滤波结果所对应的尺度取值为每个尺度下的目标尺度取值。应该理解的是，针对多个尺度，可以得到多个目标滤波结果，多个目标滤波结果与多个尺度为一一对应的。

之后，可以基于多个尺度下的多个目标滤波结果，计算滤波后的照度图像。在一些实施例中，所述基于所述多个尺度下的多个目标滤波结果，得到所述滤波后的照度图像，包括：对所述多个目标滤波结果进行平均，得到所述滤波后的照度图像。在本实施例中，对多个目标滤波结果进行平均，相当于对多个尺度赋予相同的权重。

具体地，可以基于以下公式实现对于初步估计的照度图像的多尺度滤波：

式中，

代表滤波后的照度图像；

代表初步估计的照度图像；ε代表正则化参数；

是改进的加权引导滤波器，可以基于公式(5)进行计算；

分别代表第1个、第2个和第3个尺度下的输出图像(即滤波结果)，这里，第1个、第2个和第3个尺度可以分别对应于低尺度、中尺度和高尺度。应该理解的是，公式(6)中所使用的

为基于公式(5)计算的加权引导滤波器，在另一些示例中，公式(6)也可以使用基于公式(4)计算的传统引导滤波器。此外，在设置两个或者三个以上尺度时，也可以对公式(6)进行相应的修改，以实现多个尺度的滤波结果的计算。

步骤150，对所述滤波后的照度图像进行处理，得到增强图像。

一般情况下，低照度图像的亮度会存在明显光照不平衡的问题，因此在对初步估计的照度图像进行滤波处理后，还可以对滤波后的照度图像进行亮度校正，以解决光照不平衡的问题。

在一些实施例中，所述对所述滤波后的照度图像进行处理，得到增强图像，包括：

步骤410，基于所述滤波后的照度图像以及所述多个目标滤波结果中的最大值，对所述滤波后的照度图像进行亮度校正，得到校正后的照度图像。

在一些实施例中，可以基于伽马校正算法对滤波后的照度图像进行亮度校正。伽马校正原理是，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而扩大图像的动态范围，取得提高图像对比度的效果。基于此，本发明实施例在基于伽马校正算法对滤波后的照度图像进行亮度校正的过程中，将多个目标滤波结果中的最大值引入至公式中，以达到增大滤波后的照度图像中深度部分和浅色部分的比例，提高图像对比度的目的。

具体地，所述基于所述滤波后的照度图像以及所述多个目标滤波结果中的最大值，对所述滤波后的照度图像进行亮度校正，得到校正后的照度图像，包括：针对所述滤波后的照度图像

其中，L′代表所述校正后的照度图像，

概率密度的累计分布函数。

步骤420，对所述校正后的照度图像进行处理，得到所述增强图像。

经过亮度校正后，可以得到一幅平滑且轮廓细节清楚的高质量图像。在本实施例中继续对校正后的照度图像进行处理，以进一步提升图像增强效果。

在一些实施例中，所述对所述校正后的照度图像进行处理，得到所述增强图像，包括：

步骤510，基于Retinex算法，对所述校正后的照度图像进行亮度增强，得到亮度增强的反射图像。

以Retinex原理作为基础，计算亮度增强后的反射图像，公式如下：

式中，I(x,y)代表低照度的原始图像；L′(x,y)代表校正后的照度图像；c₁代表接近于零的常数，x,y代表像素索引。

步骤520，对所述亮度增强的反射图像进行饱和度线性拉伸，得到饱和度线性拉伸处理后的反射图像。

经过亮度增强处理后，低照度图像亮度以及清晰度将得到大幅度提升，但是图像质量还存在提升的空间。除了亮度(Value)外，HSV颜色空间中的饱和度(Saturation)也对图像质量产生重要影响。饱和度S主要反映了图像中色彩深浅程度，该值越大，色彩越丰富。由于图像的饱和度极易受到外界环境的影响，因此为了降低外界环境对图像质量的不利影响，可以通过拉伸来进行图像饱和度自适应调节以使得图像饱和度达到最佳效果。可以基于以下公式对亮度增强的反射图像进行饱和度拉伸：

式中，S′代表饱和度线性拉伸处理后的反射图像的饱和度；M_s代表亮度增强的反射图像的饱和度均值；max(R,G,B)代表原始图像中R,G,B分量中的最大值，原始图像中min(R,G,B)代表R,G,B分量中的最小值；e_s代表拉伸系数，一般取值1～1.5。

步骤530，对所述饱和度线性拉伸处理后的反射图像进行处理，得到所述增强图像。

在完成饱和度线性拉伸处理后，原始图像在HSV颜色空间中的亮度和饱和度分别得到了提升，而其中的色调(Hue)通常不对图像照度产生影响，因此对其不做处理。在所有处理均完成后，还可以对处理后的图像进行还原处理。图像还原处理包括空间转换和颜色恢复两个方面的内容。

空间转换过程是将饱和度线性拉伸处理后的反射图像从HSV颜色空间转换回RGB颜色空间的过程。具体可以基于以下公式实现空间转换：

其中：

P＝V·(1-S) (13)

Q＝V(1-F·S) (14)

T＝V·(1-(1-F)·S) (15)

经过空间转换后，图像颜色与原始图像的颜色存在偏差，不利于图像识别，因此可以进一步进行颜色恢复处理。具体地，将转换至RGB颜色空间的反射图像的R、G、B三个色彩分量与颜色恢复函数相乘。具体公式如下：

式中，G_a为增益参数；α为亮度调节参数；β为三种基本颜色比重调节比例。

式中，

代表颜色恢复完成后图像的三个颜色通道；g_i(x,y)代表饱和度线性拉伸处理后的反射图像的R、G、B三个色彩分量。

综上所述，本发明实施例提供的基于多尺度滤波器的低照度图像增强方法首先获取低照度的原始图像，将所述原始图像由RGB颜色空间转换至HSV 颜色空间，再根据所述原始图像在HSV颜色空间中的亮度分量，估计所述原始图像的照度图像，然后基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像，最后对所述滤波后的照度图像进行处理，得到增强图像。基于该方法，基于引导滤波器对原始图像的照度图像进行多尺度滤波，提升对于低照度图像的增强效果，有效增强低照度图像的图像质量。

以下提供一个具体的实施场景，以进一步说明本发明实施例提供的基于多尺度滤波器的低照度图像增强方法。

为验证本发明实施例的基于多尺度滤波器的低照度图像增强方法的应用效果，以现有技术中三种图像增强方法作为对比例，分别为基于卷积神经网络的增强方法、基于混合随机深度学习的增强方法、基于Retinex算法的增强方法。

1.1颜色空间转换

基于以下公式将原始图像的RGB颜色空间转换至HSV颜色空间：

V＝max(R,G,B) (1)

1.2基于多尺度滤波器的亮度V增强

通过上述空间转换后，获得了H、S、V分量，由于夜间低照度图像的亮度较低，在此基础上对亮度分量进行增强处理。

1.2.1照度图像估计

照度图像估计是指计算光源照射到图像上单位面积的光通量，其计算原理是将图像RGB颜色空间中的最大值作为全局照度图像，而将转换后的HSV 颜色空间中的亮度V通道作为局部照度图像，然后将二者进行加权平均处理，得到初步照度图像估计结果。

1.2.2多尺度滤波细化照度图像

采用引导滤波器进行图像去噪处理，该滤波器基本模型如下：

式中，G代表引导图像，

对传统引导滤波器进行改进，将G在方形窗口内均值和方差的乘积作为权重值，给传统引导滤波器加权，即构建加权引导滤波器。

式中，G代表引导图像，

代表输出图像(即滤波结果)，Ω_ξ(p′)代表以像素p′为中心和ξ为半径的方形窗口；a_p′和b_p′都是窗口内的线性系数，取值为0.65和0.25；p′代表照度图像中的像素点，p代表去噪处理后的像素点；w_i为方形窗内均值和方差的乘积，i代表原始图像中的像素索引。

针对照度图像设置低、中、高三个尺度，将低尺度的取值范围设置为[0,50]，将中尺度的取值范围设置为(50,100]，将高尺度的取值范围设置为(100,200]，再从每个尺度的取值范围中选取规定个数的尺度取值，规定个数可以是10个或者20个。

对于每个尺度下的每个尺度取值，可以基于公式(5)中所示出的引导滤波器对初步估计的照度图像进行滤波处理，最终得到每个尺度下的多个滤波结果，其中，每个滤波结果是根据每个尺度取值计算的。从每个尺度的多个滤波结果中选择最优的一个滤波结果作为每个尺度下的目标滤波结果。

基于以下公式实现对于初步估计的照度图像的多尺度滤波：

式中，

代表滤波后的照度图像；

代表初步估计的照度图像；ε代表正则化参数，ξ代表窗口半径；

是改进的加权引导滤波器，可以基于公式(5) 进行计算；

分别代表第1个、第2个和第3个尺度下的输出图像(即滤波结果)，ξ₁取值为5*5，ξ₂取值为7*7，ξ₃取值为 9*9，ε₁取值为15，ε₂取值为80，ε₃取值为250；这里，第1个、第2个和第 3个尺度可以分别对应于低尺度、中尺度和高尺度。

1.2.3照度图像校正

针对滤波后的照度图像

基于以下公式进行伽马亮度校正，得到校正后的照度图像：

其中，L′代表校正后的照度图像，

代表多个目标滤波结果中的最大值， cdf(·)代表所述滤波后的照度图像

概率密度的累计分布函数。

1.2.4亮度增强的反射图像

式中，I(x,y)代表低照度的原始图像；L′(x,y)代表校正后的照度图像；c₁代表接近于零的常数，取值为0.001；x,y代表像素索引。

1.3饱和度S线性拉伸处理

基于以下公式对亮度增强的反射图像进行饱和度拉伸：

式中，S′代表饱和度线性拉伸处理后的反射图像的饱和度；M_s代表亮度增强的反射图像的饱和度均值；max(R,G,B)代表原始图像中R,G,B分量中的最大值，原始图像中min(R,G,B)代表R,G,B分量中的最小值；e_s代表拉伸系数，一般取值1～1.5，本发明实施例中取值为1。

1.4图像还原

图像还原处理包括空间转换和颜色恢复两个方面的内容。

空间转换过程是将饱和度线性拉伸处理后的反射图像从HSV颜色空间转换回RGB颜色空间的过程。基于以下公式实现空间转换：

其中：

P＝V·(1-S) (13)

Q＝V(1-F·S) (14)

T＝V·(1-(1-F)·S) (15)

经过空间转换后，进一步进行颜色恢复处理。具体地，将转换至RGB颜色空间的反射图像的R、G、B三个色彩分量与颜色恢复函数相乘。具体公式如下：

式中，

2.1实验环境

实验过程中，采用的统一的实验环境，见表1。

表1实验环境

2.2图像采集

本实验中所需要的原始图像主要有五幅，为一台高清照相机在夜间的拍摄成果。该照相机功能参数如下：超高清的1600像素摄像头，拍摄画面清晰； 2.45英寸原装高清液晶显示屏，方便更直观的观察取景；1160mAh可替换式高性能电池，提供100min的4K长续航时间；超广角畸变校正功能，支持150° 超广角拍摄，一镜两用，具有超广角鱼眼效果，同时可以保留世界原来的模样。所拍摄的5幅原始图像如图6A至图6E所示，相关信息见表2。

表2 5幅原始图像的相关信息

序号	图像规格	拍摄时间
			Image1	256*256	18:00
Image2	140*140	19:00
			Image3	556*556	20:00
Image4	184*184	22:00
			Image5	300*300	24:00

2.3评价指标

图像增强质量评价标准主要有5个，这5个指标均是值越大代表图像增强质量越好。

(1)清晰度

式中，M和N分别表示图像的行和列上的像素总量；Δ_mx(i,j)和Δ_nx(i,j)分别代表了点(i,j)的像素在m和n方向上的差分。

(2)对比度值

式中，μ_x表示灰度均值；VAR表示方差。

(3)峰值信噪比

式中，L表示灰度级的范围；MSE是均方误差。

(4)结构相似度

SSIM(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ (21)

式中，α、β、γ为调节三个因子权重的常量，均大于0；l(x,y)为亮度比较因子；c(x,y)为对比度因子；s(x,y)为结构相似因子；x,y代表像素索引。

(5)信息熵

式中，p(m)是指图像中灰度级m出现的概率。

2.4图像增强效果分析

利用本发明实施例提供的基于多尺度滤波器的低照度图像增强方法以及三种对比方法进行图像增强处理。图7A示出了本发明实施例提供的基于多尺度滤波器的低照度图像增强方法对原始图像Image2处理得到的增强图像；图7B示出了基于卷积神经网络的增强方法对原始图像Image2处理得到的增强图像；图7C示出了基于混合随机深度学习的增强方法对原始图像Image2 处理得到的增强图像；图7D示出了基于Retinex算法的增强方法对原始图像 Image2处理得到的增强图像。图8A示出了本发明实施例提供的基于多尺度滤波器的低照度图像增强方法对原始图像Image3处理得到的增强图像；图 8B示出了基于卷积神经网络的增强方法对原始图像Image3处理得到的增强图像；图8C示出了基于混合随机深度学习的增强方法对原始图像Image3处理得到的增强图像；图8D示出了基于Retinex算法的增强方法对原始图像 Image3处理得到的增强图像。

统计针对5幅原始图像进行增强处理后得到的增强图像的清晰度、对比度值、峰值信噪比、结构相似度、信息熵等指标，结果见表3。

表3指标统计结果

从表3中可以看出，本发明实施例所提供的方法所得到的增强图像清晰度、对比度、峰值信噪比、结构相似度、信息熵这5项指标值均大于三种对比方法。由此可知，本发明实施例所提供的基于多尺度滤波器的低照度图像增强方法可以提升对于低照度图像的增强效果，有效增强夜间低照度图像质量。

综上所述，经过仿真实验测试，本发明实施例所提供的基于多尺度滤波器的低照度图像增强方法在5项指标的表现上均优于对比方法。本发明实施例所提供的基于多尺度滤波器的低照度图像增强方法引入多尺度滤波器，通过对亮度分量和饱和度分量进行增强处理，达到增强图像质量的目的。

图9示出了本发明实施例提供的基于多尺度滤波器的低照度图像增强装置的结构示意图。如图9所示，该基于多尺度滤波器的低照度图像增强装置 900，包括：原始图像获取模块910，用于获取低照度的原始图像；颜色空间转换模块920，用于将所述原始图像由RGB颜色空间转换至HSV颜色空间；照度图像估计模块930，用于根据所述原始图像在HSV颜色空间中的亮度分量，估计所述原始图像的照度图像；多尺度滤波模块940，用于基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像；增强图像生成模块950，用于对所述滤波后的照度图像进行处理，得到增强图像。

在一些实施例中，所述多尺度滤波模块，包括：

尺度设置子模块，用于针对所述照度图像设置多个尺度，为每个尺度设置多个尺度取值；

滤波子模块，用于基于所述引导滤波器和每个尺度下的每个尺度取值，对所述照度图像进行滤波，得到每个尺度下与所述多个尺度取值相对应的多个滤波结果；

目标滤波结果选择子模块，用于从每个尺度的多个滤波结果中选择最优的一个滤波结果作为每个尺度下的目标滤波结果；

照度图像生成模块，用于基于所述多个尺度下的多个目标滤波结果，得到所述滤波后的照度图像。

在一些实施例中，所述照度图像生成模块，具体用于：

在一些实施例中，所述增强图像生成模块，包括：

亮度校正子模块，用于基于所述滤波后的照度图像以及所述多个目标滤波结果中的最大值，对所述滤波后的照度图像进行亮度校正，得到校正后的照度图像；

增强图像生成子模块，用于对所述校正后的照度图像进行处理，得到所述增强图像。

在一些实施例中，所述亮度校正子模块，具体用于：

针对所述滤波后的照度图像

其中，L′代表所述校正后的照度图像，

概率密度的累计分布函数。

在一些实施例中，所述增强图像生成子模块，包括：

亮度增强单元，用于基于Retinex算法，对所述校正后的照度图像进行亮度增强，得到亮度增强的反射图像；

饱和度线性拉伸单元，用于对所述亮度增强的反射图像进行饱和度线性拉伸，得到饱和度线性拉伸处理后的反射图像；

增强图像生成单元，用于对所述饱和度线性拉伸处理后的反射图像进行处理，得到所述增强图像。

在一些实施例中，所述增强图像生成单元，具体用于：

图10示出了本发明实施例的电子设备。如图10所示，电子设备1000包括：至少一个处理器1010，以及与至少一个处理器1010通信连接的存储器 1020，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行的方法。

具体地，上述存储器1020和处理器1010经由总线1030连接在一起，能够为通用的存储器和处理器，这里不做具体限定，当处理器1010运行存储器 520存储的计算机程序时，能够执行本发明实施例中结合图1至图8D所描述的各项操作和功能。

在本发明实施例中，电子设备1000可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、个人数字助理(PDA)、手持装置、消息收发设备、可佩带计算设备等等。

本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现的方法。具体实现可参见方法实施例，在此不再赘述。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该存储介质中的指令。从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的存储介质构成了本发明的一部分。

存储介质包括但不限于软盘、硬盘、磁光盘、光盘、磁带、非易失性存储卡和ROM。还可以通过通信网络从服务器计算机上或者云上下载程序代码。

需要说明的是，上述各流程和各系统结构中，不是所有的步骤和模块都是必须的，可以根据实际需要忽略某些步骤和单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中的描述的装置结构可以是物理结构，也可以是逻辑结构。某个模块或单元可能由同一物理实体实现，某个模块或单元可能由多个物理实体分别实现，某个模块或单元还可以由多个独立设备中的多个部件共同实现。

尽管本发明实施例的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明实施例的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明实施例并不限于特定的细节和这里示出与描述的图例。

Claims

1.一种基于多尺度滤波器的低照度图像增强方法，其特征在于，包括：

获取低照度的原始图像；

将所述原始图像由RGB颜色空间转换至HSV颜色空间；

对所述滤波后的照度图像进行处理，得到增强图像。

2.如权利要求1所述的基于多尺度滤波器的低照度图像增强方法，其特征在于，所述基于引导滤波器，对所述照度图像进行多尺度滤波，得到滤波后的照度图像，包括：

3.如权利要求2所述的基于多尺度滤波器的低照度图像增强方法，其特征在于，所述基于所述多个尺度下的多个目标滤波结果，得到所述滤波后的照度图像，包括：

4.如权利要求2所述的基于多尺度滤波器的低照度图像增强方法，其特征在于，所述对所述滤波后的照度图像进行处理，得到增强图像，包括：

对所述校正后的照度图像进行处理，得到所述增强图像。

5.如权利要求4所述的基于多尺度滤波器的低照度图像增强方法，其特征在于，所述基于所述滤波后的照度图像以及所述多个目标滤波结果中的最大值，对所述滤波后的照度图像进行亮度校正，得到校正后的照度图像，包括：

针对所述滤波后的照度图像

其中，L′代表所述校正后的照度图像，

概率密度的累计分布函数。

6.如权利要求4所述的基于多尺度滤波器的低照度图像增强方法，其特征在于，所述对所述校正后的照度图像进行处理，得到所述增强图像，包括：

7.如权利要求6所述的基于多尺度滤波器的低照度图像增强方法，其特征在于，所述对所述饱和度线性拉伸处理后的反射图像进行处理，得到所述增强图像，包括：

8.一种基于多尺度滤波器的低照度图像增强装置，其特征在于，包括：

原始图像获取模块，用于获取低照度的原始图像；

颜色空间转换模块，用于将所述原始图像由RGB颜色空间转换至HSV颜色空间；

照度图像处理模块，用于对所述滤波后的照度图像进行处理，得到增强图像。

9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7中任一项所述的方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现权利要求1-7中任一项所述的方法。