CN115809966A

CN115809966A - 一种低照度图像的增强方法和系统

Info

Publication number: CN115809966A
Application number: CN202211414961.8A
Authority: CN
Inventors: 姜金涛; 张力; 王志花; 陈从平; 严向华; 张俊杰; 刘闻珂
Original assignee: Inner Mongolia Zhicheng Internet Of Things Co ltd
Current assignee: Inner Mongolia Zhicheng Internet Of Things Co ltd
Priority date: 2022-11-10
Filing date: 2022-11-10
Publication date: 2023-03-17

Abstract

本发明公开了一种低照度图像的增强方法和系统，涉及图像处理领域。该方法包括：获取具有图像缺陷的待处理的低照度图像，通过训练后的有效光照特征学习网络对待处理的低照度图像进行图像增强，通过训练得到的低照度图像增强模型生成的低照度增强图像，在图像细节和颜色恢复上可以得到更好的效果。

Description

一种低照度图像的增强方法和系统

技术领域

本发明涉及图像处理领域，尤其涉及一种低照度图像的增强方法和系统。

背景技术

低照度或者低照度条件下拍摄的图像具有亮度低、对比度低等缺陷，除此之外，在低照度图像的低光照区域往往隐藏大量噪声，并存在颜色失真等问题，另一方面，高质量的图像是进行图像识别、分析和理解的必要条件，因此，低照度图像增强是提高图像质量为后续图像处理做准备的重要步骤。

目前图像增强方法主要有直方图均衡化及其改进算法、Retinex及其改进算法，基于深度学习的图像增强方法等。其中，基于同态滤波和直方图均衡化的图像增强算法，在频域通过一种单参数的滤波算法，校正了光照，之后通过自适应直方图均衡化算法对HSV色彩空间的调整，提高图像对比度，该方法虽抑制了图像的噪声，提高了亮度，但图像暗部像素信息丢失严重，导致图像信息熵下降；一种基于加权直方图均衡化彩色图像增强算法，通过增加权重参数实现自适应调节图像像素信息，该方法较好的保留了图像的像素信息，但亮度信息恢复不足。改进的Retinex低照度图像清晰化算法，将低照度图像从RGB通道转换到HSV通道，对饱和度分量进行拉伸，对亮度分量进行基于BLPF的改进Retinex增强，该方法注重提高图像的对比度和亮度，而忽略了噪声对于图像细节的影响，甚至放大了噪声。

发明内容

本发明所要解决的技术问题是针对现有技术的传统低照度图像增强方法，存在颜色失真和细节增强不足的问题，提供一种低照度图像的增强方法和系统。

本发明解决上述技术问题的技术方案如下：

一种低照度图像的增强方法，包括：

获取具有图像缺陷的待处理的低照度图像；

通过训练后的有效光照特征学习网络对待处理的低照度图像进行图像增强。

本发明的有益效果是：通过训练得到的低照度图像增强模型生成的低照度增强图像，在图像细节和颜色恢复上可以得到更好的效果。

进一步地，所述有效光照特征学习网络的训练过程，包括：

将训练数据集中的正常光照图像和低照度图像输入初始光照特征学习网络模块，得到所述的正常光照图像与低照度图像之间的初始光照强度特征映射关系；

根据所述初始光照强度特征映射关系、所述正常光照图像和所述低照度图像，得到初始光照增强曲线；

根据所述初始光照增强曲线对所述训练数据集进行低照度图像增强，获得初始增强图像；

根据初始增强图像分别获得第一损失函数、第二损失函数、第三损失函数和第四损失函数；

根据所述第一损失函数的第一损失值、所述第二损失函数的第二损失值、所述第三损失函数的第三损失值、所述第四损失函数的第四损失值，调整所述初始光照增强曲线和所述初始光照特征学习网络模块，获得训练后的有效光照特征学习网络。

采用上述进一步方案的有益效果是：通过引入四种损失函数，增强效果在空间、曝光、颜色和图像平滑上取得了较好的效果，相较于现有算法，在峰值信噪比、对比度上均有提高。

进一步地，所述根据初始增强图像分别获得第一损失函数、第二损失函数、第三损失函数和第四损失函数，具体包括：

根据所述的初始增强图像，结合所述正常光照图像在相邻区域的像素值差值确定第一损失函数；

根据所述的初始增强图像在部分区域的像素平均强度值与所述正常光照图像正常曝光水平像素的强度值之间的距离，得到第二损失函数；

根据所述的初始增强图像，参考颜色恒定性方法，控制所述初始增强图像在整个图像上的像素平均值为灰色，得到第三损失函数；

根据所述的初始增强图像，控制相邻像素之间的单调性关系，得到第四损失函数。

进一步地，所述初始光照特征学习网络模块包括光照特征提取网络和对称式的卷积与反卷积网络；

所述光照特征提取网络包括深度可分离卷积网络模块和对称跳跃连接网络模块。

采用上述进一步方案的有益效果是：本方案通过使用对称式卷积结构，解决原算法计算量大的问题，通过使用深度可分离卷积轻量化网络对传统卷积进行了优化，减少网络模型计算复杂度的同时保证模型较好的增强效果。

使用对称式的卷积结构，对光照增强曲线训练前后的图像进行处理，解决了图像增强计算量过大的问题。

进一步地，所述可分离卷积模块由10层深度卷积核点卷积构成，其中，所述卷积核的大小为3×3。

本发明解决上述技术问题的另一种技术方案如下：

一种低照度图像的增强系统，包括：图像获取模块和图像增强模块；所述图像获取模块用于获取具有图像缺陷的待处理的低照度图像；

所述图像增强模块用于通过训练后的有效光照特征学习网络对待处理的低照度图像进行图像增强。

进一步地，还包括：训练模块，用于将训练数据集中的正常光照图像和低照度图像输入初始光照特征学习网络模块，得到所述的正常光照图像与低照度图像之间的初始光照强度特征映射关系；

进一步地，所述训练模块具体用于根据所述的初始增强图像，结合所述正常光照图像在相邻区域的像素值差值确定第一损失函数；

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明的实施例提供的一种低照度图像的增强方法的流程示意图；

图2为本发明的实施例提供的一种低照度图像的增强系统的结构框图；

图3为本发明的其他实施例提供的网络参数以及网络各层的连接方式示意图；

图4为本发明的其他实施例提供的为现有技术和本发明，得到的低照度图像和增强后图像的对比示意图；

图5为本发明的其他实施例提供的光照强度特征映射曲线迭代过程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明实施例提供的一种低照度图像的增强方法，包括：

S1，获取具有图像缺陷的待处理的低照度图像；

S2，通过训练后的有效光照特征学习网络对待处理的低照度图像进行图像增强。

在另一实施例中，有效光照特征学习网络的训练过程可以包括：

将训练数据集中的正常光照图像和低照度图像输入初始光照特征学习网络模块，得到所述的正常光照图像与低照度图像之间的初始光照强度特征映射关系。

所述初始光照特征学习网络模块包括光照特征提取网络和对称式的卷积与反卷积网络。

所述可分离卷积模块由10层深度卷积核点卷积构成，深度卷积用于输入图像的特征提取，其卷积核的大小为3×3，点卷积用于将不同卷积层提取的图像特征进行融合。

在某一实施例中，如图3所示，10层度可分离卷积具体包括：

在Conv_1，Conv_3，Conv_4，Conv_6，Conv_7，Conv_9层中搭配使用DW-PW的卷积方式，在Conv_2，Conv_5，Conv_8，Conv_9，Conv_10层用PW-DW-PW的卷积方式。

在另一实施例中，对称跳跃连接模块具体包括：在所述的10层深度可分离卷积层中，点卷积将Conv_1和Conv_10、Conv_2和Conv_9、Conv_3和Conv_8、Conv_4和Conv_7、Conv_5和Conv_6的特征成对融合。

在另一实施例中，将输入初始光照特征学习网络的图像进行下采样，将学习到的光照特征曲线进行上采样，两次采用所用的卷积核尺寸均为5×5。

在另一实施例中，根据所述初始光照强度特征映射关系、正常光照图像与低照度图像，得到初始光照增强曲线，具体包括：

光照特征特征曲线是单调可微的，增强后的图像每个像素值归一化后在[0，1]的范围内。

LE(I(x)；α)＝I(x)+αI(x)(1-I(x))，

其中，x为像素坐标，LE(I(x)；α)为输入I(x)增强后的值，α∈[-1，1]为可训练的曲线参数。

光照特征特征曲线可以迭代生成更高阶的曲线以达到更好的增强效果，光照强度特征映射曲线迭代过程如图5所示，迭代如下：

LE_n(x)＝LE_n-1(x)+A_n(x)LE_n-1(x)(1-LE_n-1(x))，

其中，n为迭代次数，LE_n(x)为n次迭代后的光照特征增强曲线，LE_n-1(x)为n-1后的光照特征增强曲线，A_n是与输入图像尺寸相同的参数图。

通过训练得到的低照度图像增强模型生成的低照度增强图像，在图像细节和颜色恢复上可以得到更好的效果。

可选地，在一些实施例中，所述有效光照特征学习网络的训练过程，包括：

通过引入四种损失函数，增强效果在空间、曝光、颜色和图像平滑上取得了较好的效果，相较于现有算法，在峰值信噪比、对比度上均有提高。

可选地，在一些实施例中，所述根据初始增强图像分别获得第一损失函数、第二损失函数、第三损失函数和第四损失函数，具体包括：

需要说明的是，确定第一损失函数具体包括：

增强前后的图像各个像素在空间位置上的信息应当保持一致，通过以下公式确定第一损失函数。

其中，K是局部区域的个数，Ω(i)是以区域i为中心的四邻域，j为Ω(i)四邻域中的一个邻域，Y_i为四邻域增强后图像局部区域像素的平均强度值，Y_j为四邻域中的一个邻域增强后图像像素强度值，I_i为四邻域输入图像中局部区域像素的平均强度值，I_j为四邻域中的一个邻域输入图像中像素的强度值。

需要说明的是，确定第二损失函数具体包括：

根据所述的初始增强图像在部分区域的像素平均强度值与所述正常光照图像正常曝光水平之间的距离，根据以下公式得到第二损失函数

其中，M为不重叠部分区域的个数，Y是增强图像中部分区域的像素平均强度值，K是局部区域的个数，E为正常曝光水平像素的强度值。

需要说明的是，根据所述的初始增强图像，参考颜色恒定性假设，控制初始增强图像在整个图像上的像素平均值为灰色得到第三损失函数，具体包括：

每个传感器通道中的颜色在整个图像上平均值为灰色，通过确定第三损失函数来校正增强后的图像中可能存在的颜色偏差，此损失分别作用于彩色图像的三个通道：

δ＝{(R，G)，(R，B)，(G，B)}，

其中，ε表示(R，G)，(R，B)，(G，B)两两通道的集合，p，q属于集合ε，J^p表中p通道像素值的平均强度值，J^q表示q通道像素值的平均强度值，(p，q)为一对通道。

需要说明的是，根据所述的初始增强图像，控制相邻像素之间的单调性关系，得到第四损失函数，具体包括：

其中，N为迭代次数，ξ为图像R，G，B三通道的集合，c属于集合ξ，

是与输入图像尺寸相同的参数图，

和

分别表示水平和垂直梯度运算。

在一些实施例中，根据所述第一损失函数的第一损失值、所述第二损失函数的第二损失值、所述第三损失函数的第三损失值、所述第四损失函数的第四损失值，调整所述初始光照增强曲线和所述初始光照特征学习网络模块，获得训练后的有效光照特征学习网络，具体包括：

光照特征学习网络模块中的损失函数调为整第一损失函数值、第二损失函数值、第三损失函数值和第四函数损失值的联合损失，具体包括：

l_total＝L_spa+L_exp+W_colL_col+W_tvAL_tvA，

其中，W_col和W_tvA是损失权重参数，取0.2。光照增强曲线迭代次数可以为8次。

利用最终得到的有效光照特征学习网络增强低照度图像。

可选地，在一些实施例中，所述初始光照特征学习网络模块包括光照特征提取网络和对称式的卷积与反卷积网络；

本方案通过使用对称式卷积结构，解决原算法计算量大的问题，通过使用深度可分离卷积轻量化网络对传统卷积进行了优化，减少网络模型计算复杂度的同时保证模型较好的增强效果。

可选地，在一些实施例中，所述可分离卷积模块由10层深度卷积核点卷积构成，其中，所述卷积核的大小为3×3。

在一些实施例中，低照度图像增强模型的训练过程可以包括：将训练数据集中的正常光照图像和低照度图像输入初始光照特征学习网络模块，得到所述的正常光照图像与低照度图像之间的初始光照强度特征映射关系；

根据所述初始光照强度特征映射关系、正常光照图像与低照度图像，得到初始光照增强曲线；

将得到的初始光照增强曲线用于低照度图像增强，得到初始增强图像；

根据所述的初始增强图像，正常光照图像在相邻区域的像素值差值确定第一损失函数；

根据所述的初始增强图像在部分区域的像素平均强度值与所述正常光照图像正常曝光水平之间的距离，得到第二损失函数；

根据所述的初始增强图像，参考颜色恒定性假设，控制初始增强图像在整个图像上的像素平均值为灰色得到第三损失函数；

根据所述的初始增强图像，控制相邻像素之间的单调性关系，得到第四损失函数；

根据所述的第一损失函数值、第二损失函数值、第三损失函数值和第四函数损失值调整初始光照增强曲线和初始光照特征学习网络模块确定有效光照特征学习网络模块；

利用所述有效光照特征学习网络增强低照度图像。

在另一实施例中，初始光照特征学习网络模块确定过程可以包括：

光照特征提取网络和对称式的卷积与反卷积网络；

所述光照特征提取网络包括深度可分离卷积网络模块和对称跳跃连接网络模块；

所述深度可分离卷积网络模块包括深度卷积单元和点卷积单元，深度卷积单元用于光照特征提取，点卷积单元用于融合不同卷积层；

所述对称式的卷积与反卷积结构，其中卷积结构用于标准化输入光照特征提取网络的图像尺寸，反卷积结构用于将光照特征网络提取出的光照特征作用于不同尺寸的低照度图像；

所述对称跳跃连接模块将不同尺度的图像光照特征融合，从而提高光照特征提取网络的光照特征提取能力。

在另一实施例中，初始光照增强曲线的确定过程可以包括：

所述初始光照增强曲线是单调可微分的，经光照增强曲线增强后的图像的每个像素值归一化后在固定的范围内。

所述初始光照增强曲线可以通过所述的光照特征学习网络模块迭代生成更高阶的光照增强曲线，以提高图像增强效果。

在另一实施例中，确定有效光照特征学习网络模块的过程可以包括：

根据所述初始增强图像、低照度图像、初始光照增强曲线确定有效光照特征学习网络模块包含但不仅限于十层对称式跳跃连接的深度可分离卷积层；

根据所述初始增强图像、低照度图像的尺寸确定对称式的反卷积和卷积结构的卷积核尺寸；

根据所述对称式跳跃连接的深度可分离卷积层和对称式的反卷积和卷积结构确定有效光照特征学习网络模块。

还包括：根据有效增强图像、低照度图像和正常光照图像在信息熵、对比度、PSNR上的值确定有效光照增强曲线迭代次数。

在另一实施例中，弱光图像增强方法可以包括：

将待处理的低照度图像输入初始光照特征学习网络得到初始增强图像；

将得到的初始增强图像与正常光照图像比较确定有效光照增强曲线、第一损失函数值、第二损失函数值、第三损失函数值和第四函数损失值；

根据所述的有效光照增强曲线、第一损失函数值、第二损失函数值、第三损失函数值和第四函数损失值确定有效光照特征学习网络模块；

将低照度图像送入有效光照特征网络模块完成低照度图像增强。

在某一实施例中，如图2所示，一种低照度图像的增强系统，包括：图像获取模块1101和图像增强模块1102；

所述图像获取模块1101用于获取具有图像缺陷的待处理的低照度图像；

所述图像增强模块1102用于通过训练后的有效光照特征学习网络对待处理的低照度图像进行图像增强。

可选地，在一些实施例中，还包括：训练模块，用于将训练数据集中的正常光照图像和低照度图像输入初始光照特征学习网络模块，得到所述的正常光照图像与低照度图像之间的初始光照强度特征映射关系；

可选地，在一些实施例中，所述训练模块具体用于根据所述的初始增强图像，结合所述正常光照图像在相邻区域的像素值差值确定第一损失函数；

可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。

需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。

在一些实施例中，如图4所示，利用现有技术和本发明得到的增强低照度图像的对比，本发明方法在信息熵、PSNR和对比度上均优于对比方法，具体如表1所示：

表1

读者应理解，在本说明书的描述中，参考术语″一个实施例″、″一些实施例″、″示例″、″具体示例″、或″一些示例″等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。

上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种低照度图像的增强方法，其特征在于，包括：

获取具有图像缺陷的待处理的低照度图像；

2.根据权利要求1所述的一种低照度图像的增强方法，其特征在于，所述有效光照特征学习网络的训练过程，包括：

3.根据权利要求2所述的一种低照度图像的增强方法，其特征在于，所述根据初始增强图像分别获得第一损失函数、第二损失函数、第三损失函数和第四损失函数，具体包括：

4.根据权利要求2或3所述的一种低照度图像的增强方法，其特征在于，所述初始光照特征学习网络模块包括光照特征提取网络和对称式的卷积与反卷积网络；

5.根据权利要求4所述的一种低照度图像的增强方法，其特征在于，所述可分离卷积模块由10层深度卷积核点卷积构成，其中，所述卷积核的大小为3×3。

6.一种低照度图像的增强系统，其特征在于，包括：图像获取模块和图像增强模块；

所述图像获取模块用于获取具有图像缺陷的待处理的低照度图像；

7.根据权利要求6所述的一种低照度图像的增强系统，其特征在于，还包括：训练模块，用于将训练数据集中的正常光照图像和低照度图像输入初始光照特征学习网络模块，得到所述的正常光照图像与低照度图像之间的初始光照强度特征映射关系；

8.根据权利要求7所述的一种低照度图像的增强系统，其特征在于，所述训练模块具体用于根据所述的初始增强图像，结合所述正常光照图像在相邻区域的像素值差值确定第一损失函数；

9.根据权利要求7或8所述的一种低照度图像的增强系统，其特征在于，所述初始光照特征学习网络模块包括光照特征提取网络和对称式的卷积与反卷积网络；

10.根据权利要求9所述的一种低照度图像的增强系统，其特征在于，所述可分离卷积模块由10层深度卷积核点卷积构成，其中，所述卷积核的大小为3×3。