CN112614063B - 用于楼宇内低照度环境的图像增强和噪声自适应去除方法 - Google Patents

Abstract

本发明公开了一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，其特征在于，包括：S1、采用三个不同的卷积神经网络将原始图像进行分解，分解为照度图、反射图和噪声图；S2、通过卷积神经网络对步骤S1分解出的照度图进行照度的调整；S3、将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，得到最终的增强图像。本发明卷积神经网络的深度较低，实时性比一般的低照度图像增强方法高，且不需要设计复杂的先验知识，简单易行；提升了低照度图像增强方法对于噪声的鲁棒性，能有效分离出图像的噪声，从而避免噪声在增强过程中的放大，获得视觉效果良好的图像；与现有的低照度图像增强方法结果相比，有效的降低增强后图像中的噪声。

Description

用于楼宇内低照度环境的图像增强和噪声自适应去除方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，适用于目标检测、显著性检测、语义分割、目标跟踪、人脸识别等高度依赖目标可见性的系统。

背景技术

随着手机等便于携带的移动成像设备的广泛普及，图像的获取变得越来越容易，大量处于楼宇内低照度环境下拍摄的图像开始出现。低照度图像由于其低曝光度的特性不仅会导致视觉上效果较差的影响，而且会使得目标检测、显著性检测、语义分割、目标跟踪、人脸识别等下游计算机视觉任务因为黑暗区域细节的减少而出现极大的性能下降。

为了解决低照度图像带来的各种影响，低照度图像增强技术在近些年出现蓬勃的发展。低照度图像增强技术是一种针对光照不足图像中存在的低亮度、低对比度、高噪声、颜色失真等问题的处理技术。低光照图像增强技术的主要目的是通过解决上述问题，提高图像的视觉效果，使得人类或者机器可以更多的发现原本无法察觉的细节。

常见的低照度图像增强技术有直方图均衡化、非锐化掩蔽、大气光成像模型、多曝光度图像融合、Retinex增强算法等方法。直方图均衡化技术通过对图像灰度的重新分配可以快速的实现对低光照图像的增强，但是其经常因为对局部处理较差而导致过增强或者欠增强的结果。非锐化掩蔽的方法将图像分解为低频信号和高频信号两个部分，通过单独的对低频信号中的光照进行增强而来减少噪声的引入，但其依旧无法避免过增强的结果。大气光成像模型这类方法认为低光照图像的反转图与雾天图像十分类似，因此将低光照图像增强问题转化为去雾的问题，直接使用大气光成像模型来进行求解，但是这一理论缺乏相应的物理机理来进行支撑。多曝光度图像融合的方法认为从单张低照度的图片中恢复出一个光照良好的图片是一个不适定的问题，因此它通过融合多种不同曝光度图片下的信息来达到图像增强的目的，但是现实生活中多曝光度图片的获取是较为困难的，而且长时间的曝光容易出现运动模糊等新问题。Retinex理论将图片分解为照度图和反射图两个部分，通过改变照度图中像素的强度达到低光照图像增强的目的，但是传统的Retinex理论需要复杂的先验知识来获取单一的照度图或者反射图，这一先验知识的好坏直接影响最终增强的结果，而且其对于噪声的处理能力较差往往需要复杂的后处理或者预处理完成对噪声的去除。

发明内容

本发明为了克服以上技术的不足，提供了一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法。

本发明克服其技术问题所采用的技术方案是：

一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，包括步骤：

S1、采用三个不同的卷积神经网络将原始图像进行分解，分解为照度图、反射图和噪声图；

S2、通过卷积神经网络对步骤S1分解出的照度图进行照度的调整；

S3、将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，得到最终的增强图像。

进一步地，所述步骤S1对原始图像进行分解采用如下公式：

S(x,y)＝R(x,y)·L(x,y)+N(x,y) (1)

其中，S(x,y)代表原始图像，R(x,y)代表反射图，表示物体反射出的光；L(x,y)代表照度图，表示物体周围的环境光；N(x,y)代表噪声。

进一步地，所述步骤S1中，对原始图像进行分解的步骤包括：

先对原始图像进行归一化，并将归一化后的图像输入到步骤S1中所述的三个卷积神经网络中，得到大小分别为H×W×1、H×W×3和H×W×3的照度图、反射图和噪声图，其中，H表示图像的高，W表示图像的宽；

其中，照度图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，输出通道数为1；反射图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，输出通道数为3，分别对应图像中的R、G、B三个通道；噪声图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Tanh，输出通道数为3，并且在每一个卷积块之后都将照度图的反转图与之进行连接。

进一步地，采用1范数对反射图进行约束以保证反射图的一致性，其采用的公式为：

L_R＝||R_norm(x,y)-R_low(x,y)||₁ (2)

其中，L_R代表保持反射图一致性所需的损失函数，R_norm(x,y)代表正常光照条件下分解得到的反射图，R_low(x,y)代表低光照条件下分解得到的反射图。

进一步地，所述步骤S1中，采用1范数对照度图进行约束以保证照度平滑，其采用的公式为：

其中，L_smooth代表进行照度图平滑所需的损失函数，

代表在点(x,y)处的梯度，σ为一个极小的正数。

进一步地，所述步骤S1中，将分解出的照度图的反转图作为一个attention模块引导噪声图的生成，作为引导图的attention模块公式为：

G(x,y)＝1-L(x,y) (6)

其中，G(x,y)代表获取的attention模块，采用F范数对整体的噪声进行约束：

L_N＝||N(x,y)||_F (7)

L_N代表约束噪声所需的损失函数。

进一步地，所述步骤S1中，对分解后的图像进行重构，其公式为：

L_rec＝||R(x,y)·L(x,y)+N(x,y)-S(x,y)||₁ (8)

L_rec代表保证图像重构所需要的损失函数。

进一步地，所述步骤S2中，通过卷积神经网络对步骤S1分解出的照度图进行调整，得到一个大小为H×W×1的图像，该图像所含有的光照信息即为正常光照图像所拥有的光照信息。

进一步地，所述步骤S3中，将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，其采用的公式为：

S_t(x,y)＝R_low(x,y)·L_adjust(x,y) (9)

其中，S_t(x,y)代表增强后的图像，R_low(x,y)代表低光照图像的反射图，L_adjust(x,y)代表经过步骤S2调整后的照度图。

本发明的有益效果是：

本发明中所述卷积神经网络的深度较低，实时性比一般的图像方法高，而且不需要设计复杂的先验知识，简单易行；本发明提升了低照度图像增强方法对于噪声的鲁棒性，能够有效的分离出图像的噪声，从而避免噪声在增强过程中的放大，获得视觉效果良好的图像；与现有的低照度图像增强方法结果相比，可以有效的降低增强后图像中的噪声。

附图说明

图1为本发明实施例所述用于楼宇内低照度环境的图像增强和噪声自适应去除方法的网络结构图。

图2为本发明实施例采用所述用于楼宇内低照度环境的图像增强和噪声自适应去除方法完成低照度图像增强的示意图。

图3为本发明实施例采用所述用于楼宇内低照度环境的图像增强和噪声自适应去除方法与现有的低照度图像增强方法所得到图像的对比图Ⅰ。

图4为本发明实施例采用所述用于楼宇内低照度环境的图像增强和噪声自适应去除方法与现有的低照度图像增强方法所得到图像的对比图Ⅱ。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

如图1所示，本实施例所述的一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，包括步骤：

步骤S1、采用三个不同的卷积神经网络将原始图像进行分解，分解为照度图、反射图和噪声图。

具体地，本发明设计了三个不同的卷积神经网络对原始图像进行分解，该方法不同于现有的大多数将图像分解为照度图和反射图的方法，本发明将图像分解为照度图、反射图和噪声图三部分，这里额外增加的噪声图是对原始低光照图像中存在的噪声的一种具体衡量，通过本发明所设计的卷积神经网络将其进行量化并去除。由于当前主流的卷积神经网络模型太大，需要的资源较大，本发明所述的三个不同的卷积神经网络未采用当前主流的网络模型，而是使用了几层简单的卷积神经网络来拟合本发明所需图像的分布。

具体地，对于照度图的分解，照度图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，输出通道数为1，即最后可以得到一个通道数为1的照度图，为了保证得到照度图的范围在[0,1]之间。对于反射图的分解，反射图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，为了保证得到的反射图拥有足够的颜色信息，输出通道数为3，分别对应图像中的R、G、B三个通道。对于噪声图的分解，本发明遵循图像中光照较低的区域中所含有的噪声比光照较高的区域中的噪声更多这一原则，噪声图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Tanh，输出通道数为3，并且在每一个卷积块之后都将照度图的反转图作为一个attention图去指导噪声的分解，对于每一次经过卷积块得到的特征图都将该attention图连接到该特征图上。

本实施例中，对原始图像进行分解采用如下公式：

S(x,y)＝R(x,y)·L(x,y)+N(x,y) (1)

其中，S(x,y)代表原始图像，R(x,y)代表反射图，表示物体反射出的光；L(x,y)代表照度图，表示物体周围的环境光；N(x,y)代表噪声。

所述对原始图像进行分解的步骤包括：先对原始图像进行归一化，并将归一化后的图像输入到步骤S1中所述的三个卷积神经网络中，得到大小分别为H×W×1、H×W×3和H×W×3的照度图、反射图和噪声图，其中，H表示图像的高，W表示图像的宽。

为了保证本发明所述的卷积神经网络在不涉及复杂的约束的同时，还能得到一个较好的结果，本实施例主要采用1范数和F范数进行一系列的约束。

1)反射图的一致性是本发明想要成功分解低照度图像的关键，它保证了分解出的反射图作为一种物质固有的属性不会在任何的光照条件下发生变化。具体地，采用1范数对反射图进行约束以保证反射图的一致性，其采用的公式为：

L_R＝||R_norm(x,y)-R_low(x,y)||₁ (2)

其中，L_R代表保持反射图一致性所需的损失函数，R_norm(x,y)代表正常光照条件下分解得到的反射图，R_low(x,y)代表低光照条件下分解得到的反射图。

2)照度平滑可以避免照度图中出现噪声的同时，还避免大量的纹理细节的引入。具体地，采用1范数对照度图进行约束以保证照度平滑，其采用的公式为：

其中，L_smooth代表进行照度图平滑所需的损失函数，

代表在点(x,y)处的梯度，σ为一个极小的正数，其趋于0但不等于0，用于防止分母为0的情况发生。

3)由于低照度图像的噪声是因为光照而引入的，那么相对黑暗的区域应当比相对明亮的区域存在的噪声更多，因此本实施例将分解出的照度图的反转图作为一个attention模块引导噪声图的生成，作为引导图的attention模块公式为：

G(x,y)＝1-L(x,y) (6)

其中，G(x,y)代表获取的attention模块，采用F范数对整体的噪声进行约束：

L_N＝||N(x,y)||_F (7)

L_N代表约束噪声所需的损失函数。

为了保证分解后的图形确实是按照公式(1)的要求进行分解，对分解后的图像进行重构，其公式为：

L_rec＝||R(x,y)·L(x,y)+N(x,y)-S(x,y)||₁ (8)

L_rec代表保证图像重构所需要的损失函数。

步骤S2、通过卷积神经网络对步骤S1分解出的照度图进行照度的调整。

本发明通过卷积神经网络对照度图进行调整，方法比较简单，而现有的方法，比如伽马校正方法进行照度调整时，都需要额外指定一个参数，而该参数是一个经验值，而该经验值是需要反复的人工尝试得来的。

具体地，为了避免ResNet、U-Net等现有主流卷积神经网络因为模型较大而导致资源消耗较大，本实施例使用四个大小为3×3的卷积核来搭建卷积神经网络，显著的降低了资源的消耗，并通过该卷积神经网络对步骤S1分解出的照度图进行调整，会得到一个大小为H×W×1的图像，该图像所含有的光照信息即为正常光照图像所拥有的光照信息。

步骤S3、将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，得到最终的拥有较少噪声的增强图像。

具体地，将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，其采用的公式为：

S_t(x,y)＝R_low(x,y)·L_adjust(x,y) (9)

其中，S_t(x,y)代表增强后的图像，R_low(x,y)代表低光照图像的反射图，L_adjust(x,y)代表经过步骤S2调整后的照度图。

如图2所示，图2(a)为图2(b)为该原始图像分解出的反射图，图2(c)为该原始图像分解出的噪声图，图2(d)为该原始图像分解出的照度图，图2(e)为经过光照调整得到的照度图，图2(f)为增强后的图像。

将本发明所得的增强后图像与现有的低照度图像增强方法所得到的增强后图像的效果做对比，结果如图3与图4所示，其中，图3(a)与4(a)为原始图像，图3(b)与4(b)为本发明方法所得到的增强后图像，图3(c)与4(c)为Zhenqiang Ying等人所提出的BIMEF方法的增强结果，图3(d)与4(d)为Wei Chen等人所提出的Retinex-Net方法的增强结果，图3(e)与4(e)为Wang Wenjing等人所提出的GLADNet方法的增强结果，图3(f)与4(f)为GuoChunle等人所提出的DCENet的增强结果，在每个图像的下面两个较小的图像代表我们随机在图像中选取的两块区域进行放大，更好的观察增强的效果。将这些方法与本发明所述的方法做对比，可以观察到现有这些方法对于噪声的处理能力较差，增强后的图像中包含有大量的噪声，而本发明所提出的方法因为噪声图的存在可以成功的分离出图像中黑暗区域的所包含的噪声。

综上所述，本发明提升了低照度图像增强方法对于噪声的鲁棒性，能够有效的分离出图像的噪声，从而避免噪声在增强过程中的放大，获得视觉效果良好的图像。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (1)

1.一种用于楼宇内低照度环境的图像增强和噪声自适应去除方法，其特征在于，包括步骤：

S1、采用三个不同的卷积神经网络将原始图像进行分解，分解为照度图、反射图和噪声图；

对原始图像进行分解采用如下公式：

S(x,y)＝R(x,y)·L(x,y)+N(x,y) (1)

其中，S(x,y)代表原始图像，R(x,y)代表反射图，表示物体反射出的光；L(x,y)代表照度图，表示物体周围的环境光；N(x,y)代表噪声；

对原始图像进行分解的步骤包括：

先对原始图像进行归一化，并将归一化后的图像输入到三个卷积神经网络中，得到大小分别为H×W×1、H×W×3和H×W×3的照度图、反射图和噪声图，其中，H表示图像的高，W表示图像的宽；

照度图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，输出通道数为1；反射图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Sigmoid，输出通道数为3，分别对应图像中的R、G、B三个通道；噪声图所需的卷积神经网络包括5个卷积块，每个卷积块包括一个3×3的卷积核和一个Relu，最后一层将Relu替换为Tanh，输出通道数为3，并且在每一个卷积块之后都将照度图的反转图与之进行连接；

采用1范数对反射图进行约束以保证反射图的一致性，其采用的公式为：

L_R＝||R_norm(x,y)-R_low(x,y)||₁ (2)

其中，L_R代表保持反射图一致性所需的损失函数，R_norm(x,y)代表正常光照条件下分解得到的反射图，R_low(x,y)代表低光照条件下分解得到的反射图；

采用1范数对照度图进行约束以保证照度平滑，其采用的公式为：

其中，L_smooth代表进行照度图平滑所需的损失函数，

代表在点(x,y)处的梯度，σ为一个极小的正数；

将分解出的照度图的反转图作为一个attention模块引导噪声图的生成，作为引导图的attention模块公式为：

G(x,y)＝1-L(x,y) (6)

其中，G(x,y)代表获取的attention模块，采用F范数对整体的噪声进行约束：

L_N＝||N(x,y)||_F (7)

L_N代表约束噪声所需的损失函数；

对分解后的图像进行重构，其公式为：

L_rec＝||R(x,y)·L(x,y)+N(x,y)-S(x,y)||₁ (8)

L_rec代表保证图像重构所需要的损失函数；

S2、通过卷积神经网络对步骤S1分解出的照度图进行照度的调整；

通过卷积神经网络对步骤S1分解出的照度图进行调整，得到一个大小为H×W×1的图像，该图像所含有的光照信息即为正常光照图像所拥有的光照信息；

S3、将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，得到最终的增强图像；

将步骤S2调整后的照度图与步骤S1分解得到的反射图进行融合，其采用的公式为：

S_t(x,y)＝R_low(x,y)·L_adjust(x,y) (9)

其中，S_t(x,y)代表增强后的图像，R_low(x,y)代表低光照图像的反射图，L_adjust(x,y)代表经过步骤S2调整后的照度图。

Images