CN113034413B - 一种基于多尺度融合残差编解码器的低照度图像增强方法 - Google Patents

Abstract

本发明公开一种基于多尺度融合残差编解码器的低照度图像增强方法，包括如下步骤：步骤1：SID数据集预处理；步骤2：对低照度图像进行建模：I_c＝F(I_r)，I_r为给定的低光原始图像，I_c为增强之后的彩色图像，F为FRED‑net；步骤3：构建多尺度融合残差编解码器网络结构FRED‑net；步骤4：在网络结构中加入残差块RB；步骤5：添加特征聚合模块DCFAM。本发明方法能够通过多尺度融合的残差编解码器FRED‑net，完全恢复原始传感器RAW图像细节及色彩的同时有效增强图像的亮度，并且对图像的边缘进行有效的表示，最终在弱光增强下获得令人满意的视觉质量。

Description

一种基于多尺度融合残差编解码器的低照度图像增强方法

技术领域

本发明属于计算机视觉和模式识别技术领域，具体涉及一种基于多尺度融合残差编解码器的低照度图像增强方法。

背景技术

随着多媒体信息技术和数字图像处理技术的发展，成像设备不断更新，手机、数码照相机、激光扫描仪、红外成像仪等层出不穷，它们能有效满足人们各种图像采集的需求。但在夜晚低照度的情况下，很难拍摄到高质量的图像。它的主要特点是微光，暗色区域占图像主要部分。造成图像低照度的原因有很多，例如光线不足，摄影设备性能有限以及设备配置不正确等，这类图像可见性偏低，不便于观察与分析，且会对相关应用产生负面影响，尤其是在图像的匹配、融合、分析、检测，以及分割方面，给数字图像处理带来极大挑战。目前低照度图像增强方法主要有两种，分别是物理方法和算法增强方法。提高设备I SO、增大摄像头光圈、延长曝光时间和拉高增益等均为物理方法，其可在一定程度提高成像质量，但增大曝光会使运动图像模糊，提高增益则会增大图像中的暗电流噪声等，实用性不强；经典的低照度图像增强算法主要有基于直方图均衡化、基于Ret i nex理论和深度学习的方法。直方图均衡化的方法将原图的直方图变换为均匀分布的直方图图像，以拉伸图像的动态范围，从而提高图像对比度。基于Ret i nex理论主要在频域中增强图像，尽管方法在某些情况下可能会产生满意的结果，但它们仍然受到分解的反射率和照明模型能力的限制，很难设计出适用于各种场景的图像分解良好的约束条件。

近年来,深度学习已经显现出它们在计算机视觉任务中的优越性能,为了弥补上述传统方法的缺点,许多学者也将深度学习用以低照度图像增强方面,且取得了优异的成果。低照度图像的信息增强技术在图像修复、图像识别和图像分割等领域具有较高的应用价值，相关算法的研究受到了图像处理领域中学者们的极大关注。当前国内外对于低照度图像增强技术的相关研究还在不断探索中，虽然取得了一定的成果，但还远未达到成熟，该领域仍具有很大的研究价值和发展空间。

发明内容

本发明的目的是提供一种基于多尺度融合残差编解码器的低照度图像增强方法，解决低光照环境下,光子数极少且噪声较大,线阵相机的感光源不能充分曝光,从而导致图像的质量下降的问题。

为了达到上述目的，本发明的技术方案是：

一种基于多尺度融合残差编解码器的低照度图像增强方法，包括如下步骤：

使用SID数据集，将RAW格式的低照度图像数据拆分成四个通道；

把拆分后的低照度图像数据送入FRED-net网络中进行训练；

所述FRED-net网络由编码器、解码器跳跃连接组成；FRED-net网络使用FPN网络级联结构作为主干，将残差块RB、特征聚合模块DCFAM以及二者结合逐步添加到主干中；

低照度的图像传入FRED-net网络，在经过编码器部分和解码器部分的像素调整操作之后，从12通道特征图中获得增强之后的彩色图像。

进一步的，在训练时，

编码器部分：对不同尺度的特征进行有效的表示，并进行残差块RB连接以及特征聚合模块DCFAM融合，使每一层不同尺度的特征图都具有较强的语义信息；

解码器部分：采用多个卷积层并进行转置卷积，使用编码器的浅层特征对其进行加强，在经过像素调整操作之后，从12通道特征图中获得增强之后的彩色图像。

进一步的，在网络结构中添加残差块RB，具体包括：

设计残差块RB：纠正上级要素丢失的空间信息并充分利用非相邻级要素的空间信息，可表示为：

x_out＝C(C(x_in))+x_in

x_in为当前残差块的输入，在编码器中x_in为当前层前一层的卷积特征，在解码器中x_in为当前层前一层的横向特征聚合，C为3*3的卷积操作，x_out为残差块的输出结果；

对残差块RB进行级联：进一步加强缺少的空间信息以及非相邻级别的特征联系，设计的残差块结构可表示为：

Rⁱ＝res₃(Cⁱ)+Fⁱ

在编码器和解码器中，Cⁱ的代表含义不同，在编码器中Cⁱ表示前一层的卷积层输出，在解码器中，Cⁱ表示前一层的特征相加层输出；Fⁱ表示前一层的特征融合层输出；若前一层无特征融合，则表示为前一层的卷积层输出；res₃表示三层的残差块级联；Rⁱ表示最终残差块的输出。

进一步的，在网络结构中添加特征聚合模块DCFAM，具体包括：

编码器的递进特征聚合，具体为：

将特征聚合模块加入到所提网络的编码器中，从原始低照度图像中更好地增强特征的表示能力在第n层的特征聚合可表示为：

E_i＝DownSample(UpSample(x_i)+x_t)+x_i

X＝{x₀,x₁,...,x_t,...,x_n}

x_i表示当前要进行增强的特征，X表示待融合的前级多个特征序列，x_t∈X，我们首先对x_i自适应尺度的上采样，使得其维度和x_t相同，然后将其二者相加，在对其结果进行下采样，下采样之后的维度x_i相同，再将其和x_i相加，为最终的特征融合结果；

解码器的递进特征聚合，具体为：

将特征递进聚合到解码器，从编码器中逐步的对特征进行恢复，在第n层的特征聚合可表示为：

E_i＝UpSample(DownSample(x_i)+x_t)+x_i

X＝{x₀,x₁,...,x_t,...,x_n}

x_i表示当前要进行增强的特征，X表示待融合的前级多个特征序列，x_t∈X，我们首先对x_i自适应尺度的下采样，使得其维度和x_t相同，然后将其二者相加，在对其结果进行上采样，上采样之后的维度x_i相同，在将其和x_i相加，为最终的特征融合结果；

编解码器的横向特征聚合，具体为：

将网络体系结构处理路径中编解码器不同阶段的特征结合起来，以增强特征表示能力。

与现有技术相比，本发明的有益效果：

1、本发明通过提出一种基于多尺度融合的残差编解码器FRED-net,该网络通过端到端的映射可以在短时间内完全恢复原始图像细节的同时有效增强图像的亮度,在网络结构中加入残差块RB，增加特征多样性并加快网络训练速度，设计密集上下文特征聚合模块DCFAM,该模块聚合上下文的全局多尺度特征,弥补网络深层缺失的空间信息，不仅可以有效恢复图像亮度信息,而且可以抑制相关噪声并保留更多的细节信息；与其他方法比较，本发明的网络增强后的图像质量明显高于其他图像；

2、本发明方法提出的网络取代传统的图像处理管道,直接在原始传感器数据上运行，对低照度图像进行亮度增强及细节恢复，可以从带有严重噪声的低光图像中恢复更多的细节和纹理，通过多尺度特征融合，将相同维度编码器的特征和解码器特征结合,充分利用网络级和阶段级相结合而产生的特征,更有效的恢复低照度图像的结构细节信息。生成的图像看起来更加平滑和令人满意；

3、可以恢复正确和自然的色彩并避免色彩扩散，从而使增强后的图像更真实，更接近地面真实感。

附图说明

图1为本发明实施例中使用到的FRED-net网络；

图2为本发明实施例中使用的残差块RB；

图3为本发明实施例中不同模块图像对比结果；

图4为本发明实施例中各个方法结果对比。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合实施例对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一种基于多尺度融合残差编解码器的低照度图像增强方法，包括如下步骤：

步骤1：准备S ID数据集，具体为：

采用SID数据集来评估FRED-net方法的性能。SID数据集包含5094个短曝光图像和424个长曝光图像，它们是Sonyα7SI I和Fuj ifi lm X-T2在极端弱光环境下捕获的原始传感器数据。在此数据集中，每个场景具有一系列具有不同短曝光时间的图像，并以长曝光图像作为参考图像。短曝光时间设置为0.033s至0.1s，并将相应参考图像的长时间曝光设置为10s至30s。在训练之前将该数据集的RAW格式的数据拆分成四个通道，再送入网络中。

步骤2：对低照度图像进行建模：I_r为给定的低光原始图像，I_c为增强之后的彩色图像，F为FRED-net；

I_c＝F(I_r)

步骤3：构建多尺度融合残差编解码器网络结构FRED-net；具体包括：

步骤301：数据预处理：将RAW格式的数据拆分成四个通道，送入到网络中进行训练；

步骤302：编码器部分：对不同尺度的特征进行有效的表示，并进行残差连接以及特征融合，每一层不同尺度的特征图都具有较强的语义信息；

步骤303：解码器部分：采用多个卷积层并进行转置卷积，并且使用编码器的浅层特征对其进行加强，在经过像素调整操作之后，从12通道特征图中获得增强之后的彩色图像。

步骤4：在网络结构中加入残差块RB；具体包括：

步骤401：设计残差块RB：纠正上级要素丢失的空间信息并充分利用非相邻级要素的空间信息，可表示为：

x_out＝C(C(x_in))+x_in

x_in为当前残差块的输入，在编码器中x_in为当前层前一层的卷积特征，在解码器中x_in为当前层前一层的横向特征聚合，C为3*3的卷积操作，x_out为残差块的输出结果；

步骤402：对残差模块进行级联：进一步加强缺少的空间信息以及非相邻级别的特征联系，设计的残差块结构可表示为：

Rⁱ＝res₃(Cⁱ)+Fⁱ

在编码器和解码器中，Cⁱ的代表含义不同，在编码器中Cⁱ表示前一层的卷积层输出，在解码器中，Cⁱ表示前一层的特征相加层输出；Fⁱ表示前一层的特征融合层输出；若前一层无特征融合，则表示为前一层的卷积层输出；res₃表示三层的残差块级联；Rⁱ表示最终残差块的输出。

步骤5：跨尺度的特征聚合，具体包括：

步骤501：编码器的递进特征聚合，具体为：

将特征聚合模块加入到所提网络的编码器中，从原始低照度图像中更好地增强特征的表示能力在第n层的特征聚合可表示为：

E_i＝DownSample(UpSample(x_i)+x_t)+x_i

X＝{x₀,x₁,...,x_t,...,x_n}

x_i表示当前要进行增强的特征，X表示待融合的前级多个特征序列，x_t∈X，我们首先对x_i自适应尺度的上采样，使得其维度和x_t相同，然后将其二者相加，在对其结果进行下采样，下采样之后的维度x_i相同，再将其和x_i相加，为最终的特征融合结果；

步骤502：解码器的递进特征聚合，具体为：

将特征递进聚合到解码器，从编码器中逐步的对特征进行恢复，在第n层的特征聚合可表示为：

E_i＝UpSample(DownSample(x_i)+x_t)+x_i

X＝{x₀,x₁,...,x_t,...,x_n}

x_i表示当前要进行增强的特征，X表示待融合的前级多个特征序列，x_t∈X，我们首先对x_i自适应尺度的下采样，使得其维度和x_t相同，然后将其二者相加，在对其结果进行上采样，上采样之后的维度x_i相同，在将其和x_i相加，为最终的特征融合结果；

步骤503：编解码器的横向特征聚合，具体为：

将网络体系结构处理路径中编解码器不同阶段的特征结合起来，以增强特征表示能力。

实施例：

步骤1：输入RAW格式的数据图片；

步骤2：将RAW格式的数据拆分成四个通道，送入到网络中进行训练，参照图1；

步骤3：参照图1，在编码器部分，对不同尺度的特征进行有效的表示，并进行残差连接以及特征融合，每一层不同尺度的特征图都具有较强的语义信息；

步骤4：参照图1，在解码器部分采用多个卷积层并进行转置卷积,并且使用编码器的浅层特征对其进行加强；

步骤5：在经过像素调整操作后，从12通道特征图中获得增强后的彩色图像，参照图1；

步骤6：使用加入的残差块RB，纠正上级要素丢失的空间信息并充分利用非相邻级要素的空间信息，参照图2；

步骤7：在编码器和解码器中，Cⁱ的代表含义不同，在编码器中Cⁱ表示前一层的卷积层输出，在解码器中，Cⁱ表示前一层的特征相加层输出。Fⁱ表示前一层的特征融合层输出，若前一层无特征融合，则表示为前一层的卷积层输出。res₃表示三层的残差块级联，Rⁱ表示最终残差块的输出，参照图2；

步骤8：经过密集上下文特征聚合模块DCFAM，该模块聚合上下文的全局多尺度特征，弥补网络深层缺失的空间信息；

步骤9：将RB、DCFAM以及二者结合逐步添加到主干中，图像对比结果，参照图3；

步骤10：本发明方法与其他方法比较结果，参照图4，本发明的网络增强后的图像质量明显高于其他图像。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。任何熟悉该技术的人在本发明所揭露的技术范围内的局部修改或替换，都应涵盖在本发明的包含范围之内。

Claims (3)

1.一种基于多尺度融合残差编解码器的低照度图像增强方法，其特征在于，包括如下步骤：

使用SID数据集，将RAW格式的低照度图像数据拆分成四个通道，所述SID数据集包含短曝光图像和长曝光图像；

把拆分后的低照度图像数据送入FRED-net网络中进行训练；

所述FRED-net网络由编码器、解码器跳跃连接组成；FRED-net网络使用FPN网络级联结构作为主干，将残差块RB、特征聚合模块DCFAM以及二者结合逐步添加到主干中；

在网络结构中添加残差块RB，具体包括：设计残差块RB可表示为：

x_out＝C(C(x_in))+x_in

x_in为当前残差块的输入，在编码器中x_in为当前层前一层的卷积特征，在解码器中x_in为当前层前一层的横向特征聚合，C为3*3的卷积操作，x_out为残差块的输出结果；

对残差块RB进行级联：进一步加强缺少的空间信息以及非相邻级别的特征联系，设计的残差块结构可表示为：

Rⁱ＝res₃(Cⁱ)+Fⁱ

在编码器和解码器中，Cⁱ的代表含义不同，在编码器中Cⁱ表示前一层的卷积层输出，在解码器中，Cⁱ表示前一层的特征相加层输出；Fⁱ表示前一层的特征融合层输出；若前一层无特征融合，则表示为前一层的卷积层输出；res₃表示三层的残差块级联；Rⁱ表示最终残差块的输出；

所述特征聚合模块DCFAM聚合上下文的全局多尺度特征，弥补网络深层缺失的空间信息；

低照度的图像传入FRED-net网络，在经过编码器部分和解码器部分的像素调整操作之后，从12通道特征图中获得增强之后的彩色图像；

编解码器的横向特征聚合，具体为：

将网络体系结构处理路径中编解码器不同阶段的特征结合起来，以增强特征表示能力。

2.根据权利要求1所述基于多尺度融合残差编解码器的低照度图像增强方法，其特征在于，在训练时，

编码器部分：对不同尺度的特征进行有效的表示，并进行残差块RB连接以及特征聚合模块DCFAM融合，使每一层不同尺度的特征图都具有较强的语义信息；

解码器部分：采用多个卷积层并进行转置卷积，使用编码器的浅层特征对其进行加强，在经过像素调整操作之后，从12通道特征图中获得增强之后的彩色图像。

3.根据权利要求2所述基于多尺度融合残差编解码器的低照度图像增强方法，其特征在于，在网络结构中添加特征聚合模块DCFAM，具体包括：

编码器的递进特征聚合，具体为：

将特征聚合模块加入到所提网络的编码器中，从原始低照度图像中更好地增强特征的表示能力在第n层的特征聚合可表示为：

E_i＝DownSample(UpSample(x_i)+x_t)+x_i

X＝{x₀,x₁,...,x_t,...,x_n}

x_i表示当前要进行增强的特征，X表示待融合的前级多个特征序列，x_t∈X，我们首先对x_i自适应尺度的上采样，使得其维度和x_t相同，然后将其二者相加，在对其结果进行下采样，下采样之后的维度x_i相同，再将其和x_i相加，为最终的特征融合结果；

解码器的递进特征聚合，具体为：

将特征递进聚合到解码器，从编码器中逐步的对特征进行恢复，在第n层的特征聚合可表示为：

E_i＝UpSample(DownSample(x_i)+x_t)+x_i

X＝{x₀,x₁,...,x_t,...,x_n}

x_i表示当前要进行增强的特征，X表示待融合的前级多个特征序列，x_t∈X，我们首先对x_i自适应尺度的下采样，使得其维度和x_t相同，然后将其二者相加，在对其结果进行上采样，上采样之后的维度x_i相同，在将其和x_i相加，为最终的特征融合结果。