CN110070498A - 一种基于卷积自编码器的图像增强方法 - Google Patents

Abstract

一种基于卷积自编码器的图像增强方法，包括：将原图像处理成为低光图像，在图像预处理成为低光图像时加入噪声来进行网络的增亮和去噪的训练；将低光图像进行卷积编码操作，得到压缩特征图，并进行池化操作；将得到的压缩特征图进行反卷积操作，解码得到重构明亮图像；将重构明亮图像与原图像进行损失函数的计算；利用计算得到的损失函数进行卷积网络的调参操作，更新参数以优化网络；判断是否达到预设的迭代次数，如果没有达到则继续上述操作，直到达到迭代次数以完成网络训练。本发明的优点是相比于传统自编码器图像增强方法，将卷积操作应用于编码阶段，减少网络中产生的大量冗余参数，拥有更好的图像增强效果，可应用于图像增强领域。

Description

一种基于卷积自编码器的图像增强方法

技术领域

本发明涉及图像编码技术领域，特别是一种基于卷积自编码器的图像增强方法。

技术背景

在现代生活中，高科技的摄影设备已经取得很大进步。但是在恶劣情况下，比如在低光环境下拍摄，就会导致图像出现低能见度和低质量的缺陷，这给图像识别分类等后续的图像处理工作增加了难度。对于工业生产、医学研究等对图像质量要求较高的领域，低质量的图像容易使决策者做出错误的决定。因此，图像增强对于图像分析应用至关重要。图像增强算法能够提高图像对比度，使增强后的图片更加清晰，而对比度增强算法在处理图像时可能会出现过度增强或不自然的效果。目前常用的图像增强算法有标准直方图均衡算法(Histogram equalization，HE)、基于Retinex的图像增强算法、基于自动编码器的图像增强框架(The low-light net,LLNet)等。

在传统的自编码器网络层中，神经元的连接方式通常是全连接方式，在处理类似图像这种高维数据时，这种神经元连接方式会使得网络产生大量冗余参数，尤其对于三通道的彩色图像来说，参数会变得更多。又因为在传统的自编码器网络中，每个网络层参数是全局的，这样就无法保留空间局部性，使得网络学习速率变得很慢。而在卷积网络中，却具有局部连接和权值共享的特点。当采用局部连接时，卷积层的每个神经元仅与图像局部相连，这大大减少了网络参数值。如果要得到图像更多的特征信息，则需要更多的卷积核来进行卷积，最后只需在最高层将得到的特征信息综合起来即可。由于在一副图像的一处区域内的特征极有可能在其他区域也适用，所以就不需要每个区域拥有各自的权值，这样做也能够减少网络参数数量。

发明内容

针对三通道彩色图像在网络训练时若使用传统的编码和解码方式会产生大量冗余参数的问题，本发明在保留自动编码器图像增强算法的无监督学习方式的优势基础上，改进了原有算法在网络训练前期需要大量准备工作的弊端，减少数据预处理的时间，提供了一种基于卷积自编码器的图像增强方法。

一种基于卷积自编码器的图像增强方法，包括以下步骤：

1)、将原图像处理成为低光图像，在图像预处理成为低光图像时加入高斯噪声、椒盐噪声、泊松噪声和斑点噪声来进行网络的增亮和去噪的训练；

2)、将卷积操作当作自编码器的编码操作来得到低光图像的低维特征表示，网络训练时输入处理后的低光图像，随后经过卷积网络进行编码，得到压缩特征图，此时网络学习到低光图像的隐含特征，并进行池化操作；

3)、将得到的压缩特征图进行反卷积操作，解码得到重构明亮图像；

4)、将重构明亮图像与原图像进行损失函数的计算；

5)、利用计算得到的损失函数进行卷积网络的调参操作，更新参数以优化网络；

6)、判断是否达到预设的迭代次数，如果没有达到则继续上述操作，直到达到迭代次数以完成网络训练。

进一步，步骤1)中使用Gamma矫正对图像进行调整，假设A为常量，x_l为需要调整的原始高光图像，γ为对图像的操作参数，那么调整后的图像为x_d：

其中，γ是根据经验设置的可调参数。当γ<1时，可以提高图像对比度，达到图像增亮的效果；当γ>1时，可以降低图像对比度，达到图像低光处理效果；当γ＝1时，对图像不具有任何效果；

步骤2)中低光处理得到的低光图像为x_d，假设已经初始化成功的卷积核为W，其总数为k个，每个卷积核搭配的偏置项为b，激活函数为σ，那么特征图为h(x_d)：

h(x_d)＝σ(x_d·W^k+b^k)， (2)

其中，k是根据经验设置的可调参数，“·”为卷积操作。当图像经过卷积操作之后，就需要进行池化操作，在降低特征图维度的同时保证空间不变性。图像在通过卷积操作得到多张特征图之后，通过池化操作来减少参数数量来降低维度，从而减少计算量。保证空间不变性是由于图像在池化过程中保留了图片位置关系的矩阵和大部分重要信息，这在之后的解码操作中起着至关重要的作用。通过池化操作后得到最终的特征图为y；

步骤3)中池化操作后得到的特征图为y，假设激活函数为σ，卷积核为W′，其总数为k个，偏置项为b′，那么重构明亮图像为Y：

Y＝σ(y·W′^k+b′^k)， (3)

其中，k是根据经验设置的可调参数，“·”为反卷积操作。

现阶段，在传统的自编码器网络层中，神经元的连接方式通常是全连接方式，在处理类似图像这种高维数据时，这种神经元连接方式会使得网络产生大量冗余参数。

本发明解决了传统的自编码器图像增强方法处理高维图像数据时产生大量冗余参数所带来的弊端，又保留了其图像增强的优势，减少了图像处理的成本，提高了图像增强的效率。

本发明的优点在于：在消耗合理的预处理时间的情况下,相比于传统的自编码器图像增强方法，将卷积操作应用于编码器的编码阶段，减少网络中产生的大量冗余参数，在增强了图像的同时还能保持图像细节不失真，拥有更好的图像增强效果，同时，在处理含噪低光的图像时也能有较好的效果，可应用于图像增强领域。

附图说明

图1是本发明的流程图。

具体实施方式

参照附图，进一步说明本发明的技术方案：

一种基于卷积自编码器的图像增强方法，包括以下步骤：

1)、将原图像处理成为低光图像，在图像预处理成为低光图像时加入高斯噪声、椒盐噪声、泊松噪声和斑点噪声来进行网络的增亮和去噪的训练；

2)、将卷积操作当作自编码器的编码操作来得到低光图像的低维特征表示，网络训练时输入处理后的低光图像，随后经过卷积网络进行编码，得到压缩特征图，此时网络学习到低光图像的隐含特征，并进行池化操作；

3)、将得到的压缩特征图进行反卷积操作，解码得到重构明亮图像；

4)、将重构明亮图像与原图像进行损失函数的计算；

5)、利用计算得到的损失函数进行卷积网络的调参操作，更新参数以优化网络；

6)、判断是否达到预设的迭代次数，如果没有达到则继续上述操作，直到达到迭代次数以完成网络训练。

进一步，步骤1)中使用Gamma矫正对图像进行调整，假设A为常量，x_l为需要调整的原始高光图像，γ为对图像的操作参数，那么调整后的图像为x_d：

其中，γ是根据经验设置的可调参数。当γ<1时，可以提高图像对比度，达到图像增亮的效果；当γ>1时，可以降低图像对比度，达到图像低光处理效果；当γ＝1时，对图像不具有任何效果；

步骤2)中低光处理得到的低光图像为x_d，假设已经初始化成功的卷积核为W，其总数为k个，每个卷积核搭配的偏置项为b，激活函数为σ，那么特征图为h(x_d)：

h(x_d)＝σ(x_d·W^k+b^k)， (2)

其中，k是根据经验设置的可调参数，“·”为卷积操作。当图像经过卷积操作之后，就需要进行池化操作，在降低特征图维度的同时保证空间不变性。图像在通过卷积操作得到多张特征图之后，通过池化操作来减少参数数量来降低维度，从而减少计算量。保证空间不变性是由于图像在池化过程中保留了图片位置关系的矩阵和大部分重要信息，这在之后的解码操作中起着至关重要的作用。通过池化操作后得到最终的特征图为y；

步骤3)中池化操作后得到的特征图为y，假设激活函数为σ，卷积核为W′，其总数为k个，偏置项为b′，那么重构明亮图像为Y：

Y＝σ(y·W′^k+b′^k)， (3)

其中，k是根据经验设置的可调参数，“·”为反卷积操作。

现阶段，在传统的自编码器网络层中，神经元的连接方式通常是全连接方式，在处理类似图像这种高维数据时，这种神经元连接方式会使得网络产生大量冗余参数。

本发明解决了传统的自编码器图像增强方法处理高维图像数据时产生大量冗余参数所带来的弊端，又保留了其图像增强的优势，减少了图像处理的成本，提高了图像增强的效率。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于卷积自编码器的图像增强方法，包括以下步骤：

1)、将原图像处理成为低光图像，在图像预处理成为低光图像时加入高斯噪声、椒盐噪声、泊松噪声和斑点噪声来进行网络的增亮和去噪的训练；

使用Gamma矫正对图像进行调整，假设A为常量，x_l为需要调整的原始高光图像，γ为对图像的操作参数，那么调整后的图像为x_d：

其中，γ是根据经验设置的可调参数。当γ<1时，可以提高图像对比度，达到图像增亮的效果；当γ>1时，可以降低图像对比度，达到图像低光处理效果；当γ＝1时，对图像不具有任何效果；

2)、将卷积操作当作自编码器的编码操作来得到低光图像的低维特征表示，网络训练时输入处理后的低光图像，随后经过卷积网络进行编码，得到压缩特征图，此时网络学习到低光图像的隐含特征，并进行池化操作；

低光处理得到的低光图像为x_d，假设已经初始化成功的卷积核为W，其总数为k个，每个卷积核搭配的偏置项为b，激活函数为σ，那么压缩特征图为h(x_d)：

h(x_d)＝σ(x_d·W^k+b^k)， (2)

其中，k是根据经验设置的可调参数，“·”为卷积操作。当图像经过卷积操作之后，就需要进行池化操作，在降低特征图维度的同时保证空间不变性。图像在通过卷积操作得到多张特征图之后，通过池化操作来减少参数数量来降低维度，从而减少计算量。保证空间不变性是由于图像在池化过程中保留了图片位置关系的矩阵和大部分重要信息，这在之后的解码操作中起着至关重要的作用。通过池化操作后得到最终的特征图为y；

3)、将得到的压缩特征图进行反卷积操作，解码得到重构明亮图像；

池化操作后得到的特征图为y，假设激活函数为σ，卷积核为W′，其总数为k个，偏置项为b′，那么重构明亮图像为Y：

Y＝σ(y·W′^k+b′^k)， (3)

其中，k是根据经验设置的可调参数，“·”为反卷积卷积操作；

4)、将重构明亮图像与原图像进行损失函数的计算；

5)、利用计算得到的损失函数进行卷积网络的调参操作，更新参数以优化网络；

6)、判断是否达到预设的迭代次数，如果没有达到则继续上述操作，直到达到迭代次数以完成网络训练。