CN118365543A - 一种基于改进EnlightenGAN的裂缝图像阴影去除方法 - Google Patents

Abstract

本发明公开一种基于改进EnlightenGAN的裂缝图像阴影去除方法，包括以下步骤：1)构建裂缝图像数据集与裂缝图像分割数据集；2)基于裂缝图像数据集，构建基于改进EnlightenGAN的裂缝图像去阴影模型；3)获取待处理裂缝图像，并输入至裂缝图像去阴影模型中，得到去阴影裂缝图像。本发明对EnlightenGAN模型进行改进，提出了阴影裂缝图像质量提升框架。利用图像超分辨率重建生成式对抗网络(ESRGAN)提高图像分辨率，增强裂缝边缘轮廓。在EnlightenGAN的生成器中引入了多尺度特征融合模块(ASPP)和残差密集模块(RRDB)，以增强裂缝区域和轮廓。

Description

一种基于改进EnlightenGAN的裂缝图像阴影去除方法

技术领域

本发明涉及图像处理领域，具体是一种基于改进EnlightenGAN的裂缝图像阴影去除方法。

背景技术

在土木工程领域，裂缝是建筑结构中最常见的病害之一。若不及时对其进行识别检测，可能导致保护层的脱落和结构耐久性的降低。人工检测是目前检查桥梁结构病害的主要方法之一，但是人工检测费时费力同时会消耗巨大的人工成本。无人机具有操作简单、拍摄效率高以及受气候影响较小等优点，这促使研究人员开始利用无人机和计算机视觉技术实现对裂缝的自动检测。

无人机结合计算机视觉技术大大提高了对建筑结构裂缝的识别能力，其自动化检测的特点和准确可靠的检测结果使得它备受关注。然而无人机受载重数量的限制难以配备高清摄像机，导致其拍摄的裂缝图像分辨率较低。另一方面，由于无人机拍摄路径的限制，其拍摄图像往往存在阴影遮蔽问题，这降低了图像拍摄的质量。因此，提高无人机拍摄图像的分辨率并且缓解阴影遮蔽现象成为目前的重要研究内容。

针对阴影图像去阴影的问题，现有技术在构建裂缝识别生成器时，存在对裂缝边缘轮廓的识别效果较差，难以在大面积阴影遮蔽情况下对图像细节进行复原等问题。

发明内容

本发明的目的是提供一种基于改进EnlightenGAN的裂缝图像阴影去除方法，包括以下步骤：

1)构建裂缝图像数据集，其中包含训练集与测试集；

2)基于裂缝图像数据集，构建基于改进EnlightenGAN的裂缝图像去阴影模型；

3)获取待处理裂缝图像，并输入至裂缝图像去阴影模型中，得到去阴影裂缝图像。

进一步，所述裂缝图像数据集包括若干裂缝正常图像和若干存在阴影的裂缝图像。

进一步，所述裂缝图像数据集与裂缝图像分割数据集中的图像通过无人机拍摄获得。

进一步，所述基于改进EnlightenGAN的裂缝图像去阴影模型包括ESRGAN模型和改进EnlightenGAN模型。

所述ESRGAN模型利用残差密集模块RRDB提取裂缝图像的特征信息，并采取上采样的方式重建裂缝图像，加深裂缝图像的边缘细节；

所述改进EnlightenGAN模型对重建后的裂缝图像进行去阴影处理，得到去阴影裂缝图像。

进一步，所述改进EnlightenGAN模型利用自正则化注意力方法引导的U-Net生成器构建去阴影裂缝图像；

所述U-Net生成器包括特征提取单元和特征融合单元，且在跳层连接中使用注意力模块；

所述特征提取单元的输入为待处理的裂缝图像，输出为特征图；

所述特征融合单元采用自正则化注意力方法，将特征提取单元输出的特征图与自正则化注意力图相乘，将输出特征图与存在阴影的裂缝图像融合，从而输出去阴影图像。

进一步，所述特征提取单元包括多个卷积模块，以及与每个卷积模块相连接的多尺度特征融合模块ASPP和残差密集模块RRDB；

每个卷积模块包括输入层、多个卷积层、多个LeakyReLU层、多个BN层、最大池化层和输出层；

所述卷积模块用于提取裂缝图像的全局信息；

所述多尺度特征融合模块ASPP和残差密集模块RRDB用于对裂缝图像进行细节增强。

进一步，所述多尺度特征融合模块ASPP包括卷积单元、多个膨胀卷积单元、图像尺寸恢复单元、输出融合单元、后处理单元；

所述卷积单元包括输入层、池化层、卷积层、ReLU激活层、上采样层和输出层；

所述膨胀卷积单元包括输入层、池化层、膨胀卷积层、ReLU激活层和输出层；

所述图像尺寸恢复单元用于恢复图像尺寸，包括输入层、池化层、卷积层、ReLU激活层和上采样层；

所述输出融合单元的输出F_c如下所示：

F_c＝Concat(F₁₁,F₁₂,...,F_1n,F₃₁) (1)

式中，F₃₁为图像尺寸恢复单元的输出；F₁₁为卷积单元的输出；Concat表示维度拼接；F_1i为膨胀卷积单元的输出；i＝2，3，…，n；

其中，图像尺寸恢复单元的输出F₃₁如下所示：

F₃₁＝Upsample(ReLU(Conv_1×1(Pool_1×1(F₁)))) (2)

式中，Pool_1×1表示池化层，Conv_1×1表示卷积层，ReLU表示激活层，Upsample表示上采样层；F₁表示图像尺寸恢复单元的输入；

后处理单元的输出F_out如下所示：

F_out＝Dropout_0.5(ReLU(Conv_1×1(F_c))) (3)

式中，Dropout_0.5表示以0.5的概率随机丢弃部分通道。

进一步，所述残差密集模块RRDB包括多个采用残差结构的密集块；

所述密集块采取密集连接方法，包含多个依次连接的卷积层；

前一个卷积激活层的输出作为后面所有卷积层的输入；

所述密集块的激活函数为LeakyReLU激活函数；

进一步，所述特征融合单元包括多个反卷积模块，与每个反卷积模块连接的卷积模块；

所述反卷积模块包括双线性上采样层、卷积层。

所述特征融合单元采用自正则化注意力方法，将特征提取单元输出的特征图与自正则化注意力图相乘，将输出特征图与存在阴影的裂缝图像融合，从而输出去阴影图像。

进一步，构建基于改进EnlightenGAN的裂缝图像去阴影模型的步骤包括：

1)搭建基于改进EnlightenGAN的裂缝图像去阴影模型框架；

2)将裂缝图像数据集划分为训练集和测试集；

3)以训练集为输入，通过迁移学习与神经网络训练获取ESRGAN模型、改进EnlightenGAN模型的权重；

4)以测试集为输入，对ESRGAN模型、改进EnlightenGAN模型的权重进行优化。

值得说明的是，本发明首先收集并构建裂缝阴影图像数据集，组成包含裂缝原始图像和裂缝阴影图像两个类别的裂缝图像数据集。然后使用ESRGAN提升裂缝阴影图像分辨率，借助迁移学习迁移其预训练权重，生成高分辨率裂缝阴影图像。之后改进EnlightenGAN的U-Net生成器，在每个卷积模块后连接ASPP和RRDB模块以丰富裂缝细节信息。通过裂缝图像数据集训练改进后的EnlightenGAN，训练完成后对裂缝阴影图像进行图像恢复，输出恢复后的裂缝图像。

本发明的技术效果是毋庸置疑的，本发明对EnlightenGAN模型进行改进，提出了阴影裂缝图像质量提升框架。利用图像超分辨率重建生成式对抗网络(ESRGAN)提高图像分辨率，增强裂缝边缘轮廓。在EnlightenGAN的生成器中引入了多尺度特征融合模块(ASPP)和残差密集模块(RRDB)，以增强裂缝区域和轮廓。与原始EnlightenGAN相比，改进后的EnlightenGAN对阴影裂缝图像的去阴影效果更符合裂缝图像的使用要求。

附图说明

图1为基于改进EnlightenGAN的裂缝图像去阴影流程图；

图2为基于改进EnlightenGAN的裂缝图像去阴影框架；

图3为空洞空间金字塔池化(ASPP)模块结构图；

图4为残差密集模块(RRDB)结构图；图4(a)为RRDB；图4(b)为密集块(DenseBlock)。

图5为阴影图像恢复框架对比图；图5(a)为阴影图像；图5(b)为EnlightenGAN去阴影图像；图5(c)为ESRGAN+EnlightenGAN去阴影图像；图5(d)为ESRGAN+改进的EnlightenGAN去阴影图像。

具体实施方式

下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

实施例1：

参见图1至图5，一种基于改进EnlightenGAN的裂缝图像阴影去除方法，包括以下步骤：

1)构建裂缝图像数据集，其中包含训练集和测试集；

2)基于裂缝图像数据集，构建基于改进EnlightenGAN的裂缝图像去阴影模型；

3)获取待处理裂缝图像，并输入至裂缝图像去阴影模型中，得到去阴影裂缝图像。

所述裂缝图像数据集包括若干裂缝正常图像和若干存在阴影的裂缝图像。

所述裂缝图像数据集与裂缝图像分割数据集中的图像通过无人机拍摄获得。

所述基于改进EnlightenGAN的裂缝图像去阴影模型包括ESRGAN模型和改进EnlightenGAN模型。

所述ESRGAN模型利用残差密集模块RRDB提取裂缝图像的特征信息，并采取上采样的方式重建裂缝图像，加深裂缝图像的边缘细节；

所述改进EnlightenGAN模型对重建后的裂缝图像进行去阴影处理，得到去阴影裂缝图像。

所述改进EnlightenGAN模型利用自正则化注意力方法引导的U-Net生成器构建去阴影裂缝图像；

所述U-Net生成器包括特征提取单元和特征融合单元，且在跳层连接中使用注意力模块；

所述特征提取单元的输入为待处理的裂缝图像，输出为特征图；

所述特征融合单元采用自正则化注意力方法，将特征提取单元输出的特征图与自正则化注意力图相乘，将输出特征图与存在阴影的裂缝图像融合，从而输出去阴影图像。

所述特征提取单元包括多个卷积模块，以及与每个卷积模块相连接的多尺度特征融合模块ASPP和残差密集模块RRDB；

每个卷积模块包括输入层、多个卷积层、多个LeakyReLU层、多个BN层、最大池化层和输出层；

所述卷积模块用于提取裂缝图像的全局信息；

所述多尺度特征融合模块ASPP和残差密集模块RRDB用于对裂缝图像进行细节增强。

所述多尺度特征融合模块ASPP包括卷积单元、多个膨胀卷积单元、图像尺寸恢复单元、输出融合单元、后处理单元；

所述卷积单元包括输入层、池化层、卷积层、ReLU激活层、上采样层和输出层；

所述膨胀卷积单元包括输入层、池化层、膨胀卷积层、ReLU激活层和输出层；

所述图像尺寸恢复单元用于恢复图像尺寸，包括输入层、池化层、卷积层、ReLU激活层和上采样层；

所述输出融合单元的输出F_c如下所示：

F_c＝Concat(F₁₁,F₁₂,...,F_1n,F₃₁) (1)

式中，F₃₁为图像尺寸恢复单元的输出；F₁₁为卷积单元的输出；Concat表示维度拼接；F_1i为膨胀卷积单元的输出；i＝2，3，…，n；

其中，图像尺寸恢复单元的输出F₃₁如下所示：

F₃₁＝Upsample(ReLU(Conv_1×1(Pool_1×1(F₁)))) (2)

式中，Pool_1×1表示池化层，Conv_1×1表示卷积层，ReLU表示激活层，Upsample表示上采样层；F₁表示图像尺寸恢复单元的输入；

后处理单元的输出F_out如下所示：

F_out＝Dropout_0.5(ReLU(Conv_1×1(F_c))) (3)

式中，Dropout_0.5表示以0.5的概率随机丢弃部分通道。

所述残差密集模块RRDB包括多个采用残差结构的密集块；

所述密集块采取密集连接方法，包含多个依次连接的卷积层；

前一个卷积激活层的输出作为后面所有卷积层的输入；

所述密集块的激活函数为LeakyReLU激活函数；

所述特征融合单元包括多个反卷积模块，与每个反卷积模块连接的卷积模块；

所述反卷积模块包括双线性上采样层、卷积层。

所述特征融合单元采用自正则化注意力方法，将特征提取单元输出的特征图与自正则化注意力图相乘，将输出特征图与存在阴影的裂缝图像融合，从而输出去阴影图像。

构建基于改进EnlightenGAN的裂缝图像去阴影模型的步骤包括：

1)搭建基于改进EnlightenGAN的裂缝图像去阴影模型框架；

2)将裂缝图像数据集划分为训练集和测试集；

3)以训练集为输入，通过迁移学习与神经网络训练获取ESRGAN模型、改进EnlightenGAN模型的权重；

4)以测试集为输入，对ESRGAN模型、改进EnlightenGAN模型的权重进行优化。

实施例2：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，包括以下步骤：

1)构建裂缝图像数据集，其中包含训练集和测试集；

2)基于裂缝图像数据集，构建基于改进EnlightenGAN的裂缝图像去阴影模型；

3)获取待处理裂缝图像，并输入至裂缝图像去阴影模型中，得到去阴影裂缝图像。

实施例3：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，技术内容同实施例2，进一步的，所述裂缝图像数据集包括若干裂缝正常图像和若干存在阴影的裂缝图像。

实施例4：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，技术内容同实施例2-3任一项，进一步的，所述裂缝图像数据集与裂缝图像分割数据集中的图像通过无人机拍摄获得。

实施例5：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，技术内容同实施例2-4任一项，进一步的，所述基于改进EnlightenGAN的裂缝图像去阴影模型包括ESRGAN模型和改进EnlightenGAN模型。

所述ESRGAN模型利用残差密集模块RRDB提取裂缝图像的特征信息，并采取上采样的方式重建裂缝图像，加深裂缝图像的边缘细节；

所述改进EnlightenGAN模型对重建后的裂缝图像进行去阴影处理，得到去阴影裂缝图像。

实施例6：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，技术内容同实施例2-5任一项，进一步的，所述改进EnlightenGAN模型利用自正则化注意力方法引导的U-Net生成器构建去阴影裂缝图像；

所述U-Net生成器包括特征提取单元和特征融合单元，且在跳层连接中使用注意力模块；

所述特征提取单元的输入为待处理的裂缝图像，输出为特征图；

所述特征融合单元采用自正则化注意力方法，将特征提取单元输出的特征图与自正则化注意力图相乘，将输出特征图与存在阴影的裂缝图像融合，从而输出去阴影图像。

实施例7：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，技术内容同实施例2-6任一项，进一步的，所述特征提取单元包括多个卷积模块，以及与每个卷积模块相连接的多尺度特征融合模块ASPP和残差密集模块RRDB；

每个卷积模块包括输入层、多个卷积层、多个LeakyReLU层、多个BN层、最大池化层和输出层；

所述卷积模块用于提取裂缝图像的全局信息；

所述多尺度特征融合模块ASPP和残差密集模块RRDB用于对裂缝图像进行细节增强。

实施例8：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，技术内容同实施例2-7任一项，进一步的，所述多尺度特征融合模块ASPP包括卷积单元、多个膨胀卷积单元、图像尺寸恢复单元、输出融合单元、后处理单元；

所述卷积单元包括输入层、池化层、卷积层、ReLU激活层、上采样层和输出层；

所述膨胀卷积单元包括输入层、池化层、膨胀卷积层、ReLU激活层和输出层；

所述图像尺寸恢复单元用于恢复图像尺寸，包括输入层、池化层、卷积层、ReLU激活层和上采样层；

所述输出融合单元的输出F_c如下所示：

F_c＝Concat(F₁₁,F₁₂,...,F_1n,F₃₁) (1)

式中，F₃₁为图像尺寸恢复单元的输出；F₁₁为卷积单元的输出；Concat表示维度拼接；F_1i为膨胀卷积单元的输出；i＝2，3，…，n；

其中，图像尺寸恢复单元的输出F₃₁如下所示：

F₃₁＝Upsample(ReLU(Conv_1×1(Pool_1×1(F₁)))) (2)

式中，Pool_1×1表示池化层，Conv_1×1表示卷积层，ReLU表示激活层，Upsample表示上采样层；

后处理单元的输出如下所示：

F_out＝Dropout_0.5(ReLU(Conv_1×1(F_c))) (3)

式中，Dropout_0.5表示以0.5的概率随机丢弃部分通道。

实施例9：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，技术内容同实施例2-8任一项，进一步的，所述残差密集模块RRDB包括多个采用残差结构的密集块；

所述密集块采取密集连接方法，包含多个依次连接的卷积层；

前一个卷积激活层的输出作为后面所有卷积层的输入；

所述密集块的激活函数为LeakyReLU激活函数；

实施例10：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，技术内容同实施例2-9任一项，进一步的，所述特征融合单元包括多个反卷积模块，与每个反卷积模块连接的卷积模块；

所述反卷积模块包括双线性上采样层、卷积层。

所述特征融合单元采用自正则化注意力方法，将特征提取单元输出的特征图与自正则化注意力图相乘，将输出特征图与存在阴影的裂缝图像融合，从而输出去阴影图像。

实施例11：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，技术内容同实施例2-10任一项，进一步的，构建基于改进EnlightenGAN的裂缝图像去阴影模型的步骤包括：

1)搭建基于改进EnlightenGAN的裂缝图像去阴影模型框架；

2)将裂缝图像数据集划分为训练集和测试集；

3)以训练集为输入，通过迁移学习与神经网络训练获取ESRGAN模型、改进EnlightenGAN模型的权重；

4)以测试集为输入，对ESRGAN模型、改进EnlightenGAN模型的权重进行优化。

实施例11：

一种基于改进EnlightenGAN的裂缝图像阴影去除方法，内容如下：

1，收集并构建裂缝图像数据集。收集无人机拍摄的裂缝图像，随机选取一定数量的裂缝正常图像和阴影图像，组成包含两个类别的裂缝图像数据集，其中正常图像与阴影图像的比例为1:1。随机选取一定数量的图片作为训练集和测试集，其比例为8:2。

2，构建基于改进的EnlightenGAN的裂缝图像去阴影框架，主要包括ESRGAN模型和改进的EnlightenGAN模型的构建、获取神经网络权重和裂缝阴影图像的恢复与输出。图2详细说明了该框架的结构和运行过程。

a).构建ESRGAN模型与改进的EnlightenGAN模型。ESRGAN使用RRDB提取特征信息，采取上采样的方式重建图像，加深裂缝图像的边缘细节。计算真实图像和生成图像的相对距离作为对抗损失这有助于模型学习更清晰的边缘和更详细的纹理。

其中代表对小批量中的所有假数据取平均的操作。其中代表对小批量中的所有真数据取平均的操作。D_Ra代表相对平均鉴别器。x_r与x_f分别代表真实图像和假图像。同时计算特征图感知损失L_p，这有利于提升模型的性能。

其中I_HR与I_LR分别表示高清图像和低清图像。N表示网络特征层数。F_i(.)表示在预训练的VGG神经网络中的第i层的特征。

然后建立改进的EnlightenGAN对裂缝图像开展去阴影操作。EnlightenGAN使用了自正则化注意力方法(self-regularized attention)引导的U-Net生成器构建清晰图像，这使得生成图像的亮度与更接近真实图像。在此基础上，本发明提出的改进的EnlightenGAN在该生成器中加入ASPP模块和RRDB模块，以提高裂缝细节的保留能力。该生成器包含特征提取和特征融合阶段，并在跳层连接中使用了注意力模块。其中特征提取阶段包括5个卷积模块，每个卷积模块由2个3×3卷积层、2个LeakyReLU层和2个BN层组成。之后连接最大池化层，以提取图像全局信息。紧随其后的，在每个卷积模块后连接ASPP和RRDB模块以丰富裂缝细节信息。

如图3所示为本发明所采用的ASPP模块结构。输入特征F₁并连接1个1×1卷积层。同时，为了提高图像信息利用率，加入6个3×3膨胀卷积层，其膨胀率分别为为1、2、3、1、2和3。各卷积层均连接ReLU激活层，并输出7个特征(F₁₁～F₁₇)。在特征F₁后依次连接1×1池化层、1×1卷积层、ReLU激活层和上采样层以恢复图像尺寸，输出特征F₃₁，其表达式如公式(1)所示：

F₃₁＝Upsample(ReLU(Conv_1×1(Pool_1×1(F₁)))) (1)

其中Pool_1×1表示1×1池化层，Conv_1×1表示1×1卷积层，ReLU表示激活层，Upsample表示上采样层。为了融合各尺度特征信息，拼接各卷积层和上采样层输出的特征图得到F_c，其表达式如公式(2)所示：

F_c＝Concat(F₁₁,F₁₂,F₁₃,F₁₄,F₁₅,F₁₆,F₁₇,F₃₁) (2)

其中Concat表示维度拼接。其后连接1×1卷积层、ReLU激活层和随机丢弃率为0.5的Dropout层，以降低通道数并输出最终结果F_out。其计算过程如公式(3)所示：

F_out＝Dropout_0.5(ReLU(Conv_1×1(F_c))) (3)

其中Dropout_0.5表示以0.5的概率随机丢弃部分通道。

为提高模型对裂缝信息的提取能力，本发明在ASPP模块后面引入RRDB模块。如图4所示，RRDB模块由三个密集块构成，并且采用了残差结构。该模块使用残差放大系数对学习到的残差进行缩放，有利于增强网络的稳定性。密集块采取了密集连接方法，包含5个3×3卷积层，且使用LeakyReLU激活函数丰富模型的非线性表达能力。每个卷积激活层的输出作为后面所有卷积层的输入，从而避免在网络反向传播训练时所可能引起的信息丢失。同样的，密集块也采用了残差放大系数对学习到的残差进行缩放。本发明的密集块和RRDB模块的残差放大系数均为0.2。

对图2所示改进的EnglightenGAN的右侧生成器特征融合阶段，同样采用一个双线性上采样层和一个卷积层代替标准的反卷积层，建立反卷积模块以减轻伪影。在每个反卷积模块后面连接与特征提取阶段相同的卷积模块，构建5个上采样阶段以进行特征融合。使用EnlightenGAN中的自正则化注意力方法，将特征提取阶段各卷积模块输出的特征图与自正则化注意力图相乘。将输出特征图与原始阴影图像融合，从而输出去阴影图像。

b).通过迁移学习与神经网络训练获取神经网络权重。原始的ESRGAN在包含800张图像的DIV2K训练集以及Flickr2K数据集上进行了模型训练，并生成网络权重。基于迁移学习的思想，将该预训练权重转移到本发明采用的模型中，从而获取ESRGAN的权重。利用收集的裂缝阴影图像数据集训练改进的EnlightenGAN，训练200个周期后记录其权重参数。

c).输入裂缝阴影图像并进行图像恢复与结果输出。输入裂缝图像测试集，利用ESRGAN将图像的分辨率从227×227提高为908×908，从而提升裂缝图像去阴影效果。之后将该图像输入改进的EnlightenGAN，对其进行图像重构和恢复，输出图像恢复后的高质量图像。

技术效果：

以本发明收集的裂缝图像数据集为例，其中一共含2000张图像，裂缝正常图像和裂缝阴影图像比例为1:1。将该数据集按照8:2的比例划分为训练集和测试集，训练集用于神经网络的模型搭建和参数学习，测试集用于评价图像恢复效果。使用训练集训练改进的EnlightenGAN。对改进的EnlightenGAN首先以1e-4的学习率训练100个epoch。在之后的100个epoch中，学习率缓慢衰减到0。使用Adam算法对模型进行参数优化，批处理大小为4。

随机选取3张裂缝阴影图像测试改进的EnlightenGAN框架的去阴影效果。如图5(a)所示为原始阴影5(b)为利用EnlightenGAN的去阴影结果，5(c)为先利用ESRGAN提升图像分辨率再利用EnlightenGAN的去阴影结果，5(d)为先利用ESRGAN提升图像分辨率再利用改进的EnlightenGAN的去阴影结果。对比图5(a)与5(b)，在使用EnlightenGAN进行去阴影后，裂缝图片的光照明显增强。对比图5(b)和5(c)，利用ESRGAN提高图像分辨率之后再使用EnlightenGAN，图像光照增强效果更好，且阴影区域明显变淡。整体而言，利用ESRGAN提升图片分辨率有利于阴影去除效果。对比图5(c)和5(d)，利用本发明提出的改进的EnlightenGAN，图5(c)中裂缝整体图像的过度曝光现象得到了较好的改善。利用改进的EnlightenGAN开展裂缝图像去阴影，所得裂缝轮廓更清晰，且形状、长度和宽度均得到了完整的保留。对过度曝光的抑制可以避免裂缝关键信息的损失，从而有效提升去阴影效果。这表明所提出的基于ESRGAN和改进的EnlightenGAN的裂缝去阴影框架可以在增强图像光照强度的同时完整保留裂缝区域的关键信息，具有比较理想的去阴影性能。

Claims (10)

1.一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，包括以下步骤：

1)构建所述裂缝图像数据集。

2)基于裂缝图像数据集，构建基于改进EnlightenGAN的裂缝图像去阴影模型；

3)获取待处理裂缝图像，并输入至裂缝图像去阴影模型中，得到去阴影裂缝图像。

2.根据权利要求1所述的一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，所述裂缝图像数据集包括若干裂缝正常图像和若干存在阴影的裂缝图像。

3.根据权利要求1所述的一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，所述裂缝图像数据集与裂缝图像分割数据集中的图像通过无人机拍摄获得。

4.根据权利要求1所述的一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，所述基于改进EnlightenGAN的裂缝图像去阴影模型包括ESRGAN模型和改进EnlightenGAN模型。

所述ESRGAN模型利用残差密集模块RRDB提取裂缝图像的特征信息，并采取上采样的方式重建裂缝图像，加深裂缝图像的边缘细节；

所述改进EnlightenGAN模型对重建后的裂缝图像进行去阴影处理，得到去阴影裂缝图像。

5.根据权利要求1所述的一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，所述改进EnlightenGAN模型利用自正则化注意力方法引导的U-Net生成器构建去阴影裂缝图像；

所述U-Net生成器包括特征提取单元和特征融合单元，且在跳层连接中使用注意力模块；

所述特征提取单元的输入为待处理的裂缝图像，输出为特征图；

所述特征融合单元采用自正则化注意力方法，将特征提取单元输出的特征图与自正则化注意力图相乘，将输出特征图与存在阴影的裂缝图像融合，从而输出去阴影图像。

6.根据权利要求1所述的一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，所述特征提取单元包括多个卷积模块，以及与每个卷积模块相连接的多尺度特征融合模块ASPP和残差密集模块RRDB；

每个卷积模块包括输入层、多个卷积层、多个LeakyReLU层、多个BN层、最大池化层和输出层；

所述卷积模块用于提取裂缝图像的全局信息；

所述多尺度特征融合模块ASPP和残差密集模块RRDB用于对裂缝图像进行细节增强。

7.根据权利要求1所述的一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，所述多尺度特征融合模块ASPP包括卷积单元、多个膨胀卷积单元、图像尺寸恢复单元、输出融合单元、后处理单元；

所述卷积单元包括输入层、池化层、卷积层、ReLU激活层、上采样层和输出层；

所述膨胀卷积单元包括输入层、池化层、膨胀卷积层、ReLU激活层和输出层；

所述图像尺寸恢复单元用于恢复图像尺寸，包括输入层、池化层、卷积层、ReLU激活层和上采样层；

所述输出融合单元的输出F_c如下所示：

F_c＝Concat(F₁₁,F₁₂,...,F_1n,F₃₁)(1)

式中，F₃₁为图像尺寸恢复单元的输出；F₁₁为卷积单元的输出；Concat表示维度拼接；F_1i为膨胀卷积单元的输出；i＝2，3，…，n；

其中，图像尺寸恢复单元的输出F₃₁如下所示：

F₃₁＝Upsample(ReLU(Conv_1×1(Pool_1×1(F₁))))(2)

式中，Pool_1×1表示池化层，Conv_1×1表示卷积层，ReLU表示激活层，Upsample表示上采样层；F₁表示图像尺寸恢复单元的输入；

后处理单元的输出F_out如下所示：

F_out＝Dropout_0.5(ReLU(Conv_1×1(F_c)))(3)

式中，Dropout_0.5表示以0.5的概率随机丢弃部分通道。

8.根据权利要求1所述的一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，所述残差密集模块RRDB包括多个采用残差结构的密集块；

所述密集块采取密集连接方法，包含多个依次连接的卷积层；前一个卷积激活层的输出作为后面所有卷积层的输入；

所述密集块的激活函数为LeakyReLU激活函数。

9.根据权利要求1所述的一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，所述特征融合单元包括多个反卷积模块，与每个反卷积模块连接的卷积模块；

所述反卷积模块包括双线性上采样层、卷积层。

所述特征融合单元采用自正则化注意力方法，将特征提取单元输出的特征图与自正则化注意力图相乘，将输出特征图与存在阴影的裂缝图像融合，从而输出去阴影图像。

10.根据权利要求1所述的一种基于改进EnlightenGAN的裂缝图像阴影去除方法，其特征在于，构建基于改进EnlightenGAN的裂缝图像去阴影模型的步骤包括：

1)搭建基于改进EnlightenGAN的裂缝图像去阴影模型框架；

2)将裂缝图像数据集划分为训练集和测试集；

3)以训练集为输入，通过迁移学习与神经网络训练获取ESRGAN模型、改进EnlightenGAN模型的权重；

4)以测试集为输入，对ESRGAN模型、改进EnlightenGAN模型的权重进行优化。