CN115661001B - 基于生成对抗网络的单通道煤岩图像增强方法 - Google Patents

Abstract

本发明提供了一种基于生成对抗网络的单通道煤岩图像增强方法，属于图像处理技术领域。其包括以下步骤：对相关的煤岩图像进行筛选；对数据集图像进行预处理操作，包括以下具体过程：将图像由RGB三通道转换到灰度图像；将图像放缩到同样的大小尺寸以便后续处理及训练；通过随机裁剪、旋转操作增强数据集；将预处理过后的数据导入CABGAN网络中进行训练：对训练后的图像得到的暗光增强生成器固定参数，从而得到煤岩图像增强模型。本发明采用单通道的机制，减少了三分之二的参数量，极大的提升了效率。同时在单通道舍弃颜色信息的同时也舍弃了大部分噪音信息，即达到更好的降噪效果。

Description

基于生成对抗网络的单通道煤岩图像增强方法

技术领域

本发明涉及一种基于生成对抗网络的单通道煤岩图像增强方法，属于图像处理技术领域。

背景技术

煤炭是世界上最经济的化石能源，在世界能源安全和社会发展中起着决定性的作用。煤矿智能化的无人开采是增加煤炭产量、减少煤矿事故的最重要的途径。但由于煤矿井下环境复杂，粉尘重，采光条件差。这种环境往往会采集出高噪声、低亮度、低对比度的煤炭图像。因此，很难从这些低质量的图像中提取出有用的信息，从而严重制约了图像和视频技术在煤矿智能化中的应用。

煤炭井下暗光增强技术主要有几个问题需要解决：

现有的图像增强方法依赖成对的数据集，即需要一一对应的正常光图像和暗光图像用于训练模型。但是由于煤矿井下的复杂环境，我们无法同时在同一场景内获取到合适，大量的成对数据集用于训练。

暗光图像增强和图像超分重建不同，图像的超分重建有Ground Truth作为参考真值，即图像处理只要越接近参考真值就有更好的效果。但是暗光图像增强并没有可以参考的真值，即公开的数据集的正常光并不一定是最好效果、指导图像增强的最正确正例。而在煤岩领域更是如此，煤岩井下环境采光处于极端暗光或过度曝光的两种极端状态，这在现有公开的数据集和方法上并没有很好的解决办法。

在煤岩暗光图像在获取的过程中，存在大量噪音，尤其是极暗区域，噪音远高于可接受范围，本身在图片获取的同时，黑暗图像将噪音藏在黑暗区域，视觉上感知并不明显，但增强后就会将噪音暴露出来，极大影响图片质量。而通常的降噪方法，训练过程都是采用人工模拟的高斯噪音等，合成噪音进行训练，在真实噪音上，已知降噪模型都没有很好的表现。导致图片及视频在处理下游任务时（如：井下人员目标检测，煤岩实施分割等）不能有很好的表现。

发明内容

本发明目的是提供了一种基于生成对抗网络的单通道煤岩图像增强方法，采用单通道的机制，减少了三分之二的参数量，极大的提升了效率。同时在单通道舍弃颜色信息的同时也舍弃了大部分噪音信息，即达到更好的降噪效果。

本发明为实现上述目的，通过以下技术方案实现：

一种基于生成对抗网络的单通道煤岩图像增强方法，包括以下步骤：

步骤1、对相关的煤岩图像进行筛选；

步骤2、对数据集图像进行预处理操作；

步骤3、将预处理过后的数据导入CABGAN网络中进行训练：

步骤4、对训练后的图像得到的暗光增强生成器固定参数，从而得到煤岩图像增强模型。

上述基于生成对抗网络的单通道煤岩图像增强方法基础上，步骤2包括以下具体过程：

2.1.将图像由RGB三通道转换到灰度图像；

2.2.将图像放缩到同样的大小尺寸以便后续处理及训练；

2.3.通过随机裁剪、旋转操作增强数据集。

上述基于生成对抗网络的单通道煤岩图像增强方法基础上，步骤3包括以下具体过程：

步骤3.1、生成器：输入图像进入U-net结构的编码器进行特征提取，通过残差协调注意块来解决增强后的煤图像不真实的问题，同时注意力机制让生成器更好的对于需要增强的局部暗光区域学习，通过不同层的网络提取特征，深度聚合金字塔池模块引导网络融合多尺度上下文信息，最后再通过解码器的层层解码得到增强后的煤岩图像；

步骤3.2、判别器：全局判别器以整幅图像作为输入，输出整幅图像的真伪的判别结果，局部判别器通过检测从增强后图像和正常光照图像中随机裁剪局部的图像块来判别真假。

上述基于生成对抗网络的单通道煤岩图像增强方法基础上，生成器的损失函数为一组多重损失函数的加权求和，其具体公式为：

为感知损失函数，其公式为：

其中是16×16的局部区域，是区域的平均强度值，代表ReLU函数，设置 ；

为空间一致性损失，，为临近区域，为计算增强后图像和原始图像临近区域的值；

为颜色一致性损失，，其中 通道的值。

本发明的优点在于：

针对井下煤岩的复杂环境，通过构建单通道注意力的生成对抗网络（CABGAN）从而生成光照充分的煤岩图像。采用单通道的思想，大大的降低计算参数的同时抛弃了井下暗光环境下拍摄煤岩自带的大量噪音。CABGAN由生成器和判别器构成；其中生成器是由经典的U-net网络结果融合残差协调注意力模块（RCA模块）和深度聚合金字塔池模块（DAPPM）组成的，而判别器部分则是由局部判别的和全局判别器组成。残差协调注意力模块可以在提取到更多特征信息的同时将注意力更多的放在光照不均且难以调节的区域。深度聚合金字塔池模块则融合了多尺度的特征信息。双判别器结构及保证了图像全局的亮度调节又关注了局部调节的视觉感受。本发明对于复杂环境下的图像增强效果明显，为智能煤矿中的下游识别、分割等任务提供了更好的数据增强效果，提高了高层任务的准确度以及效率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明中生成对抗网络结构示意图；

图2为本发明中生成器部分的结构示意图；

图3为本发明中残差协调注意块(RCA)结构示意图；

图4为本发明中深度聚合金字塔池模块（DAPPM）示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本方法针对复杂的煤岩井下环境，用生成对抗式网络解决了难以采集成对数据集的问题，同时总结煤岩图像的特点，以单通道图像增强的方法大幅减少模型计算的参数量，提高模型计算效率。同时单通道图像减少了黑暗拍摄时的隐藏噪音，从而达到更好的降噪效果。

参考图1、图2、图3和图4，一种基于生成对抗网络的单通道煤岩图像增强方法，包括以下步骤：

步骤1、对相关的煤岩图像进行筛选：

步骤1.1、对真实的煤岩数据的采集及整理；

步骤1.2、对于煤岩相关数据集的筛选及在煤岩数据不充足的情况下可使用亮度较高、自然噪音较小，包含更多纹理细节信息的通用数据集增大数据集大小。

步骤2、对数据集图像进行预处理操作：

2.1.将图像由RGB三通道转换到灰度图像；

2.2.将图像放缩到同样的大小尺寸以便后续处理及训练；

2.3.通过随机裁剪、60°、90°、180°旋转操作得到更多数量的数据集，从而驱动网络在数量更多的数据集上取得更好的效果。

步骤3、将预处理过后的数据导入CABGAN网络中进行训练：

步骤3包括以下具体过程：

步骤3.1、生成器：输入图像进入U-net结构的编码器进行特征提取，通过残差协调注意块(RCA)来解决增强后的煤图像不真实的问题，如附图3所示：设置两个全局平均池对一维水平和一维垂直池的空间信息进行编码，然后将两个值concat连接起来，并使用1×1卷积层来转换维度，通过BatchNorm层和非线性函数，将中间特征映射沿着空间维分解为两个独立的张量，此后，通过使用1×1卷积层，改变通道的数量，两个sigmoid激活函数在卷积层后以减少计算，同时注意力机制让生成器更好的对于需要增强的局部暗光区域学习，通过不同层的网络提取特征，深度聚合金字塔池模块（DAPPM）引导网络融合多尺度上下文信息，如附图4所示：DAPPM通过提取到到多个特征尺度，从而增加接受域，整合多尺度特征信息，最后再通过解码器的层层解码得到增强后的煤岩图像；

骤3.2、判别器：全局判别器以整幅图像作为输入，输出整幅图像的真伪的判别结果，局部判别器通过检测从增强后图像和正常光照图像中随机裁剪局部的图像块来判别真假。

步骤4、对训练后的图像得到的暗光增强生成器固定参数，从而得到煤岩图像增强模型。

本实施例中，生成器的损失函数为一组多重损失函数的加权求和，其具体公式为：

为感知损失函数，

为亮度一致性损失，人眼视觉的良好度范围在0.45 ~ 0.65之间，因此通过亮度一致性损失增强欠曝光区域的图像曝光，抑制过度曝光，其公式为：

其中是16×16的局部区域，是区域的平均强度值，代表ReLU函数，设置 ；

为空间一致性损失，，为临近区域，为计算增强后图像和原始图像临近区域的值；

为颜色一致性损失，，其中 通道的值。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于生成对抗网络的单通道煤岩图像增强方法，其特征在于，包括以下步骤：

步骤1、对相关的煤岩图像进行筛选；

步骤2、对数据集图像进行预处理操作；

步骤3、将预处理过后的数据导入CABGAN网络中进行训练：

步骤4、对训练后的图像得到的暗光增强生成器固定参数，从而得到煤岩图像增强模型；

步骤3包括以下具体过程：

步骤3.1、生成器：输入图像进入U-net结构的编码器进行特征提取，通过残差协调注意块来解决增强后的煤图像不真实的问题，同时注意力机制让生成器更好的对于需要增强的局部暗光区域学习，通过不同层的网络提取特征，深度聚合金字塔池模块引导网络融合多尺度上下文信息，最后再通过解码器的层层解码得到增强后的煤岩图像；

步骤3.2、判别器：全局判别器以整幅图像作为输入，输出整幅图像的真伪的判别结果，局部判别器通过检测从增强后图像和正常光照图像中随机裁剪局部的图像块来判别真假；

生成器的损失函数为一组多重损失函数的加权求和，其具体公式为：

Loss＝L_pre+L_G+αL_spa+βL_col+γL_exp

L_pre为感知损失函数，

L_exp为亮度一致性损失，人眼视觉的良好度范围在0.45～0.65之间其公式为：

其中M是是16×16的局部区域，x_k是区域的平均强度值，

代表ReLU函数，设置E₁＝045，E₂＝0.65，φ＝0.5，

τ₁∈[0，0.45]，τ₂∈(0.45，0.65)，和τ₃∈[0.65，1]；

L_spa为空间一致性损失，

S为临近区域，

计算增强后图像和原始图像临近区域的值；

L_col为颜色一致性损失，

P^r，P^g和P^b分别表示R，G和B为通道的值。

2.根据权利要求1所述基于生成对抗网络的单通道煤岩图像增强方法，其特征在于，步骤1包括以下具体过程：

2.1.将图像由RGB三通道转换到灰度图像；

2.2.将图像放缩到同样的大小尺寸以便后续处理及训练；

2.3.通过随机裁剪、、60°、90°、180°旋转操作得到更多数量的数据集。

Images