CN115170430A - 基于两阶段条件生成对抗网络的近红外图像着色方法 - Google Patents

Abstract

本发明公开了一种基于两阶段条件生成对抗网络的近红外图像着色方法，基于两阶段条件生成对抗网络的近红外图像着色方法包括：S1：获取近红外灰度图像；S2：构建近红外图像的灰度预处理模块；S3：利用近红外图像的灰度预处理模块对近红外灰度图像进行预处理，得到灰度图像；S4：构建图像着色模块；S5：利用图像着色模块，对灰度图像进行着色处理，得到着色生成图像，其中，图像着色模块还用于对着色生成图像和训练图像提取到的颜色特征向量进行判别，得到判别结果用于训练图像着色模块。本发明能够解决现有的图像着色方法对于包含大量噪声信息的近红外图像，缺少相应的灰度处理，导致着色图像出现整体视觉效果亮暗闪烁的问题。

Description

基于两阶段条件生成对抗网络的近红外图像着色方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于两阶段条件生成对抗网络的近红外图像着色方法。

背景技术

图像着色的目的在于给输入的灰度图像加入颜色信息，得到彩色图像，便于场景理解和下一阶段的分析与处理。传统的图像着色研究使用函数映射、颜色扩展、参考示例等方法，需要大量的人工干预，耗时费力。近年来随着深度学习的发展，很多研究基于深度卷积神经网络来解决图像着色任务。基于深度学习的方法利用丰富的训练数据使灰度图像着色任务取得了显著的进步，但是对于包含大量噪声信息的近红外图像，则缺少对近红外图像的灰度处理，其着色结果会出现整体视觉效果亮暗闪烁的问题。

现有的图像着色方法提出了关于记忆增强学习的着色模型，该模型通过查询的方式，获取在记忆网络中通过训练集学习到的颜色信息，并基于阈值三元组损失，在无类别标签下对存储网络进行无监督训练，并最终完成图像的着色。但是，该方法存在以下问题：首先，没有学习到足够的颜色信息，造成着色结果中存在色彩斑驳现象。其次，缺乏对近红外图像的灰度处理，着色结果受噪声影响明显。最后，虽然该方法能够处理有限数据着色，但是其效率不高，实际应用时着色效果不佳。

发明内容

本发明的目的在于提供一种基于两阶段条件生成对抗网络的近红外图像着色方法，以解决现有的基于深度学习的图像着色方法对于包含大量噪声信息的近红外图像，缺少相应的灰度处理，导致着色图像出现整体视觉效果亮暗闪烁的问题。

本发明解决上述技术问题的技术方案如下：

本发明提供一种基于两阶段条件生成对抗网络的近红外图像着色方法，所述基于两阶段条件生成对抗网络的近红外图像着色方法包括：

S1：获取近红外灰度图像；

S2：构建近红外图像的灰度预处理模块；

S3：利用所述近红外图像的灰度预处理模块对所述近红外灰度图像进行预处理，得到灰度图像；

S4：构建图像着色模块；

S5：利用所述图像着色模块，对所述灰度图像进行着色处理，得到着色生成图像，其中，所述图像着色模块还用于对所述着色生成图像和训练图像提取到的颜色特征向量进行判别，得到判别结果用于训练所述图像着色模块。

可选择地，所述步骤S2中，所述近红外图像的灰度预处理模块包括第一生成器和第一判别器，所述第一生成器和所述第一判别器是第一阶段损失函数训练得到的。

可选择地，所述第一生成器包括第一编码器和第一解码器，所述第一编码器包括7个第一残差连接块，第1至4个第一残差连接块构成第一下采样编码，第5至7个第一残差连接块构成第一中间编码；

各所述第一残差连接块均包括第一3×3卷积层、第一IN模块、第一Relu激活函数层、第二3×3卷积层、第二Relu激活函数层、第一Dropout模块、第一2×2卷积层、第二IN模块和第三Relu激活函数层，所述第一3×3卷积层和所述第一2×2卷积层的输入为所述近红外灰度图像和/或上一个残差连接块的输出结果，所述第一3×3卷积层、所述第一IN模块、所述第一Relu激活函数层、所述第二3×3卷积层和所述第二Relu激活函数层依次连接，所述第一2×2卷积层、第二IN模块和第三Relu激活函数层依次连接，所述第二Relu激活函数层的输出结果和所述第三Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第一Dropout模块的输入，所述第一Dropout模块的输出作为该第一残差连接块的输出结果或所述第一编码器的输出结果。

可选择地，所述第一解码器包括7个第一具有空洞卷积结构的残差连接块，第1至4个第一具有空洞卷积结构的残差连接块构成第一中间解码，第5至7个第一具有空洞卷积结构的残差连接块构成第一上采样编码；

所述第1个第一残差连接块和第1个第一具有空洞卷积结构的残差连接块之间通过第一残差连接路径连接，所述第2个第一残差连接块和第2个第一具有空洞卷积结构的残差连接块之间通过第二残差连接路径连接；

各所述第一具有空洞卷积结构的残差连接块均包括第一3×3转置空洞卷积层、第三IN模块、第四Relu激活函数层、第二3×3转置空洞卷积层、第五Relu激活函数层、第二Dropout模块、第一2×2转置卷积层、第四IN模块和第六Relu激活函数层，所述第一3×3转置空洞卷积层和所述第一2×2转置卷积层的输入为所述第一编码器的输出结果或上一个第一具有空洞卷积结构的残差连接块的输出结果，所述第一3×3转置空洞卷积层、所述第三IN模块、所述第四Relu激活函数层、所述第二3×3转置空洞卷积层和所述第五Relu激活函数层依次连接，所述第一2×2转置卷积层、第四IN模块和第六Relu激活函数层依次连接，所述第五Relu激活函数层的输出结果和所述第六Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第二Dropout模块的输入，所述第二Dropout模块的输出作为该第一具有空洞卷积结构的残差连接块的输出结果或所述第一解码器的输出结果，所述第一解码器的输出结果为生成灰度图像。

可选择地，所述步骤S2中，所述第一判别器包括依次连接的第三3×3卷积层、第四3×3卷积层、第一BN模块、第五3×3卷积层、第六3×3卷积层、第二BN模块、第七3×3卷积层、第一LeakRelu激活函数层和第八3×3卷积层，所述第三3×3卷积层的输入作为所述第一判别器的输入，输入内容包括生成灰度图像和真实灰度图像，所述第八3×3卷积层的输出作为所述第一判别器的输出，其输出结果为灰度图像。

可选择地，所述第一阶段损失函数包括对抗性损失函数和像素平滑L1损失函数，并且，所述第一阶段损失函数L_G为：

L_G＝λ₁*L_adv+λ₂*L_sL1

其中，λ₁和λ₂分别为对抗性损失函数的权重系数和像素平滑L1损失函数的权重系数，L_adv为对抗性损失函数且

对于所述近红外图像的灰度预处理模块而言，x是输入近红外灰度图像，C是一维随机噪声向量，G(x,C)是第一生成器的输出，P_data是表示服从x分布的噪声向量，D是表示判别器对生成图像判别为真实图像的概率的估计，

表示服从x～P_data数据分布的数学期望，L_sL1为像素平滑L1损失函数且

y表示生成图像的像素值，

代表真实图像的像素值。

可选择地，所述步骤S4中，所述图像着色模块包括第二生成器和第二判别器，所示第二生成器和所述第二判别器基于第二阶段损失函数训练得到的。

可选择地，所述第二生成器包括颜色特征向量、第二编码器和第二解码器，所述颜色特征向量连接所述第二编码器，所述第二编码器包括7个第二残差连接块，第1至4个第二残差连接块构成第二下采样编码，第5至7个第二残差连接块构成第二中间编码；

各所述第二残差连接块均包括第九3×3卷积层、第一AdaIN模块、第七Relu激活函数层、第二3×3卷积层、第八Relu激活函数层、第三Dropout模块、第二2×2卷积层、第二AdaIN模块和第九Relu激活函数层，所述第九3×3卷积层和所述第二2×2卷积层的输入为所述灰度图像或上一个第二残差连接块的输出结果和/或所述颜色特征向量的输出结果，所述第九3×3卷积层、所述第一AdaIN模块、所述第七Relu激活函数层、所述第二3×3卷积层和所述第八Relu激活函数层依次连接，所述第二2×2卷积层、所述第二AdaIN模块和所述第九Relu激活函数层依次连接，所述第八Relu激活函数层的输出结果和所述第九Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第三Dropout模块的输入，所述第三Dropout模块的输出作为该第二残差连接块的输出结果或所述第二编码器的输出结果；所述第二解码器包括7个第二具有空洞卷积结构的残差连接块，第1至4个第二具有空洞卷积结构的残差连接块构成第二中间解码，第5至7个第二具有空洞卷积结构的残差连接块构成第二上采样编码；所述第1个第二残差连接块和所述第1个第二具有空洞卷积结构的残差连接块之间通过第三残差连接路径连接，所述第2个第二残差连接块和所述第2个第二具有空洞卷积结构的残差连接块之间通过第四残差连接路径连接，所述第3个第二残差连接块和所述第3个第二具有空洞卷积结构的残差连接块之间通过第五残差连接路径连接，所述第4个第二残差连接块和所述第4个第二具有空洞卷积结构的残差连接块之间通过第六残差连接路径连接；各所述第二具有空洞卷积结构的残差连接块均包括第三3×3转置空洞卷积层、第三AdaIN模块、第十Relu激活函数层、第四3×3转置空洞卷积层、第十一Relu激活函数层、第四Dropout模块、第二2×2转置卷积层、第四AdaIN模块和第十二Relu激活函数层，所述第三3×3转置空洞卷积层和所述第二2×2转置卷积层的输入为所述第二编码器的输出结果或上一个第二具有空洞卷积结构的残差连接块的输出结果，所述第三3×3转置空洞卷积层、所述第三AdaIN模块、所述第十Relu激活函数层、所述第四3×3转置空洞卷积层和所述第十一Relu激活函数层依次连接，所述第二2×2转置卷积层、所述第四AdaIN模块和所述第十二Relu激活函数层依次连接，所述第十一Relu激活函数层的输出结果和所述第十二Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第四Dropout模块的输入，所述第四Dropout模块的输出作为该第二具有空洞卷积结构的残差连接块的输出结果或所述第二解码器的输出结果，所述第二解码器的输出结果为着色图像。

可选择地，所述第二判别器包括依次连接的第十一3×3卷积层、第十二3×3卷积层、第三BN模块、第十三3×3卷积层、第十四3×3卷积层、第四BN模块、第十五3×3卷积层、第二LeakRelu激活函数层、第十六3×3卷积层和Sigmoid激活函数层，所述第十一3×3卷积层的输入作为所述第二判别器的输入，输入内容包括着色图像和真实着色图像，所述第十六3×3卷积层的输出结果为着色生成图像，所述Sigmoid激活函数层用于对所述着色生成图像和真实着色图像进行判别输出。

可选择地，所述第二阶段损失函数包括对抗性损失函数，像素平滑L1损失函数及样式风格损失函数，并且，所述第二阶段损失函数L_C为：

L_C＝λ₃*L_adv+λ₄*L_sL1+λ₅*L_s

其中，λ₃、λ₄和λ₅分别表示对抗性损失函数、像素平滑L1损失函数及样式风格损失函数的权重系数，L_adv为对抗性损失函数且

对于所述图像着色模块而言，x是输入可见光灰度图像，C是颜色特征，G(x,C)是第二生成器的输出，y是真实彩色图像，P_data是表示服从x分布的噪声向量，D是表示判别器对生成图像判别为真实图像的概率的估计，L_sL1为像素平滑L1损失函数且

y表示生成图像的像素值，

代表真实图像的像素值，L_s为样式风格损失函数。

本发明具有以下有益效果：

1、本发明通过构建近红外图像的灰度预处理模块，整体基于条件生成对抗网络，使用改进的Bilateral pix2pix作为生成器网络，输入近红外灰度图像，通过生成器网络中编码器的双边残差连接块对近红外图像的灰度纹理细节特征进行双边传递，消除近红外灰度图像中存在的噪声模糊信息，通过解码器中设计空洞卷积结构恢复得到更纯净的可见光灰度图像，具有Patch结构的块判别器对生成结果与真实图像进行判别，两者不断提高生成灰度图像的质量。

2、本发明设计了图像着色模块，该模块基于条件生成对抗网络，将上述得到的可见光灰度图像与训练图像提取到的颜色特征向量送入网络的生成器，生成器由BilateralRes-Unet组成，对颜色特征信息与可见光灰度图像进行双边传递融合，通过上采样解码恢复得到着色生成图像，使用全卷积判别器对着色图像和真实彩色图像进行判别，两者不断提高着色图像质量。

3、本发明构建了两阶段的融合损失函数，对近红外灰度预处理模块和图像着色模块使用不同的损失函数，并确定不同损失的权重，以提高第一阶段生成灰度图像的真实性和第二阶段着色图像的彩色风格正确性。

附图说明

图1为本发明基于两阶段条件生成对抗网络的近红外图像着色方法的流程图；

图2为本发明近红外图像的灰度预处理模块的结构示意图；

图3为第一残差连接块的结构示意图；

图4为第一具有空洞卷积结构的残差连接块的结构示意图；

图5为第一判别器的结构示意图；

图6为图像着色模块的结构示意图；

图7为第二残差连接块的结构示意图；

图8为第二具有空洞卷积结构的残差连接块的结构示意图；

图9为第二判别器的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例

本发明提供一种基于两阶段条件生成对抗网络的近红外图像着色方法，参考图1所示，所述基于两阶段条件生成对抗网络的近红外图像着色方法包括：

S1：获取近红外灰度图像；

S2：构建近红外图像的灰度预处理模块；

本发明所提供的灰度预处理模块能够消除近红外灰度图像中存在的噪声模糊信息，从而能够获得更有利后续着色的可见光灰度图像。具体地，本发明所提供的近红外图像的灰度预处理模块包括第一生成器和第一判别器，所述第一生成器和所述第一判别器是第一阶段损失函数训练得到的。

可选择地，参考图2所示，所述第一生成器包括第一编码器和第一解码器，所述第一编码器包括7个第一残差连接块，第1至4个第一残差连接块构成第一下采样编码，第5至7个第一残差连接块构成第一中间编码。

参考图3所示，各所述第一残差连接块均包括第一3×3卷积层、第一IN模块、第一Relu激活函数层、第二3×3卷积层、第二Relu激活函数层、第一Dropout模块、第一2×2卷积层、第二IN模块和第三Relu激活函数层，所述第一3×3卷积层和所述第一2×2卷积层的输入为所述近红外灰度图像和/或上一个残差连接块的输出结果，所述第一3×3卷积层、所述第一IN模块、所述第一Relu激活函数层、所述第二3×3卷积层和所述第二Relu激活函数层依次连接，所述第一2×2卷积层、第二IN模块和第三Relu激活函数层依次连接，所述第二Relu激活函数层的输出结果和所述第三Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第一Dropout模块的输入，所述第一Dropout模块的输出作为该第一残差连接块的输出结果或所述第一编码器的输出结果。

这里，当当前的第一残差连接块为第一编码器的第1个第一残差连接块时，所述第一3×3卷积层和所述第一2×2卷积层的输入为所述近红外灰度图像；当当前的第一残差连接块为第2至第7个第一残差连接块中的任意一个时，所述第一3×3卷积层和所述第一2×2卷积层的输入为上一个第一残差连接块的输出结果。相应地，当当前的第一残差连接块为第一编码器的第1至第6个第一残差连接块中的任意一个时，第一Dropout模块的输出为当前第一残差连接块的输出结果；而当当前的第一残差连接块为第一编码器的第7个第一残差连接块时，第一Dropout模块的输出为第一编码器的输出结果。

可选择地，参考图2所示，所述第一解码器包括7个第一具有空洞卷积结构的残差连接块，第1至4个第一具有空洞卷积结构的残差连接块构成第一中间解码，第5至7个第一具有空洞卷积结构的残差连接块构成第一上采样编码。

所述第1个第一残差连接块和第1个第一具有空洞卷积结构的残差连接块之间通过第一残差连接路径连接，所述第2个第一残差连接块和第2个第一具有空洞卷积结构的残差连接块之间通过第二残差连接路径连接。

参考图4所示，各所述第一具有空洞卷积结构的残差连接块均包括第一3×3转置空洞卷积层、第三IN模块、第四Relu激活函数层、第二3×3转置空洞卷积层、第五Relu激活函数层、第二Dropout模块、第一2×2转置卷积层、第四IN模块和第六Relu激活函数层，所述第一3×3转置空洞卷积层和所述第一2×2转置卷积层的输入为所述第一编码器的输出结果或上一个第一具有空洞卷积结构的残差连接块的输出结果，所述第一3×3转置空洞卷积层、所述第三IN模块、所述第四Relu激活函数层、所述第二3×3转置空洞卷积层和所述第五Relu激活函数层依次连接，所述第一2×2转置卷积层、第四IN模块和第六Relu激活函数层依次连接，所述第五Relu激活函数层的输出结果和所述第六Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第二Dropout模块的输入，所述第二Dropout模块的输出作为该第一具有空洞卷积结构的残差连接块的输出结果或所述第一解码器的输出结果，所述第一解码器的输出结果为生成灰度图像。

可选择地，参考图5所示，所述第一判别器包括依次连接的第三3×3卷积层、第四3×3卷积层、第一BN模块、第五3×3卷积层、第六3×3卷积层、第二BN模块、第七3×3卷积层、第一LeakRelu激活函数层和第八3×3卷积层，所述第三3×3卷积层的输入作为所述第一判别器的输入，输入内容包括生成灰度图像和真实灰度图像，所述第八3×3卷积层的输出作为所述第一判别器的输出，其输出结果为灰度图像。

第八3×3卷积层能够输出分辨率为4×4判别矩阵，具有Patch判别结构，对生成灰度图像和真实灰度图像在局部感受野上进行判别输出。生成灰度图像和真实灰度图像两者不断提高判别性能和生成效果，以能够得到更高质量的灰度图像。

本发明在编码-解码级联部分和下采样部分均使用具有将浅层信息传递至网络深层能力的残差连接块，在上采样解码部分使用空洞卷积层，对近红外图像的灰度纹理细节特征进行双边传递，消除近红外灰度图像中存在的亮暗噪声和模糊信息，通过解码的多尺度结构得到更接近真实可见光的灰度图像。

可选择地，近红外图像的灰度预处理模块构建时需要考虑对抗性损失和像素平滑L1损失，以便于产生尽可能真实的输出和保留像素的真实度；因此本发明所述第一阶段损失函数包括对抗性损失函数和像素平滑L1损失函数，并且，所述第一阶段损失函数L_G为：

L_G＝λ₁*L_adv+λ₂*L_sL1

其中，λ₁和λ₂分别为对抗性损失函数的权重系数和像素平滑L1损失函数的权重系数，第一生成器是来最小化目标损失，与其相反，第一判别器是最大化目标损失，两者互相博弈，不断提高生成效果，对抗性损失函数L_adv为

对于所述近红外图像的灰度预处理模块而言，x是输入近红外灰度图像，C是一维随机噪声向量，G(x,C)是第一生成器的输出，P_data是表示服从x分布的噪声向量，D是表示判别器对生成图像判别为真实图像的概率的估计，

表示服从x～P_data数据分布的数学期望，为了尽可能减少第一生成器生成的生成灰度图像与真实灰度图像间的内容偏差，对生成灰度图像和真实灰度图像像素值的距离进行平滑L1约束，像素平滑L1损失函数L_sL1为

y表示生成图像的像素值，

代表真实图像的像素值。

S3：利用所述近红外图像的灰度预处理模块对所述近红外灰度图像进行预处理，得到灰度图像；

S4：构建图像着色模块；

可选择地，所述图像着色模块包括第二生成器和第二判别器，所示第二生成器和所述第二判别器基于第二阶段损失函数训练得到的。

可选择地，参考图6所示，所述第二生成器包括颜色特征向量、第二编码器和第二解码器，所述颜色特征向量连接所述第二编码器，所述第二编码器包括7个第二残差连接块，第1至4个第二残差连接块构成第二下采样编码，第5至7个第二残差连接块构成第二中间编码；

参考图7所示，各所述第二残差连接块均包括第九3×3卷积层、第一AdaIN模块、第七Relu激活函数层、第二3×3卷积层、第八Relu激活函数层、第三Dropout模块、第二2×2卷积层、第二AdaIN模块和第九Relu激活函数层，所述第九3×3卷积层和所述第二2×2卷积层的输入为所述灰度图像或上一个第二残差连接块的输出结果和/或所述颜色特征向量的输出结果，所述第九3×3卷积层、所述第一AdaIN模块、所述第七Relu激活函数层、所述第二3×3卷积层和所述第八Relu激活函数层依次连接，所述第二2×2卷积层、所述第二AdaIN模块和所述第九Relu激活函数层依次连接，所述第八Relu激活函数层的输出结果和所述第九Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第三Dropout模块的输入，所述第三Dropout模块的输出作为该第二残差连接块的输出结果或所述第二编码器的输出结果。

这里，当当前的第二残差连接块为第一编码器的第1个第一残差连接块时，所述第九3×3卷积层和所述第二2×2卷积层的输入为所述灰度图像和所述颜色特征向量的输出结果；当当前的第二残差连接块为第2至第7个第二残差连接块中的任意一个时，所述第九3×3卷积层和所述第二2×2卷积层的输入为上一个第二残差连接块的输出结果。相应地，当当前的第二残差连接块为第二编码器的第1至第6个第二残差连接块中的任意一个时，第三Dropout模块的输出为当前第二残差连接块的输出结果；而当当前的第二残差连接块为第二编码器的第7个第一残差连接块时，第三Dropout模块的输出为第二编码器的输出结果。

参考图8所示，所述第二解码器包括7个第二具有空洞卷积结构的残差连接块，第1至4个第二具有空洞卷积结构的残差连接块构成第二中间解码，第5至7个第二具有空洞卷积结构的残差连接块构成第二上采样编码；所述第1个第二残差连接块和所述第1个第二具有空洞卷积结构的残差连接块之间通过第三残差连接路径连接，所述第2个第二残差连接块和所述第2个第二具有空洞卷积结构的残差连接块之间通过第四残差连接路径连接，所述第3个第二残差连接块和所述第3个第二具有空洞卷积结构的残差连接块之间通过第五残差连接路径连接，所述第4个第二残差连接块和所述第4个第二具有空洞卷积结构的残差连接块之间通过第六残差连接路径连接；各所述第二具有空洞卷积结构的残差连接块均包括第三3×3转置空洞卷积层、第三AdaIN模块、第十Relu激活函数层、第四3×3转置空洞卷积层、第十一Relu激活函数层、第四Dropout模块、第二2×2转置卷积层、第四AdaIN模块和第十二Relu激活函数层，所述第三3×3转置空洞卷积层和所述第二2×2转置卷积层的输入为所述第二编码器的输出结果或上一个第二具有空洞卷积结构的残差连接块的输出结果，所述第三3×3转置空洞卷积层、所述第三AdaIN模块、所述第十Relu激活函数层、所述第四3×3转置空洞卷积层和所述第十一Relu激活函数层依次连接，所述第二2×2转置卷积层、所述第四AdaIN模块和所述第十二Relu激活函数层依次连接，所述第十一Relu激活函数层的输出结果和所述第十二Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第四Dropout模块的输入，所述第四Dropout模块的输出作为该第二具有空洞卷积结构的残差连接块的输出结果或所述第二解码器的输出结果，所述第二解码器的输出结果为着色图像。

可选择地，参考图9所示，所述第二判别器包括依次连接的第十一3×3卷积层、第十二3×3卷积层、第三BN模块、第十三3×3卷积层、第十四3×3卷积层、第四BN模块、第十五3×3卷积层、第二LeakRelu激活函数层、第十六3×3卷积层和Sigmoid激活函数层，所述第十一3×3卷积层的输入作为所述第二判别器的输入，输入内容包括着色图像和真实着色图像，所述第十六3×3卷积层的输出结果为着色生成图像，所述Sigmoid激活函数层用于对所述着色生成图像和真实着色图像进行判别输出。

可选择地，所述第二阶段损失函数包括对抗性损失函数，像素平滑L1损失函数及样式风格损失函数，并且，所述第二阶段损失函数L_C为：

L_C＝λ₃*L_adv+λ₄*L_sL1+λ₅*L_s

其中，λ₃、λ₄和λ₅分别表示对抗性损失函数、像素平滑L1损失函数及样式风格损失函数的权重系数，L_adv为对抗性损失函数且

对于所述图像着色模块而言，x是输入可见光灰度图像，C是颜色特征，G(x,C)是第二生成器的输出，y是真实彩色图像，P_data是表示服从x分布的噪声向量，D是表示判别器对生成图像判别为真实图像的概率的估计，L_sL1为像素平滑L1损失函数且

y表示生成图像的像素值，

代表真实图像的像素值，L_s为样式风格损失函数。

除此之外，在图像着色模块设计中，除了希望着色图像具有正确的内容，本发明还希望生成的图像具有较好的纹理细节，因为上述的损失没有考虑到两幅图像间细微的纹理差异，只关注了图像内容的整体结构。所以本发明这里使用了样式风格损失来增强纹理细节的表现，这里只在真实彩色图像和生成图像的L通道上进行实验。本发明采用了从预训练的分类网络(VGG19)中某些层提取的Gram矩阵匹配(表示特征相关性)的思想，该Gram矩阵

定义如下：

这里的N_l表示网络第l层的特征图数量，

表示在l层位置k的第i个滤波器的输出，本发明这里使用了VGG19网络的三层(relu2_2,relu3_2,relu4_2)来构成损失。

S5：利用所述图像着色模块，对所述灰度图像进行着色处理，得到着色生成图像，其中，所述图像着色模块还用于对所述着色生成图像和训练图像提取到的颜色特征向量进行判别，得到判别结果用于训练所述图像着色模块。

本发明公开了一种基于两阶段条件生成对抗网络的近红外图像着色方法，包含以下步骤：构建了近红外图像的灰度预处理模块，该模块由条件生成对抗网络构成，具有第一生成器和第一判别器，将近红外灰度图像输入网络中基于Bilateral pix2pix结构的生成器，第一生成器在编码-解码级联部分和第一下采样部分均使用具有将浅层信息传递至网络深层能力的第一残差连接块，在第一上采样解码部分使用空洞卷积层，对近红外图像的灰度纹理细节特征进行双边传递，消除近红外灰度图像中存在的亮暗噪声和模糊信息，通过解码的多尺度结构得到更纯净的可见光灰度图像，具有Patch结构的第一判别器对生成灰度图像与真实灰度图像进行判别，两者不断提高判别性能和生成效果。设计了图像着色模块，该模块基于条件生成对抗网络，对训练图像提取主要颜色信息后得到一维颜色特征向量作为着色条件信息，将上述得到的可见光灰度图像与颜色特征向量送入网络的第二生成器，第二生成器由Bilateral Res-Unet组成，在第一生成器结构基础上引入颜色向量信息，并增加了双边残差连接块的对称分布数量，对颜色特征信息与可见光灰度图像进行双边传递融合，通过第二上采样解码恢复得到着色生成图像，使用全卷积判别器对着色图像和真实彩色图像进行判别，生成器与判别器互相博弈不断提高着色图像质量。构建了两阶段的融合损失函数，在近红外灰度预处理模块使用对抗性损失和像素平滑L1损失，提高生成灰度图像的真实性，在图像着色模块使用对抗性损失，像素平滑L1损失及样式风格损失，以提高着色图像的彩色风格正确性。

本文所述第一残差连接路径和第二残差连接路径的结构相同，且与第一中间编码的结构相同，第一残差连接路径和第二残差连接路径的存在，能够提高双边灰度特征传递效率；所述第三残差连接路径～所述第六残差连接路径的结构相同，且与第二中间编码的结构相同，由于AdaIN模块具有双重颜色信息，因此第三残差连接路径～所述第六残差连接路径的存在，能够提高双边颜色特征传递质量。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，所述基于两阶段条件生成对抗网络的近红外图像着色方法包括：

S1：获取近红外灰度图像；

S2：构建近红外图像的灰度预处理模块；

S3：利用所述近红外图像的灰度预处理模块对所述近红外灰度图像进行预处理，得到灰度图像；

S4：构建图像着色模块；

S5：利用所述图像着色模块，对所述灰度图像进行着色处理，得到着色生成图像，其中，所述图像着色模块还用于对所述着色生成图像和训练图像提取到的颜色特征向量进行判别，得到判别结果用于训练所述图像着色模块。

2.根据权利要求1所述的基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，所述步骤S2中，所述近红外图像的灰度预处理模块包括第一生成器和第一判别器，所述第一生成器和所述第一判别器是第一阶段损失函数训练得到的。

3.根据权利要求2所述的基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，所述第一生成器包括第一编码器和第一解码器，所述第一编码器包括7个第一残差连接块，第1至4个第一残差连接块构成第一下采样编码，第5至7个第一残差连接块构成第一中间编码；

各所述第一残差连接块均包括第一3×3卷积层、第一IN模块、第一Relu激活函数层、第二3×3卷积层、第二Relu激活函数层、第一Dropout模块、第一2×2卷积层、第二IN模块和第三Relu激活函数层，所述第一3×3卷积层和所述第一2×2卷积层的输入为所述近红外灰度图像和/或上一个残差连接块的输出结果，所述第一3×3卷积层、所述第一IN模块、所述第一Relu激活函数层、所述第二3×3卷积层和所述第二Relu激活函数层依次连接，所述第一2×2卷积层、第二IN模块和第三Relu激活函数层依次连接，所述第二Relu激活函数层的输出结果和所述第三Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第一Dropout模块的输入，所述第一Dropout模块的输出作为该第一残差连接块的输出结果或所述第一编码器的输出结果。

4.根据权利要求3所述的基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，

所述第一解码器包括7个第一具有空洞卷积结构的残差连接块，第1至4个第一具有空洞卷积结构的残差连接块构成第一中间解码，第5至7个第一具有空洞卷积结构的残差连接块构成第一上采样编码；

所述第1个第一残差连接块和第1个第一具有空洞卷积结构的残差连接块之间通过第一残差连接路径连接，所述第2个第一残差连接块和第2个第一具有空洞卷积结构的残差连接块之间通过第二残差连接路径连接；

各所述第一具有空洞卷积结构的残差连接块均包括第一3×3转置空洞卷积层、第三IN模块、第四Relu激活函数层、第二3×3转置空洞卷积层、第五Relu激活函数层、第二Dropout模块、第一2×2转置卷积层、第四IN模块和第六Relu激活函数层，所述第一3×3转置空洞卷积层和所述第一2×2转置卷积层的输入为所述第一编码器的输出结果或上一个第一具有空洞卷积结构的残差连接块的输出结果，所述第一3×3转置空洞卷积层、所述第三IN模块、所述第四Relu激活函数层、所述第二3×3转置空洞卷积层和所述第五Relu激活函数层依次连接，所述第一2×2转置卷积层、第四IN模块和第六Relu激活函数层依次连接，所述第五Relu激活函数层的输出结果和所述第六Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第二Dropout模块的输入，所述第二Dropout模块的输出作为该第一具有空洞卷积结构的残差连接块的输出结果或所述第一解码器的输出结果，所述第一解码器的输出结果为生成灰度图像。

5.根据权利要求2所述的基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，所述步骤S2中，所述第一判别器包括依次连接的第三3×3卷积层、第四3×3卷积层、第一BN模块、第五3×3卷积层、第六3×3卷积层、第二BN模块、第七3×3卷积层、第一LeakRelu激活函数层和第八3×3卷积层，所述第三3×3卷积层的输入作为所述第一判别器的输入，输入内容包括生成灰度图像和真实灰度图像，所述第八3×3卷积层的输出作为所述第一判别器的输出，其输出结果为灰度图像。

6.根据权利要求2至5中任意一项所述的基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，所述第一阶段损失函数包括对抗性损失函数和像素平滑L1损失函数，并且，所述第一阶段损失函数L_G为：

L_G＝λ₁*L_adv+λ₂*L_sL1

其中，λ₁和λ₂分别为对抗性损失函数的权重系数和像素平滑L1损失函数的权重系数，L_adv为对抗性损失函数且

对于所述近红外图像的灰度预处理模块而言，x是输入近红外灰度图像，C是一维随机噪声向量，G(x,C)是第一生成器的输出，P_data是表示服从x分布的噪声向量，D是表示判别器对生成图像判别为真实图像的概率的估计，

表示服从x～P_data数据分布的数学期望，L_sL1为像素平滑L1损失函数且

y表示生成图像的像素值，

代表真实图像的像素值。

7.根据权利要求1所述的基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，所述步骤S4中，所述图像着色模块包括第二生成器和第二判别器，所示第二生成器和所述第二判别器基于第二阶段损失函数训练得到的。

8.根据权利要求7所述的基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，所述第二生成器包括颜色特征向量、第二编码器和第二解码器，所述颜色特征向量连接所述第二编码器，所述第二编码器包括7个第二残差连接块，第1至4个第二残差连接块构成第二下采样编码，第5至7个第二残差连接块构成第二中间编码；

各所述第二残差连接块均包括第九3×3卷积层、第一AdaIN模块、第七Relu激活函数层、第二3×3卷积层、第八Relu激活函数层、第三Dropout模块、第二2×2卷积层、第二AdaIN模块和第九Relu激活函数层，所述第九3×3卷积层和所述第二2×2卷积层的输入为所述灰度图像或上一个第二残差连接块的输出结果和/或所述颜色特征向量的输出结果，所述第九3×3卷积层、所述第一AdaIN模块、所述第七Relu激活函数层、所述第二3×3卷积层和所述第八Relu激活函数层依次连接，所述第二2×2卷积层、所述第二AdaIN模块和所述第九Relu激活函数层依次连接，所述第八Relu激活函数层的输出结果和所述第九Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第三Dropout模块的输入，所述第三Dropout模块的输出作为该第二残差连接块的输出结果或所述第二编码器的输出结果；

所述第二解码器包括7个第二具有空洞卷积结构的残差连接块，第1至4个第二具有空洞卷积结构的残差连接块构成第二中间解码，第5至7个第二具有空洞卷积结构的残差连接块构成第二上采样编码；

所述第1个第二残差连接块和所述第1个第二具有空洞卷积结构的残差连接块之间通过第三残差连接路径连接，所述第2个第二残差连接块和所述第2个第二具有空洞卷积结构的残差连接块之间通过第四残差连接路径连接，所述第3个第二残差连接块和所述第3个第二具有空洞卷积结构的残差连接块之间通过第五残差连接路径连接，所述第4个第二残差连接块和所述第4个第二具有空洞卷积结构的残差连接块之间通过第六残差连接路径连接；

各所述第二具有空洞卷积结构的残差连接块均包括第三3×3转置空洞卷积层、第三AdaIN模块、第十Relu激活函数层、第四3×3转置空洞卷积层、第十一Relu激活函数层、第四Dropout模块、第二2×2转置卷积层、第四AdaIN模块和第十二Relu激活函数层，所述第三3×3转置空洞卷积层和所述第二2×2转置卷积层的输入为所述第二编码器的输出结果或上一个第二具有空洞卷积结构的残差连接块的输出结果，所述第三3×3转置空洞卷积层、所述第三AdaIN模块、所述第十Relu激活函数层、所述第四3×3转置空洞卷积层和所述第十一Relu激活函数层依次连接，所述第二2×2转置卷积层、所述第四AdaIN模块和所述第十二Relu激活函数层依次连接，所述第十一Relu激活函数层的输出结果和所述第十二Relu激活函数层的输出结果在特征通道上相加，并将加和结果作为所述第四Dropout模块的输入，所述第四Dropout模块的输出作为该第二具有空洞卷积结构的残差连接块的输出结果或所述第二解码器的输出结果，所述第二解码器的输出结果为着色图像。

9.根据权利要求8所述的基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，所述第二判别器包括依次连接的第十一3×3卷积层、第十二3×3卷积层、第三BN模块、第十三3×3卷积层、第十四3×3卷积层、第四BN模块、第十五3×3卷积层、第二LeakRelu激活函数层、第十六3×3卷积层和Sigmoid激活函数层，所述第十一3×3卷积层的输入作为所述第二判别器的输入，输入内容包括着色图像和真实着色图像，所述第十六3×3卷积层的输出结果为着色生成图像，所述Sigmoid激活函数层用于对所述着色生成图像和真实着色图像进行判别输出。

10.根据权利要求7至9中任意一项所述的基于两阶段条件生成对抗网络的近红外图像着色方法，其特征在于，所述第二阶段损失函数包括对抗性损失函数，像素平滑L1损失函数及样式风格损失函数，并且，所述第二阶段损失函数L_C为：

L_C＝λ₃*L_adv+λ₄*L_sL1+λ₅*L_s

其中，λ₃、λ₄和λ₅分别表示对抗性损失函数、像素平滑L1损失函数及样式风格损失函数的权重系数，L_adv为对抗性损失函数且

对于所述图像着色模块而言，x是输入可见光灰度图像，C是颜色特征，G(x,C)是第二生成器的输出，y是真实彩色图像，P_data是表示服从x分布的噪声向量，D是表示判别器对生成图像判别为真实图像的概率的估计，L_sL1为像素平滑L1损失函数且

y表示生成图像的像素值，

代表真实图像的像素值，L_s为样式风格损失函数。

Images