CN112270651A - 一种基于多尺度判别生成对抗网络的图像修复方法 - Google Patents

Abstract

本发明公开了一种基于多尺度判别生成对抗网络的图像修复方法，步骤如下：1、采集完好未破损的同批图像作为训练集图像，并将其处理成统一大小；2、训练数据集图像中心位置人为标定大小相同的方形掩膜，得到待修复的图像与相应掩膜区域图像；3、构建多尺度生成对抗网络，多尺度生成对抗网络模型包括生成网络G和三个多尺度判别网络；4、将2得到的待修复图像输入3构建的多尺度生成对抗网络模型中，更新生成网络与判别网络权值，训练中采用的损失函数包括重构损失、多尺度对抗损失、感知损失；5、利用训练得到的生成网络G生成待修复图像的缺失部分，一种基于多尺度判别生成对抗网络的图像修复方法该方法能够生成效果更好的缺失部分图像并有效解决修复图像在边界区域不连续的问题。

Description

一种基于多尺度判别生成对抗网络的图像修复方法

技术领域

本发明属于计算机视觉与图像处理技术领域，具体涉及一种基于多尺度判别生成对抗网络的图像修复方法。

背景技术

图像修复技术，指用图像中的已知部分区域来填充修补图像中的受损区域，比如污点，裂缝等。图像修复技术拥有十分悠久的历史，我国早在古代就已经有对书画文物、壁画等进行修复的工作；在国外，图像修复早在欧洲文艺复兴时期就得到快速发展。随着计算机科学技术的进步，利用计算机对图像进行收集和处理的技术迅速发展，越来越多的图像以数字图像的形式储存在计算机和相机中，珍贵的文物作品可以被扫描到电脑里，利用计算机软件进行处理，避免对文物产生不可逆转的破坏。

传统的图像修复方法针对待修复区域大小的不同分为基于结构特征修复方法和基于纹理信息修复方法两种。基于结构特征修复方法采用高阶偏微分方程，利用受损边界信息向内扩散对图像进行补全，然而该方法只适用于小面积缺失的图像。基于纹理信息的修复方法考虑图像的纹理信息，克服了基于偏微分方程的方法只能修复小尺度简单结构信息的缺点。

基于纹理信息的图像修复方法又可分为两个方向：

基于图像分解：基于图像分解的方法将图像分解为结构部分和纹理部分，结构部分采用基于结构信息的算法进行修补，纹理部分采用基于纹理方法进行填充，从而使图像的结构部分和纹理部分均能得到较好的修复。

基于样本块：基于样本块的方法则不断在图像的保留区域中搜索与受损区域的目标区域纹理最匹配的样本块，并按照一定优先顺序逐渐填充图像受损区域。

传统方法需要缺失图像保留有较好的结构和纹理信息，对于缺失关键结构和纹理信息的图像修复效果较差，因而不适用于修复环境复杂和缺失区域较大的图像修复。近年来，随着基于神经网络的深度学习技术的发展，出现了基于卷积神经网络网络的图像修复方法，在环境复杂、缺失区域较大的图像修复中取得较传统方法更好的修复效果。基于卷积神经网络的图像修复方法虽然能够处理环境较为复杂或者缺失区域较多的图像修复问题，但会使修复后的图像出现纹理模糊、内容不连贯以及图像有明显的边界等问题。

总而言之，现有的图像修复方法修复图像质量较低，尤其是对于场景复杂或者缺失区域面积较大的图像，容易使修复结果出现结构扭曲、纹理细节模糊和内容不连贯等问题，具有一定的局限性。

发明内容

本发明的目的是提供一种基于多尺度判别生成对抗网络的图像修复方法，该方法利用多尺度判别的生成对抗网络对图像的缺失部分进行生成，具有得到更加精细的缺失部分图像、改善修复图像在在边界区域不连续问题的特点。

本发明所采用的技术方案是，一种基于多尺度判别生成对抗网络的图像修复方法，具体按照以下步骤实施：

步骤1、采集完好未破损的同批图像作为训练集图像,并将训练集图像处理成统一大小，处理完成后的训练集图像称为训练数据集；

步骤2、采集待修复图像，对步骤1得到的训练数据集的图像中心位置标定大小相同的方形掩膜，得到与待修复的图像相对应的掩膜区域图像；

步骤3、构建多尺度生成对抗网络模型，多尺度生成对抗网络模型包括生成网络G和多尺度判别网络D1、D2、D3；具体按照以下步骤实施：

步骤3.1、将步骤2中采集的待修复的图像通过多层卷积神经网络进行下采样提取图像中的特征生成特征向量；

步骤3.2、将步骤3.1得到的特征向量通过多层卷积神经网络进行上采样生成缺失部分的图像，得到生成网络G，生成网络G使用Auto-Encoder模型结构；

步骤3.3、构建三个多尺度判别网络D1、D2、D3，三个多尺度判别网络均为深层卷积神经网络，D1、D2、D3分别对生成的缺失部分图像、补全后的完整图像、缺失图像的边界区域进行判别，指导步骤3.2中得到的生成网络G生成缺失部分图像；

步骤4、将步骤2采集得到的待修复图像输入步骤3构建的多尺度生成对抗网络模型中，并使用步骤2中得到的相应掩膜区域图像有监督的对生成对抗网络通过全局损失函数进行训练，更新生成网络G与所有多尺度判别网络的权值，训练中采用的全局损失函数为重构损失函数、多尺度对抗损失函数、感知损失函数；

步骤5、利用步骤4训练得到的生成网络模型G输入步骤2所采集得到的待修复图像，生成网络G输出待修复图像的缺失部分，将生成的缺失部分图像放入待修复图像中生成完整的修复图像。

本发明的特点还在于：

步骤2中，对训练数据集的图像中心位置标定大小相同的方形掩膜时，训练数据集图像中心通过方形掩膜产生的缺失区域占整体训练数据集图像面积的25％；

步骤4中，训练中使用的全局损失函数L_total包括重构损失函数

多尺度对抗损失函数L_G、感知损失函数L_perc三部分，他们的关系如式(1)：

其中

λ_G、λ_p为全局损失函数的系数，分别设置为1、0.3、0.2。

重构损失

定义如式(2)：

其中I_input为输入网络的缺失图像，I_r为缺失区域真实图像，G(I_input)为生成网络输出的缺失部分图像。

多尺度对抗损失L_G由三个尺度的判别网络对抗损失组成，分别是生成的缺失区域图像判别网络D1对抗损失L_G1、补全后的完整图像判别网络D2对抗损失L_G2、修复图像边界区域判别网络D3对抗损失L_G3；

生成的缺失区域图像判别网络D1损失函数L_G1定义如式(3)：

其中E代表期望，P(I_r)表示缺失区域真实图像分布，P(G(I_input))表示生成网络输出缺失区域图像分布，D1(*)表示判别网络D1对生成的缺失区域图像与缺失区域真实图像判别结果，对于真实图像给高的分数，对于生成网络输出的图像给低的分数。

修复后的完整图像判别网络D2对抗损失L_G2定义如式(4)：

其中I_t为完整的真实图像，I_comp表示将生成的缺失区域图像放入后的完整修复图像。

修复图像边界区域判别网络D3对抗损失L_G3定义如式(5)：

其中I_b为边界区域真实图像，I_Gb表示生成网络输出的边界区域图像。

训练过程中的多尺度对抗损失L_G为式(6)：

L_G＝λ_G1L_G1+λ_G2L_G2+λ_G3L_G3 (6)

其中λ_G1、λ_G2、λ_G3分别为三个尺度对抗损失函数的系数，分别设置为1、0.3、0.1。

感知损失L_perc定义如式(7)：

其中φ_i表示判别网络D1第i层输出的特征图。

本发明的有益效果是，本发明设计了一种基于多尺度判别生成对抗网络的图像修复方法，通过训练得到的生成器网络对图像的缺失部分进行修复。该方法在缺失部分、完整图像以及边界区域三种尺度的判别指导生成网络产生更加精细的缺失部分图像，同时改善修复图像在在边界区域不连续的问题，并且生成网络只输出缺失部分的图像，减小了输出图像尺寸，降低了网络训练难度，减少模型的参数量。

附图说明

图1是本发明一种基于多尺度判别生成对抗网络的图像修复方法的流程图；

图2是本发明一种基于多尺度判别生成对抗网络的图像修复方法中多尺度判别生成对抗网络模型结构示意图。

图3是本发明一种基于多尺度判别生成对抗网络的图像修复方法的图像修复实例图.

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于多尺度判别生成对抗网络的图像修复方法，如图1～2所示，具体按照以下步骤实施：

一种基于多尺度判别生成对抗网络的图像修复方法，该方法利用多尺度判别的生成对抗网络对图像的缺失部分进行生成，具有得到更加精细的缺失部分图像、改善修复图像在在边界区域不连续问题的特点。

本发明所采用的技术方案是，一种基于多尺度判别生成对抗网络的图像修复方法，具体按照以下步骤实施：

步骤1、采集完好未破损的同批图像作为训练集图像,并将训练集图像处理成统一大小，处理完成后的训练集图像称为训练数据集；

步骤2、采集待修复图像，对步骤1得到的训练数据集的图像中心位置标定大小相同的方形掩膜，得到与待修复的图像相对应的掩膜区域图像；

步骤3、构建多尺度生成对抗网络模型，多尺度生成对抗网络模型包括生成网络G和多尺度判别网络D1、D2、D3；具体按照以下步骤实施：

步骤3.1、将步骤2中采集的待修复的图像通过多层卷积神经网络进行下采样提取图像中的特征生成特征向量；

步骤3.2、将步骤3.1得到的特征向量通过多层卷积神经网络进行上采样生成缺失部分的图像，得到生成网络G，生成网络G使用Auto-Encoder模型结构；

步骤3.3、构建三个多尺度判别网络D1、D2、D3，三个多尺度判别网络均为深层卷积神经网络，D1、D2、D3分别对生成的缺失部分图像、补全后的完整图像、缺失图像的边界区域进行判别，指导步骤3.2中得到的生成网络G生成缺失部分图像；

步骤4、将步骤2采集得到的待修复图像输入步骤3构建的多尺度生成对抗网络模型中，并使用步骤2中得到的相应掩膜区域图像有监督的对生成对抗网络通过全局损失函数进行训练，更新生成网络G与所有多尺度判别网络的权值，训练中采用的全局损失函数为重构损失函数、多尺度对抗损失函数、感知损失函数；

步骤5、利用步骤4训练得到的生成网络模型G输入步骤2所采集得到的待修复图像，生成网络G输出待修复图像的缺失部分，将生成的缺失部分图像放入待修复图像中生成完整的修复图像。

图3为采用本发明图像修复方法的图像修复实例图，图3分为三列，其中第一列为训练数据集中的完整图像；第二列为对训练数据集图像打上大小相同的掩膜，得到待修复图像；第三列为修复后的完整图像，由图可以看出采用本发明方法可得到边界区域连续，修复效果好的完整图像。

本发明的特点还在于：

步骤2中，对训练数据集的图像中心位置标定大小相同的方形掩膜时，训练数据集图像中心通过方形掩膜产生的缺失区域占整体训练数据集图像面积的25％；

步骤4中，训练中使用的全局损失函数L_total包括重构损失函数L_l1、多尺度对抗损失函数L_G、感知损失函数L_perc三部分，他们的关系如式(1)：

其中

λ_G、λ_p为全局损失函数的系数，分别设置为1、0.3、0.2。

重构损失

定义如式(2)：

其中I_input为输入网络的缺失图像，I_r为缺失区域真实图像，G(I_input)为生成网络输出的缺失部分图像。

多尺度对抗损失L_G由三个尺度的判别网络对抗损失组成，分别是生成的缺失区域图像判别网络D1对抗损失L_G1、补全后的完整图像判别网络D2对抗损失L_G2、修复图像边界区域判别网络D3对抗损失L_G3；

生成的缺失区域图像判别网络D1损失函数L_G1定义如式(3)：

其中E代表期望，P(I_r)表示缺失区域真实图像分布，P(G(I_input))表示生成网络输出缺失区域图像分布，D1(*)表示判别网络D1对生成的缺失区域图像与缺失区域真实图像判别结果，对于真实图像给高的分数，对于生成网络输出的图像给低的分数。

修复后的完整图像判别网络D2对抗损失L_G2定义如式(4)：

其中I_t为完整的真实图像，I_comp表示将生成的缺失区域图像放入后的完整修复图像。

修复图像边界区域判别网络D3对抗损失L_G3定义如式(5)：

其中I_b为边界区域真实图像，I_Gb表示生成网络输出的边界区域图像。

训练过程中的多尺度对抗损失L_G为式(6)：

L_G＝λ_G1L_G1+λ_G2L_G2+λ_G3L_G3 (6)

其中λ_G1、λ_G2、λ_G3分别为三个尺度对抗损失函数的系数，分别设置为1、0.3、0.1。

感知损失L_perc定义如式(7)：

其中φ_i表示判别网络D1第i层输出的特征图。

Claims (4)

1.一种基于多尺度判别生成对抗网络的图像修复方法，其特征在于，具体按照以下步骤实施：

步骤1、采集完好未破损的同批图像作为训练集图像,并将训练集图像处理成统一大小，处理完成后的训练集图像称为训练数据集；

步骤2、采集待修复图像，对步骤1得到的训练数据集的图像中心位置标定大小相同的方形掩膜，得到与待修复的图像相对应的掩膜区域图像；

步骤3、构建多尺度生成对抗网络模型，其包括生成网络G和多尺度判别网络D1、D2、D3；

步骤4、将步骤2采集得到的待修复图像输入步骤3构建的多尺度生成对抗网络模型中，并使用步骤2中得到的相应掩膜区域图像有监督的对生成对抗网络通过全局损失函数进行训练，更新生成网络G与所有多尺度判别网络的权值，训练中采用的全局损失函数为重构损失函数、多尺度对抗损失函数、感知损失函数；

步骤5、利用步骤4训练得到的生成网络模型G输入步骤2所采集得到的待修复图像，生成网络G输出待修复图像的缺失部分，将生成的缺失部分图像放入待修复图像中生成完整的修复图像。

2.根据权利要求1所述的一种基于多尺度判别生成对抗网络的图像修复方法，其特征在于，步骤2中，对训练数据集的图像中心位置标定大小相同的方形掩膜时，训练数据集图像中心通过方形掩膜产生的缺失区域占整体训练数据集图像面积的25％。

3.根据权利要求1所述的一种基于多尺度判别生成对抗网络的图像修复方法，其特征在于，所述步骤3具体按照以下步骤实施：

步骤3.1、将步骤2中采集的待修复的图像通过多层卷积神经网络进行下采样提取图像中的特征生成特征向量；

步骤3.2、将步骤3.1得到的特征向量通过多层卷积神经网络进行上采样生成缺失部分的图像，得到生成网络G，生成网络G使用Auto-Encoder模型结构；

步骤3.3、构建三个多尺度判别网络D1、D2、D3，三个多尺度判别网络均为深层卷积神经网络，D1、D2、D3分别对生成的缺失部分图像、补全后的完整图像、缺失图像的边界区域进行判别，指导步骤3.2中得到的生成网络G生成缺失部分图像。

4.根据权利要求1所述的一种基于多尺度判别生成对抗网络的图像修复方法，其特征在于，步骤4中，训练中使用的全局损失函数L_total包括重构损失函数

多尺度对抗损失函数L_G、感知损失函数L_perc三部分，他们的关系如式(1)所述：

其中

λ_G、λ_p为全局损失函数的系数，分别设置为1、0.3、0.2。

重构损失

定义如式(2)：

其中I_input为输入网络的缺失图像，I_r为缺失区域真实图像，G(I_input)为生成网络输出的缺失部分图像。

多尺度对抗损失L_G由三个尺度的判别网络对抗损失组成，分别是生成的缺失区域图像判别网络D1对抗损失L_G1、补全后的完整图像判别网络D2对抗损失L_G2、修复图像边界区域判别网络D3对抗损失L_G3；

生成的缺失区域图像判别网络D1损失函数L_G1定义如式(3)：

其中E代表期望，P(I_r)表示缺失区域真实图像分布，P(G(I_input))表示生成网络输出缺失区域图像分布，D1(*)表示判别网络D1对生成的缺失区域图像与缺失区域真实图像判别结果，对于真实图像给高的分数，对于生成网络输出的图像给低的分数。

修复后的完整图像判别网络D2对抗损失L_G2定义如式(4)：

其中I_t为完整的真实图像，I_comp表示将生成的缺失区域图像放入后的完整修复图像。

修复图像边界区域判别网络D3对抗损失L_G3定义如式(5)：

其中I_b为边界区域真实图像，I_Gb表示生成网络输出的边界区域图像。

训练过程中的多尺度对抗损失L_G为式(6)：

L_G＝λ_G1L_G1+λ_G2L_G2+λ_G3L_G3 (6)

其中λ_G1、λ_G2、λ_G3分别为三个尺度对抗损失函数的系数，分别设置为1、0.3、0.1。

感知损失L_perc定义如式(7)：

其中φ_i表示判别网络D1第i层输出的特征图。

Images