CN112634168A - 一种结合边缘信息的图像修复方法 - Google Patents

Abstract

一种结合边缘信息的图像修复方法，涉及图像修复方法领域，包括如下步骤：步骤一、将原始图像记作I_t，分别获取原始图像中的语义图像C_g、灰度图像I_g、掩膜图像M；步骤二、建立生成式对抗网络一、生成边界特征图像生成式对抗网络一的输入为

边界特征图像为

步骤三、建立生成式对抗网络二、生成修复后的完整图像生成式对抗网络二的输入为

修复后的完整图像记为

本发明具有图像边界部分的修复效果好、修复后的图像的纹理色彩与图像整体具有高度的一致性、无明显的修复痕迹等优点。

Description

一种结合边缘信息的图像修复方法

技术领域

本发明涉及图像修复方法领域，详细讲是一种图像边界部分的修复效果好、修复后的图像的纹理色彩与图像整体具有高度的一致性、无明显的修复痕迹的结合边缘信息的图像修复方法。

背景技术

Bertalmio M等人介绍了一种用于静态图像数字修复的算法，用户选择需要修复的区域后，该算法会根据选中区域周围像素的像素值，向待修复区域内扩展直至修复完成，此方法能够同步修复包括完全相异的纹理和周围场景的众多区块。这种图像修复算法并没有考虑图像的纹理、结构等特征，修复得到的图像结果仅仅利用相邻像素点的色彩信息对缺失信息的空洞进行填补，修复后的图像特征、纹理等信息容易被破坏，无法保证图像的整体性。

Vese L等人提出了一种在缺失图像信息区域同时填充纹理和结构的算法，此方法首先将图像分解为具有不同基本特征的两个函数的总和，然后使用结构和纹理填充算法分别重构每个函数，两个特征函数中第一个函数是有界变化，表示基础图像结构，而第二个函数则用于捕获纹理和可能的噪声。使用图像修复算法重建有界变化图像中丢失信息的区域，同时使用纹理合成技术填充纹理图像中的相同区域。然后重建原始图像，并添加这两个子图像得到修复后的图像，此算法将图像分解与修补和纹理合成结合在一起，从而可以同时使用适合于不同图像特征的填充算法。Dolhansky B等人在条件生成对抗网络的基础上，在对抗网络内的多个点插入额外的参考图像样例信息，从而提高图像特征描述能力，实现了对人脸的修复。Vese L等人、Dolhansky B等人提出的图像修复方法虽然考虑了图像中纹理、结构等特征信息，将这些信息用于指导图像的修复，但是仅仅依靠纹理、结构等信息无法给出图像中不同类别物体之间的边界信息，从而导致修复后的图像在孔洞边缘部分修复效果差，存在着明显的修复痕迹，导致修复后图像整体性的下降。

发明内容

本发明的目的是解决上述现有技术的不足，提供一种图像边界部分的修复效果好、修复后的图像的纹理色彩与图像整体具有高度的一致性、无明显的修复痕迹的结合边缘信息的图像修复方法。

一种结合边缘信息的图像修复方法，其特征在于包括如下步骤：

步骤一、将原始图像(摄像机等实时采集的真实的场景图像)记作I_t，分别获取原始图像中的语义图像C_g、灰度图像I_g、掩膜图像M；

步骤二、建立生成式对抗网络一、生成边界特征图像

生成式对抗网络一的网络结构采用全卷积神经网络结构，除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，(将数据规范到梯度变化更大的范围内，)归一化后的数据通过RELU激励函数进行非线性激励(，增强网络的非线性表述能力)，在最后一层输出层使用softmax函数；

生成式对抗网络一的输入为

式中M为原始图像孔洞的掩膜图像，孔洞的掩膜图像是：孔洞部分像素为1、其余部分像素为0，用以提取孔洞特征信息，

为灰度图像与掩膜图像取与后的结果，

为语义图像与掩膜图像取与后的结果；

通过生成式对抗网络一生成的边界特征图像为C_p，

式中G₁为生成式对抗网络一中的生成器，(以掩膜图像、灰度图像、语义图像作为输入，输出为边界特征图像)

生成式对抗网络一的损失函数为：

式中L_adv1为鉴别器损失

为特征池损失，D₁为生成式对抗网络一的鉴别器，参数λ₁和

为正则化参数，分别选定为1和10，i为生成式对抗网络一中的第i层特征层，N_i为第i层学习权重；

为第i层鉴别器判别结果输出。

步骤三、建立生成式对抗网络二、生成修复后的完整图像

生成式对抗网络二的网络结构采用全卷积神经网络结构，除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，归一化后的数据通过RELU激励函数进行非线性激励，在最后一层输出层使用tanh激励函数；

生成式对抗网络二的输入为

C_p

通过生成式对抗网络二生成的图像为修复后的完整图像记作I_p，

式中G₂为生成式对抗网络二中的生成器；

生成式对抗网络二的损失函数为：

式中L_adv2为生成式对抗网络二中鉴别器损失，L_p为感知损失，L_s为类型损失，D₂为生成式对抗网络二的鉴别器，N_i为第i层学习权重，φ_i预训练网络第i层的激活图，

为预训练网络中第j层的生成器的对应输出，所述的预训练网络采用AlexNet；激活图使用ImageNet数据集上预先训练的VGG-19网络中的激活图；三个正则化参数通过迭代法得出，最终选值分别为：λ_adv2＝1，λ_p＝0.5，λ_s＝0.3。

生成式对抗网络二的感知损失函数为L_p、类型损失函数为L_s。

本发明中所述的生成式对抗网络一和生成式对抗网络二的具体网络结构为如下表：

本发明中所述的原始图像为摄像机采集的原始真实场景图像，所述的灰度图像为将原始图像进行灰度化处理而得到，所述的语义图像是对原始图像进行人工语义标注得到像素级别的语义图像，所述的掩膜图像是将原始图像上去除(人工语义标注的)动态障碍物后的孔洞部分像素置为1，其余部分像素置为0的而生成的孔洞掩膜图像。本发明中所述的孔洞为原始图像去除动态障碍物所产生的孔洞。先生成语义图像，然后根据语义图像的生成掩膜图像。

本发明中所述的对原始图像进行人工语义标注时，语义包括动态障碍物语义及其他语义，其中动态障碍物语义包括交通流语义，其他语义为除交通流外的语义。交通流语义包括行人、车辆、自行车等，其他语义包括道路、天空、树木等。对原始图像进行人工语义标注生成语义图像后，去除原始图像上被标注为动态障碍物语义部分，形成待修复的具有孔洞的彩色图像(具有孔洞的原始图像)。

本发明应用于自动驾驶增强仿真当中，对图像修复的具过程包括如下步骤：

第一步：对生成式对抗网络一、生成式对抗网络二的网络结构进行实现，依据上述给出的公式，通过Pytorch建立生成式对抗网络一、生成式对抗网络二的网络模型；

第二步：根据摄像机采集的实际使用场景图像进行处理，获得灰度图像、掩膜图像和语义图像数据集，制作对应的训练数据集和测试数据集，用于后续神经网络模型参数的优化训练；

第三步：利用制作的训练数据集对生成式对抗网络一、生成式对抗网络二的网络权重参数进行训练，得到训练后的系数矩阵，通过制作的测试数据集对模型进行测试，优化系数矩阵；

第四步：将待修复的包含孔洞的彩色图像输入生成式对抗网络一、生成式对抗网络二，以得到的系数矩阵作为修复参数，得到修复后的图像。

本发明基于对图像中不同类别物体边缘信息特征的提取，用于指导图像的修复。利用两个生成式对抗网络，以孔洞掩膜图像、语义图像、具有孔洞的彩色图像(具有孔洞的原始图像)、灰度图像为输入，分别用于对边缘特征图像的生成以及具有孔洞的彩色图像的修复。可以实现对大面积孔洞的修复，修复后的图像在边界部分具有更精细的修复效果。全卷积网络中应用了多层空洞卷积以增大感受野并提供更宽泛的输入视图以捕获图像的整体结构。

附图说明

图1为原始图像的灰度图像。

图2为原始图像的语义图像。

图3为原始图像的掩膜图像。

图4为生成式对抗网络一生成的边缘信息图像。

图5为修复前包含孔洞的彩色图像。

图6为使用本发明的修复方法对原始图像(还是包含孔洞的彩色图像)后得到的修复后图像。

图7为使用Vese L等人提出的修复方法对原始图像(还是包含孔洞的彩色图像)后得到的修复后图像。

图8为使用Dolhansky B等人提出的修复方法对原始图像(还是包含孔洞的彩色图像)后得到的修复后图像。

由于专利申请中说明书附图不能使用彩色图片，因此将上述图像中的彩色图像进行了灰度处理。原始图像为彩色图像，使用彩色图像效果更佳。

具体实施方式

一种结合边缘信息的图像修复方法，包括如下步骤：

步骤一、摄像机等实时采集的真实的场景图像为原始图像，原始图像记作I_t，对原始图像进行人工语义标注得到像素级别的语义图像C_g；将原始图像进行灰度化处理、得到灰度图像I_g；将原始图像去除(人工语义标注的)动态障碍物后的孔洞部分像素置为1、其余部分像素置为0，生成的孔洞掩膜图像M；所述的孔洞为原始图像去除动态障碍物所产生的孔洞。

步骤二、建立生成式对抗网络一、生成边界特征图像

生成式对抗网络一的网络结构采用全卷积神经网络结构，具体网络结构如下：

生成式对抗网络一的网络结构除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，将数据规范到梯度变化更大的范围内，归一化后的数据通过RELU激励函数进行非线性激励，增强网络的非线性表述能力，在最后一层输出层使用softmax函数；

生成式对抗网络一的输入为

式中M为原始图像孔洞的掩膜图像，孔洞的掩膜图像是：孔洞部分像素为1、其余部分像素为0，用以提取孔洞特征信息，

为灰度图像与掩膜图像取与后的结果，

为语义图像与掩膜图像取与后的结果；

通过生成式对抗网络一生成的边界特征图像为C_p，

式中G₁为生成式对抗网络一中的生成器，以掩膜图像、灰度图像、语义图像作为输入，输出为边界特征图像。

生成式对抗网络一的损失函数为：

式中L_adv1为鉴别器损失，

为特征池损失，D₁为生成式对抗网络一的鉴别器，参数λ₁和

为正则化参数，分别选定为1和10，i为网络中的第i层特征层，N_i为第i层学习权重；

为第i层鉴别器判别结果输出。

步骤三、建立生成式对抗网络二、生成修复后的完整图像

生成式对抗网络二的网络结构采用全卷积神经网络结构，具体网络结构如下：

生成式对抗网络二除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，将数据规范到梯度变化更大的范围内，归一化后的数据通过RELU激励函数进行非线性激励，增强网络的非线性表述能力，在最后一层输出层使用tanh激励函数，输出修复后的彩色图像；

生成式对抗网络二的输入为

C_p

通过生成式对抗网络二生成的图像为修复后的完整图像记作I_p，

式中G₂为生成式对抗网络二中的生成器；

生成式对抗网络二的损失函数为：

式中L_adv2为生成式对抗网络二中鉴别器损失，L_p为感知损失，L_s为类型损失，D₂为生成式对抗网络二的鉴别器，N_i为第i层学习权重，φ_i预训练网络第i层的激活图，

为预训练网络中第j层的生成器的对应输出，所述的预训练网络采用AlexNet；激活图使用ImageNet数据集上预先训练的VGG-19网络中的激活图；三个正则化参数通过迭代法得出，最终选值分别为：λ_adv2＝1，λ_p＝0.5，λ_s＝0.3。

生成式对抗网络二的感知损失函数为L_p、类型损失函数为L_s，使生成式对抗网络二对原始图像的修复效果大大提高。

本发明应用于自动驾驶增强仿真当中，对面积较大的孔洞修复的具过程包括如下步骤：

第一步：对生成式对抗网络一、生成式对抗网络二的网络结构进行实现，通过Pytorch建立生成式对抗网络一、生成式对抗网络二的网络模型；

第二步：根据摄像机采集的实际使用场景图像进行批量处理，获得灰度图像、掩膜图像和语义图像数据集，制作对应的训练数据集和测试数据集，用于后续神经网络模型参数的优化训练；

第三步：利用制作的训练数据集对生成式对抗网络一、生成式对抗网络二的网络权重参数进行训练，得到训练后的系数矩阵，通过制作的测试数据集对模型进行测试，优化系数矩阵；

第四步：将待修复的包含孔洞的彩色图像输入生成式对抗网络一、生成式对抗网络二，以得到的系数矩阵作为修复参数，得到修复后的图像。

本发明基于对图像中不同类别物体边缘信息特征的提取，用于指导图像的修复。利用两个生成式对抗网络，以孔洞掩膜图像、语义图像、具有孔洞的彩色图像、灰度图像为输入，分别用于对边缘特征图像的生成以及具有孔洞的彩色图像(具有孔洞的原始图像)的修复。可以实现对大面积孔洞的修复，修复后的图像在边界部分具有更精细的修复效果。全卷积网络中应用了多层空洞卷积以增大感受野并提供更宽泛的输入视图以捕获图像的整体结构。图1、图2、图3为图像修复模型的输入：图1为原始图像的灰度图像、图2为原始图像的语义图像、图3为原始图像的掩膜图像；图4为生成式对抗网络一生成的边缘信息图像。图5为修复前包含孔洞的彩色图像。图6为使用本发明的修复方法对原始图像(还是包含孔洞的彩色图像)后得到的修复后图像。图7为使用Vese L等人提出的修复方法对原始图像(还是包含孔洞的彩色图像)后得到的修复后图像。图8为使用Dolhansky B等人提出的修复方法对原始图像(还是包含孔洞的彩色图像)后得到的修复后图像。由于专利申请中说明书附图不能使用彩色图片，因此将上述图像中的包含彩色的图像进行了灰度处理。原始图像为彩色图像，使用彩色图像效果更佳。

本发明中所述的对原始图像进行人工语义标注时，语义包括动态障碍物语义及其他语义，其中动态障碍物语义包括交通流语义，其他语义为除交通流外的语义。交通流语义包括行人、车辆、自行车等，其他语义包括道路、天空、树木等。对原始图像进行人工语义标注生成语义图像后，去除原始图像上被标注为动态障碍物语义的图像，形成待修复的具有孔洞的彩色图像(具有孔洞的原始图像)。

图像掩膜是：用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。

生成式对抗网络：GAN(Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。

全卷积网络：Fully Convolutional Networks(FCN)是UC Berkeley的JonathanLong等人于2015年在Fully Convolutional Networks for Semantic Segmentation一文中提出的用于图像语义分割的一种框架，可以实现像素级别图像处理。

Claims (5)

1.一种结合边缘信息的图像修复方法，其特征在于包括如下步骤：

步骤一、将原始图像记作I_t，分别获取原始图像中的语义图像C_g、灰度图像I_g、掩膜图像M；

步骤二、建立生成式对抗网络一、生成边界特征图像

生成式对抗网络一的网络结构采用全卷积神经网络结构，除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，归一化后的数据通过RELU激励函数进行非线性激励，在最后一层输出层使用softmax函数；

生成式对抗网络一的输入为

式中M为原始图像孔洞的掩膜图像，孔洞的掩膜图像是：孔洞部分像素为1、其余部分像素为0，用以提取孔洞特征信息，

为灰度图像与掩膜图像取与后的结果，

为语义图像与掩膜图像取与后的结果；

通过生成式对抗网络一生成的边界特征图像为C_p，

式中G₁为生成式对抗网络一中的生成器，

生成式对抗网络一的损失函数为：

式中L_adv1为鉴别器损失

为特征池损失，D₁为生成式对抗网络一的鉴别器，参数λ₁和

为正则化参数，分别选定为1和10，i为生成式对抗网络一中的第i层特征层，N_i为第i层学习权重；

为第i层鉴别器判别结果输出；

步骤三、建立生成式对抗网络二、生成修复后的完整图像

生成式对抗网络二的网络结构采用全卷积神经网络结构，除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，归一化后的数据通过RELU激励函数进行非线性激励，在最后一层输出层使用tanh激励函数；

生成式对抗网络二的输入为

C_p

通过生成式对抗网络二生成的图像为修复后的完整图像记作I_p，

式中G₂为生成式对抗网络二中的生成器；

生成式对抗网络二的损失函数为：

式中L_adv2为生成式对抗网络二中鉴别器损失，L_p为感知损失，L_s为类型损失，D₂为生成式对抗网络二的鉴别器，N_i为第i层学习权重，φ_i预训练网络第i层的激活图，

为预训练网络中第j层的生成器的对应输出，所述的预训练网络采用AlexNet；激活图使用ImageNet数据集上预先训练的VGG-19网络中的激活图；三个正则化参数通过迭代法得出，最终选值分别为：λ_adv2＝1，λ_p＝0.5，λ_s＝0.3。

2.根据权利要求1所述的结合边缘信息的图像修复方法，其特征在于所述的生成式对抗网络一和生成式对抗网络二的网络结构如下：

3.根据权利要求1所述的结合边缘信息的图像修复方法，其特征在于所述的原始图像为摄像机采集的原始真实场景图像。

4.根据权利要求1所述的结合边缘信息的图像修复方法，其特征在于对原始图像进行人工语义标注时，语义包括动态障碍物语义及其他语义，其中动态障碍物语义包括交通流语义，其他语义为除交通流外的语义。

5.根据权利要求1所述的结合边缘信息的图像修复方法应用于自动驾驶增强仿真当中，其特征在于对孔洞修复的具过程包括如下步骤：

第一步：对生成式对抗网络一、生成式对抗网络二的网络结构进行实现，依据上述给出的公式，通过Pytorch建立生成式对抗网络一、生成式对抗网络二的网络模型；

第二步：根据摄像机采集的实际使用场景图像进行处理，获得灰度图像、掩膜图像和语义图像数据集，制作对应的训练数据集和测试数据集，用于后续神经网络模型参数的优化训练；

第三步：利用制作的训练数据集对生成式对抗网络一、生成式对抗网络二的网络权重参数进行训练，得到训练后的系数矩阵，通过制作的测试数据集对模型进行测试，优化系数矩阵；

第四步：将待修复的包含孔洞的彩色图像输入生成式对抗网络一、生成式对抗网络二，以得到的系数矩阵作为修复参数，得到修复后的图像。

Images