CN109801225A - 基于多任务全卷积神经网络的人脸网纹污迹去除方法 - Google Patents

Abstract

本发明请求保护一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，具体步骤如下：步骤一，利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，制作训练集与验证集；步骤二，将网纹图像、真实图像、网纹二值mask图像均裁剪成大小为64x64的图像块；步骤三，运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；步骤四，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；步骤五，用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；步骤六，利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。本发明为人脸图像后续操作提供了高质量的图像。

Description

基于多任务全卷积神经网络的人脸网纹污迹去除方法

技术领域

本发明属于卷积神经网络和图像污迹去除技术，尤其涉及基于卷积神经网络的多任务端到端的网纹类污迹去除方法。

背景技术

图像修复是目前图像算法领域的重要问题之一，图像修复的效果在某些场景下极大的影响着图像识别结果。图像修复包括图像补全、图像污迹去除、图像超分辨率等。对于图像污迹处理，存在的污迹可能会影响整幅图像所代表的语义或者干扰图像局部存在的目标，那么，就需要对图像进行污迹去除，以确保之后的识别或者检测具有更高的准确性。

随着2012年卷积神经网络的兴起，CNN再次掀起了深度学习和人工智能的浪潮。目前图像修复的主流研究方向仍然采用深度学习方法。比较经典的算法包括：图像超分辨率方法SRCNN及基于此改进的FSRCNN、ESPCN等，图像着色方法Colorization，缺失补全方法context-encoder等。污迹去除的难点在于去除过程中随之而来的模糊性以及强污迹的难处理性。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种能够有效地去除网纹污迹，还原真实图像，针对各类场景都有很好的鲁棒性的基于多任务全卷积神经网络的人脸网纹污迹去除方法。本发明的技术方案如下：

一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，其包含以下步骤：

1)、利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，基于该无网纹图像数据，利用随机算法生成样式多样的网纹，通过通道融合，叠加到无网纹图像上，得到有网纹图像集，同时将对应的网纹二值化得到网纹二值mask图像，将三组数据对应的随机划分得到用于模型训练与评估的训练集与验证集；

2)、将网纹图像、无网纹图像、网纹二值mask图像成对地裁剪成若干个大小为N1xN1的图像块，N1为模型的输入大小，并将三类图像的图像块作为一组，存储为HDF5格式；

3)、运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；

4)、基于TensorFlow开源深度学习框架，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；

5)、利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；

6)、利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。

进一步的，所述步骤1)中，获取公开的人脸数据集CelebA，将其作为真实的无网纹图像集，基于该无网纹图像数据，制作用于模型训练与评估的训练集与验证集，具体包括:：

采用随机算法生成具有若干宽度、若干透明度的网纹mask图像，通过通道融合进行叠加，制作网纹污染图像数据集；将网纹图像、真实图像、网纹mask图像分别保存于预先设定的文件夹下，并从三个文件夹下随机选择1500张匹配的图像对作为训练集，1000对作为验证集，构成算法所需要的数据集。

进一步的，所述步骤2)中，N1＝64，对于训练集，每对图像随机截取500个64x64大小的图像块，将500组数据存储为一个HDF5文件，制作为模型输入的训练样本。

进一步的，所述步骤3)中，运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入，具体包括：

引导滤波定义某像素点的输出结果为：

q_i＝a_kI_i+b_k

其中，q为输出图像像素值，I为输入图像像素值，i、k为像素索引，a和b是当窗口中心位于k时该线性函数的不变系数，即该方法假定：q与I在以像素k为中心的窗口中存在局部线性关系，具体步骤包括：

(1)通过积分图来实现的boxFilter，计算各图像各窗口的均值，其中均值包括引导图像均值mean_I、原始待滤波图像均值mean_P、互相关均值corrr_IP及自相关均值corr_I；

(2)根据均值计算相关系数参数，包括自相关方差var_I，互相关协方差cov_IP；

var_I＝corr_I-mean_I*mean_I

cov_IP＝corr_IP-mean_I*mean_P

(3)计算窗口线性变换参数系数a、b，ε表示调节因子，防止分母为0；

a＝cov_IP/(var_i+ε)

b＝mean_P-a*mean_I

(4)通过boxFilter计算参数a、b的均值mean_a，mean_b；

(5)利用参数得到引导滤波输出图像q＝mean_a*I+mean_b。

进一步的，所述步骤4)中，全卷积神经网络包括卷积层、批规范化层、激活函数层及残差模块，卷积层提取图像特征得到若干特征图，批规范化层克服神经网络随着深度加深而难以训练的弊病，激活函数层将线性结果做非线性映射，残差模块加快模型收敛速度、使网络更易于训练，其中激活函数层使用ReLU函数作为激活函数层，具体表达式如下：

relu(x)＝max(0,x)；

一个残差模块由两个Conv+BN+ReLU组成，包含两条链接路径：恒等链接与残差连接。

进一步的，所述批规范化层具体包括：首先，在每一次迭代中的每一层输入都进行了归一化，即将输入数据的进行标准化为均值为0，方差为1的分布，如下式：

其中，x^(k)为输入数据的第k维，E[x^(k)]表示该维度的平均值，Var[x^(k)]表示该维度的方差；

第二步中设置了两个可学习的变量γ和β，然后用这两个可学习的变量去还原上一层应该学到的数据分布，使得第一步的归一化破坏掉的特征通过学习的参数γ和β去纠正从而得到真正学习的特征，保持模型的表达能力

进一步的，所述步骤5)中，利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型，具体包括：

(1)根据步骤2)的训练数据和验证数据以及步骤4)设计的全卷积神经网络，将数据逐个batch输入到全卷积神经网络模型；

(2)具体超参数设置如下：优化器使用Adam，batch size大小为20；训练过程中，初始学习率为0.1，在每一轮迭代完之后，学习率乘0.1，总共训练3轮，即：第一个轮，学习率为0.1，第二个轮学习率为0.01，第三个轮，学习率为0.001；

(3)训练优化的损失在于两个分支部分：真实图像输出分支与网纹判别分支，其中，真实图像输出分支，目标函数使用均方误差loss1；针对mask输出分支，使用交叉熵损失loss2。两者采用1:1的比例相加得到最后需要优化的损失函数loss，具体公式如：

其中，N为训练图片数量，f(·)为卷积神经网络，W,b为网络要学习的参数，除了两个分支上的权重不同以外，其余权重两个分支权重共享，X_i,detail表示为第i张图片的细节层，通过引导滤波所得。

模型的损失函数：

loss＝loss1+loss2

本发明的优点及有益效果如下：

本发明使用引导滤波提取的细节信息作为网络的输入而不是带网纹的原图，减少了学习内容；CNN模型只学习图像残差信息，使得学习内容减少，易于训练，加快模型收敛速度；残差模块中充分利用了各层的特征信息；加入mask监督信息，相当于增加网纹判断分支，多任务训练使网络能够学得更多特征；该模型能够有效地去除网纹污迹，还原真实图像，针对各类场景都有很好的鲁棒性。

附图说明

图1是本发明提供优选实施例的流程图；

图2是随机网纹样例；

图3是ReLU激活函数图像；

图4是残差模块结构图；

图5是简单背景网纹去除结果样例；

图6是复杂背景网纹去除结果样例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明提供一种多任务全卷积神经网络的人脸网纹污迹去除算法，其流程示意图如图1所示，具体包含以下步骤：

步骤一，利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，基于该数据，制作用于模型训练与评估的训练集与验证集；

步骤二，将网纹图像、真实图像、网纹二值mask图像均裁剪成大小为64x64的图像块，并将其作为一组，存储为HDF5格式；

步骤三，运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；

步骤四，基于TensorFlow开源深度学习框架，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；

步骤五，利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；

步骤六，利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。

所述的人脸网纹污迹去除算法，其中步骤一，包括：

获取公开的人脸数据集CelebA，将其作为真实的无网纹图像集；

由于真实的场景下，比如身份证上的网纹，不同照片的网纹会有不同的宽度、不同的透明度以及不同的方向，因此，采用随机算法生成样式多样的网纹图像，图2展示了生成的网纹样例，再通过通道融合，叠加到无网纹图像上，得到有网纹图像集。

同时，为了增加模型的监督信息，将人脸网纹图像对应的网纹图像经二值化，作为网纹mask标签集。

从三个图片集中随机选择1500张匹配的图像对作为训练集，1000对作为验证集，且验证集与训练集没有交集。

所述的人脸网纹污迹去除算法，其中步骤二，包括：

为了便于加载数据到模型进行训练，同时也为了扩充数据达到增强模型泛化能力的目的，本发明将每一组图像进行随机裁剪，每一组张图相对应地裁剪为64x64的图像块，共500组，每500组存储为一个HDF5格式的数据文件。

所述的人脸网纹污迹去除算法，其中步骤三，包括：

通过引导滤波，获取网纹图像的细节层，有效减少了输入模型的信息，进一步地，根据网纹的特点，引导滤波提取了被污染图像的边缘纹理等细节，过滤掉了对去污任务没有用处的人脸信息。

引导滤波是一种保持边缘的图像滤波技术，其输出图像，大体同输入图像相似，纹理部分信息与引导图像相似，当引导图像与输入图像相同时，引导滤波就成为一个保持边缘的滤波操作。具体地，引导滤波定义某像素点的输出结果为：

q_i＝a_kI_i+b_k

其中，q为输出图像像素值，I为输入图像像素值，i、k为像素索引，a和b是当窗口中心位于k时该线性函数的不变系数。即该方法假定：q与I在以像素k为中心的窗口中存在局部线性关系。具体步骤包括：

(1)通过积分图来实现的boxFilter，计算各图像各窗口的均值，其中均值包括引导图像均值mean_I、原始待滤波图像均值mean_P、互相关均值corrr_IP及自相关均值corr_I。

(2)根据均值计算相关系数参数，包括自相关方差var_I，互相关协方差cov_IP。

var_I＝corr_I-mean_I*mean_I

cov_IP＝corr_IP-mean_I*mean_P

(3)计算窗口线性变换参数系数a、b，ε表示调节因子，防止分母为0；

a＝cov_IP/(var_i+ε)

b＝mean_P-a*mean_I

(4)通过boxFilter计算参数a、b的均值mean_a，mean_b。

(5)利用参数得到引导滤波输出图像q。

q＝mean_a*I+mean_b

所述的人脸网纹污迹去除算法，其中步骤四，包括：

卷积神经网络(Convolutional Neural Network,CNN)能够有效自动第提取输入图像的特征，可以通过信息前向传播和误差反向传播，不断优化目标函数，学习卷积核参数，同时通过激活函数实现非线性映射，加强模型的表达能力。本发明步骤四所述全卷积神经网络共包含26层网络，具体为：

(1)卷积层：卷积操作起到特征提取和维度变换的作用，该CNN结构所有卷积层的卷积核大小均为3*3，每一层卷积核个数为64，padding设置为SAME模式以保证输出图像大小与输入图像一致；其中，由于输入图像为滤波后的彩色图像，输出分别为残差输出分支的三通道残差信息以及网纹判别分支的单通道得分图，因此第一个卷积层输入维度为3，残差输出分支输出维度为3，网纹判别分支的卷积输出维度为1。

(2)批规范化层：批规范化(Batch Normalization)是为了克服深度神经网络难以训练的弊病，同时可以起到防止梯度弥散，加快训练速度，提高模型精度的作用。BatchNormalization算法原理如下：

首先，BN算法在每一次迭代中的每一层输入都进行了归一化，即将输入数据的进行标准化为均值为0，方差为1的分布，如下式：

其中，x^(k)为输入数据的第k维，E[x^(k)]表示该维度的平均值，Var[x^(k)]表示该维度的方差；

BN算法在第二步中设置了两个可学习的变量γ和β，然后用这两个可学习的变量去还原上一层应该学到的数据分布，使得第一步的归一化破坏掉的特征通过学习的参数γ和β去纠正从而得到真正学习的特征，保持模型的表达能力

这样BN就把原来不固定的数据分布全部转换为固定的数据分布，而这种数据分布恰恰就是要学习到的分布，从而加速了网络的收敛速度。

(3)激活函数层：本发明中，将激活层添加到每一个批规范化层后面，其作用在于实现卷积输出特征的非线性映射，提高模型非线性建模能力。鉴于ReLU激活函数计算速度快、不存在梯度饱和问题等优秀特性，该CNN结构使用ReLU函数作为激活函数层，具体表达式如下：

relu(x)＝max(0,x)

图3展示了其函数图像。

(4)残差结构：残差结构能够解决网络加深带来的梯度弥散/爆炸问题，同时，也解决深度带来的模型退化问题。残差模块通过上述三部分组成，一个残差模块由两个Conv+BN+ReLU组成，其结构如图4所示，其包含两条链接路径：恒等链接与残差连接。残差模块表达式如下：

H(x)＝F(x)+x

其中，H(x)为经过残差结构后的输出，F(x)为残差链接模型学习参数后的输出，x为经过恒等链接保持不变的上一层输入。

所述的人脸网纹污迹去除算法，其中步骤五，包括：

(1)根据步骤二准备的训练数据和验证数据以及步骤四设计的网络结构，将数据逐个batch输入到CNN模型；

(2)具体超参数设置如下：优化器使用Adam，batch size大小为20；训练过程中，初始学习率为0.1，在每一轮迭代完之后，学习率乘0.1，总共训练3轮，即：第一个轮，学习率为0.1，第二个轮学习率为0.01，第三个轮，学习率为0.001。

(3)训练优化的损失在于两个分支部分：真实图像输出分支与网纹判别分支，其中，真实图像输出分支，目标函数使用均方误差loss1；针对mask输出分支，使用交叉熵损失loss2。两者采用1:1的比例相加得到最后需要优化的损失函数loss，具体公式如：

其中，N为训练图片数量，f(·)为卷积神经网络，W,b为网络要学习的参数，除了两个分支上的权重不同以外，其余权重两个分支权重共享，X_i,detail表示为第i张图片的细节层，通过引导滤波所得。

模型的损失函数：

loss＝loss1+loss2

(4)基于上述设置，训练CNN模型，学习参数，建立网纹图像与无网纹图像之间的映射关系。

所述的人脸网纹污迹去除算法，其中步骤六，包括：

选择验证集图像测试已训练模型的泛化能力，根据步骤一，验证集完全从初始图像集中随机选择部分，且完全独立于训练集，因此，验证集包含各种性别、背景、人脸姿态，图5、图6分别展示了单一场景与复杂场景的测试结果样例。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，包含以下步骤：

1)、利用公共人脸数据集CelebA的清晰人脸图像作为无网纹图像数据集，基于该无网纹图像数据，利用随机算法生成样式多样的网纹，通过通道融合，叠加到无网纹图像上，得到有网纹图像集，同时将对应的网纹二值化得到网纹二值mask图像，将三组数据对应的随机划分得到用于模型训练与评估的训练集与验证集；

2)、将网纹图像、无网纹图像、网纹二值mask图像成对地裁剪成若干个大小为N1xN1的图像块，N1为模型的输入大小，并将三类图像的图像块作为一组，存储为HDF5格式；

3)、运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入；

4)、基于TensorFlow开源深度学习框架，设计全卷积神经网络，输出残差信息与二值mask网纹判别信息；

5)、利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型；

6)、利用训练得到的模型参数，预测真实场景的测试图像，得到预测的去污图像。

2.根据权利要求1所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤1)中，获取公开的人脸数据集CelebA，将其作为真实的无网纹图像集，基于该无网纹图像数据，制作用于模型训练与评估的训练集与验证集，具体包括:：

采用随机算法生成具有若干宽度、若干透明度的网纹mask图像，通过通道融合进行叠加，制作网纹污染图像数据集；将网纹图像、真实图像、网纹mask图像分别保存于预先设定的文件夹下，并从三个文件夹下随机选择1500张匹配的图像对作为训练集，1000对作为验证集，构成算法所需要的数据集。

3.根据权利要求2所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤2)中，N1＝64，对于训练集，每对图像随机截取500个64x64大小的图像块，将500组数据存储为一个HDF5文件，制作为模型输入的训练样本。

4.根据权利要求2所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤3)中，运用引导滤波，获取人脸网纹图像的细节层信息作为模型输入，具体包括：

引导滤波定义某像素点的输出结果为：

q_i＝a_kI_i+b_k

其中，q为输出图像像素值，I为输入图像像素值，i、k为像素索引，a和b是当窗口中心位于k时该线性函数的不变系数，即该方法假定：q与I在以像素k为中心的窗口中存在局部线性关系，具体步骤包括：

(1)通过积分图来实现的boxFilter，计算各图像各窗口的均值，其中均值包括引导图像均值mean_I、原始待滤波图像均值mean_P、互相关均值corrr_IP及自相关均值corr_I；

(2)根据均值计算相关系数参数，包括自相关方差var_I，互相关协方差cov_IP；

var_i＝corr_I-mean_I*mean_I

cov_IP＝corr_IP-mean_I*mean_P

(3)计算窗口线性变换参数系数a、b，ε表示调节因子，防止分母为0；

a＝cov_IP/(var_i+ε)

b＝mean_P-a*mean_I

(4)通过boxFilter计算参数a、b的均值mean_a，mean_b；

(5)利用参数得到引导滤波输出图像q＝mean_a*I+mean_b。

5.根据权利要求4所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤4)中，全卷积神经网络包括卷积层、批规范化层、激活函数层及残差模块，卷积层提取图像特征得到若干特征图，批规范化层克服神经网络随着深度加深而难以训练的弊病，激活函数层将线性结果做非线性映射，残差模块加快模型收敛速度、使网络更易于训练，其中激活函数层使用ReLU函数作为激活函数层，具体表达式如下：

relu(x)＝max(0,x)；

一个残差模块由两个Conv+BN+ReLU组成，包含两条链接路径：恒等链接与残差连接。

6.根据权利要求5所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述批规范化层具体包括：首先，在每一次迭代中的每一层输入都进行了归一化，即将输入数据的进行标准化为均值为0，方差为1的分布，如下式：

其中，x^(k)为输入数据的第k维，E[x^(k)]表示该维度的平均值，Var[x^(k)]表示该维度的方差；

第二步中设置了两个可学习的变量γ和β，然后用这两个可学习的变量去还原上一层应该学到的数据分布，使得第一步的归一化破坏掉的特征通过学习的参数γ和β去纠正从而得到真正学习的特征，保持模型的表达能力

7.根据权利要求4所述的基于多任务全卷积神经网络的人脸网纹污迹去除方法，其特征在于，所述步骤5)中，利用成对的训练数据优化真实图像、网纹图像与残差信息的损失，以及预测网纹mask与真实网纹mask标签损失，训练模型，具体包括：

(1)根据步骤2)的训练数据和验证数据以及步骤4)设计的全卷积神经网络，将数据逐个batch输入到全卷积神经网络模型；

(2)具体超参数设置如下：优化器使用Adam，batch size大小为20；训练过程中，初始学习率为0.1，在每一轮迭代完之后，学习率乘0.1，总共训练3轮，即：第一个轮，学习率为0.1，第二个轮学习率为0.01，第三个轮，学习率为0.001；

(3)训练优化的损失在于两个分支部分：真实图像输出分支与网纹判别分支，其中，真实图像输出分支，目标函数使用均方误差loss1；针对mask输出分支，使用交叉熵损失loss2，两者采用1:1的比例相加得到最后需要优化的损失函数loss，具体公式如：

其中，N为训练图片数量，f(·)为卷积神经网络，W,b为网络要学习的参数，除了两个分支上的权重不同以外，其余权重两个分支权重共享，X_i,detail表示为第i张图片的细节层，通过引导滤波所得；

模型的损失函数：

loss＝loss1+loss2。