CN106910176B - 一种基于深度学习的人脸图像去遮挡方法 - Google Patents

一种基于深度学习的人脸图像去遮挡方法 Download PDF

Info

Publication number
CN106910176B
CN106910176B CN201710120037.1A CN201710120037A CN106910176B CN 106910176 B CN106910176 B CN 106910176B CN 201710120037 A CN201710120037 A CN 201710120037A CN 106910176 B CN106910176 B CN 106910176B
Authority
CN
China
Prior art keywords
network
image
blocked
n1
n2
Prior art date
Application number
CN201710120037.1A
Other languages
English (en)
Other versions
CN106910176A (zh
Inventor
张梦茹
阚美娜
张�杰
山世光
Original Assignee
中科视拓(北京)科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中科视拓(北京)科技有限公司 filed Critical 中科视拓(北京)科技有限公司
Priority to CN201710120037.1A priority Critical patent/CN106910176B/zh
Publication of CN106910176A publication Critical patent/CN106910176A/zh
Application granted granted Critical
Publication of CN106910176B publication Critical patent/CN106910176B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/005Retouching; Inpainting; Scratch removal

Abstract

本发明公开了一种基于深度学习的人脸图像去遮挡方法,包括以下步骤:(1)自动对原始图片添加特定样式与分布的遮挡,模拟真实遮挡分布,制作训练数据集并对输入数据进行预处理;(2)设计基于全卷积网络的神经子网络N1学习遮挡的分布与深浅;(3)设计神经子网络N2对遮挡图像进行自动修复与平滑;(4)迭代训练子网络N1,N2,进行多任务学习,使得网络自动检测出遮挡并输出修复后的与原图大小相同的图像。本发明能够检测出特定形状与分布的遮挡,并且通过网络进行像素级别的自动修复与平滑,完成未遮挡部分的图像细节保持和遮挡部分的自动修复,使得后续的人脸识别正确率得到极大的提高,并且大大提高了网络的优化速度。

Description

一种基于深度学习的人脸图像去遮挡方法

技术领域

本发明涉及一种图像去遮挡方法,尤其涉及一种基于深度学习的人脸图像去遮挡方法。

背景技术

随着计算机视觉技术的发展,人脸识别在家庭娱乐,安防系统,视频监控等领域得到广泛应用。人脸识别的各个步骤都需要输入人脸图像满足一定要求:人脸图像无明显噪声,遮挡,人脸图像清晰度,质量较好。目前,人脸图像去噪遮挡主要关注在去除干扰信息的同时,减少图像细节的丢失。

基于传统方法的图像去遮挡和修复主要分为两个方向:基于图像纹理分析技术和基于局部插值的图像修复方法。

基于传统纹理分析技术的图像去噪方法,其模型设计复杂,速度慢,效率低,容易带来图像细节模糊问题。而基于局部插值的图像修复方法,未使用到图像的全局信息,容易带来图像不平滑问题。对于缺少区域比较大的场景,效果较差,基于插值图像的修复方法需要事先知道噪声位置。

发明内容

为了解决上述问题中的不足之处,本发明提供了一种基于深度学习的人脸图像去遮挡方法。

为了解决以上技术问题,本发明采用的技术方案是:一种基于深度学习的人脸图像去遮挡方法,包括以下步骤:

(1)自动对原始图片添加特定样式与分布的遮挡,模拟真实遮挡分布,制作训练数据集并对输入数据进行预处理;

具体的预处理步骤包括但不限于将输入图像进行归一化、尺度缩放、数据增广;并且通过批处理操作将图片像素值进行归一化,便于后续计算与网络收敛;

(2)设计基于全卷积网络的神经子网络N1学习遮挡的分布与深浅;

其中,网络的前端部分较浅的神经网络的层通过对原始输入图片以级联卷积的方式计算得到的特征图,特征图分布反应了图像的基础信息,不同的卷积核提取出不同的特征图,并将边缘信息作为后续网络的输入;

(3)设计神经子网络N2对遮挡图像进行自动修复与平滑;

(3.1)深度神经网络N2采用与深度神经网络N1相同的前半部,实现参数共享,N2的核心思想是提取N1的末端的输入特征图,经过N1阶段的学习后,此时的特征图已比较接近遮挡分布,将该特征图和原始遮挡图片叠加,将叠加值作为初始修复状态;

(3.2)获取初始修复状态后,神经子网络N2的后半部采用不带下采样操作的卷积单元,包括但不局限于两层或者多层的卷积层,多个卷积核以滑动窗口的形式在步骤(3.1)得到的初始叠加值上计算新的特征图,输出以无遮挡的真值图像进行约束;

(3.3)然后采用欧式损失进行有监督约束,训练采用的算法是BackPropagation反向回传算法,通过回传的损失层误差来更新每一层的参数,使得网络参得到更新,最终得到收敛;

(4)迭代训练子网络N1,N2,进行多任务学习;

(4.1)首先完成遮挡的检测任务,任务的主要实施部分为网络结构N1,输入数据是有遮挡的原始图像,标签是已知的遮挡的分布图,目标是在N1结构的末端在测试阶段自动学习出遮挡的分布,使得神经网络N1收敛到良好状态。

(4.2)然后完成图像修复任务,任务的主要实施部分为网络结构N2,输入数据是有遮挡的原始图像,标签是未遮挡的真值图像,目标是在N2结构的末端在测试阶段自动学习出修复遮挡之后的图像,并通过图像级别像素值的回归,进一步减小学习率,促进网络收敛的步骤,使得网络自动检测出遮挡并输出修复后的与原图大小相同的图像。

本发明的深度神经网络结构N1中,分为前后两个部分,前部分基于卷积神经网络结构单元,包括但不限于卷积操作,非线性映射,下采样池化;再选取小尺度的卷积核,将其分为五个卷积单元层,其中前两个卷积单元采用最大值池化方法进行下采样,快速降低特征图的大小,后三个卷积单元为串联的卷积层,并且卷积核数目加倍,可增强网络的学习能力;后部分基于反卷积神经网络结构单元,包括但不限于反卷积操作,非线性映射;其中,反卷积核的参数为网络优化学习而得,并且采用串联的小步长上采样代替大步长采样,对边缘的预测结果更为有效。

上述步骤(2)中,深度神经网络结构N1的末端输出采用非线性映射将最后一层的输出映射到[0,1]之间,采用欧式损失进行有监督约束,能够同时预测遮挡的位置和深浅;训练采用的算法是BackPropagation反向回传算法,通过回传的损失层误差来更新每一层的参数,使得网络参得到更新,最终得到收敛。

本发明通过设计基于深度学习的人脸图像去遮挡的端到端的算法框架,能够检测出特定形状与分布的遮挡,并且通过网络进行像素级别的自动修复与平滑,完成未遮挡部分的图像细节保持和遮挡部分的自动修复,使得后续的人脸识别正确率得到极大的提高,并且大大提高了网络的优化速度。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明的算法实施流程图。

具体实施方式

如图1所示,本发明具体包括以下步骤:

(1)自动对原始图片添加特定样式与分布的遮挡,模拟真实遮挡分布,制作训练数据集并对输入数据进行预处理;

具体的预处理步骤包括但不限于将输入图像进行归一化(除以最大值因子)、尺度缩放(尝试不同长宽的输入)、数据增广(增加遮挡的范围和种类);其目的在于对输入图片进行种类扩充,扩大或缩小到相同的尺度,进行批处理操作,并且将图片像素值进行归一化,便于后续计算与网络收敛;

(2)设计基于全卷积网络的神经子网络N1学习遮挡的分布与深浅;

其中,网络的前端部分较浅的神经网络的层通过对原始输入图片以级联卷积的方式计算得到的特征图,特征图分布反应了图像的基础信息,不同的卷积核提取出不同的特征图(如颜色),将边缘信息作为后续网络的输入;

本发明在深度神经网络结构N1中,分为前后两个部分,前部分基于卷积神经网络结构单元,包括但不限于卷积操作,非线性映射,下采样池化;再选取小尺度的卷积核,将其分为五个卷积单元层,其中前两个卷积单元采用最大值池化方法进行下采样,快速降低特征图的大小,后三个卷积单元为串联的卷积层,并且卷积核数目加倍,可增强网络的学习能力。

后部分基于反卷积神经网络结构单元,包括但不限于反卷积操作,非线性映射。其中,反卷积核的参数为网络优化学习而得,并且采用串联的小步长上采样代替大步长采样,对边缘的预测结果更为有效。网络结构本身不是保护范围,是公开的学术成果,但凡是符合该网络结构框架,并且之间用于去除遮挡,或者网络结构的设计和参数与本发明相近,则属于保护范围。

其中,深度神经网络结构N1的末端输出采用非线性映射将最后一层的输出映射到[0,1]之间,采用欧式损失进行有监督约束,能够同时预测遮挡的位置和深浅。本发明训练采用的算法是BackPropagation反向回传算法,通过回传的损失层误差来更新每一层的参数,使得网络参得到更新,最终得到收敛。

(3)设计神经子网络N2对遮挡图像进行自动修复与平滑;

(3.1)深度神经网络N2采用与深度神经网络N1相同的前半部,因此实现参数共享,N2的核心思想是提取N1的末端的输入特征图,经过N1阶段的学习后,此时的特征图已比较接近遮挡分布,将该特征图和原始遮挡图片叠加。一方面遮挡位置的特征图的值偏大,与原始图片遮挡位置偏深色刚好相反,叠加操作能够实现部分抵消;另一方面非遮挡位置的特征图接近零,叠加后对非遮挡部分的图像细节影响不大,保留了非遮挡部分的细节,将叠加值作为初始修复状态。

(3.2)获取初始修复状态后,神经子网络N2的后半部采用不带下采样操作的卷积单元,包括但不局限于两层或者多层的卷积层,多个卷积核以滑动窗口的形式在步骤(3.1)得到的初始叠加值上计算新的特征图,输出以无遮挡的真值图像进行约束。由于损失函数中比较大的项多是由遮挡部分与真值图像的差异造成,当网络参数朝向损失函数降低的方向优化,图像的遮挡部分的像素值就与真值图像不断接近,实现自动修复过程,使得修复结果更加平滑和自然。

(3.3)然后采用欧式损失进行有监督约束,训练采用的算法是BackPropagation反向回传算法,通过回传的损失层误差来更新每一层的参数,使得网络参得到更新,最终得到收敛。

(4)迭代训练子网络N1,N2,进行多任务学习。本发明采用的优化策略是先解决简单的任务,在此基础上辅助优化复杂任务,并且结合了批归一化和学习率自动衰减的优化方法。

(4.1)首先完成遮挡的检测任务,任务的主要实施部分为网络结构N1,输入数据是有遮挡的原始图像,标签是已知的遮挡的分布图,目标是在N1结构的末端在测试阶段自动学习出遮挡的分布,该任务的的难度接近于实现二值分类,相对简单,使得神经网络N1收敛到良好状态。

(4.2)然后完成图像修复任务,任务的主要实施部分为网络结构N2,输入数据是有遮挡的原始图像,标签是未遮挡的真值图像,目标是在N2结构的末端在测试阶段自动学习出修复遮挡之后的图像。该任务是难度是图像级别像素值的回归,需要进一步减小学习率,促进网络收敛,使得网络自动检测出遮挡并输出修复后的与原图大小相同的图像。

本发明解决了现有技术在未知遮挡位置的情况下,无法较好的同时实现去除遮挡和修复图像的任务,提出了一种基于深度学习的系统,在检测遮挡位置与深浅信息的同时,利用全局语义信息对图像进行自动修复的方法。其具有以下几个关键点:

1)采用基于全卷积网络结构设计算法框架,前端网络包括卷积层,非线性映射,下采样池化模块实现特征图尺度逐渐降低,后端网络包括反卷积层,非线性映射模块实现上采样;技术效果是可以还原输出特征图到原始输入图像的尺寸,基于像素级别分析图像信息,包括但不限于像素是否是遮挡位置,以及对图像进行像素级别的修复。

2)两个串联子网络实行参数共享,第一个子网络自动学习遮挡位置,第二个子网络在第一个子网络的基础上进行叠加,实现部分遮挡的抵消。第二个子网络包括但不限于两层或多层卷积层,自动实现图像的修复和平滑。技术效果是利用了图像的全局语义信息,两个子网络相互辅助,自动输出遮挡和修复之后的图像。

3)多任务学习,算法分为两个任务,先完成第一个简单的任务是预测遮挡的位置与深浅,采用欧式损失的有监督约束,再在第一个任务基础上完成第二个复杂的任务对图像进行像素级别的修补,采用欧式损失的有监督约束,共同迭代训练。技术效果包括但不限于形成一个端到端的优化系统,系统包括一个输入,两个输出。并且可以由简入难的进行优化。

上述实施方式并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换,也均属于本发明的保护范围。

Claims (4)

1.一种基于深度学习的人脸图像去遮挡方法,其特征在于,包括以下步骤:
(1)自动对原始图片添加特定样式与分布的遮挡,模拟真实遮挡分布,制作训练数据集并对输入数据进行预处理;
具体的预处理步骤包括但不限于将输入图像进行归一化、尺度缩放、数据增广;并且通过批处理操作将图片像素值进行归一化,便于后续计算与网络收敛;
(2)设计基于全卷积网络的神经子网络N1学习遮挡的分布与深浅;
其中,网络的前端部分较浅的神经网络的层通过对原始输入图片以级联卷积的方式计算得到的特征图,特征图分布反应了图像的基础信息,不同的卷积核提取出不同的特征图,并将边缘信息作为后续网络的输入;
(3)设计神经子网络N2对遮挡图像进行自动修复与平滑;
(3.1)深度神经网络N2采用与深度神经网络N1相同的前半部,实现参数共享,N2的核心思想是提取N1的末端的输入特征图,经过N1阶段的学习后,此时的特征图已比较接近遮挡分布,将该特征图和原始遮挡图片叠加,将叠加值作为初始修复状态;
(3.2)获取初始修复状态后,神经子网络N2的后半部采用不带下采样操作的卷积单元,包括但不局限于两层或者多层的卷积层,多个卷积核以滑动窗口的形式在步骤(3.1)得到的初始叠加值上计算新的特征图,输出以无遮挡的真值图像进行约束;
(3.3)然后采用欧式损失进行有监督约束,训练采用的算法是BackPropagation反向回传算法,通过回传的损失层误差来更新每一层的参数,使得网络参得到更新,最终得到收敛;
(4)迭代训练子网络N1,N2,进行多任务学习;
(4.1)首先完成遮挡的检测任务,任务的主要实施部分为网络结构N1,输入数据是有遮挡的原始图像,标签是已知的遮挡的分布图,目标是在N1结构的末端在测试阶段自动学习出遮挡的分布,使得神经网络N1收敛到良好状态;
(4.2)然后完成图像修复任务,任务的主要实施部分为网络结构N2,输入数据是有遮挡的原始图像,标签是未遮挡的真值图像,目标是在N2结构的末端在测试阶段自动学习出修复遮挡之后的图像,并通过图像级别像素值的回归,进一步减小学习率,促进网络收敛的步骤,使得网络自动检测出遮挡并输出修复后的与原图大小相同的图像。
2.根据权利要求1所述的基于深度学习的人脸图像去遮挡方法,其特征在于:所述步骤(2)中,在深度神经网络结构N1中,分为前后两个部分,前部分基于卷积神经网络结构单元,包括但不限于卷积操作,非线性映射,下采样池化;再选取小尺度的卷积核,将其分为五个卷积单元层,其中前两个卷积单元采用最大值池化方法进行下采样,快速降低特征图的大小,后三个卷积单元为串联的卷积层,并且卷积核数目加倍,可增强网络的学习能力;后部分基于反卷积神经网络结构单元,包括但不限于反卷积操作,非线性映射。
3.根据权利要求2所述的基于深度学习的人脸图像去遮挡方法,其特征在于:所述反卷积操作中,反卷积核的参数为网络优化学习而得,并且采用串联的小步长上采样代替大步长采样,对边缘的预测结果更为有效。
4.根据权利要求1所述的基于深度学习的人脸图像去遮挡方法,其特征在于:所述步骤(2)中,深度神经网络结构N1的末端输出采用非线性映射将最后一层的输出映射到[0,1]之间,采用欧式损失进行有监督约束,能够同时预测遮挡的位置和深浅;训练采用的算法是BackPropagation反向回传算法,通过回传的损失层误差来更新每一层的参数,使得网络参得到更新,最终得到收敛。
CN201710120037.1A 2017-03-02 2017-03-02 一种基于深度学习的人脸图像去遮挡方法 CN106910176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710120037.1A CN106910176B (zh) 2017-03-02 2017-03-02 一种基于深度学习的人脸图像去遮挡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710120037.1A CN106910176B (zh) 2017-03-02 2017-03-02 一种基于深度学习的人脸图像去遮挡方法

Publications (2)

Publication Number Publication Date
CN106910176A CN106910176A (zh) 2017-06-30
CN106910176B true CN106910176B (zh) 2019-09-13

Family

ID=59186723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710120037.1A CN106910176B (zh) 2017-03-02 2017-03-02 一种基于深度学习的人脸图像去遮挡方法

Country Status (1)

Country Link
CN (1) CN106910176B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633204B (zh) * 2017-08-17 2019-01-29 平安科技(深圳)有限公司 人脸遮挡检测方法、装置及存储介质
CN107730457B (zh) * 2017-08-28 2020-02-14 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN107729822A (zh) * 2017-09-27 2018-02-23 北京小米移动软件有限公司 对象识别方法及装置
CN108551552A (zh) * 2018-05-14 2018-09-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109360170A (zh) * 2018-10-24 2019-02-19 北京工商大学 基于高级特征的人脸修复方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217214A (zh) * 2014-08-21 2014-12-17 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb-d人物行为识别方法
CN104657776A (zh) * 2013-11-22 2015-05-27 华为技术有限公司 神经网络系统、基于神经网络系统的图像解析方法和装置
CN105678249A (zh) * 2015-12-31 2016-06-15 上海科技大学 针对注册人脸和待识别人脸图片质量不同的人脸识别方法
CN105718868A (zh) * 2016-01-18 2016-06-29 中国科学院计算技术研究所 一种针对多姿态人脸的人脸检测系统及方法
CN106250812A (zh) * 2016-07-15 2016-12-21 姹ゅ钩 一种基于快速r‑cnn深度神经网络的车型识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657776A (zh) * 2013-11-22 2015-05-27 华为技术有限公司 神经网络系统、基于神经网络系统的图像解析方法和装置
CN104217214A (zh) * 2014-08-21 2014-12-17 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb-d人物行为识别方法
CN105678249A (zh) * 2015-12-31 2016-06-15 上海科技大学 针对注册人脸和待识别人脸图片质量不同的人脸识别方法
CN105718868A (zh) * 2016-01-18 2016-06-29 中国科学院计算技术研究所 一种针对多姿态人脸的人脸检测系统及方法
CN106250812A (zh) * 2016-07-15 2016-12-21 姹ゅ钩 一种基于快速r‑cnn深度神经网络的车型识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Face Occlutsion Detection Using Deeping Convolutional Neural Networks;Yizhang Xia et al.;《International Journal of Pattern Recognition and Artificial Intelligence》;20161101;第233-239页 *
基于卷积神经网络的部分遮挡人脸表情识别;崔向东等;《常州信息职业技术学院学报》;20170228;第16卷(第1期);第128-133页 *

Also Published As

Publication number Publication date
CN106910176A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
Wug Oh et al. Fast video object segmentation by reference-guided mask propagation
CN105975931B (zh) 一种基于多尺度池化的卷积神经网络人脸识别方法
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN107154023B (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN104680508B (zh) 卷积神经网络和基于卷积神经网络的目标物体检测方法
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN102156875B (zh) 基于多任务ksvd字典学习的图像超分辨率重构方法
CN106407931B (zh) 一种深度卷积神经网络运动车辆检测方法
CN104615983B (zh) 基于递归神经网络和人体骨架运动序列的行为识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN103093444B (zh) 基于自相似性和结构信息约束的图像超分辨重建方法
CN102567727B (zh) 一种背景目标替换方法和装置
CN103400151B (zh) 一体化的光学遥感影像与gis自动配准与水体提取方法
CN105096259A (zh) 深度图像的深度值恢复方法和系统
CN105760859A (zh) 基于多任务卷积神经网络的网纹人脸图像识别方法及装置
CN103310453B (zh) 一种基于子图像角点特征的快速图像配准方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN104866868B (zh) 基于深度神经网络的金属币识别方法和装置
CN104077613A (zh) 一种基于级联多级卷积神经网络的人群密度估计方法
CN107169956B (zh) 基于卷积神经网络的色织物疵点检测方法
CN104517122A (zh) 一种基于优化卷积架构的图像目标识别方法
CN103870818B (zh) 一种烟雾检测方法和装置
CN105657402A (zh) 一种深度图恢复方法
CN107358576A (zh) 基于卷积神经网络的深度图超分辨率重建方法
CN102054270B (zh) 一种视频图像中提取前景的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant