CN111353943A - 一种人脸图像恢复方法、装置及可读存储介质 - Google Patents

一种人脸图像恢复方法、装置及可读存储介质 Download PDF

Info

Publication number
CN111353943A
CN111353943A CN201811565629.5A CN201811565629A CN111353943A CN 111353943 A CN111353943 A CN 111353943A CN 201811565629 A CN201811565629 A CN 201811565629A CN 111353943 A CN111353943 A CN 111353943A
Authority
CN
China
Prior art keywords
face image
facial features
facial
bayesian network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811565629.5A
Other languages
English (en)
Other versions
CN111353943B (zh
Inventor
杨彭举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811565629.5A priority Critical patent/CN111353943B/zh
Publication of CN111353943A publication Critical patent/CN111353943A/zh
Application granted granted Critical
Publication of CN111353943B publication Critical patent/CN111353943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种人脸图像恢复方法、装置及可读存储介质，该方法包括：确定人脸图像的面部特征之间的关联关系；对于部分面部特征不可获取的目标人脸图像，基于所述关联关系以及所述目标人脸图像中可获取的面部特征，对所述目标人脸图像中不可获取的部分面部特征进行恢复。该方法可以提高人脸识别的成功率和准确率。

Description

一种人脸图像恢复方法、装置及可读存储介质
技术领域
本申请涉及图像处理技术，尤其涉及一种人脸图像恢复方法、装置及可读存储介质。
背景技术
人脸识别是基于人的面部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别。
然而实践发现，目前的人脸识别方案中，对于面部特征部分被遮挡(如被口罩或/和墨镜等外物遮挡)或人脸整体清晰度较差等情况，往往很难准确实现人脸识别。
发明内容
有鉴于此，本申请提供一种人脸图像恢复方法、装置及可读存储介质。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种人脸图像恢复方法，包括：
确定人脸图像的面部特征之间的关联关系；
对于部分面部特征不可获取的目标人脸图像，基于所述关联关系以及所述目标人脸图像中可获取的面部特征，对所述目标人脸图像中不可获取的部分面部特征进行恢复。
根据本申请实施例的第二方面，提供一种人脸图像恢复装置，包括：
训练单元，用于确定人脸图像的面部特征之间的关联关系；
部署单元，用于对于部分面部特征不可获取的目标人脸图像，基于所述关联关系以及所述目标人脸图像中可获取的面部特征，对所述目标人脸图像中不可获取的部分面部特征进行恢复。
根据本申请实施例的第三方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述人脸图像恢复方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸图像恢复方法。
本申请实施例的人脸图像恢复方法，通过确定人脸图像的面部特征之间的关联关系；对于部分面部特征不可获取的目标人脸图像，基于关联关系以及目标人脸图像中可获取的面部特征，对目标人脸图像中不可获取的部分面部特征进行恢复，可以实现对部分面部特征不可获取的目标人脸图像的识别，提高了人脸识别的成功率和准确率。
附图说明
图1是本申请一示例性实施例示出的一种人脸图像恢复方法的流程示意图；
图2是本申请一示例性实施例示出的一种人脸图像恢复方法的流程示意图；
图3是本申请一示例性实施例示出的一种面部特征mask的示意图；
图4是本申请一示例性实施例示出的一种贝叶斯网络结构的示意图；
图5是本申请一示例性实施例示出的一种贝叶斯网络训练的流程示意图；
图6是本申请一示例性实施例示出的一种人脸图像恢复装置的结构示意图；
图7是本申请又一示例性实施例示出的一种人脸图像恢复装置的结构示意图；
图8是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1，为本申请实施例提供的一种人脸图像恢复方法的流程示意图，如图1所示，该人脸图像恢复方法可以包括以下步骤：
步骤S100、确定人脸图像的面部特征之间的关联关系。
本申请实施例中，人脸图像的面部特征可以包括但不限于眼睛特征、鼻子特征、嘴巴特征、嘴唇特征、下巴特征、脸型特征、前额特征以及肤色特征等中的部分(多个)或全部。
本申请实施例中，考虑到人脸图像的不同面部特征之间存在一定的关联性，例如，对于肤色较浅、面部宽大扁平、鼻根低矮的人脸图像，其通常还会具有眼眶较高，颅骨低宽的特点；对于肤色较深、鼻型较宽的人脸图像，其通常还会具有鼻根低平的特点；对于肤色极浅的人脸图像，其通常还会具有鼻子又高又直的特点。
因此，可以通过确定人脸图像的面部特征之间的关联关系，并根据人脸图像的面部特征之间的关联关系实现人脸图像恢复。
步骤S110、对于部分面部特征不可获取的目标人脸图像，基于所确定的人脸图像的面部特征之间的关联关系以及目标人脸图像中可获取的面部特征，对目标人脸图像中不可获取的部分面部特征进行恢复。
本申请实施例中，对于部分面部特征不可获取的人脸图像(本文中称为目标人脸图像)，例如，由于口罩、墨镜等遮挡导致部分人脸不可见的人脸图像，或，由于像素较低，人脸整体不清晰，但五官类型(如脸型、眼睛形状、嘴型等)能够获取的人脸图像，可以获取目标人脸图像中可获取的面部特征，并基于步骤S100中确定的人脸图像的面部特征之间的关联关系，以及该目标人脸图像中可获取的面部特征，对目标人脸图像中不可获取的部分面部特征进行恢复。
可见，在图1所示方法流程中，通过确定人脸图像的面部特征之间的关联关系；对于部分面部特征不可获取的目标人脸图像，基于关联关系以及目标人脸图像中可获取的面部特征，对目标人脸图像中不可获取的部分面部特征进行恢复，可以实现对部分面部特征不可获取的目标人脸图像的识别，提高了人脸识别的成功率和准确率。
在本申请其中一个实施例中，上述确定人脸图像的面部特征之间的关联关系，可以包括：
根据面部特征之间的属性关系建立面部特征关系模型。
在该实施例中，可以根据面部特征之间的属性关系建立面部特征关系模型，通过面部特征关系模型的形式记录人脸图像的面部特征之间的关联关系。
在一个示例中，上述对根据面部特征之间的属性关系建立面部特征关系模型，可以包括：
对训练集中各训练样本进行面部特征分割，以得到各训练样本的面部特征mask(分割结果)；其中，该训练样本为面部特征均可获取的人脸图像；
根据各训练样本的面部特征mask对各训练样本进行面部特征聚焦和识别，以得到各训练样本的面部特征的属性类型；
根据各训练样本的面部特征的属性类型对面部特征关系模型进行训练。
在该示例中，为了实现面部特征关系模型的构建，可以收集预设数量的面部特征均可获取的人脸图像作为训练样本构成训练集，并利用训练集中的训练样本对面部特征关系模型进行训练。
具体地，对于训练集中各训练样本，可以对其进行面部特征分割，以得到各训练样本的面部特征mask。
得到各训练样本的面部特征mask之后，可以根据各训练样本的面部特征mask对各训练样本进行面部特征聚焦和识别，以得到各训练样本的面部特征的属性类型，进而，可以根据各训练样本的面部特征的属性类型对面部特征关系模型进行训练。
举例来说，以面部特征模型关系模型为贝叶斯网络模型为例。
上述对各训练样本的面部特征的属性类型对面部特征关系模型进行训练，可以包括：
对贝叶斯网络模型进行更新；
基于各训练样本的面部特征的属性类型确定更新后的贝叶斯网络模型的BIC(Bayesian Information Criterion，贝叶斯信息准则)评分；
若该BIC评分大于贝叶斯网络模型更新前的BIC评分，则确定此次更新生效，并再次对贝叶斯网络模型进行更新，直至贝叶斯网络模型收敛；
否则，确定此次更新不生效，并再次对贝叶斯网络模型进行更新，直至贝叶斯网络模型生效。
具体地，可以利用贝叶斯网络模型构建面部特征关系模型，其中，该贝叶斯网络模型的参数为面部特征的属性类型，如眼睛形状、鼻子宽窄、嘴巴厚薄等。
利用贝叶斯网络模型构建面部特征关系模型之后，可以对该贝叶斯网络模型进行更新。
其中，对贝叶斯网络模型进行更新可以包括但不限于：对贝叶斯网络模型增加一条边(即将任意两个未连接的参数连接起来)、对贝叶斯网络模型删除一条边(即将任意两个参数之间的连接关系删除)或对贝叶斯网络模型反向一条边(即将参数A指向参数B的连接关系修改为参数B指向参数A)。
每一次对贝叶斯网络模型进行更新之后，可以确定更新后的贝叶斯网络模型的BIC评分。
其中，确定贝叶斯网络模型的BIC评分的具体实现可以参见现有相关方案中的相关描述，本申请实施例在此不做赘述。
确定了更新后的贝叶斯网络模型的BIC评分之后，可以比较更新后的贝叶斯网络模型的BIC评分和更新前的贝叶斯网络模型的BIC评分，若更新后的贝叶斯网络模型的BIC评分大于更新前的贝叶斯网络模型的BIC评分，则可以确定此次更新生效，并再次对贝叶斯网络模型进行更新，直至贝叶斯网络模型收敛。
若更新后的贝叶斯网络模型的BIC评分小于等于更新前的贝叶斯网络模型的BIC评分，则可以确定此次更新不生效，并再次对贝叶斯网络模型进行更新(不同于未生效的更新)，直至贝叶斯网络模型收敛。
其中，贝叶斯网络模型收敛是指连续预设数量次对贝叶斯网络模型进行更新后，贝叶斯网络模型的BIC评分均不增加。
在本申请其中一个实施例中，上述人脸图像的面部特征之间的关联关系可以包括不同类别的面部特征的属性类型之间的关联关系，一种类别的面部特征可以包括多种不同的属性类型。
举例来说，面部特征的类别可以包括眼睛、鼻子、嘴巴、嘴唇、下巴、脸型、前额以及肤色等中的部分(多个)或全部。
例如，眼睛的属性类型可以包括眼睛形状、眼睛凹凸等；鼻子的属性类型可以包括鼻子倾斜度、鼻子长短、鼻子宽窄等；嘴唇的属性类型可以包括嘴唇高低、嘴唇厚薄等。
相应地，上述基于人脸图像的面部特征之间的关联关系以及目标人脸图像中可获取的面部特征，对目标人脸图像中不可获取的部分面部特征进行恢复，可以包括：
获取目标人脸图像中可获取的面部特征的属性类型；
根据目标人脸图像中可获取的面部特征的属性类型，以及不同类别的面部特征的属性类型之间的关联关系，确定目标人脸图像中不可获取的部分面部特征的属性类型；
根据目标人脸图像中不可获取的部分面部特征的属性类型，对目标人脸图像中不可获取的部分面部特征进行恢复。
在该实施例中，对于部分面部特征不可获取的目标人脸图像，可以获取该目标人脸图像中可获取的面部特征的属性类型。
在一个示例中，上述获取目标人脸图像中可获取的面部特征的属性类型，包括：
对目标人脸图像进行面部特征分割，以得到目标人脸图像中可获取的面部特征mask；
根据目标人脸图像中可获取的面部特征mask对目标人脸图像进行面部特征聚焦和识别，以得到目标人脸图像中可获取部分的属性类型。
在该示例中，可以通过对目标人脸图像进行面部特征分割，并根据得到的目标人脸图像中可获取的面部特征mask对目标人脸图像进行面部特征聚焦和识别的方式，得到目标人脸图像中可获取部分的属性类型。
在该实施例中，获取到目标人脸图像中可获取的面部特征的属性类型之后，可以根据获取到的目标人脸图像的面部特征的属性类型，以及不同类别的面部特征的属性类型之间的关联关系，如上文中描述的面部特征关系模型，确定目标人脸图像中不可获取的部分面部特征的属性类型。
在一个示例中，不同类型的面部特征的属性类型之间的关联关系可以通过贝叶斯网络模型记录。
相应地，上述根据目标人脸图像中可获取的面部特征的属性类型，以及不同类别的面部特征的属性类型之间的关联关系，确定目标人脸图像中不可获取的部分面部特征的属性类型，可以包括：
根据目标人脸图像中可获取的面部特征的属性类型，以及贝叶斯网络模型，确定目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率；
将后验概率最大的属性类型确定为目标人脸图像中不可获取的部分面部特征的属性类型。
在该示例中，当不同类型的面部特征的属性类型之间的关联关系可以通过贝叶斯网络模型记录时，可以根据目标人脸图像中可获取的面部特征的属性类型，以及该贝叶斯网络模型，确定目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率。
例如，可以基于贝叶斯网络模型和目标人脸图像中可获取的面部特征的属性类型，利用马尔可夫链蒙特卡罗采样算法(Markov chain Monte Carlo)，确定目标人脸图现象中不可获取的部分面部特征的各属性类型的后验概率，其具体实现可以在下文中结合实例进行说明。
在该示例中，确定了目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率之后，可以将后验概率最大的属性类型确定为目标人脸图像中不可获取的部分面部特征的属性类型。
在该实施例中，确定了目标人脸图像中不可获取的部分面部特征的属性类型之后，可以根据目标人脸图像中不可获取的部分面部特征的属性类型，对目标人脸图像中不可获取的部分面部特征进行恢复。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。
请参见图2，在该实施例中，人脸图像恢复方案可以包括以下三个部分：
一、预处理部分
对于一张输入的人脸图像，可以先对该人脸图像进行预处理，提取该人脸图像的面部特征。
其中，对于作为训练样本的面部特征均可获取的人脸图像，可以在预处理阶段，获取各训练样本的全部面部特征；
对于进行面部特征恢复的人脸图像，可以在预处理阶段获取该人脸图像中可获取的部分面部特征。
在该实施例中，对人脸图像进行预处理，提取人脸图像的面部特征，可以包括：
1、面部特征分割
面部特征分割采用全卷积网络，例如SDN(Stacked Deconvolutional Network，堆叠反卷积网络)网络。
其中，SDN网络中可以用deconvolution(反卷积)和unpooling(上池化)(或upsampling(上采样))来构建与下采样的convolution(卷积)部分(称为encoder(解码器))相对应的上采样部分(称为decoder(解码器))，从而得到与输入的人脸图像大小相同的feature map(特征图)进行像素分类。
2、面部特征识别
经过面部特征分割，可以得到面部特征mask，其示意图可以如图3所示。
得到面部特征mask之后，可以利用得到的面部特征mask进行面部特征聚焦，然后识别得到面部特征的属性类型，例如，可以通过深度卷积网络(如ResNet(Residual NeuralNetwork，残差神经网络))进行面部特征识别。
在该实施例中，面部特征的属性类型可以如表1所示：
表1
Figure BDA0001914453260000091
Figure BDA0001914453260000101
二、训练部分
在该实施例中，可以收集预设数量的面部特征均可获取的人脸图像作为训练集中的训练样本；对于任一训练样本，可以按照预处理部分中描述的方式获取面部特征。
在该实施例中，可以使用贝叶斯网络对面部特征进行建模，以得到面部特征关系模型，通过该面部特征关系模型学习人脸图像的面部特征之间的关联关系，利用各训练样本的面部特征对得到的面部特征关系模型进行训练。
其中，用于描述人脸图像的面部特征之间的关联关系的贝叶斯网络的结构可以如图4所示。
在该实施例中，可以基于信息论准则对贝叶斯网络进行训练，以找到一个能够用最短编码长度来描述训练数据的模型。
具体地，对于贝叶斯网络，编码长度包括了描述贝叶斯网络需要的字节长度，以及贝叶斯网络用来描述训练数据集的概率分布的字节长度。
给定训练集D＝{x1，x2，…，xm}，贝叶斯网络B＝<G，Θ>在D上的评分函数可写为：
s(B|D)＝f(θ)|B|-LL(B|D)
其中，|B|为贝叶斯网络的参数个数；f(θ)表示描述每个参数θ所需的字节数；LL表示的是贝叶斯网络的对数似然(likelyhood)：
Figure BDA0001914453260000111
得到评分函数之后，贝叶斯网络结构的学习问题转换成了搜索问题，可以使用贪心算法来对贝叶斯网络进行训练。
举例来说，以使用爬山法进行贝叶斯网络训练为例，评分函数可以转换为：
s(B|D)＝LL(B|D)-f(θ)|B|
其中，目标值越大，网络结构越优。
如图5所示，基于该评分函数，利用爬山法对贝叶斯网络进行训练的流程如下，可以包括以下流程：
1、构建空的贝叶斯网络结构(记为g)；
2、对贝叶斯网络执行增加/删除/反向一条边的更新操作，得到g*；
3、计算g*的BIC评分BIC(g*)；
4、若BIC(g*)＞BIC(g)，则使更新操作生效，令g＝g*，BIC(g*)＝BIC(g)，并转至步骤2；
4、若BIC(g*)≤BIC(g)，则确定此次更新操作不生效；
5、判断贝叶斯网络是否收敛，即是否连续预设数量次更新操作均无法使贝叶斯网络的BIC评分增加；若是，则结束训练流程；否则，转至步骤2。
三、部署部分
在完成贝叶斯网络训练之后，可以利用该贝叶斯网络进行人脸图像恢复，即通过可见的(即可以从人脸图像中直接获取的)面部特征的属性类型推测不可见的(即不可从人脸图像中直接获取的)面部特征的属性类型。
在该实施例中，由于变量较多，直接根据贝叶斯网络定义的联合概率分布来计算后验概率的效率较差，因此，可以通过吉布斯采样(Gibbs sampling)来实现后验概率的计算。
具体地，令Q＝{Q1，Q2，…，Qn}为待恢复的面部特征的属性类型，E＝{E1，E2，…，En}为可见的面部特征的属性类型，则需要计算后验概率P(Q＝q|E＝e)，其中，q＝{q1，q2，…，qn}为任一待恢复的面部特征的可选属性类型。例如，对于面部特征嘴巴，其可选属性类型可以包括大嘴或小嘴。
可以先随机选择一个可见面部特征符合E＝e模式的样本，即从训练集中找到与待恢复的人脸图像在可见部分(即可获取的面部特征)一致的训练样本，然后每步从当前样本出发产生下一个样本，在第t次采样中，qt＝qt-1，即不可见面部特征的属性类型与上一次采样计算出来的属性类型，然后对不可见面部特征的属性类型(例如，对于鼻子的宽窄，其有两种可能取值：宽鼻、窄鼻)进行逐个采样改变它的取值(例如，采样得到宽鼻，则令qt＝宽鼻)，采样概率根据贝叶斯网络以及其他变量的当前取值计算获得。
假设经过T次采样得到的与q(宽鼻)一致的样本一共nq个，则可近似估算出可见面部特征条件下宽鼻的后验概率为：
Figure BDA0001914453260000121
得到各不可见的面部特征的各属性类型的后验概率之后，可以选取后验概率最大的面部特征的属性类型作为不可见的面部特征的属性类型，并用其标准模板图像作为其表示，与其他可见面部特征一起组成一张完整的人脸，实现人脸图现象恢复。
需要说明的是，在该实施例中，对于不可见因素(例如骨骼等)，可以在计算似然的时候，引入EM(Expectation-Maximization algorithm，最大期望算法)算法，先求解不可见变量的后验概率，然后再计算似然，其具体实现在此不做赘述。
本申请实施例中，通过确定人脸图像的面部特征之间的关联关系；对于部分面部特征不可获取的目标人脸图像，基于关联关系以及目标人脸图像中可获取的面部特征，对目标人脸图像中不可获取的部分面部特征进行恢复，可以实现对部分面部特征不可获取的目标人脸图像的识别，提高了人脸识别的成功率和准确率。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：
请参见图6，为本申请实施例提供的一种人脸图像恢复装置的结构示意图，如图6所示，该人脸图像恢复装置可以包括：
训练单元610，用于确定人脸图像的面部特征之间的关联关系；
部署单元620，用于对于部分面部特征不可获取的目标人脸图像，基于所述关联关系以及所述目标人脸图像中可获取的面部特征，对所述目标人脸图像中不可获取的部分面部特征进行恢复。
在一种可选的实施方式中，所述训练单元610，具体用于根据面部特征之间的属性关系建立面部特征关系模型。
在一种可选的实施方式中，如图7所示，所述装置还包括：
预处理单元630，用于对训练集中各训练样本进行面部特征分割，以得到各训练样本的面部特征分割结果mask；其中，所述训练样本为面部特征均可获取的人脸图像；
所述预处理单元630，还用于根据各训练样本的面部特征mask对各训练样本进行面部特征聚焦和识别，以得到各训练样本的面部特征的属性类型；
所述训练单元610，具体用于根据各训练样本的面部特征的属性类型对所述面部特征关系模型进行训练。
在一种可选的实施方式中，所述面部特征关系模型为贝叶斯网络模型；
所述训练单元610，具体用于对所述贝叶斯网络模型进行更新；基于各训练样本的面部特征的属性类型确定更新后的所述贝叶斯网络模型的贝叶斯信息准则BIC评分；若该BIC评分大于所述贝叶斯网络模型更新前BIC评分，则确定此次更新生效，并再次对所述贝叶斯网络模型进行更新，直至所述贝叶斯网络模型收敛；否则，确定此次更新不生效，并再次对所述贝叶斯网络模型进行更新，直至所述贝叶斯网络模型收敛。
在一种可选的实施方式中，所述训练单元610，具体用于对所述贝叶斯网络模型增加一条边；或，对所述贝叶斯网络模型删除一条边；或，对所述贝叶斯网络模型反向一条边。
在一种可选的实施方式中，所述关联关系包括不同类别的面部特征的属性类型之间的关联关系，一种类别的面部特征包括多种不同的属性类型；
所述预处理单元630，还用于获取所述目标人脸图像中可获取的面部特征的属性类型；
所述部署单元620，具体用于根据所述目标人脸图像中可获取的面部特征的属性类型，以及所述不同类别的面部特征的属性类型之间的关联关系，确定所述目标人脸图像中不可获取的部分面部特征的属性类型；
所述部署单元620，还具体用于根据所述目标人脸图像中不可获取的部分面部特征的属性类型，对所述目标人脸图像中不可获取的部分面部特征进行恢复。
在一种可选的实施方式中，所述预处理单元630，具体用于对所述目标人脸图像进行面部特征分割，以得到所述目标人脸图像中可获取的面部特征mask；根据所述目标人脸图像中可获取的面部特征mask对所述目标人脸图像进行面部特征聚焦和识别，以得到所述目标人脸图像中可获取的面部特征的属性类型。
在一种可选的实施方式中，所述不同类别的面部特征的属性类型之间的关联关系通过贝叶斯网络模型记录；
所述部署单元620，具体用于根据所述目标人脸图像中可获取的面部特征的属性类型，以及所述贝叶斯网络模型，确定所述目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率；将后验概率最大的属性类型确定为所述目标人脸图像中不可获取的部分面部特征的属性类型。
在一种可选的实施方式中，所述部署单元620，具体用于基于所述贝叶斯网络模型和所述目标人脸图像中可获取的面部特征的属性类型，利用马尔可夫链蒙特卡罗采样算法，确定所述目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率。
请参见图8，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器801、通信接口802、存储器803和通信总线804。处理器801、通信接口802以及存储器803通过通信总线804完成相互间的通信。其中，存储器803上存放有计算机程序；处理器801可以通过执行存储器803上所存放的程序，执行上文描述的人脸图像恢复方法。
本文中提到的存储器803可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器802可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
本申请实施例还提供了一种存储有计算机程序的机器可读存储介质，例如图8中的存储器803，所述计算机程序可由图8所示电子设备中的处理器801执行以实现上文描述的人脸图像恢复方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (19)

1.一种人脸图像恢复方法，其特征在于，包括：
确定人脸图像的面部特征之间的关联关系；
对于部分面部特征不可获取的目标人脸图像，基于所述关联关系以及所述目标人脸图像中可获取的面部特征，对所述目标人脸图像中不可获取的部分面部特征进行恢复。
2.根据权利要求1所述的方法，其特征在于，所述确定人脸图像的面部特征之间的关联关系，包括：
根据面部特征之间的属性关系建立面部特征关系模型。
3.根据权利要求2所述的方法，其特征在于，所述根据面部特征之间的属性关系建立面部特征关系模型，包括：
对训练集中各训练样本进行面部特征分割，以得到各训练样本的面部特征分割结果mask；其中，所述训练样本为面部特征均可获取的人脸图像；
根据各训练样本的面部特征mask对各训练样本进行面部特征聚焦和识别，以得到各训练样本的面部特征的属性类型；
根据各训练样本的面部特征的属性类型对所述面部特征关系模型进行训练。
4.根据权利要求3所述的方法，其特征在于，所述面部特征关系模型为贝叶斯网络模型；
所述根据各训练样本的面部特征的属性类型对所述面部特征关系模型进行训练，包括：
对所述贝叶斯网络模型进行更新；
基于各训练样本的面部特征的属性类型确定更新后的所述贝叶斯网络模型的贝叶斯信息准则BIC评分；
若该BIC评分大于所述贝叶斯网络模型更新前BIC评分，则确定此次更新生效，并再次对所述贝叶斯网络模型进行更新，直至所述贝叶斯网络模型收敛；
否则，确定此次更新不生效，并再次对所述贝叶斯网络模型进行更新，直至所述贝叶斯网络模型收敛。
5.根据权利要求4所述的方法，其特征在于，所述对所述贝叶斯网络模型进行更新，包括：
对所述贝叶斯网络模型增加一条边；或，
对所述贝叶斯网络模型删除一条边；或，
对所述贝叶斯网络模型反向一条边。
6.根据权利要求1所述的方法，其特征在于，所述关联关系包括不同类别的面部特征的属性类型之间的关联关系，一种类别的面部特征包括多种不同的属性类型；
所述基于所述关联关系以及所述目标人脸图像中可获取的面部特征，对所述目标人脸图像中不可获取的部分面部特征进行恢复，包括：
获取所述目标人脸图像中可获取的面部特征的属性类型；
根据所述目标人脸图像中可获取的面部特征的属性类型，以及所述不同类别的面部特征的属性类型之间的关联关系，确定所述目标人脸图像中不可获取的部分面部特征的属性类型；
根据所述目标人脸图像中不可获取的部分面部特征的属性类型，对所述目标人脸图像中不可获取的部分面部特征进行恢复。
7.根据权利要求6所述的方法，其特征在于，所述获取所述目标人脸图像中可获取的面部特征的属性类型，包括：
对所述目标人脸图像进行面部特征分割，以得到所述目标人脸图像中可获取的面部特征mask；
根据所述目标人脸图像中可获取的面部特征mask对所述目标人脸图像进行面部特征聚焦和识别，以得到所述目标人脸图像中可获取的面部特征的属性类型。
8.根据权利要求6或7所述的方法，其特征在于，所述不同类别的面部特征的属性类型之间的关联关系通过贝叶斯网络模型记录；
所述根据所述目标人脸图像中可获取的面部特征的属性类型，以及所述不同类别的面部特征的属性类型之间的关联关系，确定所述目标人脸图像中不可获取的部分面部特征的属性类型，包括：
根据所述目标人脸图像中可获取的面部特征的属性类型，以及所述贝叶斯网络模型，确定所述目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率；
将后验概率最大的属性类型确定为所述目标人脸图像中不可获取的部分面部特征的属性类型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述目标人脸图像中可获取的面部特征的属性类型，以及所述贝叶斯网络模型，确定所述目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率，包括：
基于所述贝叶斯网络模型和所述目标人脸图像中可获取的面部特征的属性类型，利用马尔可夫链蒙特卡罗采样算法，确定所述目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率。
10.一种人脸图像恢复装置，其特征在于，包括：
训练单元，用于确定人脸图像的面部特征之间的关联关系；
部署单元，用于对于部分面部特征不可获取的目标人脸图像，基于所述关联关系以及所述目标人脸图像中可获取的面部特征，对所述目标人脸图像中不可获取的部分面部特征进行恢复。
11.根据权利要求10所述的装置，其特征在于，
所述训练单元，具体用于根据面部特征之间的属性关系建立面部特征关系模型。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
预处理单元，用于对训练集中各训练样本进行面部特征分割，以得到各训练样本的面部特征分割结果mask；其中，所述训练样本为面部特征均可获取的人脸图像；
所述预处理单元，还用于根据各训练样本的面部特征mask对各训练样本进行面部特征聚焦和识别，以得到各训练样本的面部特征的属性类型；
所述训练单元，具体用于根据各训练样本的面部特征的属性类型对所述面部特征关系模型进行训练。
13.根据权利要求12所述的装置，其特征在于，所述面部特征关系模型为贝叶斯网络模型；
所述训练单元，具体用于对所述贝叶斯网络模型进行更新；基于各训练样本的面部特征的属性类型确定更新后的所述贝叶斯网络模型的贝叶斯信息准则BIC评分；若该BIC评分大于所述贝叶斯网络模型更新前BIC评分，则确定此次更新生效，并再次对所述贝叶斯网络模型进行更新，直至所述贝叶斯网络模型收敛；否则，确定此次更新不生效，并再次对所述贝叶斯网络模型进行更新，直至所述贝叶斯网络模型收敛。
14.根据权利要求13所述的装置，其特征在于，
所述训练单元，具体用于对所述贝叶斯网络模型增加一条边；或，对所述贝叶斯网络模型删除一条边；或，对所述贝叶斯网络模型反向一条边。
15.根据权利要求12所述的装置，其特征在于，所述关联关系包括不同类别的面部特征的属性类型之间的关联关系，一种类别的面部特征包括多种不同的属性类型；
所述预处理单元，还用于获取所述目标人脸图像中可获取的面部特征的属性类型；
所述部署单元，具体用于根据所述目标人脸图像中可获取的面部特征的属性类型，以及所述不同类别的面部特征的属性类型之间的关联关系，确定所述目标人脸图像中不可获取的部分面部特征的属性类型；
所述部署单元，还具体用于根据所述目标人脸图像中不可获取的部分面部特征的属性类型，对所述目标人脸图像中不可获取的部分面部特征进行恢复。
16.根据权利要求15所述的装置，其特征在于，
所述预处理单元，具体用于对所述目标人脸图像进行面部特征分割，以得到所述目标人脸图像中可获取的面部特征mask；根据所述目标人脸图像中可获取的面部特征mask对所述目标人脸图像进行面部特征聚焦和识别，以得到所述目标人脸图像中可获取的面部特征的属性类型。
17.根据权利要求15或16所述的装置，其特征在于，所述不同类别的面部特征的属性类型之间的关联关系通过贝叶斯网络模型记录；
所述部署单元，具体用于根据所述目标人脸图像中可获取的面部特征的属性类型，以及所述贝叶斯网络模型，确定所述目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率；将后验概率最大的属性类型确定为所述目标人脸图像中不可获取的部分面部特征的属性类型。
18.根据权利要求17所述的装置，其特征在于，
所述部署单元，具体用于基于所述贝叶斯网络模型和所述目标人脸图像中可获取的面部特征的属性类型，利用马尔可夫链蒙特卡罗采样算法，确定所述目标人脸图像中不可获取的部分面部特征的各属性类型的后验概率。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法。
CN201811565629.5A 2018-12-20 2018-12-20 一种人脸图像恢复方法、装置及可读存储介质 Active CN111353943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811565629.5A CN111353943B (zh) 2018-12-20 2018-12-20 一种人脸图像恢复方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811565629.5A CN111353943B (zh) 2018-12-20 2018-12-20 一种人脸图像恢复方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN111353943A true CN111353943A (zh) 2020-06-30
CN111353943B CN111353943B (zh) 2023-12-26

Family

ID=71193737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811565629.5A Active CN111353943B (zh) 2018-12-20 2018-12-20 一种人脸图像恢复方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN111353943B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222830A (zh) * 2021-03-05 2021-08-06 北京字跳网络技术有限公司 图像处理方法和装置

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040085503A (ko) * 2003-03-31 2004-10-08 이성환 얼굴영상 복원장치 및 방법
CN1936925A (zh) * 2006-10-12 2007-03-28 上海交通大学 用贝叶斯网络分类器图像判别特征点位置的方法
CN101430760A (zh) * 2008-11-18 2009-05-13 北方工业大学 基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法
CN102354397A (zh) * 2011-09-19 2012-02-15 大连理工大学 基于面部特征器官相似性的人脸图像超分辨率重建方法
JP2013195725A (ja) * 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 画像表示システム
US20140156231A1 (en) * 2012-11-30 2014-06-05 Xerox Corporation Probabilistic relational data analysis
US20150205997A1 (en) * 2012-06-25 2015-07-23 Nokia Corporation Method, apparatus and computer program product for human-face features extraction
US20150279113A1 (en) * 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
WO2016020921A1 (en) * 2014-08-04 2016-02-11 Pebbles Ltd. Method and system for reconstructing obstructed face portions for virtual reality environment
US20160070956A1 (en) * 2014-09-05 2016-03-10 Huawei Technologies Co., Ltd. Method and Apparatus for Generating Facial Feature Verification Model
US9336433B1 (en) * 2013-07-24 2016-05-10 University Of Central Florida Research Foundation, Inc. Video face recognition
CN106326857A (zh) * 2016-08-19 2017-01-11 乐视控股（北京）有限公司 基于人脸图像的性别识别方法及装置
CN106407912A (zh) * 2016-08-31 2017-02-15 腾讯科技（深圳）有限公司 一种人脸验证的方法及装置
CN106447625A (zh) * 2016-09-05 2017-02-22 北京中科奥森数据科技有限公司 基于人脸图像序列的属性识别方法及装置
CN107066955A (zh) * 2017-03-24 2017-08-18 武汉神目信息技术有限公司 一种从局部人脸区域还原整张人脸的方法
CN107729844A (zh) * 2017-10-19 2018-02-23 贵阳宏益房地产开发有限公司 人脸属性识别方法及装置
WO2018054283A1 (zh) * 2016-09-23 2018-03-29 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
US20180137678A1 (en) * 2016-11-11 2018-05-17 Magic Leap, Inc. Periocular and audio synthesis of a full face image
WO2018099405A1 (zh) * 2016-11-30 2018-06-07 京东方科技集团股份有限公司 人脸分辨率重建方法、重建系统和可读介质
CN108229683A (zh) * 2016-12-22 2018-06-29 上海谦问万答吧云计算科技有限公司 一种基于irt的信息处理方法及装置
CN108536971A (zh) * 2018-04-13 2018-09-14 广州市建筑科学研究院有限公司 一种基于贝叶斯模型的结构损伤识别方法
CN108629753A (zh) * 2018-05-22 2018-10-09 广州洪森科技有限公司 一种基于循环神经网络的人脸图像恢复方法及装置
CN108986041A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种图像恢复方法、装置、电子设备及可读存储介质

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040085503A (ko) * 2003-03-31 2004-10-08 이성환 얼굴영상 복원장치 및 방법
CN1936925A (zh) * 2006-10-12 2007-03-28 上海交通大学 用贝叶斯网络分类器图像判别特征点位置的方法
CN101430760A (zh) * 2008-11-18 2009-05-13 北方工业大学 基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法
CN102354397A (zh) * 2011-09-19 2012-02-15 大连理工大学 基于面部特征器官相似性的人脸图像超分辨率重建方法
JP2013195725A (ja) * 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 画像表示システム
US20150205997A1 (en) * 2012-06-25 2015-07-23 Nokia Corporation Method, apparatus and computer program product for human-face features extraction
US20140156231A1 (en) * 2012-11-30 2014-06-05 Xerox Corporation Probabilistic relational data analysis
US9336433B1 (en) * 2013-07-24 2016-05-10 University Of Central Florida Research Foundation, Inc. Video face recognition
US20150279113A1 (en) * 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
WO2016020921A1 (en) * 2014-08-04 2016-02-11 Pebbles Ltd. Method and system for reconstructing obstructed face portions for virtual reality environment
US20160070956A1 (en) * 2014-09-05 2016-03-10 Huawei Technologies Co., Ltd. Method and Apparatus for Generating Facial Feature Verification Model
CN106326857A (zh) * 2016-08-19 2017-01-11 乐视控股（北京）有限公司 基于人脸图像的性别识别方法及装置
CN106407912A (zh) * 2016-08-31 2017-02-15 腾讯科技（深圳）有限公司 一种人脸验证的方法及装置
CN106447625A (zh) * 2016-09-05 2017-02-22 北京中科奥森数据科技有限公司 基于人脸图像序列的属性识别方法及装置
WO2018054283A1 (zh) * 2016-09-23 2018-03-29 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
US20180137678A1 (en) * 2016-11-11 2018-05-17 Magic Leap, Inc. Periocular and audio synthesis of a full face image
WO2018099405A1 (zh) * 2016-11-30 2018-06-07 京东方科技集团股份有限公司 人脸分辨率重建方法、重建系统和可读介质
CN108229683A (zh) * 2016-12-22 2018-06-29 上海谦问万答吧云计算科技有限公司 一种基于irt的信息处理方法及装置
CN107066955A (zh) * 2017-03-24 2017-08-18 武汉神目信息技术有限公司 一种从局部人脸区域还原整张人脸的方法
CN107729844A (zh) * 2017-10-19 2018-02-23 贵阳宏益房地产开发有限公司 人脸属性识别方法及装置
CN108536971A (zh) * 2018-04-13 2018-09-14 广州市建筑科学研究院有限公司 一种基于贝叶斯模型的结构损伤识别方法
CN108629753A (zh) * 2018-05-22 2018-10-09 广州洪森科技有限公司 一种基于循环神经网络的人脸图像恢复方法及装置
CN108986041A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种图像恢复方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王春茂等: "深度学习在人脸识别和安防大数据中的应用", 中国安防 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222830A (zh) * 2021-03-05 2021-08-06 北京字跳网络技术有限公司 图像处理方法和装置
CN113222830B (zh) * 2021-03-05 2024-10-15 北京字跳网络技术有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
CN111353943B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
JP6411510B2 (ja) 無制約の媒体内の顔を識別するシステムおよび方法
JP4755202B2 (ja) 顔特徴の検出方法
JP5025893B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
KR100647322B1 (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
CN110111316B (zh) 基于眼部图像识别弱视的方法及系统
US8731238B2 (en) Multiple view face tracking
CN107992807B (zh) 一种基于cnn模型的人脸识别方法及装置
CN107679469B (zh) 一种基于深度学习的非极大值抑制方法
CN111967592B (zh) 基于分离正负扰动生成对抗图像机器识别的方法
JP6924031B2 (ja) オブジェクト検出装置及びこれらのプログラム
CN107944398A (zh) 基于深度特征联合表示图像集人脸识别方法、装置和介质
WO2021139167A1 (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111241928B (zh) 人脸识别底库优化方法、系统、设备、可读存储介质
CN111027347A (zh) 一种视频识别方法、装置和计算机设备
WO2020172870A1 (zh) 一种目标对象的移动轨迹确定方法和装置
CN111723852B (zh) 针对目标检测网络的鲁棒训练方法
CN112884802A (zh) 一种基于生成的对抗攻击方法
CN110969642B (zh) 视频过滤方法、装置、电子设备及存储介质
CN115731445A (zh) 学习方法、信息处理装置、记录有学习程序的记录介质
JP2015204030A (ja) 認識装置及び認識方法
KR20060063599A (ko) 사용자 인식 시스템 및 그 방법
CN111666976A (zh) 基于属性信息的特征融合方法、装置和存储介质
CN112926496B (zh) 用于预测图像清晰度的神经网络、训练方法及预测方法
JP2011181016A (ja) 判別器生成装置および方法並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant