CN109558836A - 一种人脸图像的处理方法及相关设备 - Google Patents

一种人脸图像的处理方法及相关设备 Download PDF

Info

Publication number
CN109558836A
CN109558836A CN201811435968.1A CN201811435968A CN109558836A CN 109558836 A CN109558836 A CN 109558836A CN 201811435968 A CN201811435968 A CN 201811435968A CN 109558836 A CN109558836 A CN 109558836A
Authority
CN
China
Prior art keywords
image
facial
facial image
pixel
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811435968.1A
Other languages
English (en)
Other versions
CN109558836B (zh
Inventor
夏轩
于峰崎
朱红梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811435968.1A priority Critical patent/CN109558836B/zh
Publication of CN109558836A publication Critical patent/CN109558836A/zh
Application granted granted Critical
Publication of CN109558836B publication Critical patent/CN109558836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸图像的处理方法及相关设备，包括：首先获取第一图像集合和第二图像集合，第一图像集合包括多张真实人脸图像，第二图像集合包括多张像素人脸图像；接着随机生成语义信息向量；然后将第一图像集合中的多张真实人脸图像、第二图像集合中的多张像素人脸图像以及语义信息向量输入待训练模型进行训练，得到图像像素化模型；最后根据图像像素化模型，对待识别的第一人脸图像进行处理得到第一人脸图像的显示图像，该显示图像用于对第一人脸图像中的目标人脸进行现实增强。采用本申请实施例，可以提升人脸图像像素化的效果、提高人脸图像的识别度。

Description

一种人脸图像的处理方法及相关设备
技术领域
本申请涉及人工智能领域和仿生视觉领域，尤其涉及一种人脸图像的处理及相关设备。
背景技术
目前，人工视网膜成像图像的像素普遍处于1000+以下，并且受制于现有的电极制造、能量传输、植入体封装技术水平和安全性等方面的原因，仿生视觉假体成像像素仍难以发生飞跃性提升。仿生视觉假体图像的低像素将会导致图像信息的大量丢失，从而造成使用者难以正确辨认人脸表情和人物身份。针对该问题，现有技术采用先对获取到的人脸图像进行图像信息预校正再进行图像信息简化和增强的应对方法，然而这种方法无法实现特定目标的图像信息简化与增强，更不能得到特定的人脸信息。除此之外，现有技术还提供了将人脸进行漫画夸张以提高低分辨率人工视网膜下的人脸识别率的方案，但目前缺乏通用的、效果较好的人脸漫画化的工具和方法。现有技术还提出了使用图像意义识别模块来识别图像中的意义，并设计单独的几个像素作为指示灯来表示不同的人脸的设想，但目前还没有给出意义识别模块的实现方法，而且指示灯可表示的人脸特征信息极其有限，无法满足不同表情、不同年龄和不同性别的人脸识别要求。
发明内容
本申请实施例提供一种人脸图像的处理方法及相关设备。可以提升人脸图像像素化的效果、提高人脸图像的识别度。
本申请实施例第一方面提供了一种人脸图像的处理方法，包括：
获取第一图像集合和第二图像集合，所述第一图像集合包括多张真实人脸图像，所述第二图像集合包括多张像素人脸图像；
随机生成语义信息向量；
将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入待训练模型进行训练，得到图像像素化模型；
根据所述图像像素化模型，对待识别的第一人脸图像进行处理得到所述第一人脸图像的显示图像，所述显示图像用于对所述第一人脸图像中的目标人脸进行现实增强。
其中，所述根据所述图像像素化模型，对待识别的第一人脸图像进行处理得到所述第一人脸图像的显示图像包括：
确定所述第一人脸图像中的所述目标人脸；
从所述第一人脸图像中裁剪出包含所述目标人脸的第二人脸图像；
将所述第二人脸图像输入所述图像像素化模型得到所述第二人脸图像对应的像素人脸图像；
将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像。
其中，所述将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息输入待训练模型进行训练，得到图像像素化模型包括：
将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入第一待训练模型进行训练，得到图像生成模块和图像判别模块，所述图像判别模块中包括真实人脸图像判别单元和像素人脸图像判别单元；
将所述语义信息向量输入第二待训练模型进行训练，得到图像编码模块，所述第二待训练模型中包括所述图像生成模块、所述真实人脸图像判别单元和所述像素人脸图像判别单元；
根据所述图像生成模块和所述图像编码模块，确定所述图像像素化模型。
其中，所述图像编码模块包括真实人脸图像编码单元，所述真实人脸图像编码单元用于获取所述目标人脸的语义信息向量；
所述图像生成模块包括像素人脸图像生成单元，所述像素人脸图像生成单元用于根据所述目标人脸的语义信息向量生成所述第二人脸图像对应的像素人脸图像；
所述根据所述图像生成模块和所述图像编码模块，确定所述图像像素化模型包括：
将所述真实人脸图像编码单元和所述像素人脸图像生成单元进行组合得到所述图像像素化模型。
其中，所述确定所述第一人脸图像中的所述目标人脸包括：
将所述第一人脸图像中尺寸大于预设阈值的人脸作为所述目标人脸。
其中，所述将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像包括：
获取所述第二人脸图像在所述第一人脸图像中的位置信息；
根据所述位置信息，将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像。
其中，所述将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像之前，还包括：
对所述第一人脸图像进行降采样。
其中，所述确定所述第一人脸图像中的所述目标人脸之前，还包括：
对所述第一人脸图像进行图像增强。
相应地，本申请实施例第二方面提供了一种人脸图像的处理装置，包括：
样本采集模块，用于获取第一图像集合和第二图像集合，所述第一图像集合包括多张真实人脸图像，所述第二图像集合包括多张像素人脸图像；
模型训练模块，用于随机生成语义信息向量；
所述模型训练模块，还用于将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入待训练模型进行训练，得到图像像素化模型；
图像处理模块，用于根据所述图像像素化模型，对待识别的第一人脸图像进行处理得到所述第一人脸图像的显示图像，所述显示图像用于对所述第一人脸图像中的目标人脸进行现实增强。
其中，所述图像处理模块还用于：
确定所述第一人脸图像中的所述目标人脸；
从所述第一人脸图像中裁剪出包含所述目标人脸的第二人脸图像；
将所述第二人脸图像输入所述图像像素化模型得到所述第二人脸图像对应的像素人脸图像；
将所述第一人脸图像和所述第二人脸图像对应的像素人脸图像进行合并得到所述显示图像。
其中，所述模型训练模块还用于：
将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入第一待训练模型进行训练，得到图像生成模块和图像判别模块，所述图像判别模块中包括真实人脸图像判别单元和像素人脸图像判别单元；
将所述语义信息向量输入第二待训练模型进行训练，得到图像编码模块，所述第二待训练模型中包括所述图像生成模块、所述真实人脸图像判别单元和所述像素人脸图像判别单元；
根据所述图像生成模块和所述图像编码模块，确定所述图像像素化模型。
其中，所述图像编码模块包括真实人脸图像编码单元，所述真实人脸图像编码单元用于获取所述目标人脸的语义信息向量；
所述图像生成模块包括像素人脸图像生成单元，所述像素人脸图像生成单元用于根据所述目标人脸的语义信息向量生成所述第二人脸图像对应的像素人脸图像；
所述模型训练模块，还用于：
将所述真实人脸图像编码单元和所述像素人脸图像生成单元进行组合得到所述图像像素化模型。
其中，所述图像处理模块还用于：
将所述第一人脸图像中尺寸大于预设阈值的人脸作为所述目标人脸。
其中，所述图像处理模块还用于：
获取所述第二人脸图像在所述第一人脸图像中的位置信息；
根据所述位置信息，合并所述第二人脸图像对应的像素人脸图像和所述第一人脸图像。
其中，所述图像处理模块还用于：
对所述第一人脸图像进行降采样；和/或
对所述第一人脸图像进行图像增强。
本申请实施例第三方面公开了一种电子设备，包括：处理器、存储器、通信接口和总线；
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行本申请实施例第一方面公开的一种人脸图像的处理方法中的操作。
相应地，本申请提供了一种存储介质，其中，所述存储介质用于存储应用程序，所述应用程序用于在运行时执行本申请实施例第一方面公开的一种人脸图像的处理方法。
相应地，本申请提供了一种应用程序，其中，所述应用程序用于在运行时执行本申请实施例第一方面公开的一种人脸图像的处理方法。
实施本申请实施例，首先获取第一图像集合和第二图像集合，第一图像集合包括多张真实人脸图像，第二图像集合包括多张像素人脸图像；接着随机生成语义信息向量；然后将多张真实人脸图像、多张像素人脸图像以及语义信息向量输入待训练模型进行训练，得到图像像素化模型；最后根据图像像素化模型，对待识别的第一人脸图像进行处理得到第一人脸图像的显示图像，其中，可以将图像像素化模型输出的第一人脸图像对应的像素人脸图像与第一人脸图像合并作为显示图像。在该显示图像中第一人脸图像中的目标人脸得到了现实增强，因此后续在其他设备或场景中可以基于显示图像对第一人脸图像中的目标人脸进行识别。其中，通过对人脸图像进行像素化处理解决了因有效像素低导致的难以表达人脸信息的问题，并且在对人脸图像进行像素化处理的过程中充分保留了表情、性别和发型等人脸语义信息，进一步提升了图像像素化模型的像素化的效果和人脸的现实增强的效果，从而提升人脸图像的识别度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种人脸图像的处理方法的流程示意图；
图2是本申请实施例提供的一种训练样本图像的集合示意图；
图3是本申请实施例提供的一种图像判别模块和图像生成模块的训练流程示意图；
图4是本申请实施例提供的一种图像编码模块的训练过程的示意图；
图5是本申请实施例提供的一种图像像素化模型的结构示意图；
图6是本申请实施例提供的另一种人脸图像的处理方法的流程示意图；
图7是本申请实施例提供的一种图像合并的流程示意图；
图8是本申请实施例提供的一种人脸图像的处理装置的结构示意图；
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1是本申请实施例提供的一种人脸图像的处理方法的流程示意图。如图所示，本申请实施例中的方法包括：
S101，获取第一图像集合和第二图像集合，所述第一图像集合包括多张真实人脸图像，所述第二图像集合包括多张像素人脸图像。
具体实现中，真实人脸图像可以是利用手机、照相机等设备拍摄的真实人脸的成像图像。像素人脸图像可以是计算机合成的用于形象的表示人脸的图像。例如，图2所示，第一图像集合中可以包括不同年龄、不同性别和不同表情的多张真实人脸图像。相应地，第二图像集合中可以包括不同年龄、不同性别和不同表情的多张像素人脸图像。其中，可以将第一图像集合和第二图像集合中真实人脸图像和像素人脸图像分别记为xf-real和xp-real。
S102，随机生成语义信息向量。
具体实现中，语义信息向量(记为z)可以为N维的随机向量，N为100、50等任意整数。其中，可以按照截断的标准正态分布随机生成z中的数据。需要说明的是，针对本申请实施例所采用的非监督学习方法，待训练模型在学习过程中将逐渐对z中每个维度的数据赋予意义，在随机生成z的过程中并不指定任意数据的实际意义。例如，待训练模型训练完成后，z中第一维数据可以表示年龄、第二维数据可以表示性别、第三维数据可以表示表情。可以看到，每个维度的数据被赋予的意义均表示人脸的一项语义信息，因此将z称为语义信息向量。
S103，将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入待训练模型进行训练，得到图像像素化模型。
具体实现中，可以将多张真实人脸图像、多张像素人脸图像以及随机生成的语义信息向量z输入第一待训练模型进行训练，得到图像生成模块G和图像判别模块D。其中，G中包括真实人脸图像生成部分Gf、像素人脸图像生成部分Gp以及权值共享部分Gshare。D中包括真实人脸图像判别部分Df、像素人脸图像判别部分Dp以及权值共享部分Dshare。
第一待训练模型的具体结构和训练过程如图3所示。具体包括以下几个操作步骤：
(1)将z输入Gshare中，Gshare可以通过反卷积运算将z变换为四维张量g＝[B,16,16,C]。其中，B为z的批大小，C为通道数。其中，可以根据训练时模型的收敛情况对B进行动态调整，而C的大小则可以根据模型复杂度的要求进行调整。接着，Gf通过反卷积运算将g变换为真实人脸图像xf-fake，Gp通过反卷积运算将g变换为像素人脸图像xp-fake。因此，可以将Gp和Gshare的组合作为G中的像素人脸图像生成单元、以及将Gf和Gshare的组合作为G中的真实人脸图像生成单元。其中，xf-fake的图像尺寸可以但不限于为50*46，xp-fake的图像尺寸可以但不限于为25*23。
需要说明的是，第一图像集合中的真实人脸图像和第二图像集合中的像素人脸图像的大小也是受限的，其中，可以但不限于将第一图像集合中的真实人脸图像的尺寸限定为48*48、以及将第二图像集合中的像素人脸图像的尺寸限定为25*23。
(3)将xf-fake和xp-fake分别输入Df和Dp中，以及将xf-real和xp-real分别输入Df和Dp中。其中，Df和Dp可以将输入其中每张图片与卷积核进行卷积得到每张图片对应的四维张量d＝[B,16,16,C]。然后Dshare通过对每张图片对应的d进行卷积运算和逻辑回归运算，将d转换成长度为1的向量r。r用于判别输入D中的图片是来自第一图像集合和第二图像集合中的真实采集到的图像(r＝1)，还是G根据z伪造的图像(r＝0)。
在上述过程中可以看出，G与D将形成对抗关系：G不断伪造图像xf-fake和xp-fake，试图欺骗D，使D将xf-fake和xp-fake判别为真实图像；D则试图区分xf-real、xp-real和xf-fake、xp-fake，将前者判别为真实图像，将后者判别为伪造图像。因此，针对第一待训练模型进行训练的目标函数如(2)式所示。
其中，E表示求数学期望。因此，可以选择合适的超参数(超参数是在开始训练之前设置的参数)，并利用梯度下降法对第一待训练模型进行训练。随着(2)式的收敛，G伪造的图像xf-fake和xp-fake将越来越接近真实的图像xf-real和xp-real。并且本申请实施例中的方法设置了权值共享部分Gshare用来保证xf-fake和xp-fake具有相同的语义信息。也就是说，在训练完成后，即(2)式的收敛程度满足一定条件后，将一个z输入G，G就可以生成一对真实人脸图像和像素人脸图像，并且它们具有相同的性别和表情、以及相似的容貌。
在得到G和D后，可以随机生成语义信息向量z输入第二待训练模型得到图像编码模块E。如图4所示，在第二待训练模型中包括训练好的图像生成模块G、训练好的D中的Df和Dp、以及权值共享部分Eshare。其中，Df、Dp和Eshare共同组成了E。在第二待训练模型的训练过程，可以首先在G中根据输入的z生成一对性别和表情相同、容貌相似的真实人脸图像xf-fake和像素人脸图像xp-fake；接着将分别利用Df和Dp生成xf-fake对应的四维张量d1和xp-fake对应的四维张量d2；然后Eshare对d1和d2进行卷积，将其分别变换为z1′和z2′，其中，z1′和z2′与z的维度相同。其中，可以将Df和Eshare的组合作为E中的真实人脸图像编码单元，将Dp和Eshare的组合作为E中的像素人脸图像编码单元。
针对第二待训练模型进行训练的目的是训练E，以使得E可以对输入其中的图像进行编码得到该图像的语义信息向量，从而使得E能够将G通过z生成图像重新还原为z。因此。针对第二待训练模型进行训练的目标函数如(3)式所示。
其中，可以选择合适的超参数，并利用梯度下降法对第二待训练模型进行训练，直到(3)式的收敛程度满足预设条件。
最后，如图5所示，可以将真实人脸图像编码单元(Df+Eshare)和像素人脸图像生成单元(Gp+Gshare)进行组合得到图像像素化模型(Y)，Y满足如(4)式所示的非线性映射关系。其中，将任意真实人脸图像xf输入Y中就可得到对应的像素人脸图像xp。
Y:xp＝Gp(Gshare(Eshare(Df(xf))))) (4)
S104，根据所述图像像素化模型，对待识别的第一人脸图像进行处理得到所述第一人脸图像的显示图像，所述显示图像用于对所述第一人脸图像中的目标人脸进行现实增强。
具体实现中，本申请实施例中的执行主体可以是人工视网膜或其他电子设备，其中，待识别的第一人脸图像可以是人工视网膜或其他电子设备自行拍摄的真实人脸图像、或接收到其他设备输入的真实人脸图像。人工视网膜或其他电子设备可以调取训练好的图像像素化模型对待识别的人脸图像进行像素化处理，以便得到该人脸图像的显示图像，该显示图像相比与处理之前的待识别的人脸图像，人脸的识别度得到了提高。在得到该显示图像后，还可以将该显示图像传输给其他设备进行人脸识别，当执行主体为人工视网膜时，人工视网膜可以接着将该显示图像传输到眼球内的电极阵列，对使用者的视网膜神经进行刺激以使用者看到该图像，相比于上述第一人脸图像，该显示图像可以帮助使用者进行更加准确地辨认人脸，如辨认人物的表情、发型和性别等。
在本申请实施例中，首先获取第一图像集合和第二图像集合，第一图像集合包括多张真实人脸图像，第二图像集合包括多张像素人脸图像；接着随机生成语义信息向量；然后将多张真实人脸图像、多张像素人脸图像以及语义信息向量输入待训练模型进行训练，得到图像像素化模型；最后根据图像像素化模型，对待识别的第一人脸图像进行处理得到第一人脸图像的显示图像，显示图像用于后续在其他设备或场景中对第一人脸图像中的目标人脸进行识别。通过对人脸图像进行像素化处理解决了因有效像素低导致的难以表达人脸信息的问题，并且在对人脸图像进行像素化处理的过程中充分保留了表情、性别、年龄和发型等人脸语义信息，进一步提升了人脸像素化的效果，从而可以提升人脸图像的识别度。
请参考图6，图6是本申请实施例提供的另一种人脸图像的处理方法的流程示意图。如图所示，本申请实施例中的方法包括：
S601，获取第一图像集合和第二图像集合，第一图像集合包括多张真实人脸图像，第二图像集合包括多张像素人脸图像。本步骤与上一实施例中的步骤S101相同，本步骤不再赘述。
S602，随机生成语义信息向量。本步骤与上一实施例中的步骤S102相同，本步骤不再赘述。
S603，将第一图像集合中的多张真实人脸图像和第二图像集合中的多张像素人脸图像、以及语义信息向量输入待训练模型进行训练，得到图像像素化模型。本步骤与上一实施例中的步骤S103相同，本步骤不再赘述。
S604，从待识别的第一人脸图像中裁剪出包含目标人脸的第二人脸图像。
具体实现中，本申请实施例的执行主体可以是人工视网膜或其他电子设备，其中，待识别的第一人脸图像可以是人工视网膜或其他电子设备自行拍摄的真实人脸图像、或接收到其他设备输入的真实人脸图像。其中，可以首先利用目标检测算法对第一人脸图像中包含的一张或多张人脸进行检测，并将尺寸大于预设阈值的人脸作为第一人脸图像中的目标人脸，若不存在尺寸大于预设阈值的人脸，则无需对第一人脸图像进行裁剪和像素化处理。其中，目标检测算法包括但不限于Adaboost算法、神经网络算法和支撑向量机算法。为了提高目标检测效果，在进行目标检测之前还可以对第一人脸图像进行图像增强，如滤波去噪、灰度化和直方图均衡等。在裁剪出第二人脸图像之后，对第二人脸图像在第一人脸图像中的位置信息进行记录。其中，位置信息可以但不限于为第二人脸图像左上角第一个像素点的坐标P(n,m)。
例如：在人工视网膜中，体外相机拍摄到的真实人脸图像x的尺寸为W*H，图像像素化模型输出的像素化人脸图像xp的尺寸为w*h，并且人工视网膜的分辨率为W′*H′，则选择x中尺寸宽度大于W*w/W′，高度大于H*w/H′的人脸作为x中的目标人脸。
S605，将第二人脸图像输入图像像素化模型得到第二人脸图像对应的像素人脸图像。
S606，将第二人脸图像对应的像素人脸图像和第一人脸图像进行合并得到第一人脸图像的显示图像。
具体实现中，可以首先获取第二人脸图像xf在第一人脸图像x中的位置信息，其中，该位置信息可以是在裁剪第二人脸图像时记录的P(n,m)。然后根据位置信息，合并第一人脸图像和第二人脸图像对应的像素人脸图像xp。
具体地，可以首先对x进行降采样，得到降采样图像x′，其中，可以先按照一定的速率降低正常采样率，再按照降低后的正常采样率对x进行采样。而在人工视网膜假体中，可以直接按照人工视网膜假体的分辨率对x进行降采样。其次根据P(n,m)确定xp在x′中的位置信息为P′(n′,m′)＝(n*W′/W,m*H′/H)。接着计算x′中目标人脸所在区域的所有像素点的平均像素值，并将该区域的每个像素点的值替换为平均像素值。然后根据P′，将xp合并到x′中。若xp中以黑色像素为有效像素(黑色像素的RGB值0，白色像素的RGB值为255)，则可以根据(5)式合并x′和xp，其中x′(n′+n,m′+m)表示x′中坐标为(n′+n,m′+m)的像素点的像素值，xp(n,m)表示xp中坐标为(n,m)的像素点的像素值。
为了取得更好的图像显示效果，可以对x′使用反相效果。相应地，可以根据(6)式合并x′和xp。
例如：如图7所示，首先对人脸图像x降采样，降采样后人脸变得十分模糊，表情与身份均难以辨认；接着将从x裁剪出来的人脸图像xf输入图像像素化模型得到像素人脸图像xp；然后将xp合并入x′，得到显示图像y。如图所示，在y中人脸被像素化显示，且保留了表情与身份信息，从而提高了人脸的识别度。因此，在得到显示图像后还可以将该显示图像传输给其他设备进行人脸识别，或者在人工视网膜中也可以显示该显示图像以帮助使用者进行人脸识别，如辨认人物的表情、身份和容貌等。
在本申请实施例中，首先获取第一图像集合和第二图像集合，第一图像集合包括多张真实人脸图像，第二图像集合包括多张像素人脸图像；接着随机生成语义信息向量；然后将多张真实人脸图像、多张像素人脸图像以及语义信息向量输入待训练模型进行训练，得到图像像素化模型；最后根据图像像素化模型，对待识别的第一人脸图像进行处理得到第一人脸图像的显示图像，显示图像用于后续在其他设备或场景中对第一人脸图像中的目标人脸进行现实增强。通过对人脸图像进行像素化处理解决了因有效像素低导致的难以表达人脸信息的问题，并且在对人脸图像进行像素化处理的过程中充分保留了表情、性别、年龄和发型等人脸语义信息，进一步提升了人脸像素化的效果，从而可以提升人脸图像的识别度。
请参考图8，图8是本申请实施例提供的一种人脸图像的处理装置的结构示意图。如图所示，本申请实施例中的装置包括：
样本采集模块801，用于获取第一图像集合和第二图像集合，所述第一图像集合包括多张真实人脸图像，所述第二图像集合包括多张像素人脸图像。
具体实现中，真实人脸图像可以是利用手机、照相机等设备拍摄的人脸的成像图像。像素人脸图像可以是计算机合成的用于形象的表示人脸的图像。例如，图2所示，第一图像集合中可以包括不同年龄、不同性别和不同表情的多张真实人脸图像。相应地，第二图像集合中可以包括不同年龄、不同性别和不同表情的多张像素人脸图像。其中，可以将第一图像集合和第二图像集合中真实人脸图像和像素人脸图像分别记为xf-real和xp-real。
模型训练模块802，用于随机生成语义信息向量。
具体实现中，语义信息向量z可以为N维的随机向量，N为100、50等任意整数。其中，可以按照截断的标准正态分布随机生成量z中的数据。
模型训练模块802，还用于将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入待训练模型进行训练，得到图像像素化模型。
具体实现中，可以将多张真实人脸图像、多张像素人脸图像以及语义信息向量输入第一待训练模型进行训练，得到图像生成模块G和图像判别模块D。其中，G中包括真实人脸图像生成部分Gf、像素人脸图像生成部分Gp以及权值共享部分Gshare。D中包括真实人脸图像判别部分Df、像素人脸图像判别部分Dp以及权值共享部分Dshare。
第一待训练模型的具体结构和训练过程如图3所示。其中，具体包括以下几个操作步骤：
(1)将z输入Gshare中，Gshare可以通过反卷积运算将z变换为四维张量g＝[B,16,16,C]。其中，B为z的批大小，C为通道数。其中，可以根据训练时模型的收敛情况对B进行动态调整，而C的大小则可以根据模型复杂度的要求进行调整。接着，Gf通过反卷积运算将g变换为真实人脸图像xf-fake，Gp通过反卷积运算将g变换为像素人脸图像xp-fake。因此，可以将Gp和Gshare的组合作为G中的像素人脸图像生成单元、以及将Gf和Gshare的组合作为G中的真实人脸图像生成单元。其中，xf-fake的图像尺寸可以但不限于为50*46，xp-fake的图像尺寸可以但不限于为25*23。
需要说明的是，第一图像集合中的真实人脸图像和第二图像集合中的像素人脸图像的大小也是受限的，其中，可以但不限于将第一图像集合中的真实人脸图像的尺寸限定为48*48、以及将第二图像集合中的像素人脸图像的尺寸限定为25*23。
(3)将xf-fake和xp-fake分别输入Df和Dp中，以及将xf-real和xp-real分别输入Df和Dp中。其中，Df和Dp可以将输入其中每张图片与卷积核进行卷积得到每张图片对应的四维张量d＝[B,16,16,C]。然后Dshare通过对每张图片对应的d进行卷积运算和逻辑回归运算，将d转换成长度为1的向量r。r用于判别输入D中的图片是来自第一图像集合和第二图像集合中的真实采集到的图像(r＝1)，还是G根据z伪造的图像(r＝0)。
在上述过程中可以看出，G与D将形成对抗关系：G不断伪造图像xf-fake和xp-fake，试图欺骗D，使D将xf-fake和xp-fake判别为真实图像；D则试图区分xf-real、xp-real和xf-fake、xp-fake，将前者判别为真实图像，将后者判别为伪造图像。因此，针对第一待训练模型进行训练的目标函数如(2)式所示。
其中，可以选择合适的超参数(超参数是在开始训练之前设置的参数)，并利用梯度下降法对第一待训练模型进行训练。随着(2)式的收敛，G生成的伪造的图像xf-fake和xp-fake将越来越接近真实的图像xf-real和xp-real。并且本申请实施例中的方法设置了权值共享部分Gshare用来保证xf-fake和xp-fake具有相同的语义信息。也就是说，在训练完成后，即(2)式的收敛程度满足一定条件后，将一个z输入G，G就可以伪造一对相似的真实人脸图像和像素人脸图像，并且它们具有相同的性别和表情、以及相似的容貌。
在得到G和D后，可以随机生成语义信息向量z输入第二待训练模型得到图像编码模块E。如图4所示，在第二待训练模型中包括训练好的图像生成模块G、训练好的D中的Df和Dp、以及权值共享部分Eshare，其中，Df、Dp和Eshare共同组成了E。在第二待训练模型的训练过程，可以首先在G中根据输入的z生成一对性别和表情相同、容貌相似的真实人脸图像xf-fake和像素人脸图像xp-fake；接着将分别利用Df和Dp生成真实人脸图像xf-fake对应的四维张量d1和像素人脸图像xp-fake对应的四维张量d2；然后Eshare对d1和d2进行卷积，将其分别变换为z1′和z2′，其中，z1′和z2′与z的维度相同。其中，可以将Df和Eshare的组合作为E中的真实人脸图像编码单元，将Dp和Eshare的组合作为E中的像素人脸图像编码单元。
针对第二待训练模型进行训练的目的是训练E，以使E可以对输入其中的图像进行编码得到该图像的语义信息向量，从而使得E能够将G通过z生成图像重新还原为z。因此。针对第二待训练模型进行训练的目标函数如(3)式所示。其中，可以选择是合适的超参数，并利用梯度下降法对第二待训练模型进行训练，直到(3)式的收敛程度满足预设条件。
最后，如图5所示，可以将真实人脸图像编码单元和像素人脸图像生成单元进行组合得到图像像素化模型(Y)，Y满足如(4)式所示的非线性映射关系。其中，将任意真实人脸图像xo输入Y中就可得到对应的像素人脸图像xp。
图像处理模块803，用于根据所述图像像素化模型，对待识别的第一人脸图像进行处理得到所述第一人脸图像的显示图像，所述显示图像用于对所述第一人脸图像中的目标人脸进行现实增强。
具体实现中，待识别的第一人脸图像可以是人工视网膜或其他电子设备自行拍摄的真实人脸图像、或接收到其他设备输入的真实人脸图像。其中，可以首先利用目标检测算法对第一人脸图像中包含的一张或多张人脸进行检测，并将尺寸大于预设阈值的人脸作为第一人脸图像中的目标人脸，若不存在尺寸大于预设阈值的人脸，则无需对第一人脸图像进行裁剪和像素化处理。其中，目标检测算法包括但不限于Adaboost算法、神经网络算法和支撑向量机算法。为了提高目标检测效果，在进行目标检测之前还可以对第一人脸图像进行图像增强，如滤波去噪、灰度化和直方图均衡等。在裁剪出第二人脸图像之后，对第二人脸图像在第一人脸图像中的位置信息进行记录。其中，位置信息可以但不限于为第二人脸图像左上角第一个像素点的坐标P(n,m)。
接着，将第二人脸图像输入图像像素化模型，以便得到第二人脸图像对应的像素人脸图像。
然后，将第二人脸图像对应的像素人脸图像和第一人脸图像进行合并得到第一人脸图像的显示图像。具体的，可以首先获取第二人脸图像xf在第一人脸图像x中的位置信息，其中，该位置信息可以是在裁剪第二人脸图像时记录的P(n,m)。然后根据位置信息，合并第一人脸图像和第二人脸图像对应的像素人脸图像xp。其中，可以首先对x进行降采样，得到降采样图像x′，并根据P(n,m)确定xp在x′中的位置信息为P′(n′,m′)＝(n*W′/W,m*H′/H)。接着计算x′中目标人脸所在区域的所有像素点的平均像素值，并将该区域的每个像素点的值替换为平均像素值。最后根据P′，将xp合并到x′中。若xp中以黑色像素为有效像素(黑色像素的RGB值0，白色像素的RGB值为255)，则可以根据(5)式合并x′和xp，其中x′(n′+n,m′+m)表示x′中坐标为(n′+n,m′+m)的像素点的像素值，xp(n,m)表示xp中坐标为(n,m)的像素点的像素值。
为了取得更好的图像显示效果，可以对x′使用反相效果。相应地，可以根据(6)式合并x′和xp。
在本申请实施例中，首先获取第一图像集合和第二图像集合，第一图像集合包括多张真实人脸图像，第二图像集合包括多张像素人脸图像；接着随机生成语义信息向量；然后将多张真实人脸图像、多张像素人脸图像以及语义信息向量输入待训练模型进行训练，得到图像像素化模型；最后根据图像像素化模型，对待识别的第一人脸图像进行处理得到第一人脸图像的显示图像，显示图像用于后续在其他设备或场景中对第一人脸图像中的目标人脸进行现实增强。通过对人脸图像进行像素化处理解决了因有效像素低导致的难以表达人脸信息的问题，并且在对人脸图像进行像素化处理的过程中充分保留了表情、性别、年龄和发型等人脸语义信息，进一步提升了人脸像素化的效果，从而可以提升人脸图像的识别度。
请参考图9，图9是本申请实施例提出的一种电子设备的结构示意图。如图所示，该电子设备可以包括：至少一个处理器901，例如CPU，至少一个通信接口902，至少一个存储器903，至少一个总线904。其中，总线904用于实现这些组件之间的连接通信。其中，本申请实施例中电子设备的通信接口902是有线发送端口，也可以为无线设备，例如包括天线装置，用于与其他节点设备进行信令或数据的通信。存储器903可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器903可选的还可以是至少一个位于远离前述处理器901的存储装置。存储器903中存储一组程序代码，且处理器901用于调用存储器中存储的程序代码，用于执行以下操作：
获取第一图像集合和第二图像集合，所述第一图像集合包括多张真实人脸图像，所述第二图像集合包括多张像素人脸图像；
随机生成语义信息向量；
将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入待训练模型进行训练，得到图像像素化模型；
根据所述图像像素化模型，对待识别的第一人脸图像进行处理得到所述第一人脸图像的显示图像，所述显示图像用于对所述第一人脸图像中的目标人脸进行现实增强。
其中，处理器901还用于执行如下操作步骤：
确定所述第一人脸图像中的所述目标人脸；
从所述第一人脸图像中裁剪出包含所述目标人脸的第二人脸图像；
将所述第二人脸图像输入所述图像像素化模型得到所述第二人脸图像对应的像素人脸图像；
将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像。
其中，处理器901还用于执行如下操作步骤：
将所述多张真实人脸图像、所述多张像素人脸图像以及所述多个语义信息向量输入第一待训练模型进行训练，得到图像生成模块和图像判别模块，所述图像判别模块中包括真实人脸图像判别单元和像素人脸图像判别单元；
将所述多个语义信息向量输入第二待训练模型进行训练，得到图像编码模块，所述第二待训练模型中包括所述图像生成模块、所述真实人脸图像判别单元和所述像素人脸图像判别单元；
根据所述图像生成模块和所述图像编码模块，确定所述图像像素化模型。
其中，所述图像编码模块包括真实人脸图像编码单元，所述真实人脸图像编码单元用于获取所述目标人脸的语义信息向量；
所述图像生成模块包括像素人脸图像生成单元，所述像素人脸图像生成单元用于根据所述目标人脸的语义信息和向量生成所述第二人脸图像对应的像素人脸图像；
处理器901还用于执行如下操作步骤：
将所述真实人脸图像编码单元和所述像素化图像生成单元进行组合得到所述图像像素化模型。
其中，处理器901还用于执行如下操作步骤：
将所述第一人脸图像中尺寸大于预设阈值的人脸作为所述目标人脸。
其中，处理器901还用于执行如下操作步骤：
获取所述第二人脸图像在所述第一人脸图像中的位置信息；
根据所述位置信息，将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像
其中，处理器901还用于执行如下操作步骤：
对所述第一人脸图像进行降采样；和/或
对所述第一人脸图像进行图像增强。
需要说明的是，本申请实施例同时也提供了一种存储介质，该存储介质用于存储应用程序，该应用程序用于在运行时执行图1和图6所示的一种人脸图像的处理方法中电子设备执行的操作。
需要说明的是，本申请实施例同时也提供了一种应用程序，该应用程序用于在运行时执行图1和图6所示的一种人脸图像的处理方法中电子设备执行的操作。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种人脸图像的处理方法，其特征在于，所述方法应用于电子设备，所述方法包括：
获取第一图像集合和第二图像集合，所述第一图像集合包括多张真实人脸图像，所述第二图像集合包括多张像素人脸图像；
随机生成语义信息向量；
将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入待训练模型进行训练，得到图像像素化模型；
根据所述图像像素化模型，对待识别的第一人脸图像进行处理得到所述第一人脸图像的显示图像，所述显示图像用于对所述第一人脸图像中的目标人脸进行现实增强。
2.如权利要求1所述的方法，其特征在于，所述根据所述图像像素化模型，对待识别的第一人脸图像进行处理得到所述第一人脸图像的显示图像包括：
确定所述第一人脸图像中的所述目标人脸；
从所述第一人脸图像中裁剪出包含所述目标人脸的第二人脸图像；
将所述第二人脸图像输入所述图像像素化模型得到所述第二人脸图像对应的像素人脸图像；
将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像。
3.如权利要求1所述的方法，其特征在于，所述将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入待训练模型进行训练，得到图像像素化模型包括：
将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入第一待训练模型进行训练，得到图像生成模块和图像判别模块，所述图像判别模块中包括真实人脸图像判别单元和像素人脸图像判别单元；
将所述语义信息向量输入第二待训练模型进行训练，得到图像编码模块，所述第二待训练模型中包括所述图像生成模块、所述真实人脸图像判别单元和所述像素人脸图像判别单元；
根据所述图像生成模块和所述图像编码模块，确定所述图像像素化模型。
4.如权利要求3所述的方法，其特征在于，所述图像编码模块包括真实人脸图像编码单元，所述真实人脸图像编码单元用于获取所述目标人脸的语义信息向量；
所述图像生成模块包括像素人脸图像生成单元，所述像素人脸图像生成单元用于根据所述目标人脸的语义信息向量生成所述第二人脸图像对应的像素人脸图像；
所述根据所述图像生成模块和所述图像编码模块，确定所述图像像素化模型包括：
将所述真实人脸图像编码单元和所述像素人脸图像生成单元进行组合得到所述图像像素化模型。
5.如权利要求2所述的方法，其特征在于，所述确定所述第一人脸图像中的所述目标人脸包括：
将所述第一人脸图像中尺寸大于预设阈值的人脸作为所述目标人脸。
6.如权利要求2所述的方法，其特征在于，所述将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像包括：
获取所述第二人脸图像在所述第一人脸图像中的位置信息；
根据所述位置信息，将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像。
7.如权利要求2所述的方法，其特征在于，所述将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像之前，还包括：
对所述第一人脸图像进行降采样。
8.如权利要求2-7任一项所述的方法，其特征在于，所述确定所述第一人脸图像中的所述目标人脸之前，还包括：
对所述第一人脸图像进行图像增强。
9.一种人脸图像的处理装置，其特征在于，所述装置包括：
样本采集模块，用于获取第一图像集合和第二图像集合，所述第一图像集合包括多张真实人脸图像，所述第二图像集合包括多张像素人脸图像；
模型训练模块，用于随机生成语义信息向量；
所述模型训练模块，还用于将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入待训练模型进行训练，得到图像像素化模型；
图像处理模块，用于根据所述图像像素化模型，对待识别的第一人脸图像进行处理得到所述第一人脸图像的显示图像，所述显示图像用于对所述第一人脸图像中的目标人脸进行现实增强。
10.如权利要求9所述的装置，其特征在于，所述图像处理模块还用于：
确定所述第一人脸图像中的所述目标人脸；
从所述第一人脸图像中裁剪出包含所述目标人脸的第二人脸图像；
将所述第二人脸图像输入所述图像像素化模型得到所述第二人脸图像对应的像素人脸图像；
将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像。
11.如权利要求9所述的装置，其特征在于，所述模型训练模块还用于：
将所述多张真实人脸图像、所述多张像素人脸图像以及所述语义信息向量输入第一待训练模型进行训练，得到图像生成模块和图像判别模块，所述图像判别模块中包括真实人脸图像判别单元和像素人脸图像判别单元；
将所述语义信息向量输入第二待训练模型进行训练，得到图像编码模块，所述第二待训练模型中包括所述图像生成模块、所述真实人脸图像判别单元和所述像素人脸图像判别单元；
根据所述图像生成模块和所述图像编码模块，确定所述图像像素化模型。
12.如权利要求11所述的装置，其特征在于，所述图像编码模块包括真实人脸图像编码单元，所述真实人脸图像编码单元用于获取所述目标人脸的语义信息向量；
所述图像生成模块包括像素人脸图像生成单元，所述像素人脸图像生成单元用于根据所述目标人脸的语义信息向量生成所述第二人脸图像对应的像素人脸图像；
所述模型训练模块，还用于：
将所述真实人脸图像编码单元和所述像素人脸图像生成单元进行组合得到所述图像像素化模型。
13.如权利要求10所述的装置，其特征在于，所述图像处理模块还用于：
将所述第一人脸图像中尺寸大于预设阈值的人脸作为所述目标人脸。
14.如权利要求10所述的装置，其特征在于，所述图像处理模块还用于：
获取所述第二人脸图像在所述第一人脸图像中的位置信息；
根据所述位置信息，将所述第二人脸图像对应的像素人脸图像和所述第一人脸图像进行合并得到所述显示图像。
15.如权利要求10-14任一项所述的装置，其特征在于，所述图像处理模块还用于：
对所述第一人脸图像进行图像增强；和/或
对所述第一人脸图像进行降采样。
16.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和总线；
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-8任一项所述的人脸图像的处理方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多种指令，所述指令适于由处理器加载并执行如权利要求1-8任一项所述的人脸图像的处理方法。
CN201811435968.1A 2018-11-28 2018-11-28 一种人脸图像的处理方法及相关设备 Active CN109558836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811435968.1A CN109558836B (zh) 2018-11-28 2018-11-28 一种人脸图像的处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811435968.1A CN109558836B (zh) 2018-11-28 2018-11-28 一种人脸图像的处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN109558836A true CN109558836A (zh) 2019-04-02
CN109558836B CN109558836B (zh) 2021-06-15

Family

ID=65867882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811435968.1A Active CN109558836B (zh) 2018-11-28 2018-11-28 一种人脸图像的处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN109558836B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163824A (zh) * 2019-05-22 2019-08-23 西安电子科技大学 基于仿生学的人脸画像合成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226044A1 (en) * 2008-03-07 2009-09-10 The Chinese University Of Hong Kong Real-time body segmentation system
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108288072A (zh) * 2018-01-26 2018-07-17 深圳市唯特视科技有限公司 一种基于生成对抗网络的面部表情合成方法
CN108510444A (zh) * 2018-04-02 2018-09-07 景德镇陶瓷大学 一种高分辨率陶瓷花纸图案的生成方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226044A1 (en) * 2008-03-07 2009-09-10 The Chinese University Of Hong Kong Real-time body segmentation system
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108288072A (zh) * 2018-01-26 2018-07-17 深圳市唯特视科技有限公司 一种基于生成对抗网络的面部表情合成方法
CN108510444A (zh) * 2018-04-02 2018-09-07 景德镇陶瓷大学 一种高分辨率陶瓷花纸图案的生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张申 等: "基于语义维度的人脸表情生成", 《清华大学学报(自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163824A (zh) * 2019-05-22 2019-08-23 西安电子科技大学 基于仿生学的人脸画像合成方法
CN110163824B (zh) * 2019-05-22 2022-06-10 西安电子科技大学 基于仿生学的人脸画像合成方法

Also Published As

Publication number Publication date
CN109558836B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN109196526B (zh) 用于生成多模态数字图像的方法和系统
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
CN108830211A (zh) 基于深度学习的人脸识别方法及相关产品
CN108460356A (zh) 一种基于监控系统的人脸图像自动处理系统
CN108388876A (zh) 一种图像识别方法、装置以及相关设备
CN108012559A (zh) 自动三维模型生成
CN109255297A (zh) 动物状态监测方法、终端设备、存储介质及电子设备
CN108776786A (zh) 用于生成用户真伪识别模型的方法和装置
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
CN111819568A (zh) 人脸旋转图像的生成方法及装置
WO2020077198A1 (en) Image-based models for real-time biometrics and marker-less motion tracking in imaging applications
CN107784678B (zh) 卡通人脸图像的生成方法、装置和终端
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN110859642B (zh) 一种基于AlexNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN110276408A (zh) 3d图像的分类方法、装置、设备及存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN113822289A (zh) 图像降噪模型的训练方法、装置、设备及存储介质
CN111091055A (zh) 脸型识别方法、装置、设备及计算机可读存储介质
CN110008922A (zh) 用于终端设备的图像处理方法、设备、装置、介质
CN109558836A (zh) 一种人脸图像的处理方法及相关设备
CN110321009B (zh) Ar表情处理方法、装置、设备和存储介质
CN112766097A (zh) 视线识别模型的训练方法、视线识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant