CN107784630B - 对人脸图像进行属性翻转的方法、装置和终端 - Google Patents
对人脸图像进行属性翻转的方法、装置和终端 Download PDFInfo
- Publication number
- CN107784630B CN107784630B CN201711093257.6A CN201711093257A CN107784630B CN 107784630 B CN107784630 B CN 107784630B CN 201711093257 A CN201711093257 A CN 201711093257A CN 107784630 B CN107784630 B CN 107784630B
- Authority
- CN
- China
- Prior art keywords
- attribute
- face
- face image
- attributes
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000001815 facial effect Effects 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 208000008589 Obesity Diseases 0.000 claims description 6
- 235000020824 obesity Nutrition 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 claims description 6
- 210000000697 sensory organ Anatomy 0.000 claims description 6
- 230000007306 turnover Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 5
- 210000001508 eye Anatomy 0.000 description 13
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 241000353135 Psenopsis anomala Species 0.000 description 1
- 244000067505 Xanthium strumarium Species 0.000 description 1
- 206010048245 Yellow skin Diseases 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种对人脸图像进行属性翻转的方法、装置和终端，其中该方法包括：根据预设的分类器在人脸图像中提取多个人脸属性；对多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性；将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核；根据卷积核卷积人脸图像，得到翻转属性后的人脸图像。与现有技术中的人脸图像部分替换相比，本发明利用经过训练的元网络处理翻转后的人脸属性，更全面地整合复杂的人脸信息，直接生成完整人脸图像，使得人脸图像更加自然逼真，有效提升人脸属性变化处理的效果，并且用户可以根据自己的喜好和需求，对任意人脸图像的任意属性进行翻转调整，大大丰富了用户体验。
Description
技术领域
本发明涉及人脸图像处理技术领域，具体而言，涉及一种对人脸图像进行属性翻转的方法、装置和终端。
背景技术
伴随信息技术发展的需要，人脸图像处理在公安刑侦、影视娱乐、人机交互等众多领域得到了广泛应用。人脸作为极具复杂性的生物特征，蕴含了大量的信息，其丰富的表情和多变的细节使得人脸图像千变万化。对人脸属性的处理不仅包括简单的属性变化，还涉及面部整体的运动变形，局部纹理的细微变化等等，使得自然、逼真地对人脸图像进行属性处理极富理论价值和挑战性，引起了很多研究者的兴趣。
目前对人脸图像进行属性变化处理常见的方法是：将人脸图像划分为几个区域，分别承载不同的属性。在图像库中选择相似的替换属性或者直接使用特定的替换属性来进行目标属性的替换，然后，根据该人脸属性的特征点在其区域中进行对齐。
无论是将这种技术应用到游戏中还是要求更高的专业领域，简单地把替换属性“贴”到人脸图像上，生成的人脸图像定会不够自然逼真，如果对大量的人脸图像进行处理，合成的图像重复程度高，多次使用后会严重影响使用的体验度和信服度。
发明内容
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：
本发明提出了一种对人脸图像进行属性翻转的方法，所述方法包括：
根据预设的分类器在人脸图像中提取多个人脸属性；
对所述多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性；
将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核；
根据所述卷积核卷积所述人脸图像，得到翻转属性后的人脸图像。
其中，任一人脸属性包括两种状态，从所述分类器中提取到的各个人脸属性分别处于其两种状态中的一种。
具体地，所述对所述多个人脸属性中的至少一个属性进行翻转，得到翻转后的多个人脸属性的步骤，包括：
根据用户的需求指令确定所述多个人脸属性中需要翻转的至少一个属性；
分别针对各个需要翻转的属性，将该属性所处的一种状态翻转成该属性包括的两种状态中的另一种状态。
具体地，所述对所述多个人脸属性中的至少一个属性进行翻转，得到翻转后的多个人脸属性的步骤，包括：
根据用户的需求指令确定所述多个人脸属性中需处于指定状态的至少一个属性；
分别针对各个需处于指定状态的属性，判断该属性当前所处的状态是否与指定状态相同；
若否，则将该属性当前所处的状态翻转成所述指定状态。
进一步地，所述根据所述卷积核卷积所述人脸图像，得到翻转属性后的人脸图像的步骤，包括：
将所述人脸图像进行压缩；
根据所述卷积核卷积压缩后的人脸图像；
将卷积后的人脸图像进行解压缩，得到翻转属性后的人脸图像。
实际应用中，所述人脸属性包括以下至少一项：五官状态、表情、年龄、性别、肥胖度、器官形态、面部附加信息。
本发明还提出了一种对人脸图像进行属性翻转的装置，包括：
提取模块，用于根据预设的分类器在人脸图像中提取多个人脸属性；
翻转模块，用于对所述多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性；
生成模块，用于将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核；
卷积模块，用于根据所述卷积核卷积所述人脸图像，得到翻转属性后的人脸图像。
其中，任一人脸属性包括两种状态，从所述分类器中提取到的各个人脸属性分别处于其两种状态中的一种。
进一步地，所述翻转模块具体用于根据用户的需求指令确定所述多个人脸属性中需要翻转的至少一个属性；分别针对各个需要翻转的属性，将该属性所处的一种状态翻转成该属性包括的两种状态中的另一种状态。
进一步地，所述翻转模块具体用于根据用户的需求指令确定所述多个人脸属性中需处于指定状态的至少一个属性；分别针对各个需处于指定状态的属性，判断该属性当前所处的状态是否与指定状态相同；若否，则将该属性当前所处的状态翻转成所述指定状态。
进一步地，所述卷积模块具体用于将所述人脸图像进行压缩；根据所述卷积核卷积压缩后的人脸图像；将卷积后的人脸图像进行解压缩，得到翻转属性后的人脸图像。
实际应用中，所述人脸属性包括以下至少一项：五官状态、表情、年龄、性别、肥胖度、器官形态、面部附加信息。
本发明还提出了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述对人脸图像进行属性翻转的方法。
本发明还提出了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述对人脸图像进行属性翻转的方法。
本发明提出的对人脸图像进行属性翻转的方法、装置和终端，根据预设的分类器在人脸图像中提取多个人脸属性；对多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性；将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核；根据卷积核卷积人脸图像，得到翻转属性后的人脸图像。与现有技术中的人脸图像部分替换相比，本发明利用经过训练的元网络处理翻转后的人脸属性，更全面地整合复杂的人脸信息，直接生成完整人脸图像，使得人脸图像更加自然逼真，有效提升人脸属性变化处理的效果，并且用户可以根据自己的喜好和需求，对任意人脸图像的任意属性进行翻转调整，大大丰富了用户体验。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的对人脸图像进行属性翻转的方法的流程示意图；
图2为本发明一个实施例生成的人脸图像的示例图；
图3为本发明实施例提供的对人脸图像进行属性翻转的装置的框架示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种对人脸图像进行属性翻转的方法，如图1所示，包括如下步骤：
步骤S101：根据预设的分类器在人脸图像中提取多个人脸属性。
其中，预设的分类器是指为实现本发明实施例，提前对一训练库中的样本图像提取本发明实施例指定的人脸属性，基于距离算法、机器学习算法等训练得到的分类器，用以本步骤中，在输入的人脸图像中提取这些指定的人脸属性。
为了保证分类器的提取性能，在对样本图像的选择上，应趋向于多样性充足的人脸图像，例如考虑不同人种、不同相貌特征、不同面部表情、不同姿态、不同背景、不同光照等条件下的属性提取。本领域技术人员可根据实际需要设置训练库中样本图像的数量，此处不做限定。
在样本量巨大，样本差异大的情况下，可以采用多级分类器级联的方式，能够更快更好的实现人脸属性提取，并且提高了提取速度的同时，达到较小的误识率。
具体而言，当一张人脸图像输入后，分类器将训练时指定的所有人脸属性提取出来，置于属性库中，以便执行步骤S102。本发明实施例中，人脸属性包括但不限于：
五官状态，例如睁眼、眯眼、闭眼、张嘴、闭嘴、微微张开嘴巴露出牙齿等；
表情，例如大笑、微笑、哭泣、惊讶、愤怒、害羞、恐惧等；
年龄，例如年轻、年迈或者幼年、青年、中年、老年等；
性别，包括男性、女性；
肥胖度，例如偏瘦、苗条、标准、中等身材、偏胖、肥胖等；
器官形态，例如白皮肤、黄皮肤、黑皮肤、双眼皮、丹凤眼、斗鸡眼、招风耳、朝天鼻、鹰钩鼻、瓜子脸、大圆脸等。
面部附加信息，例如胡子、头发颜色、化妆、雀斑、戴眼镜等。
本领域技术人员可根据实际需要设置属性来训练分类器，此处不做限定。
本发明另一实施例中，对人脸图像提取属性时，可以包含每个属性所处的状态。例如，提取“唇色”属性时，分类器直接判断出该人脸图像中的唇部是否涂有口红，并记录该判断出的状态，以便执行步骤S102。
步骤S102：对多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性。
本发明一实施例中，任一人脸属性包括两种状态，结合上文可知，从分类器中提取到的各个人脸属性分别处于其两种状态中的一种。
作为示例地，假如属性库中共有三种指定的属性，根据判断出的状态分别标记为101，根据用户的指令可以对其中至少一个属性进行翻转，并与未翻转的属性一起重新存储，得到翻转后的人脸属性可能为001、111、100、011、000、110、010等。当然，也可以不进行任何翻转，直接以101标记，进行后续的步骤S103。为更加便于理解，如下表1所示举例了该实施例中三种属性及其状态。
表1
具体而言，属性库中的每个属性都可以供用户选择是否进行翻转。根据用户的需求指令确定多个人脸属性中需要翻转的至少一个属性后，分别针对各个需要翻转的属性，将该属性所处的一种状态翻转成该属性包括的两种状态中的另一种状态。简单来说，提取的属性为眼睛睁开、没有胡子、年迈，标记为101，若用户指示翻转胡子属性，则翻转后的人脸属性为111，代表眼睛睁开、有胡子、年迈；若用户指示翻转眼睛和胡子属性，则翻转后的人脸属性为011，代表眼睛闭上、有胡子、年迈；以此类推。
本发明另一实施例中，任一人脸属性包括三种甚至更多状态，同理，从分类器中提取到的各个人脸属性分别处于其三种或者更多状态中的一种。
以任一人脸属性包括三种状态为例进行说明，假如属性库中共有三种指定的属性，每个属性以二位数组表示，根据判断出的状态分别标记为100100，或者每个属性以多进制数表示，根据判断出的状态分别标记为012。根据用户的指令可以对其中至少一个属性进行翻转，用户可以指定该属性的三种状态中当前状态之外的两种状态的任意一种进行翻转，并与未翻转的属性一起重新存储，得到翻转后的人脸属性标记参见任一人脸属性包括两种状态时相同的标记方式，为更加便于理解，如下表2及表3所示举例了该实施例中三种属性及其状态。
表2
表3
鉴于人脸属性的复杂性，本领域技术人员可根据实际需要设置不同属性具有不同数量的状态，并建立相应的映射，属性库中的每个属性都可以供用户选择是否进行翻转以及可以翻转至的状态。根据用户的选择，可以将任一属性翻转至其未处于的任一状态。
本发明又一实施例中，根据用户的需求指令确定多个人脸属性中需处于指定状态的至少一个属性，例如用户希望人脸图像中的眼睛“闭上”。分别针对各个需处于指定状态的属性，判断该属性当前所处的状态是否与指定状态相同，也就是判断该人脸图像中的眼睛是否处于“闭上”。若人脸图像中的眼睛已经处于“闭上”的状态，则不需要对图像进行调整，若否，则将该属性当前所处的状态翻转成所述指定状态，也就是将人脸图像中的眼睛处于的无论是“睁开”或是其他状态，都翻转成“闭上”状态。
步骤S103：将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核。
其中，预设的元网络是经过训练的，例如，可由VGG-16卷积神经网络(convolutional neural network)进行训练得到的。下文以任一人脸属性包括两种状态为例进行介绍，本领域技术人员可轻易推断任一人脸属性包括三种或者更多状态的情况。具体而言，针对任一属性，元网络训练所用的样本图像包含：该属性的第一状态样本图像和第二状态样本图像。为了保证元网络的处理性能，在对样本图像的选择上，应趋向于多样性充足的人脸图像，例如考虑不同人种、不同相貌特征、不同面部表情、不同姿态、不同背景、不同光照等条件下的属性提取。本领域技术人员可根据实际需要设置训练库中样本图像的数量，此处不做限定。针对多个属性结合的情况，元网络可以采用每个属性依次处理，也可以直接对属性结合的不同状态样本图像进行学习。
实际应用中，元网络的训练过程通过多次迭代完成，直至满足预定收敛条件。本领域技术人员可根据实际需要设置预定收敛条件，此处不做限定。例如，预定收敛条件可包括：迭代次数达到预设迭代次数；和/或，元网络损失函数的输出值小于预设阈值；和/或，图像的视觉效果参数达到预设视觉效果参数。具体地，可以通过判断迭代次数是否达到预设迭代次数来判断是否满足预定收敛条件，也可以根据元网络损失函数的输出值是否小于预设阈值来判断是否满足预定收敛条件，还可以通过判断图像的视觉效果参数是否达到预设视觉效果参数来判断是否满足预定收敛条件。
值得注意的是，为了提升训练过程中元网络的稳定性，本发明在多次迭代过程中，固定提取一个第一状态样本图像，替换地提取至少一个第二状态样本图像；当所有第二状态样本图像全部提取后，替换下一个第一状态样本图像，再替换地提取至少一个第二状态样本图像，直至所有第一状态样本图像和第二状态样本图像全部提取完成，就能够训练得到在多样性丰富的情况下处理翻转属性的元网络，提高了元网络的训练效率。
可选地，在一次迭代过程中，利用一个第一状态样本图像和至少一个第二状态样本图像对元网络进行训练。
可选地，一次迭代过程包括：利用与第一状态样本图像对应的卷积核，生成与第二状态样本图像对应的第三状态样本图像；根据第三状态样本图像与第一状态样本图像之间的状态损失以及第三状态样本图像与第二状态样本图像之间的内容损失，得到元网络损失函数，根据元网络损失函数更新元网络的权重参数。
在一个具体的训练过程中，利用随机梯度下降(stochastic gradient descent)算法训练得到元网络。
将步骤S102中翻转处理后的多个人脸属性，也就是属性库中的指定人脸属性根据用户指定经过部分或全部翻转处理后，全都输入至训练后的元网络，就能够快速生成相应的卷积核。
步骤S104：根据卷积核卷积人脸图像，得到翻转属性后的人脸图像。
实际应用中，卷积核是是一个权矩阵，就是将卷积时使用到的权用一个矩阵表示，而将待处理的人脸图像通过一个大矩阵进行表示,图像的每个像素对应着矩阵的每个元素，在步骤S103中得到卷积核之后，利用卷积核对人脸图像进行卷积处理，经卷积处理后所得到的就是翻转属性后的人脸图像。
由此可知，该方法得到的人脸图像是直接生成的完整人脸图像，而非对人脸图像中的部分区域进行替换或变形得到的。以“微笑”表情为例，若对表情进行“微笑”翻转时，所涉及到的不仅包括嘴巴的特征，还包括眼睛和面部纹理等特征。直接进行替换或变形，图像细节会难以处理，导致生成的人脸图像不够自然逼真。而本发明实施例中，由于经训练得到的元网络能够很好地适用于任意图像的处理，直接生成完整人脸图像，使得人脸图像更加自然逼真。
为了实现更加精细化的处理，本发明实施例中，可以将人脸图像进行压缩，排除无关特征的干扰。根据卷积核卷积压缩后的人脸图像，将卷积后的人脸图像进行解压缩，得到翻转属性后的人脸图像。
图2示出了由本发明一个实施例生成的人脸图像的示例图，其中，四张人脸图像分别翻转的属性为：不作任何翻转(即原图，Input)、眯眼(Narrow Eyes)、微笑(Smile)、微微张开嘴巴(Mouth Slightly Open)。可见，由本发明实施例对人脸图像进行属性翻转，生成的人脸图像自然逼真，属性翻转效果明显。
本发明实施例提出的对人脸图像进行属性翻转的方法，根据预设的分类器在人脸图像中提取多个人脸属性；对多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性；将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核；根据卷积核卷积人脸图像，得到翻转属性后的人脸图像。与现有技术中的人脸图像部分替换相比，本发明利用经过训练的元网络处理翻转后的人脸属性，更全面地整合复杂的人脸信息，直接生成完整人脸图像，使得人脸图像更加自然逼真，有效提升人脸属性变化处理的效果，并且用户可以根据自己的喜好和需求，对任意人脸图像的任意属性进行翻转调整，大大丰富了用户体验。
本发明实施例还提供一种对人脸图像进行属性翻转的装置，如图3所示，包括：
提取模块301，用于根据预设的分类器在人脸图像中提取多个人脸属性；
翻转模块302，用于对多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性；
生成模块303，用于将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核；
卷积模块304，用于根据卷积核卷积人脸图像，得到翻转属性后的人脸图像。
其中，任一人脸属性包括两种状态，从分类器中提取到的各个人脸属性分别处于其两种状态中的一种。
可选地，翻转模块302具体用于根据用户的需求指令确定多个人脸属性中需要翻转的至少一个属性；分别针对各个需要翻转的属性，将该属性所处的一种状态翻转成该属性包括的两种状态中的另一种状态。
可选地，翻转模块302具体用于根据用户的需求指令确定多个人脸属性中需处于指定状态的至少一个属性；分别针对各个需处于指定状态的属性，判断该属性当前所处的状态是否与指定状态相同；若否，则将该属性当前所处的状态翻转成指定状态。
可选地，卷积模块304具体用于将人脸图像进行压缩；根据卷积核卷积压缩后的人脸图像；将卷积后的人脸图像进行解压缩，得到翻转属性后的人脸图像。
实际应用中，人脸属性包括以下至少一项：五官状态、表情、年龄、性别、肥胖度、器官形态、面部附加信息。
本发明实施例还提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述对人脸图像进行属性翻转的方法。
本发明实施例还提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述对人脸图像进行属性翻转的方法。
本发明实施例所提供的对人脸图像进行属性翻转的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
基于上述分析可知，本发明提出的对人脸图像进行属性翻转装置，根据预设的分类器在人脸图像中提取多个人脸属性；对多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性；将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核；根据卷积核卷积人脸图像，得到翻转属性后的人脸图像。与现有技术中的人脸图像部分替换相比，本发明利用经过训练的元网络处理翻转后的人脸属性，更全面地整合复杂的人脸信息，直接生成完整人脸图像，使得人脸图像更加自然逼真，有效提升人脸属性变化处理的效果，并且用户可以根据自己的喜好和需求，对任意人脸图像的任意属性进行翻转调整，大大丰富了用户体验。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种对人脸图像进行属性翻转的方法，其特征在于，所述方法包括：
根据预设的分类器在人脸图像中提取多个人脸属性；
对所述多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性；
将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核；
利用所述卷积核对所述人脸图像进行卷积处理，经卷积处理后得到翻转属性后的人脸图像。
2.根据权利要求1所述的方法，其特征在于，任一人脸属性包括两种状态，从所述分类器中提取到的各个人脸属性分别处于其两种状态中的一种。
3.根据权利要求2所述的方法，其特征在于，所述对所述多个人脸属性中的至少一个属性进行翻转，得到翻转后的多个人脸属性的步骤，包括：
根据用户的需求指令确定所述多个人脸属性中需要翻转的至少一个属性；
分别针对各个需要翻转的属性，将该属性所处的一种状态翻转成该属性包括的两种状态中的另一种状态。
4.根据权利要求1所述的方法，其特征在于，所述对所述多个人脸属性中的至少一个属性进行翻转，得到翻转后的多个人脸属性的步骤，包括：
根据用户的需求指令确定所述多个人脸属性中需处于指定状态的至少一个属性；
分别针对各个需处于指定状态的属性，判断该属性当前所处的状态是否与指定状态相同；
若否，则将该属性当前所处的状态翻转成所述指定状态。
5.根据权利要求1所述的方法，其特征在于，所述利用所述卷积核对所述人脸图像进行卷积处理，经卷积处理后得到翻转属性后的人脸图像的步骤，包括：
将所述人脸图像进行压缩；
根据所述卷积核卷积压缩后的人脸图像；
将卷积后的人脸图像进行解压缩，得到翻转属性后的人脸图像。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述人脸属性包括以下至少一项：五官状态、表情、年龄、性别、肥胖度、器官形态、面部附加信息。
7.一种对人脸图像进行属性翻转的装置，其特征在于，包括：
提取模块，用于根据预设的分类器在人脸图像中提取多个人脸属性；
翻转模块，用于对所述多个人脸属性中的至少一个属性进行翻转，得到翻转后的人脸属性；
生成模块，用于将翻转处理后的多个人脸属性输入预设的元网络，生成相应的卷积核；
卷积模块，用于利用所述卷积核对所述人脸图像进行卷积处理，经卷积处理后得到翻转属性后的人脸图像。
8.根据权利要求7所述的装置，其特征在于，任一人脸属性包括两种状态，从所述分类器中提取到的各个人脸属性分别处于其两种状态中的一种。
9.根据权利要求8所述的装置，其特征在于，所述翻转模块具体用于根据用户的需求指令确定所述多个人脸属性中需要翻转的至少一个属性；分别针对各个需要翻转的属性，将该属性所处的一种状态翻转成该属性包括的两种状态中的另一种状态。
10.根据权利要求7所述的装置，其特征在于，所述翻转模块具体用于根据用户的需求指令确定所述多个人脸属性中需处于指定状态的至少一个属性；分别针对各个需处于指定状态的属性，判断该属性当前所处的状态是否与指定状态相同；若否，则将该属性当前所处的状态翻转成所述指定状态。
11.根据权利要求7所述的装置，其特征在于，所述卷积模块具体用于将所述人脸图像进行压缩；根据所述卷积核卷积压缩后的人脸图像；将卷积后的人脸图像进行解压缩，得到翻转属性后的人脸图像。
12.根据权利要求7-11任一项所述的装置，其特征在于，所述人脸属性包括以下至少一项：五官状态、表情、年龄、性别、肥胖度、器官形态、面部附加信息。
13.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述对人脸图像进行属性翻转的方法。
14.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述对人脸图像进行属性翻转的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711093257.6A CN107784630B (zh) | 2017-11-08 | 2017-11-08 | 对人脸图像进行属性翻转的方法、装置和终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711093257.6A CN107784630B (zh) | 2017-11-08 | 2017-11-08 | 对人脸图像进行属性翻转的方法、装置和终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107784630A CN107784630A (zh) | 2018-03-09 |
| CN107784630B true CN107784630B (zh) | 2021-11-23 |
Family
ID=61432452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711093257.6A Active CN107784630B (zh) | 2017-11-08 | 2017-11-08 | 对人脸图像进行属性翻转的方法、装置和终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107784630B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765261B (zh) * | 2018-04-13 | 2022-07-05 | 北京市商汤科技开发有限公司 | 图像变换方法和装置、电子设备、计算机存储介质 |
| CN110533761B (zh) * | 2018-05-23 | 2024-01-12 | 华硕电脑股份有限公司 | 影像显示方法、电子装置及非瞬时电脑可读取记录媒体 |
| CN109409239B (zh) * | 2018-09-28 | 2022-01-14 | 重庆辉烨物联科技有限公司 | 人脸图像处理方法、装置、设备及存储介质 |
| CN109559289A (zh) * | 2018-11-30 | 2019-04-02 | 维沃移动通信（深圳）有限公司 | 一种图像处理方法及移动终端 |
| CN109858364A (zh) * | 2018-12-28 | 2019-06-07 | 维沃移动通信有限公司 | 一种人脸图像的处理方法和移动终端 |
| CN110288513B (zh) * | 2019-05-24 | 2023-04-25 | 北京百度网讯科技有限公司 | 用于改变人脸属性的方法、装置、设备和存储介质 |
| CN116912923B (zh) * | 2023-09-12 | 2024-01-05 | 深圳须弥云图空间科技有限公司 | 一种图像识别模型训练方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063150A (zh) * | 2014-06-30 | 2014-09-24 | 惠州Tcl移动通信有限公司 | 通过人脸识别进入对应场景模式的移动终端及其实现方法 |
| CN104143079A (zh) * | 2013-05-10 | 2014-11-12 | 腾讯科技（深圳）有限公司 | 人脸属性识别的方法和系统 |
-
2017
- 2017-11-08 CN CN201711093257.6A patent/CN107784630B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104143079A (zh) * | 2013-05-10 | 2014-11-12 | 腾讯科技（深圳）有限公司 | 人脸属性识别的方法和系统 |
| CN104063150A (zh) * | 2014-06-30 | 2014-09-24 | 惠州Tcl移动通信有限公司 | 通过人脸识别进入对应场景模式的移动终端及其实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《Learning Residual Images for Face Attribute Manipulation》;Wei Shen 等;《adXiv》;20170412;1-9 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107784630A (zh) | 2018-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107784630B (zh) | 对人脸图像进行属性翻转的方法、装置和终端 | |
| Pang et al. | Image-to-image translation: Methods and applications | |
| KR102241153B1 (ko) | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 | |
| Agustsson et al. | Apparent and real age estimation in still images with deep residual regressors on appa-real database | |
| Hou et al. | Improving variational autoencoder with deep feature consistent and generative adversarial training | |
| WO2020258668A1 (zh) | 基于对抗网络模型的人脸图像生成方法及装置、非易失性可读存储介质、计算机设备 | |
| CN109376582A (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
| CN106326857A (zh) | 基于人脸图像的性别识别方法及装置 | |
| CN106295591A (zh) | 基于人脸图像的性别识别方法及装置 | |
| CN108268885A (zh) | 特征点检测方法、设备和计算机可读存储介质 | |
| CN107784678B (zh) | 卡通人脸图像的生成方法、装置和终端 | |
| Singh et al. | Neural style transfer: A critical review | |
| Chen et al. | Face sketch synthesis with style transfer using pyramid column feature | |
| CN108460398A (zh) | 图像处理方法、装置、云处理设备和计算机程序产品 | |
| Huang et al. | Real-world automatic makeup via identity preservation makeup net | |
| Zafeiriou et al. | Probabilistic slow features for behavior analysis | |
| CN114283052A (zh) | 妆容迁移及妆容迁移网络的训练方法和装置 | |
| CN114266695A (zh) | 图像处理方法、图像处理系统及电子设备 | |
| Yang et al. | Gender based face aging with cycle-consistent adversarial networks | |
| Liu et al. | Learning shape and texture progression for young child face aging | |
| Han et al. | Normalization of face illumination with photorealistic texture via deep image prior synthesis | |
| Wallraven et al. | Learning from humans: computational modeling of face recognition | |
| Hu et al. | Facial reshaping operator for controllable face beautification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |