CN111861954A - 编辑人脸的方法、装置、电子设备和可读存储介质 - Google Patents
编辑人脸的方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111861954A CN111861954A CN202010576349.5A CN202010576349A CN111861954A CN 111861954 A CN111861954 A CN 111861954A CN 202010576349 A CN202010576349 A CN 202010576349A CN 111861954 A CN111861954 A CN 111861954A
- Authority
- CN
- China
- Prior art keywords
- image
- attribute
- editing
- face
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000015654 memory Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种编辑人脸的方法、装置、电子设备和可读存储介质，涉及图像处理、深度学习技术领域。本申请在编辑人脸时所采用的实现方案为：获取待处理图像中的人脸图像；根据编辑属性对所述人脸图像进行属性转换，生成属性图像；对所述属性图像进行语义分割之后，根据所述编辑属性来处理语义分割图像，生成掩码图像；利用所述掩码图像将所述属性图像与所述待处理图像进行融合，生成结果图像。本申请能够实现在不同需求下对人脸中不同部位的自由编辑，增加了人脸编辑的灵活性。
Description
技术领域
本申请涉及互联网技术领域，尤其涉及图像处理、深度学习技术领域中的一种编辑人脸的方法、装置、电子设备和可读存储介质。
背景技术
当前，短视频类、视频直播类的应用受到越来越多用户的广泛使用。而在这些应用中，包含有与人脸相关的交互功能，例如人脸美妆、人脸塑性、人脸编辑、人脸表情触发动画特效等。
其中，现有技术通常采用将预先设定好的贴纸与人脸进行融合来实现人脸编辑。但是通过人工设定贴纸的方式进行人脸编辑，一方面成本耗费较大，另一方面对所有用户均使用一套贴纸，无法实现在不同需求下对人脸中不同部位的自由编辑。
发明内容
本申请为解决技术问题所采用的技术方案是提供一种编辑人脸的方法，包括：获取待处理图像中的人脸图像；根据编辑属性对所述人脸图像进行属性转换，生成属性图像；对所述属性图像进行语义分割之后，根据所述编辑属性来处理语义分割图像，生成掩码图像；利用所述掩码图像将所述属性图像与所述待处理图像进行融合，生成结果图像。
本申请为解决技术问题所采用的技术方案是提供一种编辑人脸的装置，包括：获取单元，用于获取待处理图像中的人脸图像；转换单元，用于根据编辑属性对所述人脸图像进行属性转换，生成属性图像；处理单元，用于对所述属性图像进行语义分割之后，根据所述编辑属性来处理语义分割图像，生成掩码图像；融合单元，用于利用所述掩码图像将所述属性图像与所述待处理图像进行融合，生成结果图像。
上述申请中的一个实施例具有如下优点或有益效果：本申请能够降低编辑人脸的成本，实现在不同需求下对人脸中不同部位的自由编辑，增加人脸编辑的灵活性。因为采用了根据编辑属性处理语义分割图像生成掩码图像的技术手段，所以克服了现有技术中通过贴纸进行人脸融合所导致的成本较高、编辑灵活性较低的技术问题，实现了增加人脸编辑的灵活性的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2A～2E是根据本申请第二实施例的示意图；
图3是根据本申请第三实施例的示意图；
图4是用来实现本申请实施例的编辑人脸的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的示意图。如图1中所示，本实施例的编辑人脸的方法，具体可以包括如下步骤：
S101、获取待处理图像中的人脸图像；
S102、根据编辑属性对所述人脸图像进行属性转换，生成属性图像；
S103、对所述属性图像进行语义分割之后，根据所述编辑属性来处理语义分割图像，生成掩码图像；
S104、利用所述掩码图像将所述属性图像与所述待处理图像进行融合，生成结果图像。
本实施例的编辑人脸的方法，能够实现在不同需求下对人脸中不同部位的自由编辑，从而增加了人脸编辑的灵活性。
本实施例中的待处理图像可以为单张图像，也可以为从视频中拆分得到的各帧图像。若本实施例中的待处理图像为视频中的各帧图像，则在获取对应各帧图像的结果图像之后，依次组合各结果图像来生成结果视频。
本实施例在获取待处理图像中的人脸图像时，可以采用以下方式：对待处理图像进行人脸关键点检测，获取人脸关键点信息；根据所获取的人脸关键点信息，从待处理图像中抠取得到人脸图像。
可以理解的是，本实施例也可以使用预先训练得到的神经网络模型来从图像中获取人脸图像，本实施例对获取人脸图像的方式不进行限定。
由于不同的待处理图像可能具有不同的尺寸，为了确保对不同尺寸的待处理图像均能够完成人脸的编辑，本实施例在获取人脸图像之后，还可以将人脸图像仿射变换到预设尺寸，其中预设尺寸可以为256*256。
为了能够获取效果更好的属性图像，本实施例在根据编辑属性对人脸图像进行属性转换之前，还可以包含以下内容：对人脸图像进行与编辑属性对应的预处理，其中不同的编辑属性对应不同的预处理。
举例来说，若编辑属性为“变小”，若与该编辑属性对应的预处理为warp(变形)，则本实施例在根据编辑属性对人脸图像进行属性转换之前，所进行的预处理为缩小人脸图像中人脸的下巴；若编辑属性为“变女”，若与该编辑属性对应的预处理为padding(填充)，则本实施例在根据编辑属性对人脸图像进行属性转换之前，所进行的预处理为填充人脸图像中的背景(即填充头发)。
本实施例在获取人脸图像之后，根据编辑属性对人脸图像进行属性转换，生成对应人脸图像的属性图像。其中，本实施例中的编辑属性包含性别属性以及年龄属性中的至少一种，性别属性包含变男或变女，年龄属性包含变小或变老，即本实施例对图像中人脸的性别和/或年龄进行转换。
因此，在本实施例生成的属性图像中，除了人脸的属性发生了变化之外，图像中人脸的身份、表情、姿态等特征均保持不变。以编辑属性为“变老”为例，本实施例在输入用户A的一张青年的人脸图像之后，所生成的属性图像为用户A的一张老年的人脸图像，老年图像中用户A的表情、姿态等特征均与青年图像中的一致。
本实施例中的编辑属性可以根据用户的选择来确定。本实施例也可以根据对应当前属性的属性来确定编辑属性，若当前属性为年轻，对应当前属性的属性为年老，则编辑属性可以为“变老”；若当前属性为女，对应当前属性的属性为男，则编辑属性可以为“变男”。
本实施例在根据编辑属性对人脸图像进行属性转换以生成属性图像时，可以首先获取与编辑属性对应的贴纸，然后所获取的贴纸与人脸图像进行融合，得到属性图像。
本实施例在根据编辑属性对人脸图像进行属性转换以生成属性图像时，还可以采用以下方式：将编辑属性以及人脸图像输入预先训练得到的属性编辑模型中，将属性编辑模型的输出结果作为属性图像。其中，本实施例中的属性编辑模型属于深度学习神经网络，其能够根据编辑属性自动地对人脸图像中人脸的属性进行编辑，从而得到属性转换之后的属性图像。
可以理解的是，本实施例中的属性编辑模型为生成对抗网络中的生成模型，通过在训练生成对抗网络时对前景图像、融合掩码以及背景图像同时进行建模的方式，使得训练得到的生成模型能够填补所生成属性图像中背景的缺失部分，从而获得转换效果更好的属性图像。
本实施例在获取对应人脸图像的属性图像之后，首先对所生成的属性图像进行语义分割获取语义分割图像，然后根据编辑属性对所获取的语义分割图像进行处理，从而生成掩码图像。其中，本实施例生成的掩码图像为0和1组成的一个二进制图像，该掩码图像用以控制图像融合的区域，掩码图像中像素值为1的区域选取属性图像中的内容，像素值为0的区域则选取待处理图像中的内容。
其中，本实施例进行的语义分割即为将属性图像中人脸的各个部位进行分割，例如将人脸中的眼睛、鼻子、嘴巴、眉毛、头发等部位划分出来，在语义分割图像中使用不同的颜色来表示不同的部位。本实施例可以使用现有技术对属性图像进行语义分割以得到语义分割图像，在此不进行赘述。
本实施例在根据编辑属性来处理语义分割图像以生成掩码图像时，可以采用以下方式：确定与编辑属性对应的编辑部位，不同的编辑属性对应的编辑部位也不同；将语义分割图像中属于所确定的编辑部位的像素的值设置为1，其他像素的值设置为0，得到掩码图像。
举例来说，若编辑属性为“变老”，若对应该编辑属性的编辑部位为眼睛、鼻子、嘴巴、眉毛、下巴、脸颊、额头，则将语义分割图像中属于上述部位像素的值设置为1，其他像素的值设置为0；若编辑属性为“变女”，若对应该编辑属性的编辑部位为眼睛、嘴巴、眉毛、下巴，则将语义分割图像中属于上述部位像素的值设置为1，其他像素的值设置为0。
因此，本实施例通过结合编辑属性对语义分割图像进行处理，使得所生成的掩码图像能够对应于不同的编辑属性，从而实现在不同的需求下对人脸中的不同部位进行自由编辑的目的。
本实施例在生成掩码图像之后，利用所生成的掩码图像将属性图像与待处理图像进行融合，从而生成待处理图像所对应的结果图像。
另外，本实施例在利用所生成的掩码图像将属性图像与待处理图像进行融合之前，还可以包含以下内容：对属性图像进行超分辨率处理，生成超清属性图像；利用掩码图像，将超清属性图像与待处理图像进行融合。
本实施例通过超分辨率处理得到超清属性图像，一方面能够扩大属性图像的尺寸(例如将256*256的图像扩大为512*512的图像)，从而更好地匹配用户人脸的尺寸；另一方面则能够去除属性图像中存在的模糊。
为了提升属性图像与待处理图像之间融合的准确性，本实施例在利用掩码图像将属性图像与待处理图像进行融合时，可以采用以下方式：根据人脸位置，将掩码图像、属性图像以及待处理图像进行对齐；确定待处理图像中对应掩码图像中像素值为0的区域，保持该区域的图像内容不变；确定待处理图像中对应掩码图像中像素值为1的区域，将该区域的图像内容替换为属性图像中对应区域的图像内容。
也就是说，本实施例根据所生成的掩码图像来融合属性图像与待处理图像，由于掩码图像与编辑属性相对应，仅使用属性图像中对应的图像内容来替换待处理图像中的图像内容，从而实现在不同需求下对人脸中的不同部位进行自由编辑的目的，提升了人脸编辑的灵活性。
可以理解的是，若本实施例在获取人脸图像之后进行了尺寸变换，则本实施例在根据人脸位置，将掩码图像、属性图像以及待处理图像对齐时，还需要将掩码图像以及属性图像的尺寸变换为待处理图像中人脸的尺寸。
通过本实施例所公开的上述方法，首先根据编辑属性转换人脸图像生成属性图像，然后根据编辑属性处理属性图像生成掩码图像，最后利用掩码图像融合属性图像与待处理图像生成结果图像，能够实现在不同需求下对人脸中不同部位的自由编辑，从而增加了人脸编辑的灵活性。
图2A～2E是根据本申请第二实施例的示意图，图2A为待处理图像以及其中的人脸图像，图2B为人脸图像的属性图像，图2C为属性图像的语义分割图像以及掩码图像，图2D为将属性图像的尺寸扩大两倍的超清属性图像，图2E为待处理图像的结果图像，该结果图像与待处理图像相比，除了掩码图像中对应部位的人脸属性(变老)发生了变化之外，其他特征均未发生变化。
图3是根据本申请第三实施例的示意图。如图3中所示，本实施例的编辑人脸的装置，包括：
获取单元301、用于获取待处理图像中的人脸图像；
转换单元302、用于根据编辑属性对所述人脸图像进行属性转换，生成属性图像；
处理单元303、用于对所述属性图像进行语义分割之后，根据所述编辑属性来处理语义分割图像，生成掩码图像；
融合单元304、用于利用所述掩码图像将所述属性图像与所述待处理图像进行融合，生成结果图像。
本实施例中的获取单元301在获取待处理图像中的人脸图像时，可以采用以下方式：对待处理图像进行人脸关键点检测，获取人脸关键点信息；根据所获取的人脸关键点信息，从待处理图像中抠取得到人脸图像。
可以理解的是，获取单元301也可以使用预先训练得到的神经网络模型来从图像中获取人脸图像，本实施例对获取人脸图像的方式不进行限定。
由于不同的待处理图像可能具有不同的尺寸，为了确保对不同尺寸的待处理图像均能够完成人脸的编辑，获取单元301在获取人脸图像之后，还可以将人脸图像仿射变换到预设尺寸，其中预设尺寸可以为256*256。
为了能够获取效果更好的属性图像，转换单元302在根据编辑属性对人脸图像进行属性转换之前，还可以包含以下内容：对人脸图像进行与编辑属性对应的预处理，其中不同的编辑属性对应不同的预处理。
本实施例在获取单元301获取了人脸图像之后，由转换单元302根据编辑属性对人脸图像进行属性转换，生成对应人脸图像的属性图像。其中，转换单元302中的编辑属性包含性别属性以及年龄属性中的至少一种，性别属性包含变男或变女，年龄属性包含变小或变老，即转换单元302对图像中人脸的性别和/或年龄进行转换。
因此，转换单元302生成的属性图像中，除了人脸的属性发生了变化之外，图像中人脸的身份、表情、姿态等特征均保持不变。
转换单元302中的编辑属性可以根据用户的选择来确定。转换单元302也可以根据对应当前属性的属性来确定编辑属性。
转换单元302在根据编辑属性对人脸图像进行属性转换以生成属性图像时，可以首先获取与编辑属性对应的贴纸，然后所获取的贴纸与人脸图像进行融合，得到属性图像。
转换单元302在根据编辑属性对人脸图像进行属性转换以生成属性图像时，还可以采用以下方式：将编辑属性以及人脸图像输入预先训练得到的属性编辑模型中，将属性编辑模型的输出结果作为属性图像。其中，转换单元302中的属性编辑模型能够根据编辑属性自动地对人脸图像中人脸的属性进行编辑，从而得到属性转换之后的属性图像。
本实施例在转换单元302获取对应人脸图像的属性图像之后，由处理单元303首先对所生成的属性图像进行语义分割获取语义分割图像，然后根据编辑属性对所获取的语义分割图像进行处理，从而生成掩码图像。其中，处理单元303生成的掩码图像为0和1组成的一个二进制图像，该掩码图像用以控制图像融合的区域，掩码图像中像素值为1的区域选取属性图像中的内容，像素值为0的区域则选取待处理图像中的内容。
其中，处理单元303进行的语义分割即为将属性图像中人脸的各个部位进行分割，例如将人脸中的眼睛、鼻子、嘴巴、眉毛、头发等部位划分出来，在语义分割图像中使用不同的颜色来表示不同的部位。
处理单元303在根据编辑属性来处理语义分割图像以生成掩码图像时，可以采用以下方式：确定与编辑属性对应的编辑部位，不同的编辑属性对应的编辑部位也不同；将语义分割图像中属于所确定的编辑部位的像素的值设置为1，其他像素的值设置为0，得到掩码图像。
因此，处理单元303通过结合编辑属性对语义分割图像进行处理，使得所生成的掩码图像能够对应于不同的编辑属性，从而实现在不同的需求下对人脸中的不同部位进行自由编辑的目的。
处理单元303在生成掩码图像之后，由融合单元304利用所生成的掩码图像将属性图像与待处理图像进行融合，从而生成待处理图像所对应的结果图像。
另外，融合单元304在利用所生成的掩码图像将属性图像与待处理图像进行融合之前，还可以包含以下内容：对属性图像进行超分辨率处理，生成超清属性图像；利用掩码图像，将超清属性图像与待处理图像进行融合。
融合单元304通过超分辨率处理得到超清属性图像，一方面能够扩大属性图像的尺寸(例如将256*256的图像扩大为512*512的图像)，从而更好地匹配用户人脸的尺寸；另一方面则能够去除属性图像中存在的模糊。
为了提升属性图像与待处理图像之间融合的准确性，融合单元304在利用掩码图像将属性图像与待处理图像进行融合时，可以采用以下方式：根据人脸位置，将掩码图像、属性图像以及待处理图像进行对齐；确定待处理图像中对应掩码图像中像素值为0的区域，保持该区域的图像内容不变；确定待处理图像中对应掩码图像中像素值为1的区域，将该区域的图像内容替换为属性图像中对应区域的图像内容。
也就是说，融合单元304根据所生成的掩码图像来融合属性图像与待处理图像，由于掩码图像与编辑属性相对应，仅使用属性图像中对应的图像内容来替换待处理图像中的图像内容，从而实现在不同需求下对人脸中的不同部位进行自由编辑的目的，提升了人脸编辑的灵活性。
可以理解的是，若获取单元301在获取人脸图像之后进行了尺寸变换，则融合单元304在根据人脸位置，将掩码图像、属性图像以及待处理图像对齐时，还需要将掩码图像以及属性图像的尺寸变换为待处理图像中人脸的尺寸。
根据本申请的实施例，本申请还提供了一种电子设备和一种计算机可读存储介质。
如图4所示，是根据本申请实施例的编辑人脸的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的编辑人脸的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的编辑人脸的方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的编辑人脸的方法对应的程序指令/模块(例如，附图3所示的获取单元301、转换单元302、处理单元303以及融合单元304)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的编辑人脸的方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至编辑人脸的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
编辑人脸的方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息，以及产生与编辑人脸的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，首先根据编辑属性转换人脸图像生成属性图像，然后根据编辑属性处理属性图像生成掩码图像，最后利用掩码图像融合属性图像与待处理图像生成结果图像，能够实现在不同需求下对人脸中不同部位的自由编辑，从而增加了人脸编辑的灵活性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种编辑人脸的方法，包括：
获取待处理图像中的人脸图像；
根据编辑属性对所述人脸图像进行属性转换，生成属性图像；
对所述属性图像进行语义分割之后，根据所述编辑属性来处理语义分割图像，生成掩码图像；
利用所述掩码图像将所述属性图像与所述待处理图像进行融合，生成结果图像。
2.根据权利要求1所述的方法，还包括，
在获取待处理图像中的人脸图像之后，将所述人脸图像变换为预设尺寸。
3.根据权利要求1所述的方法，还包括，
在根据编辑属性对所述人脸图像进行属性转换之前，对所述人脸图像进行与所述编辑属性对应的预处理。
4.根据权利要求1所述的方法，其中，所述根据所述编辑属性来处理语义分割图像，生成掩码图像包括：
确定与所述编辑属性对应的编辑部位；
将语义分割图像中属于所述编辑部位的像素的值设置为1，其他像素的值设置为0，得到掩码图像。
5.根据权利要求1所述的方法，还包括，
在利用所述掩码图像将所述属性图像与所述待处理图像进行融合之前，对所述属性图像进行超分辨率分割，生成超清属性图像；
利用所述掩码图像，将所述超清属性图像与所述待处理图像进行融合。
6.根据权利要求1所述的方法，其中，所述利用所述掩码图像将所述属性图像与所述待处理图像进行融合，生成结果图像包括：
根据人脸位置，将所述掩码图像、所述属性图像以及所述待处理图像进行对齐；
确定所述待处理图像中对应所述掩码图像中像素值为0的区域，保持该区域的图像内容不变；
确定所述待处理图像中对应所述掩码图像中像素值为1的区域，将该区域的图像内容替换为所述属性图像中对应区域的图像内容。
7.一种编辑人脸的装置，包括：
获取单元，用于获取待处理图像中的人脸图像；
转换单元，用于根据编辑属性对所述人脸图像进行属性转换，生成属性图像；
处理单元，用于对所述属性图像进行语义分割之后，根据所述编辑属性来处理语义分割图像，生成掩码图像；
融合单元，用于利用所述掩码图像将所述属性图像与所述待处理图像进行融合，生成结果图像。
8.根据权利要求7所述的装置，所述获取单元还执行，
在获取待处理图像中的人脸图像之后，将所述人脸图像变换为预设尺寸。
9.根据权利要求7所述的装置，所述转换单元还执行，
在根据编辑属性对所述人脸图像进行属性转换之前，对所述人脸图像进行与所述编辑属性对应的预处理。
10.根据权利要求7所述的装置，其中，所述处理单元在根据所述编辑属性来处理语义分割图像，生成掩码图像时，具体执行：
确定与所述编辑属性对应的编辑部位；
将语义分割图像中属于所述编辑部位的像素的值设置为1，其他像素的值设置为0，得到掩码图像。
11.根据权利要求7所述的装置，所述融合单元还执行，
在利用所述掩码图像将所述属性图像与所述待处理图像进行融合之前，对所述属性图像进行超分辨率分割，生成超清属性图像；
利用所述掩码图像，将所述超清属性图像与所述待处理图像进行融合。
12.根据权利要求7所述的装置，其中，所述融合单元在利用所述掩码图像将所述属性图像与所述待处理图像进行融合，生成结果图像时，具体执行：
根据人脸位置，将所述掩码图像、所述属性图像以及所述待处理图像进行对齐；
确定所述待处理图像中对应所述掩码图像中像素值为0的区域，保持该区域的图像内容不变；
确定所述待处理图像中对应所述掩码图像中像素值为1的区域，将该区域的图像内容替换为所述属性图像中对应区域的图像内容。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010576349.5A CN111861954B (zh) | 2020-06-22 | 2020-06-22 | 编辑人脸的方法、装置、电子设备和可读存储介质 |
| EP21170445.7A EP3929876B1 (en) | 2020-06-22 | 2021-04-26 | Face editing method and apparatus, electronic device and readable storage medium |
| US17/241,398 US20210398335A1 (en) | 2020-06-22 | 2021-04-27 | Face editing method, electronic device and readable storage medium thereof |
| KR1020210077701A KR102495252B1 (ko) | 2020-06-22 | 2021-06-15 | 얼굴 편집 방법, 장치, 전자 기기 및 판독 가능 기록 매체 |
| JP2021102321A JP7393388B2 (ja) | 2020-06-22 | 2021-06-21 | 顔編集方法、装置、電子デバイス及び可読記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010576349.5A CN111861954B (zh) | 2020-06-22 | 2020-06-22 | 编辑人脸的方法、装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111861954A true CN111861954A (zh) | 2020-10-30 |
| CN111861954B CN111861954B (zh) | 2024-10-18 |
Family
ID=72988026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010576349.5A Active CN111861954B (zh) | 2020-06-22 | 2020-06-22 | 编辑人脸的方法、装置、电子设备和可读存储介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210398335A1 (zh) |
| EP (1) | EP3929876B1 (zh) |
| JP (1) | JP7393388B2 (zh) |
| KR (1) | KR102495252B1 (zh) |
| CN (1) | CN111861954B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465935A (zh) * | 2020-11-19 | 2021-03-09 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220237751A1 (en) * | 2021-01-28 | 2022-07-28 | Disney Enterprises, Inc. | Techniques for enhancing skin renders using neural network projection for rendering completion |
| US20240062441A1 (en) * | 2021-02-15 | 2024-02-22 | Carnegie Mellon University | System and method for photorealistic image synthesis using unsupervised semantic feature disentanglement |
| KR102705685B1 (ko) * | 2022-10-25 | 2024-09-11 | 에스케이텔레콤 주식회사 | 개인화 얼굴 보정 방법 및 얼굴보정장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050053310A1 (en) * | 2003-09-08 | 2005-03-10 | Pioneer Corporation | Image-processing device, its method, its program and recording medium storing the program |
| CN107123083A (zh) * | 2017-05-02 | 2017-09-01 | 中国科学技术大学 | 人脸编辑方法 |
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| CN111242213A (zh) * | 2020-01-13 | 2020-06-05 | 上海大学 | 无标签的自动人脸属性编辑方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3048141U (ja) | 1997-08-29 | 1998-05-06 | だいしんホーム株式会社 | 画像処理装置 |
| KR101725808B1 (ko) * | 2015-08-27 | 2017-04-26 | 연세대학교 산학협력단 | 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치 |
| GB201608259D0 (en) * | 2016-05-11 | 2016-06-22 | Magic Pony Technology Ltd | Feature transfer |
| US20200082595A1 (en) * | 2017-05-31 | 2020-03-12 | Sony Corporation | Image processing apparatus, image processing system, and image processing method as well as program |
| CN110084775B (zh) * | 2019-05-09 | 2021-11-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111260754B (zh) * | 2020-04-27 | 2020-08-07 | 腾讯科技（深圳）有限公司 | 人脸图像编辑方法、装置和存储介质 |
-
2020
- 2020-06-22 CN CN202010576349.5A patent/CN111861954B/zh active Active
-
2021
- 2021-04-26 EP EP21170445.7A patent/EP3929876B1/en active Active
- 2021-04-27 US US17/241,398 patent/US20210398335A1/en not_active Abandoned
- 2021-06-15 KR KR1020210077701A patent/KR102495252B1/ko active IP Right Grant
- 2021-06-21 JP JP2021102321A patent/JP7393388B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050053310A1 (en) * | 2003-09-08 | 2005-03-10 | Pioneer Corporation | Image-processing device, its method, its program and recording medium storing the program |
| CN107123083A (zh) * | 2017-05-02 | 2017-09-01 | 中国科学技术大学 | 人脸编辑方法 |
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| CN111242213A (zh) * | 2020-01-13 | 2020-06-05 | 上海大学 | 无标签的自动人脸属性编辑方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHANG GANG等: "Generative Adversarial Network with Spatial Attention for Face Attribute Editing", PROCEEDINGS OF ICIAP: INTERNATIONAL CONFERENCE ON IMAGE ANALYSIS AND PROCESSING 2018, 6 October 2018 (2018-10-06), pages 422, XP047488204, DOI: 10.1007/978-3-030-01231-1_26 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465935A (zh) * | 2020-11-19 | 2021-03-09 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022002093A (ja) | 2022-01-06 |
| KR20210157877A (ko) | 2021-12-29 |
| EP3929876A1 (en) | 2021-12-29 |
| EP3929876B1 (en) | 2024-01-03 |
| US20210398335A1 (en) | 2021-12-23 |
| KR102495252B1 (ko) | 2023-02-06 |
| CN111861954B (zh) | 2024-10-18 |
| JP7393388B2 (ja) | 2023-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541963B (zh) | 三维虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN111652828B (zh) | 人脸图像生成方法、装置、设备和介质 | |
| CN111598818B (zh) | 人脸融合模型训练方法、装置及电子设备 | |
| CN111861954B (zh) | 编辑人脸的方法、装置、电子设备和可读存储介质 | |
| US20210241498A1 (en) | Method and device for processing image, related electronic device and storage medium | |
| CN111767846B (zh) | 图像识别方法、装置、设备和计算机存储介质 | |
| US20210398334A1 (en) | Method for creating image editing model, and electronic device and storage medium thereof | |
| CN111709875B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110688948B (zh) | 视频中人脸性别变换方法、装置、电子设备和存储介质 | |
| CN111968203B (zh) | 动画驱动方法、装置、电子设备及存储介质 | |
| CN110443230A (zh) | 人脸融合方法、装置以及电子设备 | |
| CN111368137A (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
| CN111291218B (zh) | 视频融合方法、装置、电子设备及可读存储介质 | |
| CN114187392B (zh) | 虚拟偶像的生成方法、装置和电子设备 | |
| CN112017140B (zh) | 用于处理人物形象数据的方法和装置 | |
| CN112102447A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112381927A (zh) | 图像生成的方法、装置、设备以及存储介质 | |
| CN112508811A (zh) | 图像预处理方法、装置、设备以及存储介质 | |
| CN112560854A (zh) | 用于处理图像的方法、装置、设备以及存储介质 | |
| CN112116548A (zh) | 人脸图像的合成方法、装置 | |
| CN111738913A (zh) | 视频填充方法、装置、设备及存储介质 | |
| CN111680623A (zh) | 姿态转换方法及装置、电子设备、存储介质 | |
| CN112000828A (zh) | 搜索表情图片的方法、装置、电子设备和可读存储介质 | |
| WO2023279922A1 (zh) | 用于生成图像的方法和装置 | |
| CN118674837A (zh) | 一种处理数字人信息的方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |