CN112884637B - 特效生成方法、装置、设备及存储介质 - Google Patents
特效生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112884637B CN112884637B CN202110130196.6A CN202110130196A CN112884637B CN 112884637 B CN112884637 B CN 112884637B CN 202110130196 A CN202110130196 A CN 202110130196A CN 112884637 B CN112884637 B CN 112884637B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- hair
- map
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims abstract description 190
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000004927 fusion Effects 0.000 claims abstract description 172
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000013508 migration Methods 0.000 claims description 52
- 230000005012 migration Effects 0.000 claims description 52
- 238000013528 artificial neural network Methods 0.000 claims description 49
- 230000011218 segmentation Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 10
- 238000002156 mixing Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000012190 activator Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000001356 masculinizing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种特效生成方法、装置、设备及存储介质，其中方法包括：将目标人脸图中的头发区域进行模糊处理，得到模糊头发图；根据所述目标人脸图，生成纹理图、人脸掩膜图和头发掩膜图；将所述人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图；基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图。
Description
技术领域
本公开涉及计算机视觉技术领域，具体涉及一种特效生成方法、装置、设备及存储介质。
背景技术
在视频创作领域常需要对视频中的对象增加特效。特效生成作为图像生成研究的新兴主题，逐渐成为计算机视觉和图像学中重要的热门主题。并且，特效生成在很多图像生成技术领域有着重要应用，例如性别转换特效、风格迁移特效、各类饰品的添加特效。
发明内容
本公开提供了一种特效生成方法、装置、设备及存储介质。
根据本公开实施例的第一方面，提供一种特效生成方法，所述方法包括：将目标人脸图中的头发区域进行模糊处理，得到模糊头发图；根据所述目标人脸图，生成纹理图、人脸掩膜图和头发掩膜图；将所述人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图；基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图。
在一些可选实施例中，根据所述融合掩膜图确定所述融合比例，包括：基于所述融合掩膜图中的不同区域，分别确定所述纹理图中对应区域的融合比例，以及确定所述模糊头发图中对应区域的融合比例。
在一些可选实施例中，所述将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图，包括：根据所述纹理图中的像素值和所述纹理图的融合比例，确定第一像素值集合；根据所述模糊头发图的像素值和所述模糊头发图的融合比例，确定第二像素值集合；基于所述第一像素值集合和所述第二像素值集合，确定所述目标人脸图的特效图中的像素值。
在一些可选实施例中，在所述得到所述目标人脸图的特效图之后，所述方法还包括：将所述目标人脸图的特效图与原始人脸图进行融合，得到原始特效图。
在一些可选实施例中，所述方法还包括：基于所述原始特效图中的性别信息，对所述原始特效图中的人脸轮廓进行调整，和/或对所述原始特效图进行美颜处理。
在一些可选实施例中，所述将目标人脸图中的头发区域进行模糊处理，得到模糊头发图，包括：将所述目标人脸图进行头发分割，得到头发分割图；基于所述头发分割图，将所述目标人脸图中的头发区域按照背景像素进行填充，得到所述模糊头发图。
在一些可选实施例中，所述根据所述目标人脸图，生成纹理图、人脸掩膜图和头发掩膜图，包括：获取所述目标人脸图中的人脸关键点信息；根据所述人脸关键点信息，确定所述目标人脸图对应的人脸热图；将所述人脸热图输入预先训练的深度神经网络，得到所述纹理图、人脸掩膜图和头发掩膜图。
在一些可选实施例中，所述深度神经网络包括编码器和解码器；所述编码器，用于根据卷积滤波器对所述人脸热图进行编码操作；所述解码器，用于根据卷积滤波器对所述人脸热图进行解码操作。
在一些可选实施例中，所述获取所述目标人脸图中的人脸关键点信息，包括：基于预先训练的人脸关键点检测网络，获取所述目标人脸图中的人脸关键点信息；所述人脸关键点检测网络是根据样本人脸图进行训练得到，其中，所述样本人脸图中包括人脸角度大于预设角度阈值的样本人脸图。
在一些可选实施例中，所述方法还包括：基于所述目标人脸图中人脸区域的颜色，对所述纹理图中的人脸区域进行颜色迁移处理，得到迁移处理后的纹理图；其中，所述迁移处理后的纹理图中的人脸区域的颜色与所述目标人脸图中人脸区域的颜色一致；所述基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图，包括：基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和迁移处理后的纹理图进行融合，得到所述目标人脸图的特效图。
在一些可选实施例中，所述基于所述目标人脸图中人脸区域的颜色，对所述纹理图中的人脸区域进行颜色迁移处理，得到迁移处理后的纹理图，包括：根据所述纹理图中人脸区域像素的颜色值，得到第一颜色平均值；根据所述目标人脸图中人脸区域像素的颜色值，得到第二颜色平均值；基于所述第一颜色平均值和所述第二颜色平均值，对所述纹理图中人脸区域像素的颜色值进行更新，得到所述迁移处理后的纹理图。
在一些可选实施例中，在所述将所述人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图之后，还包括：对所述融合掩膜图中的眼睛区域和嘴巴区域的像素值进行调整，以根据调整后的融合掩膜图确定眼睛区域和嘴巴区域的融合比例。
根据本公开实施例的第二方面，提供一种特效生成装置，所述装置包括：模糊处理模块，用于将目标人脸图中的头发区域进行模糊处理，得到模糊头发图；目标人脸图处理模块，用于根据所述目标人脸图，生成纹理图、人脸掩膜图和头发掩膜图；掩膜图融合模块，用于将所述人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图；特效图生成模块，用于基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图。
在一些可选实施例中，所述特效图生成模块，包括：融合比例确定子模块，用于基于所述融合掩膜图中的不同区域，分别确定所述纹理图中对应区域的融合比例，以及确定所述模糊头发图中对应区域的融合比例。
在一些可选实施例中，所述特效图生成模块，在用于将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图时，包括：根据所述纹理图中的像素值和所述纹理图的融合比例，确定第一像素值集合；根据所述模糊头发图的像素值和所述模糊头发图的融合比例，确定第二像素值集合；基于所述第一像素值集合和所述第二像素值集合，确定所述目标人脸图的特效图中的像素值。
在一些可选实施例中，所述装置还包括：原始特效图生成模块，用于将所述目标人脸图的特效图与原始人脸图进行融合，得到原始特效图。
在一些可选实施例中，所述装置还包括：调整处理模块，用于基于所述原始特效图中的性别信息，对所述原始特效图中的人脸轮廓进行调整，和/或对所述原始特效图进行美颜处理。
在一些可选实施例中，所述模糊处理模块，在用于将目标人脸图中的头发区域进行模糊处理，得到模糊头发图时，包括：将所述目标人脸图进行头发分割，得到头发分割图；基于所述头发分割图，将所述目标人脸图中的头发区域按照背景像素进行填充，得到所述模糊头发图。
在一些可选实施例中，所述目标人脸图处理模块，包括：人脸关键点子模块，用于获取所述目标人脸图中的人脸关键点信息；人脸热图子模块，用于根据所述人脸关键点信息，确定所述目标人脸图对应的人脸热图；神经网络子模块，用于将所述人脸热图输入预先训练的深度神经网络，得到所述纹理图、人脸掩膜图和头发掩膜图。
在一些可选实施例中，所述深度神经网络包括编码器和解码器；所述编码器，用于根据卷积滤波器对所述人脸热图进行编码操作；所述解码器，用于根据卷积滤波器对所述人脸热图进行解码操作。
在一些可选实施例中，所述人脸关键点子模块，在用于获取所述目标人脸图中的人脸关键点信息时，包括：基于预先训练的人脸关键点检测网络，获取所述目标人脸图中的人脸关键点信息；所述人脸关键点检测网络是根据样本人脸图进行训练得到，其中，所述样本人脸图中包括人脸角度大于预设角度阈值的样本人脸图。
在一些可选实施例中，所述装置还包括：颜色迁移模块，用于基于所述目标人脸图中人脸区域的颜色，对所述纹理图中的人脸区域进行颜色迁移处理，得到迁移处理后的纹理图；其中，所述迁移处理后的纹理图中的人脸区域的颜色与所述目标人脸图中人脸区域的颜色一致；所述特效图生成模块，在用于基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图时，包括：基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和迁移处理后的纹理图进行融合，得到所述目标人脸图的特效图。
在一些可选实施例中，所述颜色迁移模块，在用于基于所述目标人脸图中人脸区域的颜色，对所述纹理图中的人脸区域进行颜色迁移处理，得到迁移处理后的纹理图时，包括：根据所述纹理图中人脸区域像素的颜色值，得到第一颜色平均值；根据所述目标人脸图中人脸区域像素的颜色值，得到第二颜色平均值；基于所述第一颜色平均值和所述第二颜色平均值，对所述纹理图中人脸区域像素的颜色值进行更新，得到所述迁移处理后的纹理图。
在一些可选实施例中，所述装置还包括：像素值调整模块，用于对所述融合掩膜图中的眼睛区域和嘴巴区域的像素值进行调整，以根据调整后的融合掩膜图确定眼睛区域和嘴巴区域的融合比例。
根据本公开实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中任一项所述的特效生成方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面中任一所述的特效生成方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述程序被处理器执行时实现第一方面中任一所述的特效生成方法。
本公开实施例中，通过将目标人脸图像的头发区域进行模糊处理得到模糊头发图，再根据目标人脸图生成纹理图、人脸掩膜图和头发掩膜图，并将人脸掩膜图和头发掩膜图进一步融合得到融合掩膜图，从而可以根据融合掩膜图确定的融合比例将模糊头发图和纹理图进行融合，生成更加真实、自然的特效图。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种特效生成方法；
图2是根据一示例性实施例示出的一种模糊头发图示意图；
图3是根据一示例性实施例示出的一种头发分割图示意图；
图4是根据一示例性实施例示出的一种纹理图、人脸掩膜图和头发掩膜图的示意图；
图5(a)是根据一示例性实施例示出的一种融合掩膜图示意图；
图5(b)是根据一示例性实施例示出的又一种融合掩膜图示意图；
图6是根据一示例性实施例示出的一种特效图示意图；
图7是根据一示例性实施例示出的一种目标人脸图处理流程图；
图8是根据一示例性实施例示出的一种人脸热图示意图；
图9是根据一示例性实施例示出的一种深度神经网络示意图；
图10是根据一示例性实施例示出的又一种特效生成方法流程图；
图11是根据一示例性实施例示出的一种图像处理流程示意图；
图12是根据一示例性实施例示出的一种特效生成装置示意图；
图13是根据一示例性实施例示出的又一种特效生成装置示意图；
图14是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的具体方式并不代表与本公开相一致的所有方案。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在视频特效领域，常需要对视频中的对象增加各种特效，以达到更佳的视觉效果。特效生成作为图像生成研究领域的新兴主题，逐渐成为计算机视觉和图像学中的热门主题。并且，特效生成技术在很多图像生成领域有着重要应用，例如，基于特效生成技术可以对图像处理实现性别转换、风格迁移、饰品添加等特效。例如，在一些短视频拍摄应用或美颜相机中，可以向用户提供性别转换的特效功能，以由用户基于性别转换特效在拍摄得到的短视频或照片中实现性别的转换。比如，男性用户基于性别转换特效，可以拍摄得到女性化的照片。或者，女性用户基于性别转换特效，可以拍摄得到男性化的照片。
基于以上，本公开提供了一种特效生成方法，可以将目标人脸图中的头发区域进行模糊处理，得到模糊头发图；根据目标人脸图生成纹理图、人脸掩膜图和头发掩膜图；将人脸掩膜图和头发掩膜图进行融合得到融合掩膜图；基于融合掩膜图确定的融合比例，将模糊头发图和纹理图进行融合，得到目标人脸图的特效图。
为了使本公开提供的特效生成方法更加清楚，下面结合附图和具体实施例对本公开提供的方案执行过程进行详细描述。
参见图1，图1是本公开提供的实施例示出的一种特效生成方法流程图。如图1所示，该流程包括：
步骤101，将目标人脸图中的头发区域进行模糊处理，得到模糊头发图。
本公开实施例中，目标人脸图是包含目标人脸的、待进行特效处理的图像。例如，可以从视频录制设备中获取包含目标人脸的图像帧，按照本公开的特效生成方法进行特效处理，获取的该图像帧即为目标人脸图。
其中，目标人脸可以包括图像中出现的第一张人脸，其中第一张人脸可以包括从任何方向开始出现的第一张人脸。示例性的，目标人脸可以包括图像中左侧开始出现的第一张人脸，或者图像中右侧开始出现的第一张人脸。可选的，目标人脸可以包括图像中的全部人脸，或者包括图像中符合特定要求的人脸。其中，特定要求可以为预先进行自定义的筛选图像中目标人脸的条件。示例性的，可以由用户自行选择图像中的人脸作为符合特定要求的目标人脸。或者，可以预先定义特定要求为特定面部属性，只有在图像中人脸满足特定面部属性的情况下，才可以作为目标人脸。例如，可以预先定义人脸面部完整程度，并将人脸面部完整程度符合要求的人脸作为目标人脸。
在一些可选实施例中，在所述将目标人脸图中的头发区域进行模糊处理之前，所述方法还包括：获取待处理的原始人脸图；将所述原始人脸图进行调整处理，得到预设尺寸和/或预设角度的所述目标人脸图。
由于图像采集设备或视频录制设备的规格不同，获取的图像尺寸各不相同。其中，图像采集设备采集的包括目标人脸的图像，可以称为原始人脸图像。由于原始人脸图像的尺寸通常不统一，不便于对图像中的目标人脸进行进一步检测或处理。例如，基于深度神经网络对目标人脸图进行处理的情况下，深度神经网络通常要求作为网络输入的图像的尺寸保持一致。
上述实施例中，可以将原始人脸图进行调整处理，得到符合预设尺寸的目标人脸图。其中，调整处理可以包括对原始人脸图进行裁剪处理。例如，可以将原始人脸图进行裁剪，得到符合预设尺寸要求的图像作为目标人脸图。比如，可以将原始人脸图裁剪为分辨率为512*384的目标人脸图。
或者，调整处理可以包括对原始人脸图进行角度调整。由于原始人脸图中目标人脸的角度各不相同，可能导致生成的特效方向不一致，影响用户对特效的观感，所以有必要对目标人脸的角度进行调整。本实施例中可以将原始人脸图进行角度调整，得到符合角度要求的目标人脸图。其中，角度要求可以预先根据实际特效方向进行自定义。示例性的，可以预先定义目标人脸在目标人脸图中不存在左右侧倾。
示例性的，可以将原始人脸图裁剪为分辨率为512*384的目标人脸图。在一种可能的实现方式中，可以在调整处理过程中保证目标人脸处于图像中央、保证图像中头发区域的完整性，以便于对目标人脸图进行特效处理。
其中，调整过程中保证目标人脸处于图像中央的具体方式可由多种形式实现，本实施例不限制。例如，可以检测出原始人脸图中目标人脸的人脸框，以人脸框的中心点为基础将人脸框的范围向外扩展，直到达到预设的尺寸要求并进行裁剪。
其中，调整过程中保证图像中头发区域的完整性的具体方式可以包括多种不同实现方式，本实施例并不限制。示例性的，可以在检测出原始人脸图中目标人脸的基础上，确定目标人脸的大小范围或倾斜角度并结合经验值，确定目标人脸对应的头发区域在图像中的范围，从而在裁剪过程中包括头发区域。示例性的，可以预先利用训练样本对深度神经网络进行训练得到可用于识别图像中头发区域的头发分割模型，由该头发分割模型确定图像中目标人脸的头发区域，以在裁剪时确定头发区域的裁剪范围。
可以理解的是，对原始人脸图进行调整处理的方式可以包括多种不同形式，凡是可以得到预设尺寸图像的调整处理方式，均可作为本实施例的调整处理的方式。该方式得到的目标人脸图的尺寸统一，便于进行特效处理。
在一种可能的实现方式中，所述将所述原始人脸图进行调整处理，得到预设尺寸和/或预设角度的所述目标人脸图，包括：将所述原始人脸图进行裁剪处理，得到裁剪人脸图；对所述裁剪人脸图进行仿射变换，得到预设尺寸的所述目标人脸图。
上述实现方式中，可以首先对原始人脸图进行裁剪处理，得到包含目标人脸的裁剪人脸图。若裁剪人脸图的尺寸符合预设尺寸，则可将该裁剪人脸图作为目标人脸图；若裁剪人脸图的尺寸不符合预设尺寸，则可对裁剪人脸图进行仿射变换，得到预设尺寸的变换后图像，作为目标人脸图。该方式中，在裁剪处理后的图像不符合预设尺寸的情况下，可以对裁剪处理后图像进行仿射变换得到尺寸统一的目标人脸图，以便于对目标人脸图进行特效处理。
在得到目标人脸图后，本步骤可以将目标人脸图中的头发区域进行模糊处理，得到模糊头发图。本步骤可以将目标人脸图中的头发区域进行模糊处理，使得头发区域被遮挡或模糊化以隐藏头发像素，得到模糊头发图。如图2所示，是对目标人脸图进行模糊处理后得到的模糊头发图。
在一种可能的实现方式中，可以将目标人脸图进行头发分割，得到头发分割图；基于头发分割图，将目标人脸图中的头发区域按照背景像素进行填充，得到所述模糊头发图。
上述实现方式中，可以将目标人脸图中的头发区域进行分割处理，得到头发分割图。如图3，示出一种头发分割图。其中，将目标人脸图中的头发区域进行分割处理的具体方式，本实施例并不限制。示例性的，可以基于可学习的机器学习模型或神经网络模型，预先训练得到符合要求的可用于对目标人脸图中的头发区域进行分割处理的分割模型，从而可以将目标人脸图输入该分割模型并由该分割模型输出对应的头发分割图。
在得到头发分割图的基础上，可以进一步确定目标人脸图中目标人脸对应的头发区域。本实施例中，进一步可以将目标人脸图中头发区域的像素重新填充为背景像素，以用背景像素遮挡目标人脸图中的头发区域，得到模糊头发图。如图2所示，将目标图像中目标人脸的头发区域的像素均填充为背景像素后，目标人脸的头发区域的原有像素被替换为背景像素，即利用背景像素实现了对头发区域的遮挡，最终得到了模糊头发图。
其中，背景像素可以是人脸图像中人体对象之后的背景图像上的一个像素。示例性的，目标人脸图中与头发区域相邻或不相邻区域的任一像素，均可以作为背景像素填充至头发区域，实现对目标人脸图中头发区域的模糊处理。可以理解的是，凡是可以用来遮挡头发区域的像素均可以作为背景像素，本实施例并不限制背景像素的具体像素或像素值，也不限制该背景像素的获取方式。
步骤102，根据所述目标人脸图，生成纹理图、人脸掩膜图和头发掩膜图。
在一种可能的实现方式中，可以将目标人脸图作为预先训练的深度神经网络的网络输入，由该深度神经网络输出目标人脸图对应的纹理图、人脸掩膜图和头发掩膜图。该方式中可以预先收集大量样本人脸图作为训练样本，并且将样本人脸图对应的纹理图、人脸掩膜图和头发掩膜图作为标签值。在对深度神经网络进行训练的过程中，可以将样本人脸图输入待训练的深度神经网络，并由该深度神经网络输出预测的纹理图、人脸掩膜图和头发掩膜图，根据预测的纹理图、人脸掩膜图和头发掩膜图与标签值之间的差异，调整网络参数。
在一种可能的实现方式中，可以将目标人脸图对应的人脸热图作为预先训练的深度神经网络的网络输入，由该深度神经网络根据人脸热图输出对应的纹理图、人脸掩膜图和头发掩膜图。其中，可以首先获取目标人脸图中的人脸关键点信息；根据人脸关键点信息，确定目标人脸图对应的人脸热图；从而，可以将人脸热图输入预先训练的深度神经网络。该方式中可以预先收集大量样本人脸图，根据样本人脸图中的人脸关键点信息得到对应的人脸热图作为网络输入。并且，由人工对样本人脸图对应的人脸掩膜图和头发掩膜图进行标注，基于人脸掩膜图和头发掩膜图确定纹理图在样本人脸图中的区域，并根据确定的区域从样本人脸图中的对应区域的图像作为样本人脸图的纹理图并进行标注。在进行训练过程中，将人脸热图作为输入待训练的深度神经网络，并由该深度神经网络输出预测的纹理图、人脸掩膜图和头发掩膜图，根据输出结果与标注的标签值之间的差异调整网络参数。
在训练得到深度神经网络后，本步骤可以基于深度神经网络，根据目标人脸图生成对应的纹理图、人脸掩膜图和头发掩膜图。其中，人脸掩膜图用于表示最终特效图中的人脸区域，头发掩膜图用于表示最终特效图中的头发区域。例如，人脸掩膜图中对应人脸区域的像素值为1，其他区域的像素值为0；头发掩膜图中，对应头发区域的像素值为1，其他区域的像素值为0。
示例性的，如图4所示，深度神经网络可以根据目标人脸图输出对应的(a)纹理图、(b)人脸掩膜图(face mask)和(c)头发掩膜图(hair mask)。其中，(a)纹理图为与目标人脸图性别不同的人脸图像。例如，目标人脸图中是男性的情况下，本实施例生成的纹理图中的人脸可以是包含女性特征的纹理图。(b)人脸掩膜图中，人脸区域像素的像素值是“1”，其他部分的像素值是“0”，以此区别特效图中的人脸区域。(c)头发掩膜图中，头发区域的像素的像素值是“1”，其他部分的像素值是“0”，以此区别特效图中的头发区域。
步骤103，将所述人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图。
在得到目标人脸图对应的纹理图、人脸掩膜图和头发掩膜图后，本步骤可以将人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图。示例性的，可以将人脸掩膜图和头发掩膜图进行对应像素相加，得到融合掩膜图。
在一种可能的实现方式中，可以基于预先设置的权重值，对人脸掩膜图和头发掩膜图中的像素值进行加权求和，以改变融合掩膜图中人脸区域或头发区域的像素值。例如，可以通过加权求和的方式，将融合掩膜图中人脸区域的像素值更新为“0.5”，将融合掩膜图中头发区域的像素值保持“1”，其他部分的像素值保持“0”。基于融合掩膜图中不同的像素值，可以区别出人脸区域、头发区域和其他背景区域。
示例性的，本步骤可以将图4所示的(b)人脸掩膜图(face mask)和(c)头发掩膜图(hair mask)进行融合处理，得到如图5(a)所示的融合掩膜图。
在一些可选实施例中，在所述将所述人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图之后，还包括：对所述融合掩膜图中的眼睛区域和嘴巴区域的像素值进行调整，根据调整后的融合掩膜图确定眼睛区域和嘴巴区域的融合比例。从而，可以在基于所述模糊头发图得到的特效图中保留目标人脸的眼睛特征和嘴巴特征。
为了最终生成的特效图能够保留目标人脸的更多特征，上述实施例中，可以将融合掩膜图中的眼睛区域和嘴巴区域的像素值进行调整，得到最终的融合掩膜图。在一种可能的实现方式中，可以根据目标人脸对应的人脸关键点确定融合掩膜图中对应的眼睛区域和嘴巴区域。进一步的，可以将融合掩膜图中眼睛区域和嘴巴区域的像素值进行更新。例如，可以将融合掩膜图中眼睛区域和嘴巴区域的像素值更新为“0”。以此可以将眼睛区域和嘴巴区域，从人脸区域中区别出来，便于在生成特效图的过程中保留目标人脸的眼睛特征和嘴巴特征。
如图5(b)所示，为图5(a)进行眼睛区域和嘴巴区域像素值更新后的融合掩膜图。如图5(a)，其中包括眼睛区域和嘴巴区域的人脸区域的像素值为0.5，并不能区分出人脸区域中的眼睛区域或嘴巴区域。本实施例中可以将嘴巴区域和眼睛区域的像素值更新为“0”，如图5(b)所示。
基于预先训练的深度神经网络，根据目标人脸图生成的纹理图中的人脸区域的颜色与训练样本中的人脸区域的颜色保持一致。但是，实际特效处理中的目标人脸图中的人脸区域的颜色各种各样，若将深度神经网络生成的纹理图直接进行融合处理，可能会导致生成的特效图中的人脸颜色与目标人脸的实际颜色差异过大、与脖子区域的颜色差异过大，造成特效图不够真实。
在一些可选实施例中，还可以基于所述目标人脸图中人脸区域的颜色，对所述纹理图中的人脸区域进行颜色迁移处理，得到迁移处理后的纹理图；其中，所述迁移处理后的纹理图中的人脸区域的颜色与所述目标人脸图中人脸区域的颜色一致。在一种可能的实现方式中，可以根据所述纹理图中人脸区域像素的颜色值，得到第一颜色平均值；根据所述目标人脸图中人脸区域像素的颜色值，得到第二颜色平均值；基于所述第一颜色平均值和所述第二颜色平均值，对所述纹理图中人脸区域像素的颜色值进行更新，得到所述迁移处理后的纹理图。其中，像素的颜色值用于表征像素的颜色特征。例如，在Lab(Lab模式是根据Commission International Eclairage(CIE)在1931年所制定的一种测定颜色的国际标准建立的，于1976年被改进，并且命名的一种色彩模式)色彩模式下，每个像素的Lab值可以作为本实施例的颜色值。
颜色迁移处理后的纹理图中的像素与目标人脸图中人脸区域的像素的颜色，从视觉效果上趋于一致。具体的，在Lab色彩模式下，经过颜色迁移处理后纹理图中人脸区域的像素的Lab值与目标人脸图中人脸区域的像素的Lab值的差异趋近于0，所以从视觉效果上迁移处理后的纹理图的人脸区域的颜色与目标人脸图中人脸区域的颜色一致。
以Lab色彩模式为例，本实施例可以将纹理图中的人脸区域像素的Lab值求平均值，得到纹理图中的人脸区域像素的平均Lab值；将目标人脸图中人脸区域像素的Lab值求平均值，得到目标人脸图中的人脸区域的平均Lab值。进一步的，可以将纹理图中人脸区域的像素的Lab值，减去纹理图中的人脸区域像素的平均Lab值，再加上目标人脸图中的人脸区域的平均Lab值，得到更新后的纹理图中的人脸区域的像素的Lab值，实现了对纹理图中人脸区域的像素的Lab值的更新，即得到了迁移处理后的纹理图。该方式中以Lab色彩模式，实现了对纹理图中的人脸区域进行颜色迁移处理，可以使目标人脸图中的人脸与纹理图中的人脸颜色一致。防止生成的特效图中的人脸颜色与目标人脸的实际颜色差异过大、与脖子区域的颜色差异过大，从而生成的特效图更加真实、自然。
上述实施例中，可以基于目标人脸图中人脸区域的颜色，对纹理图中的人脸区域进行颜色迁移处理，使得迁移处理后的纹理图中的人脸区域的颜色与目标人脸图中人脸区域的颜色一致。该方式得到的迁移处理后的纹理图中人脸颜色，与目标人脸图中的人脸颜色保持一致，人脸与脖子之间的颜色差异减小，最终生成的特效图更加真实、自然。
步骤104，基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图。
在得到融合掩膜图后，本步骤可以根据融合掩膜图确定模糊头发图和纹理图的融合比例。其中，融合比例用于表示图像中不同区域参与图像融合的比重。例如，模糊头发图中头发区域的融合比例通常较小，所以模糊头发图中头发区域对应的像素对融合后图像中头发区域的影响更小。其中，确定融合比例的方式包括根据经验确定或根据实际效果图进行调整。
在一些可选实施例中，根据所述融合掩膜图确定所述融合比例，包括：基于所述融合掩膜图中的不同区域，以及分别确定所述纹理图中对应区域的融合比例，确定所述模糊头发图中对应区域的融合比例。
融合掩膜图中通常包括多个不同的区域。例如，图5(b)所示的融合掩膜图中分别包括头发区域、人脸区域、眼睛区域、嘴巴区域和背景区域。在一种可能的实现方式中，可以基于融合掩膜图中的不同区域，根据经验值分别确定纹理图中对应区域的融合比例，确定模糊头发图中对应区域的融合比例。
示例性的，可以将纹理图中头发区域的融合比例确定为1，将纹理图中人脸区域的融合比例确定为0.5，将纹理图中眼睛区域、嘴巴区域和背景区域的融合比例确定为0。相应的，对应纹理图的融合比例，可以设置模糊头发图中头发区域的融合比例为0，设置模糊头发图中人脸区域的融合比例为0.5，设置模糊头发图中眼睛区域、嘴巴区域和背景区域的融合比例均为1。可选的，融合掩膜图的相同区域对应的纹理图的融合比例与对应的模糊头发图的融合比例的和为1。
在一种可能的实现方式中，可以预先将融合掩膜图中不同像素的像素值确定为纹理图中对应像素的融合比例。例如，图5(b)所示的融合掩膜图中可以将头发区域的像素值设置为1，将人脸区域的像素值设置为0.5，将眼睛区域、嘴巴区域和背景区域的像素值均设置为0。进一步的，可以基于“融合掩膜图的相同区域对应的纹理图的融合比例与对应的模糊头发图的融合比例的和为1”的原则，根据纹理图的融合比例，确定模糊头发图的融合比例。以纹理图中任一像素为例，如果该像素对应的融合比例是0.5，则可以确定模糊头发图中对应像素的融合比例是0.5(1-0.5)。
在确定融合比例后，本步骤可以基于确定的融合比例，将模糊头发图和纹理图进行融合处理，得到目标人脸图的特效图。如图6所示，得到了目标人脸图的特效图。
在一种可能的实现方式中，所述将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图，包括：根据所述纹理图中的像素值和所述纹理图的融合比例，确定第一像素值集合；根据所述模糊头发图的像素值和所述模糊头发图的融合比例，确定第二像素值集合；基于所述第一像素值集合和所述第二像素值集合，确定所述目标人脸图的特效图中的像素值。
纹理图的不同区域对应的融合比例不同。例如，纹理图中人脸区域的融合比例为0.5，头发区域的融合比例为1，背景区域的融合比例为0。上述实现方式中，可以将纹理图中人脸区域的像素的像素值取0.5的权重，将纹理图中头发区域的像素的像素值取1的权重，将纹理图中背景区域的像素的像素值取0的权重，得到的对应完整的纹理图的像素值为第一像素值集合。
同理，模糊头发图中不同区域对应的融合比例也不同。例如，模糊头发图中人脸区域的融合比例为0.5，头发区域的融合比例为0，背景区域的融合比例为1。上述实现方式中，可以将模糊头发图中人脸区域的像素的像素值取0.5的权重，将模糊头发图中头发区域的像素的像素值取0的权重，将模糊头发图中背景区域的像素的像素值取1的权重，得到对应完整的模糊头发图的像素值为第二像素值集合。
在得到第一像素值集合和第二像素值集合之后，可以将两个像素集合中对应的像素值相加得到一个完整的像素值集合，即得到的为目标人脸图的特效图中的各个像素，也即得到了目标人脸图的特效图。
基于不同的融合比例可以保留纹理图中人脸的部分特征，同时保留模糊头发图中人脸的部分特征。对纹理图中头发区域的像素值取1的权重，对模糊头发图中头发区域的像素值取0(1-1)的权重，实现特效图中完整保留纹理图中头发区域的特征，去掉模糊头发图中头发区域的特征。
需要说明的是，在实际处理中可以预先确定更多区域的对应的融合系数，并根据确定的融合系数进行融合处理。示例性的，可以预先确定额头区域融合系数、下巴区域融合系数、耳朵区域融合系数，等等。
在一些可选实施例中，在所述得到所述目标人脸图的特效图之后，所述方法还包括：将所述目标人脸图的特效图与所述原始人脸图进行融合，得到原始特效图。在得到目标人脸图的特效图后，可以将特效图贴回原始人脸图中，实现在原始人脸图的基础上增加特效。例如，可以将目标人脸图的特效图的像素值，覆盖原始人脸图的对应像素值，得到原始特效图。
在本公开实施例中，通过将目标人脸图中的头发区域进行模糊处理，得到模糊头发图；基于深度神经网络根据目标人脸图生成纹理图、人脸掩膜图和头发掩膜图；将人脸掩膜图和头发掩膜图进行融合得到融合掩膜图，并根据该融合掩膜图确定融合比例；基于确定的融合比例将模糊头发图和纹理图进行融合处理，得到更加自然、真实的特效图。
在一些可选实施例中，在得到目标人脸的原始特效图后，可以基于原始特效图中的性别信息，对原始特效图中的脸部轮廓进行调整，和/或对所述原始特效图进行美颜处理。示例性的，在性别转换特效中，转换得到的原始特效图中是男性的情况下，可以将特效图中的脸部轮廓调整的更具棱角，以符合男性脸部轮廓的特征；或者，转换得到的原始特效图中是女性的情况下，可以将特效图中的脸部轮廓调整的更柔和或圆润，以符合女性脸部轮廓的特征。示例性的，还可以进一步对原始特效图进行美颜处理，例如可以对原始特效图进行美白处理、美妆处理或者添加滤镜等，以进一步美化原始特效图。
在一些可选实施例中，如图7所示，步骤102的具体实现可以包括以下步骤：
步骤201，获取所述目标人脸图中的人脸关键点信息。
在一种可能的实现方式中，可以对原始人脸图进行人脸关键点检测，得到人脸关键点。例如，得到106个人脸关键点的位置坐标，作为人脸关键点信息。在原始人脸图中检测得到人脸关键点的基础上，对原始人脸图进行裁剪处理得到预设尺寸的包含人脸关键点的目标人脸图。该方式中，可以对原始人脸图进行人脸关键点检测，在检测得到人脸关键点的基础上，再对原始人脸图进行裁剪处理得到目标人脸图，从而得到了目标人脸图中的人脸关键点信息。在另一种可能的实现方式中，可以在目标人脸的基础上进行人脸关键点检测，直接得到人脸关键点信息。
在一些可选实施例中，步骤201的具体实现可以包括：基于预先训练的人脸关键点检测网络，获取所述目标人脸图中的人脸关键点信息；所述人脸关键点检测网络是根据样本人脸图进行训练得到，其中，所述样本人脸图中包括人脸角度大于预设角度阈值的样本人脸图像。
人脸关键点检测网络包括可以进行训练学习的深度神经网络。样本人脸图是用于训练人脸关键点检测网络的训练样本。在获取目标人脸图中的人脸关键点信息之前，需要预先利用样本人脸图进行训练得到人脸关键点检测网络。其中，训练样本中可以包括人脸角度小于等于预设的角度阈值的样本人脸图，其中，训练样本中的样本人脸图中包括的图像中的人脸角度可以各不相同，其中包括人脸角度大于预设角度阈值。示例性的，预设角度阈值为：人脸偏转角70度(人脸偏转角指正对人脸情况下，人脸左右转动的角度)，则样本人脸图中的人脸偏转角大于70度。示例性的，预设角度阈值为：人脸俯仰角30度(人脸俯仰角指正对人脸情况下，人脸上下转动的角度)，则样本人脸图中的人脸俯仰角大于30度。
相关技术中对人脸图像中的人脸关键点进行检测的过程中，只能检测出一定角度阈值之内的人脸的关键点。即，对于人脸角度大于一定角度阈值的人脸图像，并不能检测出对应人脸的关键点。上述实施例中，用于训练人脸关键点检测网络的样本人脸图中包括人脸角度大于预设的角度阈值的图像，使得训练得到的人脸关键点检测网络可以检测出更大人脸角度的人脸的关键点。从而，可以基于检测出的关键点，对人脸角度大于一定角度阈值的人脸图像进行特效生成。
步骤202，根据所述人脸关键点信息，确定所述目标人脸图对应的人脸热图。
在得到目标人脸图中的人脸关键点信息后，本步骤可以根据人脸关键点信息，生成对应的人脸热图。示例性的，可以利用Excel、R语言、Python或MATLAB，根据从目标人脸图中检测得到的106个人脸关键点，生成对应的人脸热图heatmap，如图8所示。在一种可能的实现方式中，可以将目标人脸图中的人脸关键点作为人脸热图中的关键点，从而得到人脸热图。例如，可以将目标人脸图中检测得到的人脸关键点对应的像素值取255，目标人脸图中人脸关键点之外的像素值取0，即得到人脸热图。
步骤203，将所述人脸热图输入预先训练的深度神经网络，得到所述纹理图、人脸掩膜图和头发掩膜图。
本实施例中，在利用人脸热图得到纹理图、人脸掩膜图和头发掩膜图之前，可以预先利用训练样本对深度神经网络进行训练。例如，可以预先收集大量样本人脸图，根据样本人脸图中的人脸关键点信息得到对应的人脸热图作为网络输入。并且，由人工对样本人脸图对应的人脸掩膜图和头发掩膜图进行标注，基于人脸掩膜图和头发掩膜图确定纹理图在样本人脸图中的区域，并根据确定的区域从样本人脸图中的对应区域的图像作为样本人脸图的纹理图并进行标注。在进行训练过程中，将人脸热图输入待训练的深度神经网络，并由该深度神经网络输出预测的纹理图、人脸掩膜图和头发掩膜图，根据输出结果与标注的标签值之间的差异调整网络参数。在训练得到符合要求的深度神经网络之后，本步骤可以将人脸热图输入训练后的深度神经网络，得到对应的纹理图、人脸掩膜图和头发掩膜图。
在一些可选实施例中，所述深度神经网络包括编码器和解码器；所述编码器，用于根据卷积滤波器对所述人脸热图进行编码操作；所述解码器，用于根据卷积滤波器对所述人脸热图进行解码操作。
如图9所示，上述实施例中，可以将人脸热图作为深度神经网络的输入，由编码器根据卷积滤波器对人脸热图进行编码操作，由解码器根据卷积滤波器对人脸热图进行解码操作，最终输出对应的纹理图、人脸掩膜图和头发掩膜图。
示例性的，编码器可以包括6个卷积滤波器，每个卷积滤波器的卷积核大小为4*4，步长为2。假设某卷积层输入的特征尺寸为C*H*W，经过滤波处理后尺寸变为(H/2)*(W/2)。前5个卷积层后均附带一个权重归一化器和一个LeakyReLU激活器；最后一个卷积层不带LeakyReLU激活器。
示例性的，解码器可以包括6个卷积滤波器，每个卷积滤波器的卷积核大小为3*3，步长为1。每个卷积层后均附带一个权重归一化器和一个Sub-pixel Convolution，放大倍数为2。假设某卷积层输入的特征尺寸为C*(H/2)*(W/2),经过滤波后尺寸变为H*W。最后一个卷积层后再附带一个核大小为3*3、步长为1的卷积层，输出通道数为5，其中前三个通道channel为生成的纹理图，第四个通道channel为生成的face_mask，第五个通道channel为生成的hair_mask。
上述实施例中，可以通过预先训练得到的深度神经网络，将根据目标人脸图中检测出的人脸关键点信息确定的人脸热图作为网络输入，得到对应目标人脸图的纹理图、人脸掩膜图和头发掩膜图。从而，可以基于得到的人脸掩膜图和头发掩膜图进行融合得到融合掩膜图，并基于融合掩膜图确定的融合比例将模糊头发图和纹理图进行融合，得到更加真实、自然的对应目标人脸的特效图。
以下以一个完整的实施例，说明本公开提供的特效生成方法，具体执行步骤可参见如图10所示步骤流程图。另外，在本实施例的说明过程中，将结合图11所示的图像处理流程，其中图11中包括原始人脸图(1)、头发分割图(2)、模糊头发图(3)、人脸热图(4)、纹理图(5)、人脸掩膜图(6)、头发掩膜图(7)、融合掩膜图(8)和目标人脸的特效图(9)。
在步骤1001中，可以对原始人脸图进行检测，得到人脸关键点信息。
例如，可以对原始人脸图进行检测，得到106个人脸关键点的位置坐标，作为人脸关键点信息。其中，对原始人脸图的检测可以利用现有相对成熟的可进行人脸关键点检测的网络模型。或者，可以基于可学习的机器学习模型或神经网络模型进行训练，得到可用于检测原始人脸图中人脸关键点的网络模型。
在步骤1002，对原始人脸图进行调整，得到预设尺寸和/或预设角度的目标人脸图。
由于图像采集设备或视频录制设备的规格不同，获取的图像尺寸各不相同。其中，图像采集设备采集的包括目标人脸的图像，可以称为原始人脸图像。由于原始人脸图像的尺寸通常不统一，不便于对图像中的目标人脸进行进一步检测或处理。例如，基于深度神经网络对目标人脸图进行处理的情况下，深度神经网络通常要求作为网络输入的图像的尺寸保持一致。
本步骤可以将原始人脸图进行调整处理。其中，调整处理可以包括对原始人脸图进行裁剪处理。或者，调整处理可以包括对原始人脸图进行角度调整，得到符合角度要求的目标人脸图。例如，可以对原始人脸图进行调整处理，得到图11中目标人脸图(1)。
在步骤1003，将目标人脸图进行头发分割，得到头发分割图。
在一种可能的实现方式中，可以预先利用训练样本对深度神经网络进行训练得到可用于识别图像中头发区域的头发分割模型，由该头发分割模型确定图像中目标人脸的头发区域。例如，可以将如图11中目标人脸图(1)输入预先训练得到的头发分割模型，由该头发分割模型输出对应的如图11中头发分割图(2)。
在步骤1004，基于头发分割图，将目标人脸图中的头发区域按照背景像素进行填充，得到模糊头发图。
在得到头发分割图的基础上，可以进一步确定目标人脸图中目标人脸对应的头发区域。本步骤，可以进一步将目标人脸图中头发区域的像素重新填充为背景像素，以用背景像素遮挡目标人脸图中的头发区域，得到模糊头发图。
例如，本步骤可以基于图11中头发分割图(2)，将目标人脸图(1)中的头发区域的像素重新填充为环境像素，得到模糊头发图(3)。
在步骤1005，根据人脸关键点信息，确定目标人脸图对应的人脸热图。
示例性的，可以利用Excel、R语言、Python或MATLAB，根据从目标人脸图中检测得到的106个人脸关键点，生成对应的人脸热图(heatmap)。例如，可以将目标人脸图中的人脸关键点作为人脸热图中的关键点，从而得到人脸热图。例如，可以将目标人脸图中检测得到的人脸关键点对应的像素值取255，目标人脸图中人脸关键点之外的像素值取0，即得到人脸热图。
以图11为例，可以根据图11中目标人脸图(1)对应的人脸关键点信息，得到对应的人脸热图(4)。
在步骤1006，将人脸热图输入预先训练得到的深度神经网络，得到纹理图、人脸掩膜图和头发掩膜图。
在利用人脸热图得到纹理图、人脸掩膜图和头发掩膜图之前，可以预先利用训练样本对深度神经网络进行训练。例如，可以预先收集大量样本人脸图，根据样本人脸图中的人脸关键点信息得到对应的人脸热图作为网络输入。在训练得到符合要求的深度神经网络之后，本步骤可以将人脸热图输入训练后的深度神经网络，得到对应的纹理图、人脸掩膜图和头发掩膜图。
以图11为例，本步骤可以将人脸热图(4)输入预先训练得到的深度神经网络，得到纹理图(5)、人脸掩膜图(6)和头发掩膜图(7)。
在步骤1007，基于目标人脸图中人脸区域的颜色，对纹理图中的人脸区域进行颜色迁移处理。
为了使纹理图中人脸颜色与目标人脸图中的人脸颜色保持一致，本步骤需要基于目标人脸图中人脸区域的颜色，对纹理图中的人脸区域进行颜色迁移处理。例如，可以将纹理图中的人脸区域像素的Lab值求平均值，得到第一Lab平均值；将目标人脸图中人脸区域像素的Lab值求平均值，得到第二Lab平均值。进一步的，可以将纹理图中人脸区域的像素的Lab值，减去第一Lab平均值再加上第二Lab平均值，实现对纹理图中人脸区域的像素的Lab值的更新，即得到了迁移处理后的纹理图。
在步骤1008，将人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图。
示例性的，可以将人脸掩膜图和头发掩膜图进行对应像素相加，得到融合掩膜图。在一种可能的实现方式中，可以基于预先设置的权重值，对人脸掩膜图和头发掩膜图中的像素值进行加权求和，以改变融合掩膜图中人脸区域或头发区域的像素值。
为了最终生成的特效图能够保留目标人脸的更多特征，还可以将融合掩膜图中的眼睛区域和嘴巴区域的像素值进行调整，得到最终的融合掩膜图。例如，可以将融合掩膜图中眼睛区域和嘴巴区域的像素值更新为“0”。以此可以将眼睛区域和嘴巴区域，从人脸区域中区别出来，便于在生成特效图的过程中保留目标人脸的眼睛特征和嘴巴特征。
以图11为例，可以对人脸掩膜图(6)和头发掩膜图(7)中的像素值进行加权求和，得到融合掩膜图(8)。其中，融合掩膜图(8)中人脸区域的像素值更新为“0.5”，头发区域的像素值保持“1”，背景区域、嘴巴区域和眼睛区域的像素值保持“0”。基于融合掩膜图中不同的像素值，可以区别出人脸区域、头发区域和背景区域、嘴巴区域和眼睛区域。
在步骤1009，基于根据融合掩膜图确定的融合比例，将模糊头发图和纹理图进行融合，得到目标人脸图的特效图。
示例性的，可以将纹理图中头发区域的融合比例确定为1，将纹理图中人脸区域的融合比例确定为0.5，将纹理图中眼睛区域、嘴巴区域和背景区域的融合比例确定为0。相应的，对应纹理图的融合比例，可以确定模糊头发图中头发区域的融合比例为0，设置模糊头发图中人脸区域的融合比例为0.5，设置模糊头发图中眼睛区域、嘴巴区域和背景区域的融合比例均为1。
进一步的，可以将纹理图中人脸区域的像素的像素值取0.5的权重，将纹理图中头发区域的像素的像素值取1的权重，将纹理图中其他区域的像素的像素值取0的权重，得到的对应完整的纹理图的像素值为第一像素值集合。同理，可以将模糊头发图中人脸区域的像素的像素值取0.5的权重，将模糊头发图中头发区域的像素的像素值取0的权重，将模糊头发图中其他区域的像素的像素值取1的权重，得到对应完整的模糊头发图的像素值为第二像素值集合。
在得到第一像素值集合和第二像素值集合之后，可以将两个像素集合中对应的像素值相加得到一个完整的像素值集合，即得到的为目标人脸图的特效图中的各个像素，也即得到了目标人脸图的特效图。
以图11为例，本步骤可以基于融合掩膜图(8)确定的融合比例，将模糊头发图(3)中的像素值取对应比例的权重，将纹理图(5)中的像素值取对应比例的权重，再将取权重后得到的像素值对应相加，得到目标人脸图的特效图(9)中的像素值，也即得到了目标人脸图的特效图(9)。
在步骤1010，将目标人脸图的特效图与原始人脸图进行融合，得到原始特效图。
在得到目标人脸图的特效图后，可以将特效图贴回原始人脸图中，实现在原始人脸图的基础上增加特效。例如，可以将目标人脸图的特效图中的像素值，覆盖原始人脸图的对应像素值，得到原始特效图。
在步骤1011，基于原始特效图中的性别信息，对原始特效图中的人脸轮廓进行调整，和/或对原始特效图进行美颜处理。
例如，在性别转换特效中，转换得到的原始特效图中是男性的情况下，可以将特效图中的脸部轮廓调整的更具棱角，以符合男性脸部轮廓的特征；或者，转换得到的原始特效图中是女性的情况下，可以将特效图中的脸部轮廓调整的更柔和或圆润，以符合女性脸部轮廓的特征。
或者，还可以进一步对原始特效图进行美颜处理，例如可以对原始特效图进行美白处理、美妆处理或者添加滤镜等，以进一步美化原始特效图。
图12所示，本公开提供了一种特效生成装置，该装置可以执行本公开任一实施例的特效生成方法。该装置可以包括模糊处理模块1201、目标人脸图处理模块1202、掩膜图融合模块1203和特效图生成模块1204。其中：
模糊处理模块1201，用于将目标人脸图中的头发区域进行模糊处理，得到模糊头发图；
目标人脸图处理模块1202，用于根据所述目标人脸图，生成纹理图、人脸掩膜图和头发掩膜图；
掩膜图融合模块1203，用于将所述人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图；
特效图生成模块1204，用于基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图。
可选地，如图13所示，所述特效图生成模块1204，包括：融合比例确定子模块1301，用于基于所述融合掩膜图中的不同区域，分别确定所述纹理图中对应区域的融合比例，以及确定所述模糊头发图中对应区域的融合比例。
可选地，所述特效图生成模块1204，在用于将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图时，包括：根据所述纹理图中的像素值和所述纹理图的融合比例，确定第一像素值集合；根据所述模糊头发图的像素值和所述模糊头发图的融合比例，确定第二像素值集合；基于所述第一像素值集合和所述第二像素值集合，确定所述目标人脸图的特效图中的像素值。
可选地，如图13所示，所述装置还包括：原始特效图生成模块1302，用于将所述目标人脸图的特效图与原始人脸图进行融合，得到原始特效图。
可选地，如图13所示，所述装置还包括：调整处理模块1303，用于基于所述原始特效图中的性别信息，对所述原始特效图中的人脸轮廓进行调整，和/或对所述原始特效图进行美颜处理。
可选地，所述模糊处理模块1201，在用于将目标人脸图中的头发区域进行模糊处理，得到模糊头发图时，包括：将所述目标人脸图进行头发分割，得到头发分割图；基于所述头发分割图，将所述目标人脸图中的头发区域按照背景像素进行填充，得到所述模糊头发图。
可选地，如图13所示，所述目标人脸图处理模块1202，包括：
人脸关键点子模块1304，用于获取所述目标人脸图中的人脸关键点信息；
人脸热图子模块1305，用于根据所述人脸关键点信息，确定所述目标人脸图对应的人脸热图；
神经网络子模块1306，用于将所述人脸热图输入预先训练的深度神经网络，得到所述纹理图、人脸掩膜图和头发掩膜图。
可选地，所述深度神经网络包括编码器和解码器；所述编码器，用于根据卷积滤波器对所述人脸热图进行编码操作；所述解码器，用于根据卷积滤波器对所述人脸热图进行解码操作。
可选地，所述人脸关键点子模块1304，在用于获取所述目标人脸图中的人脸关键点信息时，包括：基于预先训练的人脸关键点检测网络，获取所述目标人脸图中的人脸关键点信息；所述人脸关键点检测网络是根据样本人脸图进行训练得到，其中，所述样本人脸图中包括人脸角度大于预设角度阈值的样本人脸图。
可选地，所述装置还包括：颜色迁移模块1307，用于基于所述目标人脸图中人脸区域的颜色，对所述纹理图中的人脸区域进行颜色迁移处理，得到迁移处理后的纹理图；其中，所述迁移处理后的纹理图中的人脸区域的颜色与所述目标人脸图中人脸区域的颜色一致；
所述特效图生成模块1301，在用于基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图时，包括：基于根据所述融合掩膜图确定的融合比例，将所述模糊头发图和迁移处理后的纹理图进行融合，得到所述目标人脸图的特效图。
可选地，所述颜色迁移模块1307，在用于基于所述目标人脸图中人脸区域的颜色，对所述纹理图中的人脸区域进行颜色迁移处理，得到迁移处理后的纹理图时，包括：根据所述纹理图中人脸区域像素的颜色值，得到第一颜色平均值；根据所述目标人脸图中人脸区域像素的颜色值，得到第二颜色平均值；基于所述第一颜色平均值和所述第二颜色平均值，对所述纹理图中人脸区域像素的颜色值进行更新，得到所述迁移处理后的纹理图。
可选地，如图13所示，所述装置还包括：像素值调整模块1308，用于对所述融合掩膜图中的眼睛区域和嘴巴区域的像素值进行调整，以根据调整后的融合掩膜图确定眼睛区域和嘴巴区域的融合比例。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开至少一个实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时能够实现本公开任一实施例的特效生成方法。
图14示出了本公开实施例所提供的一种更为具体的计算机设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时能够实现本公开任一实施例的特效生成方法。
其中，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等，本公开并不对此进行限制。
在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的特效生成方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
以上所述仅为本公开的较佳实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。
Claims (12)
1.一种特效生成方法，其特征在于，所述方法包括：
将目标人脸图中的头发区域进行模糊处理，得到模糊头发图；
获取所述目标人脸图中的人脸关键点信息；根据所述人脸关键点信息，确定所述目标人脸图对应的人脸热图；将所述人脸热图输入预先训练的深度神经网络，得到纹理图、人脸掩膜图和头发掩膜图；人脸掩膜图用于表示目标人脸图的特效图中的人脸区域，头发掩膜图用于表示目标人脸图的特效图中的头发区域；纹理图为与目标人脸图性别不同的人脸图像，包含与目标人脸不同性别的特征；
将所述人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图；其中，所述融合掩膜图中，头发区域的像素值为1，人脸区域像素值为0.5，除人脸区域和头发区域之外的其他部分像素值为0；
根据目标人脸对应的人脸关键点确定融合掩膜图中对应的眼睛区域和嘴巴区域，对所述融合掩膜图中的眼睛区域和嘴巴区域的像素值进行调整；其中，调整后的所述融合掩膜图中，眼睛区域和嘴巴区域的像素值为0；
将调整后的融合掩膜图中不同像素的像素值确定为纹理图中对应像素的融合比例，基于所述融合比例，将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图，所述特效图为性别转换特效的特效图，融合比例用于表示图像中不同区域参与图像融合的比重。
2.根据权利要求1所述的方法，其特征在于，根据所述融合掩膜图确定所述融合比例，包括：
基于所述融合掩膜图中的不同区域，分别确定所述纹理图中对应区域的融合比例，以及确定所述模糊头发图中对应区域的融合比例。
3.根据权利要求2所述的方法，其特征在于，所述将所述模糊头发图和所述纹理图进行融合，得到所述目标人脸图的特效图，包括：
根据所述纹理图中的像素值和所述纹理图的融合比例，确定第一像素值集合；
根据所述模糊头发图的像素值和所述模糊头发图的融合比例，确定第二像素值集合；
基于所述第一像素值集合和所述第二像素值集合，确定所述目标人脸图的特效图中的像素值。
4.根据权利要求1所述的方法，其特征在于，在所述得到所述目标人脸图的特效图之后，所述方法还包括：
将所述目标人脸图的特效图与原始人脸图进行融合，得到原始特效图。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述原始特效图中的性别信息，对所述原始特效图中的人脸轮廓进行调整，和/或对所述原始特效图进行美颜处理。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述将目标人脸图中的头发区域进行模糊处理，得到模糊头发图，包括：
将所述目标人脸图进行头发分割，得到头发分割图；
基于所述头发分割图，将所述目标人脸图中的头发区域按照背景像素进行填充，得到所述模糊头发图。
7.根据权利要求1所述的方法，其特征在于，所述深度神经网络包括编码器和解码器；所述编码器，用于根据卷积滤波器对所述人脸热图进行编码操作；所述解码器，用于根据卷积滤波器对所述人脸热图进行解码操作。
8.根据权利要求1或7所述的方法，其特征在于，所述获取所述目标人脸图中的人脸关键点信息，包括：
基于预先训练的人脸关键点检测网络，获取所述目标人脸图中的人脸关键点信息；所述人脸关键点检测网络是根据样本人脸图进行训练得到，其中，所述样本人脸图中包括人脸角度大于预设角度阈值的样本人脸图。
9.根据权利要求1所述的方法，其特征在于，所述基于所述目标人脸图中人脸区域的颜色，对所述纹理图中的人脸区域进行颜色迁移处理，得到迁移处理后的纹理图，包括：
根据所述纹理图中人脸区域像素的颜色值，得到第一颜色平均值；
根据所述目标人脸图中人脸区域像素的颜色值，得到第二颜色平均值；
基于所述第一颜色平均值和所述第二颜色平均值，对所述纹理图中人脸区域像素的颜色值进行更新，得到所述迁移处理后的纹理图。
10.一种特效生成装置，其特征在于，所述装置包括：
模糊处理模块，用于将目标人脸图中的头发区域进行模糊处理，得到模糊头发图；
目标人脸图处理模块，用于获取所述目标人脸图中的人脸关键点信息；根据所述人脸关键点信息，确定所述目标人脸图对应的人脸热图；将所述人脸热图输入预先训练的深度神经网络，得到纹理图、人脸掩膜图和头发掩膜图；人脸掩膜图用于表示目标人脸图的特效图中的人脸区域，头发掩膜图用于表示目标人脸图的特效图中的头发区域；纹理图为与目标人脸图性别不同的人脸图像，包含与目标人脸不同性别的特征；
颜色迁移模块，用于基于所述目标人脸图中人脸区域的颜色，对所述纹理图中的人脸区域进行颜色迁移处理，得到迁移处理后的纹理图；其中，所述迁移处理后的纹理图中的人脸区域的颜色与所述目标人脸图中人脸区域的颜色一致；
掩膜图融合模块，用于将所述人脸掩膜图和头发掩膜图进行融合，得到融合掩膜图；其中，所述融合掩膜图中，头发区域的像素值为1，人脸区域像素值为0.5，除人脸区域和头发区域之外的其他部分像素值为0；根据目标人脸对应的人脸关键点确定融合掩膜图中对应的眼睛区域和嘴巴区域，对所述融合掩膜图中的眼睛区域和嘴巴区域的像素值进行调整；其中，调整后的所述融合掩膜图中，眼睛区域和嘴巴区域的像素值为0；
特效图生成模块，用于将调整后的融合掩膜图中不同像素的像素值确定为迁移处理后的纹理图中对应像素的融合比例，基于所述融合比例，将所述模糊头发图和迁移处理后的纹理图进行融合，得到所述目标人脸图的特效图，所述特效图为性别转换特效的特效图，融合比例用于表示图像中不同区域参与图像融合的比重。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至9中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130196.6A CN112884637B (zh) | 2021-01-29 | 2021-01-29 | 特效生成方法、装置、设备及存储介质 |
| PCT/CN2021/115411 WO2022160701A1 (zh) | 2021-01-29 | 2021-08-30 | 特效生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130196.6A CN112884637B (zh) | 2021-01-29 | 2021-01-29 | 特效生成方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884637A CN112884637A (zh) | 2021-06-01 |
| CN112884637B true CN112884637B (zh) | 2023-04-07 |
Family
ID=76052019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110130196.6A Active CN112884637B (zh) | 2021-01-29 | 2021-01-29 | 特效生成方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112884637B (zh) |
| WO (1) | WO2022160701A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884637B (zh) * | 2021-01-29 | 2023-04-07 | 北京市商汤科技开发有限公司 | 特效生成方法、装置、设备及存储介质 |
| CN113205568B (zh) * | 2021-04-30 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113592970B (zh) * | 2021-07-28 | 2024-04-12 | 网易（杭州）网络有限公司 | 毛发造型的生成方法及装置、电子设备、存储介质 |
| CN113673474B (zh) * | 2021-08-31 | 2024-01-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| US11954828B2 (en) | 2021-10-14 | 2024-04-09 | Lemon Inc. | Portrait stylization framework using a two-path image stylization and blending |
| CN116152046A (zh) * | 2021-11-22 | 2023-05-23 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114219877A (zh) * | 2021-12-06 | 2022-03-22 | 北京字节跳动网络技术有限公司 | 人像头发流动特效处理方法、装置、介质和电子设备 |
| CN114339448B (zh) * | 2021-12-31 | 2024-02-13 | 深圳万兴软件有限公司 | 光束视频特效的制作方法、装置、计算机设备及存储介质 |
| CN116051386B (zh) * | 2022-05-30 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| CN115358959A (zh) * | 2022-08-26 | 2022-11-18 | 北京字跳网络技术有限公司 | 特效图的生成方法、装置、设备及存储介质 |
| CN115938023B (zh) * | 2023-03-15 | 2023-05-02 | 深圳市皇家金盾智能科技有限公司 | 智能门锁人脸识别解锁方法、装置、介质及智能门锁 |
| CN115984426B (zh) * | 2023-03-21 | 2023-07-04 | 美众(天津)科技有限公司 | 发型演示图像的生成的方法、装置、终端及存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9286685B2 (en) * | 2013-07-25 | 2016-03-15 | Morphotrust Usa, Llc | System and method for creating a virtual backdrop |
| CN109952594B (zh) * | 2017-10-18 | 2022-01-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN108198127A (zh) * | 2017-11-27 | 2018-06-22 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| CN110189340B (zh) * | 2019-06-03 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN112116624A (zh) * | 2019-06-21 | 2020-12-22 | 华为技术有限公司 | 一种图像处理方法和电子设备 |
| CN110738595B (zh) * | 2019-09-30 | 2023-06-30 | 腾讯科技（深圳）有限公司 | 图片处理方法、装置和设备及计算机存储介质 |
| CN110782419B (zh) * | 2019-10-18 | 2022-06-21 | 杭州小影创新科技股份有限公司 | 一种基于图形处理器的三维人脸融合方法及系统 |
| CN111445564B (zh) * | 2020-03-26 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 人脸纹理图像生成方法、装置、计算机设备和存储介质 |
| CN111192201B (zh) * | 2020-04-08 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 一种生成人脸图像及其模型训练的方法、装置及电子设备 |
| CN111652796A (zh) * | 2020-05-13 | 2020-09-11 | 上海连尚网络科技有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
| CN111652828B (zh) * | 2020-05-27 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸图像生成方法、装置、设备和介质 |
| CN112884637B (zh) * | 2021-01-29 | 2023-04-07 | 北京市商汤科技开发有限公司 | 特效生成方法、装置、设备及存储介质 |
-
2021
- 2021-01-29 CN CN202110130196.6A patent/CN112884637B/zh active Active
- 2021-08-30 WO PCT/CN2021/115411 patent/WO2022160701A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022160701A1 (zh) | 2022-08-04 |
| CN112884637A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112884637B (zh) | 特效生成方法、装置、设备及存储介质 | |
| KR102362544B1 (ko) | 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체 | |
| CN107771336B (zh) | 基于颜色分布的图像中的特征检测和掩模 | |
| US11250571B2 (en) | Robust use of semantic segmentation in shallow depth of field rendering | |
| CN107730444B (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| JP4461789B2 (ja) | 画像処理装置 | |
| CN111754415B (zh) | 人脸图像处理方法及装置、图像设备及存储介质 | |
| CN112861661B (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 | |
| CN107993209B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN106447604B (zh) | 一种变换视频中面部画面的方法和装置 | |
| AU2005305293B2 (en) | A method for generating a composite image | |
| CN111243051B (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
| CN112686820A (zh) | 虚拟美妆方法、装置和电子设备 | |
| CN112102207A (zh) | 一种确定温度的方法、装置、电子设备及可读存储介质 | |
| US9092889B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
| CN113658197B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111652792B (zh) | 图像的局部处理、直播方法、装置、设备和存储介质 | |
| CN112597911A (zh) | 一种磨皮处理方法、装置、移动终端和存储介质 | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
| KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
| CN113610723B (zh) | 图像处理方法及相关装置 | |
| CN113379623A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114565506B (zh) | 图像颜色迁移方法、装置、设备及存储介质 | |
| CN117689782B (zh) | 一种生成海报图像的方法、装置、设备及存储介质 | |
| CN111652793B (zh) | 牙齿的图像处理、直播方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40043960 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |