CN111563868A - 基于人工智能的头部装饰处理方法及装置 - Google Patents
基于人工智能的头部装饰处理方法及装置 Download PDFInfo
- Publication number
- CN111563868A CN111563868A CN202010695792.4A CN202010695792A CN111563868A CN 111563868 A CN111563868 A CN 111563868A CN 202010695792 A CN202010695792 A CN 202010695792A CN 111563868 A CN111563868 A CN 111563868A
- Authority
- CN
- China
- Prior art keywords
- head
- image
- decoding
- decoration
- head decoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005034 decoration Methods 0.000 title claims abstract description 480
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims description 21
- 238000012545 processing Methods 0.000 claims abstract description 127
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000007499 fusion processing Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims description 77
- 238000013507 mapping Methods 0.000 claims description 36
- 238000005070 sampling Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 726
- 210000004209 hair Anatomy 0.000 description 95
- 230000006870 function Effects 0.000 description 52
- 238000012549 training Methods 0.000 description 29
- 230000015654 memory Effects 0.000 description 18
- 210000000887 face Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003779 hair growth Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于人工智能的头部装饰处理方法、装置、电子设备及计算机可读存储介质；方法包括：根据脸部关键点模板对头部图像进行脸部对齐处理，得到脸部对齐的头部图像；对脸部对齐的头部图像进行编码处理，得到头部图像的隐空间信息；对头部图像的隐空间信息进行头部装饰解码处理，得到对应头部图像的目标头部装饰图像；对头部图像的隐空间信息进行掩码解码处理，得到对应头部图像的头部装饰掩码图像；根据头部装饰掩码图像，对脸部对齐的头部图像以及目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像。通过本发明，能够自动生成适应性强的贴合脸部的目标头部装饰。
Description
技术领域
本发明涉及人工智能技术，尤其涉及一种基于人工智能的头部装饰处理方法、装置、电子设备及计算机可读存储介质。
背景技术
人工智能（Artificial Intelligence，AI）是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
相关技术中缺乏基于人工智能来生成贴合脸部的头部装饰的有效方案，主要依赖于将已有的头部装饰模板与脸部进行拼接，以生成包括头部装饰的头部装饰图像的方案。但是，相关技术的头部装饰模板的自适应性比较差，导致生成的头部装饰图像不够逼真，线上应用的效果不理想。
发明内容
本发明实施例提供一种基于人工智能的头部装饰处理方法、装置、电子设备及计算机可读存储介质，能够自动生成适应性强的贴合脸部的目标头部装饰，提高头部装饰图像的逼真度。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于人工智能的头部装饰处理方法，包括：
根据脸部关键点模板对头部图像进行脸部对齐处理，得到脸部对齐的头部图像；
对所述脸部对齐的头部图像进行编码处理，得到所述头部图像的隐空间信息；
对所述头部图像的隐空间信息进行头部装饰解码处理，得到对应所述头部图像的目标头部装饰图像；
对所述头部图像的隐空间信息进行掩码解码处理，得到对应所述头部图像的头部装饰掩码图像；
根据所述头部装饰掩码图像，对所述脸部对齐的头部图像以及所述目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像。
本发明实施例提供一种基于人工智能的头部装饰处理方法，包括：
呈现头部图像；
响应于针对所述头部图像的头部装饰变换操作，呈现新的头部图像；
其中，所述新的头部图像中包括通过调用头部装饰变换模型所生成新的头部装饰。
本发明实施例提供一种头部装饰处理装置，包括：
对齐模块，用于根据脸部关键点模板对头部图像进行脸部对齐处理，得到脸部对齐的头部图像；
编码模块，用于对所述脸部对齐的头部图像进行编码处理，得到所述头部图像的隐空间信息；
第一解码模块，用于对所述头部图像的隐空间信息进行头部装饰解码处理，得到对应所述头部图像的目标头部装饰图像；
第二解码模块，用于对所述头部图像的隐空间信息进行掩码解码处理，得到对应所述头部图像的头部装饰掩码图像；
融合模块，用于根据所述头部装饰掩码图像，对所述脸部对齐的头部图像以及所述目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像。
上述技术方案中，所述装置还包括：
检测模块，用于对所述头部图像进行脸部检测处理，得到所述头部图像的脸部关键点位置信息；
所述对齐模块还用于根据所述脸部关键点模板中的关键点位置信息，对所述头部图像的脸部关键点位置信息进行对齐处理，得到脸部对齐的头部图像。
上述技术方案中，所述对齐模块还用于根据所述脸部关键点模板中的关键点位置信息、以及所述头部图像的脸部关键点位置信息，确定用于将所述脸部关键点位置信息转换为所述关键点位置信息的坐标变换矩阵；
根据所述坐标变换矩阵对所述头部图像的脸部关键点位置信息进行转换处理，将转换处理后得到的所述头部图像作为脸部对齐的头部图像。
上述技术方案中，用于头部装饰变换的神经网络模型包括编码器和解码器；
所述编码模块还用于通过所述编码器对所述脸部对齐的头部图像进行基于隐空间的编码处理，得到所述头部图像的隐空间信息；
所述第一解码模块还用于通过所述解码器对所述头部图像的隐空间信息进行基于头部装饰空间的解码处理，得到对应所述头部图像的目标头部装饰图像；
所述第二解码模块还用于通过所述解码器对所述头部图像的隐空间信息进行基于掩码空间的解码处理，得到对应所述头部图像的头部装饰掩码图像。
上述技术方案中，所述解码器包括多个级联的解码层；
所述第一解码模块还用于通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；
将所述第一个解码层的解码结果输出到后续级联的解码层，以在所述后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到最后一个解码层，并
将所述最后一个解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应所述头部图像的目标头部装饰图像。
上述技术方案中，所述解码器包括多个级联的解码层；
所述第二解码模块还用于通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；
将所述第一个解码层的解码结果输出到后续级联的解码层，以在所述后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到最后一个解码层，并
将所述最后一个解码层输出的解码结果映射至掩码空间，并将映射结果作为对应所述头部图像的头部装饰掩码图像。
上述技术方案中，所述编码器包括多个级联的编码层；
所述编码模块还用于通过所述多个级联的编码层的第一个编码层，对所述脸部对齐的头部图像进行下采样编码；
将所述第一个编码层的下采样编码输出到后续级联的编码层，以在所述后续级联的编码层中继续进行下采样编码和编码结果输出，直至输出到最后一个编码层；
将所述最后一个编码层输出的编码结果作为所述头部图像的隐空间信息。
上述技术方案中，当所述解码器包括多个级联的解码层，且相同层次的所述解码层与所述编码层之间存在跨层连接时，所述第一解码模块还用于通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；
将解码结果与所述第一个解码层跨层连接的编码层输出的编码结果进行拼接，将拼接结果作为所述第一个解码层的解码结果，并输出到后续级联的解码层，以
在所述后续级联的解码层中继续进行上采样解码、拼接处理和解码结果输出，直至输出到最后一个解码层；
将所述最后一个解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应所述头部图像的目标头部装饰图像。
上述技术方案中，当所述解码器包括多个级联的解码层，且相同层次的所述解码层与所述编码层之间存在跨层连接时，所述第二解码模块还用于通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；
将解码结果与所述第一个解码层跨层连接的编码层输出的编码结果进行拼接，将拼接结果作为所述第一个解码层的解码结果，并输出到后续级联的解码层，以
在所述后续级联的解码层中继续进行上采样解码、拼接处理和解码结果输出，直至输出到最后一个解码层；
将所述最后一个解码层输出的解码结果映射至掩码空间，并将映射结果作为对应所述头部图像的头部装饰掩码图像。
上述技术方案中，所述融合模块还用于针对所述头部装饰掩码图像中的每个像素点执行以下处理：
将所述脸部对齐的头部图像中对应所述像素点的像素值、与所述头部装饰掩码图像中所述像素点的像素值相乘，以得到所述像素点的第一像素值；
对所述头部装饰掩码图像中所述像素点的像素值进行取反，并将取反结果与所述目标头部装饰图像中对应所述像素点的像素值相乘，以得到所述像素点的第二像素值；
将所述第一像素值与所述第二像素值进行相加，以得到所述像素点的特征；
对所述每个像素点的特征进行组合处理，得到包括目标头部装饰的头部装饰图像。
上述技术方案中，所述装置还包括：
处理模块，用于对所述头部装饰图像进行脸部检测处理，得到所述头部装饰图像的脸部关键点位置信息；
根据所述头部图像的脸部关键点位置信息，对所述头部装饰图像的脸部关键点位置信息进行反对齐处理，得到对应所述头部图像的头部装饰图像。
上述技术方案中，所述装置还包括：
训练模块，用于通过头部装饰变换模型对头部图像样本进行编码处理，得到所述头部图像样本的隐空间信息；
对所述头部图像样本的隐空间信息进行头部装饰解码处理，生成对应所述头部图像样本的目标头部装饰图像；
对所述头部图像样本的隐空间信息进行掩码解码处理，生成对应所述头部图像样本的头部装饰掩码图像；
根据所述头部装饰掩码图像，对所述头部图像样本以及所述目标头部装饰图像进行融合处理，以得到头部装饰图像；
根据生成的目标头部装饰图像、以及真实的目标头部装饰图像样本的差异，构建目标头部装饰的损失函数；
根据生成的头部装饰掩码图像、以及真实的头部装饰掩码图像样本的差异，构建头部装饰掩码的损失函数；
根据生成的头部装饰图像、以及真实的头部装饰图像样本的差异，构建头部装饰变换的损失函数；
根据生成的头部装饰图像、以及真实的头部装饰图像样本，构建对抗损失函数；
对所述目标头部装饰的损失函数、所述头部装饰掩码的损失函数、所述头部装饰变换的损失函数以及所述对抗损失函数进行加权求和，以得到所述头部装饰变换模型的整体损失函数；
更新所述头部装饰变换模型的参数直至所述整体损失函数收敛，将所述整体损失函数收敛时更新得到的参数，作为训练后的所述头部装饰变换模型的参数。
上述技术方案中，所述装置还包括：
扩充模块，用于从所述头部图像样本以及对应的所述真实的头部装饰图像样本中识别出背景；
从背景数据库中抽取出目标背景，并将识别出的背景替换为所述目标背景，以得到新的头部图像样本以及新的真实的头部装饰图像样本。
本发明实施例提供一种头部装饰处理装置，包括：
第一呈现模块，用于呈现头部图像；
第二呈现模块，用于响应于针对所述头部图像的头部装饰变换操作，呈现新的头部图像；
其中，所述新的头部图像中包括通过调用头部装饰变换模型所生成新的头部装饰。
本发明实施例提供一种用于头部装饰处理的电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的基于人工智能的头部装饰处理方法。
本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的基于人工智能的头部装饰处理方法。
本发明实施例具有以下有益效果：
通过对头部图像的隐空间信息进行头部装饰解码，以获得对应头部图像的目标头部装饰图像，使得目标头部装饰能够自适应头部图像，即目标头部装饰更加贴合头部图像；进而，根据头部装饰掩码图像，融合脸部对齐的头部图像以及目标头部装饰图像进行融合，能够得到包括目标头部装饰的头部装饰图像，使得生成的头部装饰图像足够逼真，适应于线上应用。
附图说明
图1A-1C是本发明实施例提供的头部装饰处理系统的应用场景示意图；
图2是本发明实施例提供的用于头部装饰处理的电子设备500的结构示意图；
图3是本发明实施例提供的基于人工智能的头部装饰处理方法的流程示意图；
图4A-4B是本发明实施例提供的基于人工智能的头部装饰处理方法的流程示意图；
图5A是本发明实施例提供的头部图像；
图5B是本发明实施例提供的有长头发的头部图像；
图6是本发明实施例提供的系统框图；
图7是本发明实施例提供的U型网络；
图8A是本发明实施例提供的原始的输入图像；
图8B是本发明实施例提供的有长头发的目标图像。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1）生成对抗网络（Generative Adversarial Networks，GAN）：由两个深度学习神经网络组成、即生成网络以及判别网络，生成对抗网络通过生成网络以及判别网络的互相博弈学习产生输出结果。其中，判别网络用于预测输入变量的类别，生成网络用于根据某种隐含信息，来随机产生观测数据。生成网络被训练成根据随机输入噪声尽可能生成真实的图片，判别网络被训练成尽可能判别真实的图片和生成的图片。
2）头部装饰：对头部起到装饰作用的部件，例如头发、帽子、饰品（如发卡）等。
本发明实施例提供了一种基于人工智能的头部装饰处理方法、装置、电子设备及计算机可读存储介质，能够自动生成适应性强的贴合脸部的目标头部装饰，提高头部装饰图像的逼真度。
下面说明本发明实施例提供的用于头部装饰处理的电子设备的示例性应用。
本发明实施例提供的用于头部装饰处理的电子设备可以是各种类型的终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器；终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明在此不做限制。
以服务器为例，例如可以是部署在云端的服务器集群，向用户开放人工智能云服务（AI as a Service，AIaaS），AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务，这种服务模式类似于一个AI主题商城，所有的用户都可以通过应用程序编程接口的方式来接入使用AIaaS平台提供的一种或者多种人工智能服务。
例如，其中的一种人工智能云服务可以为头部装饰处理服务，即云端的服务器封装有本发明实施例提供的头部装饰处理的程序。用户通过终端（运行客户端，例如是直播客户端、社交网络客户端，电子相册客户端等）调用云服务中的头部装饰处理服务，以使部署在云端的服务器调用封装的头部装饰处理的程序，根据头部图像，生成包括目标头部装饰的头部装饰图像，后续根据头部装饰图像进行直播应用、社交网络应用、电子相册应用等，例如，对于直播应用，将主播客户端的头部装饰图像分享给观众客户端；对于社交网络应用，将用户的头部图像经过头部装饰后的图像（头部装饰图像），分享至朋友圈，或定向分享给一个或多个好友；对于电子相册应用，将生成的头部装饰图像保存至电子相册客户端，以便后续需要应用该头部装饰图像时，直接从电子相册客户端中调用该头部装饰图像。
参见图1A，图1A是本发明实施例提供的头部装饰处理系统10的应用场景示意图，终端（示例性地示出终端200-1、终端200-2、终端200-3）通过网络300连接服务器100，网络300可以是广域网或者局域网，又或者是二者的组合。
终端（运行有客户端，例如直播客户端、社交网络客户端，电子相册客户端等）可以被用来获取头部图像，例如，用户通过终端200-1选择头部图像，确定选择后，终端自动获取头部图像。
在一些实施例中，终端200-1获取头部图像后，调用服务器100的头部装饰处理接口（可以提供为云服务的形式，即头部装饰处理服务），服务器100将终端200-1本地、或客户端同步到服务器100的头部图像（例如照片、视频中的全部或部分视频帧）进行头部装饰处理，以得到包括目标头部装饰的头部装饰图像，例如当头部图像没有头部装饰时，则生成目标头部装饰（例如头发、帽子、饰品等），为头部图像增加装饰，以实现生成包括目标头部装饰的头部装饰图像，例如，为没有头发的头部图像生成头发，并将头发与头部图像进行融合，以生成有头发的头部图像；当头部图像有头部装饰（头发、帽子、饰品等）时，则生成新的目标头部装饰，将头部装饰替换为新的目标头部装饰，以实现变换已有的头部装饰，例如，为有短头发的头部图像生成长头发，并将长头发与头部图像进行融合，以生成有长头发的头部图像。
在服务器100得到头部装饰图像后，可以将头部装饰图像返回至终端200-1的客户端，还可以将头部装饰图像分享至其他终端的客户端，例如当客户端是直播客户端时，服务器100根据终端200-1中的主播客户端所提供的头部图像，生成头部装饰图像，并将头部装饰图像分享至观众客户端、即终端200-2中的直播客户端以及终端200-3中的直播客户端；当客户端是社交网络客户端时，服务器100根据终端200-1的社交网络客户端所提供的头部图像，生成头部装饰图像，并将头部装饰图像分享至朋友圈中，以使好友可以通过社交网络客户端（终端200-2中的社交网络客户端以及终端200-3中的社交网络客户端）的朋友圈查看头部装饰图像，或定向分享给一个或多个好友；当客户端是电子相册客户端时，服务器100根据终端200-1的电子相册客户端所提供的头部图像，生成头部装饰图像，并将头部装饰图像返回至终端200-1的电子相册客户端，终端200-1的电子相册客户端将头部装饰图像保存至本地，以便后续需要应用该头部装饰图像时，直接从电子相册客户端中调用该头部装饰图像。
参见图1B，图1B是本发明实施例提供的头部装饰处理系统20的应用场景示意图，终端（示例性地示出终端200-1、终端200-2、终端200-3）通过网络300连接服务器100，网络300可以是广域网或者局域网，又或者是二者的组合。
在一些实施例中，终端中运行的客户端中可以植入有头部装饰处理插件，用以在客户端本地实现基于人工智能的头部装饰处理方法，并通过服务器100分享到其他客户端。例如，终端200-1获取头部图像后，调用头部装饰处理插件，以实现基于人工智能的头部装饰处理方法，根据头部图像（例如照片、视频中的全部或部分视频帧）进行头部装饰处理，以得到包括目标头部装饰的头部装饰图像，以实现为头部图像增加装饰或者变换已有的头部装饰。在终端200-1得到头部装饰图像后，可以将头部装饰图像发送至服务器100，服务器100将头部装饰图像分享至其他终端的客户端，例如当客户端是直播客户端时，终端200-1中的直播客户端根据头部图像，生成头部装饰图像后，将头部装饰图像发送至服务器100，服务器100将头部装饰图像分享至观众客户端、即终端200-2中的直播客户端以及终端200-3中的直播客户端；当客户端是社交网络客户端时，终端200-1中的社交网络客户端根据头部图像，生成头部装饰图像，并将头部装饰图像分享至朋友圈中，以使好友可以通过社交网络客户端（终端200-2中的社交网络客户端以及终端200-3中的社交网络客户端）的朋友圈查看头部装饰图像，或定向分享给一个或多个好友；当客户端是电子相册客户端时，终端200-1的电子相册客户端根据用户选择的头部图像，生成头部装饰图像，并将头部装饰图像保存至本地，以便后续需要应用该头部装饰图像时，直接从电子相册客户端中调用该头部装饰图像。
因此，本发明实施例所提供的基于人工智能的头部装饰处理方法，可以由终端/服务器独自实现；也可以由终端和服务器协同实现，即终端和服务器分别承担下文所述的头部装饰处理过程中的若干步骤，例如，终端可以获取头部图像，并根据脸部关键点模板对头部图像进行脸部对齐，得到脸部对齐的头部图像，编码脸部对齐的头部图像，得到头部图像的隐空间信息，对头部图像的隐空间信息进行头部装饰解码，得到对应头部图像的目标头部装饰图像，对头部图像的隐空间信息进行掩码解码，得到对应头部图像的头部装饰掩码图像，并将头部装饰掩码图像、脸部对齐的头部图像以及目标头部装饰图像发送至服务器，服务器根据头部装饰掩码图像，融合脸部对齐的头部图像以及目标头部装饰图像，得到包括目标头部装饰的头部装饰图像。
参见图1C，图1C是本发明实施例提供的头部装饰处理系统的另一种场景示意图，图1C示出图1A中的网络300为区块链网络（示例性示出了共识节点300-1至共识节点300-3）。区块链网络的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如终端，都可以在不需要授权的情况下接入区块链网络，以作为区块链的共识节点，例如终端200-1映射为区块链网络中的共识节点300-1，终端200-2映射为区块链网络中的共识节点300-2，终端200-3映射为区块链网络中的共识节点300-3；以联盟链为例，业务主体在获得授权后其下辖的电子设备可以接入区块链网络，例如终端。
例如，主播在终端200-1（包含客户端，例如直播客户端）上进行直播时，终端200-1向服务器100发起头部装饰转换请求，服务器100根据头部图像生成目标头部装饰图像后，根据目标头部装饰图像生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了服务器的数字证书、签署的数字签名（例如，使用服务器的数字证书中的私钥，对交易的摘要进行加密得到），并将交易广播到区块链网络中的共识节点。
例如，终端200-2（共识节点300-2）接收到交易时，对交易携带的数字证书和数字签名进行验证，以验证目标头部装饰图像是否符合质量要求，其中质量要求包括装饰的美观程度、与脸部的贴合/融合程度等，当验证成功后，签署节点自己的数字签名（例如，共识节点300-2的私钥对交易的摘要进行加密得到），将签署标签后的交易广播到区块链网络中的共识节点中，继续进行共识。其中，终端可以自动进行验证，还可以由终端所对应的用户给出是否符合质量要求的验证结果，每个终端验证通过后将对其签署数字签名（即背书），当一个目标头部装饰图像有足够的背书时，才会用于后续的融合过程。其中，进行验证的用户可以获得一定的奖励，并记录在区块链网络中，例如终端包括的客户端可以有一定时长的VIP权限等。
当服务器100再次接收到交易时，继续对交易携带的数字证书和数字签名进行验证，当验证通过且确定交易被共识成功的次数超过共识阈值时，验证成功后，根据头部装饰掩码图像，对脸部对齐的头部图像以及目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像，并签署节点自己的数字签名，并返回终端，即保证了头部装饰图像的高质量。并且，通过终端验证目标头部装饰方式，可以节约服务器对目标头部装饰验证的开销，并通过多个终端对目标头部装饰的验证，可以保证头部装饰图像的准确性。
下面说明本发明实施例提供的用于头部装饰处理的电子设备的结构，用于头部装饰处理的电子设备可以是各种终端，例如手机、电脑等，例如如图1B示出的终端200-1，也可以是如图1A示出的服务器100。
参见图2，图2是本发明实施例提供的用于头部装饰处理的电子设备500的结构示意图，以电子设备500是服务器为例说明，图2所示的用于构建多任务学习模型的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本发明实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个（有线或无线）网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（USB，Universal Serial Bus）等；
在一些实施例中，本发明实施例提供的头部装饰处理装置可以采用软件方式实现，例如，可以是上文所述的终端中的头部装饰处理插件，可以是上文所述的服务器中头部装饰处理服务。
当然，不局限于此，本发明实施例提供的头部装饰处理装置可以提供为各种软件实施例，包括应用程序、软件、软件模块、脚本或代码在内的各种形式。
图2示出了存储在存储器550中的头部装饰处理提取装置555，其可以是程序和插件等形式的软件，例如头部装饰处理插件，并包括一系列的模块，包括对齐模块5551、编码模块5552、第一解码模块5553、第二解码模块5554、融合模块5555、检测模块5556、处理模块5557、训练模块5558以及扩充模块5559；以及生成模块5553；其中，对齐模块5551、编码模块5552、第一解码模块5553、第二解码模块5554、融合模块5555、检测模块5556、处理模块5557用于实现本发明实施例提供的头部装饰处理功能，训练模块5558以及扩充模块5559用于实现对头部装饰变换模型的训练。
根据上文可以理解，本发明实施例提供的基于人工智能的头部装饰处理方法可以由各种类型的用于头部装饰处理的电子设备实施，例如智能终端和服务器等。
下面结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的基于人工智能的头部装饰处理方法。参见图3，图3是本发明实施例提供的基于人工智能的头部装饰处理方法的流程示意图，结合图3示出的步骤进行说明。
在步骤101中，呈现头部图像。
作为获取头部图像的示例，终端（包括客户端，例如电子相册客户端、直播客户端、社交网络客户端）可以直接获取头部图像，例如对于电子相册客户端，用户可以打开电子相册，并选择相册中的一个或多个图片作为头部图像；对于直播客户端，用户打开直播客户端后，终端可以获取一段视频流，并对该视频流进行解码，以获取多个视频帧，将多个视频帧中的某一视频帧作为头部图像；对于社交网络客户端，用户在通过社交网络客户端进行即时通信时，可以调用相册应用获得相册中的一个或者多个图片作为头部图像，还可以调用相机应用进行拍照，以获得一个或者多个图片作为头部图像。其中，该头部图像包括头部以及头部以外的背景。
在步骤102中，响应于针对头部图像的头部装饰变换操作，呈现新的头部图像，其中，新的头部图像中包括通过调用头部装饰变换模型所生成新的头部装饰。
在终端上呈现头部图像后，用户可以针对呈现的头部图像，可以选择是否进行头部装饰变换，例如，在终端上呈现用于确定进行头部装饰变换的按钮，当用户点击该按钮后，则终端确定需要对该头部图像进行头部装饰变换处理。
在一些实施例中，在终端响应于针对头部图像的头部装饰变换操作后，对头部图像进行目标识别，以确定出头部图像中包括的头部，并呈现提示信息，该提示信息用于指示设置针对头部图像中每个头部的风格，当确定每个头部的风格后，调用与被设置的风格相应的头部装饰变换模型进行头部装饰处理，生成与被设置的风格相应的包括新的头部装饰的头部，并呈现新的头部，从而新的头部图像中每个头部都呈现相应被设置的风格；还可以针对头部图像中所有头部设置相同的风格，调用与该风格相应的头部装饰变换模型进行头部装饰处理，生成与该风格相应的包括新的头部装饰的头部，并呈现新的头部图像，从而新的头部图像中每个头部都呈现相同的风格；还可以针对头部图像中每个头部，确定与头部的当前风格有反差的反差风格，并调用反差风格相应的头部装饰变换模型进行头部装饰处理，生成与反差风格相应的包括新的头部装饰的头部，并呈现新的头部，从而新的头部图像中每个头部都呈现相应的反差风格；还可以针对头部图像中每个头部，确定差异性的风格，当确定每个头部的风格后，调用与对应风格相应的头部装饰变换模型进行头部装饰处理，生成与对应风格相应的包括新的头部装饰的头部，并呈现新的头部，从而新的头部图像中头部都呈现不同风格。
在一些实施例中，在终端响应于针对头部图像的头部装饰变换操作后，根据客户端账号关联的画像数据，确定符合偏好的风格，并调用与该风格相应的头部装饰变换模型，生成与该风格相应的包括新的头部装饰的头部，并呈现新的头部，从而新的头部图像中头部呈现符合偏好的风格；还可以随机选择风格，并调用与该风格相应的头部装饰变换模型，生成与该风格相应的包括新的头部装饰的头部，并呈现新的头部，从而新的头部图像中头部呈现随机的风格。
其中，风格可以是颜色（例如，枣红色、棕铜色）、尺寸（例如，板寸、披肩）等多个视觉属性，也可以是装饰整体上表现出来的面貌，例如“日系”、“二次元”、“淑女”、“可爱”等；每个风格的头部装饰变换模型，使用相应风格的图像训练得到。
在一些实施例中，在终端响应于针对头部图像的头部装饰变换操作后，确定出头部图像中包括的头部，并呈现提示信息，该提示信息用于指示生成头部装饰的类型，例如头发、帽子、发卡等，当确定生成头部装饰的类型后，调用与类型相应的头部装饰变换模型进行头部装饰处理，生成与类型相应的包括新的头部装饰的头部，并呈现新的头部，从而新的头部图像中头部呈现相应头部装饰，例如根据用户选择的头部装饰，生成头发和/或帽子。其中，与类型的头部装饰变换模型，使用包含相应类型的头部装饰的图像训练得到。
上述说明各种呈现形式的新的头部图像的方案，下面具体说明通过调用头部装饰变换模型所生成新的头部装饰的过程。参见图4A，图4A是本发明实施例提供的基于人工智能的头部装饰处理方法的流程示意图，结合图4A示出的步骤进行说明。
在步骤201中，根据脸部关键点模板对头部图像进行脸部对齐处理，得到脸部对齐的头部图像。
终端在获取头部图像后，可以根据脸部关键点模板，对头部图像进行脸部对齐，得到脸部对齐的头部图像，以便后续根据脸部对齐的头部图像进行编解码，以生成目标头部装饰图像。
在一些实施例中，根据脸部关键点模板对头部图像进行脸部对齐处理之前，还包括：对头部图像进行脸部检测处理，得到头部图像的脸部关键点位置信息。
例如，通过人脸识别技术，对头部图像进行人脸检测，以检测出头部图像中人脸关键点（如眼睛、鼻子、眉毛等五官的关键点）位置信息，并根据脸部关键点模板中的关键点位置信息，对头部图像的脸部关键点位置信息进行对齐处理，以得到脸部对齐的头部图像，例如头部图像中的人脸是斜着的人脸，脸部关键点模板中的人脸是正着的人脸，则脸部对齐的头部图像中的人脸是正着的人脸。
在一些实施例中，根据脸部关键点模板中的关键点位置信息，对头部图像的脸部关键点位置信息进行对齐处理，得到脸部对齐的头部图像，包括：根据脸部关键点模板中的关键点位置信息、以及头部图像的脸部关键点位置信息，确定用于将脸部关键点位置信息转换为关键点位置信息的坐标变换矩阵；根据坐标变换矩阵对头部图像的脸部关键点位置信息进行转换处理，将转换处理后得到的头部图像作为脸部对齐的头部图像。
例如，在终端得到脸部关键点模板中的关键点位置信息以及头部图像的脸部关键点位置信息，可以设定一个坐标变换矩阵，使得经过坐标变换矩阵变换后的头部图像的脸部关键点位置信息、与脸部关键点模板中的关键点位置信息的二阶矩和最小，从而确定出坐标变换矩阵，其计算公式为
，其中，X表示脸部关键点位置集合，Y表示脸部关键点模板中关键点组成的集合，P表示坐标变换矩阵，N表示关键点的总数量。并根据坐标变换矩阵对待变换的表情图像的关键点位置信息进行对齐处理，得到关键点位置信息对齐的脸部对齐的头部图像。
在步骤202中，对脸部对齐的头部图像进行编码处理，得到头部图像的隐空间信息。
在终端得到脸部对齐的头部图像后，可以编码脸部对齐的头部图像，以得到头部图像的隐空间信息，其中，该隐空间信息可以表征头部图像的环境上下文信息（周围的像素点的信息）、脸部纹理和轮廓信息以及头部装饰的视觉属性等信息。
在一些实施例中，用于头部装饰变换的神经网络模型包括编码器和解码器；对脸部对齐的头部图像进行编码处理，得到头部图像的隐空间信息，包括：通过编码器对脸部对齐的头部图像进行基于隐空间的编码处理，得到头部图像的隐空间信息。
其中，编码器包括多个级联的编码层；通过多个级联的编码层的第一个编码层，对脸部对齐的头部图像进行下采样编码；将第一个编码层的下采样编码输出到后续级联的编码层，以在后续级联的编码层中继续进行下采样编码和编码结果输出，直至输出到最后一个编码层；将最后一个编码层输出的编码结果作为头部图像的隐空间信息。
例如，当编码器有N个级联的编码层，N为大于1的自然数，则通过第1个编码层，对脸部对齐的头部图像进行下采样编码，并将第1编码层的下采样编码结果输出到第2编码层，通过第2编码层对第1编码层的下采样编码结果输出进行下采样编码，并将第2编码层的下采样编码结果输出到后续级联的编码层，以在后续级联的编码层中继续进行下采样编码和编码结果输出，直至输出到第N编码层，第N编码层对第N-1编码层输出的编码结果进行下采样编码，并将下采样编码结果作为头部图像的隐空间信息。通过级联的编码层可以渐进式地学习到头部图像的各种精度的特征，以便后续解码得到准确的目标头部装饰。
在步骤203中，对头部图像的隐空间信息进行头部装饰解码处理，得到对应头部图像的目标头部装饰图像。
在终端对脸部对齐的头部图像进行编码处理，得到头部图像的隐空间信息后，可以解码头部图像的隐空间信息，以得到对应头部图像的目标头部装饰图像，以便后续可以根据目标头部装饰图像进行融合处理。
在一些实施例中，用于头部装饰变换的神经网络模型包括编码器和解码器；对头部图像的隐空间信息进行头部装饰解码处理，得到对应头部图像的目标头部装饰图像，包括：通过解码器对头部图像的隐空间信息进行基于头部装饰空间的解码处理，得到对应头部图像的目标头部装饰图像。
其中，解码器包括多个级联的解码层；通过多个级联的解码层中的第一个解码层，对头部图像的隐空间信息进行上采样解码；将第一个解码层的解码结果输出到后续级联的解码层，以在后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到最后一个解码层，并将最后一个解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应头部图像的目标头部装饰图像。
例如，当解码器有N个级联的解码层，N为大于1的自然数，则通过第1个解码层，对头部图像的隐空间信息进行上采样解码，并将第1解码层的解码输出到第2解码层，通过第2解码层对第1解码层的解码结果输出进行上采样解码，并将第2解码层的解码结果输出到后续级联的解码层，以在后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到第N解码层，第N解码层对第N-1解码层输出的解码结果进行上采样解码，并将第N解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应头部图像的目标头部装饰图像。通过级联的解码层可以渐进式地学习到头部图像的各种精度的特征，以得到准确的目标头部装饰。
在一些实施例中，当解码器包括多个级联的解码层，且相同层次的解码层与编码层之间存在跨层连接时，通过解码器对头部图像的隐空间信息进行基于头部装饰空间的解码处理，得到对应头部图像的目标头部装饰图像，包括：通过多个级联的解码层中的第一个解码层，对头部图像的隐空间信息进行上采样解码；将解码结果与第一个解码层跨层连接的编码层输出的编码结果进行拼接，将拼接结果作为第一个解码层的解码结果，并输出到后续级联的解码层，以在后续级联的解码层中继续进行上采样解码、拼接处理和解码结果输出，直至输出到最后一个解码层；将最后一个解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应头部图像的目标头部装饰图像。
例如，如图7所示，相同层次的解码层与编码层之间存在跨层连接，即级联的编码层将编码结果输入至相同层次的编码层。通过解码器中的第一个解码层，对最后一层编码层输出的下采样编码结果进行上采样解码，并将上采样解码的解码结果与第一个解码层跨层连接的编码层（最后一层编码层）输出的编码结果进行拼接，将拼接结果作为第一个解码层的解码结果输出到后续级联的解码层，后续级联的解码层将继续进行上述的上采样解码、解码结果拼接（对于任意一个解码层，将解码层的上采样解码的解码结果、与解码层存在跨层连接的编码层输出的编码结果进行拼接）和解码结果输出，将最后一个解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应头部图像的目标头部装饰图像。通过跨层连接，可以保留各个层次的信息，使得解码器可以很好的学习头部图像的所有信息，以得到准确的头部装饰掩码图像。
在步骤204中，对头部图像的隐空间信息进行掩码解码处理，得到对应头部图像的头部装饰掩码图像。
在终端对脸部对齐的头部图像进行编码处理，得到头部图像的隐空间信息后，可以解码头部图像的隐空间信息，以得到对应头部图像的头部装饰掩码图像，以便后续可以根据头部装饰掩码图像进行融合处理。
在一些实施例中，用于头部装饰变换的神经网络模型包括编码器和解码器；对头部图像的隐空间信息进行掩码解码处理，得到对应头部图像的头部装饰掩码图像，包括：通过解码器对头部图像的隐空间信息进行基于掩码空间的解码处理，得到对应头部图像的头部装饰掩码图像。
其中，解码器包括多个级联的解码层；通过多个级联的解码层中的第一个解码层，对头部图像的隐空间信息进行上采样解码；将第一个解码层的解码结果输出到后续级联的解码层，以在后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到最后一个解码层，并将最后一个解码层输出的解码结果映射至掩码空间，并将映射结果作为对应头部图像的头部装饰掩码图像。
例如，当解码器有N个级联的解码层，N为大于1的自然数，则通过第1个解码层，对头部图像的隐空间信息进行上采样解码，并将第1解码层的解码输出到第2解码层，通过第2解码层对第1解码层的解码结果输出进行上采样解码，并将第2解码层的解码结果输出到后续级联的解码层，以在后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到第N解码层，第N解码层对第N-1解码层输出的解码结果进行上采样解码，将第N解码层输出的解码结果映射至掩码空间，并将映射结果作为对应头部图像的头部装饰掩码图像。通过级联的解码层可以渐进式地学习到头部图像的各种精度的特征，以得到准确的头部装饰掩码图像。
在一些实施例中，当解码器包括多个级联的解码层，且相同层次的解码层与编码层之间存在跨层连接时，通过解码器对头部图像的隐空间信息进行基于掩码空间的解码处理，得到对应头部图像的头部装饰掩码图像，包括：通过多个级联的解码层中的第一个解码层，对头部图像的隐空间信息进行上采样解码；将解码结果与第一个解码层跨层连接的编码层输出的编码结果进行拼接，将拼接结果作为第一个解码层的解码结果，并输出到后续级联的解码层，以在后续级联的解码层中继续进行上采样解码、拼接处理和解码结果输出，直至输出到最后一个解码层；将最后一个解码层输出的解码结果映射至掩码空间，并将映射结果作为对应头部图像的头部装饰掩码图像。
例如，如图7所示，相同层次的解码层与编码层之间存在跨层连接，即级联的编码层将编码结果输入至相同层次的编码层。通过解码器中的第一个解码层，对最后一层编码层输出的下采样编码结果进行上采样解码，并将上采样解码的解码结果与第一个解码层跨层连接的编码层（最后一层编码层）输出的编码结果进行拼接，将拼接结果作为第一个解码层的解码结果输出到后续级联的解码层，后续级联的解码层将继续进行上述的上采样解码、解码结果拼接（对于任意一个解码层，将解码层的上采样解码的解码结果、与解码层存在跨层连接的编码层输出的编码结果进行拼接）和解码结果输出，将最后一个解码层输出的解码结果映射至掩码空间，并将映射结果作为对应头部图像的头部装饰掩码图像。通过跨层连接，可以保留各个层次的信息，使得解码器可以很好的学习头部图像的所有信息，以得到准确的头部装饰掩码图像。
在步骤205中，根据头部装饰掩码图像，对脸部对齐的头部图像以及目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像。
在终端得到准确的目标头部装饰以及头部装饰掩码图像后，可以根据头部装饰掩码图像，融合脸部对齐的头部图像以及目标头部装饰图像，以得到包括目标头部装饰的头部装饰图像。
在一些实施例中，根据头部装饰掩码图像，对脸部对齐的头部图像以及目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像，包括：针对头部装饰掩码图像中的每个像素点执行以下处理：将脸部对齐的头部图像中对应像素点的像素值、与头部装饰掩码图像中像素点的像素值相乘，以得到像素点的第一像素值；对头部装饰掩码图像中像素点的像素值进行取反，并将取反结果与目标头部装饰图像中对应像素点的像素值相乘，以得到像素点的第二像素值；将第一像素值与第二像素值进行相加，以得到像素点的特征；对每个像素点的特征进行组合处理，得到包括目标头部装饰的头部装饰图像。
例如，头部装饰掩码图像为A，目标头部装饰图像为
，脸部对齐的头部图像为
，则包括目标头部装饰的头部装饰图像为
，其中，M表示头部装饰掩码图像中像素点的数量，Ai为头部装饰掩码图像中第i个像素点的像素值（二值数）。
参见图4B，图4B是本发明实施例提供的基于人工智能的头部装饰变换方法的一个可选的流程示意图，图4B示出图4A中的步骤205之后还包括步骤206和步骤207：在步骤206中，对头部装饰图像进行脸部检测处理，得到头部装饰图像的脸部关键点位置信息；在步骤207中，根据头部图像的脸部关键点位置信息，对头部装饰图像的脸部关键点位置信息进行反对齐处理，得到对应头部图像的头部装饰图像。
为了得到与头部图像对应的头部装饰图像，可以先通过人脸识别技术确定出头部装饰图像的脸部关键点位置信息，并根据头部图像的脸部关键点位置信息，对头部装饰图像的脸部关键点位置信息进行反对齐，得到对应头部图像的头部装饰图像，即将头部装饰图像还原至原头部图像中。
在一些实施例中，为了通过训练后的头部装饰变换模型，根据头部图像，生成头部装饰图像，需要对头部装饰变换模型进行训练，通过头部装饰变换模型对头部图像样本进行编码处理，得到头部图像样本的隐空间信息；对头部图像样本的隐空间信息进行头部装饰解码处理，生成对应头部图像样本的目标头部装饰图像；对头部图像样本的隐空间信息进行掩码解码处理，生成对应头部图像样本的头部装饰掩码图像；根据头部装饰掩码图像，对头部图像样本以及目标头部装饰图像进行融合处理，以得到头部装饰图像；根据生成的目标头部装饰图像、以及真实的目标头部装饰图像样本的差异，构建目标头部装饰的损失函数；根据生成的头部装饰掩码图像、以及真实的头部装饰掩码图像样本的差异，构建头部装饰掩码的损失函数；根据生成的头部装饰图像、以及真实的头部装饰图像样本的差异，构建头部装饰变换的损失函数；根据生成的头部装饰图像、以及真实的头部装饰图像样本，构建对抗损失函数；对目标头部装饰的损失函数、头部装饰掩码的损失函数、头部装饰变换的损失函数以及对抗损失函数进行加权求和，以得到头部装饰变换模型的整体损失函数；更新头部装饰变换模型的参数直至整体损失函数收敛，将整体损失函数收敛时更新得到的参数，作为训练后的头部装饰变换模型的参数。
其中，整体损失函数为
例如，根据生成的目标头部装饰图像、真实的目标头部装饰图像样本、生成的头部装饰掩码图像、真实的头部装饰掩码图像样本、生成的头部装饰图像以及真实的头部装饰图像样本，确定头部装饰变换模型的整体损失函数的值后，可以判断整体损失函数的值是否超出预设阈值，当整体损失函数的值超出预设阈值时，基于整体损失函数确定头部装饰变换模型的误差信号，将误差信息在头部装饰变换模型中反向传播，并在传播的过程中更新各个层的模型参数。
这里，对反向传播进行说明，将训练样本数据输入到神经网络模型的输入层，经过隐藏层，最后达到输出层并输出结果，这是神经网络模型的前向传播过程，由于神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整模型参数的值；不断迭代上述过程，直至收敛。其中，头部装饰变换模型属于神经网络模型。
在一些实施例中，通过头部装饰变换模型对头部样本图像进行编码处理之前，还包括：从头部图像样本以及对应的真实的头部装饰图像样本中识别出背景；从背景数据库中抽取出目标背景，并将识别出的背景替换为目标背景，以得到新的头部图像样本以及新的真实的头部装饰图像样本。
例如，给定初始训练数据集
，其中
表示原始的头部图像样本，
表示对应的真实的头部装饰图像样本，对
分别进行背景区域检测，并将背景替换为目标背景，替换完背景后的数据
为扩充数据，一起训练头部装饰变换模型。因此，可以产生大量用于训练头部装饰变换模型的一对一的训练数据，节约了人工构建所需的人力物力。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
本发明实施例可以应用于美妆的应用场景中，如图1A所示，终端通过网络300连接部署在云端的服务器100，在终端上安装美妆应用，用户通过终端选择头部图像，确定选择后，终端通过网络300向服务器100发送该头部图像，服务器100接收到头部图像后，对头部图像（例如照片、视频中的全部或部分视频帧）进行头部装饰处理，以得到包括目标头部装饰（例如，头发、发卡等）的头部装饰图像，例如，如图5A所示的有短头发501的头部图像，为输入的有短头发的头部图像自动生成不同类型的长头发502，并将长头发与头部图像进行融合，以生成如图5B所示的有长头发的头部图像。
下面以头部装饰为头发为例进行说明：
相关技术中，基于模板的头发生成方案（基于模板匹配的方法）缺乏对不同人脸的自适应调整能力，导致头发与人脸边缘吻合程度较低等问题。此外，基于模板匹配的方法生成的头发纹理很难适应不同的真实环境，逼真度较低。基于模板匹配的方法无法高效的为不同人脸生成高逼真度的头发。
生成对抗网络（Generative Adversarial Network，GAN）在很多领域得到了广泛的关注。区别于判别式模型，生成对抗网络通常由一个生成网络（Generator）和一个判别网络（Discriminator）组成，其中，生成网络旨在从输入的随机噪音生成假样本并使其尽量接近训练集中的真实样本，而判别网络旨在将真实样本和由生成网络生成的假样本区分开来。生成对抗网络通过生成网络和判别网络之间的对抗博弈进行学习，最终训练得到的生成网络可以用来进行样本生成。生成对抗网络在图像风格迁移和图像纹理补全等领域得到广泛的应用，如一种基于条件生成式对抗网络（Conditional GAN，CGAN）的图像转换模型（Pix2PixGAN），通过在输入端增加标注或其他形式的监督信息，可以高效的进行图像转换，如从示意图到彩色图像的转换等；一种基于条件生成式对抗网络的纹理可控的图像合成方法（TextureGAN），通过输入素描图像和一部分纹理贴图，可以高效的合成目标图像的全部纹理；一种无监督的生成式对抗网络：循环生成对抗网络（CycleGAN），通过循环一致性约束进行图像风格迁移学习，无需构建一对一的训练数据，显著降低对抗生成网络的训练数据构建难度。虽然，对抗生成网络在自然图像的风格迁移和纹理补全等方向取得了不错的效果，但是，在头发自动生成方向相关工作较少。
此外，基于有监督的生成对抗网络模型，如Pix2PixGAN和TextureGAN等的生成效果要显著优于基于无监督的生成对抗网络模型。但是，有监督的生成对抗网络模型的训练需要大量高质量的一对一的数据进行训练。而针对头发生成领域，高质量的训练数据很难获取，人工构建一对一的原始头发和目标头发数据需要大量的人力物力。
因此，基于模板匹配的方法存在生成头发的逼真度较低和与人脸边缘的吻合度较低等问题，无法生成高质量的头发。而基于生产生成对抗网络的方法虽然在自然图像风格迁移和图像纹理补全等应用取得了良好的结果，但是其在高逼真度头发自动生成方面的相关工作很少，并且其训练数据很难获取。
为了解决上述问题，本发明实施例提供一种高逼真度头发自动生成方法，通过一种高效的生成对抗网络模型对输入的人脸进行编辑，并自动生成高逼真度的头发。针对生成对抗网络需要大量的一对一的训练数据，而基于人脸数据的高质量的一对一数据很难获取的问题，通过一种高效的数据扩充方案，可以显著降低训练数据的构建难度。
本发明实施例可以应用于美妆类应用开发，例如提供发型滤镜功能，生成用户没有的发型，提供更多趣味玩法；还可以应用于短视频类应用，例如提供高逼真度实时发型更换功能等，供用户拍摄更多有趣的短视频，活跃短视频社区；还可以应用于视频聊天相关应用，例如提供高逼真度实时发型滤镜等。
为了生成高逼真度实时头发，本发明实施例提供一种高逼真度头发生成模型（头部装饰变换模型），其系统框图如图6所示。给定一张输入的人脸图像（头部图像），首先进行人脸检测和人脸对齐；其次，利用生成对抗网络对对齐后的图像进行编码，并为其生成对应的目标头发和头发掩码；利用头发掩码，对对齐后的人脸图像和生成的目标头发进行融合，得到贴合目标头发的人脸图像；最后，将贴合目标头发的人脸图像反对齐到原始的人脸图像上，得到贴合目标头发后的图像，整个系统可以实现端到端的实时发型生成功能。
其中，高逼真度头发生成模型需要依据输入的人脸图像自动生成高逼真度的目标头发，保证生成的目标头发和原始输入的人脸图像之间的高吻合度，并且当原始输入的人脸图像中有头发时，要自动去除原始输入的人脸图像的头发。本发明实施例中提出的头发生成模型的表述如公式（1）所示：
其中，
表示贴合目标头发的人脸图像，
表示经过人脸检测和人脸对齐的图像（即头发生成模型的输入），
表示生成的目标头发图像，
表示学习到的头发掩码，
代表头发融合，贴合目标头发的人脸图像
反对齐到原始输入的人脸图像。
为生成高逼真度的头发，首先将输入的人脸图像
通过自编码器
投影到一个隐空间中，得到对应的隐空间表达
，如公式（2）所示。该隐空间表达刻画了输入人脸图像的环境上下文信息（周围的像素点的信息）、人脸纹理和轮廓信息以及人脸原始的头发颜色和位置等信息。为生成对应的目标头发，将隐空间表达
通过解码器
反编码解码到目标头发空间，得到对应的目标头发图像
，如公式（3）所示，将隐空间表达
通过解码器
反编码解码到头发掩码空间，得到对应的头发掩码图像
，如公式（4）所示：
其中，
表示输入图像的自编码器，如图7所示的基于U型网络的图像编码网络。
和
分别为目标头发图像的解码器和头发掩码的解码器，如图7所示的基于U型网络的图像解码网络。最终，目标头发图像、头发掩码图像和输入的人脸图像进行融合，得到贴合目标头发的人脸图像。其中，本发明实施例并不局限于一种编码器和解码器。
为生成高逼真度的头发，本发明实施例的训练过程考虑目标头发图像的像素损失、目标头发位置掩码损失、融合后的目标图像像素损失以及判别器损失，整体损失函数如公式（5）所示：
其中，δ≥0，α≥0，β≥0，γ≥0，且δ、α、β、γ为权重参数。
表示目标头发图像的像素损失，度量解码器得到的目标头发图像和真实目标头发图像之间的像素级别的偏差。
用以衡量解码器得到的头发掩码和真实的头发掩码的偏差。
对应融合后的目标图像和真实的目标图像之间的偏差。为提高生成头发的真实度，本发明实施例同时考虑对抗损失
，
用以区分融合后的目标图像和真实的目标图像。通过判别器和生成器之间的相互博弈以提升生成目标头发的真实度。模型训练过程中(δ，α，β，γ)的值可以灵活设置，以调节不同损失的权重或者屏蔽掉某一项损失。其中，针对目标头发图像的像素损失、目标头发位置掩码损失、融合后的目标图像像素损失以及判别器损失，本发明实施例并不局限于某一种损失函数，可以为任意满足要求的损失函数。
为适应各种不同的背景环境和不同的光照条件等因素，训练稳定的人脸头发生成模型需要大量的一对一的训练数据，而一对一的原始人脸图像和贴合目标头发的人脸图像数据很难获取，人工构建需要大量的人力物力。因此，本发明实施例提供一种高效的数据扩充方案，以降低训练数据的构建难度。即给定初始训练数据集
，其中
表示原始的人脸图像，
表示贴合目标头发的目标人脸图像，本发明实施例对
分别进行背景区域检测和替换，替换完背景后的数据
为扩充数据，一起训练头发生成模型。其中，
可以为任何不包含人脸的图像。
为验证本发明实施例的有效性，基于15万对训练数据进行头发生成模型训练，通过训练后的头发生成模型自动生成头发，如图8A所示的原始的输入图像，该输入图像为有短头发801的头部图像，并自动生成不同类型的高逼真长头发802，并将长头发与头部图像进行融合，以生成如图8B所示的有长头发的目标图像。
综上，本发明实施例提出了一种高逼真度头发自动生成方法，可以为任意2D人脸图像或视频进行头发自动生成和替换。本发明实施例还提出了一种高效的数据增广方案，可以显著降低训练数据的构建难度。本发明实施例可以用于数字内容编辑，如提供发型滤镜功能，进行用户发型实时替换等。
至此已经结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的基于人工智能的头部装饰处理方法，下面继续说明本发明实施例提供的头部装饰处理装置555中各个模块配合实现头部装饰处理的方案。
对齐模块5551，用于根据脸部关键点模板对头部图像进行脸部对齐处理，得到脸部对齐的头部图像；编码模块5552，用于对所述脸部对齐的头部图像进行编码处理，得到所述头部图像的隐空间信息；第一解码模块5553，用于对所述头部图像的隐空间信息进行头部装饰解码处理，得到对应所述头部图像的目标头部装饰图像；第二解码模块5554，用于对所述头部图像的隐空间信息进行掩码解码处理，得到对应所述头部图像的头部装饰掩码图像；融合模块5555，用于根据所述头部装饰掩码图像，对所述脸部对齐的头部图像以及所述目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像。
在一些实施例中，所述装置还包括：检测模块5556，用于对所述头部图像进行脸部检测处理，得到所述头部图像的脸部关键点位置信息；所述对齐模块5551还用于根据所述脸部关键点模板中的关键点位置信息，对所述头部图像的脸部关键点位置信息进行对齐处理，得到脸部对齐的头部图像。
在一些实施例中，所述对齐模块5551还用于根据所述脸部关键点模板中的关键点位置信息、以及所述头部图像的脸部关键点位置信息，确定用于将所述脸部关键点位置信息转换为所述关键点位置信息的坐标变换矩阵；根据所述坐标变换矩阵对所述头部图像的脸部关键点位置信息进行转换处理，将转换处理后得到的所述头部图像作为脸部对齐的头部图像。
在一些实施例中，用于头部装饰变换的神经网络模型包括编码器和解码器；所述编码模块5552还用于通过所述编码器对所述脸部对齐的头部图像进行基于隐空间的编码处理，得到所述头部图像的隐空间信息；所述第一解码模块5553还用于通过所述解码器对所述头部图像的隐空间信息进行基于头部装饰空间的解码处理，得到对应所述头部图像的目标头部装饰图像；所述第一解码模块5554还用于通过所述解码器对所述头部图像的隐空间信息进行基于掩码空间的解码处理，得到对应所述头部图像的头部装饰掩码图像。
在一些实施例中，所述解码器包括多个级联的解码层；所述第一解码模块5553还用于通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；将所述第一个解码层的解码结果输出到后续级联的解码层，以在所述后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到最后一个解码层，并将所述最后一个解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应所述头部图像的目标头部装饰图像。
在一些实施例中，所述解码器包括多个级联的解码层；所述第二解码模块5554还用于通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；将所述第一个解码层的解码结果输出到后续级联的解码层，以在所述后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到最后一个解码层，并将所述最后一个解码层输出的解码结果映射至掩码空间，并将映射结果作为对应所述头部图像的头部装饰掩码图像。
在一些实施例中，所述编码器包括多个级联的编码层；所述编码模块5552还用于通过所述多个级联的编码层的第一个编码层，对所述脸部对齐的头部图像进行下采样编码；将所述第一个编码层的下采样编码输出到后续级联的编码层，以在所述后续级联的编码层中继续进行下采样编码和编码结果输出，直至输出到最后一个编码层；将所述最后一个编码层输出的编码结果作为所述头部图像的隐空间信息。
在一些实施例中，当所述解码器包括多个级联的解码层，且相同层次的所述解码层与所述编码层之间存在跨层连接时，所述第一解码模块5553还用于通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；将解码结果与所述第一个解码层跨层连接的编码层输出的编码结果进行拼接，将拼接结果作为所述第一个解码层的解码结果，并输出到后续级联的解码层，以在所述后续级联的解码层中继续进行上采样解码、拼接处理和解码结果输出，直至输出到最后一个解码层；将所述最后一个解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应所述头部图像的目标头部装饰图像。
在一些实施例中，当所述解码器包括多个级联的解码层，且相同层次的所述解码层与所述编码层之间存在跨层连接时，所述解码模块5554还用于通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；将解码结果与所述第一个解码层跨层连接的编码层输出的编码结果进行拼接，将拼接结果作为所述第一个解码层的解码结果，并输出到后续级联的解码层，以在所述后续级联的解码层中继续进行上采样解码、拼接处理和解码结果输出，直至输出到最后一个解码层；将所述最后一个解码层输出的解码结果映射至掩码空间，并将映射结果作为对应所述头部图像的头部装饰掩码图像。
在一些实施例中，所述融合模块5555还用于针对所述头部装饰掩码图像中的每个像素点执行以下处理：将所述脸部对齐的头部图像中对应所述像素点的像素值、与所述头部装饰掩码图像中所述像素点的像素值相乘，以得到所述像素点的第一像素值；对所述头部装饰掩码图像中所述像素点的像素值进行取反，并将取反结果与所述目标头部装饰图像中对应所述像素点的像素值相乘，以得到所述像素点的第二像素值；将所述第一像素值与所述第二像素值进行相加，以得到所述像素点的特征；对所述每个像素点的特征进行组合处理，得到包括目标头部装饰的头部装饰图像。
在一些实施例中，所述装置还包括：处理模块5557，用于对所述头部装饰图像进行脸部检测处理，得到所述头部装饰图像的脸部关键点位置信息；根据所述头部图像的脸部关键点位置信息，对所述头部装饰图像的脸部关键点位置信息进行反对齐处理，得到对应所述头部图像的头部装饰图像。
在一些实施例中，所述装置还包括：训练模块5558，用于通过头部装饰变换模型对头部图像样本进行编码处理，得到所述头部图像样本的隐空间信息；对所述头部图像样本的隐空间信息进行头部装饰解码处理，生成对应所述头部图像样本的目标头部装饰图像；对所述头部图像样本的隐空间信息进行掩码解码处理，生成对应所述头部图像样本的头部装饰掩码图像；根据所述头部装饰掩码图像，对所述头部图像样本以及所述目标头部装饰图像进行融合处理，以得到头部装饰图像；根据生成的目标头部装饰图像、以及真实的目标头部装饰图像样本的差异，构建目标头部装饰的损失函数；根据生成的头部装饰掩码图像、以及真实的头部装饰掩码图像样本的差异，构建头部装饰掩码的损失函数；根据生成的头部装饰图像、以及真实的头部装饰图像样本的差异，构建头部装饰变换的损失函数；根据生成的头部装饰图像、以及真实的头部装饰图像样本，构建对抗损失函数；对所述目标头部装饰的损失函数、所述头部装饰掩码的损失函数、所述头部装饰变换的损失函数以及所述对抗损失函数进行加权求和，以得到所述头部装饰变换模型的整体损失函数；更新所述头部装饰变换模型的参数直至所述整体损失函数收敛，将所述整体损失函数收敛时更新得到的参数，作为训练后的所述头部装饰变换模型的参数。
在一些实施例中，所述装置还包括：扩充模块5559，用于从所述头部图像样本以及对应的所述真实的头部装饰图像样本中识别出背景；从背景数据库中抽取出目标背景，并将识别出的背景替换为所述目标背景，以得到新的头部图像样本以及新的真实的头部装饰图像样本。
本发明实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令（可执行指令），该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本发明实施例上述的基于人工智能的头部装饰处理方法。
本发明实施例还提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的基于人工智能的头部装饰处理方法，例如，如图3示出的基于人工智能的头部装饰处理方法，或者如图4A-4B示出的基于人工智能的头部装饰处理方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备（包括智能终端和服务器在内的设备）上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。
Claims (14)
1.一种基于人工智能的头部装饰处理方法，其特征在于，包括：
根据脸部关键点模板对头部图像进行脸部对齐处理，得到脸部对齐的头部图像；
对所述脸部对齐的头部图像进行编码处理，得到所述头部图像的隐空间信息；
对所述头部图像的隐空间信息进行头部装饰解码处理，得到对应所述头部图像的目标头部装饰图像；
对所述头部图像的隐空间信息进行掩码解码处理，得到对应所述头部图像的头部装饰掩码图像；
根据所述头部装饰掩码图像，对所述脸部对齐的头部图像以及所述目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像。
2.根据权利要求1所述的方法，其特征在于，所述根据脸部关键点模板对头部图像进行脸部对齐处理之前，还包括：
对所述头部图像进行脸部检测处理，得到所述头部图像的脸部关键点位置信息；
所述根据脸部关键点模板对头部图像进行脸部对齐处理，得到脸部对齐的头部图像，包括：
根据所述脸部关键点模板中的关键点位置信息，对所述头部图像的脸部关键点位置信息进行对齐处理，得到脸部对齐的头部图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述脸部关键点模板中的关键点位置信息，对所述头部图像的脸部关键点位置信息进行对齐处理，得到脸部对齐的头部图像，包括：
根据所述脸部关键点模板中的关键点位置信息、以及所述头部图像的脸部关键点位置信息，确定用于将所述脸部关键点位置信息转换为所述关键点位置信息的坐标变换矩阵；
根据所述坐标变换矩阵对所述头部图像的脸部关键点位置信息进行转换处理，将转换处理后得到的所述头部图像作为脸部对齐的头部图像。
4.根据权利要求1所述的方法，其特征在于，
用于头部装饰变换的神经网络模型包括编码器和解码器；
所述对所述脸部对齐的头部图像进行编码处理，得到所述头部图像的隐空间信息，包括：
通过所述编码器对所述脸部对齐的头部图像进行基于隐空间的编码处理，得到所述头部图像的隐空间信息；
所述对所述头部图像的隐空间信息进行头部装饰解码处理，得到对应所述头部图像的目标头部装饰图像，包括：
通过所述解码器对所述头部图像的隐空间信息进行基于头部装饰空间的解码处理，得到对应所述头部图像的目标头部装饰图像；
所述对所述头部图像的隐空间信息进行掩码解码处理，得到对应所述头部图像的头部装饰掩码图像，包括：
通过所述解码器对所述头部图像的隐空间信息进行基于掩码空间的解码处理，得到对应所述头部图像的头部装饰掩码图像。
5.根据权利要求4所述的方法，其特征在于，
所述解码器包括多个级联的解码层；
所述通过所述解码器对所述头部图像的隐空间信息进行基于头部装饰空间的解码处理，得到对应所述头部图像的目标头部装饰图像，包括：
通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；
将所述第一个解码层的解码结果输出到后续级联的解码层，以在所述后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到最后一个解码层，并
将所述最后一个解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应所述头部图像的目标头部装饰图像。
6.根据权利要求4所述的方法，其特征在于，
所述解码器包括多个级联的解码层；
所述通过所述解码器对所述头部图像的隐空间信息进行基于掩码空间的解码处理，得到对应所述头部图像的头部装饰掩码图像，包括：
通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；
将所述第一个解码层的解码结果输出到后续级联的解码层，以在所述后续级联的解码层中继续进行上采样解码和解码结果输出，直至输出到最后一个解码层，并
将所述最后一个解码层输出的解码结果映射至掩码空间，并将映射结果作为对应所述头部图像的头部装饰掩码图像。
7.根据权利要求4所述的方法，其特征在于，
所述编码器包括多个级联的编码层；
所述通过所述编码器对所述脸部对齐的头部图像进行基于隐空间的编码处理，得到所述头部图像的隐空间信息，包括：
通过所述多个级联的编码层的第一个编码层，对所述脸部对齐的头部图像进行下采样编码；
将所述第一个编码层的下采样编码输出到后续级联的编码层，以在所述后续级联的编码层中继续进行下采样编码和编码结果输出，直至输出到最后一个编码层；
将所述最后一个编码层输出的编码结果作为所述头部图像的隐空间信息。
8.根据权利要求7所述的方法，其特征在于，
当所述解码器包括多个级联的解码层，且相同层次的所述解码层与所述编码层之间存在跨层连接时，所述通过所述解码器对所述头部图像的隐空间信息进行基于头部装饰空间的解码处理，得到对应所述头部图像的目标头部装饰图像，包括：
通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；
将解码结果与所述第一个解码层跨层连接的编码层输出的编码结果进行拼接，将拼接结果作为所述第一个解码层的解码结果，并输出到后续级联的解码层，以
在所述后续级联的解码层中继续进行上采样解码、拼接处理和解码结果输出，直至输出到最后一个解码层；
将所述最后一个解码层输出的解码结果映射至目标头部装饰空间，并将映射结果作为对应所述头部图像的目标头部装饰图像。
9.根据权利要求7所述的方法，其特征在于，
当所述解码器包括多个级联的解码层，且相同层次的所述解码层与所述编码层之间存在跨层连接时，所述通过所述解码器对所述头部图像的隐空间信息进行基于掩码空间的解码处理，得到对应所述头部图像的头部装饰掩码图像，包括：
通过所述多个级联的解码层中的第一个解码层，对所述头部图像的隐空间信息进行上采样解码；
将解码结果与所述第一个解码层跨层连接的编码层输出的编码结果进行拼接，将拼接结果作为所述第一个解码层的解码结果，并输出到后续级联的解码层，以
在所述后续级联的解码层中继续进行上采样解码、拼接处理和解码结果输出，直至输出到最后一个解码层；
将所述最后一个解码层输出的解码结果映射至掩码空间，并将映射结果作为对应所述头部图像的头部装饰掩码图像。
10.根据权利要求1所述的方法，其特征在于，所述根据所述头部装饰掩码图像，对所述脸部对齐的头部图像以及所述目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像，包括：
针对所述头部装饰掩码图像中的每个像素点执行以下处理：
将所述脸部对齐的头部图像中对应所述像素点的像素值、与所述头部装饰掩码图像中所述像素点的像素值相乘，以得到所述像素点的第一像素值；
对所述头部装饰掩码图像中所述像素点的像素值进行取反，并将取反结果与所述目标头部装饰图像中对应所述像素点的像素值相乘，以得到所述像素点的第二像素值；
将所述第一像素值与所述第二像素值进行相加，以得到所述像素点的特征；
对所述每个像素点的特征进行组合处理，得到包括目标头部装饰的头部装饰图像。
11.根据权利要求1所述的方法，其特征在于，所述对所述脸部对齐的头部图像以及所述目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像之后，还包括：
对所述头部装饰图像进行脸部检测处理，得到所述头部装饰图像的脸部关键点位置信息；
根据所述头部图像的脸部关键点位置信息，对所述头部装饰图像的脸部关键点位置信息进行反对齐处理，得到对应所述头部图像的头部装饰图像。
12.根据权利要求1至11任一所述的方法，其特征在于，所述方法还包括：
通过头部装饰变换模型对头部图像样本进行编码处理，得到所述头部图像样本的隐空间信息；
对所述头部图像样本的隐空间信息进行头部装饰解码处理，生成对应所述头部图像样本的目标头部装饰图像；
对所述头部图像样本的隐空间信息进行掩码解码处理，生成对应所述头部图像样本的头部装饰掩码图像；
根据所述头部装饰掩码图像，对所述头部图像样本以及所述目标头部装饰图像进行融合处理，以得到头部装饰图像；
根据生成的目标头部装饰图像、以及真实的目标头部装饰图像样本的差异，构建目标头部装饰的损失函数；
根据生成的头部装饰掩码图像、以及真实的头部装饰掩码图像样本的差异，构建头部装饰掩码的损失函数；
根据生成的头部装饰图像、以及真实的头部装饰图像样本的差异，构建头部装饰变换的损失函数；
根据生成的头部装饰图像、以及真实的头部装饰图像样本，构建对抗损失函数；
对所述目标头部装饰的损失函数、所述头部装饰掩码的损失函数、所述头部装饰变换的损失函数以及所述对抗损失函数进行加权求和，以得到所述头部装饰变换模型的整体损失函数；
更新所述头部装饰变换模型的参数直至所述整体损失函数收敛，将所述整体损失函数收敛时更新得到的参数，作为训练后的所述头部装饰变换模型的参数。
13.根据权利要求12所述的方法，其特征在于，所述通过头部装饰变换模型对头部样本图像进行编码处理之前，还包括：
从所述头部图像样本以及对应的所述真实的头部装饰图像样本中识别出背景；
从背景数据库中抽取出目标背景，并将识别出的背景替换为所述目标背景，以得到新的头部图像样本以及新的真实的头部装饰图像样本。
14.一种头部装饰处理装置，其特征在于，所述装置包括：
对齐模块，用于根据脸部关键点模板对头部图像进行脸部对齐处理，得到脸部对齐的头部图像；
编码模块，用于对所述脸部对齐的头部图像进行编码处理，得到所述头部图像的隐空间信息；
第一解码模块，用于对所述头部图像的隐空间信息进行头部装饰解码处理，得到对应所述头部图像的目标头部装饰图像；
第二解码模块，用于对所述头部图像的隐空间信息进行掩码解码处理，得到对应所述头部图像的头部装饰掩码图像；
融合模块，用于根据所述头部装饰掩码图像，对所述脸部对齐的头部图像以及所述目标头部装饰图像进行融合处理，得到包括目标头部装饰的头部装饰图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010695792.4A CN111563868B (zh) | 2020-07-20 | 2020-07-20 | 基于人工智能的头部装饰处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010695792.4A CN111563868B (zh) | 2020-07-20 | 2020-07-20 | 基于人工智能的头部装饰处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563868A true CN111563868A (zh) | 2020-08-21 |
| CN111563868B CN111563868B (zh) | 2020-10-20 |
Family
ID=72075466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010695792.4A Active CN111563868B (zh) | 2020-07-20 | 2020-07-20 | 基于人工智能的头部装饰处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563868B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991494A (zh) * | 2021-01-28 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备及计算机可读存储介质 |
| CN113628132A (zh) * | 2021-07-26 | 2021-11-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| JP7076167B1 (ja) | 2021-12-01 | 2022-05-27 | Ｅａｇｌｙｓ株式会社 | 機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム |
| WO2023239300A1 (zh) * | 2022-06-10 | 2023-12-14 | 脸萌有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408536A (zh) * | 2016-09-14 | 2017-02-15 | 北京小米移动软件有限公司 | 图像合成方法及装置 |
| CN110503601A (zh) * | 2019-08-28 | 2019-11-26 | 上海交通大学 | 基于对抗网络的人脸生成图片替换方法及系统 |
| CN110738595A (zh) * | 2019-09-30 | 2020-01-31 | 腾讯科技（深圳）有限公司 | 图片处理方法、装置和设备及计算机存储介质 |
| US10565758B2 (en) * | 2017-06-14 | 2020-02-18 | Adobe Inc. | Neural face editing with intrinsic image disentangling |
| CN110992374A (zh) * | 2019-11-28 | 2020-04-10 | 杭州趣维科技有限公司 | 一种基于深度学习的头发精细化分割方法及系统 |
-
2020
- 2020-07-20 CN CN202010695792.4A patent/CN111563868B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408536A (zh) * | 2016-09-14 | 2017-02-15 | 北京小米移动软件有限公司 | 图像合成方法及装置 |
| US10565758B2 (en) * | 2017-06-14 | 2020-02-18 | Adobe Inc. | Neural face editing with intrinsic image disentangling |
| CN110503601A (zh) * | 2019-08-28 | 2019-11-26 | 上海交通大学 | 基于对抗网络的人脸生成图片替换方法及系统 |
| CN110738595A (zh) * | 2019-09-30 | 2020-01-31 | 腾讯科技（深圳）有限公司 | 图片处理方法、装置和设备及计算机存储介质 |
| CN110992374A (zh) * | 2019-11-28 | 2020-04-10 | 杭州趣维科技有限公司 | 一种基于深度学习的头发精细化分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 吴彬: "基于视频人脸检测与对齐算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991494A (zh) * | 2021-01-28 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备及计算机可读存储介质 |
| CN112991494B (zh) * | 2021-01-28 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、计算机设备及计算机可读存储介质 |
| CN113628132A (zh) * | 2021-07-26 | 2021-11-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| JP7076167B1 (ja) | 2021-12-01 | 2022-05-27 | Ｅａｇｌｙｓ株式会社 | 機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム |
| JP2023081793A (ja) * | 2021-12-01 | 2023-06-13 | Ｅａｇｌｙｓ株式会社 | 機械学習装置、機械学習システム、機械学習方法、および機械学習プログラム |
| WO2023239300A1 (zh) * | 2022-06-10 | 2023-12-14 | 脸萌有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563868B (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563868B (zh) | 基于人工智能的头部装饰处理方法及装置 | |
| CN111401216B (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| CN111768425B (zh) | 图像处理方法、装置及设备 | |
| US11670015B2 (en) | Method and apparatus for generating video | |
| CN110503703A (zh) | 用于生成图像的方法和装置 | |
| US11918412B2 (en) | Generating a simulated image of a baby | |
| CN111553267A (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| EP4200745A1 (en) | Cross-domain neural networks for synthesizing image with fake hair combined with real image | |
| CN112906721B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN115914505B (zh) | 基于语音驱动数字人模型的视频生成方法及系统 | |
| WO2022252372A1 (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| CN111539903A (zh) | 训练人脸图像合成模型的方法和装置 | |
| CN118230081B (zh) | 图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN110516598A (zh) | 用于生成图像的方法和装置 | |
| CN111147766A (zh) | 特效视频合成方法、装置、计算机设备和存储介质 | |
| KR20230128065A (ko) | 흐름-유도 모션 리타깃팅 | |
| CN115100707A (zh) | 模型的训练方法、视频信息生成方法、设备以及存储介质 | |
| CN117115331B (zh) | 一种虚拟形象的合成方法、合成装置、设备及介质 | |
| CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
| CN114418835B (zh) | 图像处理方法、装置、设备及介质 | |
| CN116958306A (zh) | 图像合成方法和装置、存储介质及电子设备 | |
| CN113486787A (zh) | 一种脸部驱动和直播方法、装置、计算机设备和存储介质 | |
| CN114422862A (zh) | 服务视频生成方法、装置、设备、存储介质和程序产品 | |
| CN115708135A (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 | |
| CN111986301B (zh) | 直播中数据处理的方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40028369 Country of ref document: HK |