CN108510437A - 一种虚拟形象生成方法、装置、设备以及可读存储介质 - Google Patents
一种虚拟形象生成方法、装置、设备以及可读存储介质 Download PDFInfo
- Publication number
- CN108510437A CN108510437A CN201810300458.7A CN201810300458A CN108510437A CN 108510437 A CN108510437 A CN 108510437A CN 201810300458 A CN201810300458 A CN 201810300458A CN 108510437 A CN108510437 A CN 108510437A
- Authority
- CN
- China
- Prior art keywords
- dimensional face
- model
- virtual image
- face
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 claims description 83
- 238000013507 mapping Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 30
- 230000001815 facial effect Effects 0.000 claims description 24
- 230000006399 behavior Effects 0.000 claims description 21
- 230000037237 body shape Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 13
- 230000006978 adaptation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004069 differentiation Effects 0.000 claims description 5
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 230000003542 behavioural effect Effects 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 230000008921 facial expression Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000011800 void material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- VYQRBKCKQCRYEE-UHFFFAOYSA-N ctk1a7239 Chemical compound C12=CC=CC=C2N2CC=CC3=NC=CC1=C32 VYQRBKCKQCRYEE-UHFFFAOYSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种虚拟形象生成方法、装置、设备以及可读存储介质，其中，方法包括：获取包含目标用户的人脸的用户图像；根据用户图像和参考三维人脸模型，构建目标用户的粗三维人脸模型；根据用户图像，确定人脸属性信息；基于人脸属性信息对粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与人脸属性信息匹配的信息，调整后的三维人脸模型作为目标用户的虚拟形象。本发明提供的虚拟形象生成方法生成的虚拟形象与目标用户的形象更贴合，即生成的虚拟形象更真实，大大提升了用户体验度。
Description
技术领域
本发明涉及图像处理技术领域，更具体涉及一种虚拟形象生成方法、装置、设备以及可读存储介质。
背景技术
随着现代生活水平的不断提高，人们对于娱乐化的需求也越来越多样性，目前，随着内容媒体行业的发展与技术的成熟，出现了以具体用户形象为参考的虚拟形象，进一步扩大了虚拟助手类的使用友好度，受到了越来越多用户的关注与喜爱。
现有技术中，以具体用户形象为参考的虚拟形象的生成方法为：从用户的人脸图像中抠出人脸部分，将抠出人脸部分直接粘贴到虚拟形象中的脸部区域，并对粘贴的人脸部分进行简单的拉伸或放缩，以使粘贴的人脸部分与虚拟形象的脸部区域匹配，从而得到以用户形象为参考的虚拟形象。然而，上述方法生成的虚拟形象很不自然，缺乏真实性，用户体验不佳。
发明内容
有鉴于此，本发明提供了一种虚拟形象生成方法、装置、设备以及可读存储介质，以克服现有技术中生成的虚拟形象缺乏真实性，用户体验不佳的问题，其技术方案如下：
一种虚拟形象生成方法，包括：
获取包含目标用户的人脸的用户图像；
根据所述用户图像和参考三维人脸模型，构建所述目标用户的粗三维人脸模型；
根据所述用户图像，确定人脸属性信息；
基于所述人脸属性信息对所述粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与所述人脸属性信息匹配的信息，调整后的三维人脸模型作为所述目标用户的虚拟形象。
优选地，所述虚拟形象生成方法，还包括：
为所述调整后的三维人脸模型拼接身体形象，拼接后的整体形象作为所述目标用户的虚拟形象。
优选地，所述虚拟形象生成方法，还包括：
基于所述人脸属性信息，为所述目标用户的虚拟形象适配场景信息。
其中，所述基于所述人脸属性信息，为所述目标用户的虚拟形象适配场景信息，包括：
确定与所述人脸属性信息匹配的场景模板；
基于所述场景模板为所述目标用户的虚拟形象添加场景。
优选地，所述虚拟形象生成方法，还包括：
根据所述目标用户的历史行为数据，更新所述目标用户的虚拟形象。
其中，所述根据所述目标用户的历史行为数据，更新所述目标用户的虚拟形象，包括：
基于所述目标用户的历史数据，确定预设的虚拟形象影响因素的值；
根据所述预设的虚拟形象影响因素的值确定虚拟形象变换方式；
基于所述虚拟形象变换方式对所述虚拟形象进行调整。
其中，所述根据所述预设的虚拟形象影响因素的值确定虚拟形象变换方式，包括：
根据所述预设的虚拟形象影响因素的值，确定所述虚拟形象的面部体型变换方式、衣着服饰变换方式和/或背景环境变换方式。
其中，所述根据所述用户图像，确定人脸属性信息，包括：
从所述用户图像中检测所述目标用户的人脸区域；
在检测出的所述人脸区域确定脸部特征点的位置，得到脸部特征点位置信息；
将所述用户图像和所述脸部特征点位置信息输入预先建立的人脸分析模型，获得所述人脸分析模型输出的人脸属性信息，其中，所述人脸分析模型以标注有人脸属性信息的训练人脸图像以及通过该训练人脸图像确定的脸部特征点位置信息为训练样本进行训练得到。
其中，所述根据所述用户图像和参考三维人脸模型，构建所述目标用户的粗三维人脸模型，包括：
将所述用户图像和所述参考三维人脸模型输入预先建立的三维人脸构建模型，获得所述三维人脸构建模型输出的三维人脸模型作为所述目标用户的粗三维人脸模型；
其中，所述三维人脸构建模型以训练用户图像和所述参考三维人脸模型为训练样本，以所述训练用户图像对应的三维人脸模型为样本标签进行训练得到。
其中，所述三维人脸构建模型由多个三维人脸重构子模型级联而成；
所述三维人脸构建模型中第一级三维重构子模型的输入为所述用户图像和所述参考三维人脸模型，其它级三维重构子模型的输入为所述用户图像和上一级三维重构子模型输出的三维人脸模型，最后一级三维重构子模型输出的三维人脸模型为所述目标用户的粗三维人脸模型。
其中，所述将所述用户图像和所述参考三维人脸模型输入预先建立的三维人脸构建模型，获得所述三维人脸构建模型输出的三维人脸模型作为所述目标用户的粗三维人脸模型，包括：
将所述用户图像和所述参考三维人脸模型输入第一级三维重构子模型；
对于每一级三维重构子模型，依次执行：
通过二维图像特征提取模块从输入的所述用户图像中提取二维人脸特征；
通过三维点云特征提取模块从输入的三维人脸模型中提取三维人脸特征；
通过特征融合模块将所述二维人脸特征和所述三维人脸特征融合，获得融合后的特征；
根据所述融合后的特征，通过三维人脸重构模块重构三维人脸模型，所述三维人脸重构模块重构得到的三维人脸模型为该级三维重构子模型输出的三维人脸模型；
最后一级三维重建子模型输出的三维人脸模型作为所述目标用户的粗三维人脸模型。
其中，所述基于所述人脸属性信息对所述粗三维人脸模型进行调整，包括：
将所述粗三维人脸模型和所述人脸属性信息输入预先建立的三维人脸调整模型，获得所述三维人脸调整模型输出的、所述调整后的三维人脸模型；
其中，所述三维人脸调整模型以与训练用户图像对应的训练粗三维人脸模型、从所述训练用户图像中提取出的训练人脸属性信息为训练样本，以判别模块对与所述粗三维人脸模型对应的调整后三维人脸模型的调整判别结果为样本标签进行训练得到。
其中，训练所述三维人脸调整模型的过程，包括：
将所述训练粗三维人脸模型和所述训练人脸属性信息输入所述三维人脸调整模型，获得所述三维人脸调整模型输出的调整后三维人脸模型；
通过真实度判别模块判别所述调整后三维人脸模型相比于对应的真实三维人脸模型是否逼真；
和/或，通过有效性判别模块判别所述训练人脸属性信息的嵌入是否使所述调整后三维人脸模型产生了对应的变化；
和/或，通过相似度判别模块判别所述调整后三维人脸模型与对应的真实三维人脸模型是否相似；
和/或，通过身份一致性判别模块判断所述调整后三维人脸模型与对应的训练用户图像的用户身份是否一致。
一种虚拟形象生成装置，包括：图像获取模块、粗三维人脸模型构建模块、人脸属性信息确定模块和三维人脸模型调整模块；
所述图像获取模块，用于获取包含目标用户的人脸的用户图像；
所述粗三维人脸模型构建模块，用于根据所述用户图像和参考三维人脸模型，构建所述目标用户的粗三维人脸模型；
所述人脸属性信息确定模块，用于根据所述用户图像，确定人脸属性信息；
所述三维人脸模型调整模块，用于基于所述人脸属性信息对所述粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与所述人脸属性信息匹配的信息，调整后的三维人脸模型作为所述目标用户的虚拟形象。
优选地，所述虚拟形象生成装置还包括：身体形象拼接模块；
所述身体形象拼接模块，用于为所述调整后的三维人脸模型拼接身体形象，拼接后的整体形象作为所述目标用户的虚拟形象。
优选地，所述虚拟形象生成装置还包括：场景适配模块；
所述场景适配模块，用于基于所述人脸属性信息，为所述目标用户的虚拟形象适配场景信息。
优选地，所述虚拟形象生成装置还包括：虚拟形象更新模块；
所述虚拟形象更新模块，用于根据所述目标用户的历史行为数据，更新所述目标用户的虚拟形象。
其中，所述三维人脸构建模型由多个三维人脸重构子模型级联而成；
其中，所述三维人脸构建模型中第一级所述三维重构子模型的输入为所述用户图像和所述参考三维人脸模型，其它级所述三维重构子模型的输入为所述用户图像和上一级三维重构子模型输出的三维人脸模型，最后一级所述三维重构子模型输出的三维人脸模型为所述目标用户的粗三维人脸模型。
一种虚拟形象生成设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，所述程序具体用于：
获取包含目标用户的人脸的用户图像；
根据所述用户图像和参考三维人脸模型，构建所述目标用户的粗三维人脸模型；
根据所述用户图像，确定人脸属性信息；
基于所述人脸属性信息对所述粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与所述人脸属性信息匹配的信息，调整后的三维人脸模型作为所述目标用户的虚拟形象。
一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述的虚拟形象生成方法的各个步骤。
经由上述的技术方案可知，本发明提供的虚拟形象生成方法、装置、设备以及可读存储介质，首先获取包含目标用户的人脸的用户图像，然后根据该用户图像和参考三维人脸模型，构建该目标用户的粗三维人脸模型，除了根据用户图像构建粗三维人脸模型外，本发明还根据用户图像确定人脸属性信息，然后基于该人脸属性信息对粗三维人脸模型进行调整，调整后的三维人脸模型作为目标用户的虚拟形象。由此可见，本发明提供的虚拟形象生成方法首先基于用户图像构建属于目标用户的粗三维人脸模型，鉴于粗三维人脸模型可能不包含人脸的细节信息或个性化信息，进一步基于目标用户的人脸属性信息对粗三维人脸模型进行调整，从而使得最终的虚拟形象与目标用户的形象更贴合，即生成的虚拟形象更真实，大大提升了用户体验度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的虚拟形象生成方法的一流程示意图；
图2为本发明实施例提供的虚拟形象生成方法中，根据用户图像，确定人脸属性信息的实现过程的流程示意图；
图3为本发明实施例提供的三维人脸构建模型的架构图；
图4为本发明实施例提供的三维人脸构建模型中每个三维人脸重构子模型的架构图；
图5为发明实施例提供的粗三维人脸模型调整过程示意图；
图6为本发明实施例提供的虚拟形象生成方法的另一流程示意图；
图7为本发明实施例提供的虚拟形象生成装置的结构示意图；
图8为本发明实施例提供的虚拟形象生成设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
鉴于现有技术中用用户图像中的人脸直接替换虚拟形象中人脸的方式得到的虚拟形象缺乏真实感，用户体验不佳，本发明实施例提供了一种虚拟形象生成方法，请参阅图1，示出了该虚拟形象生成方法的流程示意图，该方法可以包括：
步骤S101：获取包含目标用户的人脸的用户图像。
其中，用户图像可以为已存储图像，也可为通过摄像头或具有摄像头的设备如相机、手机、PAD、笔记本等即时拍摄的图像。
另外，需要说明的是，本实施例中包含目标用户的人脸的用户图像所涉及的对象只有目标用户，该图像除了可以为目标用户的自拍照外，还可以为从包括目标用户的合照中截取出来的图像，例如，从目标用户与朋友的合照、或者目标用户与家人的合照中截取出来的图像。
步骤S102：根据用户图像和参考三维人脸模型，构建目标用户的粗三维人脸模型。
其中，参考三维人脸模型用于辅助粗三维人脸模型的构建。参考三维人脸模型可以为给定的或已存储的三维人脸模型，其可通过获取大量三维人脸模型，然后对这些三维人脸模型计算均值得到。
需要说明的是，本步骤构建的粗三维人脸模型包括目标用户人脸的基本信息，但一些细节信息和/或个性化信息并未在该模型上体现。
步骤S103：根据用户图像，确定人脸属性信息。
其中，人脸属性信息可以为与人脸属性相关的信息，例如，年龄、性别、面部表情、面部配饰、地域、职业信息等。
具体地，对于年龄而言，可以固定年份跨度，将年龄信息划分为多个区间，例如，以5年为跨度，则0～99岁可划分为20个区间；对于性别而言，可分为男性、女性；对于面部表情而言，可分为喜、怒、哀、乐；对于面部配饰而言，可按是否戴眼镜划分为戴眼镜、不戴眼镜；对于地域而言，可以但不限为按省份划分、按区域划分等；对于职业而言，可以划分为婴幼儿、学生、工人、农民、办公人员等。
在一种可能的实现方式中，人脸属性信息可通过一定长向量表征。假设属性信息包括年龄、性别、国籍、面部表情，对于年龄而言，假设0～4岁用“1”表示，5～9岁用“2”表示，10～14岁用“3”表示，以此类推，对于性别而言，假设男性用“0”表示，女性用“1”表示，对于国籍而言，假设中国用“1”表示，韩国用“2”表示，对于面部表情而言，假设喜用“1”表示，怒用“2”表示，哀用“3”表示，乐用“3”表示，则人脸属性信息可通过长度为4维的向量表示，每一维代表一属性，比如向量[3，1，2，1]，其表示目标用户的年龄为10～15岁，性别为女性，国籍为韩国，面部表情为喜。
另外，需要说明的是，本实施例并不限定步骤S102和步骤S103的执行顺序，即可先执行步骤S102再执行步骤S103，也可先执行步骤S103再执行步骤S102，也可同时执行步骤S102和步骤S103，只要包括这两个步骤都属于本发明的保护范围。
步骤S104：基于人脸属性信息对粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与人脸属性信息匹配的信息，调整后的三维人脸模型作为目标用户的虚拟形象。
比如，用户图像中目标用户佩戴有眼镜和耳饰，根据用户图像确定出的人脸属性信息中包括佩戴有眼镜和佩戴耳饰，由于基于用户图像和参考三维人脸模型构建的三维人脸模型为较粗的模型，因此，有些细节信息或个性化信息并未在粗三维人脸模型中体现，比如，粗三维人脸模型并未佩戴眼镜和耳饰，因此，可基于人脸属性信息对粗三维人脸模型进行调整，调整后的三维人脸模型便是佩戴有眼镜和耳饰的三维人脸模型。再比如，人脸属性信息包括面部表情，且面部表情为怒，而构建的粗三维人脸模型的面部表情为中性表情，则基于人脸属性信息对粗三维人脸模型进行调整后得到的三维人脸模型的面部表情便为怒。
本发明提供的虚拟形象生成方法，首先获取包含目标用户的人脸的用户图像，然后根据该用户图像和参考三维人脸模型，构建该目标用户的粗三维人脸模型，除了根据用户图像构建粗三维人脸模型外，本发明还根据用户图像确定人脸属性信息，然后基于该人脸属性信息对粗三维人脸模型进行调整，调整后的三维人脸模型作为目标用户的虚拟形象。由此可见，本发明实施例提供的虚拟形象生成方法，首先基于用户图像构建属于目标用户的粗三维人脸模型，鉴于粗三维人脸模型可能不包含人脸的细节信息或个性化信息，进一步基于目标用户的人脸属性信息对粗三维人脸模型进行调整，从而使得最终的虚拟形象与目标用户的形象更贴合，即生成的虚拟形象更真实，大大提升了用户体验度。
需要说明的是，为了实现虚拟形象的生成，上述实施例提供的方法中，在获取到用户图像后，利用该用户图像执行了两个过程，其一，根据用户图像和参考三维人脸模型，构建目标用户的粗三维人脸模型，其二，根据用户图像，确定人脸属性信息。以下分别对这两个过程的具体实现过程进行说明。
请参阅图2，示出了根据用户图像，确定人脸属性信息的实现过程的流程示意图，该实现过程可以包括：
步骤S201：从用户图像中检测目标用户的人脸区域。
具体地，可以预先收集大量包含人脸的图像，通过提取尺度不变特征变化SIFT特征，根据提取的SIFT特征训练人脸与非人脸的分类模型，利用该分类模型从用户图像中检测出目标用户的人脸区域。
步骤S202：在检测出的人脸区域确定脸部特征点的位置，得到脸部特征点位置信息。
在检测出人脸区域后，进一步确定脸部特征点如眼睛、眉毛、鼻子、嘴巴、脸部外轮廓等的位置。具体的，可通过人脸的纹理特征和各特征点之间的位置约束结合确定脸部特征点的位置，例如，可通过主动形状模型(Active Shape Model，ASM)或主动外观模型(Active Appreance Model，AAM)确定脸部特征点的位置。
步骤S203：将用户图像和脸部特征点位置信息输入预先建立的人脸分析模型，获得人脸分析模型输出的人脸属性信息。
其中，人脸分析模型以标注有人脸属性信息的训练人脸图像以及通过该训练人脸图像确定的脸部特征点位置信息为训练样本进行训练得到。在一种可能的实现方式中，人脸分析模型可以但不限为深度神经网络(Deep Neural Network，DNN)模型。
上述实施例提供的虚拟形象生成方法中，根据用户图像和参考三维人脸模型，构建目标用户的粗三维人脸模型的过程可以包括：将用户图像和参考三维人脸模型输入预先建立的三维人脸构建模型，获得三维人脸构建模型输出的三维人脸模型作为目标用户的粗三维人脸模型。其中，三维人脸构建模型以训练用户图像和参考三维人脸模型为训练样本，以训练用户图像对应的三维人脸模型为样本标签进行训练得到。
在一种可能的实现方式中，三维人脸构建模型由多个三维人脸重构子模型级联而成，请参阅图3，示出了三维人脸构建模型的结构示意图。
三维人脸构建模型中第一级三维重构子模型的输入为用户图像和参考三维人脸模型，其它级三维重构子模型的输入为用户图像和上一级三维重构子模型输出的三维人脸模型，最后一级三维重构子模型输出的三维人脸模型为目标用户的粗三维人脸模型。
本实施例中由多个三维重构子模型级联而成的三维人脸构建模型，以由粗到细的方式逐步得到更加细化的属于目标用户的特定三维人脸模型。
具体的，通过图3示出的三维人脸构建模型构建目标用户的粗三维人脸模型的过程可以包括：将用户图像和参考三维人脸模型输入第一级三维重构子模型；对于每一级三维重构子模型，依次执行：从输入的用户图像中提取二维人脸特征，从输入的三维人脸模型中提取三维人脸特征，将二维人脸特征和三维人脸特征融合，获得融合后的特征，根据融合后的特征重构三维人脸模型，重构得到的三维人脸模型为该级三维重构子模型输出的三维人脸模型；最后一级三维重建子模型输出的三维人脸模型作为目标用户的粗三维人脸模型。
进一步地，请参阅图4，示出了三维人脸构建模型中每个三维重构子模型的结构示意图，其可以包括：二维图像特征提取模块401、三维点云特征提取模块402、特征融合模块403和三维人脸重构模块404。
在利用三维人脸构建模型构建目标用户的粗三维人脸模型时，对于每一级三维重构子模型而言，通过二维图像特征提取模块401从输入的用户图像中提取二维人脸特征；通过三维点云特征提取模块402从输入的三维人脸模型中提取三维人脸特征；通过特征融合模块403将二维人脸特征和三维人脸特征融合，获得融合后的特征；根据融合后的特征，通过三维人脸重构模块404重构三维人脸模型，三维人脸重构模块重构得到的三维人脸模型即为该级三维重构子模型输出的三维人脸模型。
其中，二维图像特征提取模块401具体可以为深度二维卷积神经网络，三维点云特征提取模块402具体可以为深度三维卷积神经网络，特征融合模块403具体可以为非线性映射模块，三维人脸重构模块404具体可以为反卷积重构模块。非线性映射模块将二维人脸特征与三维人脸特征合并，并求取非线性映射特征，反卷积重构模块基于非线性映射特征进行反卷积，便可得到重构的三维人脸模型。
需要说明的是，每级的三维重构子模型采用双流深度网络结构训练得到，每级双流深度网络结构的训练过程，可采用迁移学习的方式进行，三维点云特征提取网络和二维图像特征提取网络训练时，每个网络的输入与输出相同，让模型自己学习训练样本的三维特征和二维特征，如三维点云特征提取网络的输入和输出为任意的三维人脸模型，二维特征提取网络的输入输出为该人脸的二维图像；最后，将三维点云特征提取网络、二维图像特征提取网络、非线性映射模块和反卷积重构模块合并，利用训练用户图像进行联合训练。
为了使最终的虚拟形象更真实，在确定出人脸属性以及粗三维人脸模型后，进一步基于人脸属性信息对粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与人脸属性信息匹配的信息。
在一种可能的实现方式中，基于人脸属性信息对粗三维人脸模型进行调整的过程可以包括：将粗三维人脸模型和人脸属性信息输入预先建立的三维人脸调整模型，获得三维人脸调整模型输出的、调整后的三维人脸模型。
其中，三维人脸调整模型以与训练用户图像对应的训练粗三维人脸模型、从训练用户图像中提取出的训练人脸属性信息为训练样本，以判别模块对与粗三维人脸模型对应的调整后三维人脸模型的调整判别结果为样本标签进行训练得到。
具体地，如图5所示，三维人脸调整模型可以包括特征提取模块501和三维重构模块502。在对粗三维人脸模型进行调整时，可通过特征提取模块501从粗三维人脸模型和人脸属性信息中提取特征，然后通过三维重构模块502基于提取的特征进行三维重建，从而得到调整后的三维人脸模型。
在一种可能的实现方式中，本实施例可采用对抗生成判别方法对三维人脸调整模型进行训练，需要说明的是，三维人脸调整模型属于生成模块，在训练过程中，通过判别模块对生成模块生成的信息进行判别，也就是通过判别模块对三维人脸调整模型输出的调整后三维人脸模型进行判别，判别结果能够表征三维人脸调整模型的调整效果，进而基于判别模块的判别结果指导生成模块即三维人脸调整模型的训练。图5示出了粗三维人脸模型调整过程示意图。
具体的，训练三维人脸调整模型的过程，可以包括：将训练粗三维人脸模型和训练人脸属性信息输入三维人脸调整模型，获得三维人脸调整模型输出的调整后三维人脸模型；通过真实度判别模块503对调整后三维人脸模型的真实度进行判别，和/或，通过有效性判别模块504对调整后三维人脸模型的有效性进行判别，和/或，通过相似度判别模块505对调整后三维人脸模型的相似度进行判别，和/或，通过身份一致性判别模块506对调整后三维人脸模型的身份一致性进行判别。
其中，通过真实度判别模块对调整后三维人脸模型的真实度进行判别，即通过真实度判别模块判别调整后三维人脸模型相比于对应的真实三维人脸模型是否逼真，具体的，可采用真假二分类或基于逼真度的判别方式进行判别；通过有效性判别模块对调整后三维人脸模型的有效性进行判别，即通过有效性判别模块判别训练人脸属性信息的嵌入是否使调整后三维人脸模型产生了对应的变化，具体地，可收集大量对应属性变化的三维人脸模型和非对应属性变化的三维人脸模型作为训练样本，通过深度三维卷积神经网络提取训练样本和生成模块生成的三维人脸模型的特征，并构建二值分类器进行判别；通过相似度判别模块对调整后三维人脸模型的相似度进行判别，即通过相似度判别模块判别调整后三维人脸模型与对应的真实三维人脸模型是否相似，具体地，可基于三维点状与纹理间距确定调整后三维人脸模型与对应的真实三维人脸模型的相似度；通过身份一致性判别模块对调整后三维人脸模型的身份一致性进行判别，即通过身份一致性判别模块判别调整后三维人脸模型与对应的训练用户图像的用户身份是否一致，具体地，合成带有属性嵌入的二维图像，将其与真实图像进行身份一致性判别，该部分可收集大量含有真实三维信息的二维图像作为训练样本，训练三维特征提取模型，进行不同三维信息之间的一致性或相似度判别。需要说明的是，为了实现上述训练过程，在收集训练用户图像时，需要同时收集与训练用户图像对应的真实三维人脸模型，其中，训练用户图像对应的三维人脸模型可通过深度相机、激光扫描仪等设备采集得到。
需要说明的是，本实施例中将三维人脸构建模型和三维人脸调整模型作为生成模块，在对生成模块和判别模块进行训练时可采用端到端的训练方式。在训练时，可先固定生成部分中用于辅助重建的参考三维人脸模型为同一用户的三维人脸模型，训练生成模块和判别模块直到模型收敛，并以该模型作为初始化，然后在训练过程中每次随机使用不同用户的三维人脸模型作为参考三维人脸模型进行进一步训练，使得模型能够针对任一参考三维人脸模型均给出较高精度的重建。
优选地，在基于人脸属性信息对粗三维人脸模型进行调整后，还可对调整后的三维人脸模型中的某个子区域如鼻子、眼部、嘴部等独立地嵌入属性信息，并基于插值或其它策略进行融合，以使三维人脸模型更加精细化。
比如，用户图像中目标用户并未佩戴眼镜，根据用户图像确定的人脸属性信息中包括未佩戴眼镜的信息，因此，最终获得的调整后的三维人脸模型为未佩戴眼镜的三维人脸模型，然而用户希望获得佩戴眼镜的三维人脸模型，此时，可独立地嵌入佩戴眼镜这一属性信息，使最终的三维人脸模型为佩戴了眼镜的三维人脸模型。当然，用户可基于自身的具体需求在调整后的三维人脸模型中嵌入任何人脸属性信息，以使生成的三维人脸模型能够满足自己的期望。
对于用户而言，其除了希望虚拟形象更够更具真实性外，还希望虚拟形象能够更具趣味性、娱乐性，为了进一步提升用户体验，本发明实施例还提供了一种虚拟形象生成方法，请参阅图6，示出了该虚拟形象生成方法的流程示意图，该方法可以包括：
步骤S601：获取包含目标用户的人脸的用户图像。
其中，用户图像可以为已存储图像，也可为通过摄像头或具有摄像头的设备如相机、手机、PAD、笔记本等即时拍摄的图像。
步骤S602：根据用户图像和参考三维人脸模型，构建目标用户的粗三维人脸模型。
其中，参考三维人脸模型用于辅助粗三维人脸模型的构建。参考三维人脸模型可以为给定的或已存储的三维人脸模型，其可通过获取大量三维人脸模型，然后对这些三维人脸模型计算均值得到。
步骤S603：根据用户图像，确定人脸属性信息。
其中，人脸属性信息可以为与人脸属性相关的信息，例如，年龄、性别、面部表情、面部配饰、地域、职业信息等。在一种可能的实现方式中，人脸属性信息可通过一定长向量表征。
需要说明的是，本实施例并不限定步骤S602和步骤S603的执行顺序，只要包括这两个步骤都属于本发明的保护范围。
步骤S604：基于人脸属性信息对粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与人脸属性信息匹配的信息。
需要说明的是，本实施例中步骤S601至S604的具体实现过程与上述实施例中步骤S101至S104的实现过程类似，其具体实现过程可参见上述实施例，在此不作赘述。
步骤S605：为调整后的三维人脸模型拼接身体形象，拼接后的整体形象作为目标用户的虚拟形象。
用户图像中通常不包含身体细节信息，在本实施例中，可基于用户交互确定目标用户的身体形象，例如，可获取用户通过输入设备或语音输入的、与目标用户的身体形象相关的信息，如体重、身高等，进而通过这些信息确定目标用户的身体形象。
在确定出目标用户的身体形象后，将其与调整后的三维人脸模型进行拼接。拼接的方式有多种，比如，可将调整后的三维人脸模型和身体形象的形状尺寸归一化后直接拼接，还可利用matting技术进行插值拼接等。
步骤S606：基于人脸属性信息，为目标用户的虚拟形象适配场景信息。
其中，场景信息可以但不限为背景场景、衣着服饰等信息。
由于人脸属性信息中包含职业、当前时间(用户图像中的背景中会包括该信息)等信息，因此，通过这些信息可为目标用户的虚拟形象适配背景场景、衣着服饰等。
示例性地，属性信息包括：职业和当前时间，假设职业为学生，当前时间为下午3点，则可在用户虚拟形象的身体形象上添加学生服装，学生在下午3点一般在教室上课，因此，可为虚拟形象添加教室环境的背景，并且，目标用户的虚拟形象可适配为在教室听课的场景。
在一种可能的实现方式中，基于人脸属性信息，为目标用户的虚拟形象适配场景信息的过程可以包括：确定与人脸属性信息匹配的场景模板；基于场景模板为目标用户的虚拟形象添加场景。
具体的，可预先构建多种不同场景模板，场景模板可以但不限为背景场景模板、服饰模板等。在一种可能的实现方式中，可基于某一属性信息构建多种不同的场景模板，例如，可针对不同职业构建多种不同的场景模板，例如，针对学生这一职业可构建教室环境的背景场景模板，构建食堂环境的背景场景模板，构建体育场环境的背景模板、构建宿舍环境的背景模板等，针对学生这一职业还可构建各种校服模板，针对办公人员这一职业可构建办公环境的背景模板、构建会议室环境的背景模板等，针对办公人员这一职业还可构建各种正装的模板。
步骤S607：根据目标用户的历史行为数据，更新目标用户的虚拟形象并展示。
其中，目标用户的历史行为数据可以但不限定为目标用户在网站上的网页浏览历史数据、目标用户在即时聊天工具上的历史聊天数据、目标用户在商品购物平台上的历史购买数据、历史浏览数据等中的一种或多种。
目标用户的历史行为数据在一定程度上能够表征目标用户的偏好(如目标用户的近期体育爱好、近期购买喜好等)、身体状况(比如身体变胖、变瘦等)、职业状况(如近期职业变更)以及其他行为动态(如近期买房、买车等)等。
从网站、购物平台等途径获取到目标用户的历史行为数据之后，便可根据该目标用户的历史行为数据更新目标用户的虚拟形象，其具体实现过程可以参见后续实施例的说明。
本发明实施例提供的虚拟形象生成方法，首先基于用户图像构建属于目标用户的粗三维人脸模型，鉴于粗三维人脸模型可能不包含人脸的细节信息或个性化信息，进一步基于目标用户的人脸属性信息对粗三维人脸模型进行调整，然后为调整后的三维人脸模型拼接身体形象，获得目标用户的虚拟形象，该虚拟形象与目标用户的形象更贴合，及生成的虚拟形象更真实，大大提升了用户体验度，本实施例在生成虚拟形象后，进一步基于人脸属性信息，为目标用户的虚拟形象适配场景信息，还可根据目标用户的历史行为数据，更新目标用户的虚拟形象，场景的适配以及基于用户的历史行为数据对虚拟形象所进行的更新使得虚拟形象更丰富、更具有趣味性和娱乐性，进一步提升了用户体验。
以下对上述实施例提供的虚拟形象生成方法中步骤S607：根据目标用户的历史行为数据，更新目标用户的虚拟形象的具体实现过程进行说明。
根据目标用户的历史行为数据，更新目标用户的虚拟形象的过程可以包括：基于目标用户的历史数据，确定预设的虚拟形象影响因素的值；根据预设的虚拟形象影响因素的值确定虚拟形象变换方式；基于虚拟形象变换方式对虚拟形象进行调整。
示例性地，用户的历史行为数据中具有用户的体育爱好数据，而体育爱好为虚拟形象的影响因素，假设用户的体育爱好为足球，则足球即为虚拟形象影响因素的值。
在一种可能的实现方式中，可首先从网站、即时聊天工具和/或购物平台等途径获取目标用户的历史行为数据，然后从目标用户的历史行为数据中提取关键数据，其中，关键数据为对目标用户的虚拟形象有影响的数据。
具体的，从目标用户的历史行为数据中提取关键数据的实现过程可以包括：在目标用户的历史行为数据中获取与预设关键词匹配的数据，需要说明的是，与预设关键词匹配的数据可以包括预设关键词本身，还可以包括与预设关键词相关的数据。
在获取到关键数据后，可按某一预设分类规则对关键数据进行分类，获得分类结果。比如，关键数据中包括近期体育爱好数据和近期购买喜好数据，则近期体育爱好可划分为足球、乒乓球、篮球、瑜伽等，近期购买喜好可划分为化妆品、零食、保健品等。需要说明的是，分类结果中包括虚拟形象影响因素的值，因此，可基于关键数据的分类结果确定虚拟形象变换方式。
在一种可能的实现方式中，可根据获取的关键数据进行树状结构细分，该树状结构可由人工定义或自动聚类产生，例如，体育爱好根节点下可划分球类、田径、健身等子节点，在每个子节点下可继续划分，例如，球类下可划分为乒乓球、羽毛球、足球等子节点。
在划分完后，可针对每个子节点进行用户信息的统计，比如，对爱好足球的用户的身体状况信息进行统计，假设经统计得出，夏天踢足球的人平均有70％的人会晒黑，80％的人体重会瘦2～4Kg，通过该统计结果便可确定如何对虚拟形象的面部和/或体型进行变换。即，根据统计结果可为对应子节点确定虚拟形象变换方式。
在本实施例中，虚拟形象变换方式可以包括虚拟形象的面部体型变换方式、衣着服饰变换方式和/或背景环境变换方式。其中，面部体型变换方式用于实现虚拟形象面部和/或体型的变换，衣着服饰变换方式用于实现虚拟形象的衣着服饰的变换，背景环境变换方式用于实现虚拟形象的背景环境的变换。在确定出上述虚拟形象变换方式后，便可基于虚拟形象变换方式对虚拟对象进行调整。
比如，用户的体育爱好为球类中的足球，足球对应的面部体型变换方式为肤色变黑，则在对虚拟形象进行更新时，将虚拟形象的肤色调黑。再比如，用户最近变更了职业，则可基于职业设置匹配的背景环境模板，而背景环境变换方式即基于背景环境模板为虚拟形象更新背景环境。再比如，用户近期购买或浏览的服饰均为正装，则可设置正装模板，而衣着服饰变换方式即基于正装模板为虚拟形象更新衣着服饰。
综上，本实施例在生成虚拟形象后，可基于用户的历史行为确定用于意图，通过用户意图确定面部体型变换方式、衣着服饰变换方式和/或背景环境变换方式，进而基于面部体型变换方式、衣着服饰变换方式和/或背景环境变换方式对虚拟形象进行更新，从而使虚拟形象既能与目标用户的偏好、习惯、近期状态等贴合，又能更具趣味性和娱乐性。
与上述方法相对应，本发明实施例还提供了一种虚拟形象生成装置，请参阅图7，示出了该装置的结构示意图，可以包括：图像获取模块701、粗三维人脸模型构建模块702、人脸属性信息确定模块703和三维人脸模型调整模块704。
图像获取模块701，用于获取包含目标用户的人脸的用户图像。
粗三维人脸模型构建模块702，用于根据用户图像和参考三维人脸模型，构建目标用户的粗三维人脸模型。
人脸属性信息确定模块703，用于根据用户图像，确定人脸属性信息。
三维人脸模型调整模块704，用于基于人脸属性信息对粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与人脸属性信息匹配的信息，调整后的三维人脸模型作为目标用户的虚拟形象。
本发明实施例提供的虚拟形象生成装置，首先获取包含目标用户的人脸的用户图像，然后根据该用户图像和参考三维人脸模型，构建该目标用户的粗三维人脸模型，除了根据用户图像构建粗三维人脸模型外，本发明实施例还根据用户图像确定人脸属性信息，然后基于该人脸属性信息对粗三维人脸模型进行调整，调整后的三维人脸模型作为目标用户的虚拟形象。由此可见，本发明实施例提供的虚拟形象生成装置首先基于用户图像构建属于目标用户的粗三维人脸模型，鉴于粗三维人脸模型可能不包含人脸的细节信息或个性化信息，进一步基于目标用户的人脸属性信息对粗三维人脸模型进行调整，从而使得最终的虚拟形象与目标用户的形象更贴合，即生成的虚拟形象更真实，大大提升了用户体验度。
优选地，上述实施例提供的虚拟形象生成装置还可以包括：身体形象拼接模块。身体形象拼接模块，用于为调整后的三维人脸模型拼接身体形象，拼接后的整体形象作为目标用户的虚拟形象。
优选地，上述实施例提供的虚拟形象生成装置还可以包括：场景适配模块。场景适配模块，用于基于人脸属性信息，为目标用户的虚拟形象适配场景信息。
在一种可能的实现方式中，场景适配模块，具体用于确定与人脸属性信息匹配的场景模板；基于场景模板为目标用户的虚拟形象添加场景。
优选地，上述实施例提供的虚拟形象生成装置还可以包括：虚拟形象更新模块。虚拟形象更新模块，用于根据目标用户的历史行为数据，更新目标用户的虚拟形象。
进一步地，虚拟形象更新模块包括：第一确定子模块、第二确定子模块和更新子模块。
第一确定子模块，用于基于目标用户的历史数据，确定预设的虚拟形象影响因素的值。
第二确定子模块，用于根据预设的虚拟形象影响因素的值确定虚拟形象变换方式。
在一种可能的实现方式中，第二确定子模块，具体用户根据预设的虚拟形象影响因素的值，确定虚拟形象的面部体型变换方式、衣着服饰变换方式和/或背景环境变换方式。
更新子模块，用于基于虚拟形象变换方式对虚拟形象进行调整。
上述实施例提供的虚拟形象生成装置中，人脸属性信息确定模块703可以包括：检测子模块、特征点定位子模块和属性信息确定子模块。
检测子模块，用于从用户图像中检测目标用户的人脸区域。
特征点定位子模块，用于在检测出的人脸区域确定脸部特征点的位置，得到脸部特征点位置信息。
属性信息确定子模块，用于将用户图像和脸部特征点位置信息输入预先建立的人脸分析模型，获得人脸分析模型输出的人脸属性信息，其中，人脸分析模型以标注有人脸属性信息的训练人脸图像以及通过该训练人脸图像确定的脸部特征点位置信息为训练样本进行训练得到。
上述实施例提供的虚拟形象生成装置中，粗三维人脸模型构建模块702，具体用于将用户图像和参考三维人脸模型输入预先建立的三维人脸构建模型，获得三维人脸构建模型输出的三维人脸模型作为目标用户的粗三维人脸模型；其中，三维人脸构建模型以训练用户图像和参考三维人脸模型为训练样本，以训练用户图像对应的三维人脸模型为样本标签进行训练得到。
在一种可能的实现方式中，三维人脸构建模型由多个三维人脸重构子模型级联而成。其中，三维人脸构建模型中第一级三维重构子模型的输入为用户图像和参考三维人脸模型，其它级三维重构子模型的输入为用户图像和上一级三维重构子模型输出的三维人脸模型，最后一级三维重构子模型输出的三维人脸模型为目标用户的粗三维人脸模型。
进一步地，粗三维人脸模型构建模块702在将用户图像和参考三维人脸模型输入预先建立的三维人脸构建模型，获得三维人脸构建模型输出的三维人脸模型作为目标用户的粗三维人脸模型时，具体用于将用户图像和参考三维人脸模型输入第一级三维重构子模型；对于每一级三维重构子模型，将用户图像和参考三维人脸模型输入第一级三维重构子模型；对于每一级三维重构子模型，依次执行：从输入的用户图像中提取二维人脸特征，从输入的三维人脸模型中提取三维人脸特征，将二维人脸特征和三维人脸特征融合，获得融合后的特征，根据融合后的特征重构三维人脸模型，重构得到的三维人脸模型为该级三维重构子模型输出的三维人脸模型；最后一级三维重建子模型输出的三维人脸模型作为目标用户的粗三维人脸模型。
其中，三维人脸构建模型中每个三维重构子模型可以包括：二维图像特征提取模块、三维点云特征提取模块、特征融合模块和三维人脸重构模块。
对于每一级三维重构子模型而言，通过二维图像特征提取模块从输入的用户图像中提取二维人脸特征；通过三维点云特征提取模块从输入的三维人脸模型中提取三维人脸特征；通过特征融合模块将二维人脸特征和三维人脸特征融合，获得融合后的特征；根据融合后的特征，通过三维人脸重构模块重构三维人脸模型，三维人脸重构模块重构得到的三维人脸模型即为该级三维重构子模型输出的三维人脸模型。
其中，二维图像特征提取模块具体可以为深度二维卷积神经网络，三维点云特征提取模块具体可以为深度三维卷积神经网络，特征融合模块具体可以为非线性映射模块，三维人脸重构模块具体可以为反卷积重构模块。非线性映射模块将二维人脸特征与三维人脸特征合并，并求取非线性映射特征，反卷积重构模块基于非线性映射特征进行反卷积，便可得到重构的三维人脸模型。
需要说明的是，每级的三维重构子模型采用双流深度网络结构训练得到，每级双流深度网络结构的训练过程，可采用迁移学习的方式进行，三维点云特征提取网络和二维图像特征提取网络训练时，每个网络的输入与输出相同，让模型自己学习训练样本的三维特征和二维特征，如三维点云特征提取网络的输入和输出为任意的三维人脸模型，二维特征提取网络的输入输出为该人脸的二维图像；最后，将三维点云特征提取网络、二维图像特征提取网络、非线性映射模块和反卷积重构模块合并，利用训练用户图像进行联合训练。
上述实施例提供的虚拟形象生成装置中，三维人脸模型调整模块704，具体用于将粗三维人脸模型和人脸属性信息输入预先建立的三维人脸调整模型，获得三维人脸调整模型输出的、调整后的三维人脸模型；其中，三维人脸调整模型以与训练用户图像对应的训练粗三维人脸模型、从训练用户图像中提取出的训练人脸属性信息为训练样本，以判别模块对与粗三维人脸模型对应的调整后三维人脸模型的调整判别结果为样本标签进行训练得到。
其中，三维人脸调整模型的训练过程，包括：将训练粗三维人脸模型和训练人脸属性信息输入三维人脸调整模型，获得三维人脸调整模型输出的调整后三维人脸模型；通过真实度判别模块判别调整后三维人脸模型相比于对应的真实三维人脸模型是否逼真；和/或，通过有效性判别模块判别训练人脸属性信息的嵌入是否使调整后三维人脸模型产生了对应的变化；和/或，通过相似度判别模块判别调整后三维人脸模型与对应的真实维人脸模型是否相似；和/或，通过身份一致性判别模块判断调整后三维人脸模型与对应的训练用户图像的用户身份是否一致。
本发明实施例还提供了一种虚拟形象生成设备，请参阅图8，示出了该设备的结构示意图，该设备可以包括：存储器801和处理器802。
存储器801，用于存储程序；
处理器802，用于执行所述程序，所述程序具体用于：
获取包含目标用户的人脸的用户图像；
根据所述用户图像和参考三维人脸模型，构建所述目标用户的粗三维人脸模型；
根据所述用户图像，确定人脸属性信息；
基于所述人脸属性信息对所述粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与所述人脸属性信息匹配的信息，调整后的三维人脸模型作为所述目标用户的虚拟形象。
虚拟形象生成设备还包括：总线、通信接口803、输入设备804和输出设备805。
处理器802、存储器801、通信接口803、输入设备804和输出设备805通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器802可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器802可包括主处理器，还可包括基带芯片、调制解调器等。
存储器801中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器801可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
输入设备804可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
输出设备805可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。
通信接口803可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
处理器802执行存储器801中所存放的程序，以及调用其他设备，可用于实现本发明实施例所提供的虚拟形象生成方法的各个步骤。
本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例提供的虚拟形象生成方法的各个步骤。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (20)
1.一种虚拟形象生成方法，其特征在于，包括：
获取包含目标用户的人脸的用户图像；
根据所述用户图像和参考三维人脸模型，构建所述目标用户的粗三维人脸模型；
根据所述用户图像，确定人脸属性信息；
基于所述人脸属性信息对所述粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与所述人脸属性信息匹配的信息，调整后的三维人脸模型作为所述目标用户的虚拟形象。
2.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述虚拟形象生成方法，还包括：
为所述调整后的三维人脸模型拼接身体形象，拼接后的整体形象作为所述目标用户的虚拟形象。
3.根据权利要求2所述的虚拟形象生成方法，其特征在于，所述虚拟形象生成方法，还包括：
基于所述人脸属性信息，为所述目标用户的虚拟形象适配场景信息。
4.根据权利要求3所述的虚拟形象生成方法，其特征在于，所述基于所述人脸属性信息，为所述目标用户的虚拟形象适配场景信息，包括：
确定与所述人脸属性信息匹配的场景模板；
基于所述场景模板为所述目标用户的虚拟形象添加场景。
5.根据权利要求1至4中任意一项所述的虚拟形象生成方法，其特征在于，所述方法还包括：
根据所述目标用户的历史行为数据，更新所述目标用户的虚拟形象。
6.根据权利要求5所述的虚拟形象生成方法，其特征在于，所述根据所述目标用户的历史行为数据，更新所述目标用户的虚拟形象，包括：
基于所述目标用户的历史数据，确定预设的虚拟形象影响因素的值；
根据所述预设的虚拟形象影响因素的值，确定虚拟形象变换方式；
基于所述虚拟形象变换方式对所述虚拟形象进行调整。
7.根据权利要求6所述的虚拟形象生成方法，其特征在于，所述根据所述预设的虚拟形象影响因素的值，确定虚拟形象变换方式，包括：
根据所述预设的虚拟形象影响因素的值，确定所述虚拟形象的面部体型变换方式、衣着服饰变换方式和/或背景环境变换方式。
8.根据权利要求1所述的方法，其特征在于，所述根据所述用户图像，确定人脸属性信息，包括：
从所述用户图像中检测所述目标用户的人脸区域；
在检测出的所述人脸区域确定脸部特征点的位置，得到脸部特征点位置信息；
将所述用户图像和所述脸部特征点位置信息输入预先建立的人脸分析模型，获得所述人脸分析模型输出的所述人脸属性信息，其中，所述人脸分析模型以标注有人脸属性信息的训练人脸图像以及通过该训练人脸图像确定的脸部特征点位置信息为训练样本进行训练得到。
9.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述根据所述用户图像和参考三维人脸模型，构建所述目标用户的粗三维人脸模型，包括：
将所述用户图像和所述参考三维人脸模型输入预先建立的三维人脸构建模型，获得所述三维人脸构建模型输出的三维人脸模型作为所述目标用户的粗三维人脸模型；
其中，所述三维人脸构建模型以训练用户图像和所述参考三维人脸模型为训练样本，以所述训练用户图像对应的三维人脸模型为样本标签进行训练得到。
10.根据权利要求9所述的虚拟形象生成方法，其特征在于，所述三维人脸构建模型由多个三维人脸重构子模型级联而成；
其中，所述三维人脸构建模型中第一级三维重构子模型的输入为所述用户图像和所述参考三维人脸模型，其它级三维重构子模型的输入为所述用户图像和上一级三维重构子模型输出的三维人脸模型，最后一级三维重构子模型输出的三维人脸模型为所述目标用户的粗三维人脸模型。
11.根据权利要求10所述的虚拟形象生成方法，其特征在于，所述将所述用户图像和所述参考三维人脸模型输入预先建立的三维人脸构建模型，获得所述三维人脸构建模型输出的三维人脸模型作为所述目标用户的粗三维人脸模型，包括：
将所述用户图像和所述参考三维人脸模型输入第一级三维重构子模型；
对于每一级三维重构子模型，依次执行：
通过二维图像特征提取模块从输入的所述用户图像中提取二维人脸特征；
通过三维点云特征提取模块从输入的三维人脸模型中提取三维人脸特征；
通过特征融合模块将所述二维人脸特征和所述三维人脸特征融合，获得融合后的特征；
根据所述融合后的特征，通过三维人脸重构模块重构三维人脸模型，所述三维人脸重构模块重构得到的三维人脸模型为该级三维重构子模型输出的三维人脸模型；
最后一级三维重建子模型输出的三维人脸模型作为所述目标用户的粗三维人脸模型。
12.根据权利要求9～11中任意一项所述的虚拟形象生成方法，其特征在于，所述基于所述人脸属性信息对所述粗三维人脸模型进行调整，包括：
将所述粗三维人脸模型和所述人脸属性信息输入预先建立的三维人脸调整模型，获得所述三维人脸调整模型输出的、所述调整后的三维人脸模型；
其中，所述三维人脸调整模型以与训练用户图像对应的训练粗三维人脸模型、从所述训练用户图像中提取出的训练人脸属性信息为训练样本，以判别模块对与所述粗三维人脸模型对应的调整后三维人脸模型的调整判别结果为样本标签进行训练得到。
13.根据权利要求12所述的虚拟形象生成方法，其特征在于，训练所述三维人脸调整模型的过程，包括：
将所述训练粗三维人脸模型和所述训练人脸属性信息输入所述三维人脸调整模型，获得所述三维人脸调整模型输出的调整后三维人脸模型；
通过真实度判别模块判别所述调整后三维人脸模型相比于对应的真实三维人脸模型是否逼真；
和/或，通过有效性判别模块判别所述训练人脸属性信息的嵌入是否使所述调整后三维人脸模型产生了对应的变化；
和/或，通过相似度判别模块判别所述调整后三维人脸模型与对应的真实三维人脸模型是否相似；
和/或，通过身份一致性判别模块判断所述调整后三维人脸模型与对应的训练用户图像的用户身份是否一致。
14.一种虚拟形象生成装置，其特征在于，包括：图像获取模块、粗三维人脸模型构建模块、人脸属性信息确定模块和三维人脸模型调整模块；
所述图像获取模块，用于获取包含目标用户的人脸的用户图像；
所述粗三维人脸模型构建模块，用于根据所述用户图像和参考三维人脸模型，构建所述目标用户的粗三维人脸模型；
所述人脸属性信息确定模块，用于根据所述用户图像，确定人脸属性信息；
所述三维人脸模型调整模块，用于基于所述人脸属性信息对所述粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与所述人脸属性信息匹配的信息，调整后的三维人脸模型作为所述目标用户的虚拟形象。
15.根据权利要求14所述的虚拟形象生成装置，其特征在于，还包括：身体形象拼接模块；
所述身体形象拼接模块，用于为所述调整后的三维人脸模型拼接身体形象，拼接后的整体形象作为所述目标用户的虚拟形象。
16.根据权利要求15所述的虚拟形象生成装置，其特征在于，还包括：场景适配模块；
所述场景适配模块，用于基于所述人脸属性信息，为所述目标用户的虚拟形象适配场景信息。
17.根据权利要求14至16中任意一项所述的虚拟形象生成装置，其特征在于，还包括：虚拟形象更新模块；
所述虚拟形象更新模块，用于根据所述目标用户的历史行为数据，更新所述目标用户的虚拟形象。
18.根据权利要求14所述的虚拟形象生成装置，其特征在于，所述三维人脸构建模型由多个三维人脸重构子模型级联而成；
其中，所述三维人脸构建模型中第一级三维重构子模型的输入为所述用户图像和所述参考三维人脸模型，其它级三维重构子模型的输入为所述用户图像和上一级三维重构子模型输出的三维人脸模型，最后一级三维重构子模型输出的三维人脸模型为所述目标用户的粗三维人脸模型。
19.一种虚拟形象生成设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，所述程序具体用于：
获取包含目标用户的人脸的用户图像；
根据所述用户图像和参考三维人脸模型，构建所述目标用户的粗三维人脸模型；
根据所述用户图像，确定人脸属性信息；
基于所述人脸属性信息对所述粗三维人脸模型进行调整，以使调整后的三维人脸模型包含与所述人脸属性信息匹配的信息，调整后的三维人脸模型作为所述目标用户的虚拟形象。
20.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至13任一项所述的虚拟形象生成方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810300458.7A CN108510437B (zh) | 2018-04-04 | 2018-04-04 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810300458.7A CN108510437B (zh) | 2018-04-04 | 2018-04-04 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108510437A true CN108510437A (zh) | 2018-09-07 |
| CN108510437B CN108510437B (zh) | 2022-05-17 |
Family
ID=63380767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810300458.7A Active CN108510437B (zh) | 2018-04-04 | 2018-04-04 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108510437B (zh) |
Cited By (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377544A (zh) * | 2018-11-30 | 2019-02-22 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
| CN109636886A (zh) * | 2018-12-19 | 2019-04-16 | 网易（杭州）网络有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
| CN109887070A (zh) * | 2019-01-10 | 2019-06-14 | 珠海金山网络游戏科技有限公司 | 一种虚拟脸部制作方法和装置 |
| CN109922355A (zh) * | 2019-03-29 | 2019-06-21 | 广州虎牙信息科技有限公司 | 虚拟形象直播方法、虚拟形象直播装置和电子设备 |
| CN110084193A (zh) * | 2019-04-26 | 2019-08-02 | 深圳市腾讯计算机系统有限公司 | 用于面部图像生成的数据处理方法、设备和介质 |
| CN110188660A (zh) * | 2019-05-27 | 2019-08-30 | 北京字节跳动网络技术有限公司 | 用于识别年龄的方法和装置 |
| CN110210501A (zh) * | 2019-06-11 | 2019-09-06 | 北京字节跳动网络技术有限公司 | 虚拟对象生成方法、电子设备及计算机可读存储介质 |
| CN110210449A (zh) * | 2019-06-13 | 2019-09-06 | 沈力 | 一种用于虚拟现实交友的人脸识别系统及方法 |
| CN110288513A (zh) * | 2019-05-24 | 2019-09-27 | 北京百度网讯科技有限公司 | 用于改变人脸属性的方法、装置、设备和存储介质 |
| CN110738157A (zh) * | 2019-10-10 | 2020-01-31 | 南京地平线机器人技术有限公司 | 虚拟面部的构建方法及装置 |
| CN110812843A (zh) * | 2019-10-30 | 2020-02-21 | 腾讯科技（深圳）有限公司 | 基于虚拟形象的交互方法及装置、计算机存储介质 |
| CN110866968A (zh) * | 2019-10-18 | 2020-03-06 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| CN111145288A (zh) * | 2019-12-27 | 2020-05-12 | 杭州利伊享数据科技有限公司 | 一种目标客户虚拟成像方法 |
| CN111265879A (zh) * | 2020-01-19 | 2020-06-12 | 百度在线网络技术（北京）有限公司 | 虚拟形象生成方法、装置、设备及存储介质 |
| CN111339420A (zh) * | 2020-02-28 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111340865A (zh) * | 2020-02-24 | 2020-06-26 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN111354079A (zh) * | 2020-03-11 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 |
| CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
| CN111598818A (zh) * | 2020-04-17 | 2020-08-28 | 北京百度网讯科技有限公司 | 人脸融合模型训练方法、装置及电子设备 |
| CN111696179A (zh) * | 2020-05-06 | 2020-09-22 | 广东康云科技有限公司 | 卡通三维模型和虚拟仿真人的生成方法、装置和存储介质 |
| CN111696180A (zh) * | 2020-05-06 | 2020-09-22 | 广东康云科技有限公司 | 一种虚拟仿真人的生成方法、系统、装置和存储介质 |
| CN111754639A (zh) * | 2020-06-10 | 2020-10-09 | 西北工业大学 | 一种情境敏感的网络空间虚拟机器人塑造方法 |
| CN111783644A (zh) * | 2020-06-30 | 2020-10-16 | 百度在线网络技术（北京）有限公司 | 检测方法、装置、设备和计算机存储介质 |
| CN111797775A (zh) * | 2020-07-07 | 2020-10-20 | 云知声智能科技股份有限公司 | 形象设计的推荐方法、设备和智能镜 |
| CN112016412A (zh) * | 2020-08-13 | 2020-12-01 | 上海薇艾信息科技有限公司 | 人物头像元素及区域数字化存储和相似度分析方法和系统 |
| CN112016411A (zh) * | 2020-08-13 | 2020-12-01 | 上海薇艾信息科技有限公司 | 创建模拟对象人物头像进行相似性匹配的社交方法和系统 |
| CN112182173A (zh) * | 2020-09-23 | 2021-01-05 | 支付宝(杭州)信息技术有限公司 | 一种基于虚拟生命的人机交互方法、装置及电子设备 |
| CN112221145A (zh) * | 2020-10-27 | 2021-01-15 | 网易（杭州）网络有限公司 | 游戏脸模生成方法及装置、存储介质及电子设备 |
| CN112381927A (zh) * | 2020-11-19 | 2021-02-19 | 北京百度网讯科技有限公司 | 图像生成的方法、装置、设备以及存储介质 |
| CN112465935A (zh) * | 2020-11-19 | 2021-03-09 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
| CN112541963A (zh) * | 2020-11-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
| CN112634416A (zh) * | 2020-12-23 | 2021-04-09 | 北京达佳互联信息技术有限公司 | 虚拟形象模型的生成方法、装置、电子设备及存储介质 |
| CN112699887A (zh) * | 2020-12-30 | 2021-04-23 | 科大讯飞股份有限公司 | 一种获得数学对象标注模型、数学对象标注的方法和装置 |
| CN112839196A (zh) * | 2020-12-30 | 2021-05-25 | 北京橙色云科技有限公司 | 一种实现在线会议的方法、装置以及存储介质 |
| CN113240778A (zh) * | 2021-04-26 | 2021-08-10 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、电子设备和存储介质 |
| CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
| CN113643348A (zh) * | 2020-04-23 | 2021-11-12 | 杭州海康威视数字技术股份有限公司 | 一种人脸属性分析方法及装置 |
| CN113744384A (zh) * | 2020-05-29 | 2021-12-03 | 北京达佳互联信息技术有限公司 | 三维人脸重建方法、装置、电子设备及存储介质 |
| CN114049472A (zh) * | 2021-11-15 | 2022-02-15 | 北京百度网讯科技有限公司 | 三维模型调整方法、装置、电子设备、介质 |
| CN114092832A (zh) * | 2022-01-20 | 2022-02-25 | 武汉大学 | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 |
| CN114363302A (zh) * | 2021-12-14 | 2022-04-15 | 北京云端智度科技有限公司 | 一种利用分层技术的流媒体传输质量提升方法 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
| CN114866506A (zh) * | 2022-04-08 | 2022-08-05 | 北京百度网讯科技有限公司 | 展示虚拟形象的方法、装置及电子设备 |
| WO2022218085A1 (zh) * | 2021-04-13 | 2022-10-20 | 腾讯科技（深圳）有限公司 | 获取虚拟图像的方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品 |
| CN115222899A (zh) * | 2022-09-21 | 2022-10-21 | 湖南草根文化传媒有限公司 | 虚拟数字人生成方法、系统、计算机设备及存储介质 |
| CN115239576A (zh) * | 2022-06-15 | 2022-10-25 | 荣耀终端有限公司 | 一种照片优化方法、电子设备和存储介质 |
| CN115243387A (zh) * | 2021-04-23 | 2022-10-25 | 诺基亚技术有限公司 | 选择用于ntn终端之间的直接通信无线电资源 |
| CN115439614A (zh) * | 2022-10-27 | 2022-12-06 | 科大讯飞股份有限公司 | 虚拟形象的生成方法、装置、电子设备和存储介质 |
| WO2023030381A1 (zh) * | 2021-09-01 | 2023-03-09 | 北京字跳网络技术有限公司 | 三维人头重建方法、装置、设备及介质 |
| CN116152403A (zh) * | 2023-01-09 | 2023-05-23 | 支付宝(杭州)信息技术有限公司 | 一种形象生成方法、装置、存储介质及电子设备 |
| WO2023138345A1 (zh) * | 2022-01-20 | 2023-07-27 | 上海幻电信息科技有限公司 | 虚拟形象生成方法和系统 |
| CN116939275A (zh) * | 2023-07-06 | 2023-10-24 | 北京达佳互联信息技术有限公司 | 直播虚拟资源展示方法、装置、电子设备、服务器及介质 |
| CN117274504A (zh) * | 2023-11-17 | 2023-12-22 | 深圳市加推科技有限公司 | 智能名片的制作方法、智能销售系统及存储介质 |
| WO2024178590A1 (zh) * | 2023-02-28 | 2024-09-06 | 华为技术有限公司 | 一种生成虚拟形象的方法和装置 |
| WO2024198085A1 (zh) * | 2023-03-31 | 2024-10-03 | 广东花至美容科技有限公司 | 人脸三维模型的重建方法、装置及可穿戴设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1453719A (zh) * | 2002-04-28 | 2003-11-05 | 上海友讯网络资讯有限公司 | 可自由组合的虚拟形象虚拟场景的形成方法及其系统 |
| CN102262788A (zh) * | 2010-05-24 | 2011-11-30 | 上海一格信息科技有限公司 | 个人三维形象互动试妆信息数据处理方法及装置 |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| WO2014098416A1 (en) * | 2012-12-18 | 2014-06-26 | Samsung Electronics Co., Ltd. | Augmented reality system and control method thereof |
| CN105118082A (zh) * | 2015-07-30 | 2015-12-02 | 科大讯飞股份有限公司 | 个性化视频生成方法及系统 |
| US20160307028A1 (en) * | 2015-04-16 | 2016-10-20 | Mikhail Fedorov | Storing, Capturing, Updating and Displaying Life-Like Models of People, Places And Objects |
| CN106204698A (zh) * | 2015-05-06 | 2016-12-07 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 |
| CN106295496A (zh) * | 2015-06-24 | 2017-01-04 | 三星电子株式会社 | 脸部识别方法和设备 |
| WO2017029488A2 (en) * | 2015-08-14 | 2017-02-23 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
| CN106652025A (zh) * | 2016-12-20 | 2017-05-10 | 五邑大学 | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 |
| US20170148225A1 (en) * | 2015-11-20 | 2017-05-25 | Inventec (Pudong) Technology Corporation | Virtual dressing system and virtual dressing method |
| CN107045631A (zh) * | 2017-05-25 | 2017-08-15 | 北京华捷艾米科技有限公司 | 人脸特征点检测方法、装置及设备 |
| CN107146275A (zh) * | 2017-03-31 | 2017-09-08 | 北京奇艺世纪科技有限公司 | 一种设置虚拟形象的方法及装置 |
| CN107239725A (zh) * | 2016-03-29 | 2017-10-10 | 阿里巴巴集团控股有限公司 | 一种信息展示方法、装置及系统 |
| US20180046854A1 (en) * | 2015-02-16 | 2018-02-15 | University Of Surrey | Three dimensional modelling |
-
2018
- 2018-04-04 CN CN201810300458.7A patent/CN108510437B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1453719A (zh) * | 2002-04-28 | 2003-11-05 | 上海友讯网络资讯有限公司 | 可自由组合的虚拟形象虚拟场景的形成方法及其系统 |
| CN102262788A (zh) * | 2010-05-24 | 2011-11-30 | 上海一格信息科技有限公司 | 个人三维形象互动试妆信息数据处理方法及装置 |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| WO2014098416A1 (en) * | 2012-12-18 | 2014-06-26 | Samsung Electronics Co., Ltd. | Augmented reality system and control method thereof |
| US20180046854A1 (en) * | 2015-02-16 | 2018-02-15 | University Of Surrey | Three dimensional modelling |
| US20160307028A1 (en) * | 2015-04-16 | 2016-10-20 | Mikhail Fedorov | Storing, Capturing, Updating and Displaying Life-Like Models of People, Places And Objects |
| CN106204698A (zh) * | 2015-05-06 | 2016-12-07 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 |
| CN106295496A (zh) * | 2015-06-24 | 2017-01-04 | 三星电子株式会社 | 脸部识别方法和设备 |
| CN105118082A (zh) * | 2015-07-30 | 2015-12-02 | 科大讯飞股份有限公司 | 个性化视频生成方法及系统 |
| WO2017029488A2 (en) * | 2015-08-14 | 2017-02-23 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
| US20170148225A1 (en) * | 2015-11-20 | 2017-05-25 | Inventec (Pudong) Technology Corporation | Virtual dressing system and virtual dressing method |
| CN107239725A (zh) * | 2016-03-29 | 2017-10-10 | 阿里巴巴集团控股有限公司 | 一种信息展示方法、装置及系统 |
| CN106652025A (zh) * | 2016-12-20 | 2017-05-10 | 五邑大学 | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 |
| CN107146275A (zh) * | 2017-03-31 | 2017-09-08 | 北京奇艺世纪科技有限公司 | 一种设置虚拟形象的方法及装置 |
| CN107045631A (zh) * | 2017-05-25 | 2017-08-15 | 北京华捷艾米科技有限公司 | 人脸特征点检测方法、装置及设备 |
Non-Patent Citations (5)
| Title |
|---|
| AMIN JOURABLOO: "Large-pose Face Alignment via CNN-based Dense 3D Model Fitting", 《CVF》 * |
| JIAN ZHANG: "Learning 3D faces from 2D images via Stacked Contractive Autoencoder", 《NEUROCOMPUTING》 * |
| NICHOLAS MICHAEL: "Model-based generation of personalized full-body 3D", 《SPRINGER SCIENCE+BUSINESS MEDIA NEW YORK 2016》 * |
| YI SUN: "Deep Convolutional Network Cascade for Facial Point Detection", 《CVF》 * |
| 刘恭意: "基于单张照片的三维人脸模型生成技术研究", 《中国优秀硕士论文全文库-信息科技辑》 * |
Cited By (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377544B (zh) * | 2018-11-30 | 2022-12-23 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
| CN109377544A (zh) * | 2018-11-30 | 2019-02-22 | 腾讯科技（深圳）有限公司 | 一种人脸三维图像生成方法、装置和可读介质 |
| CN109636886B (zh) * | 2018-12-19 | 2020-05-12 | 网易（杭州）网络有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
| CN109636886A (zh) * | 2018-12-19 | 2019-04-16 | 网易（杭州）网络有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
| US11093733B2 (en) | 2018-12-19 | 2021-08-17 | Netease (Hangzhou) Network Co., Ltd. | Image processing method and apparatus, storage medium and electronic device |
| CN109887070A (zh) * | 2019-01-10 | 2019-06-14 | 珠海金山网络游戏科技有限公司 | 一种虚拟脸部制作方法和装置 |
| CN109922355A (zh) * | 2019-03-29 | 2019-06-21 | 广州虎牙信息科技有限公司 | 虚拟形象直播方法、虚拟形象直播装置和电子设备 |
| CN110084193A (zh) * | 2019-04-26 | 2019-08-02 | 深圳市腾讯计算机系统有限公司 | 用于面部图像生成的数据处理方法、设备和介质 |
| KR20210095696A (ko) * | 2019-04-26 | 2021-08-02 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 얼굴 이미지 생성을 위한 데이터 프로세싱 방법 및 디바이스, 및 매체 |
| KR102602112B1 (ko) * | 2019-04-26 | 2023-11-13 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 얼굴 이미지 생성을 위한 데이터 프로세싱 방법 및 디바이스, 및 매체 |
| US11854247B2 (en) | 2019-04-26 | 2023-12-26 | Tencent Technology (Shenzhen) Company Limited | Data processing method and device for generating face image and medium |
| CN110288513A (zh) * | 2019-05-24 | 2019-09-27 | 北京百度网讯科技有限公司 | 用于改变人脸属性的方法、装置、设备和存储介质 |
| CN110288513B (zh) * | 2019-05-24 | 2023-04-25 | 北京百度网讯科技有限公司 | 用于改变人脸属性的方法、装置、设备和存储介质 |
| CN110188660B (zh) * | 2019-05-27 | 2021-07-02 | 北京字节跳动网络技术有限公司 | 用于识别年龄的方法和装置 |
| CN110188660A (zh) * | 2019-05-27 | 2019-08-30 | 北京字节跳动网络技术有限公司 | 用于识别年龄的方法和装置 |
| CN110210501B (zh) * | 2019-06-11 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 虚拟对象生成方法、电子设备及计算机可读存储介质 |
| CN110210501A (zh) * | 2019-06-11 | 2019-09-06 | 北京字节跳动网络技术有限公司 | 虚拟对象生成方法、电子设备及计算机可读存储介质 |
| CN110210449A (zh) * | 2019-06-13 | 2019-09-06 | 沈力 | 一种用于虚拟现实交友的人脸识别系统及方法 |
| CN110738157A (zh) * | 2019-10-10 | 2020-01-31 | 南京地平线机器人技术有限公司 | 虚拟面部的构建方法及装置 |
| CN110866968A (zh) * | 2019-10-18 | 2020-03-06 | 平安科技（深圳）有限公司 | 基于神经网络生成虚拟人物视频的方法及相关设备 |
| CN110812843A (zh) * | 2019-10-30 | 2020-02-21 | 腾讯科技（深圳）有限公司 | 基于虚拟形象的交互方法及装置、计算机存储介质 |
| CN110812843B (zh) * | 2019-10-30 | 2023-09-15 | 腾讯科技（深圳）有限公司 | 基于虚拟形象的交互方法及装置、计算机存储介质 |
| CN111145288A (zh) * | 2019-12-27 | 2020-05-12 | 杭州利伊享数据科技有限公司 | 一种目标客户虚拟成像方法 |
| CN111265879A (zh) * | 2020-01-19 | 2020-06-12 | 百度在线网络技术（北京）有限公司 | 虚拟形象生成方法、装置、设备及存储介质 |
| CN111265879B (zh) * | 2020-01-19 | 2023-08-08 | 百度在线网络技术（北京）有限公司 | 虚拟形象生成方法、装置、设备及存储介质 |
| CN111340865A (zh) * | 2020-02-24 | 2020-06-26 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN111340865B (zh) * | 2020-02-24 | 2023-04-07 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN111339420A (zh) * | 2020-02-28 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111354079A (zh) * | 2020-03-11 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 |
| CN111354079B (zh) * | 2020-03-11 | 2023-05-02 | 腾讯科技（深圳）有限公司 | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 |
| CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
| US11830288B2 (en) | 2020-04-17 | 2023-11-28 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for training face fusion model and electronic device |
| CN111598818A (zh) * | 2020-04-17 | 2020-08-28 | 北京百度网讯科技有限公司 | 人脸融合模型训练方法、装置及电子设备 |
| CN113643348A (zh) * | 2020-04-23 | 2021-11-12 | 杭州海康威视数字技术股份有限公司 | 一种人脸属性分析方法及装置 |
| CN113643348B (zh) * | 2020-04-23 | 2024-02-06 | 杭州海康威视数字技术股份有限公司 | 一种人脸属性分析方法及装置 |
| CN111696179A (zh) * | 2020-05-06 | 2020-09-22 | 广东康云科技有限公司 | 卡通三维模型和虚拟仿真人的生成方法、装置和存储介质 |
| CN111696180A (zh) * | 2020-05-06 | 2020-09-22 | 广东康云科技有限公司 | 一种虚拟仿真人的生成方法、系统、装置和存储介质 |
| CN113744384B (zh) * | 2020-05-29 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 三维人脸重建方法、装置、电子设备及存储介质 |
| CN113744384A (zh) * | 2020-05-29 | 2021-12-03 | 北京达佳互联信息技术有限公司 | 三维人脸重建方法、装置、电子设备及存储介质 |
| CN111754639A (zh) * | 2020-06-10 | 2020-10-09 | 西北工业大学 | 一种情境敏感的网络空间虚拟机器人塑造方法 |
| CN111783644A (zh) * | 2020-06-30 | 2020-10-16 | 百度在线网络技术（北京）有限公司 | 检测方法、装置、设备和计算机存储介质 |
| CN111797775A (zh) * | 2020-07-07 | 2020-10-20 | 云知声智能科技股份有限公司 | 形象设计的推荐方法、设备和智能镜 |
| CN112016412A (zh) * | 2020-08-13 | 2020-12-01 | 上海薇艾信息科技有限公司 | 人物头像元素及区域数字化存储和相似度分析方法和系统 |
| CN112016411A (zh) * | 2020-08-13 | 2020-12-01 | 上海薇艾信息科技有限公司 | 创建模拟对象人物头像进行相似性匹配的社交方法和系统 |
| CN112182173A (zh) * | 2020-09-23 | 2021-01-05 | 支付宝(杭州)信息技术有限公司 | 一种基于虚拟生命的人机交互方法、装置及电子设备 |
| CN112221145A (zh) * | 2020-10-27 | 2021-01-15 | 网易（杭州）网络有限公司 | 游戏脸模生成方法及装置、存储介质及电子设备 |
| CN112221145B (zh) * | 2020-10-27 | 2024-03-15 | 网易（杭州）网络有限公司 | 游戏脸模生成方法及装置、存储介质及电子设备 |
| CN112541963B (zh) * | 2020-11-09 | 2023-12-26 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
| CN112541963A (zh) * | 2020-11-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
| CN112465935A (zh) * | 2020-11-19 | 2021-03-09 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
| CN112381927A (zh) * | 2020-11-19 | 2021-02-19 | 北京百度网讯科技有限公司 | 图像生成的方法、装置、设备以及存储介质 |
| CN112634416B (zh) * | 2020-12-23 | 2023-07-28 | 北京达佳互联信息技术有限公司 | 虚拟形象模型的生成方法、装置、电子设备及存储介质 |
| CN112634416A (zh) * | 2020-12-23 | 2021-04-09 | 北京达佳互联信息技术有限公司 | 虚拟形象模型的生成方法、装置、电子设备及存储介质 |
| CN112839196A (zh) * | 2020-12-30 | 2021-05-25 | 北京橙色云科技有限公司 | 一种实现在线会议的方法、装置以及存储介质 |
| CN112699887A (zh) * | 2020-12-30 | 2021-04-23 | 科大讯飞股份有限公司 | 一种获得数学对象标注模型、数学对象标注的方法和装置 |
| WO2022218085A1 (zh) * | 2021-04-13 | 2022-10-20 | 腾讯科技（深圳）有限公司 | 获取虚拟图像的方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品 |
| CN115243387B (zh) * | 2021-04-23 | 2023-11-28 | 诺基亚技术有限公司 | 选择用于ntn终端之间的直接通信无线电资源 |
| CN115243387A (zh) * | 2021-04-23 | 2022-10-25 | 诺基亚技术有限公司 | 选择用于ntn终端之间的直接通信无线电资源 |
| CN113240778B (zh) * | 2021-04-26 | 2024-04-12 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、电子设备和存储介质 |
| CN113240778A (zh) * | 2021-04-26 | 2021-08-10 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、电子设备和存储介质 |
| CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
| WO2023030381A1 (zh) * | 2021-09-01 | 2023-03-09 | 北京字跳网络技术有限公司 | 三维人头重建方法、装置、设备及介质 |
| CN114049472A (zh) * | 2021-11-15 | 2022-02-15 | 北京百度网讯科技有限公司 | 三维模型调整方法、装置、电子设备、介质 |
| CN114363302A (zh) * | 2021-12-14 | 2022-04-15 | 北京云端智度科技有限公司 | 一种利用分层技术的流媒体传输质量提升方法 |
| CN114092832A (zh) * | 2022-01-20 | 2022-02-25 | 武汉大学 | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 |
| WO2023138345A1 (zh) * | 2022-01-20 | 2023-07-27 | 上海幻电信息科技有限公司 | 虚拟形象生成方法和系统 |
| CN114092832B (zh) * | 2022-01-20 | 2022-04-15 | 武汉大学 | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 |
| CN114866506A (zh) * | 2022-04-08 | 2022-08-05 | 北京百度网讯科技有限公司 | 展示虚拟形象的方法、装置及电子设备 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
| CN115239576A (zh) * | 2022-06-15 | 2022-10-25 | 荣耀终端有限公司 | 一种照片优化方法、电子设备和存储介质 |
| CN115222899B (zh) * | 2022-09-21 | 2023-02-21 | 湖南草根文化传媒有限公司 | 虚拟数字人生成方法、系统、计算机设备及存储介质 |
| CN115222899A (zh) * | 2022-09-21 | 2022-10-21 | 湖南草根文化传媒有限公司 | 虚拟数字人生成方法、系统、计算机设备及存储介质 |
| CN115439614A (zh) * | 2022-10-27 | 2022-12-06 | 科大讯飞股份有限公司 | 虚拟形象的生成方法、装置、电子设备和存储介质 |
| CN116152403A (zh) * | 2023-01-09 | 2023-05-23 | 支付宝(杭州)信息技术有限公司 | 一种形象生成方法、装置、存储介质及电子设备 |
| CN116152403B (zh) * | 2023-01-09 | 2024-06-07 | 支付宝(杭州)信息技术有限公司 | 一种形象生成方法、装置、存储介质及电子设备 |
| WO2024178590A1 (zh) * | 2023-02-28 | 2024-09-06 | 华为技术有限公司 | 一种生成虚拟形象的方法和装置 |
| WO2024198085A1 (zh) * | 2023-03-31 | 2024-10-03 | 广东花至美容科技有限公司 | 人脸三维模型的重建方法、装置及可穿戴设备 |
| CN116939275A (zh) * | 2023-07-06 | 2023-10-24 | 北京达佳互联信息技术有限公司 | 直播虚拟资源展示方法、装置、电子设备、服务器及介质 |
| CN117274504A (zh) * | 2023-11-17 | 2023-12-22 | 深圳市加推科技有限公司 | 智能名片的制作方法、智能销售系统及存储介质 |
| CN117274504B (zh) * | 2023-11-17 | 2024-03-01 | 深圳市加推科技有限公司 | 智能名片的制作方法、智能销售系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108510437B (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108510437A (zh) | 一种虚拟形象生成方法、装置、设备以及可读存储介质 | |
| US11790589B1 (en) | System and method for creating avatars or animated sequences using human body features extracted from a still image | |
| CN108229269A (zh) | 人脸检测方法、装置和电子设备 | |
| Kim et al. | An exploratory study of users’ evaluations of the accuracy and fidelity of a three-dimensional garment simulation | |
| US20160026926A1 (en) | Clothing matching system and method | |
| CN105426850A (zh) | 一种基于人脸识别的关联信息推送设备及方法 | |
| US10423978B2 (en) | Method and device for playing advertisements based on relationship information between viewers | |
| CN108537628A (zh) | 用于创造定制产品的方法和系统 | |
| CN102402641A (zh) | 一种基于网络的三维虚拟试衣系统及方法 | |
| CN106055710A (zh) | 基于视频的商品推荐方法及装置 | |
| CN109310196A (zh) | 化妆辅助装置以及化妆辅助方法 | |
| CN110930297A (zh) | 人脸图像的风格迁移方法、装置、电子设备及存储介质 | |
| US10650564B1 (en) | Method of generating 3D facial model for an avatar and related device | |
| CN109947510A (zh) | 一种界面推荐方法及装置、计算机设备 | |
| CN106446207B (zh) | 美妆库建库方法、个性化美妆辅助方法及其装置 | |
| Lee et al. | Emotion-Based Painting Image Display System. | |
| CN112651809A (zh) | 基于云计算和大数据协同作用的垂直电子商务平台商品智能推荐方法 | |
| US20210035182A1 (en) | System and method for generating automatic styling recommendations | |
| CN114821202B (zh) | 一种基于用户偏好的服装推荐方法 | |
| JP7095849B1 (ja) | アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム | |
| CN113780339B (zh) | 模型训练、预测及内容理解方法及电子设备 | |
| Goree et al. | Correct for whom? subjectivity and the evaluation of personalized image aesthetics assessment models | |
| KR20200122179A (ko) | 이미지/텍스트 기반 인테리어 디자인 생성 장치 및 방법 | |
| KR20200122177A (ko) | 이미지/텍스트 기반 게임 콘텐츠 구성 요소 디자인 생성 장치 및 방법 | |
| KR20200122178A (ko) | 이미지/텍스트 기반 영화 콘텐츠 구성 요소 디자인 생성 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |