CN109308727A - 虚拟形象模型生成方法、装置及存储介质 - Google Patents

虚拟形象模型生成方法、装置及存储介质 Download PDF

Info

Publication number
CN109308727A
CN109308727A CN201811047752.8A CN201811047752A CN109308727A CN 109308727 A CN109308727 A CN 109308727A CN 201811047752 A CN201811047752 A CN 201811047752A CN 109308727 A CN109308727 A CN 109308727A
Authority
CN
China
Prior art keywords
matrix
expression
facial image
image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811047752.8A
Other languages
English (en)
Other versions
CN109308727B (zh
Inventor
赵艳丹
曹玮剑
汪铖杰
李季檩
黄渊
程盼
黄飞跃
吴永坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811047752.8A priority Critical patent/CN109308727B/zh
Publication of CN109308727A publication Critical patent/CN109308727A/zh
Application granted granted Critical
Publication of CN109308727B publication Critical patent/CN109308727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种虚拟形象模型生成方法、装置及存储介质，属于计算机技术领域。该方法包括：获取多组人脸图像及其特征点矩阵，根据特征点矩阵、自然人脸图像的特征点矩阵和非自然人脸图像的特征点矩阵，得到平均矩阵、身份偏移矩阵和表情偏移矩阵，通过降维处理得到人脸身份基和人脸表情基，根据目标人脸图像、人脸身份基、人脸表情基和虚拟形象模型基，生成表情与目标人脸图像中的人脸表情匹配的虚拟形象模型。由于仅采用五官特征点进行计算，耗时较短，避免了长时间占用处理资源，提高了操作性能，通过降维处理可以减小人脸身份基和人脸表情基的数据量。并可根据人脸身份基和人脸表情基生成表情匹配的虚拟形象模型，提高了通用性。

Description

虚拟形象模型生成方法、装置及存储介质
技术领域
本发明实施例涉及计算机技术领域，特别涉及一种虚拟形象模型生成方法、装置及存储介质。
背景技术
随着多媒体技术的快速发展和用户娱乐性需求的不断提升，一种生成虚拟形象模型的功能应运而生，通过该功能可以识别人脸图像中的人脸表情，并生成表情与人脸表情匹配的虚拟形象模型，从而能够通过虚拟形象模型来展示自己的表情。该方式新颖独特，趣味性强，受到了广大用户的欢迎。
相关技术中，可以在目标用户摆出多种表情的情况下进行拍摄，获取多张人脸图像，对每张人脸图像进行特征点提取，得到每张人脸图像的特征点矩阵，根据该多张人脸图像的特征点矩阵，获取与目标用户的五官匹配的人脸表情基，该人脸表情基用于描述该目标用户在每种人脸表情下的表情特征。
那么，当获取到目标人脸图像，且该目标人脸图像中该目标用户具有某种人脸表情时，对该目标人脸图像进行特征点提取，得到目标人脸图像的特征点矩阵，根据该特征点矩阵和人脸表情基计算目标人脸图像的表情参数，根据该表情参数和虚拟形象模型基，即可生成表情与目标人脸图像中的人脸表情匹配的虚拟形象模型。
获取人脸表情基时采用了大量特征点的坐标，导致人脸表情基的数据量较大，且获取过程耗时较长，需要长时间占用处理资源，降低了操作性能。并且人脸表情基仅适用于目标用户，而不适用于其他用户，不具有通用性。
发明内容
本发明实施例提供了一种虚拟形象模型生成方法、装置及存储介质，可以解决相关技术存在的问题。所述技术方案如下：
一方面，提供了一种虚拟形象模型生成方法，所述方法包括：
获取多组人脸图像，每组人脸图像包括同一用户摆出预设的多种人脸表情时拍摄的多张人脸图像，所述每组人脸图像中包括自然人脸图像和非自然人脸图像，所述自然人脸图像为具有自然表情的人脸图像，所述非自然人脸图像为具有除所述自然表情以外的其他表情的人脸图像；
获取每张人脸图像的特征点矩阵，所述特征点矩阵包括所述人脸图像中多个五官特征点的坐标；
根据所述多组人脸图像中多张自然人脸图像的特征点矩阵，进行均值计算，得到平均矩阵，所述平均矩阵用于表示一般人脸在所述自然表情下的多个五官特征点的坐标；
计算每张自然人脸图像的特征点矩阵与所述平均矩阵之间的偏移矩阵，将所述多张自然人脸图像的偏移矩阵组成身份偏移矩阵，对所述身份偏移矩阵进行降维处理，得到人脸身份基，所述身份偏移矩阵用于描述所述多张自然人脸图像所包含用户的五官特征；
所述每组人脸图像中，计算所述非自然人脸图像的特征点矩阵与所述自然人脸图像的特征点矩阵之间的偏移矩阵，将所述多组人脸图像的偏移矩阵组成表情偏移矩阵，对所述表情偏移矩阵进行降维处理，得到人脸表情基，所述表情偏移矩阵用于描述多种人脸表情的表情特征；
当获取到目标人脸图像时，根据所述目标人脸图像、所述人脸身份基、所述人脸表情基和虚拟形象模型基，生成表情与所述目标人脸图像中的人脸表情匹配的虚拟形象模型，所述虚拟形象模型基用于描述虚拟形象模型在多种表情下的表情特征。
另一方面，提供了一种虚拟形象模型生成装置，所述装置包括：
第一获取模块，用于获取多组人脸图像，每组人脸图像包括同一用户摆出预设的多种人脸表情时拍摄的多张人脸图像，每组人脸图像中包括自然人脸图像和非自然人脸图像，所述自然人脸图像为具有自然表情的人脸图像，所述非自然人脸图像为具有除所述自然表情以外的其他表情的人脸图像；
第二获取模块，用于获取每张人脸图像的特征点矩阵，所述特征点矩阵包括所述人脸图像中多个五官特征点的坐标；
均值计算模块，用于根据所述多组人脸图像中多张自然人脸图像的特征点矩阵，进行均值计算，得到平均矩阵，所述平均矩阵用于表示一般人脸在所述自然表情下的多个五官特征点的坐标；
身份获取模块，用于计算每张自然人脸图像的特征点矩阵与所述平均矩阵之间的偏移矩阵，将所述多张自然人脸图像的偏移矩阵组成身份偏移矩阵，对所述身份偏移矩阵进行降维处理，得到人脸身份基，所述身份偏移矩阵用于描述所述多张自然人脸图像所包含用户的五官特征；
人脸表情获取模块，用于所述每组人脸图像中，计算所述非自然人脸图像的特征点矩阵与所述自然人脸图像的特征点矩阵之间的偏移矩阵，将所述多组人脸图像的偏移矩阵组成表情偏移矩阵，对所述表情偏移矩阵进行降维处理，得到人脸表情基，所述表情偏移矩阵用于描述多种人脸表情的表情特征；
生成模块，用于当获取到目标人脸图像时，根据所述目标人脸图像、所述人脸身份基、所述人脸表情基和虚拟形象模型基，生成表情与所述目标人脸图像中的人脸表情匹配的虚拟形象模型，所述虚拟形象模型基用于描述虚拟形象模型在多种表情下的表情特征。
另一方面，提供了一种虚拟形象模型生成装置，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如所述虚拟形象模型生成方法中所执行的操作。
再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并具有以实现如所述虚拟形象模型生成方法中所执行的操作。
本发明实施例提供的方法、装置及存储介质，通过获取每张人脸图像中多个五官特征点的坐标组成的特征点矩阵，计算自然人脸图像的特征点矩阵与平均矩阵之间的偏移矩阵，得到身份偏移矩阵，并计算非自然人脸图像的特征点矩阵与自然人脸图像的特征点矩阵之间的偏移矩阵，得到表情偏移矩阵，对身份偏移矩阵和表情偏移矩阵分别进行降维处理，得到稀疏的人脸身份基和人脸表情基，后续根据稀疏的人脸身份基和人脸表情基以及目标人脸图像，生成表情与目标人脸图像中的人脸表情匹配的虚拟形象模型。由于仅采用了五官特征点进行计算，因此耗时较短，可以避免长时间占用处理资源，提高了操作性能，并且通过降维处理可以减小人脸身份基和人脸表情基的数据量。
并且，通过采集多个用户在多种人脸表情下的人脸图像，得到人脸身份基，使得该人脸身份基能适用于任一用户，当获取到任一用户的目标人脸图像时，均可根据人脸身份基和人脸表情基生成表情匹配的虚拟形象模型，提高了通用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种虚拟形象模型生成方法的流程图；
图2是本发明实施例提供的一种人脸图像中五官特征点示意图；
图3是本发明实施例提供的一种三维人脸模型中五官特征点示意图；
图4是本发明实施例提供的一种虚拟形象模型示意图；
图5是本发明实施例提供的一种虚拟形象模型示意图；
图6是本发明实施例提供的虚拟形象模型生成方法的流程图；
图7是本发明实施例提供的一种虚拟形象模型生成装置的结构示意图；
图8是本发明实施例提供的一种终端的结构示意图；
图9是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
相关技术中，通常先采集目标用户多种人脸表情下的人脸图像，对每张人脸图像进行特征点提取，得到每张人脸图像中的大量特征点，进而得到每张人脸图像的特征点矩阵，并根据该多张人脸图像的特征点矩阵，获取与目标用户的五官匹配的人脸表情基，该人脸表情基用于描述该目标用户在每种人脸表情下的表情特征。由于采用了大量特征点的坐标，会导致人脸表情基的数据量较大，且耗时较长，而且后续过程中可以根据该人脸表情基为目标用户生成表情匹配的虚拟形象模型，但无法根据该人脸表情基为其他用户生成表情匹配的虚拟形象模型，也即是该人脸表情基仅适用于目标用户，而不适用于其他用户。
而本发明实施例提供了一种虚拟形象模型生成方法，通过获取每张人脸图像中多个五官特征点的坐标组成的特征点矩阵，计算自然人脸图像的特征点矩阵与平均矩阵之间的偏移矩阵，得到身份偏移矩阵，并计算非自然人脸图像的特征点矩阵与自然人脸图像的特征点矩阵之间的偏移矩阵，得到表情偏移矩阵，对身份偏移矩阵和表情偏移矩阵分别进行降维处理，得到稀疏的人脸身份基和人脸表情基，后续根据稀疏的人脸身份基和人脸表情基以及目标人脸图像，生成表情与目标人脸图像中的人脸表情匹配的虚拟形象模型。
由于仅采用了五官特征点进行计算，因此耗时较短，可以避免长时间占用处理资源，提高了操作性能，并且通过降维处理可以减小人脸身份基和人脸表情基的数据量。并且，通过采集多个用户在多种人脸表情下的人脸图像，得到人脸身份基，使得该人脸身份基能适用于任一用户，当获取到任一用户的目标人脸图像时，均可根据人脸身份基和人脸表情基生成表情匹配的虚拟形象模型，提高了通用性。
在一种可能实现方式中，本发明实施例提供的方法可以应用于终端中，终端可以根据拍摄的图像或视频生成表情匹配的虚拟形象模型，或者，本发明实施例还可以应用于服务器中，终端拍摄图像或视频后，可以发送给服务器，由服务器根据拍摄的图像或视频生成表情匹配的虚拟形象模型，并返回给终端，由终端将虚拟形象模型展示给用户。
本发明实施例可以应用于根据目标人脸图像生成表情匹配的虚拟形象模型的任一场景下，该目标人脸图像可以为单一图像，或者也可以包括任一视频中的多张图像。
例如，当拍摄了一张照片时，可以采用本发明实施例提供的方法，生成表情与该照片中的人脸表情相匹配的卡通人物。或者，当拍摄了一段视频或者正在拍摄视频的过程中，可以采用本发明实施例提供的方法，针对视频中每一帧图像，分别生成表情与每一帧图像中人脸表情相匹配的卡通人物，进而得到卡通人物视频。
图1是本发明实施例提供的一种虚拟形象模型生成方法的流程图。本发明实施例的执行主体为生成装置，该生成装置可以为终端或服务器，参见图1，该方法包括：
101、生成装置获取多组人脸图像。
每组人脸图像包括同一用户摆出预设的多种人脸表情时拍摄的多张人脸图像，则同一组人脸图像所包含的用户相同而人脸表情不同，不同组人脸图像所包含的用户不同而人脸表情相同。并且，该多种人脸表情包括自然表情和除自然表情以外的其他表情，那么，每组人脸图像中包括一张表情为自然表情的人脸图像，以及至少一张表情为其他表情的人脸图像，将具有自然表情的人脸图像称为自然人脸图像，将具有其他表情的人脸图像称为非自然人脸图像，则每组人脸图像中包括一张自然人脸图像和至少一张非自然人脸图像。
其中，生成装置为终端时，该终端可以通过拍摄得到多组人脸图像，或者还可以由其他设备向该终端发送多组人脸图像。另外，生成装置为服务器时，可以由一个或多个终端拍摄人脸图像后发送给服务器，服务器即可获取到多组人脸图像。
例如，每个用户按照预设顺序摆出20种预先设定的表情，并进行人脸图像采集，得到一组包含20种表情的人脸图像，采用该采集方式对200个用户分别采集，即可得到200组人脸图像。
102、生成装置获取每张人脸图像的特征点矩阵，根据多组人脸图像中多张自然人脸图像的特征点矩阵，进行均值计算，得到平均矩阵。
其中，人脸图像的特征点矩阵包括人脸图像中多个五官特征点的坐标，可以用于描述人脸图像中人脸区域的五官特征。该多个特征点可以位于人脸图像中的眼部轮廓位置、鼻翼轮廓位置、鼻尖位置、眉毛的轮廓位置、下巴向下的顶点位置、嘴唇轮廓位置以及上下嘴唇之间的连接位置。
对于每张人脸图像，生成装置可以对人脸图像进行特征点提取，得到人脸图像中的每个特征点的坐标，并筛选出多个五官特征点的坐标，组成特征点矩阵。
在一种可能实现方式中，如图2和图3所示，获取的每张人脸图像均为二维人脸图像，则可以先对人脸图像进行特征点提取和筛选，得到多个五官特征点的二维坐标，将多个五官特征点的二维坐标输入至预先建立的三维人脸模型中，即可得到多个五官特征点的三维坐标，将多个五官特征点的三维坐标组成特征点矩阵。
其中，在建立三维人脸模型时，可以拍摄多个样本用户分别在不同角度、不同姿态下的图像，得到多张样本图像，根据多张样本图像，进行三维人脸重建，可以建立三维人脸模型。
获取到每张人脸图像的特征点矩阵时，由于每组人脸图像中包括一张自然人脸图像，则多组人脸图像中总共包括多张自然人脸图像。对该多张自然人脸图像的特征点矩阵中，处于相同矩阵位置上的坐标进行均值计算，得到每个矩阵位置上的平均坐标，将每个矩阵位置上的平均坐标组成平均矩阵，该平均矩阵用于表示一般人脸在自然表情下的多个五官特征点的坐标。
103、生成装置计算每张自然人脸图像的特征点矩阵与平均矩阵之间的偏移矩阵，将多张自然人脸图像的偏移矩阵组成身份偏移矩阵，对身份偏移矩阵进行降维处理，得到人脸身份基。
由于平均矩阵用于表示一般人脸在自然表情下的多个五官特征点的坐标，而自然人脸图像的特征点矩阵用于表示相应的用户在自然表情下的多个五官特征点的坐标，因此自然人脸图像的特征点矩阵与平均矩阵之间的偏移矩阵可以表示自然人脸图像所包含用户的五官与一般人脸的五官之间的差异，也即是可以表示该用户的五官特征，因此，将多张自然人脸图像的偏移矩阵组成身份偏移矩阵，该身份偏移矩阵可以用于描述多张自然人脸图像所包含用户的五官特征。
得到身份偏移矩阵后，为了减小数据量，可以对身份偏移矩阵进行降维处理，得到人脸身份基，则人脸身份基也可以用于表示多个用户的五官特征。
在一种可能实现方式中，该降维处理方法为主成分分析法，对该身份偏移矩阵进行主成分分析，得到人脸身份基，这样可以综合考虑多个用户的五官特征点的坐标，将对人脸五官影响较小的五官特征点的坐标舍去，保留对人脸五官影响较大的五官特征点的坐标，以使得到的人脸身份基既减小了数据量，而且还能准确表示用户的身份。其中，对人脸五官影响较小的五官特征点可以为两个脸颊上的特征点等，对人脸五官影响较大的五官特征点可以为嘴角上的特征点、眼部轮廓上的特征点等。
104、每组人脸图像中，生成装置计算非自然人脸图像的特征点矩阵与自然人脸图像的特征点矩阵之间的偏移矩阵，将多组人脸图像的偏移矩阵组成表情偏移矩阵，对表情偏移矩阵进行降维处理，得到人脸表情基。
由于自然人脸图像的特征点矩阵用于表示相应的用户在自然表情下的多个五官特征点的坐标，而非自然人脸图像的特征点矩阵用于表示相应的用户在非自然表情下的多个五官特征点的坐标，因此非自然人脸图像的特征点矩阵与自然人脸图像的特征点矩阵之间的偏移矩阵可以表示非自然人脸图像所包含用户的人脸与该用户在自然表情下的人脸之间的差异，也即是可以表示该用户的表情特征，因此，分别计算每组人脸图像中至少一个非自然人脸图像的偏移矩阵，将多组人脸图像中非自然人脸图像的偏移矩阵组成表情偏移矩阵，该表情偏移矩阵用于描述多种人脸表情的表情特征。
得到表情偏移矩阵后，为了减小数据量，可以对表情偏移矩阵进行降维处理，得到人脸表情基，则人脸表情基也可以用于表示多种人脸表情的表情特征。
在一种可能实现方式中，该降维处理方式为主成分分析法，对该表情偏移矩阵进行主成分分析，得到人脸表情基，这样可以综合考虑多个用户的五官特征点的坐标，将对人脸表情影响较小的五官特征点的坐标舍去，保留对人脸表情影响较大的五官特征点的坐标，以使得到的人脸表情基既减小了数据量，而且还能准确表示用户的表情。其中，对人脸表情影响较小的五官特征点可以为两个脸颊上的特征点等，对人脸表情影响较大的五官特征点可以为嘴角上的特征点、眼部轮廓上的特征点等。
105、生成装置获取虚拟形象模型基。
其中，虚拟形象模型基用于描述虚拟形象模型在多种表情下的表情特征，从数据形式上来说，该虚拟形象模型可以为二维模型或三维模型，从展示样式上来说，该虚拟形象模型可以为卡通模型或者模拟某一真实形象的模型，或者可以为人物模型或动物模型等。如该虚拟形象模型可以为卡通兔子模型或者某一知名人物的模型。
在一种可能实现方式中，该步骤105可以包括以下步骤1051-1055：
1051、生成装置获取虚拟形象模型的第一特征点矩阵。
虚拟形象模型可以由虚拟形象模型的表情为自然表情时虚拟形象模型中多个特征点的坐标来表示。当虚拟形象模型为二维模型时，生成装置可以获取到多个特征点的二维坐标，此时可以将二维坐标转换为三维坐标，将多个特征点的三维坐标组成第一特征点矩阵。而当虚拟形象模型为三维模型时，生成装置可以获取到多个特征点的三维坐标，将多个特征点的三维坐标组成第一特征点矩阵。则该第一特征点矩阵包括虚拟形象模型的表情为自然表情时多个特征点的坐标。
1052、生成装置根据第一特征点矩阵，获取虚拟形象模型的第二特征点矩阵。
多个特征点中可以包括多个五官特征点和多个其他特征点。生成装置获取到第一特征点矩阵后，从多个特征点中选取多个五官特征点，且所选取的五官特征点与上述步骤102中每张人脸图像的五官特征点相对应，并将选取的多个五官特征点的坐标组成第二特征点矩阵，该第二特征点矩阵用于表示虚拟形象模型的多个五官特征点的坐标。
1053、生成装置将人脸表情基中的每一列作为一个偏移矩阵，得到多个偏移矩阵，将多个偏移矩阵分别迁移到第二特征点矩阵上，得到多个第一虚拟形象矩阵。
由于人脸表情基可以表示多种人脸表情的表情特征，因此得到的多个偏移矩阵可以分别表示一种人脸表情的表情特征。为了获取到表情匹配的虚拟形象模型，将多个偏移矩阵分别迁移到第二特征点矩阵上，相当于在原有的自然表情下的虚拟形象模型上附加了与人脸表情匹配的表情，因此得到的多个第一虚拟形象矩阵中的坐标即可认为是虚拟形象模型在每种表情下的多个五官特征点的坐标。
在一种可能实现的方式中，如果虚拟形象模型为人物模型，将偏移矩阵迁移到第二特征点矩阵上，实际上是将一种人脸表情迁移到具有自然表情的人物模型上，而人物模型中不同五官之间的比例与人脸图像中不同五官之间的比例相符，因此可以基于等比例的原则，为不同的五官特征点设置相同的迁移比例，则计算每个偏移矩阵与迁移比例的乘积后，得到迁移矩阵，将该迁移矩阵与第二特征点矩阵的和值作为第一虚拟形象矩阵，即可得到多个第一虚拟形象矩阵。
在另一种可能实现的方式中，如果虚拟形象模型不是人物模型，将偏移矩阵迁移到第二特征点矩阵上，实际上是将一种人脸表情迁移到具有自然表情的其他形象模型上，而这些形象模型中不同五官之间的比例与人脸图像中不同五官之间的比例不符，因此可以基于不同五官不同比例的原则，为不同的五官特征点设置不同的迁移比例，则计算每个偏移矩阵中每个五官特征点对应的偏移量与对应的迁移比例的乘积，得到迁移矩阵，将该迁移矩阵与第二特征点矩阵的和值作为第一虚拟形象矩阵，即可得到多个第一虚拟形象矩阵。
例如，当虚拟形象模型为卡通兔子模型时，卡通兔子模型的各个五官之间的比例与人脸图像中的各个人脸五官之间的比例不同，人脸中眼睛呈现细长状，而卡通兔子模型的眼睛为椭圆形，因此可以采用不同迁移比例改变眼睛轮廓上的多个五官特征点的坐标，使多个五官特征点在横向方向上压缩，在纵向方向上拉伸，从而将细长状人眼转变成了椭圆形的兔子眼睛。
1054、生成装置根据第一特征点矩阵中除多个五官特征点以外的其他特征点的坐标，将多个第一虚拟形象矩阵分别进行扩充，得到多个第二虚拟形象矩阵。
虚拟形象模型中包括多个五官特征点和头部区域上的其他特征点，将某一偏移矩阵迁移到第二特征点矩阵上，可以改变五官特征点的坐标，使虚拟形象模型的表情与人脸图像匹配，而在此迁移过程中，其他特征点的坐标不会发生变化。那么，变化后的五官特征点的坐标与其他特征点原始的坐标组合，才可构成完整的虚拟形象模型。
为此，根据第一特征点矩阵中除多个五官特征点以外的其他特征点的坐标，将多个第一虚拟形象矩阵分别进行扩充，也即是将其他特征点的坐标与每个第一虚拟形象矩阵进行组合，得到多个第二虚拟形象矩阵。
1055、生成装置分别计算多个第二虚拟形象矩阵与第一特征点矩阵之间的偏移矩阵，将得到的多个偏移矩阵组成虚拟表情偏移矩阵，对虚拟表情偏移矩阵进行降维处理，得到虚拟形象模型基。
由于第一特征点矩阵是虚拟形象模型的表情为自然表情时的特征点矩阵，可以用于表示虚拟形象模型的五官特征，而第二虚拟形象矩阵是虚拟形象模型具备某种表情时的特征点矩阵，因此，第二虚拟形象矩阵与第一特征点矩阵之间的偏移矩阵，可以表示在该表情下的虚拟形象模型与在自然表情下的虚拟形象模型之间的差异，因此可以表示虚拟形象模型在该表情下的表情特征。则将多个第二虚拟形象矩阵与第一特征点矩阵之间的偏移矩阵组成虚拟表情偏移矩阵，该虚拟表情偏移矩阵用于描述虚拟形象模型在多种表情下的表情特征。
得到虚拟表情偏移矩阵后，对虚拟表情偏移矩阵进行降维处理，得到虚拟形象模型基，该虚拟形象模型基也可以用于描述虚拟形象模型在多种表情下的表情特征。
106、当生成装置获取到目标人脸图像时，根据目标人脸图像、人脸身份基、人脸表情基和虚拟形象模型基，生成表情与目标人脸图像中的人脸表情匹配的虚拟形象模型。
在一种可能实现方式中，当目标人脸图像为目标视频中的多张人脸图像时，可以根据每张人脸图像以及不同人脸图像之间的位置和姿态变化，获取表情匹配的虚拟形象模型，从而得到与目标视频匹配的虚拟形象模型的视频。
相应地，该步骤106可以包括以下步骤1061-1063：
1061、生成装置获取目标人脸图像的特征点矩阵。
其中，特征点矩阵包括目标人脸图像中多个五官特征点的坐标。
该步骤1061与上述步骤102中获取人脸图像的特征点矩阵的过程类似，在此不再赘述。
1062、生成装置根据人脸图像的特征点矩阵、人脸身份基、人脸表情基和平均矩阵，计算人脸图像的表情参数和位置姿态参数。
其中，表情参数用于指示人脸图像中的人脸表情，身份参数用于指示人脸图像所包含的用户，位置姿态参数包括缩放系数、旋转矩阵和平移矩阵，用于指示目标人脸图像中人脸的位置、朝向和姿态。
在一种可能实现方式中，将目标人脸图像的特征点矩阵、人脸身份基和人脸表情基和平均矩阵作为已知量，将位置姿态参数、身份参数和表情参数作为未知量，采用梯度下降法并按照以下公式求取表情参数和位置姿态参数：
也即是，采用以下目标函数进行优化，得到表情参数和位置姿态参数：
其中，L表示人脸图像的特征点矩阵，Aid表示人脸身份基，Aexp表示人脸表情基，表示平均矩阵，pid表示身份参数，pexp表示表情参数，s表示缩放系数，R表示旋转矩阵，T表示平移矩阵。
1063、生成装置根据虚拟形象模型的第一特征点矩阵、表情参数和虚拟形象模型基，生成表情与人脸表情匹配的虚拟形象模型。
根据第一特征点矩阵、表情参数、缩放系数、旋转矩阵和平移矩阵，按照以下公式，生成与人脸图像的表情、位置、朝向和姿态相匹配的虚拟形象模型：
其中，X表示与人脸图像的表情、位置、朝向和姿态相匹配的虚拟形象模型的特征点矩阵，Bexp表示虚拟形象模型基，表示第一特征点矩阵，pexp表示表情参数，s表示缩放系数，R表示旋转矩阵，T表示平移矩阵。
此时得到的虚拟形象模型会随着视频中人脸的表情、位置、朝向和姿态等的变化而变化，得到与视频中人脸的表情、位置、朝向和姿态等相匹配的虚拟形象模型视频。
在另一种可能实现方式中，目标人脸图像可以为单一图像，则生成装置获取目标人脸图像的特征点矩阵，根据目标人脸图像的特征点矩阵、人脸身份基、人脸表情基和平均矩阵，计算目标人脸图像的表情参数，表情参数用于指示目标人脸图像中的人脸表情，根据虚拟形象模型的第一特征点矩阵、表情参数和虚拟形象模型基，生成表情与人脸表情匹配的虚拟形象模型。
其中，计算表情参数的方式与上述步骤1062类似，而生成虚拟形象模型时，无需考虑人脸图像的位置姿态参数，因此可以根据虚拟形象模型的第一特征点矩阵、表情参数和虚拟形象模型基，按照以下公式，生成表情与人脸表情匹配的虚拟形象模型：
其中，N表示虚拟形象模型的特征点矩阵，表示虚拟形象模型的第一特征点矩阵，Bexp表示虚拟形象模型基，pexp表示表情参数。
最终得到的虚拟形象模型的五官与虚拟形象模型基的五官相匹配，且虚拟形象模型的表情与目标人脸图像中的人脸表情相匹配。
例如，虚拟形象模型为卡通兔子模型，如图4和图5所示，当目标人脸图像中的人脸表情为低头并嘟嘴的表情时，根据目标人脸图像可以生成一个表情为低头并嘟嘴的卡通兔子模型，当目标人脸图像中的人脸表情为张嘴且一只眼睛眨眼的表情时，根据目标人脸图像可以生成一个张嘴且一只眼睛眨眼的的卡通兔子模型。
本发明实施例提供的方法，通过获取每张人脸图像中多个五官特征点的坐标组成的特征点矩阵，计算自然人脸图像的特征点矩阵与平均矩阵之间的偏移矩阵，得到身份偏移矩阵，并计算非自然人脸图像的特征点矩阵与自然人脸图像的特征点矩阵之间的偏移矩阵，得到表情偏移矩阵，对身份偏移矩阵和表情偏移矩阵分别进行降维处理，得到稀疏的人脸身份基和人脸表情基，后续根据稀疏的人脸身份基和人脸表情基以及目标人脸图像，生成表情与目标人脸图像中的人脸表情匹配的虚拟形象模型。由于仅采用了五官特征点进行计算，因此耗时较短，可以避免长时间占用处理资源，提高了操作性能，并且通过降维处理可以减小人脸身份基和人脸表情基的数据量。
并且，通过采集多个用户在多种人脸表情下的人脸图像，得到人脸身份基，使得该人脸身份基能适用于任一用户，当获取到任一用户的目标人脸图像时，均可根据人脸身份基和人脸表情基生成表情匹配的虚拟形象模型，提高了通用性。
图6是本发明实施例提供的虚拟形象模型生成方法的流程图，参见图6，预先建立人脸身份基和人脸表情基，并根据人脸表情基建立虚拟形象模型基。后续利用普通摄像头对目标人脸图像进行采集，根据采集到的目标人脸图像、人脸身份基和人脸表情基，求取该目标人脸图像的表情参数和位置姿态参数，位置姿态参数包括缩放系数、旋转矩阵和平移矩阵。然后根据目标人脸图像、虚拟形象模型基、身份参数和位置姿态参数，生成与目标人脸图像的表情、位置、朝向和姿态相匹配的虚拟形象模型。
图7是本发明实施例提供的一种虚拟形象模型生成装置的结构示意图。参见图7，该装置包括：
第一获取模块701，用于执行上述实施例中获取多组人脸图像的步骤；
第二获取模块702，用于执行上述实施例中获取每张人脸图像的特征点矩阵的步骤；
均值计算模块703，用于执行上述实施例中根据多组人脸图像中多张自然人脸图像的特征点矩阵，进行均值计算，得到平均矩阵的步骤；
身份获取模块704，用于执行上述实施例中计算每张自然人脸图像的特征点矩阵与平均矩阵之间的偏移矩阵，将多张自然人脸图像的偏移矩阵组成身份偏移矩阵，对身份偏移矩阵进行降维处理，得到人脸身份基的步骤；
人脸表情获取模块705，用于执行上述实施例中每组人脸图像中，计算非自然人脸图像的特征点矩阵与自然人脸图像的特征点矩阵之间的偏移矩阵，将多组人脸图像的偏移矩阵组成表情偏移矩阵，对表情偏移矩阵进行降维处理，得到人脸表情基的步骤；
生成模块706，用于执行上述实施例中当获取到目标人脸图像时，根据目标人脸图像、人脸身份基、人脸表情基和虚拟形象模型基，生成表情与目标人脸图像中的人脸表情匹配的虚拟形象模型的步骤。
可选地，每组人脸图像中包括多张非自然人脸图像，人脸表情获取模块705，包括：
偏移获取单元，用于执行上述实施例中每组人脸图像中，分别计算多张非自然人脸图像的特征点矩阵与自然人脸图像的特征点矩阵之间的偏移矩阵的步骤；
表情偏移获取单元，用于执行上述实施例中根据多组人脸图像，获取多个人脸表情相同而所包含用户不同的非自然人脸图像对应的偏移矩阵，将多个偏移矩阵组成表情偏移矩阵的步骤。
可选地，装置还包括：
特征点获取模块，用于执行上述实施例中获取虚拟形象模型的第一特征点矩阵和第二特征点矩阵的步骤；
第一形象获取模块，用于执行上述实施例中将人脸表情基中的每一列作为一个偏移矩阵，得到多个偏移矩阵，将多个偏移矩阵分别迁移到第二特征点矩阵上，得到多个第一虚拟形象矩阵的步骤；
第二形象获取模块，用于执行上述实施例中根据第一特征点矩阵中除多个五官特征点以外的其他特征点的坐标，将多个第一虚拟形象矩阵分别进行扩充，得到多个第二虚拟形象矩阵的步骤；
虚拟表情获取模块，用于执行上述实施例中分别计算多个第二虚拟形象矩阵与第一特征点矩阵之间的偏移矩阵，将得到的多个偏移矩阵组成虚拟表情偏移矩阵，对虚拟表情偏移矩阵进行降维处理，得到虚拟形象模型基的步骤。
可选地，生成模块706，包括：
目标特征点获取单元，用于执行上述实施例中获取目标人脸图像的特征点矩阵的步骤；
参数计算单元，用于执行上述实施例中根据目标人脸图像的特征点矩阵、人脸身份基、人脸表情基和平均矩阵，计算目标人脸图像的表情参数的步骤；
生成单元，用于执行上述实施例中根据虚拟形象模型的第一特征点矩阵、表情参数和虚拟形象模型基，生成表情与人脸表情匹配的虚拟形象模型的步骤。
可选地，目标人脸图像为目标视频中的多张人脸图像时，参数计算单元，用于执行上述实施例中对于多张人脸图像中的每张人脸图像，根据人脸图像的特征点矩阵、人脸身份基、人脸表情基和平均矩阵，计算人脸图像的表情参数和位置姿态参数的步骤。
可选地，生成单元，用于执行上述实施例中根据第一特征点矩阵、表情参数、缩放系数、旋转矩阵和平移矩阵，按照以下公式，生成与人脸图像的表情、位置、朝向和姿态相匹配的虚拟形象模型的步骤：
其中，X表示与人脸图像的表情、位置、朝向和姿态相匹配的虚拟形象模型的特征点矩阵，Bexp表示虚拟形象模型基，表示第一特征点矩阵，pexp表示表情参数，s表示缩放系数，R表示旋转矩阵，T表示平移矩阵。
可选地，参数计算单元，用于执行上述实施例中将人脸图像的特征点矩阵、人脸身份基和人脸表情基和平均矩阵作为已知量，将位置姿态参数、身份参数和表情参数作为未知量，采用梯度下降法并按照以下公式求取表情参数和位置姿态参数的步骤：
其中，L表示人脸图像的特征点矩阵，Aid表示人脸身份基，Aexp表示人脸表情基，表示平均矩阵，pid表示身份参数，pexp表示表情参数，s表示缩放系数，R表示旋转矩阵，T表示平移矩阵。
需要说明的是：上述实施例提供的虚拟形象模型生成装置在生成虚拟形象模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将生成装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的虚拟形象模型生成装置与虚拟形象模型生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8示出了本发明一个示例性实施例提供的终端800的结构框图。该终端800可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备，或其他任意智能终端。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所具有以实现本申请中方法实施例提供的虚拟形象模型生成方法。
在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及8G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在再一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时，由处理器801根据用户对触摸显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户具有相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商标志集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制触摸显示屏805的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏805的显示亮度；当环境光强度较低时，调低触摸显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图9是本发明实施例提供的一种服务器的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)901和一个或一个以上的存储器902，其中，所述存储器902中存储有至少一条指令，所述至少一条指令由所述处理器901加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器900可以用于执行上述虚拟形象模型生成方法中生成装置所执行的步骤。
本发明实施例还提供了一种虚拟形象模型生成装置，该装置包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，指令、程序、代码集或指令集由处理器加载并具有以实现上述实施例的虚拟形象模型生成方法中所执行的操作。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并具有以实现上述实施例的虚拟形象模型生成方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明实施例的较佳实施例，并不用以限制本发明实施例，凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种虚拟形象模型生成方法，其特征在于，所述方法包括：
获取多组人脸图像，每组人脸图像包括同一用户摆出预设的多种人脸表情时拍摄的多张人脸图像，所述每组人脸图像中包括自然人脸图像和非自然人脸图像，所述自然人脸图像为具有自然表情的人脸图像，所述非自然人脸图像为具有除所述自然表情以外的其他表情的人脸图像；
获取每张人脸图像的特征点矩阵，所述特征点矩阵包括所述人脸图像中多个五官特征点的坐标；
根据所述多组人脸图像中多张自然人脸图像的特征点矩阵，进行均值计算，得到平均矩阵，所述平均矩阵用于表示一般人脸在所述自然表情下的多个五官特征点的坐标；
计算每张自然人脸图像的特征点矩阵与所述平均矩阵之间的偏移矩阵，将所述多张自然人脸图像的偏移矩阵组成身份偏移矩阵，对所述身份偏移矩阵进行降维处理，得到人脸身份基，所述身份偏移矩阵用于描述所述多张自然人脸图像所包含用户的五官特征；
所述每组人脸图像中，计算所述非自然人脸图像的特征点矩阵与所述自然人脸图像的特征点矩阵之间的偏移矩阵，将所述多组人脸图像的偏移矩阵组成表情偏移矩阵，对所述表情偏移矩阵进行降维处理，得到人脸表情基，所述表情偏移矩阵用于描述多种人脸表情的表情特征；
当获取到目标人脸图像时，根据所述目标人脸图像、所述人脸身份基、所述人脸表情基和虚拟形象模型基，生成表情与所述目标人脸图像中的人脸表情匹配的虚拟形象模型，所述虚拟形象模型基用于描述虚拟形象模型在多种表情下的表情特征。
2.根据权利要求1所述的方法，其特征在于，所述每组人脸图像中包括多张非自然人脸图像，所述每组人脸图像中，计算所述非自然人脸图像的特征点矩阵与所述自然人脸图像的特征点矩阵之间的偏移矩阵，将所述多组人脸图像的偏移矩阵组成表情偏移矩阵，包括：
所述每组人脸图像中，分别计算所述多张非自然人脸图像的特征点矩阵与所述自然人脸图像的特征点矩阵之间的偏移矩阵；
根据所述多组人脸图像，获取多个人脸表情相同而所包含用户不同的非自然人脸图像对应的偏移矩阵，将所述多个偏移矩阵组成所述表情偏移矩阵。
3.根据权利要求1所述的方法，其特征在于，所述对所述表情偏移矩阵进行降维处理，得到人脸表情基之后，所述方法还包括：
获取所述虚拟形象模型的第一特征点矩阵和第二特征点矩阵，所述第一特征点矩阵包括所述虚拟形象模型的表情为所述自然表情时多个特征点的坐标，所述第二特征点矩阵包括所述虚拟形象模型的表情为所述自然表情时多个五官特征点的坐标；
将所述人脸表情基中的每一列作为一个偏移矩阵，得到多个偏移矩阵，将所述多个偏移矩阵分别迁移到所述第二特征点矩阵上，得到多个第一虚拟形象矩阵，所述多个第一虚拟形象矩阵分别包括所述虚拟形象模型在每种表情下所述多个五官特征点的坐标；
根据所述第一特征点矩阵中除所述多个五官特征点以外的其他特征点的坐标，将所述多个第一虚拟形象矩阵分别进行扩充，得到多个第二虚拟形象矩阵；
分别计算所述多个第二虚拟形象矩阵与所述第一特征点矩阵之间的偏移矩阵，将得到的多个偏移矩阵组成虚拟表情偏移矩阵，对所述虚拟表情偏移矩阵进行降维处理，得到所述虚拟形象模型基，所述虚拟表情偏移矩阵用于描述所述虚拟形象模型在多种表情下的表情特征。
4.根据权利要求1所述的方法，其特征在于，所述当获取到目标人脸图像时，根据所述目标人脸图像、所述人脸身份基、所述人脸表情基和虚拟形象模型基，生成表情与所述目标人脸图像中的人脸表情匹配的虚拟形象模型，包括：
获取所述目标人脸图像的特征点矩阵；
根据所述目标人脸图像的特征点矩阵、所述人脸身份基、所述人脸表情基和所述平均矩阵，计算所述目标人脸图像的表情参数，所述表情参数用于指示所述目标人脸图像中的人脸表情；
根据所述虚拟形象模型的第一特征点矩阵、所述表情参数和所述虚拟形象模型基，生成表情与所述人脸表情匹配的虚拟形象模型，所述第一特征点矩阵包括所述虚拟形象模型的表情为所述自然表情时多个特征点的坐标。
5.根据权利要求4所述的方法，其特征在于，所述目标人脸图像为目标视频中的多张人脸图像时，所述根据所述目标人脸图像的特征点矩阵、所述人脸身份基、所述人脸表情基和所述平均矩阵，计算所述目标人脸图像的表情参数，包括：
对于所述多张人脸图像中的每张人脸图像，根据所述人脸图像的特征点矩阵、所述人脸身份基、所述人脸表情基和所述平均矩阵，计算所述人脸图像的表情参数和位置姿态参数，所述位置姿态参数包括缩放系数、旋转矩阵和平移矩阵，用于指示所述人脸图像中人脸的位置、朝向和姿态。
6.根据权利要求5所述的方法，其特征在于，所述根据所述虚拟形象模型的第一特征点矩阵、所述表情参数和所述虚拟形象模型基，生成表情与所述人脸表情匹配的虚拟形象模型，包括：
根据所述第一特征点矩阵、所述表情参数、所述缩放系数、所述旋转矩阵和所述平移矩阵，按照以下公式，生成与所述人脸图像的表情、位置、朝向和姿态相匹配的虚拟形象模型：
其中，X表示与所述人脸图像的表情、位置、朝向和姿态相匹配的虚拟形象模型的特征点矩阵，Bexp表示所述虚拟形象模型基，表示所述第一特征点矩阵，pexp表示所述表情参数，s表示所述缩放系数，R表示所述旋转矩阵，T表示所述平移矩阵。
7.根据权利要求5所述的方法，其特征在于，所述根据所述人脸图像的特征点矩阵、所述人脸身份基、所述人脸表情基和所述平均矩阵，计算所述人脸图像的表情参数和位置姿态参数，包括：
将所述人脸图像的特征点矩阵、所述人脸身份基和所述人脸表情基和所述平均矩阵作为已知量，将所述位置姿态参数、所述身份参数和所述表情参数作为未知量，采用梯度下降法并按照以下公式求取所述表情参数和所述位置姿态参数：
其中，L表示所述人脸图像的特征点矩阵，Aid表示所述人脸身份基，Aexp表示所述人脸表情基，表示所述平均矩阵，pid表示所述身份参数，pexp表示所述表情参数，s表示所述缩放系数，R表示所述旋转矩阵，T表示所述平移矩阵。
8.一种虚拟形象模型生成装置，其特征在于，所述装置包括：
第一获取模块，用于获取多组人脸图像，每组人脸图像包括同一用户摆出预设的多种人脸表情时拍摄的多张人脸图像，所述每组人脸图像中包括自然人脸图像和非自然人脸图像，所述自然人脸图像为具有自然表情的人脸图像，所述非自然人脸图像为具有除所述自然表情以外的其他表情的人脸图像；
第二获取模块，用于获取每张人脸图像的特征点矩阵，所述特征点矩阵包括所述人脸图像中多个五官特征点的坐标；
均值计算模块，用于根据所述多组人脸图像中多张自然人脸图像的特征点矩阵，进行均值计算，得到平均矩阵，所述平均矩阵用于表示一般人脸在所述自然表情下的多个五官特征点的坐标；
身份获取模块，用于计算每张自然人脸图像的特征点矩阵与所述平均矩阵之间的偏移矩阵，将所述多张自然人脸图像的偏移矩阵组成身份偏移矩阵，对所述身份偏移矩阵进行降维处理，得到人脸身份基，所述身份偏移矩阵用于描述所述多张自然人脸图像所包含用户的五官特征；
人脸表情获取模块，用于所述每组人脸图像中，计算所述非自然人脸图像的特征点矩阵与所述自然人脸图像的特征点矩阵之间的偏移矩阵，将所述多组人脸图像的偏移矩阵组成表情偏移矩阵，对所述表情偏移矩阵进行降维处理，得到人脸表情基，所述表情偏移矩阵用于描述多种人脸表情的表情特征；
生成模块，用于当获取到目标人脸图像时，根据所述目标人脸图像、所述人脸身份基、所述人脸表情基和虚拟形象模型基，生成表情与所述目标人脸图像中的人脸表情匹配的虚拟形象模型，所述虚拟形象模型基用于描述虚拟形象模型在多种表情下的表情特征。
9.根据权利要求8所述的装置，其特征在于，每组人脸图像中包括多张非自然人脸图像，所述人脸表情获取模块，包括：
偏移获取单元，用于所述每组人脸图像中，分别计算所述多张非自然人脸图像的特征点矩阵与所述自然人脸图像的特征点矩阵之间的偏移矩阵；
表情偏移获取单元，用于根据所述多组人脸图像，获取多个人脸表情相同而所包含用户不同的非自然人脸图像对应的偏移矩阵，将所述多个偏移矩阵组成所述表情偏移矩阵。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
特征点获取模块，用于获取所述虚拟形象模型的第一特征点矩阵和第二特征点矩阵，所述第一特征点矩阵包括所述虚拟形象模型的表情为所述自然表情时多个特征点的坐标，所述第二特征点矩阵包括所述虚拟形象模型的表情为所述自然表情时多个五官特征点的坐标；
第一形象获取模块，用于将所述人脸表情基中的每一列作为一个偏移矩阵，得到多个偏移矩阵，将所述多个偏移矩阵分别迁移到所述第二特征点矩阵上，得到多个第一虚拟形象矩阵，所述多个第一虚拟形象矩阵分别包括所述虚拟形象模型在每种表情下所述多个五官特征点的坐标；
第二形象获取模块，用于根据所述第一特征点矩阵中除所述多个五官特征点以外的其他特征点的坐标，将所述多个第一虚拟形象矩阵分别进行扩充，得到多个第二虚拟形象矩阵；
虚拟表情获取模块，用于分别计算所述多个第二虚拟形象矩阵与所述第一特征点矩阵之间的偏移矩阵，将得到的多个偏移矩阵组成虚拟表情偏移矩阵，对所述虚拟表情偏移矩阵进行降维处理，得到所述虚拟形象模型基，所述虚拟表情偏移矩阵用于描述所述虚拟形象模型在多种表情下的表情特征。
11.根据权利要求8所述的装置，其特征在于，所述生成模块，包括：
目标特征点获取单元，用于获取所述目标人脸图像的特征点矩阵；
参数计算单元，用于根据所述目标人脸图像的特征点矩阵、所述人脸身份基、所述人脸表情基和所述平均矩阵，计算所述目标人脸图像的表情参数，所述表情参数用于指示所述目标人脸图像中的人脸表情；
生成单元，用于根据所述虚拟形象模型的第一特征点矩阵、所述表情参数和所述虚拟形象模型基，生成表情与所述人脸表情匹配的虚拟形象模型，所述第一特征点矩阵包括所述虚拟形象模型的表情为所述自然表情时多个特征点的坐标。
12.根据权利要求11所述的装置，其特征在于，所述目标人脸图像为目标视频中的多张人脸图像时，所述参数计算单元，用于对于所述多张人脸图像中的每张人脸图像，根据所述人脸图像的特征点矩阵、所述人脸身份基、所述人脸表情基和所述平均矩阵，计算所述人脸图像的表情参数和位置姿态参数，所述位置姿态参数包括缩放系数、旋转矩阵和平移矩阵，用于指示所述人脸图像中人脸的位置、朝向和姿态。
13.根据权利要求12所述的装置，其特征在于，所述生成单元，用于根据所述第一特征点矩阵、所述表情参数、所述缩放系数、所述旋转矩阵和所述平移矩阵，按照以下公式，生成与所述人脸图像的表情、位置、朝向和姿态相匹配的虚拟形象模型：
其中，X表示与所述人脸图像的表情、位置、朝向和姿态相匹配的虚拟形象模型的特征点矩阵，Bexp表示所述虚拟形象模型基，表示所述第一特征点矩阵，pexp表示所述表情参数，s表示所述缩放系数，R表示所述旋转矩阵，T表示所述平移矩阵。
14.一种虚拟形象模型生成装置，其特征在于，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至7任一权利要求所述的虚拟形象模型生成方法中所执行的操作。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至7任一权利要求所述的虚拟形象模型生成的方法中所执行的操作。
CN201811047752.8A 2018-09-07 2018-09-07 虚拟形象模型生成方法、装置及存储介质 Active CN109308727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811047752.8A CN109308727B (zh) 2018-09-07 2018-09-07 虚拟形象模型生成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811047752.8A CN109308727B (zh) 2018-09-07 2018-09-07 虚拟形象模型生成方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109308727A true CN109308727A (zh) 2019-02-05
CN109308727B CN109308727B (zh) 2020-11-10

Family

ID=65224864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811047752.8A Active CN109308727B (zh) 2018-09-07 2018-09-07 虚拟形象模型生成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109308727B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141857A (zh) * 2019-04-26 2019-08-20 腾讯科技（深圳）有限公司 虚拟角色的面部显示方法、装置、设备及存储介质
CN110210501A (zh) * 2019-06-11 2019-09-06 北京字节跳动网络技术有限公司 虚拟对象生成方法、电子设备及计算机可读存储介质
CN110620884A (zh) * 2019-09-19 2019-12-27 平安科技（深圳）有限公司 基于表情驱动的虚拟视频合成方法、装置及存储介质
CN111325846A (zh) * 2020-02-13 2020-06-23 腾讯科技（深圳）有限公司 表情基确定方法、虚拟形象驱动方法、装置及介质
CN111696179A (zh) * 2020-05-06 2020-09-22 广东康云科技有限公司 卡通三维模型和虚拟仿真人的生成方法、装置和存储介质
CN111695471A (zh) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质
CN111798551A (zh) * 2020-07-20 2020-10-20 网易（杭州）网络有限公司 虚拟表情生成方法及装置
CN112085835A (zh) * 2020-08-31 2020-12-15 腾讯科技（深圳）有限公司 三维卡通人脸生成方法、装置、电子设备及存储介质
CN112562071A (zh) * 2020-12-25 2021-03-26 北京爱奇艺科技有限公司 一种动作差异度计算方法、装置、设备及存储介质
CN112668407A (zh) * 2020-12-11 2021-04-16 北京大米科技有限公司 人脸关键点生成方法、装置、存储介质及电子设备
CN112906494A (zh) * 2021-01-27 2021-06-04 浙江大学 一种面部捕捉方法、装置、电子设备及存储介质
CN113723343A (zh) * 2021-09-08 2021-11-30 广州虎牙科技有限公司 表情特征参数处理方法、装置及电子设备
CN113763531A (zh) * 2020-06-05 2021-12-07 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN113808281A (zh) * 2021-08-23 2021-12-17 桂林未来鹏创软件有限公司 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质
CN114565696A (zh) * 2022-03-08 2022-05-31 北京玖零时代影视传媒有限公司 一种元宇宙虚拟数字人制作方法和系统
CN117221465A (zh) * 2023-09-20 2023-12-12 北京约来健康科技有限公司 一种数字视频内容合成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722696A (zh) * 2012-05-16 2012-10-10 西安电子科技大学 基于多生物特征的身份证与持有人的同一性认证方法
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
KR101788211B1 (ko) * 2016-07-26 2017-10-20 계명대학교 산학협력단 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치
CN107730573A (zh) * 2017-09-22 2018-02-23 西安交通大学 一种基于特征提取的人物肖像漫画风格化生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN102722696A (zh) * 2012-05-16 2012-10-10 西安电子科技大学 基于多生物特征的身份证与持有人的同一性认证方法
KR101788211B1 (ko) * 2016-07-26 2017-10-20 계명대학교 산학협력단 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치
CN107730573A (zh) * 2017-09-22 2018-02-23 西安交通大学 一种基于特征提取的人物肖像漫画风格化生成方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141857A (zh) * 2019-04-26 2019-08-20 腾讯科技（深圳）有限公司 虚拟角色的面部显示方法、装置、设备及存储介质
US11423509B2 (en) 2019-04-26 2022-08-23 Tencent Technology (Shenzhen) Company Limited Method and apparatus for displaying face of virtual role, computer device, and readable storage medium
CN110210501A (zh) * 2019-06-11 2019-09-06 北京字节跳动网络技术有限公司 虚拟对象生成方法、电子设备及计算机可读存储介质
CN110210501B (zh) * 2019-06-11 2021-06-18 北京字节跳动网络技术有限公司 虚拟对象生成方法、电子设备及计算机可读存储介质
CN110620884A (zh) * 2019-09-19 2019-12-27 平安科技（深圳）有限公司 基于表情驱动的虚拟视频合成方法、装置及存储介质
CN110620884B (zh) * 2019-09-19 2022-04-22 平安科技（深圳）有限公司 基于表情驱动的虚拟视频合成方法、装置及存储介质
CN111325846A (zh) * 2020-02-13 2020-06-23 腾讯科技（深圳）有限公司 表情基确定方法、虚拟形象驱动方法、装置及介质
CN111696179A (zh) * 2020-05-06 2020-09-22 广东康云科技有限公司 卡通三维模型和虚拟仿真人的生成方法、装置和存储介质
CN111695471A (zh) * 2020-06-02 2020-09-22 北京百度网讯科技有限公司 虚拟形象生成方法、装置、设备以及存储介质
US11715259B2 (en) 2020-06-02 2023-08-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for generating virtual avatar, device and storage medium
CN113763531A (zh) * 2020-06-05 2021-12-07 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN113763531B (zh) * 2020-06-05 2023-11-28 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN111798551A (zh) * 2020-07-20 2020-10-20 网易（杭州）网络有限公司 虚拟表情生成方法及装置
CN111798551B (zh) * 2020-07-20 2024-06-04 网易（杭州）网络有限公司 虚拟表情生成方法及装置
CN112085835A (zh) * 2020-08-31 2020-12-15 腾讯科技（深圳）有限公司 三维卡通人脸生成方法、装置、电子设备及存储介质
CN112085835B (zh) * 2020-08-31 2024-03-22 腾讯科技（深圳）有限公司 三维卡通人脸生成方法、装置、电子设备及存储介质
CN112668407A (zh) * 2020-12-11 2021-04-16 北京大米科技有限公司 人脸关键点生成方法、装置、存储介质及电子设备
CN112562071A (zh) * 2020-12-25 2021-03-26 北京爱奇艺科技有限公司 一种动作差异度计算方法、装置、设备及存储介质
CN112906494A (zh) * 2021-01-27 2021-06-04 浙江大学 一种面部捕捉方法、装置、电子设备及存储介质
CN113808281A (zh) * 2021-08-23 2021-12-17 桂林未来鹏创软件有限公司 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质
CN113808281B (zh) * 2021-08-23 2024-02-27 桂林未来鹏创软件有限公司 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质
CN113723343A (zh) * 2021-09-08 2021-11-30 广州虎牙科技有限公司 表情特征参数处理方法、装置及电子设备
CN114565696A (zh) * 2022-03-08 2022-05-31 北京玖零时代影视传媒有限公司 一种元宇宙虚拟数字人制作方法和系统
CN117221465A (zh) * 2023-09-20 2023-12-12 北京约来健康科技有限公司 一种数字视频内容合成方法及系统
CN117221465B (zh) * 2023-09-20 2024-04-16 北京约来健康科技有限公司 一种数字视频内容合成方法及系统

Also Published As

Publication number Publication date
CN109308727B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN109308727A (zh) 虚拟形象模型生成方法、装置及存储介质
CN109767487A (zh) 人脸三维重建方法、装置、电子设备及存储介质
CN110992493B (zh) 图像处理方法、装置、电子设备及存储介质
CN109978989A (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
CN107844781A (zh) 人脸属性识别方法及装置、电子设备及存储介质
CN110141857A (zh) 虚拟角色的面部显示方法、装置、设备及存储介质
CN110119815A (zh) 模型训练方法、装置、存储介质及设备
CN110059661A (zh) 动作识别方法、人机交互方法、装置及存储介质
CN108256505A (zh) 图像处理方法及装置
CN108401124A (zh) 视频录制的方法和装置
CN108305236A (zh) 图像增强处理方法及装置
CN109977775B (zh) 关键点检测方法、装置、设备及可读存储介质
CN110427110A (zh) 一种直播方法、装置以及直播服务器
CN110083791A (zh) 目标群组检测方法、装置、计算机设备及存储介质
CN109107155A (zh) 虚拟物品的调整方法、装置、终端及存储介质
CN110263617A (zh) 三维人脸模型获取方法及装置
CN109285178A (zh) 图像分割方法、装置及存储介质
CN108965922A (zh) 视频封面生成方法、装置和存储介质
CN110166786A (zh) 虚拟物品转移方法及装置
CN110135336A (zh) 行人生成模型的训练方法、装置及存储介质
CN112337105B (zh) 虚拟形象生成方法、装置、终端及存储介质
CN110139143A (zh) 虚拟物品显示方法、装置、计算机设备以及存储介质
CN109978640A (zh) 服饰试穿方法、装置、存储介质及移动终端
CN110136236A (zh) 三维角色的个性化脸部显示方法、装置、设备及存储介质
CN109558837A (zh) 人脸关键点检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant