CN112967212A - 一种虚拟人物的合成方法、装置、设备及存储介质 - Google Patents

一种虚拟人物的合成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112967212A
CN112967212A CN202110139542.7A CN202110139542A CN112967212A CN 112967212 A CN112967212 A CN 112967212A CN 202110139542 A CN202110139542 A CN 202110139542A CN 112967212 A CN112967212 A CN 112967212A
Authority
CN
China
Prior art keywords
picture
expression
image
dimensional
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110139542.7A
Other languages
English (en)
Inventor
焦少慧
张启军
杜绪晗
程京
苏再卿
肖勤
张清源
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202110139542.7A priority Critical patent/CN112967212A/zh
Publication of CN112967212A publication Critical patent/CN112967212A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本公开实施例公开了一种虚拟人物的合成方法、装置、设备及存储介质。该方法在构建预置形象的三维模型时，先基于包含预置形象的二维图片构建人体模型，在此基础上结合二维图片得到三维网格模型，提高了模型的准确度，而且合成虚拟人物时分为两部分，即利用形象驱动参数和包含关键点检测结果的第一图片合成虚拟人物的表情和头部姿态，得到形象合成结果，同时利用骨骼驱动参数驱动三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片，最后将形象合成结果的图片和第三图片进行融合，得到虚拟人物的合成结果，提高了合成结果的准确性。

Description

一种虚拟人物的合成方法、装置、设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种虚拟人物的合成方法、装置、设备及存储介质。
背景技术
在人工智能领域，利用虚拟人物生成视频的需求和应用越来越广泛。通过传统方式合成的虚拟人物的表情和动作真实感较低，无法满足用户的需求。
公开内容
本公开实施例提供一种虚拟人物的合成方法、装置、设备及存储介质，可以提高虚拟人物合成结果的准确性。
第一方面，本公开实施例提供了一种虚拟人物的合成方法，包括：
获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；
根据所述二维图片获取包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；
根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；
根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；
融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
第二方面，本公开实施例还提供了一种虚拟人物的合成装置，包括：
获取模块，用于获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；
形象合成结果生成模块，用于根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；
模型生成模块，用于根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；
驱动模块，用于根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；
融合模块，用于融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
第三方面，本公开实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时实现如第一方面所述的虚拟人物的合成方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的虚拟人物的合成方法。
本公开实施例提供一种虚拟人物的合成方法、装置、设备及存储介质，通过获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。上述方案在构建预置形象的三维模型时，是先构建预置形象的人体模型，在此基础上得到三维网格模型，提高了模型的准确度，而且合成虚拟人物时分为两部分，即利用形象驱动参数和包含关键点检测结果的第一图片合成虚拟人物的形象，同时利用骨骼驱动参数驱动三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片，最后将形象合成结果的图片和第三图片进行融合，得到虚拟人物的合成结果，提高了合成结果的准确性。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例一提供的一种虚拟人物的合成方法的流程图；
图2为本公开实施例二提供的一种虚拟人物的合成方法的流程图；
图3为本公开实施例二提供的一种表情参数和头部姿态参数的确定过程示意图；
图4为本公开实施例三提供的一种虚拟人物的合成方法的流程图；
图5为本公开实施例四提供的一种虚拟人物的合成方法的流程图；
图6为本公开实施例四提供的一种虚拟人物的合成过程示意图；
图7为本公开实施例五提供的一种虚拟人物的合成装置的结构图；
图8为本公开实施例六提供的一种电子设备的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的对象进行区分，并非用于限定这些对象所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
实施例一
图1为本公开实施例一提供的一种虚拟人物的合成方法的流程图，本实施例可适用于合成虚拟人物的情况。该方法可以由虚拟人物的合成装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在具备数据处理功能的电子设备中。如图1所示，该方法可以包括如下步骤：
S110、获取人体驱动参数和包含预置人物的二维图片。
其中，所述人体驱动参数包括形象驱动参数和骨骼驱动参数。人体驱动参数用于驱动当前选定的形象，使当前选定的形象生成人体驱动参数对应的表情和动作。本实施例中当前选定的形象可以是二维图片中的预置形象，该预置形象可以是真实形象，也可以是虚拟形象，真实形象可以是现实中存在的形象，虚拟形象可以是现实中不存在的形象，例如可以是应用在电视剧、漫画、游戏等作品中的卡通形象或动漫形象等。通过人体驱动参数驱动二维图片中的预置形象，可以使二维图片中的预置形象生成各种各样的表情和动作，有效解决了真实形象无法模仿某种表情和动作的问题，尤其是在利用预置形象生成视频时，可以向用户展示丰富的表情和动作，提升用户的体验感。可选的，可以从本地图片库中获取包含预置形象的二维图片，也可以通过网页在线获取包含预置形象的二维图片，还可以从视频中截取包含预置形象的图像帧，得到二维图片，还可以由摄像头拍摄所得。二维图片中可以包括一个预置形象，也可以包含多个预置形象，当包含多个预置形象时，可以根据需求从中选取一个预置形象作为本方案待驱动的预置形象。
形象驱动参数可以包括表情参数和头部姿态参数。表情参数用于驱动二维图片中的预置形象，使其呈现与表情参数对应的表情，例如表情参数对应的表情为高兴，则可以驱动预置形象显示高兴的表情。可选的，表情参数可以包括表情所对应关键点的位置信息，关键点可以包括眉毛、眼睛、鼻子、嘴巴等。头部姿态参数用于驱动预置形象的头部姿态，使其呈现与头部姿态参数对应的头部姿态，例如头部姿态参数对应的头部姿态为低头，则可以驱动预置形象的头部呈现低头的姿态。可选的，头部姿态参数可以包括头部的旋转角度参数，例如可以包括头部的俯仰角度pitch、偏航角度yaw以及翻滚角度roll等参数。实施例对形象驱动参数的获取方式不进行限定，例如可以通过文本或语音信号获取，也可以通过视频获取，还可以通过表情模板获取。
骨骼驱动参数用于驱动预置形象，使其呈现与骨骼驱动参数对应的身体动作。骨骼驱动参数可以包括人体关键骨骼点的位置信息，关键骨骼点可以包括人体的头部、躯干、四肢等关键点。可选的，可以通过文本的方式确定骨骼驱动参数，也可以通过视频的方式确定骨骼驱动参数，还可以通过模板或预置的动作序列确定骨骼驱动参数。
S120、根据所述二维图片获取包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片。
关键点检测也称为关键点定位或者形象对齐，是指定位出面部关键区域的位置，关键区域可以包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。实施例对关键点检测的具体方式不进行限定，例如可以采用基于深度学习的方法或基于级联形状回归(Cascaded PoseRegression，CPR)的方法等进行关键点检测。考虑到头部相对于预置形象的身体所占的比例较小，为了提高关键点检测的准确性，可以从二维图片中截取预置形象的头部，得到第一图片，从而对头部进行放大。对第一图片中的关键点进行检测，可以提高关键点检测结果的准确性，在后续进行表情合成时，可以提高表情合成结果的准确性，使合成的表情更加真实。
第二图片为包含表情和头部姿态合成结果的图片，为了提高虚拟人物合成结果的准确性，本实施例分别对预置形象的身体动作进行合成，以及对表情和头部姿态进行合成，然后将两者的合成结果融合，得到虚拟人物。虚拟人物为人体驱动参数作用下的预置形象。可选的，可以将形象驱动参数和第一图片输入形象合成网络，由形象合成网络输出包含表情和头部姿态合成结果的第二图片。形象合成网络为端到端的神经网络，该过程无需对第一图片中的形象构建三维模型，简化了合成过程。实施例对形象合成网络的具体结构不进行限定，例如可以包括对抗生成模块，对抗生成模块用于基于输入的形象驱动参数和第一图片，对第一图片中的形象进行重构，得到第二图片。
S130、根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型。
其中，所述三维网格模型包含所述预置形象的服饰信息和纹理特征。在进行身体动作合成时，通常需要构建预置形象的三维模型，利用骨骼驱动参数驱动三维模型，实现身体动作的合成。在构建预置形象的三维模型时，可选的，可以直接基于预置形象构建三维网格模型，也可以先构建预置形象的人体模型，在此基础上结合二维图片生成三维网格模型，本实施例以后者为例。人体模型为不包含服饰等信息的三维模型，基于二维图片生成人体模型，可以准确的反映预置形象当前的动作。在人体模型的基础上结合二维图片生成三维网格模型，作为预置形象的三维模型，提高了三维模型的准确性。
可选的，可以对二维图片进行人像分割，将预置形象与背景分离，人像分割结果，根据人像分割结果中人像的体型和姿态生成人体模型。可选的，可以根据人像的体型和姿态，结合蒙皮多人线性模型(Skinned Multi-Person Linear，简称SMPL模型)生成人体模型。然后利用预置形象的轮廓对人体模型进行warp(图像仿射)变换，生成包含服饰信息的网格模型，预置形象的轮廓为包含服饰信息的轮廓，该网格模型包含的服饰信息为没有色彩的服饰信息。在此基础上可以利用预置形象的纹理特征调整网格模型中对应网格的颜色，得到与二维图片中预置形象的服饰信息色彩相同的三维模型，实施例将该三维模型称为三维网格模型。纹理特征可以包括预置形象各像素点的颜色。服饰信息和纹理特征可以通过识别二维图片中的预置形象得到，实施例对识别的具体过程不进行限定。
S140、根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片。
三维网格模型生成后，即可利用骨骼驱动参数驱动该三维网格模型，使其呈现与骨骼驱动参数对应的身体动作。对驱动后的三维网格模型进行渲染可以得到与该骨骼驱动参数对应的二维图片，实施例将该二维图片称为第三图片，第三图片中预置形象的身体动作为合成的身体动作。第三图片用于与第二图片融合，得到虚拟人物的最终合成结果。
S150、融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
与传统的对预置形象的表情、头部姿态和身体动作同时调整的方式相比，本实施例将表情和头部姿态的合成与身体动作的合成分开进行，利用形象驱动参数驱动包含关键点检测结果的第一图片，可以充分体现表情和头部姿态的细节特征，从而提高表情和头部姿态合成结果的准确性，同时基于二维图片生成预置形象的人体模型，并结合二维图片生成预置形象的三维网格模型，提高了模型的准确性，在利用骨骼驱动参数驱动三维网格模型时可以准确的反映骨骼驱动参数对应的身体动作。在此基础上将表情和头部姿态的合成结果和身体动作的合成结果融合，作为虚拟人物的最终合成结果，提高了合成结果的准确性，使得合成的虚拟人物更加真实。实施例将包含虚拟人物合成结果的图片称为目标图片，目标图片可以用于生成视频，例如可以将多帧目标图片连续输出，得到视频。
本公开实施例一提供一种虚拟人物的合成方法，通过获取人体驱动参数和包含预置人物的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。上述方案在构建预置形象的三维模型时，是先构建预置形象的人体模型，在此基础上得到三维网格模型，提高了模型的准确度，而且合成虚拟人物时分为两部分，即利用形象驱动参数和包含关键点检测结果的第一图片合成虚拟人物的表情和头部姿态，得到形象合成结果，同时利用骨骼驱动参数驱动三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片，最后将形象合成结果的图片和第三图片进行融合，得到虚拟人物的合成结果，提高了合成结果的准确性。
实施例二
图2为本公开实施例二提供的一种虚拟人物的合成方法的流程图，本实施例以通过文本的方式生成人体驱动参数为例，对虚拟人物的合成过程进行描述，参考图2，该方法可以包括如下步骤：
S210、解析待生成视频的视频文案，得到所述视频文案包含的角色信息以及与所述角色信息对应的台词文本。
视频文案为待生成视频的描述性文本，该视频文案中包含角色信息以及与角色信息对应的台词文本，角色信息可以包括但不限于角色数量、每个角色对应的动作等信息。视频文案可以从网络或本地获取，也可以从剧本中选取。对视频文案进行文本理解可以确定其包含的角色、各角色对应的台词文本以及各角色对应的动作等。
S220、针对每一个角色信息，解析与所述角色信息对应的台词文本，得到各时间点对应的骨骼驱动参数。
例如台词文本中包含“举起左手”，对该台词文本进行解析可以得到关键词“举左手”，基于该动作，可以得到与“举左手”对应的骨骼驱动参数。
S230、将与所述角色信息对应的台词文本转换成音频信号，并根据所述音频信号的语音特征生成各时间点对应的第一表情参数和头部姿态参数。
考虑到文本缺乏表达信息，无法准确的表达人物的表情和头部姿态，实施例将给定文本转换成音频信号，基于音频信号生成人脸驱动参数。可选的，可以采用TTS(Text toSpeech，从文本到语音)模块将台词文本转换成音频信号。具体的，可以将台词文本转换成时间对齐的特征，例如梅尔谱或基频等，然后利用wavenet、waveglow或transformer等方法将时间对齐的特征转换成音频信号。
本实施例的台词文本以中文文本、英文文本或者同时包含中文和英文的文本为例，相应的，音频信号为中文音频信号、英文音频信号或同时包含中文和英文的音频信号。语音特征的准确性直接影响形象驱动参数的准确性，进而影响形象合成结果的准确性。可选的，可以采用端到端的语音识别网络确定音频信号的语音特征，端到端的语音识别网络可以包括但不限于DeepSpeech网络。以通过DeepSpeech网络提取音频信号的语音特征为例，通过DeepSpeech网络输出的语音特征的维度为FT*W*D，其中，F为音频信号的帧率，例如可以为30fps，当然也可以是其他的帧率，T为音频信号的采样时长，W为音频信号对应的时域窗口的大小，D为音频信号对应的字典，例如当音频信号包含英文时，对应的字典可以包括26个英文字母和3个标记符，标记符可以包括静音、停顿和短停，当音频信号包含中文时，对应的字典可以包括62个的音素、5个声调符号和3个标记符，其中62个音素可以包括23个声母和39个韵母，5个声调符号可以包括阴平、阳平、上声、去声和平声。
在一个示例中，参考图3，可以将音频信号输入语音识别网络DeepSpeech，得到维度为FT*W*D的语音特征，并将该语音特征输入预先训练的参数生成网络，由预先训练的参数生成网络输出各时间点对应的表情参数和头部姿态参数。参数生成网络的结构可以根据实际情况设置，图3所示的参数生成网络以包括卷积模块和反卷积模块为例，考虑到语音特征为时间相关的特征，卷积模块可以包括卷积层和全连接层，其中，卷积层用于对输入的语音特征进行时间卷积，得到第一特征；全连接层用于根据第一特征确定各时间点对应的第一表情参数和头部姿态参数。例如当输入单个个体的语音特征时，输入时间卷积层的语音特征的维度为FT*W*D，则时间卷积层输出的第一特征的维度为W*D，消除了时间因素的影响。实施例对时间卷积层和全连接层的具体执行过程不进行限定。反卷积模块与卷积模块对应，由此可以得到各时间点对应的表情参数和头部姿态参数。考虑到参数生成网络输出的表情参数为有限个关键点的位置信息，为了获取其他点的位置信息以及更直观的获取各时间点对应的表情和头部姿态，图3利用该表情参数和头部姿态参数驱动中性形象，使中性形象显示该表情参数对应的表情以及头部姿态参数对应的头部姿态。可选的，可以将驱动后的中性脸称为driving mesh，为后续形象的合成提供依据。中性形象可以是中性表情、头部未偏转的形象模型。相应的，可以将driving mesh的各顶点相对于中性形象各顶点的偏移量/运动量记为第一表情参数。
S240、对于所述各时间点中的每个时间点，当前时间点是否存在对应的表情脚本信息，若存在，执行S250，否则执行S270。
可以理解的是，音频信号不一定能准确的反映该时间点的表情，此时可以通过添加表情脚本信息的方式弥补音频信号未囊括的表情，例如当某时间点存在表情脚本信息时，认为该时间点存在特殊表情，特殊表情可以是高兴、惊讶或生气等表情。表情脚本信息可以是在x秒时微笑等。
S250、解析所述对应的表情脚本信息，获取与所述对应的表情脚本信息对应的表情模板，得到第二表情参数。
当当前时间点存在表情脚本信息时，可以解析该表情脚本信息，确定该表情脚本信息对应的表情词，并基于表情词获取特殊表情模板。可选的，可以通过自然语言处理(Natural Language Processing，NLP)模块对表情脚本信息进行处理，识别其包含的表情词，基于表情词获取对应的特殊表情模板。第二表情参数可以是该特殊表情模板所对应模型的顶点相对于中立表情模板所对应模型的顶点的偏移量/运动量。
S260、融合所述第一表情参数和第二表情参数，得到表情驱动参数。
当当前时间点存在表情模板信息时，可以融合第一表情参数和第二表情参数，将融合结果作为表情驱动参数，可以提高表情驱动参数的准确性，进而提高后续形象合成结果的准确性。可选的，可以确定表情脚本信息所对应表情出现的时间点以及所对应表情存在的持续时间；根据当前时间点、表情脚本信息所对应表情出现的时间点以及所对应表情存在的持续时间，确定第二表情参数在当前时间点的权重；根据权重对第二表情参数加权，并将加权后的第二表情参数与当前时间点第一表情参数的和，作为表情驱动参数。示例性的，当前时间点的表情驱动参数可以表示为：Vdisplacemennt＝α*V expression*δ+β*Vtalking(t')，式中，Vdisplacemennt为当前时间点的表情驱动参数，α和β为系数，具体数值可以根据实际情况设定，例如可以分别设置为0.5和0.5，δ为权重，δ＝1-2*|t'-t|/T，t'为当前时间点，t为表情脚本信息所对应表情出现的时间点，T为表情脚本信息所对应表情持续的时间，t'和t均为持续时间开始和结束之间的时间点，V exp ression为第二表情参数，Vtalking(t')为当前时间点的第一表情参数。示例性的，假定T＝2s，并从第一秒开始到第三秒结束，假定t＝2，t'＝2，则δ＝1，表示表情脚本信息所对应的表情在时间点为2s时变化程度最大。
S270、将所述当前时间点对应的所述第一表情参数作为表情驱动参数。
当当前时间点不存在表情脚本信息时，可以直接将第一表情参数作为表情驱动参数，用于驱动第一图片。
S280、将所述表情驱动参数、头部姿态参数和骨骼驱动参数作为与所述角色信息对应的人体驱动参数。
S290、获取包含预置形象的二维图片。
实施例不限定人体驱动参数和二维图片的获取顺序，即人体驱动参数和包含预置形象的二维图片可以同时获取，也可以先获取人体驱动参数，再获取包含预置形象的二维图片，或者先获取包含预置形象的二维图片，再获取人体驱动参数。
S2100、根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片。
S2110、将所述形象驱动参数和第一图片输入预先训练的形象合成网络，由所述预先训练的形象合成网络输出包含形象合成结果的第二图片。
其中，所述预先训练的形象合成网络包括仿射变换模块、运动估计模块和对抗生成模块；所述仿射变换模块用于根据所述形象驱动参数调整所述第一图片中关键点的位置，得到第一形象图片；所述运动估计模块用于根据所述关键点的位置变化调整所述第一形象图片中除所述关键点之外的其他像素点的位置，得到第二形象图片，所述关键点的位置变化为所述第一形象图片中关键点的位置相对于所述第一图片中关键点的位置的变化；所述对抗生成模块用于修正所述第二形象图片，得到第二图片。
形象合成网络用于基于形象驱动参数驱动第一图片，输出包含形象合成结果的图片，实施例将该包含形象合成结果的图片称为第二图片，整个过程无需针对第一图片中的形象构建三维模型，简化了合成过程。形象合成网络的结构可以根据实际情况设定，为了提高合成结果的准确度，本实施例设置的形象合成网络包括仿射变换模块、运动估计模块和对抗生成模块。仿射变换模块用于根据形象驱动参数调整第一图片中关键点的位置，从而可以确定关键点的位置变化，即调整后关键点的位置相对于调整前关键点的位置的变化。为了便于描述，可以将仿射变换模块输出的图片记为第一人脸图片。运动估计模块用于根据关键点的位置变化，对应的调整第一形象图片中其他像素点的位置，得到粗略的表情合成结果，并将该结果对应的图片记为第二形象图片。对抗生成模块用于修正运动估计模块输出的第二形象图片，得到准确度更高的形象合成结果。本实施例在进行形象合成时先利用仿射变换模块对第一图片中的关键点进行仿射变换，得到关键点的位置变化，然后利用运动估计模块对其他像素点进行同样的变换，得到粗略的结果，再通过对抗生成模块对粗略的结果进行修正，提高了合成结果的准确度，使得合成后的形象更加真实，尤其是在利用合成的形象进行网络直播或生成视频时，可以提升用户的体验感。
在一个示例中，对抗生成模块可以包括生成器和判别器，生成器用于根据运动估计模块输出的第二形象图片中的形象生成一个新的形象，得到第三形象图片，判别器用于对第二形象图片和第三形象图片中的形象进行真假判断，即确定两张图片中的形象哪一个是原始形象，哪一个是生成器生成的形象。应用之前可以对形象合成网络进行训练，当判别器无法确定生成器生成的形象是否为真实时，训练过程结束。由此可以将形象驱动参数和第一图片输入训练好的形象合成网络，由训练好的形象合成网络输出包含形象合成结果的图片。后续可以利用合成的形象代替真人进行网络直播或批量生成视频等，从而有效解决利用直播场景或短视频场景中，利用真人直播或生成短视频时，直播内容数量或生成的短视频数量具有一定限制的问题。实施例对视频的类型不进行限定，例如可以是教育类的短视频、搞笑类的短视频或才艺类的短视频等。
S2120、根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型。
S2130、根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片。
S2140、融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
S2150、在所述目标图片中加入合成标记。
所述合成标记用于表示所述目标图片中的形象为合成形象。合成标记可以显示在目标图片中，也可以采用一定的技术手段使其隐藏。实施例对合成标记的形式不进行限定。
本公开实施例二提供一种虚拟人物的合成方法，通过文本获取表情驱动参数、头部姿态参数以及骨骼驱动参数，而且在获取表情驱动参数的过程中，如果当前时间点不存在表情脚本信息，可以直接将通过文本得到的表情参数作为表情驱动参数，如果当前时间点存在表情脚本信息，可以获取表情脚本信息对应的表情模板，对通过文本得到的表情参数和通过表情模板得到的表情参数进行融合，得到表情驱动参数，提高了表情驱动参数的准确性，进而提高了合成结果的准确性。
实施例三
图4为本公开实施例三提供的一种虚拟人物的合成方法的流程图，本实施例以通过视频的方式生成人体驱动参数为例，对虚拟人物的合成过程进行描述，参考图4，该方法可以包括如下步骤：
S310、采集包含样本形象的视频流，得到包含样本形象的图像帧，并确定所述图像帧中样本形象的头部姿态参数、关键点的位置信息以及骨骼驱动参数。
可选的，可以通过相机等图像采集设备采集包含样本形象的视频流，得到图像帧，并对当前图像帧中的样本形象进行识别，确定样本形象的头部姿态参数、关键点的位置信息以及骨骼驱动参数。
S320、根据设定时间内所述关键点的位置变化确定所述样本形象所处的模式。
所述位置变化为所述关键点在所述设定时间内各个时间点的位置变化。所述模式包括说话模式和表情模式，不同的模式对应的关键点的位置变化不同，例如在处于表情模式时，各关键点的位置变化较大，在处于说话模式时，各关键点的位置变化较小。可选的，可以统计一段时间内各关键点的位置变化，基于各关键点的位置变化确定样本形象所处的模式。例如如果设定时间内各关键点的位置变化较大，则认为该样本形象处于表情模式，如果设定时间内各关键点的位置变化较小，则认为该样本形象处于说话模式。可选的，在确定样本形象处于表情模式时，还可以基于表情模式下各关键点的位置对表情进行分类，例如当该模式下各关键点的位置与生气表情的各关键点的位置的差值小于设定阈值时，认为样本形象当前处于生气模式。
S330、确定与所述模式对应的表情基以及所述表情基的权重。
所述表情基包括表情对应的关键点的位置信息。表情基可以自定义也可以直接调用预先创建好的。不同的模式采用的表情基不同，例如说话模式对应的表情基可以包括线性表情基，表情模式对应的表情基可以包括线性表情基和非线性表情基，线性表情基为线性可解耦的表情基，非线性表情基为不可以解耦的表情基，例如大笑是一种非线性表情基，其表现为嘴巴张开、嘴角变化，眼睛和眉毛也相应的变化。
可选的，当所述模式为说话模式时，获取与所述说话模式对应的第一表情基；根据所述关键点在所述第一表情基中的位置和所述关键点在样本形象中的位置，确定所述第一表情基的权重；当所述模式为表情模式时，获取与所述表情模式对应的第二表情基；根据所述关键点在所述第二表情基中的位置和所述关键点在样本形象中的位置，确定所述第二表情基的权重。
第一表情基可以是线性可解耦的表情基，第二表情基可以是非线性不可解耦的表情基。假定该图像帧中样本形象包含m个关键点，分别为b1、b2、…、bm，对应的位置分别为B1、B2、…、Bm。当处于说话模式时，对应n个表情基，分别为A1、A2、…、An，表情基A1中关键点b1、b2、…、bm的位置分别为A11、A12、…、A1m，表情基A2中关键点b1、b2、…、bm的位置分别为A21、A22、…、A2m，依次类推，表情基An中关键点b1、b2、…、bm的位置分别为An1、An2、…、Anm。则可以建立表情基和图像帧中样本形象的映射关系，即W1*b1+W2*b1+…+Wn*b1＝B1，W1*b2+W2*b2+…+Wn*b2＝B2，…，W1*bm+W2*bm+…+Wn*bm＝Bm，解算上述方程组即可得到各表情基对应的权重，其中，W1为表情基A1对应的权重，W2为表情基A2对应的权重，依次类推，Wn为表情基An对应的权重。处于表情模式时，各表情基的权重的确定过程类似。
S340、根据所述表情基和所述表情基的权重，确定所述样本形象在所述模式下的表情驱动参数。
仍以说话模式为例，权重确定后，将其代入上述方程的左边，即可得到样本形象中各关键点的位置，从而得到该模式下的表情驱动参数。
S350、将所述头部姿态参数、表情驱动参数和骨骼驱动参数确定为人体驱动参数。
S360、获取包含预置形象的二维图片。
S370、将所述形象驱动参数和第一图片输入预先训练的形象合成网络，由所述预先训练的形象合成网络输出包含形象合成结果的第二图片。
S380、根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型。
S390、根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片。
S3100、融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
S3110、在所述目标图片中加入合成标记。
本公开实施例三提供一种虚拟人物的合成方法，在上述实施例的基础上，可以通过视频的方式获取头部姿态参数、表情驱动参数以及骨骼驱动参数，而且在生成表情驱动参数时，基于样本形象中关键点的位置变化确定其所处的模式，进而得到该模式对应的表情基以及权重，基于表情基和对应的权重得到表情驱动参数，使得生成的表情驱动参数更加平滑和真实，提高了合成结果的准确性。
实施例四
图5为本公开实施例四提供的一种虚拟人物的合成方法的流程图，本实施例是在上述实施例的基础上对预置形象三维模型的构建过程进行优化，参考图5，该方法可以包括如下步骤：
S410、获取人体驱动参数和包含预置形象的二维图片。
S420、根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片。
S430、确定所述二维图片中预置形象的体型参数和姿态参数。
体型参数用于描述预置形象的形态特征，例如可以包括预置形象的高矮、胖瘦等。姿态参数用于描述预置形象当前的动作，可选的，可以将当前动作对应的骨骼点的位置信息作为姿态参数。可选的，可以对二维图片中的预置形象进行人像分割，例如可以对二维图片进行二值化，根据二值化的人像确定预置人物的体型参数，可以减少其他因素对预置形象的影响，提高体型参数的准确性，进而提高后续建模的准确性。可选的，可以对二维图片中的预置形象进行骨骼点检测，确定其关键骨骼点的位置信息，得到姿态参数。
S440、根据所述体型参数和姿态参数，生成所述预置形象的人体模型。
可选的，可以结合SMPL模型生成预置形象的人体模型。SMPL模型是一个统计模型，并通过两种类型的统计参数对人体进行描述。两种类型的参数分别包括本实施例所述的体型参数和姿态参数。调整SMPL模型的体型参数和姿态参数即可改变人体模型的形态和动作。利用SMPL模型构建人体模型可以准确的反映预置形象当前的动作。
S450、确定所述二维图片中预置形象的轮廓和纹理特征，并基于所述轮廓调整所述人体模型，得到包含服饰信息的第一模型。
所述二维图片中的预置形象包含服饰信息。纹理特征可以包括预置形象各像素点的颜色值。需要注意的是，基于SMPL模型构建的人体模型是不包含非人体信息的模型，非人体信息可以包括服饰信息。在构建人体模型时，虽然考虑了人体模型的体型参数，但实际构建的人体模型也会与预置形象真实的人体模型存在一定的偏差，为了提高模型的准确性，可以基于预置形象的轮廓对人体模型进行warp变换，得到与预置形象体型更接近且包含服饰信息的网格模型，即实施例所述的第一模型。第一模型包含的服饰信息为不具备颜色的服饰信息。
S460、将所述纹理特征投射到所述第一模型，得到三维网格模型。
可选的，可以基于二维图片中各像素点的像素值更新第一模型中对应网格的颜色，使得更新后的第一模型中服饰的颜色与二维图片中服饰的颜色一致。实施例将更新后的第一模型称为三维网格模型，或者三维mesh模型。
S470、根据所述骨骼驱动参数对所述三维网格模型中的关键骨骼点进行运动重定位，使所述关键骨骼点的位置发生变化，并带动所述三维网格模型发生形变。
可以理解的是，骨骼驱动参数对应的骨骼点不一定与三维网格模型的骨骼点匹配，例如骨骼驱动参数对应的腿骨较长，三维网格模型对应的腿骨较短，为了使骨骼驱动参数与三维网格模型相适应，可以利用骨骼驱动参数对三维网格模型中的关键骨骼点进行运动重定位，使骨骼驱动参数适应三维网格模型，由于人体各骨骼点之间具有强关联性，当上述关键骨骼点的位置移动时，其他骨骼点也会随之移动，从而带动三维网格模型发生形变，呈现与骨骼驱动参数相应的动作，完成姿态迁移。
S480、对驱动后的三维网格模型进行渲染，得到第三图片。
对完成姿态迁移的三维网格模型进行渲染，可以得到对应的二维图片。实施例对具体的渲染过程不进行限定。可选的，还可以将第三图片输入对抗生成模块，由对抗生成模块对第三图片进行调整，提高动作合成结果的准确性和真实性。
S490、融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
融合包含表情和头部姿态合成结果的第二图片和包含身体动作合成结果的第三图片，即可得到合成的虚拟人物，既可以充分体现表情和头部姿态的细节特征，又可以呈现准确的动作，提高了虚拟人物合成结果的准确性和真实性。
S4100、在所述目标图片中加入合成标记。
示例性的，参考图6，图6为本公开实施例四提供的一种虚拟人物的合成过程示意图。首先获取一张包含预置形象的二维图片，然后截取预置形象的头部，并对其关键点进行检测，得到包含关键点检测结果的第一图片，同时对二维图片进行人像分割得到二值化图像，以及对二维图片进行骨骼点检测，得到包含骨骼点检测结果的第四图片。在此基础上，分别对预置人物的表情和头部姿态以及身体动作进行合成。在进行表情和头部姿态合成时，图3示例性的给出了将形象驱动参数对应的driving mesh和包含关键点检测结果的第一图片输入预先训练的形象合成网络，由预先训练的形象合成网络输出包含表情和头部姿态合成结果的图片，即第二图片。该预先训练的形象合成网络包括仿射变换模块、运动估计模块和对抗生成模块。在进行身体动作合成时，根据二值化图像确定预置形象的体型参数以及基于预置形象的骨骼点检测结果确定预置形象的姿态参数，然后结合SMPL模型构建预置形象的人体模型，在此基础上根据预置形象的轮廓和纹理特征进一步优化人体模型，得到三维mesh模型，然后利用预先获取的骨骼驱动参数驱动三维mesh模型，完成姿态迁移，对姿态迁移后的三维mesh模型进行渲染，得到第三图片，融合第二图片和第三图片即可得到合成的虚拟人物，提高了虚拟人物合成结果的准确性。为了更直观的呈现骨骼驱动参数所对应骨骼点的位置信息，图3增加了利用骨骼驱动参数驱动参考骨骼点，得到drivingskeleton，基于driving skeleton驱动三维mesh模型，完成姿态迁移。
本公开实施例四提供一种虚拟人物的合成方法，在上述实施例的基础上，根据预置形象的体型参数和姿态参数构建人体模型，在此基础上利用预置形象的轮廓和纹理特征优化人体模型，得到三维mesh模型，作为预置形象的三维模型，提高了模型的准确性，使得合成的虚拟人物更加真实。
在上述实施例的基础上，还可以基于目标图片生成视频，相应的，该方法还可以包括：
按照时间顺序拼接所述目标图片，生成视频，并在所述视频中显示与所述预置形象音频信号对应的字幕。
可选的，可以针对某一个角色，按照时间顺序拼接该角色生成的目标图片，得到该角色对应的角色动画或视频。可选的，也可以针对视频文案的每一个角色，执行上述类似的操作，得到对应的目标图片，生成对应的角色动画，拼接各角色对应的角色动画即可得到对应的视频。当然也可以将不同角色对应的角色动画融合，使同一个视频在同一个时间出现多个人物。在生成视频时，还可以基于音频信号生成对应的字幕并叠加到对应的视频中，方便用户观看。
在上述实施例的基础上，还可以基于预先设置的动作序列或动作模板生成骨骼驱动参数。
实施例五
图7为本公开实施例五提供的一种虚拟人物的合成装置的结构图，该装置可以执行上述实施例所述的虚拟人物的合成方法，参考图7，该装置可以包括：
获取模块51，用于获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；
形象合成结果生成模块52，用于根据所述二维图片得到包含所述预置形象关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；
模型生成模块53，用于根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；
驱动模块54，用于根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；
融合模块55，用于融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
本公开实施例五提供一种虚拟人物的合成装置，通过获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。上述方案在构建预置形象的三维模型时，是先构建预置形象的人体模型，在此基础上得到三维网格模型，提高了模型的准确度，而且合成虚拟人物时分为两部分，即利用形象驱动参数和包含关键点检测结果的第一图片合成虚拟人物的形象，同时利用骨骼驱动参数驱动三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片，最后将形象合成结果的图片和第三图片进行融合，得到虚拟人物的合成结果，提高了合成结果的准确性。
在上述实施例的基础上，所述目标图片用于生成视频；
获取模块51，用于：
解析待生成视频的视频文案，得到所述视频文案包含的角色信息以及与所述角色信息对应的台词文本；
针对每一个角色信息，解析与所述角色信息对应的台词文本，得到各时间点对应的骨骼驱动参数；
将与所述角色信息对应的台词文本转换成音频信号，并根据所述音频信号的语音特征生成各时间点对应的第一表情参数和头部姿态参数；
对于所述各时间点中的每个时间点，若当前时间点不存在对应的表情脚本信息，则将所述当前时间点对应的所述第一表情参数作为表情驱动参数；若所述当前时间点存在对应的表情脚本信息，则解析所述对应的表情脚本信息，获取与所述对应的表情脚本信息对应的表情模板，得到第二表情参数；融合所述第一表情参数和第二表情参数，得到表情驱动参数；
将所述表情驱动参数、头部姿态参数和骨骼驱动参数作为与所述角色信息对应的人体驱动参数。
在上述实施例的基础上，所述融合所述第一表情参数和第二表情参数，得到表情驱动参数，包括：
确定所述表情脚本信息所对应表情出现的时间点以及所述所对应表情存在的持续时间；
根据当前时间点、所述表情脚本信息所对应表情出现的时间点以及所述所对应表情存在的持续时间，确定所述第二表情参数在当前时间点的权重，所述当前时间点为所述持续时间开始和结束之间的时间点；
根据所述权重对所述第二表情参数加权，并将加权后的第二表情参数与当前时间点第一表情参数的和，作为表情驱动参数。
在上述实施例的基础上，获取模块51，包括：
图像采集单元，用于采集包含样本形象的视频流，得到包含样本形象的图像帧，并确定所述图像帧中样本形象的头部姿态参数、关键点的位置信息以及骨骼驱动参数；
模式确定单元，用于根据设定时间内所述关键点的位置变化确定所述样本形象所处的模式，所述位置变化为所述关键点在所述设定时间内各个时间点的位置变化；
权重确定单元，用于确定与所述模式对应的表情基以及所述表情基的权重，所述表情基包括表情对应的关键点的位置信息；
表情驱动参数确定单元，用于根据所述表情基和所述表情基的权重，确定所述样本形象在所述模式下的表情驱动参数；
人体驱动参数确定单元，用于将所述头部姿态参数、表情驱动参数和骨骼驱动参数作为人体驱动参数。
在上述实施例的基础上，所述模式包括说话模式或表情模式；
权重确定单元，具体用于：
当所述模式为说话模式时，获取与所述说话模式对应的第一表情基；根据所述关键点在所述第一表情基中的位置和所述关键点在样本形象中的位置，确定所述第一表情基的权重；
当所述模式为表情模式时，获取与所述表情模式对应的第二表情基；根据所述关键点在所述第二表情基中的位置和所述关键点在样本形象中的位置，确定所述第二表情基的权重。
在上述实施例的基础上，人脸合成结果生成模块52，具体用于：
将所述形象驱动参数和第一图片输入预先训练的形象合成网络，由所述预先训练的形象合成网络输出包含形象合成结果的第二图片；
其中，所述预先训练的形象合成网络包括仿射变换模块、运动估计模块和对抗生成模块；所述仿射变换模块用于根据所述形象驱动参数调整所述第一图片中关键点的位置，得到第一形象图片；所述运动估计模块用于根据所述关键点的位置变化调整所述第一形象图片中除所述关键点之外的其他像素点的位置，得到第二形象图片，所述关键点的位置变化为所述第一形象图片中关键点的位置相对于所述第一图片中关键点的位置的变化；所述对抗生成模块用于修正所述第二形象图片，得到第二图片。
在上述实施例的基础上，模型生成模块53，具体用于：
确定所述二维图片中预置形象的体型参数和姿态参数；
根据所述体型参数和姿态参数，生成所述预置形象的人体模型。
在上述实施例的基础上，模型生成模块53，具体用于：
确定所述二维图片中预置形象的轮廓和纹理特征，并基于所述轮廓调整所述人体模型，得到包含服饰信息的第一模型，所述二维图片中的预置形象包含服饰信息；
将所述纹理特征投射到所述第一模型，得到三维网格模型。
在上述实施例的基础上，驱动模块54，具体用于：
根据所述骨骼驱动参数对所述三维网格模型中的关键骨骼点进行运动重定位，使所述关键骨骼点的位置发生变化，并带动所述三维网格模型发生形变。
在上述实施例的基础上，该装置还可以包括：
视频生成模块，用于在融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片之后，按照时间顺序拼接所述目标图片，生成视频，并在所述视频中显示与所述预置形象音频信号对应的字幕。
在上述实施例的基础上，该装置还可以包括：
合成标记生成模块，用于在融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片之后，在所述目标图片中加入合成标记，所述合成标记用于表示所述目标图片中的形象为合成形象。
本公开实施例提供的虚拟人物的合成装置与上述实施例提供的虚拟人物的合成方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行虚拟人物的合成方法相同的有益效果。
实施例六
下面参考图8，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
实施例七
本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；根据所述二维图片获取包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取人体驱动参数和包含预置形象的二维图片的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，本公开提供了一种虚拟人物的合成方法，包括：
获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；
根据所述二维图片获取包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；
根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；
根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；
融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，所述目标图片用于生成视频，所述获取人体驱动参数，包括：
解析待生成视频的视频文案，得到所述视频文案包含的角色信息以及与所述角色信息对应的台词文本；
针对每一个角色信息，解析与所述角色信息对应的台词文本，得到各时间点对应的骨骼驱动参数；
将与所述角色信息对应的台词文本转换成音频信号，并根据所述音频信号的语音特征生成各时间点对应的第一表情参数和头部姿态参数；
对于所述各时间点中的每个时间点，若当前时间点不存在对应的表情脚本信息，则将所述当前时间点对应的所述第一表情参数作为表情驱动参数；若所述当前时间点存在对应的表情脚本信息，则解析所述对应的表情脚本信息，获取与所述对应的表情脚本信息对应的表情模板，得到第二表情参数；融合所述第一表情参数和第二表情参数，得到表情驱动参数；
将所述表情驱动参数、头部姿态参数和骨骼驱动参数作为与所述角色信息对应的人体驱动参数。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，所述融合所述第一表情参数和第二表情参数，得到表情驱动参数，包括：
确定所述表情脚本信息所对应表情出现的时间点以及所述所对应表情存在的持续时间；
根据当前时间点、所述表情脚本信息所对应表情出现的时间点以及所述所对应表情存在的持续时间，确定所述第二表情参数在当前时间点的权重，所述当前时间点为所述持续时间开始和结束之间的时间点；
根据所述权重对所述第二表情参数加权，并将加权后的第二表情参数与当前时间点第一表情参数的和，作为表情驱动参数。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，所述获取人体驱动参数，包括：
采集包含样本形象的视频流，得到包含样本形象的图像帧，并确定所述图像帧中样本形象的头部姿态参数、关键点的位置信息以及骨骼驱动参数；
根据设定时间内所述关键点的位置变化确定所述样本形象所处的模式，所述位置变化为所述关键点在所述设定时间内各个时间点的位置变化；
确定与所述模式对应的表情基以及所述表情基的权重，所述表情基包括表情对应的关键点的位置信息；
根据所述表情基和所述表情基的权重，确定所述样本形象在所述模式下的表情驱动参数；
将所述头部姿态参数、表情驱动参数和骨骼驱动参数作为人体驱动参数。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，所述模式包括说话模式或表情模式；
所述确定与所述模式对应的表情基以及所述表情基的权重，包括：
当所述模式为说话模式时，获取与所述说话模式对应的第一表情基；根据所述关键点在所述第一表情基中的位置和所述关键点在样本形象中的位置，确定所述第一表情基的权重；
当所述模式为表情模式时，获取与所述表情模式对应的第二表情基；根据所述关键点在所述第二表情基中的位置和所述关键点在样本形象中的位置，确定所述第二表情基的权重。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，所述根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片，包括：
将所述形象驱动参数和第一图片输入预先训练的形象合成网络，由所述预先训练的形象合成网络输出包含形象合成结果的第二图片；
其中，所述预先训练的形象合成网络包括仿射变换模块、运动估计模块和对抗生成模块；所述仿射变换模块用于根据所述形象驱动参数调整所述第一图片中关键点的位置，得到第一形象图片；所述运动估计模块用于根据所述关键点的位置变化调整所述第一形象图片中除所述关键点之外的其他像素点的位置，得到第二形象图片，所述关键点的位置变化为所述第一形象图片中关键点的位置相对于所述第一图片中关键点的位置的变化；所述对抗生成模块用于修正所述第二形象图片，得到第二图片。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，所述根据所述二维图片生成所述预置形象的人体模型，包括：
确定所述二维图片中预置形象的体型参数和姿态参数；
根据所述体型参数和姿态参数，生成所述预置形象的人体模型。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，所述根据所述人体模型和二维图片生成所述预置形象的三维网格模型，包括：
确定所述二维图片中预置形象的轮廓和纹理特征，并基于所述轮廓调整所述人体模型，得到包含服饰信息的第一模型，所述二维图片中的预置形象包含服饰信息；
将所述纹理特征投射到所述第一模型，得到三维网格模型。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，所述根据所述骨骼驱动参数驱动三维网格模型，包括：
根据所述骨骼驱动参数对所述三维网格模型中的关键骨骼点进行运动重定位，使所述关键骨骼点的位置发生变化，并带动所述三维网格模型发生形变。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，在融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片之后，还包括：
按照时间顺序拼接所述目标图片，生成视频，并在所述视频中显示与所述预置形象音频信号对应的字幕。
根据本公开的一个或多个实施例，本公开提供的虚拟人物的合成方法中，在融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片之后，还包括：
在所述目标图片中加入合成标记，所述合成标记用于表示所述目标图片中的形象为合成形象。
根据本公开的一个或多个实施例，本公开提供了一种虚拟人物的合成装置，包括：
获取模块，用于获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；
形象合成结果生成模块，用于根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；
模型生成模块，用于根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；
驱动模块，用于根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；
融合模块，用于融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
根据本公开的一个或多个实施例，本公开提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时实现如本公开任一所述的虚拟人物的合成方法。
根据本公开的一个或多个实施例，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任一所述的虚拟人物的合成方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种虚拟人物的合成方法，其特征在于，包括：
获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；
根据所述二维图片获取包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；
根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；
根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；
融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
2.根据权利要求1所述的方法，其特征在于，所述目标图片用于生成视频，所述获取人体驱动参数，包括：
解析待生成视频的视频文案，得到所述视频文案包含的角色信息以及与所述角色信息对应的台词文本；
针对每一个角色信息，解析与所述角色信息对应的台词文本，得到各时间点对应的骨骼驱动参数；
将与所述角色信息对应的台词文本转换成音频信号，并根据所述音频信号的语音特征生成各时间点对应的第一表情参数和头部姿态参数；
对于所述各时间点中的每个时间点，若当前时间点不存在对应的表情脚本信息，则将所述当前时间点对应的所述第一表情参数作为表情驱动参数；若所述当前时间点存在对应的表情脚本信息，则解析所述对应的表情脚本信息，获取与所述对应的表情脚本信息对应的表情模板，得到第二表情参数；融合所述第一表情参数和第二表情参数，得到表情驱动参数；
将所述表情驱动参数、头部姿态参数和骨骼驱动参数作为与所述角色信息对应的人体驱动参数。
3.根据权利要求2所述的方法，其特征在于，所述融合所述第一表情参数和第二表情参数，得到表情驱动参数，包括：
确定所述表情脚本信息所对应表情出现的时间点以及所述所对应表情存在的持续时间；
根据当前时间点、所述表情脚本信息所对应表情出现的时间点以及所述所对应表情存在的持续时间，确定所述第二表情参数在当前时间点的权重，所述当前时间点为所述持续时间开始和结束之间的时间点；
根据所述权重对所述第二表情参数加权，并将加权后的第二表情参数与当前时间点第一表情参数的和，作为表情驱动参数。
4.根据权利要求1所述的方法，其特征在于，所述获取人体驱动参数，包括：
采集包含样本形象的视频流，得到包含样本形象的图像帧，并确定所述图像帧中样本形象的头部姿态参数、关键点的位置信息以及骨骼驱动参数；
根据设定时间内所述关键点的位置变化确定所述样本形象所处的模式，所述位置变化为所述关键点在所述设定时间内各个时间点的位置变化；
确定与所述模式对应的表情基以及所述表情基的权重，所述表情基包括表情对应的关键点的位置信息；
根据所述表情基和所述表情基的权重，确定所述样本形象在所述模式下的表情驱动参数；
将所述头部姿态参数、表情驱动参数和骨骼驱动参数作为人体驱动参数。
5.根据权利要求4所述的方法，其特征在于，所述模式包括说话模式或表情模式；
所述确定与所述模式对应的表情基以及所述表情基的权重，包括：
当所述模式为说话模式时，获取与所述说话模式对应的第一表情基；根据所述关键点在所述第一表情基中的位置和所述关键点在样本形象中的位置，确定所述第一表情基的权重；
当所述模式为表情模式时，获取与所述表情模式对应的第二表情基；根据所述关键点在所述第二表情基中的位置和所述关键点在样本形象中的位置，确定所述第二表情基的权重。
6.根据权利要求1所述的方法，其特征在于，所述根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片，包括：
将所述形象驱动参数和第一图片输入预先训练的形象合成网络，由所述预先训练的形象合成网络输出包含形象合成结果的第二图片；
其中，所述预先训练的形象合成网络包括仿射变换模块、运动估计模块和对抗生成模块；所述仿射变换模块用于根据所述形象驱动参数调整所述第一图片中关键点的位置，得到第一形象图片；所述运动估计模块用于根据所述关键点的位置变化调整所述第一形象图片中除所述关键点之外的其他像素点的位置，得到第二形象图片，所述关键点的位置变化为所述第一形象图片中关键点的位置相对于所述第一图片中关键点的位置的变化；所述对抗生成模块用于修正所述第二形象图片，得到第二图片。
7.根据权利要求1所述的方法，其特征在于，所述根据所述二维图片生成所述预置形象的人体模型，包括：
确定所述二维图片中预置形象的体型参数和姿态参数；
根据所述体型参数和姿态参数，生成所述预置形象的人体模型。
8.根据权利要求1所述的方法，其特征在于，所述根据所述人体模型和二维图片生成所述预置形象的三维网格模型，包括：
确定所述二维图片中预置形象的轮廓和纹理特征，并基于所述轮廓调整所述人体模型，得到包含服饰信息的第一模型，所述二维图片中的预置形象包含服饰信息；
将所述纹理特征投射到所述第一模型，得到三维网格模型。
9.根据权利要求1所述的方法，其特征在于，所述根据所述骨骼驱动参数驱动三维网格模型，包括：
根据所述骨骼驱动参数对所述三维网格模型中的关键骨骼点进行运动重定位，使所述关键骨骼点的位置发生变化，并带动所述三维网格模型发生形变。
10.根据权利要求1-9任一项所述的方法，其特征在于，在融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片之后，还包括：
按照时间顺序拼接所述目标图片，生成视频，并在所述视频中显示与所述预置形象音频信号对应的字幕。
11.根据权利要求1-9任一项所述的方法，其特征在于，在融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片之后，还包括：
在所述目标图片中加入合成标记，所述合成标记用于表示所述目标图片中的形象为合成形象。
12.一种虚拟人物的合成装置，其特征在于，包括：
获取模块，用于获取人体驱动参数和包含预置形象的二维图片，所述人体驱动参数包括形象驱动参数和骨骼驱动参数；
形象合成结果生成模块，用于根据所述二维图片得到包含所述预置形象的关键点检测结果的第一图片，并根据所述形象驱动参数和第一图片，生成包含形象合成结果的第二图片；
模型生成模块，用于根据所述二维图片生成所述预置形象的人体模型，并根据所述人体模型和二维图片生成所述预置形象的三维网格模型，所述三维网格模型包含所述预置形象的服饰信息和纹理特征；
驱动模块，用于根据所述骨骼驱动参数驱动所述三维网格模型，并对驱动后的三维网格模型进行渲染，得到第三图片；
融合模块，用于融合所述第二图片和第三图片，得到包含虚拟人物合成结果的目标图片。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时实现如权利要求1-11任一项所述的虚拟人物的合成方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11任一项所述的虚拟人物的合成方法。
CN202110139542.7A 2021-02-01 2021-02-01 一种虚拟人物的合成方法、装置、设备及存储介质 Pending CN112967212A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110139542.7A CN112967212A (zh) 2021-02-01 2021-02-01 一种虚拟人物的合成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110139542.7A CN112967212A (zh) 2021-02-01 2021-02-01 一种虚拟人物的合成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112967212A true CN112967212A (zh) 2021-06-15

Family

ID=76273054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110139542.7A Pending CN112967212A (zh) 2021-02-01 2021-02-01 一种虚拟人物的合成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112967212A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112473151A (zh) * 2019-09-11 2021-03-12 本田技研工业株式会社 信息提供装置、信息提供方法及存储介质
CN113379932A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 人体三维模型的生成方法和装置
CN113546415A (zh) * 2021-08-11 2021-10-26 北京字跳网络技术有限公司 剧情动画播放方法、生成方法、终端、装置及设备
CN113744374A (zh) * 2021-09-03 2021-12-03 浙江大学 一种基于表情驱动的3d虚拟形象生成方法
CN113923462A (zh) * 2021-09-10 2022-01-11 阿里巴巴达摩院(杭州)科技有限公司 视频生成、直播处理方法、设备和可读介质
CN113992927A (zh) * 2021-10-22 2022-01-28 广州方硅信息技术有限公司 二次元虚拟礼物生成方法、装置、电子设备及存储介质
CN114401434A (zh) * 2021-11-23 2022-04-26 广州繁星互娱信息科技有限公司 对象显示方法和装置、存储介质及电子设备
CN114581570A (zh) * 2022-03-01 2022-06-03 浙江同花顺智能科技有限公司 一种三维脸部动作生成方法和系统
CN114821813A (zh) * 2022-06-24 2022-07-29 阿里巴巴达摩院(杭州)科技有限公司 虚拟对象运动控制方法、建模方法以及装置
CN115239576A (zh) * 2022-06-15 2022-10-25 荣耀终端有限公司 一种照片优化方法、电子设备和存储介质
CN115331309A (zh) * 2022-08-19 2022-11-11 北京字跳网络技术有限公司 用于识别人体动作的方法、装置、设备和介质
CN115393487A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 一种虚拟角色模型处理方法、装置、电子设备及存储介质
CN115866354A (zh) * 2022-11-25 2023-03-28 广州美术学院 基于交互虚拟现实的非物质遗产具象化演绎方法及装置
CN115908766A (zh) * 2023-02-20 2023-04-04 北京红棉小冰科技有限公司 三维虚拟人物图像的生成方法、装置及电子设备
CN116993918A (zh) * 2023-08-11 2023-11-03 无锡芯算智能科技有限公司 基于深度学习的主播形象建模系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123753A (zh) * 2014-08-13 2014-10-29 中山大学 基于服装图片的三维虚拟试衣方法
CN108230455A (zh) * 2018-01-31 2018-06-29 东南大学 一种基于骨骼驱动的虚拟服装变形仿真方法
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN110609620A (zh) * 2019-09-05 2019-12-24 深圳追一科技有限公司 基于虚拟形象的人机交互方法、装置及电子设备
CN110647636A (zh) * 2019-09-05 2020-01-03 深圳追一科技有限公司 交互方法、装置、终端设备及存储介质
CN110688911A (zh) * 2019-09-05 2020-01-14 深圳追一科技有限公司 视频处理方法、装置、系统、终端设备及存储介质
CN110766777A (zh) * 2019-10-31 2020-02-07 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
CN111294665A (zh) * 2020-02-12 2020-06-16 百度在线网络技术（北京）有限公司 视频的生成方法、装置、电子设备及可读存储介质
US20210043000A1 (en) * 2019-05-15 2021-02-11 Zhejiang Sensetime Technology Development Co., Ltd. Method, apparatus and device for processing deformation of virtual object, and storage medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123753A (zh) * 2014-08-13 2014-10-29 中山大学 基于服装图片的三维虚拟试衣方法
CN108230455A (zh) * 2018-01-31 2018-06-29 东南大学 一种基于骨骼驱动的虚拟服装变形仿真方法
US20210043000A1 (en) * 2019-05-15 2021-02-11 Zhejiang Sensetime Technology Development Co., Ltd. Method, apparatus and device for processing deformation of virtual object, and storage medium
CN110609620A (zh) * 2019-09-05 2019-12-24 深圳追一科技有限公司 基于虚拟形象的人机交互方法、装置及电子设备
CN110647636A (zh) * 2019-09-05 2020-01-03 深圳追一科技有限公司 交互方法、装置、终端设备及存储介质
CN110688911A (zh) * 2019-09-05 2020-01-14 深圳追一科技有限公司 视频处理方法、装置、系统、终端设备及存储介质
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
CN110766777A (zh) * 2019-10-31 2020-02-07 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
CN111294665A (zh) * 2020-02-12 2020-06-16 百度在线网络技术（北京）有限公司 视频的生成方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高翔;黄法秀;刘春平;陈虎;: "3DMM与GAN结合的实时人脸表情迁移方法", 计算机应用与软件, no. 04 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112473151A (zh) * 2019-09-11 2021-03-12 本田技研工业株式会社 信息提供装置、信息提供方法及存储介质
CN113379932A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 人体三维模型的生成方法和装置
CN113379932B (zh) * 2021-06-28 2024-01-09 北京百度网讯科技有限公司 人体三维模型的生成方法和装置
CN113546415A (zh) * 2021-08-11 2021-10-26 北京字跳网络技术有限公司 剧情动画播放方法、生成方法、终端、装置及设备
CN113546415B (zh) * 2021-08-11 2024-03-29 北京字跳网络技术有限公司 剧情动画播放方法、生成方法、终端、装置及设备
CN113744374B (zh) * 2021-09-03 2023-09-22 浙江大学 一种基于表情驱动的3d虚拟形象生成方法
CN113744374A (zh) * 2021-09-03 2021-12-03 浙江大学 一种基于表情驱动的3d虚拟形象生成方法
CN113923462A (zh) * 2021-09-10 2022-01-11 阿里巴巴达摩院(杭州)科技有限公司 视频生成、直播处理方法、设备和可读介质
CN113992927A (zh) * 2021-10-22 2022-01-28 广州方硅信息技术有限公司 二次元虚拟礼物生成方法、装置、电子设备及存储介质
CN114401434A (zh) * 2021-11-23 2022-04-26 广州繁星互娱信息科技有限公司 对象显示方法和装置、存储介质及电子设备
CN114581570A (zh) * 2022-03-01 2022-06-03 浙江同花顺智能科技有限公司 一种三维脸部动作生成方法和系统
CN114581570B (zh) * 2022-03-01 2024-01-26 浙江同花顺智能科技有限公司 一种三维脸部动作生成方法和系统
CN115239576A (zh) * 2022-06-15 2022-10-25 荣耀终端有限公司 一种照片优化方法、电子设备和存储介质
CN115239576B (zh) * 2022-06-15 2023-08-04 荣耀终端有限公司 一种照片优化方法、电子设备和存储介质
CN114821813A (zh) * 2022-06-24 2022-07-29 阿里巴巴达摩院(杭州)科技有限公司 虚拟对象运动控制方法、建模方法以及装置
CN115331309A (zh) * 2022-08-19 2022-11-11 北京字跳网络技术有限公司 用于识别人体动作的方法、装置、设备和介质
CN115393487A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 一种虚拟角色模型处理方法、装置、电子设备及存储介质
CN115866354A (zh) * 2022-11-25 2023-03-28 广州美术学院 基于交互虚拟现实的非物质遗产具象化演绎方法及装置
CN115908766A (zh) * 2023-02-20 2023-04-04 北京红棉小冰科技有限公司 三维虚拟人物图像的生成方法、装置及电子设备
CN116993918A (zh) * 2023-08-11 2023-11-03 无锡芯算智能科技有限公司 基于深度学习的主播形象建模系统及方法
CN116993918B (zh) * 2023-08-11 2024-02-13 无锡芯算智能科技有限公司 基于深度学习的主播形象建模系统及方法

Similar Documents

Publication Publication Date Title
CN112967212A (zh) 一种虚拟人物的合成方法、装置、设备及存储介质
CN111476871B (zh) 用于生成视频的方法和装置
CN113287118A (zh) 用于面部再现的系统和方法
US11514634B2 (en) Personalized speech-to-video with three-dimensional (3D) skeleton regularization and expressive body poses
WO2016154800A1 (en) Avatar facial expression and/or speech driven animations
JP2016218999A (ja) ターゲット環境の画像内に表現されたオブジェクトを検出するように分類器をトレーニングする方法およびシステム
CN111294665B (zh) 视频的生成方法、装置、电子设备及可读存储介质
CN111860362A (zh) 生成人脸图像校正模型及校正人脸图像的方法和装置
CN114331820A (zh) 图像处理方法、装置、电子设备及存储介质
CN112785670A (zh) 一种形象合成方法、装置、设备及存储介质
CN114339409A (zh) 视频处理方法、装置、计算机设备及存储介质
WO2023056835A1 (zh) 视频封面生成方法、装置、电子设备及可读介质
Mattos et al. Improving CNN-based viseme recognition using synthetic data
CN114239717A (zh) 模型训练方法、图像处理方法及装置、电子设备、介质
RU2721180C1 (ru) Способ генерации анимационной модели головы по речевому сигналу и электронное вычислительное устройство, реализующее его
CN111967397A (zh) 人脸影像处理方法和装置、存储介质和电子设备
CN115049016A (zh) 基于情绪识别的模型驱动方法及设备
CN113379877B (zh) 人脸视频生成方法、装置、电子设备及存储介质
CN112906553B (zh) 图像处理方法、装置、设备及介质
Mattos et al. Multi-view mouth renderization for assisting lip-reading
CN112562045B (zh) 生成模型和生成3d动画的方法、装置、设备和存储介质
CN110084306B (zh) 用于生成动态图像的方法和装置
US20240013464A1 (en) Multimodal disentanglement for generating virtual human avatars
CN114898019A (zh) 一种动画融合方法和装置
Mu Pose Estimation-Assisted Dance Tracking System Based on Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination