CN106447785A - 一种驱动虚拟角色的方法和装置 - Google Patents
一种驱动虚拟角色的方法和装置 Download PDFInfo
- Publication number
- CN106447785A CN106447785A CN201610877155.2A CN201610877155A CN106447785A CN 106447785 A CN106447785 A CN 106447785A CN 201610877155 A CN201610877155 A CN 201610877155A CN 106447785 A CN106447785 A CN 106447785A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- image
- expression
- role
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种驱动虚拟角色的方法和装置。该方法包括：根据图像中的人脸信息构建三维人脸模型；确定所述三维人脸模型的表情姿态控制参数；将所述表情姿态控制参数应用到三维虚拟角色上，使得所述三维虚拟角色的表情姿态与所述图像中的人脸保持一致。可见，本发明可以追踪到图像中人脸的表情和姿态，同时在虚拟空间内驱动虚拟角色，使在虚拟空间内的角色能跟其他虚拟角色间的面部表情的交流高度拟人化；同时本发明没有在人脸上标定马克点的操作，用户在使用过程中保持轻松自然的状态下，就可以实现对虚拟角色的驱动，不会引起用户的反感，提高用户的体验。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种驱动虚拟角色的方法和装置。
背景技术
目前，许多的智能终端的应用中都出现了可驱动虚拟角色的功能模块，特别是游戏应用。用户在使用过程中，该功能模块可根据用户自身的行为特征驱动虚拟角色，将用户自身的表情等姿态赋予给虚拟角色，并呈现给用户，作为虚拟空间中的一个角色与其他角色进行交流互动，给用户带来极大的乐趣和丰富的体验。
现有技术中的可驱动虚拟角色的智能终端一般为特制的可穿戴摄影设备，且需要固定用户人脸与摄像头的相对位置。通常情况下，为了更准确的采集用户的人脸信息，是基于用户人脸上的马克点的位置对用户的人脸进行三维重建同时驱动虚拟角色。但是，在用户人脸上标定马克点的操作容易引起用户的反感，降低用户的体验。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的驱动虚拟角色的方法和装置。
依据本发明的一个方面，提供了一种驱动虚拟角色的方法，其中，该方法包括：
根据图像中的人脸信息构建三维人脸模型；
确定所述三维人脸模型的表情姿态控制参数；
将所述表情姿态控制参数应用到三维虚拟角色上，使得所述三维虚拟角色的表情姿态与所述图像中的人脸保持一致。
可选地，该方法进一步包括:
获取智能终端的视频采集装置采集的视频；
对于所采集视频中的每个当前帧图像，检测该当前帧图像中是否包含人脸，如果包含人脸则执行所述根据图像中的人脸信息构建三维人脸模型、确定所述三维人脸模型的表情姿态控制参数、以及将所述表情姿态控制参数应用到三维虚拟角色上的步骤，以使得所述三维虚拟角色的表情姿态与所述视频中的人脸保持一致。
可选地，所述检测该当前帧图像中是否包含人脸包括：
获取根据上一帧图像估计出的当前帧图像中的人脸框的位置；
验证当前帧图中的人脸框中是否有人脸，如果有人脸进一步根据二维人脸关键点纠正人脸框的位置；
根据当前帧图像估计出下一帧图像中的人脸框的位置。
可选地，所述根据图像中的人脸信息构建三维人脸模型包括：
定位所述图像中的人脸的二维人脸关键点；
构建三维人脸模型，使得所述图像中的人脸的二维人脸关键点与三维人脸模型上的对应点之间的二维投影欧式距离最小。
可选地，确定所述三维人脸模型的表情姿态控制参数包括：
根据所述三维人脸模型获取用于控制三维人脸表情的人脸混合变形系数。
可选地，将所述表情姿态控制参数应用到三维虚拟角色上包括：
给定三维虚拟角色的模型，生成与人脸混合变形相应的三维虚拟角色的混合变形；
将所述人脸混合变形系数应用到所述三维虚拟角色的混合变形上，使得所述三维虚拟角色的表情与所述图像中的人脸保持一致。
可选地，确定所述三维人脸模型的表情姿态控制参数包括：
获取所述三维人脸模型在三维坐标系内的旋转平移缩放参数。
可选地，将所述表情姿态控制参数应用到三维虚拟角色上包括：
将所述旋转平移缩放参数应用到所述三维虚拟角色的混合变形上，使得所述三维虚拟角色的姿态与所述图像中的人脸保持一致。
根据本发明的另一方面，提供了驱动虚拟角色的装置，其中，该装置包括
模型构建单元，适于根据图像中的人脸信息构建三维人脸模型；
参数确定单元，适于确定所述三维人脸模型的表情姿态控制参数；
驱动单元，适于将所述表情姿态控制参数应用到三维虚拟角色上，使得所述三维虚拟角色的表情姿态与所述图像中的人脸保持一致。
可选地，该装置进一步包括:
视频处理单元，适于获取智能终端的视频采集装置采集的视频；对于所采集视频中的每个当前帧图像，检测该当前帧图像中是否包含人脸，如果包含人脸则将该当前帧图像发送给所述模型构建单元，以使得所述三维虚拟角色的表情姿态与所述视频中的人脸保持一致。
可选地，所述视频处理单元，适于获取根据上一帧图像估计出的当前帧图像中的人脸框的位置；验证当前帧图中的人脸框中是否有人脸，如果有人脸进一步根据二维人脸关键点纠正人脸框的位置；根据当前帧图像估计出下一帧图像中的人脸框的位置。
可选地，所述模型构建单元，适于定位所述图像中的人脸的二维人脸关键点；构建三维人脸模型，使得所述图像中的人脸的二维人脸关键点与三维人脸模型上的对应点之间的二维投影欧式距离最小。
可选地，所述参数确定单元，适于根据所述三维人脸模型获取用于控制三维人脸表情的人脸混合变形系数。
可选地，所述驱动单元，适于给定三维虚拟角色的模型，生成与人脸混合变形相应的三维虚拟角色的混合变形；将所述人脸混合变形系数应用到所述三维虚拟角色的混合变形上，使得所述三维虚拟角色的表情与所述图像中的人脸保持一致。
可选地，所述参数确定单元，适于获取所述三维人脸模型在三维坐标系内的旋转平移缩放参数。
可选地，所述驱动单元，适于将所述旋转平移缩放参数应用到所述三维虚拟角色的混合变形上，使得所述三维虚拟角色的姿态与所述图像中的人脸保持一致。
综上所述，本发明的技术方案根据获取的视频图像中每一帧的人脸信息直接构建三维人脸模型，不需要在图像中的人脸上标定马克点，然后确定构建的人脸模型中的表情姿态控制参数，将其应用到三维虚拟角色上，以使得三维虚拟角色的表情姿态与图像中人脸的的表情姿态保持一致，实现虚拟角色的实时驱动。可见，本发明可以追踪到图像中人脸的表情和姿态，在虚拟空间内驱动虚拟角色，使其在虚拟空间内的角色能跟其他虚拟角色间的面部表情的交流高度拟人化；同时本发明没有在人脸上标定马克点的操作，用户在使用过程中保持轻松自然的状态下，就可以实现对虚拟角色的驱动，不会引起用户的反感，提高用户的体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种驱动虚拟角色的方法流程图；
图2示出了根据本发明另一个实施例的一种驱动虚拟角色的方法流程图；
图3示出了根据本发明一个实施例的一种驱动虚拟角色的装置示意图；
图4示出了根据本发明另一个实施例的一种驱动虚拟角色的装置示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的一种驱动虚拟角色的方法流程图。如图1所示，该方法包括：
步骤S110，根据图像中的人脸信息构建三维人脸模型。
步骤S120，确定三维人脸模型的表情姿态控制参数。
步骤S130，将表情姿态控制参数应用到三维虚拟角色上，使得三维虚拟角色的表情姿态与图像中的人脸保持一致。
构建的三维人脸模型能真实地反应图像中的人脸信息，其中的人脸的表情姿态信息可以通过表情姿态控制参数进行表示，通过获取虚拟空间中的三维人脸模型的表情姿态控制参数，并将其应用到三维虚拟角色上，这样三维虚拟角色就可以真实反应人脸的表情姿态。
可见，本发明可以追踪到图像中人脸的表情和姿态，并在虚拟空间内驱动虚拟角色；同时本发明没有在人脸上标定马克点的操作，用户在使用过程中保持轻松自然的状态下，就可以实现对虚拟角色的驱动，不会引起用户的反感，提高用户的体验。
实际应用中，在虚拟空间内的虚拟角色能通过面部表情跟其他虚拟角色进行交流，人脸的表情姿态不会是单一固定的，所以在本发明的一个实施例中，图1所示的方法进一步包括:
获取智能终端的视频采集装置采集的视频，视频是大量帧的图像的集合，对于所采集视频中的每个当前帧图像，首先检测该当前帧图像中是否包含人脸，如果包含人脸则执行根据图像中的人脸信息构建三维人脸模型、确定三维人脸模型的表情姿态控制参数、以及将表情姿态控制参数应用到三维虚拟角色上的步骤，以使得三维虚拟角色的表情姿态与视频中的人脸保持一致。在本步骤中，只有在包含人脸的情况才进行处理，对视频中的每一帧都进行这样的操作，并且把包含人脸的每一帧图像的表情姿态控制参数都应用到三维虚拟角色中，这样人脸上的连续的表情姿态都真实反应到了三维虚拟角色上，实现了对三维虚拟角色的实时驱动，可以和其他虚拟角色进行交流。
视频中每一帧图像之间的位置变化不会太大，进一步地，在检测该当前帧图像中是否包含人脸包括：获取根据上一帧图像中人脸的关键点估计出的当前帧图像中的人脸框的位置；验证当前帧图中的人脸框中是否有人脸，如果有人脸，再根据当前帧中的二维人脸中的关键点纠正人脸框的位置；根据当前帧图像估计出下一帧图像中的人脸框的位置；如果视频中的当前帧中的人脸框中没有包含人脸，则不进行处理，进行下一帧的人脸验证。这里的人脸关键点是可以定位图像中人脸的特征位置的点，例如：关键点可以选取眉毛、眼角、鼻尖、唇线脸部轮廓线等上的点。
在本发明的一个实施例中，图1所示方法中的步骤S110中根据图像中的人脸信息构建三维人脸模型包括：
定位图像中的人脸的二维人脸关键点。
构建三维人脸模型，使得图像中的人脸的二维人脸关键点与三维人脸模型上的对应点之间的二维投影欧式距离最小。欧氏距离是指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)，在二维、三维空间中，欧氏距离就是两点之间的实际距离。构建三维模型是基于3D人脸数据库中的身份和表情重构矩阵，对于一个给定的二维人脸的关键点的集合，可通过坐标下降(coordinate descent)的方式求得身份，表情重构系数和旋转缩放平移参数使欧式距离收敛，进而构建出对应二维人脸的三维构建模型。
为了将使用者人脸的表情姿态真实反应到虚拟角色上，可确定三维人脸模型中表情姿态所对应的表情混合变形、人脸的旋转平移缩放等反应表情姿态的控制参数。在本发明的一个实施例中，图1所示方法中的步骤S120中确定三维人脸模型的表情姿态控制参数包括：
根据三维人脸模型获取用于控制三维人脸表情的人脸混合变形系数，在图像的人脸中已经定位了若干个关键点，根据给定人脸关键点位置，用coordinate descent的方式优化，形成旋转矩阵和水平移动向量，两者的和为混合变形和变形系数。每种表情中人脸关键点的混合变形和变形系数都具有一定的特点，每一帧图像中使用用者人脸的表情一定，此参数的值也一定，而使用者表情一旦发生变化，此参数也随之变化。
图1所示方法中的步骤S130中将表情姿态控制参数应用到三维虚拟角色上包括：
给定三维虚拟角色的模型，生成与人脸混合变形相应的三维虚拟角色的人脸混合变形；将人脸混合变形系数应用到三维虚拟角色的混合变形上，使得三维虚拟角色的表情与图像中的人脸保持一致。
用于控制三维人脸表情的人脸混合变形系数可以将使用者的表情同步到三维虚拟角色中，但是表情通常还伴随着使用者的姿态，如侧头、抬头等动作，使用者姿态的也会表现在图像的三维人脸模型中，为了使三维虚拟角色的姿态与图像中的人脸保持一致，在本发明的一个实施例中，图1所示方法的步骤S120中确定三维人脸模型的表情姿态控制参数还包括：获取三维人脸模型在三维坐标系内的旋转平移缩放参数，旋转平移缩放参数可以表示三维人脸模型中人脸的姿态。
进一步地，图1所示方法中的步骤S130中将表情姿态控制参数应用到三维虚拟角色上包括：将旋转平移缩放参数应用到三维虚拟角色的混合变形上，使得三维虚拟角色的姿态与图像中的人脸保持一致。最终，在三维虚拟角色上的姿态就是图像中的人脸的表情和姿态的综合展示，即实现了使用者人脸表情姿态的同步驱动。
图2示出了根据本发明另一个实施例的一种驱动虚拟角色的方法流程图。如图2所示，在本优选实施例中，步骤S210获取智能终端的视频采集装置采集的视频后，人脸检测器获取视频中的当前帧的图像，根据上一帧的人脸框的位置估计当前帧的人脸框的位置，进行人脸验证，验证该位置的人脸框中是否有人脸，如果没有则不作任何处理，进行下一帧图像的验证。
如果有人脸，进行步骤S220定位图像中的人脸的二维人脸关键点。
步骤S230根据二维人脸关键点纠正人脸框的位置，根据当前帧图像估计下一帧图像中的人脸框的位置，以用于下一帧图像的人脸检测；以及，
步骤S240根据二维人脸关键点构建对应的三维人脸模型，使定位所得的图像中的人脸关键点与构建的三维人脸模型上的对应点之间的二维投影欧式距离最小。
步骤S250根据构建的三维人脸模型获取三维坐标系内的旋转平移缩放参数和用于控制三维人脸表情的人脸混合变形系数。
步骤S260，给定一个三维虚拟角色，将人脸混合变形系数应用到虚拟角色上，生成与人脸混合变形相应的虚拟角色的混合变形，使虚拟角色的表情与人脸保持一致。
步骤S260，将人脸的旋转平移缩放参数应用到带表情的虚拟角色上，使虚拟角色的姿态与人脸保持一致，这样就使得虚拟角色的表情和姿态与图像中人脸的表情和姿态的一致性，实现驱动虚拟角色。
图3示出了根据本发明一个实施例的一种驱动虚拟角色的装置示意图。如图3所示，该装置300包括
模型构建单元310，适于根据图像中的人脸信息构建三维人脸模型。
参数确定单元320，适于确定三维人脸模型的表情姿态控制参数。
驱动单元330，适于将表情姿态控制参数应用到三维虚拟角色上，使得三维虚拟角色的表情姿态与图像中的人脸保持一致。
通过驱动虚拟角色的装置构建的三维人脸模型能真实地反应图像中的人脸信息，其中的人脸的表情姿态信息可以通过表情姿态控制参数进行表示，通过获取虚拟空间中的三维人脸模型的表情姿态控制参数，并将其应用到三维虚拟角色上，这样三维虚拟角色就可以真实反应人脸的表情姿态。
可见，本发明的驱动虚拟角色的装置可以追踪到图像中人脸的表情和姿态，并在虚拟空间内驱动虚拟角色；同时该装置没有在人脸上标定马克点的操作，用户在使用过程中保持轻松自然的状态下，就可以实现对虚拟角色的驱动，不会引起用户的反感，提高用户的体验。
图4示出了根据本发明另一个实施例的一种驱动虚拟角色的装置示意图。如图4所示，该装置400包括：模型构建单元410、参数确定单元420、驱动单元430和视频处理单元440。其中，模型构建单元410、参数确定单元420、驱动单元430与图3所示的模型构建单元310、参数确定单元320、驱动单元330具有对应相同的功能，相同的部分在此不再赘述。
为了获得视频中人脸上的连续的表情姿态，视频处理单元440，适于获取智能终端的视频采集装置采集的视频；对于所采集视频中的每个当前帧图像，检测该当前帧图像中是否包含人脸，如果包含人脸则将该当前帧图像发送给模型构建单元，以使得三维虚拟角色的表情姿态与视频中的人脸保持一致。
进一步地，视频处理单元440，适于获取根据上一帧图像估计出的当前帧图像中的人脸框的位置；验证当前帧图中的人脸框中是否有人脸，如果有人脸进一步根据二维人脸关键点纠正人脸框的位置；根据当前帧图像估计出下一帧图像中的人脸框的位置。
在本发明的一个实施例中，模型构建单元410，适于定位图像中的人脸的二维人脸关键点；构建三维人脸模型，使得图像中的人脸的二维人脸关键点与三维人脸模型上的对应点之间的二维投影欧式距离最小。
在本发明的一个实施例中，参数确定单元420，适于根据三维人脸模型获取用于控制三维人脸表情的人脸混合变形系数。
则驱动单元430，适于给定三维虚拟角色的模型，生成与人脸混合变形相应的三维虚拟角色的混合变形；将人脸混合变形系数应用到三维虚拟角色的混合变形上，使得三维虚拟角色的表情与图像中的人脸保持一致。
在本发明的一个实施例中，参数确定单元420，适于获取三维人脸模型在三维坐标系内的旋转平移缩放参数。
进一步地，驱动单元430，适于将旋转平移缩放参数应用到三维虚拟角色的混合变形上，使得三维虚拟角色的姿态与图像中的人脸保持一致。
需要说明的是图3和图4所示装置的各实施例与图1所示方法的各实施例对应相同，上文已有详细说明，在此不再赘述。
综上所述，本发明的技术方案根据获取的视频图像中每一帧的人脸信息直接构建三维人脸模型，不需要在图像中的人脸上标定马克点，然后确定构建的人脸模型中的表情姿态控制参数，将其应用到三维虚拟角色上，以使得三维虚拟角色的表情姿态与使用者的表情姿态保持一致，实现虚拟角色的实时驱动。可见，本发明可以追踪到图像中人脸的表情和姿态，同时在虚拟空间内驱动虚拟角色，使在虚拟空间内的角色能跟其他虚拟角色间的面部表情的交流高度拟人化；同时本发明没有在人脸上标定马克点的操作，用户在使用过程中保持轻松自然的状态下，就可以实现对虚拟角色的驱动，不会引起用户的反感，提高用户的体验。
另，本发明中的三维虚拟角色的二维投影可以用于“换脸”等应用中，使换脸后的图像显示更加平滑和自然；同时本发明的模块也适用于计算机生成图像(computergenerated imagery,CGI)的动画制作过程。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的驱动虚拟角色的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明提供了A1、一种驱动虚拟角色的方法，其中，该方法包括：
根据图像中的人脸信息构建三维人脸模型；
确定所述三维人脸模型的表情姿态控制参数；
将所述表情姿态控制参数应用到三维虚拟角色上，使得所述三维虚拟角色的表情姿态与所述图像中的人脸保持一致。
A2、如A1所述的方法，其中，该方法进一步包括:
获取智能终端的视频采集装置采集的视频；
对于所采集视频中的每个当前帧图像，检测该当前帧图像中是否包含人脸，如果包含人脸则执行所述根据图像中的人脸信息构建三维人脸模型、确定所述三维人脸模型的表情姿态控制参数、以及将所述表情姿态控制参数应用到三维虚拟角色上的步骤，以使得所述三维虚拟角色的表情姿态与所述视频中的人脸保持一致。
A3、如A2所述的方法，其中，所述检测该当前帧图像中是否包含人脸包括：
获取根据上一帧图像估计出的当前帧图像中的人脸框的位置；
验证当前帧图中的人脸框中是否有人脸，如果有人脸进一步根据二维人脸关键点纠正人脸框的位置；
根据当前帧图像估计出下一帧图像中的人脸框的位置。
A4、如A1所述的方法，其中，所述根据图像中的人脸信息构建三维人脸模型包括：
定位所述图像中的人脸的二维人脸关键点；
构建三维人脸模型，使得所述图像中的人脸的二维人脸关键点与三维人脸模型上的对应点之间的二维投影欧式距离最小。
A5、如A1所述的方法，其中，确定所述三维人脸模型的表情姿态控制参数包括：
根据所述三维人脸模型获取用于控制三维人脸表情的人脸混合变形系数。
A6、如A5所述的方法，其中，将所述表情姿态控制参数应用到三维虚拟角色上包括：
给定三维虚拟角色的模型，生成与人脸混合变形相应的三维虚拟角色的混合变形；
将所述人脸混合变形系数应用到所述三维虚拟角色的混合变形上，使得所述三维虚拟角色的表情与所述图像中的人脸保持一致。
A7、如A1-A6中任一项所述的方法，其中，确定所述三维人脸模型的表情姿态控制参数包括：
获取所述三维人脸模型在三维坐标系内的旋转平移缩放参数。
A8、如A7所述的方法，其中，将所述表情姿态控制参数应用到三维虚拟角色上包括：
将所述旋转平移缩放参数应用到所述三维虚拟角色的混合变形上，使得所述三维虚拟角色的姿态与所述图像中的人脸保持一致。
本发明还提供了B9、一种驱动虚拟角色的装置，其中，该装置包括
模型构建单元，适于根据图像中的人脸信息构建三维人脸模型；
参数确定单元，适于确定所述三维人脸模型的表情姿态控制参数；
驱动单元，适于将所述表情姿态控制参数应用到三维虚拟角色上，使得所述三维虚拟角色的表情姿态与所述图像中的人脸保持一致。
B10、如B9所述的装置，其中，该装置进一步包括:
视频处理单元，适于获取智能终端的视频采集装置采集的视频；对于所采集视频中的每个当前帧图像，检测该当前帧图像中是否包含人脸，如果包含人脸则将该当前帧图像发送给所述模型构建单元，以使得所述三维虚拟角色的表情姿态与所述视频中的人脸保持一致。
B11、如B10所述的装置，其中，
所述视频处理单元，适于获取根据上一帧图像估计出的当前帧图像中的人脸框的位置；验证当前帧图中的人脸框中是否有人脸，如果有人脸进一步根据二维人脸关键点纠正人脸框的位置；根据当前帧图像估计出下一帧图像中的人脸框的位置。
B12、如B9所述的装置，其中，
所述模型构建单元，适于定位所述图像中的人脸的二维人脸关键点；构建三维人脸模型，使得所述图像中的人脸的二维人脸关键点与三维人脸模型上的对应点之间的二维投影欧式距离最小。
B13、如B9所述的装置，其中，
所述参数确定单元，适于根据所述三维人脸模型获取用于控制三维人脸表情的人脸混合变形系数。
B14、如B13所述的装置，其中，
所述驱动单元，适于给定三维虚拟角色的模型，生成与人脸混合变形相应的三维虚拟角色的混合变形；将所述人脸混合变形系数应用到所述三维虚拟角色的混合变形上，使得所述三维虚拟角色的表情与所述图像中的人脸保持一致。
B15、如B9-B14中任一项所述的装置，其中，
所述参数确定单元，适于获取所述三维人脸模型在三维坐标系内的旋转平移缩放参数。
B16、如B15所述的装置，其中，
所述驱动单元，适于将所述旋转平移缩放参数应用到所述三维虚拟角色的混合变形上，使得所述三维虚拟角色的姿态与所述图像中的人脸保持一致。
Claims (10)
1.一种驱动虚拟角色的方法，其中，该方法包括：
根据图像中的人脸信息构建三维人脸模型；
确定所述三维人脸模型的表情姿态控制参数；
将所述表情姿态控制参数应用到三维虚拟角色上，使得所述三维虚拟角色的表情姿态与所述图像中的人脸保持一致。
2.如权利要求1所述的方法，其中，该方法进一步包括:
获取智能终端的视频采集装置采集的视频；
对于所采集视频中的每个当前帧图像，检测该当前帧图像中是否包含人脸，如果包含人脸则执行所述根据图像中的人脸信息构建三维人脸模型、确定所述三维人脸模型的表情姿态控制参数、以及将所述表情姿态控制参数应用到三维虚拟角色上的步骤，以使得所述三维虚拟角色的表情姿态与所述视频中的人脸保持一致。
3.如权利要求1-2中任一项所述的方法，其中，所述检测该当前帧图像中是否包含人脸包括：
获取根据上一帧图像估计出的当前帧图像中的人脸框的位置；
验证当前帧图中的人脸框中是否有人脸，如果有人脸进一步根据二维人脸关键点纠正人脸框的位置；
根据当前帧图像估计出下一帧图像中的人脸框的位置。
4.如权利要求1-3中任一项所述的方法，其中，所述根据图像中的人脸信息构建三维人脸模型包括：
定位所述图像中的人脸的二维人脸关键点；
构建三维人脸模型，使得所述图像中的人脸的二维人脸关键点与三维人脸模型上的对应点之间的二维投影欧式距离最小。
5.如权利要求1-4中任一项所述的方法，其中，确定所述三维人脸模型的表情姿态控制参数包括：
根据所述三维人脸模型获取用于控制三维人脸表情的人脸混合变形系数。
6.一种驱动虚拟角色的装置，其中，该装置包括
模型构建单元，适于根据图像中的人脸信息构建三维人脸模型；
参数确定单元，适于确定所述三维人脸模型的表情姿态控制参数；
驱动单元，适于将所述表情姿态控制参数应用到三维虚拟角色上，使得所述三维虚拟角色的表情姿态与所述图像中的人脸保持一致。
7.如权利要求6所述的装置，其中，该装置进一步包括:
视频处理单元，适于获取智能终端的视频采集装置采集的视频；对于所采集视频中的每个当前帧图像，检测该当前帧图像中是否包含人脸，如果包含人脸则将该当前帧图像发送给所述模型构建单元，以使得所述三维虚拟角色的表情姿态与所述视频中的人脸保持一致。
8.如权利要求6-7中任一项所述的装置，其中，
所述视频处理单元，适于获取根据上一帧图像估计出的当前帧图像中的人脸框的位置；验证当前帧图中的人脸框中是否有人脸，如果有人脸进一步根据二维人脸关键点纠正人脸框的位置；根据当前帧图像估计出下一帧图像中的人脸框的位置。
9.如权利要求6-8中任一项所述的装置，其中，
所述模型构建单元，适于定位所述图像中的人脸的二维人脸关键点；构建三维人脸模型，使得所述图像中的人脸的二维人脸关键点与三维人脸模型上的对应点之间的二维投影欧式距离最小。
10.如权利要求6-9中任一项所述的装置，其中，
所述参数确定单元，适于根据所述三维人脸模型获取用于控制三维人脸表情的人脸混合变形系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610877155.2A CN106447785A (zh) | 2016-09-30 | 2016-09-30 | 一种驱动虚拟角色的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610877155.2A CN106447785A (zh) | 2016-09-30 | 2016-09-30 | 一种驱动虚拟角色的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106447785A true CN106447785A (zh) | 2017-02-22 |
Family
ID=58171891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610877155.2A Pending CN106447785A (zh) | 2016-09-30 | 2016-09-30 | 一种驱动虚拟角色的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106447785A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679519A (zh) * | 2017-10-27 | 2018-02-09 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互处理方法及系统 |
| CN108550170A (zh) * | 2018-04-25 | 2018-09-18 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置 |
| CN108648280A (zh) * | 2018-04-25 | 2018-10-12 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置、电子设备和存储介质 |
| CN108648238A (zh) * | 2018-04-25 | 2018-10-12 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置、电子设备和存储介质 |
| CN109108968A (zh) * | 2018-08-17 | 2019-01-01 | 深圳市三宝创新智能有限公司 | 机器人头部运动调整的交互方法、装置、设备和存储介质 |
| CN109427105A (zh) * | 2017-08-24 | 2019-03-05 | Tcl集团股份有限公司 | 虚拟视频的生成方法及装置 |
| CN109598749A (zh) * | 2018-11-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | 一种三维人脸模型的参数配置方法、装置、设备及介质 |
| CN109978975A (zh) * | 2019-03-12 | 2019-07-05 | 深圳市商汤科技有限公司 | 一种动作的迁移方法及装置、计算机设备 |
| CN110599573A (zh) * | 2019-09-03 | 2019-12-20 | 电子科技大学 | 一种基于单目相机的人脸实时交互动画的实现方法 |
| CN111144266A (zh) * | 2019-12-20 | 2020-05-12 | 北京达佳互联信息技术有限公司 | 人脸表情的识别方法及装置 |
| WO2020147598A1 (zh) * | 2019-01-15 | 2020-07-23 | 北京字节跳动网络技术有限公司 | 模型动作方法、装置、带屏音箱、电子设备及存储介质 |
| CN111530088A (zh) * | 2020-04-17 | 2020-08-14 | 完美世界(重庆)互动科技有限公司 | 一种生成游戏角色的实时表情图片的方法和装置 |
| CN112328085A (zh) * | 2020-11-12 | 2021-02-05 | 广州博冠信息科技有限公司 | 虚拟角色的控制方法、装置、存储介质与电子设备 |
| CN112906494A (zh) * | 2021-01-27 | 2021-06-04 | 浙江大学 | 一种面部捕捉方法、装置、电子设备及存储介质 |
| CN113763531A (zh) * | 2020-06-05 | 2021-12-07 | 北京达佳互联信息技术有限公司 | 三维人脸重建方法、装置、电子设备及存储介质 |
| CN114529685A (zh) * | 2022-02-21 | 2022-05-24 | 佛山虎牙虎信科技有限公司 | 三维风格人脸的生成方法、装置、设备及存储介质 |
| TWI792845B (zh) * | 2021-03-09 | 2023-02-11 | 香港商數字王國企業集團有限公司 | 追蹤臉部表情的動畫產生方法及其神經網路訓練方法 |
| CN116452787A (zh) * | 2023-06-13 | 2023-07-18 | 北京中科闻歌科技股份有限公司 | 一种视觉驱动的虚拟角色处理系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159015A (zh) * | 2007-11-08 | 2008-04-09 | 清华大学 | 一种二维人脸图像的识别方法 |
| CN101739712A (zh) * | 2010-01-25 | 2010-06-16 | 四川大学 | 基于视频的3d人脸表情动画驱动方法 |
| CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
| CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
| CN102479388A (zh) * | 2010-11-22 | 2012-05-30 | 北京盛开互动科技有限公司 | 基于人脸跟踪和分析的表情互动方法 |
| US20140016823A1 (en) * | 2012-07-12 | 2014-01-16 | Cywee Group Limited | Method of virtual makeup achieved by facial tracking |
| CN104036546A (zh) * | 2014-06-30 | 2014-09-10 | 清华大学 | 一种基于自适应形变模型的任意视角人脸三维重构方法 |
| CN104346824A (zh) * | 2013-08-09 | 2015-02-11 | 汉王科技股份有限公司 | 基于单张人脸图像自动合成三维表情的方法及装置 |
| CN104573614A (zh) * | 2013-10-22 | 2015-04-29 | 北京三星通信技术研究有限公司 | 用于跟踪人脸的设备和方法 |
| CN104966316A (zh) * | 2015-05-22 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 一种3d人脸重建方法、装置及服务器 |
| CN105528805A (zh) * | 2015-12-25 | 2016-04-27 | 苏州丽多数字科技有限公司 | 一种虚拟人脸动画合成方法 |
| CN105654537A (zh) * | 2015-12-30 | 2016-06-08 | 中国科学院自动化研究所 | 一种实现与虚拟角色实时互动的表情克隆方法及装置 |
-
2016
- 2016-09-30 CN CN201610877155.2A patent/CN106447785A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159015A (zh) * | 2007-11-08 | 2008-04-09 | 清华大学 | 一种二维人脸图像的识别方法 |
| CN101739712A (zh) * | 2010-01-25 | 2010-06-16 | 四川大学 | 基于视频的3d人脸表情动画驱动方法 |
| CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
| CN102479388A (zh) * | 2010-11-22 | 2012-05-30 | 北京盛开互动科技有限公司 | 基于人脸跟踪和分析的表情互动方法 |
| CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
| US20140016823A1 (en) * | 2012-07-12 | 2014-01-16 | Cywee Group Limited | Method of virtual makeup achieved by facial tracking |
| CN104346824A (zh) * | 2013-08-09 | 2015-02-11 | 汉王科技股份有限公司 | 基于单张人脸图像自动合成三维表情的方法及装置 |
| CN104573614A (zh) * | 2013-10-22 | 2015-04-29 | 北京三星通信技术研究有限公司 | 用于跟踪人脸的设备和方法 |
| CN104036546A (zh) * | 2014-06-30 | 2014-09-10 | 清华大学 | 一种基于自适应形变模型的任意视角人脸三维重构方法 |
| CN104966316A (zh) * | 2015-05-22 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 一种3d人脸重建方法、装置及服务器 |
| CN105528805A (zh) * | 2015-12-25 | 2016-04-27 | 苏州丽多数字科技有限公司 | 一种虚拟人脸动画合成方法 |
| CN105654537A (zh) * | 2015-12-30 | 2016-06-08 | 中国科学院自动化研究所 | 一种实现与虚拟角色实时互动的表情克隆方法及装置 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109427105A (zh) * | 2017-08-24 | 2019-03-05 | Tcl集团股份有限公司 | 虚拟视频的生成方法及装置 |
| CN107679519A (zh) * | 2017-10-27 | 2018-02-09 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互处理方法及系统 |
| CN108550170B (zh) * | 2018-04-25 | 2020-08-07 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置 |
| CN108550170A (zh) * | 2018-04-25 | 2018-09-18 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置 |
| CN108648280A (zh) * | 2018-04-25 | 2018-10-12 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置、电子设备和存储介质 |
| CN108648238A (zh) * | 2018-04-25 | 2018-10-12 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置、电子设备和存储介质 |
| CN108648238B (zh) * | 2018-04-25 | 2021-09-14 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置、电子设备和存储介质 |
| CN108648280B (zh) * | 2018-04-25 | 2023-03-31 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置、电子设备和存储介质 |
| CN109108968A (zh) * | 2018-08-17 | 2019-01-01 | 深圳市三宝创新智能有限公司 | 机器人头部运动调整的交互方法、装置、设备和存储介质 |
| CN109598749A (zh) * | 2018-11-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | 一种三维人脸模型的参数配置方法、装置、设备及介质 |
| WO2020108404A1 (zh) * | 2018-11-30 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 三维人脸模型的参数配置方法、装置、设备及存储介质 |
| US11373384B2 (en) | 2018-11-30 | 2022-06-28 | Tencent Technology (Shenzhen) Company Limited | Parameter configuration method, apparatus, and device for three-dimensional face model, and storage medium |
| WO2020147598A1 (zh) * | 2019-01-15 | 2020-07-23 | 北京字节跳动网络技术有限公司 | 模型动作方法、装置、带屏音箱、电子设备及存储介质 |
| CN109978975A (zh) * | 2019-03-12 | 2019-07-05 | 深圳市商汤科技有限公司 | 一种动作的迁移方法及装置、计算机设备 |
| CN110599573A (zh) * | 2019-09-03 | 2019-12-20 | 电子科技大学 | 一种基于单目相机的人脸实时交互动画的实现方法 |
| CN111144266A (zh) * | 2019-12-20 | 2020-05-12 | 北京达佳互联信息技术有限公司 | 人脸表情的识别方法及装置 |
| CN111530088B (zh) * | 2020-04-17 | 2022-04-22 | 完美世界(重庆)互动科技有限公司 | 一种生成游戏角色的实时表情图片的方法和装置 |
| CN111530088A (zh) * | 2020-04-17 | 2020-08-14 | 完美世界(重庆)互动科技有限公司 | 一种生成游戏角色的实时表情图片的方法和装置 |
| CN113763531A (zh) * | 2020-06-05 | 2021-12-07 | 北京达佳互联信息技术有限公司 | 三维人脸重建方法、装置、电子设备及存储介质 |
| CN113763531B (zh) * | 2020-06-05 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 三维人脸重建方法、装置、电子设备及存储介质 |
| CN112328085A (zh) * | 2020-11-12 | 2021-02-05 | 广州博冠信息科技有限公司 | 虚拟角色的控制方法、装置、存储介质与电子设备 |
| CN112906494B (zh) * | 2021-01-27 | 2022-03-08 | 浙江大学 | 一种面部捕捉方法、装置、电子设备及存储介质 |
| CN112906494A (zh) * | 2021-01-27 | 2021-06-04 | 浙江大学 | 一种面部捕捉方法、装置、电子设备及存储介质 |
| TWI792845B (zh) * | 2021-03-09 | 2023-02-11 | 香港商數字王國企業集團有限公司 | 追蹤臉部表情的動畫產生方法及其神經網路訓練方法 |
| US11954779B2 (en) | 2021-03-09 | 2024-04-09 | Digital Domain Enterprises Group Limited | Animation generation method for tracking facial expression and neural network training method thereof |
| CN114529685A (zh) * | 2022-02-21 | 2022-05-24 | 佛山虎牙虎信科技有限公司 | 三维风格人脸的生成方法、装置、设备及存储介质 |
| CN116452787A (zh) * | 2023-06-13 | 2023-07-18 | 北京中科闻歌科技股份有限公司 | 一种视觉驱动的虚拟角色处理系统 |
| CN116452787B (zh) * | 2023-06-13 | 2023-10-10 | 北京中科闻歌科技股份有限公司 | 一种视觉驱动的虚拟角色处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106447785A (zh) | 一种驱动虚拟角色的方法和装置 | |
| CN109902767B (zh) | 模型训练方法、图像处理方法及装置、设备和介质 | |
| EP3944200B1 (en) | Facial image generation method and apparatus, device and storage medium | |
| US11915365B2 (en) | 3D body model generation | |
| CN111465965B (zh) | 用于实时复杂角色动画和交互性的系统和方法 | |
| US11790587B2 (en) | Animation processing method and apparatus, computer storage medium, and electronic device | |
| US10013796B2 (en) | Rendering glasses shadows | |
| CN109960974A (zh) | 人脸关键点检测方法、装置、电子设备及存储介质 | |
| CN108229276A (zh) | 神经网络训练及图像处理方法、装置和电子设备 | |
| US10297065B2 (en) | Methods and systems of enriching blendshape rigs with physical simulation | |
| CN112950751B (zh) | 姿态动作的展示方法及装置、存储介质、系统 | |
| CN110458924B (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| CN115914505B (zh) | 基于语音驱动数字人模型的视频生成方法及系统 | |
| CN110148191A (zh) | 视频虚拟表情生成方法、装置及计算机可读存储介质 | |
| CN109144252A (zh) | 对象确定方法、装置、设备和存储介质 | |
| CN110647790A (zh) | 注视信息的确定方法及装置 | |
| WO2022026603A1 (en) | Object recognition neural network training using multiple data sources | |
| CN116310146B (zh) | 人脸图像重演方法、系统、电子设备、存储介质 | |
| CN112613374A (zh) | 人脸可见区域解析与分割方法、人脸上妆方法及移动终端 | |
| CN107067438B (zh) | 基于线性回归的双向视线方向估计方法和装置 | |
| CN113223128B (zh) | 用于生成图像的方法和装置 | |
| CN114519773A (zh) | 生成三维虚拟人物的方法、装置、存储介质及家教机 | |
| CN114912574A (zh) | 角色面部表情拆分方法、装置、计算机设备及存储介质 | |
| CN114677476A (zh) | 一种脸部处理方法、装置、计算机设备及存储介质 | |
| CN110097644B (zh) | 一种基于混合现实的表情迁移方法、装置、系统和处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |
|
| RJ01 | Rejection of invention patent application after publication |