CN109272566A - 虚拟角色的动作表情编辑方法、装置、设备、系统及介质 - Google Patents

Abstract

本发明公开了一种虚拟角色的动作表情编辑方法、装置、设备、系统及计算机可读存储介质，当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑；当接收到摄像机传输的图像时，对所述图像进行人脸检测；当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑，本发明使得虚拟角色的表情以及动作更加自然流畅，提高用户的使用体验。

Description

虚拟角色的动作表情编辑方法、装置、设备、系统及介质

技术领域

本发明涉及人工智能领域，尤其涉及一种虚拟角色的动作表情编辑方法、装置、设备、系统及计算机可读存储介质。

背景技术

随着科学技术的快速发展，人们对于虚拟世界的构建与发展投入更多的关注与研究，以3D动画模型技术为基础的人物动画已被广泛应用在各个行业中的各种虚拟场景系统中，应用3D动画模型技术可以塑造各种各样栩栩如生的生物，从而有效地提高了虚拟场景的逼真性。

在现有技术中，大多利用动画模型制作出虚拟生物，然后再通过预先设定的程序来控制该动画模型所对应的虚拟生物做出各种表情或动作。

但是，在实现本发明的过程中，发明人发现：对于设置虚拟角色而言，主要因为人的肢体动作和表情有多种表达，例如人的表情有痛苦与哭泣、忧虑、悲哀、沮丧、失望、快乐、精神奋发、温情、崇拜等等；而形成人的各种肢体动作和人脸表情也包括了多种肌肉组织，例如人脸表情的形成需要有耳前肌、颊肌、降眉肌、降口角肌、降下唇肌、降鼻中隔肌、额肌等等，每一块肌肉都可以产生丰富的变化，丰富的人脸表情和肢体动作可以充分表达人的内心世界并打动观众，而人的视觉对表情或者肢体动作的微妙变化也极其敏感，而虚拟角色通过预先设定的程序来对其肢体动作和表情进行控制的方式，使得虚拟角色的表现形式较为死板僵硬，其肢体动作和表情只能根据程序员的设定进行改变，设定模式单一且繁琐，同时也导致了用户体验不佳。

发明内容

针对上述问题，本发明的目的在于提供一种虚拟角色的动作表情编辑方法、装置、设备、系统及计算机可读存储介质，使得虚拟角色的表情以及动作更加自然流畅，提高用户的使用体验。

第一方面，本发明实施例提供了一种虚拟角色的动作表情编辑方法，包括以下步骤：

当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑；

当接收到摄像机传输的图像时，对所述图像进行人脸检测；

当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑。

在第一方面的第一种实现方式中，

所述动作捕捉设备包括对应于所述各个关节部位的各个惯性传感器；

所述各个关节部位的三维坐标数据由对应的所述惯性传感器获取；

则所述虚拟角色的动作表情编辑方法，还包括：

在三维软件中进行所述虚拟角色模型的建模，并对所述虚拟角色模型的各个虚拟关节部位进行骨骼绑定；其中，所述虚拟关节部位对应于所述关节部位，所述虚拟关节部位至少包括手指、脚、腿、手臂、腰部、胸部、颈部以及头部中的任意一种或多种。

根据第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑，具体为：

接收动作捕捉设备发送的各个关节部位在预设三维坐标系中的三维坐标数据；其中，所述关节部位至少包括手指、脚、腿、手臂、腰部、胸部、颈部以及头部中的任意一种或多种；

根据预设的转换函数对所述各个关节部位的三维坐标数据进行四元数转换，以获取所述各个关节部位对应的四元数数据；

根据所述各个关节部位对应的四元数数据，以及预先建立的所述虚拟角色模型上与所述各个关节部位对应的虚拟关节部位，进行虚拟角色模型的动作编辑。

在第一方面的第三种实现方式中，所述当接收到摄像机传输的图像时，对所述图像进行人脸检测，具体为：

当接收到摄像机传输的图像时，将所述图像作为预先设置的Haar特征分类器的输入参量，以对所述图像进行人脸检测；

当在所述Haar特征分类器中从所述图像检测到人脸时，从所述Haar特征分类器中输出人脸图像。

根据第一方面的第三种实现方式，在第一方面的第四种实现方式中，所述当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标，具体为：

当获取到所述人脸图像时，将所述人脸图像作为所述预先建立的关键点检测模型的输入参量，从而从所述预先建立的关键点检测模型中获取所述人脸在预设坐标系中的关键点坐标。

根据第一方面的第四种实现方式，在第一方面的第五种实现方式中，所述根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑，具体为：

获取预先存储的对应于所述人脸的静态关键点坐标；

根据所述关键点坐标以及所述静态关键点坐标，计算各个表情部位对应的关键点位移数据；

根据所述各个表情部位对应的关键点位移数据以及对应的表情部位幅度的映射关系，进行虚拟角色模型的表情编辑。

第二方面，本发明实施例提供了一种虚拟角色的动作表情编辑装置，包括：

动作编辑单元，用于当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑；

人脸检测单元，用于当接收到摄像机传输的图像时，对所述图像进行人脸检测；

关键点获取单元，用于当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

表情编辑单元，用于根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑。

第三方面，本发明实施例提供了一种虚拟角色的动作表情编辑设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任意一项所述的虚拟角色的动作表情编辑方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行第一方面中任意一项所述的虚拟角色的动作表情编辑方法。

第五方面，本发明实施例提供了一种虚拟角色的动作表情编辑系统，包括如第三方面所述的虚拟角色的动作表情编辑设备，动作捕捉设备以及摄像机；

所述动作捕捉设备，用于获取人体各个关节部位的三维坐标数据，并传输给所述虚拟角色的动作表情编辑设备；

所述虚拟角色的动作表情编辑设备，用于接收所述动作捕捉设备发送的各个关节部位的三维坐标数据；当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑；

所述摄像机，用于实时拍摄图像，并传输给所述虚拟角色的动作表情编辑设备；

所述虚拟角色的动作表情编辑设备，还用于接收所述摄像机传输的图像；当接收到摄像机传输的图像时，对所述图像进行人脸检测；

所述虚拟角色的动作表情编辑设备，还用于当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

所述虚拟角色的动作表情编辑设备，还用于根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑。

以上实施例具有如下有益效果：

通过接收动作捕捉设备发送的各个关节部位的三维坐标数据，然后根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑，同时通过接收摄像机传输的图像，对所述图像进行人脸检测，当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标，最后根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑，实现简单高效地将真实人物的动作以及表情实时的渲染和映射到虚拟角色上，使得虚拟角色的表情以及动作更加自然流畅，同时也使得虚拟角色与真实人物动作和表情的高质量统一，保证虚拟角色的动作表情动画的流畅性和稳定性，同时对于不同的虚拟角色模型和真人用户有很好的可扩展性，实现动作自然、实时同步、效果流畅的虚拟形象视听呈现，提高用户的使用体验。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的虚拟角色的动作表情编辑方法的流程示意图。

图2是本发明第一实施例提供的各个关节部位的三维坐标数据封装成数组数据的示意图。

图3是本发明第一实施例提供的均值漂移的计算示意图。

图4是本发明第二实施例提供的虚拟角色的动作表情编辑装置的结构示意图。

图5是本发明第三实施例提供的虚拟角色的动作表情编辑设备的结构示意图。

图6是本发明第五实施例提供的虚拟角色的动作表情编辑系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明第一实施例提供了一种虚拟角色的动作表情编辑方法，其可由终端设备来执行，并包括以下步骤：

S11，当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑。

在本发明实施例中，所述终端设备可为手机、电脑、平板电脑、笔记本电脑等计算设备，所述虚拟角色的动作表情编辑方法可作为一个功能或者以APP为载体集成于所述终端设备中。

在本发明实施例中，在将真实人物的动作和表情映射和渲染到虚拟人物之前，首先需要在三维软件中进行所述虚拟角色模型的建模，并对所述虚拟角色模型的各个虚拟关节部位进行骨骼绑定；其中，所述虚拟关节部位对应于所述关节部位，所述虚拟关节部位至少包括手指、脚、腿、手臂、腰部、胸部、颈部以及头部中的任意一种或多种。

在本发明实施例中，需要说明的是，所述动作捕捉设备包括对应于所述各个关节部位的各个惯性传感器，所述各个关节部位的三维坐标数据由对应的所述惯性传感器获取，所述关节部位至少包括手指、脚、腿、手臂、腰部、胸部、颈部以及头部中的任意一种或多种，请参阅图2，具体的数据为关节的三维空间坐标值(X,Y,Z)，通过这3个数据可以得到关节的旋转和位移，所述动作设备在通过各个惯性传感器获取所述各个关节部位的关于人体主要关节的动作信息，即三维坐标数据之后，封装成数据数组的形式并通过有线传输方式或者无线网络传输方式传输给所述终端设备，当所述终端设备接收动作捕捉设备发送的各个关节部位在预设三维坐标系中的三维坐标数据；其中，所述关节部位至少包括手指、脚、腿、手臂、腰部、胸部、颈部以及头部中的任意一种或多种；根据预设的转换函数对所述各个关节部位的三维坐标数据进行四元数转换，以获取所述各个关节部位对应的四元数数据；根据所述各个关节部位对应的四元数数据，以及预先建立的所述虚拟角色模型上与所述各个关节部位对应的虚拟关节部位，进行虚拟角色模型的动作编辑。

在本发明实施例中，需要说明的是，虚拟角色模型在制作过程中，动画师通过3D软件(Maya、或者3DMAX等)对虚拟角色模型的每个虚拟关节部位进行骨骼绑定，这个关节骨骼的绑定与动作捕捉设备所获取的关节部位一致。请参阅图2，所述终端设备在获取到动作捕捉设备传输过来的数据数组后，按照预设的读取顺序，如果不需要监听真实人物的位移的话，则使用NO DISPLACEMENT的数组数据，如果需要监听真实人物的位移的话，则使用WITHDISPLACEMENT的数组数据，得到数据数组之后，按照下标位置将各个部位的Vector3(X,Y,Z)值取出(这一组数据代表一组关节骨骼的欧拉角)，通过Unity3D引擎的QuaternionEuler(float X,float Y,float Z)函数，得到欧拉角Vector3(X,Y,Z)对应的四元数Quaternion实例，所述终端设备将得到的四元数数据对应赋值到虚拟人物的虚拟关节部位绑定的骨骼信息上，实现真实人物动作与虚拟人物动作的匹配，从而实现虚拟人物骨骼的行走与旋转。

S12，当接收到摄像机传输的图像时，对所述图像进行人脸检测。

在本发明实施例中，所述摄像机可为单独的摄像机，或者为终端设备上附带的摄像机，所述摄像机将拍摄的视频图像进行传输，当所述终端设备接收到摄像机传输的图像时，将所述图像作为预先设置的Haar特征分类器的输入参量，以对所述图像进行人脸检测，当在所述Haar特征分类器中从所述图像检测到人脸时，从所述Haar特征分类器中输出人脸图像；具体地，所述终端设备获取摄像头每一帧的画面，将其每一帧画面的每个像素点的RGB值转化成字节数组传递给人脸检测模块，人脸检测模块接收到数据，并对数据进行还原，还原完毕使用opencv进行人脸检测，通过Haar特征分类器对输入的图像进行是否包含有人脸的检测，如果输入的图像中有人脸，则输出所述人脸图像，所述人脸图像的形式为所述图像上存在一个能包含人脸的矩形框，所述人脸图像包括有矩形框在图像中的位置以及矩形框的大小的信息。

S13，当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标。

在本发明实施例中，当所述终端设备获取到所述人脸图像时，将所述人脸图像作为所述预先建立的关键点检测模型的输入参量，从而从所述预先建立的关键点检测模型中获取所述人脸在预设坐标系中的关键点坐标；具体地，所述终端设备根据正则化均值漂移可形变模型获取人脸的66个关键点坐标，均值漂移指的是计算局部图像的漂移向量，然后把局部图像的标记点往漂移向量的方向移动，直至局部图像的标记点移动到极值点，请参阅图3，大圆圈所圈定的范围表示要计算极值点的局部范围，中心的黑色实心点表示初始的标记点，根据初始标记点到局部范围中所有样本点的白色小圆圈的向量，计算得到指向灰色实心点的漂移向量，将中心的黑色实心点根据漂移向量移动到代表局部范围极值点的灰色实心点上，需要说明的是，脸的轮廓通过66个关键点中的其中17个点界定，获取的66个关键点坐标中有共有12个点是定位眼睛轮廓的，每个眼睛的轮廓由6个关键点定位，只有定位出眼睛轮廓之后，才能裁剪出眼睛轮廓的图像，对裁剪的眼睛轮廓的图像利用大津法自动计算阈值之后二值化，腐蚀掉其中的一部分后得到虹膜轮廓，然后所述终端设备计算重心得到瞳孔位置在预设二维坐标系的坐标。

S14，根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑。

在本发明实施例，需要说明的是，通过模型制作软件(例如：Maya、3DMAX)去制作脸部各部位表情的BlendShape(例如：眼睛、眉毛、眼球、嘴巴等)，脸部各个部位的表情动画都在0到100这个范围，例如嘴巴闭合状态是0，那么嘴巴大张开状态就是100；眼睛闭合状态是0，那么睁大到最大状态就是100等。

在本发明实施例中，需要说明的是，在进行表情识别之前需要获取使用者脸部在自然状态下的眉毛与眼睛之间的距离、眼睛张开的幅度大小、鼻子的大小、上下嘴唇距离，因为每个人五官大小不同，所以对于不同人，获取到的数据都是不一样的，所以需要先获取到自然表情下的这些数据作为参照基准，比如现在获取到一张大笑的图像，那么上下嘴唇的距离肯定比自然表情下嘴巴闭着的时候要大，根据这个差距，计算虚拟人物上的嘴巴应该张开多大幅度，因此，所述终端设备在获取到使用者的自然表情图像之后，根据正则化均值漂移可形变模型获取人脸的66个静态关键点坐标，然后根据各个表情部位所对应的关键点坐标计算各个表情部位的数据，例如根据嘴巴的静态关键点坐标计算关于该部位的上下嘴唇距离数据等等，需要说明的是，而对于眼睛部位的相关数据的计算，获取的66个静态关键点坐标中有共有12个点是定位眼睛轮廓的，每个眼睛的轮廓由6个关键点定位。只有定位出眼睛轮廓之后，才能裁剪出眼睛轮廓的图像，对裁剪的眼睛轮廓的图像利用大津法自动计算阈值之后二值化，腐蚀掉其中的一部分后得到虹膜轮廓，然后所述终端设备计算重心得到瞳孔位置在预设二维坐标系的坐标，这样才能进一步对于眼球运动或者眉毛与眼睛之间的距离等等数据进行计算。

在本发明实施例中，所述终端设备根据所述静态关键点坐标计算眉毛距离眼睛中心的高度，嘴巴的宽度，嘴巴中心到鼻子中心的高度，然后根据所述关键点与所述计算得出的眉毛距离眼睛中心的高度，嘴巴的宽度，嘴巴中心到鼻子中心的高度分别计算眉毛上下运动的变化幅度、眼睛张开的变化幅度、嘴巴纵向和横向张开的变化幅度，将所述变化幅度映射为0～100数据范围供虚拟人物展现；具体地，所述终端设备获取预先存储的对应于所述人脸的静态关键点坐标，其中，所述静态关键点坐标为对应的所述人脸在自然表情下获取的，然后根据所述关键点坐标以及所述静态关键点坐标，计算各个表情部位对应的关键点位移数据，最后根据所述各个表情部位对应的关键点位移数据以及对应的表情部位幅度的映射关系，进行虚拟角色模型的表情编辑，所述终端设备根据各个表情部位所包括的关键点坐标的位移数据，将所述位移数据映射为0～100的数据范围，将数据传递给虚拟角色对应的表情部位的BlendShape，表情部位的BlendShape值改变，虚拟角色表情就跟着变化，从而实现了表情的实时追踪，本发明实现简单，无需服务器参与，适用性广，能够有效确保不同人群、不同环境下的较高使用体验。

综上所述，本发明第一实施例提供了一种虚拟角色的动作表情编辑方法，通过接收动作捕捉设备发送的各个关节部位的三维坐标数据，然后根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑，同时通过接收摄像机传输的图像，对所述图像进行人脸检测，当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标，最后根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑，实现简单高效地将真实人物的动作以及表情实时的渲染和映射到虚拟角色上，使得虚拟角色的表情以及动作更加自然流畅，同时也使得虚拟角色与真实人物动作和表情的高质量统一，保证虚拟角色的动作表情动画的流畅性和稳定性，同时对于不同的虚拟角色模型和真人用户有很好的可扩展性，实现动作自然、实时同步、效果流畅的虚拟形象视听呈现，提高用户的使用体验。

请参阅图4，本发明第二实施例提供了一种虚拟角色的动作表情编辑装置，包括：

动作编辑单元11，用于当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑。

人脸检测单元12，用于当接收到摄像机传输的图像时，对所述图像进行人脸检测。

关键点获取单元13，用于当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标。

表情编辑单元14，用于根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑。

在第二实施例的第一种实现方式中，

所述动作捕捉设备包括对应于所述各个关节部位的各个惯性传感器。

所述各个关节部位的三维坐标数据由对应的所述惯性传感器获取。

则所述虚拟角色的动作表情编辑方法，还包括：

骨骼绑定单元，用于在三维软件中进行所述虚拟角色模型的建模，并对所述虚拟角色模型的各个虚拟关节部位进行骨骼绑定；其中，所述虚拟关节部位对应于所述关节部位，所述虚拟关节部位至少包括手指、脚、腿、手臂、腰部、胸部、颈部以及头部中的任意一种或多种。

根据第二实施例的第一种实现方式，在第二实施例的第二种实现方式中，所述动作编辑单元具体包括：

三维坐标数据接收模块，用于接收动作捕捉设备发送的各个关节部位在预设三维坐标系中的三维坐标数据；其中，所述关节部位至少包括手指、脚、腿、手臂、腰部、胸部、颈部以及头部中的任意一种或多种。

坐标转换模块，用于根据预设的转换函数对所述各个关节部位的三维坐标数据进行四元数转换，以获取所述各个关节部位对应的四元数数据。

动作编辑模块，用于根据所述各个关节部位对应的四元数数据，以及预先建立的所述虚拟角色模型上与所述各个关节部位对应的虚拟关节部位，进行虚拟角色模型的动作编辑。

在第二实施例的第三种实现方式中，所述人脸检测单元具体包括：

人间检测模块，用于当接收到摄像机传输的图像时，将所述图像作为预先设置的Haar特征分类器的输入参量，以对所述图像进行人脸检测。

人脸图像输出模块，用于当在所述Haar特征分类器中从所述图像检测到人脸时，从所述Haar特征分类器中输出人脸图像。

根据第二实施例的第三种实现方式，在第二实施例的第四种实现方式中，所述关键点获取单元具体包括：

当获取到所述人脸图像时，将所述人脸图像作为所述预先建立的关键点检测模型的输入参量，从而从所述预先建立的关键点检测模型中获取所述人脸在预设坐标系中的关键点坐标。

根据第二实施例的第四种实现方式，在第二实施例的第五种实现方式中，所述表情编辑单元具体包括：

静态坐标获取模块，用于获取预先存储的对应于所述人脸的静态关键点坐标。

位移数据获取模块，用于根据所述关键点坐标以及所述静态关键点坐标，计算各个表情部位对应的关键点位移数据。

表情编辑模块，用于根据所述各个表情部位对应的关键点位移数据以及对应的表情部位幅度的映射关系，进行虚拟角色模型的表情编辑。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

参见图5，是本发明第三实施例提供的虚拟角色的动作表情编辑设备的示意图。如图5所示，该虚拟角色的动作表情编辑设备包括：至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。

在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

程序152。

具体地，处理器11用于调用存储器15中存储的程序152，执行上述实施例所述的虚拟角色的动作表情编辑方法，例如图1所示的步骤S11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如表情编辑单元。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述虚拟角色的动作表情编辑设备中的执行过程。

所述虚拟角色的动作表情编辑设备可以是桌上型计算机、笔记本、掌上电脑及手机等计算设备。所述虚拟角色的动作表情编辑设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是虚拟角色的动作表情编辑设备的示例，并不构成对虚拟角色的动作表情编辑设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器11是所述虚拟角色的动作表情编辑设备的控制中心，利用各种接口和线路连接整个虚拟角色的动作表情编辑设备的各个部分。

所述存储器15可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器15内的计算机程序和/或模块，以及调用存储在存储器15内的数据，实现所述虚拟角色的动作表情编辑设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明第四实施例提供了一种计算机可读存储介质，所述虚拟角色的动作表情编辑设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

请参阅图6，本发明第五实施例提供了一种虚拟角色的动作表情编辑系统，包括如第三实施例所述的虚拟角色的动作表情编辑设备21，动作捕捉设备22以及摄像机23。

所述动作捕捉设备22，用于获取人体各个关节部位的三维坐标数据，并传输给所述虚拟角色的动作表情编辑设备21。

所述虚拟角色的动作表情编辑设备21，用于接收所述动作捕捉设备22发送的各个关节部位的三维坐标数据；当接收到动作捕捉设备22发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑。

所述摄像机23，用于实时拍摄图像，并传输给所述虚拟角色的动作表情编辑设备21。

所述虚拟角色的动作表情编辑设备21，还用于接收所述摄像机23传输的图像；当接收到摄像机23传输的图像时，对所述图像进行人脸检测。

所述虚拟角色的动作表情编辑设备21，还用于当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标。

所述虚拟角色的动作表情编辑设备21，还用于根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑。

优选地，所述动作捕捉设备22包括对应于所述各个关节部位的各个惯性传感器，所述各个关节部位的三维坐标数据由对应的所述惯性传感器获取。

优选地，所述摄像机23可为单独的摄像机，或者为所述虚拟角色的动作表情编辑设备上附带的摄像机。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种虚拟角色的动作表情编辑方法，其特征在于，包括以下步骤：

当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑；

当接收到摄像机传输的图像时，对所述图像进行人脸检测；

当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑。

2.根据权利要求1所述的虚拟角色的动作表情编辑方法，其特征在于，

所述动作捕捉设备包括对应于所述各个关节部位的各个惯性传感器；

所述各个关节部位的三维坐标数据由对应的所述惯性传感器获取；

则所述虚拟角色的动作表情编辑方法，还包括：

在三维软件中进行所述虚拟角色模型的建模，并对所述虚拟角色模型的各个虚拟关节部位进行骨骼绑定；其中，所述虚拟关节部位对应于所述关节部位，所述虚拟关节部位至少包括手指、脚、腿、手臂、腰部、胸部、颈部以及头部中的任意一种或多种。

3.根据权利要求2所述的虚拟角色的动作表情编辑方法，其特征在于，所述当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑，具体为：

接收动作捕捉设备发送的各个关节部位在预设三维坐标系中的三维坐标数据；其中，所述关节部位至少包括手指、脚、腿、手臂、腰部、胸部、颈部以及头部中的任意一种或多种；

根据预设的转换函数对所述各个关节部位的三维坐标数据进行四元数转换，以获取所述各个关节部位对应的四元数数据；

根据所述各个关节部位对应的四元数数据，以及预先建立的所述虚拟角色模型上与所述各个关节部位对应的虚拟关节部位，进行虚拟角色模型的动作编辑。

4.根据权利要求1所述的虚拟角色的动作表情编辑方法，其特征在于，所述当接收到摄像机传输的图像时，对所述图像进行人脸检测，具体为：

当接收到摄像机传输的图像时，将所述图像作为预先设置的Haar特征分类器的输入参量，以对所述图像进行人脸检测；

当在所述Haar特征分类器中从所述图像检测到人脸时，从所述Haar特征分类器中输出人脸图像。

5.根据权利要求4所述的虚拟角色的动作表情编辑方法，其特征在于，所述当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标，具体为：

当获取到所述人脸图像时，将所述人脸图像作为所述预先建立的关键点检测模型的输入参量，从而从所述预先建立的关键点检测模型中获取所述人脸在预设坐标系中的关键点坐标。

6.根据权利要求5所述的虚拟角色的动作表情编辑方法，其特征在于，所述根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑，具体为：

获取预先存储的对应于所述人脸的静态关键点坐标；

根据所述关键点坐标以及所述静态关键点坐标，计算各个表情部位对应的关键点位移数据；

根据所述各个表情部位对应的关键点位移数据以及对应的表情部位幅度的映射关系，进行虚拟角色模型的表情编辑。

7.一种虚拟角色的动作表情编辑装置，其特征在于，包括：

动作编辑单元，用于当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑；

人脸检测单元，用于当接收到摄像机传输的图像时，对所述图像进行人脸检测；

关键点获取单元，用于当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

表情编辑单元，用于根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑。

8.一种虚拟角色的动作表情编辑设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的虚拟角色的动作表情编辑方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的虚拟角色的动作表情编辑方法。

10.一种虚拟角色的动作表情编辑系统，其特征在于，包括如权利要求8所述的虚拟角色的动作表情编辑设备，动作捕捉设备以及摄像机；

所述动作捕捉设备，用于获取人体各个关节部位的三维坐标数据，并传输给所述虚拟角色的动作表情编辑设备；

所述虚拟角色的动作表情编辑设备，用于接收所述动作捕捉设备发送的各个关节部位的三维坐标数据；当接收到动作捕捉设备发送的各个关节部位的三维坐标数据时，根据所述三维坐标数据，以及预先建立的虚拟角色模型上对应的各个虚拟关节部位，进行虚拟角色模型的动作编辑；

所述摄像机，用于实时拍摄图像，并传输给所述虚拟角色的动作表情编辑设备；

所述虚拟角色的动作表情编辑设备，还用于接收所述摄像机传输的图像；当接收到摄像机传输的图像时，对所述图像进行人脸检测；

所述虚拟角色的动作表情编辑设备，还用于当检测到所述图像存在人脸时，根据预先建立的关键点检测模型，获取所述人脸的关键点坐标；

所述虚拟角色的动作表情编辑设备，还用于根据所述关键点坐标与预先存储的对应于所述人脸的静态关键点坐标，计算相应的表情变化幅度，以进行虚拟角色模型的表情编辑。