CN111553286A - 用于捕捉耳朵动画特征的方法、电子设备 - Google Patents

Abstract

本公开的实施例公开了用于捕捉耳朵动画特征的方法、电子设备。该方法的一具体实施方式包括：获取表演者的面部表情数据；对于面部表情数据中的每个深度图像，生成该深度图像对应于预先确定的耳朵动画模型的过程参数；基于面部表情数据中的每个深度图像的过程参数，生成耳朵动画特征。这种方法利用深度图像，能够直接获取表演者面部的三维特征，同时，利用预先确定的耳朵动画模型确定表演者的面部数据中每个深度图像的过程参数，基于有效的面部区域的深度图像的过程参数，方便用户捕捉有效的耳朵动画特征。

Description

用于捕捉耳朵动画特征的方法、电子设备

技术领域

本公开实施例涉及运动捕捉和数据表示领域，具体涉及一种耳朵动画特征捕获和预处理作用的组合方法、电子设备。

背景技术

随着运动捕捉技术的快速发展，运动捕捉系统在影视、动画制作上被广泛应用。目前，大多数运动捕捉系统通过跟踪粘帖在表演者面部标识点的方式对面部表情进行捕捉，这种捕捉方式对表情具有较大的束缚性，标识点极易脱落，降低了表演者对模型表情的精细化控制，此外，这种捕捉方式依赖于专业的设备来完成，技术复杂度高、成本高。因此，在无任何辅助标识点的条件下，利用运动捕捉技术实现对面部表情的定位以及捕获面部表情特征，已经成为运动捕捉技术中的热点问题。

由于人耳的位置不处于正面的人脸轮廓区域内，目前的运动捕捉技术不能够有效捕捉耳朵的动画特征。

发明内容

本公开实施例提出了一种用于捕捉耳朵动画特征的方法。

第一方面，本公开实施例提供了一种用于捕捉耳朵动画特征的方法，该方法包括：获取表演者的面部表情数据，其中，面部表情数据包括第一数目个深度图像；对于面部表情数据中的每个深度图像，生成该深度图像对应于预先确定的耳朵动画模型的过程参数；基于面部表情数据中的每个深度图像的过程参数，生成耳朵动画特征。

在一些实施例中，获取表演者的面部表情数据，包括：启动深度摄像机；接收深度摄像机返回的视频数据，其中，视频数据包括第一数目帧图像；将视频数据转化为深度图像序列，其中，深度图像序列包括第一数目个深度图像；将深度图像序列保存为面部表情数据。

在一些实施例中，该方法还包括：基于耳朵动画模型，生成面部关键区域内的面部关键点的初始位置信息，其中，面部关键区域包括左眼区域、右眼区域、嘴巴区域，以及，面部关键点的初始位置信息包括左眼左角的初始位置信息、右眼右角的初始位置信息、左眼睑中点的初始位置信息、右眼睑中点的初始位置信息、左嘴角的初始位置信息、右嘴角的初始位置信息。

在一些实施例中，生成该深度图像对应于预先确定的耳朵动画模型的过程参数，包括：基于该深度图像与所述耳朵动画模型，生成表演者的面部关键点的位置信息；将表演者的面部关键点的位置信息保存为所述过程参数。

在一些实施例中，基于面部表情数据中的每个深度图像的过程参数，生成耳朵动画特征，包括：基于该深度图像的过程参数，生成该深度图像对应的面部关键点的过程偏移量；保存该深度图像的过程偏移量，得到耳朵动画特征。

在一些实施例中，基于该深度图像的过程参数，生成该深度图像对应的面部关键点的过程偏移量，包括：将过程参数中的左眼左角位置信息与左眼左角的初始位置信息相匹配，生成左眼左角的过程偏移量；将过程参数中的右眼右角位置信息与右眼右角的初始位置信息相匹配，生成左眼左角的过程偏移量；将过程参数中的左眼睑中点位置信息与左眼睑中点的初始位置信息相匹配，生成左眼睑中点的过程偏移量；将过程参数中的右眼睑中点位置信息与右眼睑中点的初始位置信息相匹配，生成右眼睑中点的过程偏移量；将过程参数中的左嘴角位置信息与左嘴角的初始位置信息相匹配，生成左嘴角的过程偏移量；将过程参数中的右嘴角中点位置信息与右嘴角的初始位置信息相匹配，生成右嘴角的过程偏移量。

在一些实施例中，保存该深度图像的过程偏移量，得到耳朵动画特征，包括：保存该深度图像的过程偏移量，得到面部表情数据中的面部关键点的偏移数据；根据面部表情数据中的面部关键点的偏移数据，确定耳朵的运动情况；基于耳朵的运动情况，生成耳朵动画特征。

第二方面，本公开实施例提供了一种终端设备，该终端设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。

第三方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

本公开实施例提供一种用于捕捉耳朵动画特征的方法，获取表演者的面部表情数据；对于面部表情数据中的每个深度图像，生成该深度图像对应于预先确定的耳朵动画模型的过程参数；基于面部表情数据中的每个深度图像的过程参数，生成耳朵动画特征。

本公开的上述各个实施例中的一个实施例具有如下有益效果：使用深度摄像机获取面部数据，无需对面部数据进行三维重建可以直接得到包含表演者面部区域三维特征的深度信息。利用预先确定的耳朵动画模型，对面部数据中的每幅深度图像生成面部关键区域内的面部关键点的过程参数。基于面部关键点的过程参数，生成耳朵的动画特征。本公开的实施例利用深度图像，能够直接获取表演者面部的三维特征，同时，利用预先确定的耳朵动画模型确定表演者的面部数据中每个深度图像的过程参数，基于有效的面部区域的深度图像的过程参数，方便用户捕捉有效的耳朵动画特征。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开的一些实施例可以应用于其中的示例性系统的架构图；

图2是根据本公开的用于捕捉耳朵动画特征的方法的一些实施例的流程图；

图3是根据本公开的一些实施例的用于捕捉耳朵动画特征的方法的一个应用场景的示意图；

图4是适于用来实现本公开的一些实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的用于捕捉耳朵动画特征的方法的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如数字签名应用、特征提取应用、运动捕捉应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种终端设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的终端设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103输入的目标数据进行耳朵动画特征捕捉的服务器等。服务器可以基于接收到的目标数据进行耳朵动画特征捕捉等处理，并将处理结果(例如耳朵动画特征)反馈给终端设备。

需要说明的是，本公开实施例所提供的用于捕捉耳朵动画特征的方法可以由服务器105，也可以由终端设备101、102、103执行。

还需要指出的是，终端设备101、102、103中也可以安装有耳朵动画特征捕捉类应用，此时，处理方法也可以由终端设备101、102、103执行。此时，示例性系统架构100也可以不包括服务器105和网络104。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供耳朵动画特征捕捉处理)，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本公开的用于捕捉耳朵动画特征的方法的一些实施例的流程200。该用于捕捉耳朵动画特征的方法，包括以下步骤：

步骤201，获取表演者的面部表情数据。

在一些实施例中，用于捕捉耳朵动画特征的方法的执行主体(例如图1所示的终端设备)获取表演者的面部表情数据。可选的，该执行主体启动深度摄像机，接收所述深度摄像机返回的视频数据，其中，所述视频数据包括第一数目帧图像。与传统的通过立体视觉分析重构三维特征的摄像机不同，深度摄像机可以获取平面图像，也可以获取所拍摄对象的深度信息，也就是三维的位置和尺寸信息。深度摄像机的摄像头可以是深度摄像头。可选的，深度摄像机使用的技术可以是结构光技术、飞行时间法技术和双目多角立体成像技术。可选的，使用飞行时间法技术的摄像头通过连续发射光脉冲到被观测物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的往返飞行时间来计算被测物体离相机的距离。

可选的，深度图像包含了表征所拍摄对象的深度信息，其中，深度信息是指所拍摄对象的三维特征。深度图像可以是指将从深度摄像机到所拍摄对象中各点的距离(深度)作为像素值的图像，它直接反映了所拍摄对象可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。深度图像中每一个像素点代表的是在深度摄像机的深度感应器的视野中，该像素点(x,y)坐标处所拍摄对象到离摄像头平面最近的所拍摄对象到该平面的距离(以毫米为单位)，其中x表示水平方向的横坐标、y表示竖直方向的纵坐标。可选的，点云数据是指扫描所拍摄的对象并以点的形式记录，每一个点包含有三维坐标，也可以包含颜色信息或反射强度信息。

可选的，将深度摄像机得到的视频数据转化为深度图像序列，其中，该深度图像序列包括第一数目个深度图像。将第一数目个深度图像序列保存为面部表情数据，其中，面部表情数据包括第一数目个深度图像。

步骤202，对于面部表情数据中的每个深度图像，生成该深度图像对应于预先确定的耳朵动画模型的过程参数。

在一些实施例中，上述执行主体基于预先确定的耳朵动画模型，基于预先确定的耳朵动画模型和面部表情数据中的第一个深度图像，生成面部关键区域内的面部关键点的初始位置信息，其中，面部关键区域包括左眼区域、右眼区域、嘴巴区域，以及，面部关键点的初始位置信息包括左眼左角的初始位置信息、右眼右角的初始位置信息、左眼睑中点的初始位置信息、右眼睑中点的初始位置信息、左嘴角的初始位置信息、右嘴角的初始位置信息。

可选的，上述执行主体利用预先确定的耳朵动画模型，标定第一张深度图像中的初始位置信息。人耳没有位于正面人脸轮廓内，可以通过人脸轮廓内的其它五官的变化情况模拟出耳朵的动画特征。可选的，可以使用眼睛、眼睑、嘴巴的动态变化情况模拟耳朵的动画特征。预先确定的耳朵动画模型可以是主动形状模型。将第一张深度图像输入到耳朵动画模型中，输出第一张深度图像中的面部关键区域内的面部关键点的初始位置信息。

主动形状模型是一种基于统计学的主动外观模型，将第一张深度图像输入主动形状模型后，得到该第一张深度图像的主动形状模型关键点。其中，在人脸轮廓区域内部，主动形状模型关键点的数量可以是65个，也可以是68个。利用所述耳朵动画模型得到所述第一张深度图像的初始模型关键点集合，生成第一张深度图像的脸部及五官轮廓。对该轮廓进行对齐归一化处理，包括但不限于旋转、缩放、平移等等。对于初始模型关键点集合中的每个初始模型关键点沿着脸部轮廓的法线方向搜索，同时基于第一张深度图像中像素点的灰度值进行灰度匹配，最终得到第一张深度图像的模型关键点集合。对于每一个像素点使用其局部邻域内的灰度值来表征，可选的，可以是3x3大小的邻域，通过计算3x3大小的邻域内全部像素点灰度的平均值，得到该像素点的灰度值。通过对不同像素的灰度值计算马尔可夫距离，得到第一张深度图像的模型关键点集合。输出第一张深度图像的模型关键点集合中每个关键点的坐标，作为该第一张深度图像中的面部关键区域内的面部关键点的初始位置信息。可选的，将该第一张深度图像的初始位置信息确定为面部关键区域内的面部关键点的初始位置信息。

在一些实施例的一些可选的实现方式中，对于面部数据中的第二张至第一数目张深度图像，循环执行下述步骤一，生成该深度图像对应于耳朵动画模型的过程参数。可选的，耳朵动画模型可以是主动形状模型。

步骤一：将该深度图像输入主动形状模型，得到该深度图像的主动形状模型关键点。其中，主动形状模型关键点的数量可以是65个，也可以是68个。输出该深度图像的主动形状模型关键点中对应于面部关键区域内的面部关键点的位置信息，作为该深度图像中的面部关键区域内的面部关键点的位置信息。可选的，面部关键点的位置信息包括左眼左角的位置信息、右眼右角的位置信息、左眼睑中点的位置信息、右眼睑中点的位置信息、左嘴角的位置信息、右嘴角的位置信息。

可选的，可以根据眼睛的位置信息关联得出耳朵的动态，响应于眼睛像向最右侧观看，右侧耳朵会有较明显向后运动态势。眼睑开合大小可以影响耳朵运动态势，响应于瞪大眼睛，耳朵会出现明显向后运动趋势。嘴角向后拉伸的强弱程度可以影响耳朵向后偏移动态，响应于嘴角向后拉伸，耳朵向后运动趋势明显，单一嘴角影响同侧耳朵运动状态。可以根据左眼左角的位置信息、右眼右角的位置信息，左眼睑中点的位置信息、右眼睑中点的位置信息，左嘴角的位置信息、右嘴角的位置信息，根据上述关键点位置偏移的大小形成最终耳朵的动画特征。

步骤203，基于面部表情数据中的每个深度图像的过程参数，生成耳朵动画特征。

在一些实施例中，上述执行主体对于面部数据中的第二张至第一数目张深度图像，基于该深度图像的过程参数，循环执行下述步骤二，生成该深度图像的耳朵动画特征。

步骤二：将该深度图像的过程参数与第一张深度图像中的面部关键区域内的面部关键点的初始位置信息匹配，得到该深度图像的差值信息，其中，位置信息由至少一个像素点的坐标所决定。

可选的，将过程参数中的左眼左角位置信息与左眼左角的初始位置信息相匹配，其中，使用左眼左角在该深度图像中的坐标表示左眼左角位置信息，使用左眼左角在第一张深度图像中的坐标表示左眼左角的初始位置信息，计算两个坐标之间的差值，得到左眼左角的过程偏移量。将过程参数中的右眼右角位置信息与右眼右角的初始位置信息相匹配，其中，使用右眼右角在该深度图像中的坐标表示右眼右角位置信息，使用右眼右角在第一张深度图像中的坐标表示右眼右角的初始位置信息，计算两个坐标之间的差值，得到右眼右角的过程偏移量。将过程参数中的左眼睑中点位置信息与左眼睑中点的初始位置信息相匹配，其中，使用左眼睑中点在该深度图像中的坐标表示左眼睑中点位置信息，使用左眼睑中点在第一张深度图像中的坐标表示左眼睑中点的初始位置信息，计算两个坐标之间的差值，得到左眼睑中点的过程偏移量。将过程参数中的右眼睑中点位置信息与右眼睑中点的初始位置信息相匹配，其中，使用右眼睑中点在该深度图像中的坐标表示右眼睑中点位置信息，使用右眼睑中点在第一张深度图像中的坐标表示右眼睑中点的初始位置信息，计算两个坐标之间的差值，得到右眼睑中点的过程偏移量。将过程参数中的左嘴角位置信息与左嘴角的初始位置信息相匹配，其中，使用左嘴角在该深度图像中的坐标表示左嘴角位置信息，使用左嘴角在第一张深度图像中的坐标表示左嘴角的初始位置信息，计算两个坐标之间的差值，得到左嘴角的过程偏移量。将过程参数中的右嘴角中点位置信息与右嘴角的初始位置信息相匹配，其中，使用右嘴角在该深度图像中的坐标表示右嘴角位置信息，使用右嘴角在第一张深度图像中的坐标表示右嘴角的初始位置信息，计算两个坐标之间的差值，得到右嘴角的过程偏移量。

保存左眼左角的过程偏移量、右眼右角的过程偏移量、左眼睑中点的过程偏移量、右眼睑中点的过程偏移量、左嘴角的过程偏移量、右嘴角的过程偏移量，得到该深度图像的面部关键点的偏移数据。使用该深度图像的面部关键点的偏移数据表征耳朵的运动情况，利用该深度图像的偏移数据计算耳朵动画特征。可选的，利用嘴角的过程偏移量、右嘴角的过程偏移量表征嘴部的动作情况，利用右眼右角的过程偏移量、左眼睑中点的过程偏移量、右眼睑中点的过程偏移量表征眼部的动作情况。可选的，利用嘴部和眼部的动作情况计算耳朵的运动情况。将该深度图像的偏移数据与对应的权重系数相乘后，对加权结果求和，得到该深度图像的耳朵动画特征。具体的，权重系数可以是人工设定的。

具体的，左耳的运动情况可以计算为：

//a、b、c、d、e、f、g、h分别为权重系数变量

earLeftState；//耳朵后张程度，其中，range(0-1)，表示只考虑单向的运动情况

//以下是嘴部动作影响因素

mouthThread＝mouthLeft*a+mouthFrownLeft*b+mouthDimpleLeft*c+mouthStretchLeft*d+mouthUpperUpLeft*e+mouthPressLeft*f+mouthSmileLeft*g；

//以下是眼部动作影响因素

eyeThread＝eyeWideLeft>0.5？eyeWideLeft*h:0；

//得出左耳朵的外张层度，其中，clamp函数是区间限定函数

earLeftState＝clamp(combineThread+eyeThread,0,1)。

其中，“mouthLeft”、“mouthFrownLeft”、“mouthDimpleLeft”、“mouthStretchLeft”、“mouthUpperUpLeft”、“mouthPressLeft”、“mouthSmileLeft”、“eyeWideLeft”分别为该深度图像的偏移数据。计算得到的“mouthThread”、“eyeThread”分别用于表征嘴部和眼部的动作情况。clamp函数返回指定范围内的一个数值，可以使用clamp函数将不断增加、减小或随机变化的数值限制在一系列的值中。可选的，clamp函数计算如下：

clamp(x,min,max)//x为输入的变量值，min表示输出区间最小值，max表示输出区间的最大值

最终计算得到“earLeftState”作为该深度图像的耳朵动画特征。

可选的，上述执行主体对于面部数据中的第二张至第一数目张深度图像，通过步骤二计算过程参数，生成耳朵动画特征。

图2给出的一个实施例具有如下有益效果：使用深度摄像机获取面部数据，无需对面部数据进行三维重建可以直接得到包含表演者面部区域三维特征的深度信息。利用预先确定的耳朵动画模型，对面部数据中的每幅深度图像生成面部关键区域内的面部关键点的过程参数。基于面部关键点的过程参数，生成耳朵的动画特征。本公开的实施例利用深度图像，能够直接获取表演者面部的三维特征，同时，利用预先确定的耳朵动画模型确定表演者的面部数据中每个深度图像的过程参数，基于有效的面部区域的深度图像的过程参数，方便用户捕捉有效的耳朵动画特征。

继续参考图3，示出了根据本公开的用于捕捉耳朵动画特征的方法的一个应用场景的示意图。

在图3的应用场景中，服务器301获取终端302所拍摄的面部数据，其中终端302拍摄得到的是深度图像，服务器302利用用于捕捉耳朵动画特征的方法生成耳朵动画特征303。

本申请实施例提供的用于捕捉耳朵动画特征的方法利用深度摄像机获取包含表演者面部三维特征的深度图像，通过与所拍摄的面部数据中的第一张深度图像比对，得到面部区域内面部关键点的偏移数据，生成耳朵动画特征，这种方法能够直接利用三维特征，无需额外的三维特征匹配和生成操作，简化了处理流程，利用面部轮廓区域内的动态变化情况推断耳朵的变化情况，方便用户捕捉耳朵动画特征。

下面参考图4，其示出了适于用来实现本公开实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(CPU，Central Processing Unit)401，其可以根据存储在只读存储器(ROM，Read Only Memory)402中的程序或者从存储部分408加载到随机访问存储器(RAM，Random Access Memory)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM402以及RAM 403通过总线404彼此相连。输入/输出(I/O，Input/Output)接口405也连接至总线404。

以下部件连接至I/O接口405：包括硬盘等的存储部分406；以及包括诸如LAN(局域网，Local Area Network)卡、调制解调器等的网络接口卡的通信部分407。通信部分407经由诸如因特网的网络执行通信处理。驱动器408也根据需要连接至I/O接口405。可拆卸介质409，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器408上，以便于从其上读出的计算机程序根据需要被安装入存储部分406。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分407从网络上被下载和安装，和/或从可拆卸介质409被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本公开的方法中限定的上述功能。需要说明的是，本公开所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种用于捕捉耳朵动画特征的方法，包括：

获取表演者的面部表情数据，其中，所述面部表情数据包括第一数目个深度图像；

对于所述面部表情数据中的每个深度图像，生成该深度图像对应于预先确定的耳朵动画模型的过程参数；

基于所述面部表情数据中的每个深度图像的过程参数，生成耳朵动画特征。

2.根据权利要求1所述的方法，其中，所述获取表演者的面部表情数据，包括：

启动深度摄像机；

接收所述深度摄像机返回的视频数据，其中，所述视频数据包括第一数目帧图像；

将所述视频数据转化为深度图像序列，其中，所述深度图像序列包括第一数目个深度图像；

将所述深度图像序列保存为所述面部表情数据。

3.根据权利要求1所述的方法，其中，所述方法还包括：

基于所述耳朵动画模型和所述面部表情数据中的第一个深度图像，生成面部关键区域内的面部关键点的初始位置信息，其中，所述面部关键区域包括左眼区域、右眼区域、嘴巴区域，以及，所述面部关键点的初始位置信息包括左眼左角的初始位置信息、右眼右角的初始位置信息、左眼睑中点的初始位置信息、右眼睑中点的初始位置信息、左嘴角的初始位置信息、右嘴角的初始位置信息；以及

利用所述耳朵动画模型得到所述第一个深度图像的初始模型关键点集合，生成第一个深度图像的脸部及五官轮廓；

对所述脸部及五官轮廓进行对齐归一化处理；

对于所述初始模型关键点集合中的每个初始模型关键点，沿所述脸部及五官轮廓的法线方向搜索以及完成灰度匹配，得到所述第一个深度图像的模型关键点集合；

将所述第一个深度图像的模型关键点集合中每个关键点的坐标确定为所述面部关键区域内的面部关键点的初始位置信息。

4.根据权利要求3所述的方法，其中，所述生成该深度图像对应于预先确定的耳朵动画模型的过程参数，包括：

基于该深度图像与所述耳朵动画模型，生成所述表演者的面部关键点的位置信息；

将所述表演者的面部关键点的位置信息保存为所述过程参数。

5.根据权利要求4所述的方法，其中，所述基于所述面部表情数据中的每个深度图像的过程参数，生成耳朵动画特征，包括：

基于该深度图像的过程参数，生成该深度图像对应的所述面部关键点的过程偏移量；

保存该深度图像的过程偏移量，得到所述耳朵动画特征。

6.根据权利要求5所述的方法，其中，所述基于该深度图像的过程参数，生成该深度图像对应的所述面部关键点的过程偏移量，包括：

将所述过程参数中的左眼左角位置信息与左眼左角的初始位置信息相匹配，生成左眼左角的过程偏移量；

将所述过程参数中的右眼右角位置信息与右眼右角的初始位置信息相匹配，生成左眼左角的过程偏移量；

将所述过程参数中的左眼睑中点位置信息与左眼睑中点的初始位置信息相匹配，生成左眼睑中点的过程偏移量；

将所述过程参数中的右眼睑中点位置信息与右眼睑中点的初始位置信息相匹配，生成右眼睑中点的过程偏移量；

将所述过程参数中的左嘴角位置信息与左嘴角的初始位置信息相匹配，生成左嘴角的过程偏移量；

将所述过程参数中的右嘴角中点位置信息与右嘴角的初始位置信息相匹配，生成右嘴角的过程偏移量。

7.根据权利要求5所述的方法，其中，所述保存该深度图像的过程偏移量，得到所述耳朵动画特征，包括：

保存该深度图像的过程偏移量，得到所述面部表情数据中的面部关键点的偏移数据；

根据所述面部表情数据中的面部关键点的偏移数据，确定耳朵的运动情况；

基于所述耳朵的运动情况，生成所述耳朵动画特征。

8.一种第一终端设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images