CN106327482B - 一种基于大数据的面部表情的重建方法及装置 - Google Patents

Abstract

本发明提供了一种基于大数据的面部表情的重建方法及装置，该方法包括：获取第一用户的面部表情图像序列，第一用户的面部具有多个特征点，面部表情图像序列包括不同帧的多个面部表情图像；根据不同帧多个面部表情图像中的各个特征点的坐标变化确定各个特征点的运动轨迹；根据各个特征点的运动轨迹在第二用户的三维面部几何模型上重建面部表情。本发明实施例采用在面部标记特征点的方式来获取第一用户的面部表情变化信息，并根据各个特征点的坐标变化来确定各个特征点的运动轨迹，再根据各个特征点的运动轨迹对面部表情进行重建，从而解决了面部表情重建技术的应用场景受限的问题，降低了面部表情捕捉、识别与重建过程的专业性和制作成本。

Description

一种基于大数据的面部表情的重建方法及装置

技术领域

本发明涉及面部表情捕捉、识别与重建技术领域，具体而言，涉及一种基于大数据的面部表情的重建方法及装置。

背景技术

目前，基于面部表情的应用变得越来越重要，从简单的网络虚拟角色向导、远程虚拟通讯，到复杂的人脸自动识别、人脸图像数据库的自动查询等均会涉及面部表情的变化。面部表情识别与重建的研究具有非常重要的意义和十分广阔的应用前景，面部表情识别与重建不仅有助于开发拟人化的多媒体计算机系统，还有助于进一步提高计算机在特定视频信号方面的处理能力，尤其在视频理解方面，计算机可以利用图像中面部表情信息去理解其所具有的情感、心理等等；在智能计算机和多媒体技术方面，面部表情识别与重建也是当前虚拟现实技术的关键，利用该技术可模仿各种人物的面部表情；在军事、公安和其他特殊领域上，可通过情感信息处理技术从计算机上获取更多的与面部表情相关的信息，从而指导相关人员进行事件分析，增加事件分析结论的可靠性。

当前，相关技术中提供了一种面部表情的重建方法，其中，常见的动态面部表情的特征提取一般通过光学捕捉，即在表演者的脸部表情关键点贴上Marker，通过对目标上特定光点的监视和跟踪来完成面部表情捕捉，由此可知，目前面部表情捕捉过程需要表演者的脸部佩戴专门的摄像装置并在面部关键点粘贴表面覆盖有特殊反光材料的专用贴纸，进而通过对特定光点的监视和跟踪进行面部表情捕捉；另外，目前面部表情识别与重建过程需要专业人士使用专门的软件对捕捉到的面部表情进行识别与重建。

在实现本发明的过程中，发明人发现相关技术中至少存在以下问题：相关技术中的面部表情捕捉、识别与重建过程对设备资源要求高、专业性强、应用场景受限。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于大数据的面部表情的重建方法及装置，以解决相关技术中的面部表情重建技术的应用场景受限的问题，降低面部表情捕捉、识别与重建过程的专业性和制作成本。

第一方面，本发明实施例提供了一种基于大数据的面部表情的重建方法，该方法包括：

获取第一用户的面部表情图像序列，所述第一用户的面部具有多个特征点，所述面部表情图像序列包括不同帧的多个面部表情图像；

根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹；

根据各个所述特征点的所述运动轨迹在第二用户的三维面部几何模型上重建面部表情。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹，包括：

将不同帧多个所述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对；

依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，并将全部所述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；

根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级；

根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，得到各个特征点的多个所述物理坐标的关联关系；

根据各个所述特征点的多个所述物理坐标的关联关系确定各个特征点的运动轨迹。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级，包括：

根据凸包算法确定所述特征点坐标集合的外边界顶点集合，将所述外边界顶点集合之间连线形成的多边形作为所述特征点坐标集合的外边界图形；

计算所述特征点坐标集合中各个所述特征点距所述外边界图形的距离；

按照各个所述特征点距所述外边界图形的距离由小到大的顺序确定各个特征点的匹配优先级为由高到低。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，包括：

步骤a：从所述特征点坐标集合中按照各个所述特征点的匹配优先级由高到低的顺序逐一选取一个所述特征点作为当前匹配对象；

步骤b：将距所述当前匹配对象距离最小的特征点作为所述当前匹配对象的匹配点，并将所述当前匹配对象和所述匹配点标记为已配对；

从未被标记的所述特征点中选取下一个当前匹配对象，重复执行步骤b，直到各个所述特征点均被标记为已配对。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，包括：

提取所述待匹配面部表情图像对中各个所述特征点的重心，并将各个所述特征点的重心对应的坐标作为所述特征点对应的物理坐标。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对之后，还包括：

根据接收到的确认信息判断所述两两配对对应的配对结果是否正确；

若否，则取消相应的配对关系，对取消配对关系后的所述特征点重新进行配对。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹之后，还包括：

对确定出的各个所述特征点的运动轨迹的位移向量的方向和位移向量的尺寸进行调整，得到调整后的各个所述特征点的运动轨迹。

第二方面，本发明实施例还提供了一种基于大数据的面部表情的重建装置，该装置包括：

图像序列获取模块，用于获取第一用户的面部表情图像序列，所述第一用户的面部具有多个特征点，所述面部表情图像序列包括不同帧的多个面部表情图像；

运动轨迹确定模块，用于根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹；

面部表情重建模块，用于根据各个所述特征点的所述运动轨迹在第二用户的三维面部几何模型上重建面部表情。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述运动轨迹确定模块包括：

表情图像对确定单元，用于将不同帧多个所述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对；

坐标获取单元，用于依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，并将全部所述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；

优先级确定单元，用于根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级；

特征点匹配单元，用于根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，得到各个特征点的多个所述物理坐标的关联关系；

运动轨迹确定单元，用于根据各个所述特征点的多个所述物理坐标的关联关系确定各个特征点的运动轨迹。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述优先级确定单元包括：

外边界图像确定子单元，用于根据凸包算法确定所述特征点坐标集合的外边界顶点集合，将所述外边界顶点集合之间连线形成的多边形作为所述特征点坐标集合的外边界图形；

距离计算子单元，用于计算所述特征点坐标集合中各个所述特征点距所述外边界图形的距离；

优先级确定子单元，用于按照各个所述特征点距所述外边界图形的距离由小到大的顺序确定各个特征点的匹配优先级为由高到低。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述特征点匹配单元包括：

当前匹配对象确定子单元，用于从所述特征点坐标集合中按照各个所述特征点的匹配优先级由高到低的顺序逐一选取一个所述特征点作为当前匹配对象；

特征点配对子单元，用于将距所述当前匹配对象距离最小的特征点作为所述当前匹配对象的匹配点，并将所述当前匹配对象和所述匹配点标记为已配对；从未被标记的所述特征点中选取下一个当前匹配对象，重复执行，直到各个所述特征点均被标记为已配对。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述坐标获取单元包括：

重心坐标获取子单元，用于提取所述待匹配面部表情图像对中各个所述特征点的重心，并将各个所述特征点的重心对应的坐标作为所述特征点对应的物理坐标。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第五种可能的实施方式，其中，所述运动轨迹确定模块还包括：

配对结果确认单元，用于根据接收到的确认信息判断所述两两配对对应的配对结果是否正确；若否，则取消相应的配对关系，对取消配对关系后的所述特征点重新进行配对。

结合第二方面，本发明实施例提供了第二方面的第六种可能的实施方式，其中，所述装置还包括：

位移向量调整模块，用于对确定出的各个所述特征点的运动轨迹的位移向量的方向和位移向量的尺寸进行调整，得到调整后的各个所述特征点的运动轨迹。

在本发明实施例提供的基于大数据的面部表情的重建方法及装置中，该方法包括：获取第一用户的面部表情图像序列，该第一用户的面部具有多个特征点，该面部表情图像序列包括不同帧的多个面部表情图像；根据不同帧多个面部表情图像中的各个特征点的坐标变化确定各个特征点的运动轨迹；根据各个特征点的运动轨迹在第二用户的三维面部几何模型上重建面部表情。本发明实施例通过采用在面部标记特征点的方式来获取第一用户的面部表情变化信息，并根据各个特征点的坐标变化来确定各个特征点的运动轨迹，再根据各个特征点的运动轨迹对面部表情进行重建，从而解决了面部表情重建技术的应用场景受限的问题，降低了面部表情捕捉、识别与重建过程的专业性和制作成本。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种基于大数据的面部表情的重建方法的流程示意图；

图2示出了本发明实施例所提供的确定各个特征点的运动轨迹的方法的流程示意图；

图3示出了本发明实施例所提供的图像大小的几何归一化预处理过程的计算模型的示意图；

图4示出了本发明实施例所提供的一种基于大数据的面部表情的重建装置的结构示意图；

图5示出了本发明实施例所提供的基于大数据的面部表情的重建装置中运动轨迹确定模块的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中的面部表情捕捉、识别与重建过程对设备资源要求高、专业性强、应用场景受限。基于此，本发明实施例提供了一种基于大数据的面部表情的重建方法及装置，下面通过实施例进行描述。

如图1所示，本发明实施例提供了一种基于大数据的面部表情的重建方法，该方法包括步骤S102-S106，具体如下：

步骤S102：获取第一用户的面部表情图像序列，该第一用户的面部具有多个特征点，该面部表情图像序列包括不同帧的多个面部表情图像；

步骤S104：根据不同帧多个上述面部表情图像中的各个特征点的坐标变化确定各个上述特征点的运动轨迹；

步骤S106：根据各个上述特征点的上述运动轨迹在第二用户的三维面部几何模型上重建面部表情。

具体的，可以通过第一用户(表演者)的脸部佩戴的微型摄像装置获取表演者的面部表情视频，并将该视频进行视频序列化处理，得到由多个动态图像组成的动态图像序列(面部表情图像序列)，其中，该视频包括在表演者面部的多个监控位置绘制的多个特征点的位移变化，该特征点的颜色、大小、形状、位置、数量是按照预设的特征点绘制规则确定的；

其中，由于考虑到基于序列图像来提取面部表情变化的时间信息和空间信息，能够获取更细腻的表情变化信息，因而，采用从图像序列中提取表情信息的方式，可以提升面部表情的识别效果，进而提高重建出的面部表情的逼真度，基于此，在本发明提供的实施例中，将获取的表演者的面部表情视频进行视频序列化处理，得到不同帧多个动态图像(面部表情图像)；按照各个动态图像生成的先后顺序将各个动态图像组成动态图像序列(第一用户的面部表情图像序列)，具体的，视频是由一帧帧随时间变化的图像组成的，在计算机视觉相关的实验中都需要视频与图片序列之间相互转换。在面部捕捉完成后，可采用OpenCV将视频转存为图像序列，也可以采用专门的序列化工具提取。基于序列图像来提取面部表情变化的时间和空间信息，能揭示更多的表情变化信息，因此从图像序列提取表情信息可获得更好的表情识别效果。

在本发明提供的实施例中，通过人脸图像获取、预处理、表情特征提取和分类识别等关键问题的研究，在保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理来提取逼真的表情数据，导入3D人脸模型，完成人脸表情重建和移植的应用。具体的，面部表情图像获取：主要采取在面部特征部位标定可区别人脸颜色的圆点(特征点)，并通过摄像头等图像捕捉工具进行捕捉来获取动态图像序列。捕捉技术一般会由表演者头戴固定装置，口红大小的微型摄影机绕过颈部近距离对准面部拍摄。在表演者面部的关键肌肉处均匀标记预设数量的标记点(如60个小绿点)，面部肌肉的运动轨迹被追踪并传输到计算机中。上述标记点直接描绘在人脸的皮肤组织上，以便能够捕捉到(面部肌肉)更加细节的变化。有些场合可能需要更精确的跟踪，例如面部表情变化的特写，这样就需要跟踪眉毛、额头、控制眼睛形状的肌肉、脸颊、下巴、控制嘴巴形状的肌肉等等。这就需要更多的关键点，点位越多，制作出来的动画就越逼真。

具体的，按照预设的特征点绘制规则在第一用户的面部标记特征点，主要包括：

(1)特征点位置：涂点位置需在特征位，也就是关键肌肉处；

(2)特征点形状：涂点需均匀，并以圆形为原型。特殊部位，特殊对待，以该涂点任何时刻都可见为原则。(例如：嘴唇位置，点的面积需进行上下方向的拉伸，使其成为椭圆，便于运动中一直可见，涂点密集位置，方可适当减小点的面积)；

(3)特征点颜色：涂点的颜色须与人脸底色区分开(如以蓝色示例)；

(4)特征点数量：涂点数量不宜多也不宜少，过多会增加匹配的复杂度，过少则提取的表情细腻度会降低。因此，可根据实际的应用场景进行调整(下述以面部绘制60个特征点为例)。

具体的，通过视觉方法建立三维面部几何模型的一般过程如下：首先通过摄像设备获取不同视点的特定人脸图像，并建立一个一般三维人脸网络模型；然后从不同视点的人脸图像提取人脸的特征，即在不同人脸图像上标注对应的人脸特征点，如眼角、嘴角以及鼻尖等部位；使用视觉方法计算人脸特征点的三维空间点位置，并应用于变形一般三维人脸网络模型，从而建立特定人脸的几何模型；最后，使用多视点人脸图像合成特定人脸的纹理图像并进行纹理映射，从而建立特定人的真实感三维人脸模型。

本发明实施例中的基于大数据的面部表情的重建方法，能够利用基于大数据的云计算方式从云服务器中获取预先存储的第一用户的面部表情图像序列，在本地根据该面部表情图像序列确定各个特征点的运动轨迹；同样的，也可以利用基于大数据的云计算方式将通过摄像装置获取的面部表情图像序列上传至云服务器之中，利用云服务器存储大量面部表情图像序列，以便后续进行表情重建时直接调用，从而减少本地存储量，降低对本地存储量的需求。

在本发明提供的实施例中，通过采用在面部标记特征点的方式来获取第一用户的面部表情变化信息，并根据各个特征点的坐标变化来确定各个特征点的运动轨迹，再根据各个特征点的运动轨迹对面部表情进行重建，从而解决了面部表情重建技术的应用场景受限的问题，降低了面部表情捕捉、识别与重建过程的专业性和制作成本。

进一步的，上述步骤S104根据不同帧多个上述面部表情图像中的各个特征点的坐标变化确定各个上述特征点的运动轨迹，如图2所示，具体包括：

步骤S1041：将不同帧多个上述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对，得到多个待匹配面部表情图像对(相邻时刻的两帧面部表情图像)，接下来需要通过步骤S1042至步骤S1044分别各个待匹配面部表情图像对中的各个特征点进行匹配关联，将多个面部表情图像中同一特征点对应的不同时刻多个物理坐标进行匹配关联，即将每张动态图像(面部表情图像)中各个特征点的物理坐标与该动态图像的前一帧的动态图像中对应的特征点的物理坐标动态关联起来；

步骤S1042：依次获取上述待匹配面部表情图像对中所有上述特征点对应的物理坐标，并将全部上述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；

步骤S1043：根据凸包算法和预设的优先级匹配策略确定上述特征点坐标集合中各个上述特征点的匹配优先级；

步骤S1044：根据最短距离握手原则和各个上述特征点的匹配优先级对上述特征点坐标集合中各个上述物理坐标进行两两配对，即将T0时刻的第n个特征点的重心坐标与T1时刻的第n个特征点的重心坐标之间进行关联，通过对多个面部表情图像中各个待匹配面部表情图像对中各个物理坐标进行两两配对后，得到各个特征点的多个上述物理坐标的关联关系，即第一帧面部表情图像中第n个特征点的重心坐标至最后一帧面部表情图像中第n个特征点的重心坐标依次进行关联，从而得到各个特征点的多个物理坐标的关联关系；

步骤S1045：根据各个上述特征点的多个上述物理坐标的关联关系确定各个特征点的运动轨迹，可以根据确定出的各个特征点的运动轨迹确定面部表情的二维空间集合。

其中，表情特征提取过程主要是：将点阵转化成运动轨迹,在保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理来提取逼真的表情数据。

具体的，上述步骤S1043根据凸包算法和预设的优先级匹配策略确定上述特征点坐标集合中各个上述特征点的匹配优先级，具体包括：

根据凸包算法确定上述特征点坐标集合的外边界顶点集合，将上述外边界顶点集合之间连线形成的多边形作为上述特征点坐标集合的外边界图形；

计算上述特征点坐标集合中各个上述特征点距上述外边界图形的距离，其中，对于特征点坐标集合中每个元素，将计算得到的多个距离中最小值作为该元素距外边界图形的最终距离；

按照各个上述特征点距上述外边界图形的距离由小到大的顺序确定各个特征点的匹配优先级为由高到低，即外边界图形上的特征点的匹配优先级最高。

需要说明的是，通过大量数据验证，与按照特征点所在位置自上而下、或者以嘴为分界线来确定各个特征点的匹配优先级相比较，采用本发明实施例提出的根据各个特征点到外边界的距离来确定各个特征点的匹配优先级，可以提高后续特征点匹配的准确率。

具体的，上述步骤S1044根据最短距离握手原则和各个上述特征点的匹配优先级对上述特征点坐标集合中各个上述物理坐标进行两两配对，具体包括：

步骤a：从上述特征点坐标集合中按照各个上述特征点的匹配优先级由高到低的顺序逐一选取一个上述特征点作为当前匹配对象；

步骤b：将距上述当前匹配对象距离最小的特征点作为上述当前匹配对象的匹配点，并将上述当前匹配对象和上述匹配点标记为已配对；

从未被标记的上述特征点中选取下一个当前匹配对象，重复执行步骤b，直到各个上述特征点均被标记为已配对。

其中，在特征点的匹配过程中，假设前一帧的面部表情图像中的各个特征点均为绿点，当前要匹配的帧的面部表情图像中的各个特征点均为红点。根据预设的匹配优先级策略，优先匹配距离外边界图形最短的特征点，可以将该特征点定义为F。若F点为绿点，那匹配范围应该就是周围距离该绿点最近的那个红点。如果距离最近的这个红点已被标记为已配对，则使用次近的那个红点。同理，若F点为红点，那么匹配范围就是绿点。匹配完成一次，则保存当前帧中该元素的XY坐标，并从T集合中进行标记，直至所有元素。

接下来，具体说明确定各个特征点的运动轨迹的过程，以将T₀时刻对应的面部表情图像和T₁时刻对应的面部表情图像作为当前待待匹配面部表情图像对(T₀时刻和T₁时刻为相邻时刻)，具体如下：

(1)获取T₀时刻对应的面部表情图像中各个特征点的重心位置(T₀-0、T₀-1、T₀-2、T₀-3、T₀-4、T₀-5、T₀-6、T₀-7、T₀-8、T₀-9、…T₀-n)，记录集合为Q₁；

(2)获取T₁时刻对应的面部表情图像中各个特征点的重心位置(T₁-0、T₁-1、T₁-2、T₁-3、T₁-4、T₁-5、T₁-6、T₁-7、T₁-8、T₁-9、…T₁-n)，记录集合为Q₂；

(3)确定集合Q₁与Q₂的并集Q＝{T₀-0、T₀-1、T₀-2、T₀-3、T₀-4、T₀-5、T₀-6、T₀-7、T₀-8、T₀-9、…T₀-n、T₁-0、T₁-1、T₁-2、T₁-3、T₁-4、T₁-5、T₁-6、T₁-7、T₁-8、T₁-9、…T₁-n}；

(4)通过凸包算法求取集合Q的外边界顶点集合S＝{T₀-0、T₀-1、T₀-2、T₀-4、T₀-5、T₀-6、T₁-1、T₁-2、T₁-3、T₁-4}，计算集合Q中每一个元素到外边界顶点集合S的最小距离，根据计算得到的最小距离确定优先级匹配序列集合T；

(5)根据集合T可知，一般在外边界线上的特征点的优先级都是最高的，对T₀-0进行匹配，根据最短距离握手，找到T₁-0；同理，对T₁-3进行匹配，根据最短距离握手，找到T₀-3，握手成功后对将特征点对标记为已配对；

(6)最后依次握手其它优先级别低的元素，直至所有元素配对成功，记录集合对应关系和每个元素的位置(X，Y)；

同样的，对于不同帧的多个面部表情图像中两两相邻面部表情图像均按照步骤(1)至(6)的方式对各个特征点进行匹配；

(7)根据确定出的各个重心坐标的关联关系统计各个特征点的轨迹数据，横坐标表示在一帧图像中的每一个特征点的P(X，Y)物理坐标，纵坐标为序列帧；通过纵坐标对比，会发现每个特征点P(X，Y)的坐标值大致在一个范围内波动；如果有某个特征点波动范围较大，那就说明该特征点极有可能在眼睛或者嘴巴周围；

根据上述方法，在一段时间内，可以得到序列帧图像上60个特征点的运动轨迹，根据轨迹的集合即可得到整个面部表情的二维空间运动集合。

在本发明提供的实施例中，通过采用给出的确定各个特征点的匹配优先级的具体技术方案、以及通过采用给出的对各个特征点(物理坐标)进行配对的特征点匹配策略的具体技术方案，可以保证特征点配对准确度、以及保证确定出的特征点运动轨迹的准确度，进而保证重建的面部表情的逼真度。

具体的，由于考虑到提取出的特征点对应的连通区域均为多边形，因而，采用将多边形的重心位置作为特征点的物理坐标的方式，实现对特征点进行准确定位，基于此，上述步骤S1042依次获取上述待匹配面部表情图像对中所有上述特征点对应的物理坐标，具体包括：

提取上述待匹配面部表情图像对中各个上述特征点的重心，并将各个上述特征点的重心对应的坐标作为上述特征点对应的物理坐标。

进一步的，考虑到对特征点坐标集合中各个物理坐标(特征点)进行配对过程中，可能存在配对错误的情况，基于此，上述步骤S1044根据最短距离握手原则和各个上述特征点的匹配优先级对上述特征点坐标集合中各个上述物理坐标进行两两配对之后，还包括：

根据接收到的确认信息判断上述两两配对对应的配对结果是否正确；

若否，则取消相应的配对关系，对取消配对关系后的上述特征点重新进行配对。

其中，由于考虑到每次的匹配均以上一帧作为参考帧，假如有部分点位匹配出现错误，则引起后续的匹配均出现错误，因此需要引入通过外界的确认信息对匹配错误的特征点进行纠正来获取更加逼真的表情数据，例如，由于唇部动作幅度会相对大一些，标记点的点位会因为遮挡、光照等原因消失或者分裂，另外，单帧预览功能只能辅助解决单帧点位的识别，比如识别点位多于60或者少于60的情况，对于每一帧识别的点位个数均是60的情况，无法进行更细致的校正，因此需要动态预览来弥补这一不足；动态预览主要实现上下帧的点位连线，根据连线很容易判断点位的轨迹是否匹配，同理支持添加、移动和删除操作。

实际使用过程中，由于面部表情图像序列帧的数量是非常庞大的，因此需要在快速播放过程中记下匹配错误的帧号，再在动态预览中输入要调整的帧号，即可快速定位从而实现对匹配错误的特征点进行纠正。

在本发明提供的实施例中，通过引入对确定出的配对结果进行确认，从而，可以提高特征点配对的准确度，进而保证确定出的各个特征点的运动轨迹的准确性。

进一步的，上述步骤S104根据不同帧多个上述面部表情图像中的各个特征点的坐标变化确定各个上述特征点的运动轨迹之后，还包括：

对确定出的各个上述特征点的运动轨迹的位移向量的方向和位移向量的尺寸进行调整，得到调整后的各个上述特征点的运动轨迹。

其中，模型的动画驱动是表情移植的重要部分，建模和动画驱动都是人脸面部运动数据体现的载体，而且模板模型的设置对后面表情移植的实现也起着至关重要的作用，例如：有的模型鼻子较大或者颧骨较为突出等等，在人脸模型上呈现时，其几何特征可能就会存在着巨大的差异，因此所捕获的特征点轨迹不能简单直接地不经过调整就传递给目标模型，还需调整位移向量的方向和位移向量的尺度，来保持形变的逼真度。

在本发明提供的实施例中，通过对确定出的运动轨迹的位移向量的方向和尺寸进行统一调整，然后再将调整后的运动轨迹输入至相应的三维面部几何模型中，从而保证重建得到的面部表情的逼真度。

另外，考虑到在面部捕捉过程中，一般都存在背景干扰，特别是对于复杂背景中的面部表情图像(人脸图像)，如果对该面部表情图像直接进行表情识别，在识别过程将受图像中的其它背景因素的干扰，从而导致识别率会大幅下降；其中，对于表情识别来说，与人脸相连的颈部、头发等也都只是背景，对于识别没有帮助，因此，需要对原图像进行切割，只保留了面部的主要区域，基于此，在上述基于大数据的面部表情的重建方法中，该方法还可以包括：

对获取的面部表情视频信息进行预处理，其中，该预处理包括以下中的一种或者多种：图像大小的几何归一化、图像颜色的灰度归一化、或者前背景的分离处理；

具体的，(a)对获取的动态图像序列进行图像的几何归一化处理，具体包括：从多个特征点中选取预设数量的表情变化程度小于预设阈值的特征点作为基准特征点，并获取该基准特征点分别对应的坐标；根据获取的基准特征点的坐标旋转动态图像序列中的各个动态图像，以保证各个动态图像的面部方向一致；根据旋转后的各个动态图像中的特征点和预先建立的几何模型确定矩形特征区域；根据确定出的矩形特征区域对各个动态图像进行图像截取，将截取的图像进行几何归一化处理；

其中，几何归一化处理也称为位置校准，在此过程将有助于矫正因成像距离和人脸姿势变化造成的尺寸差异和角度倾斜，从而解决人脸尺度变化和人脸旋转问题。几何归一化处理的目的主要是将表情面部图像变换为统一的尺寸，有利于表情特征的提取，其中，几何归一化分两步：人脸校正和人脸裁剪。

如图3所示，给出了图像大小的几何归一化预处理过程的计算模型的示意图，几何归一化处理的具体过程如下：

(1)标定特征点：用[x,y]＝ginput(3)函数来标定左右额头和鼻子三个特征点(尽量选取受表情等影响相对变动较小的特征点位置)，获取三个特征点的坐标值；

(2)根据左右额头的坐标值旋转图像，以保证人脸方向的一致性，设左右额头之间的距离为d，中点为O；

(3)根据面部特征点和几何模型确定矩形特征区域，以O为基准，左右各剪切d，垂直方向各取0.55d和1.45d的矩形区域进行裁剪；

(4)对面部表情子区域图像进行尺度变换为统一的尺寸，更有利于表情特征的提取，把截取的图像统一规格为X*Y的图像，实现图像的几何归一化。

(b)对获取的动态图像序列进行图像的灰度归一化处理，具体包括：获取动态图像序列中的各个动态图像的颜色值；将获取的各个动态图像的颜色值调整至255数值，得到各个动态图像对应的灰度图；

其中，灰度归一化处理用来对不同光强，光源方向下得到的人脸图像进行补偿，以减弱单纯由于光照变化造成的图像信号的变化，由于在图像采集中光照的改变容易导致图像呈现不同的明暗程度，特别是特征涂点容易受光照影响，因此需要对面部表情图像进行灰度归一化处理，以此来优化特征提取结果。

(c)对获取的动态图像序列进行前背景的分离处理，具体包括：利用四连通和八连通的方式分别获取各个动态图像的多个特征点对应的连通区域；记录获取的各个特征点对应的连通区域组成的外接多边形；

其中，前背景分离(matting)也称抠图，即将图像或视频的某一感兴趣部分从原始图像或视频中分离出来，在本发明提供的实施例中只需要提取前景信息，即将所有的特征点区域集合分离出来。

在本发明提供的基于大数据的面部表情的重建方法中，通过采用在面部标记特征点的方式来获取第一用户的面部表情变化信息，并根据各个特征点的坐标变化来确定各个特征点的运动轨迹，再根据各个特征点的运动轨迹对面部表情进行重建，从而解决了面部表情重建技术的应用场景受限的问题，降低了面部表情捕捉、识别与重建过程的专业性和制作成本；进一步的，通过采用给出的确定各个特征点的匹配优先级的具体技术方案、以及通过采用给出的对各个特征点进行配对的特征点匹配策略的具体技术方案，可以保证特征点配对准确度、以及保证确定出的特征点运动轨迹的准确度，进而保证重建的面部表情的逼真度；更进一步的，通过对确定出的配对结果进行确认，从而，可以提高特征点配对的准确度，进而保证确定出的各个特征点的运动轨迹的准确性。

本发明实施例还提供一种基于大数据的面部表情的重建装置，如图4所示，该装置包括：

图像序列获取模块302，用于获取第一用户的面部表情图像序列，该第一用户的面部具有多个特征点，该面部表情图像序列包括不同帧的多个面部表情图像；

运动轨迹确定模块304，用于根据不同帧多个上述面部表情图像中的各个特征点的坐标变化确定各个上述特征点的运动轨迹；

面部表情重建模块306，用于根据各个上述特征点的上述运动轨迹在第二用户的三维面部几何模型上重建面部表情。

在本发明提供的实施例中，通过采用在面部标记特征点的方式来获取第一用户的面部表情变化信息，并根据各个特征点的坐标变化来确定各个特征点的运动轨迹，再根据各个特征点的运动轨迹对面部表情进行重建，从而解决了面部表情重建技术的应用场景受限的问题，降低了面部表情捕捉、识别与重建过程的专业性和制作成本。

进一步的，如图5所示，上述运动轨迹确定模块304包括：

表情图像对确定单元3041，用于将不同帧多个上述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对；

坐标获取单元3042，用于依次获取上述待匹配面部表情图像对中所有上述特征点对应的物理坐标，并将全部上述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；

优先级确定单元3043，用于根据凸包算法和预设的优先级匹配策略确定上述特征点坐标集合中各个上述特征点的匹配优先级；

特征点匹配单元3044，用于根据最短距离握手原则和各个上述特征点的匹配优先级对上述特征点坐标集合中各个上述物理坐标进行两两配对，得到各个特征点的多个上述物理坐标的关联关系；

运动轨迹确定单元3045，用于根据各个上述特征点的多个上述物理坐标的关联关系确定各个特征点的运动轨迹。

进一步的，上述优先级确定单元3043包括：

外边界图像确定子单元，用于根据凸包算法确定上述特征点坐标集合的外边界顶点集合，将上述外边界顶点集合之间连线形成的多边形作为上述特征点坐标集合的外边界图形；

距离计算子单元，用于计算上述特征点坐标集合中各个上述特征点距上述外边界图形的距离；

优先级确定子单元，用于按照各个上述特征点距上述外边界图形的距离由小到大的顺序确定各个特征点的匹配优先级为由高到低。

进一步的，上述特征点匹配单元3044包括：

当前匹配对象确定子单元，用于从上述特征点坐标集合中按照各个上述特征点的匹配优先级由高到低的顺序逐一选取一个上述特征点作为当前匹配对象；

特征点配对子单元，用于将距上述当前匹配对象距离最小的特征点作为上述当前匹配对象的匹配点，并将上述当前匹配对象和上述匹配点标记为已配对；从未被标记的上述特征点中选取下一个当前匹配对象，重复执行，直到各个上述特征点均被标记为已配对。

进一步的，上述坐标获取单元3042包括：

重心坐标获取子单元，用于提取上述待匹配面部表情图像对中各个上述特征点的重心，并将各个上述特征点的重心对应的坐标作为上述特征点对应的物理坐标。

进一步的，上述运动轨迹确定模块304还包括：

配对结果确认单元，用于根据接收到的确认信息判断上述两两配对对应的配对结果是否正确；若否，则取消相应的配对关系，对取消配对关系后的上述特征点重新进行配对。

进一步的，上述装置还包括：

位移向量调整模块，用于对确定出的各个上述特征点的运动轨迹的位移向量的方向和位移向量的尺寸进行调整，得到调整后的各个上述特征点的运动轨迹。

在本发明实施例提供的基于大数据的面部表情的重建装置中，通过采用在面部标记特征点的方式来获取第一用户的面部表情变化信息，并根据各个特征点的坐标变化来确定各个特征点的运动轨迹，再根据各个特征点的运动轨迹对面部表情进行重建，从而解决了面部表情重建技术的应用场景受限的问题，降低了面部表情捕捉、识别与重建过程的专业性和制作成本；进一步的，通过采用给出的确定各个特征点的匹配优先级的具体技术方案、以及通过采用给出的对各个特征点进行配对的特征点匹配策略的具体技术方案，可以保证特征点配对准确度、以及保证确定出的特征点运动轨迹的准确度，进而保证重建的面部表情的逼真度；更进一步的，通过对确定出的配对结果进行确认，从而，可以提高特征点配对的准确度，进而保证确定出的各个特征点的运动轨迹的准确性。

本发明实施例所提供的基于大数据的面部表情的重建装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种基于大数据的面部表情的重建方法，其特征在于，所述方法包括：

获取第一用户的面部表情图像序列，所述第一用户的面部具有多个特征点，所述面部表情图像序列包括不同帧的多个面部表情图像；

根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹；

所述根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹，包括：

将不同帧多个所述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对；

依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，并将全部所述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；

根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级；

根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，得到各个特征点的多个所述物理坐标的关联关系；

根据各个所述特征点的多个所述物理坐标的关联关系确定各个特征点的运动轨迹；

根据各个所述特征点的所述运动轨迹在第二用户的三维面部几何模型上重建面部表情。

2.根据权利要求1所述的方法，其特征在于，所述根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级，包括：

根据凸包算法确定所述特征点坐标集合的外边界顶点集合，将所述外边界顶点集合之间连线形成的多边形作为所述特征点坐标集合的外边界图形；

计算所述特征点坐标集合中各个所述特征点距所述外边界图形的距离；

按照各个所述特征点距所述外边界图形的距离由小到大的顺序确定各个特征点的匹配优先级为由高到低。

3.根据权利要求1所述的方法，其特征在于，所述根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，包括：

步骤a：从所述特征点坐标集合中按照各个所述特征点的匹配优先级由高到低的顺序逐一选取一个所述特征点作为当前匹配对象；

步骤b：将距所述当前匹配对象距离最小的特征点作为所述当前匹配对象的匹配点，并将所述当前匹配对象和所述匹配点标记为已配对；

从未被标记的所述特征点中选取下一个当前匹配对象，重复执行步骤b，直到各个所述特征点均被标记为已配对。

4.根据权利要求1所述的方法，其特征在于，所述依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，包括：

提取所述待匹配面部表情图像对中各个所述特征点的重心，并将各个所述特征点的重心对应的坐标作为所述特征点对应的物理坐标。

5.根据权利要求1所述的方法，其特征在于，所述根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对之后，还包括：

根据接收到的确认信息判断所述两两配对对应的配对结果是否正确；

若否，则取消相应的配对关系，对取消配对关系后的所述特征点重新进行配对。

6.根据权利要求1所述的方法，其特征在于，所述根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹之后，还包括：

对确定出的各个所述特征点的运动轨迹的位移向量的方向和位移向量的尺寸进行调整，得到调整后的各个所述特征点的运动轨迹。

7.一种基于大数据的面部表情的重建装置，其特征在于，所述装置包括：

图像序列获取模块，用于获取第一用户的面部表情图像序列，所述第一用户的面部具有多个特征点，所述面部表情图像序列包括不同帧的多个面部表情图像；

运动轨迹确定模块，用于根据不同帧多个所述面部表情图像中的各个特征点的坐标变化确定各个所述特征点的运动轨迹；

其中，所述运动轨迹确定模块包括：

表情图像对确定单元，用于将不同帧多个所述面部表情图像中两两相邻面部表情图像作为待匹配面部表情图像对；

坐标获取单元，用于依次获取所述待匹配面部表情图像对中所有所述特征点对应的物理坐标，并将全部所述物理坐标组成面部表情图像相邻时刻的特征点坐标集合；

优先级确定单元，用于根据凸包算法和预设的优先级匹配策略确定所述特征点坐标集合中各个所述特征点的匹配优先级；

特征点匹配单元，用于根据最短距离握手原则和各个所述特征点的匹配优先级对所述特征点坐标集合中各个所述物理坐标进行两两配对，得到各个特征点的多个所述物理坐标的关联关系；

运动轨迹确定单元，用于根据各个所述特征点的多个所述物理坐标的关联关系确定各个特征点的运动轨迹；

面部表情重建模块，用于根据各个所述特征点的所述运动轨迹在第二用户的三维面部几何模型上重建面部表情。

8.根据权利要求7所述的装置，其特征在于，所述优先级确定单元包括：

外边界图像确定子单元，用于根据凸包算法确定所述特征点坐标集合的外边界顶点集合，将所述外边界顶点集合之间连线形成的多边形作为所述特征点坐标集合的外边界图形；

距离计算子单元，用于计算所述特征点坐标集合中各个所述特征点距所述外边界图形的距离；

优先级确定子单元，用于按照各个所述特征点距所述外边界图形的距离由小到大的顺序确定各个特征点的匹配优先级为由高到低。

9.根据权利要求7所述的装置，其特征在于，所述特征点匹配单元包括：

当前匹配对象确定子单元，用于从所述特征点坐标集合中按照各个所述特征点的匹配优先级由高到低的顺序逐一选取一个所述特征点作为当前匹配对象；

特征点配对子单元，用于将距所述当前匹配对象距离最小的特征点作为所述当前匹配对象的匹配点，并将所述当前匹配对象和所述匹配点标记为已配对；从未被标记的所述特征点中选取下一个当前匹配对象，重复执行，直到各个所述特征点均被标记为已配对。

10.根据权利要求7所述的装置，其特征在于，所述坐标获取单元包括：

重心坐标获取子单元，用于提取所述待匹配面部表情图像对中各个所述特征点的重心，并将各个所述特征点的重心对应的坐标作为所述特征点对应的物理坐标。

11.根据权利要求7所述的装置，其特征在于，所述运动轨迹确定模块还包括：

配对结果确认单元，用于根据接收到的确认信息判断所述两两配对对应的配对结果是否正确；若否，则取消相应的配对关系，对取消配对关系后的所述特征点重新进行配对。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

位移向量调整模块，用于对确定出的各个所述特征点的运动轨迹的位移向量的方向和位移向量的尺寸进行调整，得到调整后的各个所述特征点的运动轨迹。