CN104794444A - 一种即时视频中的表情识别方法和电子设备 - Google Patents

Abstract

本发明公开了一种即时视频中的表情识别方法，属于视频领域。所述方法包括：获取即时视频帧中人脸的至少一个特征点所对应的特征向量，特征点用于描述所述人脸的当前表情；识别至少一个特征点所对应的特征向量，生成识别结果；根据识别结果，确定当前表情为预先存储的多个表情中的一个。本发明通过根据特征向量，识别即时视频中的人脸表情，从而满足了用户的多样化需求，提高了用户体验效果。

Description

一种即时视频中的表情识别方法和电子设备

技术领域

本发明涉及视频领域，特别涉及一种即时视频中的表情识别方法和电子设备。

背景技术

随着即时视频应用在移动终端上的普及，使得越来越多的用户通过即时视频应用来实现与他人之间的交互，因此需要一种在即时视频中的表情识别方法，来满足用户在通过即时视频应用来实现与他人之间的交互时的个性化需求，提高交互场景下的用户体验。

现有技术提供一种表情识别方法，该方法具体包括：从预先录制的视频中获取所要识别的当前帧画面，对当前帧画面中的人脸表情进行识别，并对其他帧图像继续执行上述步骤，从而对视频中的视频帧画面中人脸表情进行识别。

但是该方法由于无法实时识别即时视频中的人脸表情，且在实现过程中，由于该方法会大量占用设备的处理资源和存储资源，所以该方法对设备的要求较高，使得该方法无法应用于如智能手机和平板电脑等移动终端，从而无法满足用户的多样化需求，降低了用户体验效果。

发明内容

为了满足用户的多样化需求，提高用户体验效果，本发明实施例提供了一种即时视频中的表情识别方法和电子设备。所述技术方案如下：

第一方面，提供了一种即时视频中的表情识别方法，所述方法包括：

获取即时视频帧中人脸的至少一个特征点所对应的特征向量，所述特征点用于描述所述人脸的当前表情；

识别所述至少一个特征点所对应的特征向量，生成识别结果；

根据所述识别结果，确定所述当前表情为预先存储的多个表情中的一个。

结合第一方面，在第一种可能的实现方式中，所述特征向量包括标准姿态矩阵下的特征点坐标和纹理特征点坐标，所述纹理特征点用于唯一确定所述特征点，所述获取即时视频帧中人脸的至少一个特征点所对应的特征向量包括：

获取所述标准姿态矩阵下的所述至少一个特征点坐标和至少一个纹理特征点坐标；

根据所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，生成所述至少一个特征点所对应的特征向量。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述获取所述标准姿态矩阵下的所述至少一个特征点坐标和至少一个纹理特征点坐标包括：

获取所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标；

将所述至少一个特征点进行归一化处理，得到所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述将所述至少一个特征点进行归一化处理，得到所述标准姿态矩阵下的所述至少一个特征点所述至少一个纹理特征点坐标包括：

根据所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，获取所述即时视频帧中人脸的所述至少一个特征点和所述至少一个纹理特征点对应的当前姿态矩阵；

将所述当前姿态矩阵旋转为标准姿态矩阵，并获取所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述识别所述至少一个特征点所对应的特征向量包括：

将所述至少一个特征点所对应的特征向量输入预设表情模型库中进行计算，获取在至少一个预设表情模型中的计算结果，所述计算结果用于表示识别结果。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述根据所述识别结果，确定所述当前表情为预先存储的多个表情中的一个包括：

若所述识别结果在预设范围内，则判定所述特征向量所对应的表情为预先存储的多个表情中的一个。

第二方面，提供了一种电子设备，所述电子设备包括：

获取模块，用于获取即时视频帧中人脸的至少一个特征点所对应的特征向量，所述特征点用于描述所述人脸的当前表情；

识别模块，用于识别所述至少一个特征点所对应的特征向量，生成识别结果；

确定模块，用于根据所述识别结果，确定所述当前表情为预先存储的多个表情中的一个。

结合第二方面，在第一种可能的实现方式中，

所述获取模块还用于，获取标准姿态矩阵下的所述至少一个特征点坐标和至少一个纹理特征点坐标；

所述识别模块还用于，根据所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，生成所述至少一个特征点所对应的特征向量。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，

所述获取模块还用于，获取所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标；

所述设备还包括处理模块，用于将所述至少一个特征点进行归一化处理，得到所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，

所述获取模块还用于，根据所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，获取所述即时视频帧中人脸的所述至少一个特征点和所述至少一个纹理特征点对应的当前姿态矩阵；

所述处理模块还用于将所述当前姿态矩阵旋转为标准姿态矩阵，并获取所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

结合第二方面的第一种或者第二种可能的实现方式，在第四种可能的实现方式中，所述设备还包括：

计算模块，用于将所述至少一个特征点所对应的特征向量输入预设表情模型库中进行计算，获取所述识别结果。

结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述确定模块具体用于：

若所述识别结果在预设范围内，则判定所述特征向量所对应的表情为预先存储的多个表情中的一个。

第三方面，提供了一种电子设备，包括是视频输入模块、视频输出模块、发送模块、接收模块、存储器以及与所述视频输入模块、所述视频输出模块、所述发送模块、所述接收模块和所述存储器连接的处理器，其中，所述存储器存储一组程序代码，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

获取即时视频帧中人脸的至少一个特征点所对应的特征向量，所述特征点用于描述所述人脸的当前表情；

识别所述至少一个特征点所对应的特征向量，生成识别结果；

根据所述识别结果，确定所述当前表情为预先存储的多个表情中的一个。

结合第三方面，在第一种可能的实现方式中，所述处理器还用于调用所述存储器中存储的程序代码，执行以下操作：

获取所述标准姿态矩阵下的所述至少一个特征点坐标和至少一个纹理特征点坐标；

根据所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，生成所述至少一个特征点所对应的特征向量。

结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理器还用于调用所述存储器中存储的程序代码，执行以下操作：

获取所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标；

将所述至少一个特征点进行归一化处理，得到所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述处理器还用于调用所述存储器中存储的程序代码，执行以下操作：

根据所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，获取所述即时视频帧中人脸的所述至少一个特征点和所述至少一个纹理特征点对应的当前姿态矩阵；

将所述当前姿态矩阵旋转为标准姿态矩阵，并获取所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述处理器还用于调用所述存储器中存储的程序代码，执行以下操作：

将所述至少一个特征点所对应的特征向量输入预设表情模型库中进行计算，获取所述识别结果。

结合第三方面的第四种可能的实现方式，在第五种可能的实现方式中，所述处理器还用于调用所述存储器中存储的程序代码，执行以下操作：

若所述识别结果在预设范围内，则判定所述特征向量所对应的表情为预先存储的多个表情中的一个。

本发明实施例提供了一种即时视频中的表情识别方法和电子设备，包括：获取即时视频帧中人脸的至少一个特征点所对应的特征向量，特征点用于描述所述人脸的当前表情；识别至少一个特征点所对应的特征向量，生成识别结果；根据识别结果，确定当前表情为预先存储的多个表情中的一个。通过在即时视频中获取用于描述人脸的当前表情的特征点，从而使得通过特征点获取特征点对应的特征向量更加能够准确的表示人脸的当前表情，再通过识别特征向量，根据特征向量获取识别结果，简化了在即时视频中识别人脸的算法的复杂度，使得通过本发明实施例提供的方法可以在移动终端上运行，满足了用户的多样化需求，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种交互系统示意图；

图2是本发明实施例提供的一种交互系统示意图；

图3是本发明实施例提供的一种交互系统示意图；

图4是本发明实施例提供的一种即时视频中的表情识别方法流程图；

图5是本发明实施例提供的一种即时视频中的表情识别方法流程图；

图6是本发明实施例提供的一种电子设备结构示意图；

图7是本发明实施例提供的一种电子设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种即时视频中的表情识别方法，该方法应用于一种包括至少两个移动终端和服务器的交互系统中，其中，移动终端可以运行一即时视频程序，用户可通过运行该移动终端上的即时视频程序来实现与他人之间的交互，该移动终端可以是智能手机(Smart Phone)，可以是平板电脑(TabletComputer)，还可以是其他移动终端，本发明实施例对具体的移动终端不加以限定。移动终端至少包括视频输入模块和视频显示模块，视频输入模块可以包括摄像头，视频显示模块可以包括显示屏，即时视频程序可以通过控制移动终端的视频输入模块实现即时视频的输入，还可以通过控制视频显示模块实现即时视频的显示。

该交互系统可以参照图1所示，在该交互系统中，移动终端1为即时视频发送方，移动终端2为即时视频接收方，移动终端1所发送的即时视频经由服务器转发至移动终端2；移动终端1的用户与移动终端2的用户可以通过该交互系统实现交互。

特别的，本发明实施例所提供的方法的执行主体，即电子设备，可以是移动终端1、移动终端2和服务器中的任意一个，若该方法的执行主体是移动终端1，则移动终端1接收通过自身的视频输入模块输入的即时视频后，对该即时视频中的人脸进行表情识别，将识别结果经服务器转发至移动终端2，和/或通过自身的显示屏输出识别结果；若该方法的执行主体是服务器，则移动终端1和/或移动终端2在通过自身的视频输入模块输入即时视频后，将该即时视频发送至服务器，由服务器对即时视频中的人脸表情进行识别，再将识别结果发送至移动终端1和/或移动终端2；若该方法的执行主体是移动终端2，移动终端1在通过自身的视频输入模块输入即时视频后，将该即时视频发送至服务器，服务器将该即时视频发送至移动终端2，移动终端2对即时视频中的人脸表情进行识别，将识别结果经服务器转发至移动终端1，和/或通过自身的显示屏输出识别结果。本发明实施例对该交互系统中的该方法的具体的执行主体不加以限定。

除此之外，本发明实施例所提供的方法还可以应用于一种只包括移动终端1和移动终端2的交互系统中，该交互系统可以参照图2所示，其中，图2所示的交互系统中的移动终端与图1所示的交互系统中的移动终端相同，此处再不加以赘述。

特别的，本发明实施例所提供的方法的执行主体，即电子设备，可以是移动终端1和移动终端2中的任意一个，若该方法的执行主体是移动终端1，则该移动终端1在通过自身的视频输入模块输入即时视频之后，对该即时视频中的人脸进行表情识别，然后将识别结果发送至通讯设备2，和/或者在通过自身的显示屏输出识别结果；若该方法的执行主体是移动终端2，移动终端1在通过自身的视频输入模块输入即时视频后，将该即时视频发送至移动终端2，移动终端2对即时视频中的人脸进行表情识别，再识别结果发送至移动终端1，和/或者通过自身的显示屏输出识别结果。本发明实施例对该交互系统中的该方法的具体的执行主体不加以限定。

除此之外，本发明实施例所提供的方法还可以应用于一种只包括移动终端1和用户的交互系统中，该交互系统可以参照图3所示，其中，移动终端1至少包括视频输入模块和视频显示模块，视频输入模块可以包括摄像头，视频显示模块可以包括显示屏，且移动终端中至少可以运行一即时视频程序，该即时视频程序控制移动终端的视频输入模块和视频显示模块进行即时视频。具体的，移动终端接收用户输入的即时视频，在该即时视频进行人脸表情识别，并通过自身的显示屏输出识别结果。

需要说明的是，本发明实施例中的移动终端可以为1个，也可以为多个，本发明实施例对具体的移动终端不加以限定。

除此之外，本发明是实施例还可以包括其他应用场景，本发明实施例对具体的应用场景不加以限定。

实施例一

本发明实施例提供了一种即时视频中的表情识别方法，参见图4所示，该方法流程包括：

401、获取即时视频帧中人脸的至少一个特征点所对应的特征向量，特征点用于描述人脸的当前表情。

其中，特征向量包括标准姿态矩阵下的特征点坐标和纹理特征点坐标，纹理特征点用于唯一确定特征点。

具体的，获取即时视频帧中人脸的至少一个特征点所对应的特征向量包括：

获取标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标；

值得注意的是，获取标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标的过程可以为：

获取即时视频帧中人脸的至少一个特征点坐标和至少一个纹理特征点坐标；

将至少一个特征点进行归一化处理，并获取标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标。

值得注意的是，将至少一个特征点进行归一化处理，并获取标准姿态矩阵下的至少一个特征点至少一个纹理特征点坐标的过程可以为：

根据即时视频帧中人脸的至少一个特征点坐标和至少一个纹理特征点坐标，获取即时视频帧中人脸的至少一个特征点和至少一个纹理特征点对应的当前姿态矩阵；

将当前姿态矩阵旋转为标准姿态矩阵，并获取标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标。

在将至少一个特征点进行归一化处理，并获取标准姿态矩阵下的至少一个特征点至少一个纹理特征点坐标之后，执行下述步骤：

根据标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标，生成至少一个特征点所对应的特征向量。

402、识别至少一个特征点所对应的特征向量，生成识别结果。

具体的，将至少一个特征点所对应的特征向量输入预设表情模型库中进行计算，获取识别结果。

403、根据识别结果，确定当前表情为预先存储的多个表情中的一个。

具体的，若识别结果在预设范围内，则判定特征向量所对应的表情为预先存储的多个表情中的一个。

本发明实施例提供了一种即时视频中的表情识别方法和电子设备。通过在即时视频中获取用于描述人脸的当前表情的特征点，从而使得通过特征点获取特征点对应的特征向量更加能够准确的表示人脸的当前表情，再通过识别特征向量，根据特征向量获取识别结果，简化了在即时视频中识别人脸的算法的复杂度，使得通过本发明实施例提供的方法可以在移动终端上运行，满足了用户的多样化需求，提高了用户体验。

实施例二

本发明实施例提供了一种即时视频中的表情识别方法，参照图5所示，方法流程包括：

501、获取即时视频帧中人脸的至少一个特征点坐标和至少一个纹理特征点坐标。

具体的，该至少一个特征点用于描述即时视频中人脸的当前表情。

由于人脸的表情是通过人脸细节来确定的，所以，该至少一个特征点用于描述人脸细节的轮廓，人脸细节至少包括眼部、嘴部、眉毛和鼻子。本发明实施例对具体的获取人脸特征点的方式不加以限定。

根据获取的人脸的特征点，获取用于描述该特征点的特征参数，该特征参数可以包括该特征点在至少包括人脸面部的向量的坐标，还可以包括该特征点在至少包括人脸面部中所指示的向量的尺度和方向。

根据获取的特征点参数获取该特征点在至少包括人脸面部的向量的坐标。

在每个特征点附近获取纹理特征点，纹理特征点用于唯一确定特征点，并且纹理特征点不随光线、角度等的变化而变化。

值得注意的是，可以通过预设的提取模型或者提取算法，从人脸中提取出特征点和纹理特征点，除此之外，还可以通过其他方式，从人脸中提取出特征点和纹理特征点，本发明实施例对具体的提取模型、提取算法以及提取方式不加以限定。

由于纹理特征点描述了特征点所在区域，所以纹理特征点可以用于唯一确定特征点，使得根据特征点和纹理特征点确定人脸细节，保证了即时视频中的特征点与实际特征点在同一个位置，确保了图像细节的识别质量，从而提高了表情识别的可靠性。

502、根据即时视频帧中人脸的至少一个特征点坐标和至少一个纹理特征点坐标，获取即时视频帧中人脸的至少一个特征点和至少一个纹理特征点对应的当前姿态矩阵。

具体的，该姿态矩阵用于指示特征点和以及与该特征点对应的特征纹理点的三维坐标所指示的向量的尺度和方向。

该过程可以为：

a、将至少一个特征点和至少一个纹理特征点进行归一化，获取即时视频帧中人脸的至少一个特征点和至少一个纹理特征点对应的当前姿态矩阵，该归一化过程可以为：

b、获取该至少一个特征点和每个特征点对应的纹理特征点对应的三维坐标、尺度和方向。

由于在即时视频画面中所获取的特征点和每个特征点对应的纹理特征点所对应的坐标为二维坐标，所以对应的尺度和方向为二维坐标下的尺度和方向，所以，可以根据预设的转换算法，将二维坐标下，该至少一个特征点和每个特征点对应的纹理特征点对应的坐标、尺度和方向，转换为三维坐标下，该至少一个特征点和每个特征点对应的纹理特征点对应的坐标、尺度和方向；本发明实施例对具体的算法和转换方式不加以限定。

c、根据用于描述同一个细节的所有特征点以及与该所有特征点对应的纹理特征点的尺度和方向，生成与该所有特征点以及与该所有特征点对应的纹理特征点对应的当前姿态矩阵；其中，该当前姿态矩阵用于指示该所有特征点所指示的向量的尺度和方向。

可选的，还可以通过以下方式实现步骤c，具体为：

根据一个特征点以及与该特征点对应的纹理特征点的尺度和方向，生成与该特征点以及与该特征点对应的纹理特征点对应的当前姿态矩阵；

该当前姿态矩阵用于指示该特征点所指示的向量的尺度和方向；

对下一个特征点继续执行上述步骤，直至生成所述特征点所对应的姿态矩阵。

由于相较于描述同一个细节的所有特征点，对每一个特征点都进行处理会减少提高图像处理时的失真率，增加图像处理的可靠性。

503、将当前姿态矩阵旋转为标准姿态矩阵，得到标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标。

具体的，本发明实施例对具体的将当前姿态矩阵旋转为标准姿态矩阵的方式不加以限定。

值得注意的是，步骤502至步骤503是将至少一个特征点进行归一化处理，得到标准姿态矩阵下的至少一个特征点至少一个纹理特征点坐标的过程，除此之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

本发明实施例通过对获取即时视频中的人脸的至少一个特征点坐标和至少一个纹理特征点坐标进行归一化处理，使得获取的姿态矩阵不受例如光照变化和视角变化等的影响，与传统的表情识别相比，使得即时视频中的表情识别不受姿态缩放的变化而变化，从而表情识别更加准确。

值得注意的是，步骤501至步骤503是获取标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标的过程，除此之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

通过获取的至少一个特征点和至少一个纹理特征点是在标准姿态矩阵中获取的，排除了光照、角度等外界因素对即时视频人脸的影响，使得获取的特征点和纹理特征点更加有可比性，使得在即时视频总识别的表情更加准确。

504、根据标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标，生成至少一个特征点所对应的特征向量。

其中，由于姿态矩阵指示了特征点的方向和尺度，所以，可以根据标准姿态矩阵，获取与该标准姿态矩阵对应的至少一个特征点坐标以及与至少一个特征点对应的至少一个纹理特征点坐标。

本发明实施例对具体的根据标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标，生成至少一个特征点所对应的特征向量的方式不加以限定。

值得注意的是，步骤501至504是获取即时视频帧中人脸的至少一个特征点所对应的特征向量的过程，除此之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

505、将至少一个特征点所对应的特征向量输入预设表情模型库中进行计算，获取识别结果。

具体的，将特征向量输入每个表情对应的预设表情模型中进行计算。

该预设表情模型可以为回归方程，该回归方程可以为：

$y=\frac{1}{1+e^{-\mathrm{Ax}}}$

其中，A为回归系数，x为特征向量，y为识别结果。

y∈(0,1)

根据特征向量在每个表情对应的预设表情模型中计算结果y值，获取在至少一个预设表情模型中的识别结果。

值得注意的是，该步骤是识别至少一个特征点所对应的特征向量，生成识别结果的过程，除此之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

通过利用逻辑回归方程的识别结果来实现即时视频中的人脸表情的识别，降低了计算的复杂性，使得在即时视频过程中识别人脸更加快速，减少系统进程占用，处理资源和存储资源的占用，提高了处理器的运行效率。

506、若识别结果在预设范围内，则判定特征向量所对应的表情为预先存储的多个表情中的一个。

根据特征向量在每个表情对应的预设表情模型中的识别结果所包括的y值，确定当前表情为预先存储的多个表情中的一个。

具体的，若y与1的差值在预设范围之内，则指示即时视频中的人脸表情为该预设表情模型所指示的表情；

若y与0的差值在预设范围之内，则指示即时视频中的人脸表情不是该预设表情模型所指示的表情。

值得注意的是，步骤506是实现根据识别结果，确定当前表情为预先存储的多个表情中的一个的过程，除了上述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的过程不加以限定。

可选的，除了上述过程外，在步骤506之后，方法流程还包括：

507、对即时视频进行平滑处理。

具体的，在即时视频过程中确定识别表情的帧数n，计算n帧内，获取的每种表情的得分总和，得分总和最高的就是这n帧中的被识别的表情。

其中，n为大于或者等于2的整数。

由于即时视频中的人脸表情是不断变化的，所以通过识别两帧或者两帧以上的即时视频帧中的人脸表情，生成至少一个识别结果，再根据该至少一个识别结果，确定即时视频帧中的人脸表情，相比于通过识别一帧中的人脸表情，生成识别结果，根据该识别结果，确定该即时视频中的人脸表情，识别结果更加准确，可以更进一步的提高表情识别的可靠性，提高用户体验。

可选的，在步骤501之前方法流程还包括：

508、建立各个表情对应的表情模型。

具体的，分别训练各个表情的模型，以所要建立的预设表情为正样本，其他预设表情作为负样本，利用步骤505所指示的逻辑回归方程进行训练，过程可以为：

将所要训练的表情作为正样本，其他的表情作为负样本，设置当输入值为正样本时，输出结果y＝1，设置当输入值为负样本时，输出结果y＝0；

其中，逻辑回归方程中的参数A获取过程可以为：

将获取的所有用户在即时视频中的即时表情输入预设的优化公式中，生成参数A，该预设的优化公式可以为：

$J\left(A\right)=\underset{i}{\mathrm{\Σ}}{\left|\right|y_i-{y_i}^{\′}\left|\right|}_2^2$

其中，J(A)表示参数A，y_i为预测函数所预测的A值，y_i'为A的真实值。

值得注意的是，在执行步骤501至步骤506所述的方法时，可以通过预先建立的表情模型实现表情的识别，从而无需在每次执行步骤501至步骤506时，都执行步骤508。

本发明实施例提供了一种即时视频中的表情识别方法和电子设备。通过在即时视频中获取用于描述人脸的当前表情的特征点，从而使得通过特征点获取特征点对应的特征向量更加能够准确的表示人脸的当前表情，再通过识别特征向量，根据特征向量获取识别结果，简化了在即时视频中识别人脸的算法的复杂度，使得通过本发明实施例提供的方法可以在移动终端上运行，满足了用户的多样化需求，提高了用户体验。另外，由于纹理特征点描述了特征点所在区域，所以纹理特征点可以用于唯一确定特征点，使得根据特征点和纹理特征点确定人脸细节，保证了即时视频中的特征点与实际特征点在同一个位置，确保了图像细节的识别质量，从而提高了表情识别的可靠性。另外，由于相较于描述同一个细节的所有特征点，对每一个特征点都进行处理会减少提高图像处理时的失真率，增加图像处理的可靠性。另外，通过对获取即时视频中的人脸的至少一个特征点坐标和至少一个纹理特征点坐标进行归一化处理，使得获取的姿态矩阵不受例如光照变化和视角变化等的影响，与传统的表情识别相比，使得即时视频中的表情识别不受姿态缩放的变化而变化，从而表情识别更加准确。另外，通过获取的至少一个特征点和至少一个纹理特征点是在标准姿态矩阵中获取的，排除了光照、角度等外界因素对即时视频人脸的影响，使得获取的特征点和纹理特征点更加有可比性，使得在即时视频总识别的表情更加准确。另外，通过利用逻辑回归方程的计算结果识别即时视频中的人脸表情，降低了计算的复杂性，使得在即时视频过程中识别人脸更加快速，减少系统进程占用，处理资源和存储资源的占用，提高了处理器的运行效率。

实施例三

本发明实施例提供了一种电子设备6，参照图6所示，电子设备6包括：

获取模块61，用于获取即时视频帧中人脸的至少一个特征点所对应的特征向量，特征点用于描述人脸的当前表情；

识别模块62，用于识别至少一个特征点所对应的特征向量，生成识别结果；

确定模块63，用于根据识别结果，确定当前表情为预先存储的多个表情中的一个。

可选的，

获取模块61还用于，获取标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标；

识别模块62还用于，根据标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标，生成至少一个特征点所对应的特征向量。

可选的，

获取模块61还用于，获取即时视频帧中人脸的至少一个特征点坐标和至少一个纹理特征点坐标；

设备还包括处理模块，用于将至少一个特征点进行归一化处理，得到标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标。

可选的，

获取模块61还用于，根据即时视频帧中人脸的至少一个特征点坐标和至少一个纹理特征点坐标，获取即时视频帧中人脸的至少一个特征点和至少一个纹理特征点对应的当前姿态矩阵；

处理模块还用于将当前姿态矩阵旋转为标准姿态矩阵，并获取标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标。

可选的，电子设备6还包括：

计算模块，用于将至少一个特征点所对应的特征向量输入预设表情模型库中进行计算，获取识别结果。

可选的，确定模块63具体用于：

若识别结果在预设范围内，则判定特征向量所对应的表情为预先存储的多个表情中的一个。

本发明实施例提供了一种电子设备，该电子设备通过在即时视频中获取用于描述人脸的当前表情的特征点，从而使得通过特征点获取特征点对应的特征向量更加能够准确的表示人脸的当前表情，再通过识别特征向量，根据特征向量获取识别结果，简化了在即时视频中识别人脸的算法的复杂度，使得通过本发明实施例提供的方法可以在移动终端上运行，满足了用户的多样化需求，提高了用户体验。

实施例四

本发明实施例提供了一种电子设备7，参见图7，电子设备7包括：视频输入模块71、视频输出模块72、发送模块73、接收模块74、存储器75以及与视频输入模块71、视频输出模块72、发送模块73、接收模块74和存储器75连接的处理器76，其中，存储器75存储一组程序代码，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

获取即时视频帧中人脸的至少一个特征点所对应的特征向量，特征点用于描述人脸的当前表情；

识别至少一个特征点所对应的特征向量，生成识别结果；

根据识别结果，确定当前表情为预先存储的多个表情中的一个。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

获取标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标；

根据标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标，生成至少一个特征点所对应的特征向量。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

获取即时视频帧中人脸的至少一个特征点坐标和至少一个纹理特征点坐标；

将至少一个特征点进行归一化处理，得到标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

根据即时视频帧中人脸的至少一个特征点坐标和至少一个纹理特征点坐标，获取即时视频帧中人脸的至少一个特征点和至少一个纹理特征点对应的当前姿态矩阵；

将当前姿态矩阵旋转为标准姿态矩阵，并获取标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

将至少一个特征点所对应的特征向量输入预设表情模型库中进行计算，获取识别结果。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

若识别结果在预设范围内，则判定特征向量所对应的表情为预先存储的多个表情中的一个。

本发明实施例提供了一种电子设备，该电子设备通过在即时视频中获取用于描述人脸的当前表情的特征点，从而使得通过特征点获取特征点对应的特征向量更加能够准确的表示人脸的当前表情，再通过识别特征向量，根据特征向量获取识别结果，简化了在即时视频中识别人脸的算法的复杂度，使得通过本发明实施例提供的方法可以在移动终端上运行，满足了用户的多样化需求，提高了用户体验。

需要说明的是：上述实施例提供的电子设备在执行即时视频中的表情识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种即时视频中的表情识别方法，其特征在于，所述方法包括：

获取即时视频帧中人脸的至少一个特征点所对应的特征向量，所述特征点用于描述所述人脸的当前表情；

识别所述至少一个特征点所对应的特征向量，生成识别结果；

根据所述识别结果，确定所述当前表情为预先存储的多个表情中的一个。

2.根据权利要求1所述的方法，其特征在于，所述特征向量包括标准姿态矩阵下的特征点坐标和纹理特征点坐标，所述纹理特征点用于唯一确定所述特征点。

3.根据权利要求2所述的方法，其特征在于，所述获取即时视频帧中人脸的至少一个特征点所对应的特征向量包括：

获取所述标准姿态矩阵下的所述至少一个特征点坐标和至少一个纹理特征点坐标；

根据所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，生成所述至少一个特征点所对应的特征向量。

4.根据权利要求3所述的方法，其特征在于，所述获取所述标准姿态矩阵下的所述至少一个特征点坐标和至少一个纹理特征点坐标包括：

获取所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标；

将所述至少一个特征点进行归一化处理，得到所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

5.根据权利要求4所述的方法，其特征在于，所述将所述至少一个特征点进行归一化处理，得到所述标准姿态矩阵下的所述至少一个特征点所述至少一个纹理特征点坐标包括：

根据所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，获取所述即时视频帧中人脸的所述至少一个特征点和所述至少一个纹理特征点对应的当前姿态矩阵；

将所述当前姿态矩阵旋转为标准姿态矩阵，并获取所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

6.根据权利要求1所述的方法，其特征在于，所述识别所述至少一个特征点所对应的特征向量包括：

将所述至少一个特征点所对应的特征向量输入预设表情模型库中进行计算，获取所述识别结果。

7.一种电子设备，其特征在于，所述电子设备包括：

获取模块，用于获取即时视频帧中人脸的至少一个特征点所对应的特征向量，所述特征点用于描述所述人脸的当前表情；

识别模块，用于识别所述至少一个特征点所对应的特征向量，生成识别结果；

确定模块，用于根据所述识别结果，确定所述当前表情为预先存储的多个表情中的一个。

8.根据权利要求7所述的设备，其特征在于，

所述获取模块还用于，获取标准姿态矩阵下的所述至少一个特征点坐标和至少一个纹理特征点坐标；

所述识别模块还用于，根据所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，生成所述至少一个特征点所对应的特征向量。

9.根据权利要求7所述的设备，其特征在于，

所述获取模块还用于，获取所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标；

所述设备还包括处理模块，用于将所述至少一个特征点进行归一化处理，得到所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

10.根据权利要求9所述的设备，其特征在于，

所述获取模块还用于，根据所述即时视频帧中人脸的所述至少一个特征点坐标和所述至少一个纹理特征点坐标，获取所述即时视频帧中人脸的所述至少一个特征点和所述至少一个纹理特征点对应的当前姿态矩阵；

所述处理模块还用于，将所述当前姿态矩阵旋转为标准姿态矩阵，并获取所述标准姿态矩阵下的所述至少一个特征点坐标和所述至少一个纹理特征点坐标。

11.根据权利要求7所述的设备，其特征在于，所述设备还包括：

计算模块，用于将所述至少一个特征点所对应的特征向量输入预设表情模型库中进行计算，获取所述识别结果。

12.一种电子设备，其特征在于，包括是视频输入模块、视频输出模块、发送模块、接收模块、存储器以及与所述视频输入模块、所述视频输出模块、所述发送模块、所述接收模块和所述存储器连接的处理器，其中，所述存储器存储一组程序代码，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

获取即时视频帧中人脸的至少一个特征点所对应的特征向量，所述特征点用于描述所述人脸的当前表情；

识别所述至少一个特征点所对应的特征向量，生成识别结果；

根据所述识别结果，确定所述当前表情为预先存储的多个表情中的一个。