CN111191609A - 人脸的情绪识别方法、装置、电子设备与存储介质 - Google Patents

Abstract

本发明提供了一种人脸的情绪识别方法，包括：根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型；识别所述人脸特征点的三维模型的情绪，得到目标情绪信息。本发明通过该人脸特征点的三维模型的建立，可脱离视角的观察限制，进而，本发明能够针对于人脸特征点的三维模型识别其中的情绪信息，避免或减轻了视角对情绪识别的影响，有效提高了情绪识别的准确性。同时，由于模型中可不完全记录人脸的信息，本发明还可便于保护用户的隐私。

Description

人脸的情绪识别方法、装置、电子设备与存储介质

技术领域

本发明涉及情绪识别领域，尤其涉及一种人脸的情绪识别方法、装置、电子设备与存储介质。

背景技术

情绪识别，可理解为根据人的图像、声音等素材对人的情绪进行识别，得到对应情绪信息的过程。例如可以利用经训练的情绪识别模型对人的情绪进行识别，也可通过对脸部、肢体的特征进行识别，从而确定其情绪信息，还可将特征的识别与情绪识别模型相结合。

现有相关技术中，可以基于人脸图像识别情绪，然而，由于人的身高、坐姿、图像采集设备的安装位置、拍摄角度等因素的影响，所采集到的人脸图像可能并非是正对人脸的视角，进而，由于视角问题，可能会造成人脸情绪识别的错误，以嘴唇为例，若情绪识别中需考量嘴唇的弯曲程度与弯曲方向，但不同的视角可能会观察到不同的弯曲程度甚至弯曲方向，进而可能得到错误的识别结果，例如，当嘴角上扬时，通常会被识别为高兴的情绪，若视角选择俯视的视角，则可能观察到的嘴角是未上扬的，进而可能会将其识别为无情绪。

可见，现有相关技术中，难以减轻或消除拍摄视角对人脸情绪识别的影响。

发明内容

本发明提供一种人脸的情绪识别方法、装置、电子设备与存储介质，以解决难以减轻或消除拍摄视角对人脸情绪识别的影响的问题。

根据本发明的第一方面，提供了一种人脸的情绪识别方法，包括：

根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型；

识别所述人脸特征点的三维模型的情绪，得到目标情绪信息。

可选的，根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型，包括：

确定所述第一人脸图像中的N个特征点，以及每个特征点的景深信息，所述景深信息是TOF摄像头或结构光摄像头采集到的；

在三维空间中定位所述N个特征点的位置信息；

根据各特征点的位置信息，建立所述人脸特征点的三维模型。

可选的，识别所述人脸特征点的三维模型的情绪，得到目标情绪信息，包括：

确定所述人脸特征点的三维模型中至少部分特征点的空间分布信息；所述空间分布信息用于表征所述至少部分特征点在所述人脸特征点的三维模型所处三维空间内的分布情况；

根据所述空间分布信息，确定所述目标情绪信息。

可选的，所述至少部分特点包括所述人脸特征点的三维模型中M个脸部部位中每个脸部部位所对应的多个特征点；

根据所述空间分布信息，确定所述目标情绪信息，包括：

根据每个脸部部位对应的多个特征点的空间分布信息，确定一个子情绪信息；

根据至少部分子情绪信息，确定所述目标情绪信息。

可选的，识别所述人脸特征点的三维模型的情绪，得到目标情绪信息，包括：

获取正对人脸的视角下所述人脸特征点的三维模型的第二人脸图像；

识别所述第二人脸图像中的情绪，得到目标情绪信息。

可选的，根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型之前，还包括：

识别所述第一人脸图像中的情绪时，确认自所述第一人脸图像中无法识别出唯一的情绪信息。

可选的，根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型之前，还包括：

识别所述第一人脸图像中的情绪，得到初步情绪信息；

识别所述人脸特征点的三维模型的情绪，得到目标情绪信息之后，还包括：

若所述初步情绪信息与所述目标情绪信息相同，则确定该情绪信息为所需的情绪信息。

根据本发明的第二方面，提供了一种人脸的情绪识别装置，包括：

模型建立模块，用于根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型；

目标情绪识别模块，用于识别所述人脸特征点的三维模型的情绪，得到目标情绪信息。

根据本发明的第三方面，提供了一种电子设备，包括存储器与处理器，

所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的人脸的情绪识别方法。

根据本发明的第四方面，提供了一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现第一方面及其可选方案涉及的人脸的情绪识别方法。

本发明提供的人脸的情绪识别方法、装置、电子设备与存储介质中，能够根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型，通过该人脸特征点的三维模型的建立，可脱离视角的观察限制，进而，本发明能够针对于人脸特征点的三维模型识别其中的情绪信息，避免或减轻了视角对情绪识别的影响，有效提高了情绪识别的准确性。同时，由于模型中可不完全记录人脸的信息，本发明还可便于保护用户的隐私。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中人脸的情绪识别方法的流程示意图一；

图2是本发明一实施例中步骤S11的流程示意图；

图3是本发明一实施例中步骤S12的流程示意图一；

图4是本发明一实施例中步骤S122的流程示意图；

图5是本发明一实施例中步骤S12的流程示意图二；

图6是本发明一实施例中人脸的情绪识别方法的流程示意图二；

图7是本发明一实施例中人脸的情绪识别方法的流程示意图三；

图8是本发明一实施例中人脸的情绪识别装置的程序模块示意图一；

图9是本发明一实施例中人脸的情绪识别装置的程序模块示意图二；

图10是本发明一实施例中人脸的情绪识别装置的程序模块示意图三；

图11是本发明一实施例中电子设备的构造示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本实施例所涉及的人脸的情绪识别方法，可应用于任意配置有图像采集部件，或者连接图像采集部件的设备，例如可以是手机、车机、平板电脑、计算机、例如相机的图像采集设备等等，还可以是能够与该设备通讯的服务器。

其中的图像采集部件，可以为任意能够采集图像的部件，其所采集到的图像可以是形成照片，也可以是形成视频，同时，本实施例也不排除采集非可见光图像的图像采集部件。

其中一种实施方式中，该设备还可配置有TOF摄像头或连接该TOF摄像头，也可配置有结构光摄像头或连接该结构光摄像头。其中的OTF具体为Time of flight，其可理解为飞行时间。其作用原理可例如：先给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间，可确定相应的距离，即景深信息。

图1是本发明一实施例中人脸的情绪识别方法的流程示意图一。

请参考图1，人脸的情绪识别方法，包括：

S11：根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型。

S12：识别所述人脸特征点的三维模型的情绪，得到目标情绪信息。

其中的第一人脸图像，可以为具有人脸的像素，且是由图像采集部件采集到的图像。其可以是图像采集部件直接采集到的图像，也可以是所采集到的图像中截取或预处理后得到的图像。

其中的人脸特征点的三维模型，可理解为是以第一人脸图像中人脸特征点为依据而建立的任意能够表征其中人脸的三维模型，其可以是还原整个人脸的三维模型，也可以不还原整张脸。进而，任意以二维图像为依据之一，进而得到三维模型的手段，均可应用于实施步骤S11。

通过该人脸特征点的三维模型的建立，可脱离视角的观察限制，从而便于提高情绪识别的准确性。同时，由于模型中可不完全记录人脸的信息，还可便于保护用户的隐私。

图2是本发明一实施例中步骤S11的流程示意图。

其中一种实施方式中，请参考图2，步骤S11可以包括：

S111：确定所述第一人脸图像中的N个特征点，以及每个特征点的景深信息；

S112：在三维空间中定位所述N个特征点的位置信息；

S113：根据各特征点的位置信息，建立所述人脸特征点的三维模型。

步骤S111中的景深信息可以是TOF摄像头或结构光摄像头采集到的，进而，景深信息可理解为特征点相距TOF摄像头或结构光摄像头之间的距离；该TOF摄像头或结构光摄像头的安装位置可以与图像采集部件相匹配，例如可以是同一设备中的摄像头(例如TOF摄像头或结构光摄像头)与图像采集部件，同时，本实施例也不排除其为不同设备的摄像头(例如TOF摄像头或结构光摄像头)与图像采集部件，或者分别独立安装的摄像头(例如TOF摄像头或结构光摄像头)与图像采集部件。

景深信息与第一人脸图像可以是同时采集的，进而，在需要使用景深信息时可调取该景深信息使用。

其中的特征点，可以为任意能够自图像中提取到的位置点，其例如可以与人脸图像中光线、线条、颜色等等因素相关联的，本领域任意已有或改进的确定特征点的方式，均不脱离本实施例的描述。

步骤S112中定位位置信息的过程，可例如以景深信息为依据将特征点投射到一个三维空间内的过程，例如，可在该三维空间中确定一个与摄像头(例如TOF摄像头或结构光摄像头)与图像采集部件相匹配的原点，进而，可以将各特征点定位到三维空间中，且：三维空间中特征点与原点的距离和方位，能够匹配于特征点与摄像头(例如TOF摄像头或结构光摄像头)、图像采集部件的距离和方位。同时，本实施例也不排除其他已有或改进的将特征点定位到三维空间的方式。

在步骤S112中，可基于定位在三维空间中的点，通过拟合的方式形成人脸表面，进而，所形成的三维立体的人脸表面，可视作本实施例所涉及的人脸特征点的三维模型。

此外，三维模型是以特征点为依据建立的，且本实施例主要是应用于情绪识别的，区别于部分基于人脸的身份识别方案，本实施例可无需具备人脸的具体细节，例如肤色、脸上斑点、痣、睫毛形貌、唇色、发色、光影等等细节均不需要还原记录，即：三维模型不需要还原整个人脸，可仅表征出特征点相关联的信息。进而，其可在实现情绪识别的同时，有效降低所需处理的数据量，提高处理速度。

其他举例中，本实施例也不完全排除以匹配贴图的方式将第一目标图像的至少部分像素贴图至人脸表面，从而形成部分细节的手段。

图3是本发明一实施例中步骤S12的流程示意图一。

其中一种实施方式中，请参考图3，步骤S12，可以包括：

S121：确定所述人脸特征点的三维模型中至少部分特征点的空间分布信息；

S122：根据所述空间分布信息，确定所述目标情绪信息。

其中的至少部分特征点，可理解为所有N个特征点中可用于识别情绪的特征点，部分举例中，可仅使用部分特征点来识别情绪，另部分举例中，也可使用全部特征点来识别情绪。

其中的空间分布信息，可理解为用于表征所述至少部分特征点在所述人脸特征点的三维模型所处三维空间内的分布情况；该分部情况可例如任意至少之一特征点与其他至少之一特征点之间的相对位置和/或距离关系。例如：可以指嘴角的特征点与嘴唇中间位置特征点之间的位置关系，还可以指嘴角的特征点与眼角的特征点之间的位置关系，也可以指嘴角与脸部轮廓上特征点之间的位置关系，也可以指嘴唇上特征点与鼻子特征点的距离等等。

一种实施方式中，可基于特征点的整体分布情况来识别情绪。另一种实施方式中，也可区分不同的脸部部位识别，再将识别结果整合。

具体实施过程中，所述至少部分特点包括所述人脸特征点的三维模型中M个脸部部位中每个脸部部位所对应的多个特征点；其中的M个脸部部位可例如包括以下至少之一：脸颊部位、眼睛部位、鼻子部位、嘴唇部位、耳朵部位额头部位等等。通过特征点在三维空间内的分布情况，可对以上至少之一部位的形态进行表征；例如根据嘴角的特征点、嘴唇中间位置特征点以及该些特征点与鼻子特征点之间的距离判断嘴唇是否为嘴角上扬的形态。

图4是本发明一实施例中步骤S122的流程示意图。

请参考图4，步骤S122可以包括：

S1221：根据每个脸部部位对应的多个特征点的空间分布信息，确定一个子情绪信息；

S1222：根据至少部分子情绪信息，确定所述目标情绪信息。

每个脸部部位对应的多个特征点，可理解为用于确定该脸部部位的情绪子信息的特征点，其可以包括该部位本身的特征点，还可以包括为了确定该部位子情绪信息的其他特征点，例如，为了确定嘴唇的弯曲方向，还需以鼻子的特征点为依据来判断，故而，嘴唇与鼻子的特征点均可视作嘴唇部位所对应的多个特征点中的特征点。

其中的子情绪信息，可以指以单个人脸部位为依据所识别出的情绪信息，例如：根据嘴角上扬的形态产生“高兴”的子情绪信息；又例如：通过额头紧锁的形态产生“不满”的子情绪信息。进而，在所有人脸部位中，可能仅部分或单个部位产生对应的子情绪信息。

具体举例中，可在产生一定量的子情绪信息，且其均为同一情绪时才确定其为目标情绪信息，也可在产生一定量的子情绪信息，且其中大多数子情绪信息(例如超出三分之二的子情绪信息)为同一情绪时才确定其为目标情绪信息，还可在未产生足够量的子情绪信息时确定目标情绪信息为无情绪。

不论何种方式，只要目标情绪信息的确定是以子情绪信息为依据的，就不脱离本实施例的描述。

除了以上图3和图4所示实施方式，也可采用其他方式识别出情绪。

图5是本发明一实施例中步骤S12的流程示意图二。

请参考图5，其中一种实施方式中，步骤S12可以包括：

S123：获取正对人脸的视角下所述人脸特征点的三维模型的第二人脸图像；

S124：识别所述第二人脸图像中的情绪，得到目标情绪信息。

以上实施方式中，可在基于特征点所建立的人脸特征点的三维模型中，通过贴图方式将第一人脸图像贴上，进而形成具有贴图的人脸特征点的三维模型，从而便于获取其正对人脸的视角下的人脸图像。

进而，识别第二人脸图像中情绪的方式，可例如与识别第一人脸图像中情绪的方式相同或相近，任意基于图像识别情绪的已有的或改进的方式，均不脱离本实施例的描述。

此外，针对于正对人脸的视角，可例如以三维空间内的一个参考面与参考点为依据而确定的视角，该参考面可视作是平行于人脸的，参考点视作是人脸的中心点，具体举例中，可选择眼睛部位的至少之一特征点和嘴唇部位的至少之一特征点共同所处的平面作为参考平面，再在以鼻子中的至少之一特征点为参考点，进而，以垂直于参考平面且经过参考点的投射线上的某个处于人脸正面一侧的点为源点，进而，以该源点观察模型的视角，可作为一种正对人脸的视角。

图6是本发明一实施例中人脸的情绪识别方法的流程示意图二。

其中一种实施方式中，请参考图6，步骤S11之前，还可包括：

S13：识别所述第一人脸图像中的情绪时，确认自所述第一人脸图像中无法识别出唯一的情绪信息。

具体实施过程中，可例如：识别第一人脸图像时，根据其眼睛部位识别出的情绪与根据嘴唇部位识别出的情绪不一致，从而得到多个情绪信息时，可视作无法识别出唯一的情绪信息；也可例如：识别第一人脸图像时未识别出任何情绪。

进而，本实施例可在识别第一人脸图像无法识别出唯一的情绪信息时才触发实施步骤S11与步骤S12，从而能够对无法识别出情绪的场景进行有效应对。其可有利于节约识别情绪所需耗费的时间与资源，提高识别效率。

图7是本发明一实施例中人脸的情绪识别方法的流程示意图二。

其中一种实施方式中，请参考图7，步骤S11之前，还可包括：

S14：识别所述第一人脸图像中的情绪，得到初步情绪信息；

在步骤S12之后，还可包括：

S15：所述初步情绪信息与所述目标情绪信息是否相同；

若步骤S15的判断结果为是，则可实施步骤S16：确定该情绪信息为所需的情绪信息。

可见，在以上实施方式，可利用初步情绪信息与目标情绪信息进行互相验证，若两者识别结果一致，可保障该情绪识别结果的准确性较高。

同时，以上步骤S13与步骤S14中识别情绪的方式，可理解为是不需要建立人脸特征点的三维模型的方式。

此外，若步骤S14中得到多个情绪信息，其也相当于实施了步骤S13，进一步的，步骤S15中可判断目标情绪信息是否与任意之一情绪信息相同，若相同，则确认其为所需的情绪信息。

可见，初步情绪信息可以是一个，也可以是多个。

综上，本实施例提供的人脸的情绪识别方法中，能够根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型，通过该人脸特征点的三维模型的建立，可脱离视角的观察限制，进而，本实施例能够针对于人脸特征点的三维模型识别其中的情绪信息，避免或减轻了视角对情绪识别的影响，有效提高了情绪识别的准确性。同时，由于模型中可不完全记录人脸的信息，还可便于保护用户的隐私。

图8是本发明一实施例中人脸的情绪识别装置的程序模块示意图一；图9是本发明一实施例中人脸的情绪识别装置的程序模块示意图二；图10是本发明一实施例中人脸的情绪识别装置的程序模块示意图三。

请参考图8至图10，人脸的情绪识别装置200，包括：

模型建立模块201，用于根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型；

目标情绪识别模块202，用于识别所述人脸特征点的三维模型的情绪，得到目标情绪信息。

可选的，所述模型建立模块201，具体用于：

确定所述第一人脸图像中的N个特征点，以及每个特征点的景深信息，所述景深信息是TOF摄像头或结构光摄像头采集到的；

在三维空间中定位所述N个特征点的位置信息；

根据各特征点的位置信息，建立所述人脸特征点的三维模型。

可选的，所述目标情绪识别模块202，具体用于：

确定所述人脸特征点的三维模型中至少部分特征点的空间分布信息；所述空间分布信息用于表征所述至少部分特征点在所述人脸特征点的三维模型所处三维空间内的分布情况；

根据所述空间分布信息，确定所述目标情绪信息。

可选的，所述至少部分特点包括所述人脸特征点的三维模型中M个脸部部位中每个脸部部位所对应的多个特征点；

所述目标情绪识别模块202，具体用于：

根据每个脸部部位对应的多个特征点的空间分布信息，确定一个子情绪信息；

根据至少部分子情绪信息，确定所述目标情绪信息。

可选的，所述目标情绪识别模块202，具体用于：

获取正对人脸的视角下所述人脸特征点的三维模型的第二人脸图像；

识别所述第二人脸图像中的情绪，得到目标情绪信息。

可选的，请参考图9，所述的装置，还包括：

无法识别确认模块203，用于识别所述第一人脸图像中的情绪时，确认自所述第一人脸图像中无法识别出唯一的情绪信息。

可选的，所述的装置，还包括：

初步情绪识别模块204，用于识别所述第一人脸图像中的情绪，得到初步情绪信息；

所需情绪确定模块205，用于若所述初步情绪信息与所述目标情绪信息相同，则确定该情绪信息为所需的情绪信息。

综上，本实施例提供的人脸的情绪识别装置中，能够根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型，通过该人脸特征点的三维模型的建立，可脱离视角的观察限制，进而，本实施例能够针对于人脸特征点的三维模型识别其中的情绪信息，避免或减轻了视角对情绪识别的影响，有效提高了情绪识别的准确性。同时，由于模型中可不完全记录人脸的信息，还可便于保护用户的隐私。

图11是本发明一实施例中电子设备的构造示意图。

请参考图11，提供了一种电子设备30，包括：

处理器31；以及，

存储器32，用于存储所述处理器的可执行指令；

其中，所述处理器31配置为经由执行所述可执行指令来执行以上所涉及的方法。

处理器31能够通过总线33与存储器32通讯。

本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种人脸的情绪识别方法，其特征在于，包括：

根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型；

识别所述人脸特征点的三维模型的情绪，得到目标情绪信息。

2.根据权利要求1所述的方法，其特征在于，根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型，包括：

确定所述第一人脸图像中的N个特征点，以及每个特征点的景深信息，所述景深信息是TOF摄像头或结构光摄像头采集到的；

在三维空间中定位所述N个特征点的位置信息；

根据各特征点的位置信息，建立所述人脸特征点的三维模型。

3.根据权利要求2所述的方法，其特征在于，识别所述人脸特征点的三维模型的情绪，得到目标情绪信息，包括：

确定所述人脸特征点的三维模型中至少部分特征点的空间分布信息；所述空间分布信息用于表征所述至少部分特征点在所述人脸特征点的三维模型所处三维空间内的分布情况；

根据所述空间分布信息，确定所述目标情绪信息。

4.根据权利要求3所述的方法，其特征在于，所述至少部分特点包括所述人脸特征点的三维模型中M个脸部部位中每个脸部部位所对应的多个特征点；

根据所述空间分布信息，确定所述目标情绪信息，包括：

根据每个脸部部位对应的多个特征点的空间分布信息，确定一个子情绪信息；

根据至少部分子情绪信息，确定所述目标情绪信息。

5.根据权利要求1所述的方法，其特征在于，识别所述人脸特征点的三维模型的情绪，得到目标情绪信息，包括：

获取正对人脸的视角下所述人脸特征点的三维模型的第二人脸图像；

识别所述第二人脸图像中的情绪，得到目标情绪信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型之前，还包括：

识别所述第一人脸图像中的情绪时，确认自所述第一人脸图像中无法识别出唯一的情绪信息。

7.根据权利要求1至5任一项所述的方法，其特征在于，根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型之前，还包括：

识别所述第一人脸图像中的情绪，得到初步情绪信息；

识别所述人脸特征点的三维模型的情绪，得到目标情绪信息之后，还包括：

若所述初步情绪信息与所述目标情绪信息相同，则确定该情绪信息为所需的情绪信息。

8.一种人脸的情绪识别装置，其特征在于，包括：

模型建立模块，用于根据图像采集部件采集到的第一人脸图像，建立人脸特征点的三维模型；

目标情绪识别模块，用于识别所述人脸特征点的三维模型的情绪，得到目标情绪信息。

9.一种电子设备，其特征在于，包括存储器与处理器，

所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现权利要求1至7任一项所述的人脸的情绪识别方法。

10.一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述的人脸的情绪识别方法。

Images