CN109523290A - 基于听众微表情的听讲评价方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种基于听众微表情的听讲评价方法、装置、计算机设备及存储介质，该基于听众微表情的听讲评价方法包括：因为针对听讲活动中的每一个听众，从采集到的听众的面部图片中提取出的听众的微表情属于听众内心的真实状态，所以确定出与微表情对应的预设的情绪状态也属于听众内心的真实情绪状态，接下来确定出与听众的情绪状态对应的各个第一评价分值，再接下来计算听众的第一总评价分值，最后根据所有听众的第一总评价分值确定听讲活动的活动评价分值，因此这种评分方式更加体现听众对听讲活动的真实评价，不会受到听众主观性等原因的影响，更好地了解听讲活动的效果，无疑提高了统计听众对听讲活动的评价的准确性。

Description

基于听众微表情的听讲评价方法、装置、设备及介质

技术领域

本发明涉及电子科技领域，尤其涉及一种基于听众微表情的听讲评价方法、装置、计算机设备及存储介质。

背景技术

在当今高速发展的时代，人越来越注重知识的学习，特别是专业知识的学习。

目前，越来越多的人通过参加听讲活动的方式来获取新的知识，所述听讲活动可以为演讲会或培训等，相应地，讲说者也越来越重视听讲活动带给听众的效果。在听讲活动过程中或听讲活动结束后，讲说者们大多希望知道听众对其讲说的真实评价，以便用于提高讲说的质量。为此，现在大多听讲活动安排工作人员向听众发放关于讲说评价的调查问卷，通过收集调查问卷的方式获知听众对讲说者讲说效果的评价。

然而，由于听众的主观性等原因往往难以通过调查问卷上的问题来获取到听众的真实评价，导致统计听众对听讲活动的评价的准确性较低。

发明内容

本发明实施例提供一种基于听众微表情的听讲评价方法、装置、计算机设备及存储介质，以解决听讲活动的评价的准确性较低的问题。

一种基于听众微表情的听讲评价方法，包括：

针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的所述听众的各张面部图片中提取出所述听众的各个微表情；

针对所述听讲活动中的每一个听众，根据预设的情绪状态对应关系分别确定出与各个所述微表情对应的各个预设的情绪状态，所述预设的情绪状态对应关系记录了微表情与预设的情绪状态的对应关系；

针对所述听讲活动中的每一个听众，根据预设的第一评分规则分别确定出与所述听众的各个预设的情绪状态对应的各个第一评价分值，所述预设的第一评分规则记录了预设的情绪状态与第一评价分值的对应关系；

针对所述听讲活动中的每一个听众，计算所述各个第一评价分值之和，得到所述听众的第一总评价分值；

在得到所述听讲活动中所有听众的第一总评价分值之后，根据所有听众各自的第一总评价分值确定所述听讲活动的活动评价分值。

一种评价听讲活动装置，包括：

第一提取模块，用于针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的所述听众的各张面部图片中提取出所述听众的各个微表情；

第一确定模块，用于针对所述听讲活动中的每一个听众，根据预设的情绪状态对应关系分别确定出与各个所述微表情对应的各个预设的情绪状态，所述预设的情绪状态对应关系记录了微表情与预设的情绪状态的对应关系；

第二确定模块，用于针对所述听讲活动中的每一个听众，根据预设的第一评分规则分别确定出与所述听众的各个预设的情绪状态对应的各个第一评价分值，所述预设的第一评分规则记录了预设的情绪状态与第一评价分值的对应关系；

第一计算模块，用于针对所述听讲活动中的每一个听众，计算所述各个第一评价分值之和，得到所述听众的第一总评价分值；

第三确定模块，用于在得到所述听讲活动中所有听众的第一总评价分值之后，根据所有听众各自的第一总评价分值确定所述听讲活动的活动评价分值。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于听众微表情的听讲评价方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于听众微表情的听讲评价方法的步骤。

上述基于听众微表情的听讲评价方法、装置、计算机设备及存储介质，因为针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的所述听众的各张面部图片中提取出的所述听众的各个微表情属于听众内心的真实状态，所以根据预设的情绪状态对应关系分别确定出与各个所述微表情对应的各个预设的情绪状态也属于听众内心的真实预设的情绪状态，接下来根据预设的第一评分规则分别确定出与所述听众的各个预设的情绪状态对应的各个第一评价分值，所述评分规则记录了预设的情绪状态与第一评价分值的对应关系，再接下来计算各个第一评价分值之和，得到所述听众的第一总评价分值，最后在得到所述听讲活动中所有听众的第一总评价分值之后，根据所有听众各自的第一总评价分值确定所述听讲活动的活动评价分值，活动评价分值越高代表所述听讲活动的效果越好，因此这种评分方式更加体现听众对听讲活动的真实评价，不会受到听众主观性等原因的影响，更好地了解听讲活动的效果好或坏，无疑提高了统计听众对听讲活动的评价的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于听众微表情的听讲评价方法的一应用环境示意图；

图2是本发明一实施例中基于听众微表情的听讲评价方法的一流程图；

图3是本发明一实施例中基于听众微表情的听讲评价方法中确定出各个预设的情绪状态的一流程图；

图4是本发明一实施例中基于听众微表情的听讲评价方法中确定活动评价分值的一流程图；

图5是本发明一实施例中基于听众微表情的听讲评价方法中采集各张面部图片的一流程图；

图6是本发明一实施例中评价听讲活动装置的一示意图；

图7是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的基于听众微表情的听讲评价方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。针对听讲活动中的每一个听众，服务端从在听讲活动的时间段内采集到的听众的各张面部图片中提取出听众的各个微表情，服务端根据预设的情绪状态对应关系分别确定出与各个微表情对应的各个预设的情绪状态，服务端根据预设的第一评分规则分别确定出与听众的各个预设的情绪状态对应的各个第一评价分值，服务端计算各个第一评价分值之和，得到听众的第一总评价分值，得到听讲活动中所有听众的第一总评价分值之后，服务端根据所有听众各自的第一总评价分值确定听讲活动的活动评价分值，其中，活动评价分值越高代表听讲活动的效果越好。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种基于听众微表情的听讲评价方法，该基于听众微表情的听讲评价方法应用在电子科技行业中，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S10、针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的听众的各张面部图片中提取出听众的各个微表情；

在本实施例中，听众的微表情包括高兴和伤心等七种微表情，面部图片为听众的人脸图片。

具体地，针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的听众的各张面部图片中提取听众的各个微表情，如采用摄像设备采集听众的各张人脸图片，然后从各张人脸图片中提取听众的微表情，如高兴或惊讶。可以理解的是，采集目标听众的微表情，主要是采集目标听众的面部动作单元，后续可以从面部动作单元中提取得到微表情的各个动作单元，比如外眉上扬、脸颊抬起等动作。

需要说明的是，听讲活动的时间段可以为30分钟或1个小时，听讲活动的时间段的具体内容，根据实际听讲活动得到，此处不做限定。

S20、针对听讲活动中的每一个听众，根据预设的情绪状态对应关系分别确定出与各个微表情对应的各个预设的情绪状态；

在本实施例中，听众的预设的情绪状态包括高兴、厌恶或惊讶等七种状态。预设的情绪状态对应关系记录了微表情与预设的情绪状态的关系，如，高兴对应喜，伤心对应哀等，也即，预设的情绪状态对应关系为微表情与预设的情绪状态的关系。

具体地，针对听讲活动中的每一个听众，根据预设的情绪状态对应关系和提取得到的各个微表情分别确定出与各个微表情对应的各个预设的情绪状态，如根据预设的情绪状态对应关系分别确定出与高兴对应的喜，与伤心对应的哀等预设的情绪状态。

S30、针对听讲活动中的每一个听众，根据预设的第一评分规则分别确定出与听众的各个预设的情绪状态对应的各个第一评价分值；

在本实施例中，预设的第一评分规则记录了预设的情绪状态与第一评价分值的对应关系，如喜对应“+2”等，预设的第一评分规则的具体内容，可以根据实际应用进行设定，此处不做限制。

具体地，针对听讲活动中的每一个听众，根据预设的第一评分规则和确定出的各个预设的情绪状态分别确定出与听众的各个预设的情绪状态对应的各个第一评价分值，如，喜对应“+2”，怒对应“-1”等。

需要说明的是，第一评价分值可以为“+3”或“-2”等，第一评价分值的具体内容，可以根据实际应用进行设定，此处不做限制。

S40、针对听讲活动中的每一个听众，计算各个第一评价分值之和，得到听众的第一总评价分值；

具体地，针对听讲活动中的每一个听众，根据确定出的各个第一评价分值计算各个第一评价分值之和，得到听众的第一总评价分值，如三个第一评价分值分别为“-1”、“+1”和“+2”，将“-1”、“+1”和“+2”相加，得到第一总评价分值为“+2”。

S50、在得到听讲活动中所有听众的第一总评价分值之后，根据所有听众各自的第一总评价分值确定听讲活动的活动评价分值。

具体地，经过计算每一个听众的第一总评价分值后，得到听讲活动中所有听众的第一总评价分值，然后，根据所有听众各自的第一总评价分值确定听讲活动的活动评价分值，如将各个听众各自的第一总评价分值相加，得到相加后的第一总评价分值，将相加后的第一总评价分值确定为听讲活动的活动评价分值，优选地，假设10个听众各自的第一总评价分值分别为10、12、12、13、14、10、8、8、7和6，将10、12、12、13、14、10、8、8、7和6相加，得到100，将100确定为听讲活动的活动评价分值，或者，将各个听众各自的第一总评价分值的平均值确定为听讲活动的活动评价分值，还可以根据所有听众各自的第一总评价分值采用其他方式确定出听讲活动的活动评价分值，其中，活动评价分值越高代表听讲活动的效果越好。

在图2对应的实施例中，通过上述步骤S10至步骤S50，因为针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的所述听众的各张面部图片中提取出的所述听众的各个微表情属于听众内心的真实状态，所以根据预设的情绪状态对应关系分别确定出与各个所述微表情对应的各个预设的情绪状态也属于听众内心的真实预设的情绪状态，接下来根据预设的第一评分规则分别确定出与所述听众的各个预设的情绪状态对应的各个第一评价分值，所述评分规则记录了预设的情绪状态与第一评价分值的对应关系，再接下来计算各个第一评价分值之和，得到所述听众的第一总评价分值，最后在得到所述听讲活动中所有听众的第一总评价分值之后，根据所有听众各自的第一总评价分值确定所述听讲活动的活动评价分值，活动评价分值越高代表所述听讲活动的效果越好，因此这种评分方式更加体现听众对听讲活动的真实评价，不会受到听众主观性等原因的影响，更好地了解听讲活动的效果好或坏，无疑提高了统计听众对听讲活动的评价的准确性。

在一实施例中，该基于听众微表情的听讲评价方法应用在电子科技行业中，如图3所示图2对应实施例中一种基于听众微表情的听讲评价方法中针对所述听讲活动中的每一个听众，根据预设的情绪状态对应关系分别确定出与各个所述微表情对应的各个预设的情绪状态在一个应用场景下的流程图，具体包括如下步骤：

S201、针对听讲活动中的每一个听众的每一个微表情，提取每一个微表情的各个动作单元；

在本实施例中，动作单元的类型主要包括以下表1中国际上通用的19种动作单元：

表1 19种AU

具体地，针对听讲活动中的每一个听众的采集到的每一个微表情，提取每一个微表情的各个动作单元，也即提取出上述19种中的动作单元(AU)，例如，当人们高兴时，其面部动作会包括：嘴角上扬、脸颊抬起、眼睑收紧等动作单元，即上述的AU12、AU6、AU7。

S202、针对听讲活动中的每一个听众的每一个微表情，按照预设的微表情评分规则获取与各个动作单元对应的各个情绪值；

在本实施例中，预设的微表情评分规则记录了动作单元与情绪值的对应关系，如“内眉上扬”对应“2”，“上眼脸上扬”对应“3”等，预设的微表情评分规则的具体内容，可以根据实际应用进行设定，此处不做限制。

具体地，针对听讲活动中的每一个听众采集到的每一个微表情，按照预设的微表情评分规则获取与提取到的各个动作单元对应的各个情绪值，例如，可以预先设置19种AU对应的情绪值，在一个具体应用场景中，该微表情评分标准如下表2所示：

表2 19种AU

S203、针对听讲活动中的每一个听众的每一个微表情，计算各个情绪值之和，得到每一个微表情的总情绪值；

具体地，针对听讲活动中的每一个听众采集到的每一个微表情，在获取到各个情绪值之后，便计算各个情绪值之和，得到每一个微表情的总情绪值，如五个情绪值分别为-1、1、1、2和3，从而-1、1、1、2与3的和为6，6便为微表情的总情绪值。

S204、针对听讲活动中的每一个听众，在得到听众的所有微表情的各个总情绪值之后，确定听众的每个微表情的总情绪值落入预设的情绪状态规则中预设的阈值区间；

在本实施例中，预设的情绪状态规则记录了阈值区间与预设的情绪状态的对应关系，如，[5,15]对应“哀”等。

具体地，针对听讲活动中的每一个听众，经过一个接一个计算微表情的总情绪值，得到听众的所有微表情的各个总情绪值之后，确定听众的所有微表情的各个总情绪值落入预设的情绪状态规则中的各个预设的阈值区间，如，10落入[5,15]，20落入[16,25]等。

需要说明的是，阈值区间存在多个，各个阈值区间互不相交预设的阈值区间的具体内容，可以根据实际应用进行设定，此处不做限制。

S205、针对听讲活动中的每一个听众，将各个预设的阈值区间的预设的情绪状态分别确定为各个微表情对应的各个预设的情绪状态，预设的情绪状态规则记录了阈值区间与预设的情绪状态的对应关系。

具体地，针对听讲活动中的每一个听众，根据预设的情绪状态规则中阈值区间与预设的情绪状态的对应关系，将各个预设的阈值区间对应的预设的情绪状态分别确定为各个微表情对应的各个预设的情绪状态，如[16,25]对应“喜”确定为“高兴”对应的“喜”。

在图3对应的实施例中，通过上述步骤S201至步骤S205，由于按照国际的微表情动作标准提取微表情中的各个动作单元，所以提取到的听众的各个动作单元都是准确的，因此根据各个动作单元的情绪值确定出的预设的情绪状态都是准确的，从而提高了确定听众预设的情绪状态的准确性。

在一实施例中，该基于听众微表情的听讲评价方法应用在电子科技行业中，针对听讲活动中的每一个听众，在听讲活动的时间段内采集听众的动作的各张动作图片，如图4所示图2对应实施例中一种基于听众微表情的听讲评价方法中确定活动评价分值在一个应用场景下的流程图，也即在步骤S50之前，该基于听众微表情的听讲评价方法还包括如下步骤：

S60、针对听讲活动中的每一个听众，对听众的各个动作的各张动作图片进行筛选，得到听众的各个目标评分动作的各张目标评分动作图片；

具体地，首先在听讲活动的时间段内通过采集设备，如摄像机等，采集听众的动作的各张动作图片，然后从采集到的各张动作图片筛选出包括各个目标评分动作的各张动作图片，将包括各个目标评分动作的各张动作图片确定为听众的各个目标评分动作的各张目标评分动作图片，所述目标评分动作为预设的用于评分的动作，可以为鼓掌或举手抢答等。

S70、针对听讲活动中的每一个听众，根据预设的第二评分规则分别确定出与各张目标评分动作图片中听众的各个目标评分动作对应的各个第二评价分值；

在本实施例中，预设的第二评分规则记录了目标评分动作与第二评价分值的对应关系，如“鼓掌”对应“+1”等，预设的第二评分规则的具体内容，可以根据实际应用进行设定，此处不做限制。

具体地，针对听讲活动中的每一个听众，根据预设的第二评分规则中目标评分动作与第二评价分值的对应关系，分别确定出与筛选得到的各张目标评分动作图片中听众的各个目标评分动作对应的各个第二评价分值，如“鼓掌”对应“+1”，“举手抢答”对应“+2”等。

S80、针对听讲活动中的每一个听众，计算各个第二评价分值之和，得到听众的第二总评价分值；

具体地，针对听讲活动中的每一个听众，在确定得到各个第二评价分值之后，计算各个第二评价分值之和，得到听众的第二总评价分值，如三个第二评价分值分别为“+1”、“+1”和“+2”，“+1”、“+1”与“+2”的和为“4”，“4”便为第二总评价分值。

S90、在得到听讲活动中所有听众的第二总评价分值之后，根据所有听众各自的第一总评价分值确定听讲活动的活动评价分值具体为：根据所有听众各自的第一总评价分值和第二总评价分值确定听讲活动的活动评价分值。

具体地，经过计算各个听众的各个第二总评价分值之后，得到听讲活动中所有听众的第二总评价分值，根据所有听众各自的第一总评价分值确定听讲活动的活动评价分值具体为：根据所有听众各自的第一总评价分值和第二总评价分值确定听讲活动的活动评价分值，如将所有听众各自的第一总评价分值与第二总评价分值的和确定为听讲活动的活动评价分值，还可以为将所有听众各自的第一总评价分值与第二总评价分值的平均值确定为听讲活动的活动评价分值等，根据所有听众各自的第一总评价分值和第二总评价分值还可以采用其他方式确定听讲活动的活动评价分值。

在图4对应的实施例中，通过上述步骤S60至步骤S90，由于听众的目标动作反应了听众对听讲活动的感兴趣程度高低，如鼓掌或举手抢答反应了听众对听讲活动的感兴趣程度高，所以通过听众的目标动作确定出的第二总评价分值，根据第一总评价分值和第二总评价分值确定出的评价活动的分值是由听众内心真实的情况确定得到的，从而评价活动的分值是准确的，提高了评价听讲活动效果的准确性。

在一实施例中，该基于听众微表情的听讲评价方法应用在电子科技行业中，一种基于听众微表情的听讲评价方法中步骤S10在一个应用场景下的流程图，具体包括如下步骤：

S101、针对听讲活动中的每一个听众，将在听讲活动的时间段内采集到的听众的各张面部图片作为输入投入至预先训练好的深度学习模型，得到各个第一输出结果作为听众的各个微表情；

在本实施例中，深度学习模型是由预设的听众的面部图片和预设的听众的微表情作为样本训练得到的。

具体地，针对听讲活动中的每一个听众，将在听讲活动的时间段内采集到的听众的各张面部图片作为输入投入至预先训练好的深度学习模型，得到各个第一输出结果，然后将得到的各个第一输出结果确定为听众的各个微表情，其中，面部图片与第一输出结果存在一一对应关系。

需要说明的是，深度学习模型可以为卷积神经网络模型或循环神经网络模型等，深度学习模型的具体内容，可以根据实际应用进行设定，此处不做限制。

深度学习模型通过以下步骤预先训练得到：

S102、将预设的听众的面部图片和预设的听众的微表情确定为样本；

具体地，将预设的听众的面部图片和预设的听众的微表情确定为深度学习模型的样本。

S103、将预设的听众的面部图片作为输入投入至所述深度学习模型，得到第二输出结果；

具体地，将样本中的预设的听众的面部图片作为输入投入至深度学习模型，经过深度学习模型分析之后，得到第二输出结果。

S104、调整深度学习模型的隐层参数，以最小化第二输出结果与预设的听众的微表情的误差；

在本实施例中，隐层参数包括神经节点数目、每次改进的步进常数、目标准确率、最大迭代次数和成本函数。

具体地，将第二输出结果作为输出目标，不断地调整深度学习模型的隐层参数，从而达到第二输出结果与样本中的预设的听众的微表情的误差最小化。

需要说明的是，在调整参数中，通过先调整步进常数，即观察成本函数下降的速率，修正步进常数，一方面快速下降，另一方面防止不收敛，然后，在调整合适之后再调整隐藏层节点数目，逐渐增加，准确率理论上应该是先增大，后减小，找到合适的节点数目之后，最后，逐步调高目标准确率。

S105、判断第二输出结果与预设的听众的微表情的误差是否满足预设条件，若是，则执行步骤S106，若否，则返回执行步骤S102至步骤S104；

具体地，判断第二输出结果与样本中的预设的听众的微表情的误差是否满足预设条件，若是，则执行步骤S106，若否，则返回执行步骤S101至步骤S104，直到该误差满足预设条件为止。

需要说明的是，预设条件可以为0.01％或0.015％，预设条件的具体内容，可以根据实际应用进行设定，此处不做限制。

S106、确定当前的所述深度学习模型为训练好的深度学习模型。

具体地，若第二输出结果与样本中的预设的听众的微表情的误差满足预设条件，则确定当前的深度学习模型为训练好的深度学习模型；若第二输出结果与样本中的预设的听众的微表情的误差不满足预设条件，则确定当前的深度学习模型为未训练好的深度学习模型。

在本一实施例中，通过上述步骤S101至步骤S106，由于采用预设的听众的面部图片和预设的听众的微表情作为样本，同时预设的听众的微表情是按照微表情国际标准的预设得来，且以样本中的预设的听众的面部图片作为输入投入至深度学习模型，得到输出结果，然后，将输出结果最为调整深度学习模型的输出目标，不断地采用准确有效的预设的听众的面部图片和预设的听众的微表情对调整深度学习模型的隐层参数进行调整，从而确保深度学习模型的输出结果与样本中的预设的听众的微表情的误差最小化，从而保证了深度学习模型输出的预设的听众的微表情准确性。

进一步地，在一实施例中，该基于听众微表情的听讲评价方法应用在电子科技行业中，在如图5所示图2至图4中任一个图对应实施例中一种基于听众微表情的听讲评价方法中针对听讲活动中的每一个听众，听众的各张面部图片通过如下步骤采集：

S106、针对听讲活动中的每一个听众，在听讲活动的时间段内对听众进行录像，得到听众的听讲视频；

具体地，针对听讲活动中的每一个听众，在听讲活动的时间段内，通过现场摄像装置或者通过远程摄像装置对听众进行录像，得到听众的听讲视频，其中，摄像装置可以为数码相机或录像机等。

S107、针对听讲活动中的每一个听众，采用预设的图片提取工具对听众的听讲视频进行提取，得到听众的各张面部图片。

具体地，针对听讲活动中的每一个听众，采用预设的图片提取工具对听众的听讲视频进行提取，得到听众的各张面部图片，其中，预设的图片提取工具可以为matlab工具，还可以为提取模型，如OpenCV模型等，该matlab工具为美国MathWorks公司出品的商业数学软件，OpenCV模型为一个基于BSD许可(开源)发行的跨平台计算机视觉库构建好的模型，预设的图片提取工具的具体内容，可以根据实际应用进行设定，此处不做限制。

在图5对应的实施例中，通过上述步骤S106至步骤S107，由于针对听讲活动中的每一个听众，在听讲活动的时间段内对听众进行录像，得到听众的听讲视频，针对听讲活动中的每一个听众，采用预设的图片提取工具对听众的听讲视频进行提取，得到听众的各张面部图片，这样通过先录制听众视频然后从视频中提取面部图片，便保证了提取面部图片的连续性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种评价听讲活动装置，该评价听讲活动装置与上述实施例中基于听众微表情的听讲评价方法一一对应。如图6所示，该评价听讲活动装置包括第一提取模块61、第一确定模块62、第二确定模块63、第一计算模块64和第三确定模块65。各功能模块详细说明如下：

第一提取模块61，用于针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的听众的各张面部图片中提取出听众的各个微表情；

第一确定模块62，用于针对听讲活动中的每一个听众，根据预设的情绪状态对应关系分别确定出与各个微表情对应的各个预设的情绪状态，预设的情绪状态对应关系记录了微表情与预设的情绪状态的对应关系；

第二确定模块63，用于针对听讲活动中的每一个听众，根据预设的第一评分规则分别确定出与听众的各个预设的情绪状态对应的各个第一评价分值，第一评分规则记录了预设的情绪状态与第一评价分值的对应关系；

第一计算模块64，用于针对听讲活动中的每一个听众，计算各个第一评价分值之和，得到听众的第一总评价分值；

第三确定模块65，用于在得到听讲活动中所有听众的第一总评价分值之后，根据所有听众各自的第一总评价分值确定听讲活动的活动评价分值，其中，活动评价分值越高代表听讲活动的效果越好。

进一步地，第二确定模块63包括：

第一提炼子模块，用于针对听讲活动中的每一个听众的每一个微表情，提取每一个微表情的各个动作单元；

获取子模块，用于针对听讲活动中的每一个听众的每一个微表情，按照预设的微表情评分规则获取与各个动作单元对应的各个情绪值，预设的微表情评分规则记录了动作单元与情绪值的对应关系；

筹算子模块，用于针对听讲活动中的每一个听众的每一个微表情，计算各个情绪值之和，得到每一个微表情的总情绪值；

第一断定子模块，用于针对听讲活动中的每一个听众，在得到听众的所有微表情的各个总情绪值之后，确定听众的每个微表情的总情绪值落入预设的情绪状态规则中预设的阈值区间；

第二断定子模块，用于针对听讲活动中的每一个听众，将各个预设的阈值区间的预设的情绪状态分别确定为各个微表情对应的各个预设的情绪状态，预设的情绪状态规则记录了预设的阈值区间与预设的情绪状态的对应关系。

进一步地，该评价听讲活动装置还包括：

采集模块，用于针对听讲活动中的每一个听众，在听讲活动的时间段内采集听众的动作的各张动作图片；

筛选模块，用于针对听讲活动中的每一个听众，对听众的各个动作的各张动作图片进行筛选，得到听众的各个目标评分动作的各张目标评分动作图片；

第四确定模块，用于针对听讲活动中的每一个听众，根据预设的第二评分规则分别确定出与各张目标评分动作图片中听众的各个目标评分动作对应的各个第二评价分值，预设的第二评分规则记录了目标评分动作与第二评价分值的对应关系；

第二计算模块，用于针对听讲活动中的每一个听众，计算各个第二评价分值之和，得到听众的第二总评价分值；

第三确定模块65具体用于根据所有听众各自的第一总评价分值和第二总评价分值确定听讲活动的活动评价分值。

进一步地，第一提取模块61包括：

第二提炼子模块，用于针对听讲活动中的每一个听众，将在听讲活动的时间段内采集到的听众的各张面部图片作为输入投入至预先训练好的深度学习模型，得到各个第一输出结果作为听众的各个微表情，其中，深度学习模型是由预设的听众的面部图片和预设的听众的微表情作为样本训练得到的，面部图片与第一输出结果存在一一对应关系；

深度学习模型通过以下模块预先训练得到：

第五确定模块，用于将预设的听众的面部图片和预设的听众的微表情确定为样本；

输入模块，用于将预设的听众的面部图片作为输入投入至深度学习模型，得到第二输出结果；

调整模块，用于调整深度学习模型的隐层参数，以最小化第二输出结果与预设的听众的微表情的误差；

判断模块，用于判断第二输出结果与预设的听众的微表情的误差是否满足预设条件，若是，则触发第七确定模块，若否，则触发第六确定模块、输入模块和调整模块；

第六确定模块，用于若误差满足预设条件，则确定当前的所述深度学习模型为训练好的深度学习模型。

进一步地，针对听讲活动中的每一个听众，听众的各张面部图片通过以下模块采集：

录像模块，用于针对听讲活动中的每一个听众，在听讲活动的时间段内对听众进行录像，得到听众的听讲视频；

第二提取模块，用于针对听讲活动中的每一个听众，采用预设的图片提取工具对听众的听讲视频进行提取，得到听众的各张面部图片。

关于评价听讲活动装置的具体限定可以参见上文中对于基于听众微表情的听讲评价方法的限定，在此不再赘述。上述评价听讲活动装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储评价听讲活动涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于听众微表情的听讲评价方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例基于听众微表情的听讲评价方法的步骤，例如图2所示的步骤S10至步骤S50。或者，处理器执行计算机程序时实现上述实施例中评价听讲活动装置的各模块/单元的功能，例如图6所示第一提取模块61至第三确定模块65的功能。为避免重复，这里不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中基于听众微表情的听讲评价方法，或者，该计算机程序被处理器执行时实现上述装置实施例中评价听讲活动装置中各模块/单元的功能。为避免重复，这里不再赘述。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于听众微表情的听讲评价方法，其特征在于，所述基于听众微表情的听讲评价方法包括：

针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的所述听众的各张面部图片中提取出所述听众的各个微表情；

针对所述听讲活动中的每一个听众，根据预设的情绪状态对应关系分别确定出与各个所述微表情对应的各个情绪状态，所述预设的情绪状态对应关系记录了微表情与预设的情绪状态的对应关系；

针对所述听讲活动中的每一个听众，根据预设的第一评分规则分别确定出与所述听众的各个预设的情绪状态对应的各个第一评价分值，所述预设的第一评分规则记录了预设的情绪状态与第一评价分值的对应关系；

针对所述听讲活动中的每一个听众，计算所述各个第一评价分值之和，得到所述听众的第一总评价分值；

在得到所述听讲活动中所有听众的第一总评价分值之后，根据所有听众各自的第一总评价分值确定所述听讲活动的活动评价分值。

2.如权利要求1所述的基于听众微表情的听讲评价方法，其特征在于，所述针对所述听讲活动中的每一个听众，根据预设的情绪状态对应关系分别确定出与各个所述微表情对应的各个预设的情绪状态包括：

针对所述听讲活动中的每一个听众的每一个微表情，提取所述每一个微表情的各个动作单元；

针对所述听讲活动中的每一个听众的每一个微表情，按照预设的微表情评分规则获取与所述各个动作单元对应的各个情绪值，所述预设的微表情评分规则记录了动作单元与情绪值的对应关系；

针对所述听讲活动中的每一个听众的每一个微表情，计算所述各个情绪值之和，得到所述每一个微表情的总情绪值；

针对所述听讲活动中的每一个听众，在得到所述听众的所有微表情的各个总情绪值之后，确定所述听众的每个微表情的总情绪值落入预设的情绪状态规则中预设的阈值区间；

针对所述听讲活动中的每一个听众，将所述各个预设的阈值区间的预设的情绪状态分别确定为各个所述微表情对应的各个预设的情绪状态，所述预设的情绪状态规则记录了预设的阈值区间与预设的情绪状态的对应关系。

3.如权利要求1所述的基于听众微表情的听讲评价方法，其特征在于，针对所述听讲活动中的每一个听众，在听讲活动的时间段内采集所述听众的动作的各张动作图片，在所述根据所有听众各自的第一总评价分值确定所述听讲活动的活动评价分值之前，所述基于听众微表情的听讲评价方法还包括：

针对所述听讲活动中的每一个听众，对所述听众的各个动作的各张动作图片进行筛选，得到所述听众的各个目标评分动作的各张目标评分动作图片；

针对所述听讲活动中的每一个听众，根据预设的第二评分规则分别确定出与所述各张目标评分动作图片中所述听众的各个目标评分动作对应的各个第二评价分值，所述预设的第二评分规则记录了目标评分动作与第二评价分值的对应关系；

针对所述听讲活动中的每一个听众，计算所述各个第二评价分值之和，得到所述听众的第二总评价分值；

在得到所述听讲活动中所有听众的第二总评价分值之后，所述根据所有听众各自的第一总评价分值确定所述听讲活动的活动评价分值具体为：根据所述所有听众各自的第一总评价分值和第二总评价分值确定所述听讲活动的活动评价分值。

4.如权利要求1所述的基于听众微表情的听讲评价方法，其特征在于，所述针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的所述听众的各张面部图片中提取出所述听众的各个微表情包括：

针对听讲活动中的每一个听众，将在听讲活动的时间段内采集到的所述听众的各张面部图片作为输入投入至预先训练好的深度学习模型，得到各个第一输出结果作为所述听众的各个微表情，其中，所述深度学习模型是由预设的听众的面部图片和预设的听众的微表情作为样本训练得到的，面部图片与第一输出结果存在一一对应关系；

所述深度学习模型通过以下步骤预先训练得到：

将所述预设的听众的面部图片和所述预设的听众的微表情确定为样本；

将所述预设的听众的面部图片作为输入投入至所述深度学习模型，得到第二输出结果；

调整所述深度学习模型的隐层参数，以最小化所述第二输出结果与所述预设的听众的微表情的误差；

若所述误差满足预设条件，则确定当前的所述深度学习模型为训练好的深度学习模型。

5.如权利要求1至4中任一项所述的基于听众微表情的听讲评价方法，其特征在于，针对所述听讲活动中的每一个听众，所述听众的各张面部图片通过以下步骤采集：

针对所述听讲活动中的每一个听众，在听讲活动的时间段内对所述听众进行录像，得到所述听众的听讲视频；

针对所述听讲活动中的每一个听众，采用预设的图片提取工具对所述听众的听讲视频进行提取，得到所述听众的各张面部图片。

6.一种评价听讲活动装置，其特征在于，所述评价听讲活动装置包括：

第一提取模块，用于针对听讲活动中的每一个听众，从在听讲活动的时间段内采集到的所述听众的各张面部图片中提取出所述听众的各个微表情；

第一确定模块，用于针对所述听讲活动中的每一个听众，根据预设的情绪状态对应关系分别确定出与各个所述微表情对应的各个预设的情绪状态，所述预设的情绪状态对应关系记录了微表情与预设的情绪状态的对应关系；

第二确定模块，用于针对所述听讲活动中的每一个听众，根据预设的第一评分规则分别确定出与所述听众的各个预设的情绪状态对应的各个第一评价分值，所述预设的第一评分规则记录了预设的情绪状态与第一评价分值的对应关系；

第一计算模块，用于针对所述听讲活动中的每一个听众，计算所述各个第一评价分值之和，得到所述听众的第一总评价分值；

第三确定模块，用于在得到所述听讲活动中所有听众的第一总评价分值之后，根据所有听众各自的第一总评价分值确定所述听讲活动的活动评价分值。

7.如权利要求6所述的评价听讲活动装置，其特征在于，所述第一确定模块包括：

第一提炼子模块，用于针对所述听讲活动中的每一个听众的每一个微表情，提取所述每一个微表情的各个动作单元；

获取子模块，用于针对所述听讲活动中的每一个听众的每一个微表情，按照预设的微表情评分规则获取与所述各个动作单元对应的各个情绪值，所述预设的微表情评分规则记录了动作单元与情绪值的对应关系；

筹算子模块，用于针对所述听讲活动中的每一个听众的每一个微表情，计算所述各个情绪值之和，得到所述每一个微表情的总情绪值；

第一断定子模块，用于针对所述听讲活动中的每一个听众，在得到所述听众的所有微表情的各个总情绪值之后，确定所述听众的每个微表情的总情绪值落入预设的情绪状态规则中预设的阈值区间；

第二断定子模块，用于针对所述听讲活动中的每一个听众，将所述各个预设的阈值区间的预设的情绪状态分别确定为各个所述微表情对应的各个预设的情绪状态，所述预设的情绪状态规则记录了预设的阈值区间与预设的情绪状态的对应关系。

8.如权利要求6至7中任一项所述的评价听讲活动装置，其特征在于，所述评价听讲活动装置还包括：

采集模块，用于针对听讲活动中的每一个听众，在听讲活动的时间段内采集听众的动作的各张动作图片；

筛选模块，用于针对所述听讲活动中的每一个听众，对所述听众的各个动作的各张动作图片进行筛选，得到所述听众的各个目标评分动作的各张目标评分动作图片；

第四确定模块，用于针对所述听讲活动中的每一个听众，根据预设的第二评分规则分别确定出与所述各张目标评分动作图片中所述听众的各个目标评分动作对应的各个第二评价分值，所述预设的第二评分规则记录了目标评分动作与第二评价分值的对应关系；

第二计算模块，用于针对所述听讲活动中的每一个听众，计算所述各个第二评价分值之和，得到所述听众的第二总评价分值；

在得到所述听讲活动中所有听众的第二总评价分值之后，所述第三确定模块具体用于根据所述所有听众各自的第一总评价分值和第二总评价分值确定所述听讲活动的活动评价分值。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述基于听众微表情的听讲评价方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述基于听众微表情的听讲评价方法的步骤。