CN109934150B - 一种会议参与度识别方法、装置、服务器和存储介质 - Google Patents

Abstract

本发明实施例公开了一种会议参与度识别方法、装置、服务器和存储介质，该方法包括：实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。本发明实施例利用图片识别技术，从多角度识别每个参会者的精细行为特征，并基于该行为特征识别每个参会者的个体情绪和全部参会者的群体情绪，为会议主持人提供了更丰富的有关参会者对会议参与度的信息，使主持人能够更准确、实时地了解参会者对会议主题的参与程度。

Description

一种会议参与度识别方法、装置、服务器和存储介质

技术领域

本发明实施例涉及图片识别技术，尤其涉及一种会议参与度识别方法、装置、服务器和存储介质。

背景技术

在组织会议的过程中，主持人需要调动现场氛围，让参与者都积极参与到会议主题中，主讲人也希望所讲主题和内容是所有与会者都感兴趣并能够理解和有价值的。此外，主持人或主讲人都需要针对现场的情况及时作出调整，以达到理想的会议效果。

现有技术中，可以利用摄像头拍摄会场图像，通过图像识别出在场观众的人数，以及识别出是否有人缺席或提前离席，并将这些信息反馈给会议主持人或主讲人。然而，在会议中，且尤其是参与人数较多的大型会议中，仅能够得知参与者的人数是不够的，基于现有技术提供的信息，主持人或主讲人仍然无法全面掌握参与者的动态和对会议的关注程度，更加无法基于此做出实时地调整，继而无法达到理想的会议效果。

发明内容

本发明实施例提供一种会议参与度识别方法、装置、服务器和存储介质，以解决现有技术无法提供足够的与参会者对会议参与度有关的信息的问题。

第一方面，本发明实施例提供了一种会议参与度识别方法，该方法包括：

实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；

利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；

利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。

第二方面，本发明实施例还提供了一种会议参与度识别装置，该装置包括：

图片获取模块，用于实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；

行为特征识别模块，用于利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；

情绪识别模块，用于利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。

第三方面，本发明实施例还提供了一种服务器，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的会议参与度识别方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的会议参与度识别方法。

本发明实施例提供了一种会议参与度识别方法、装置、服务器和存储介质，利用图片识别技术，从会议现场图片中识别每个参会者的至少一种行为特征，并输入到预先训练的情绪识别模型，以识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。由此实现了从多角度识别每个参会者的精细行为特征，并基于该行为特征识别每个参会者的个体情绪和全部参会者的群体情绪，为会议主持人提供了更丰富的有关参会者对会议参与度的信息，使主持人能够更准确、实时地了解参会者对会议主题的参与程度。

附图说明

图1为本发明实施例一中的会议参与度识别方法的流程图；

图2是本发明实施例二中的会议参与度识别方法的流程图；

图3是本发明实施例三中的会议参与度识别方法的流程图

图4是本发明实施例四中的会议参与度识别装置的结构示意图；

图5是本发明实施例五中的服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的会议参与度识别方法的流程图，本实施例可适用于判断参会者对会议主题的参与程度的情况，该方法可以由会议参与度识别装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置在本地服务器或者云端服务器上。如图1所示，该方法具体包括：

S101、实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像。

其中，会议现场图片是群体图片，包括了全部参会者的图像。针对一个会议，通常参会者人数较多，因此可通过设置多个不同角度的摄像头对会议现场进行图像采集，以保证采集的图像数据中包括全部参会者的图像。因此，只需实时获取摄像头采集的图像数据，即可实时得到会议现场图片。

S102、利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征。

其中，每个参会者的至少一种行为特征至少包括：人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征。

相应的，可基于机器学习技术，利用预先训练好的特征识别模型，从获取到的会议现场图片中识别每个参会者的各种行为特征。示例性的，利用人脸关键点识别模型识别会议现场图片中每个参会者的人脸朝向特征，例如左转头、右转头、低头等，除此，人脸关键点识别模型还可以识别每个参会者的人脸轮廓、五官的位置和轮廓等；利用人体肢体识别模型识别会议现场图片中每个参会者的人体肢体特征，其中，人体肢体特征至少包括趴着、抬头、翘腿、转笔等；利用视线估计模型识别会议现场图片中每个参会者的视线估计特征，即识别各参会者的眼睛注视的方向；利用会场行为模型识别会议现场图片中每个参会者的会场行为特征，例如识别参会者进场或离场等；利用人脸表情识别模型识别会议现场图片中每个参会者的人脸表情特征，其中人脸表情特征至少包括皱眉、大笑、微笑、闭眼、撅嘴、抿嘴、吐舌等。由此，通过上述各个特征识别模型，可识别群体图片中每个参会者的行为特征。

S103、利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。

将S102中各个特征识别模型输出的每个参会者的行为特征输入到预先训练的情绪识别模型，根据情绪识别模型的输出确定每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。

此外，本发明实施例的方法还可以包括显示所述个体情绪识别结果和群体情绪识别结果。例如可以在一块显示屏上显示上述结果以供会议主持人查看，会议主持人可以根据每个人以及群体的情绪识别结果随时调整会议内容，或者设置课间休息，以达到更好的会议效果。

此处还需要说明的是，基于现实情况，确实是一个会场里，大多数人情绪，通常反应了整体会议参与度情况，而单个参会者的情绪不能代表所有参会者的情绪，因此在判断会议参与度时直接利用情绪识别模型输出的群体情绪识别结果来确定。而且，当会场人数众多时，若只提供每个参会者的情绪识别结果并局限在固定大小的显示屏上供主持人查看，主持人则无法在众多结果中明显地观察到哪个人注意力有问题或者参与度不高。而群体情绪识别结果则可以作为更好的信息参考，例如，当群体情绪识别结果显示群体参与度不高，低于60％，则表示大多数人对主持人的演讲不感兴趣，或者存在疑惑，则主持人可以及时调整，也可以进一步通过个体情绪识别结果查看到底是哪个人或者哪些人参与度不高，以便采取进一步的措施。反之，如果群体情绪识别结果显示大多数人参与度较高，那么主持人则不必额外花精力来查看哪个人参与度不高，也不需要主持人根据每个人的情绪识别结果来自己统计会场的整体参与度，影响会议效率。

进一步的，本实施例利用情绪识别模型进行情绪分析时，是通过综合分析参会者多种行为特征进行识别，相比于利用参会者单一行为特征分析情绪，其准确性更高。例如：如果单独去看人体姿态(趴着、抬头、翘腿、转笔)，无法精确判断用户是否是在专心听，例如参会者虽然趴着，但是有可能眼睛还看着演讲台，也有可能头偏向一边，没有听会议；如果单独判断人体姿态(用户即使抬着头)，但是有可能也是在打瞌睡(眼睛已经闭上了)。所以单独根据人脸或肢体行为，无法准确判断情绪、会议参与度，如果结合人脸、肢体等多种行为特征，则情绪识别准确度更高。

本发明实施例中，利用图片识别技术，从会议现场图片中识别每个参会者的至少一种行为特征，并输入到预先训练的情绪识别模型，以识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。由此实现了从多角度识别每个参会者的精细行为特征，并基于该行为特征识别每个参会者的个体情绪和全部参会者的群体情绪，为会议主持人提供了更丰富的有关参会者对会议参与度的信息，使主持人能够更准确、实时地了解参会者对会议主题的参与程度。

进一步的，在上述基础上，会议参与度识别方法还包括：保存历史群体情绪识别结果，得到群体历史情绪波动特征。也即是每次利用预先训练的情绪识别模型得到会议现场的群体情绪识别结果之后，保存群体情绪识别结果。

实施例二

图2为本发明实施例二提供的会议参与度识别方法的流程图，本实施例二在实施例一的基础上，对利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果，做出进一步地优化。如图2所示，所述方法包括：

S201、实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像。

S202、利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征。

S203、利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果。

S204、根据所述每个参会者的至少一种行为特征和所述群体历史情绪波动特征识别会议现场的群体情绪识别结果。

基于机器学习技术预先训练得到的情绪识别模型既可以输出单个参会者的情绪识别结果，也可以输出群体情绪识别结果。针对单个参会者，只需将每个参会者的至少一种行为特征输入情绪识别模型，情绪识别模型即可输出每个参会者的个体情绪识别结果。此外，为了确保情绪识别模型输出的群体情绪识别结果的准确性，优选的，将群体历史情绪波动特征同时作为输入，与每个参会者的至少一种行为特征一起输入到情绪识别模型中。其中，群体历史情绪波动特征主要用于防止数据突变、波动，排除一些干扰，对实时的群体情绪识别结果进行调节。例如：一个较长时间段的会场群体情绪数据，会形成一个情绪曲线图，将实时的群体情绪检测的结果，与该曲线图进行综合比对，消除由于数据突变导致的群体情绪检测结果的异常波动，使得在更小时间段的曲线内，形成更平滑的曲线。

本发明实施例中，将保存的群体历史情绪波动特征输入到情绪识别模型中，通过群体历史情绪波动特征对实时的群体情绪检测结果进行微调，确保情绪识别模型输出的群体情绪识别结果的准确性。

实施例三

图3为本发明实施例三提供的会议参与度识别方法的流程图，本实施例在上述实施例的基础上进行进一步地优化。如图3所示，所述方法包括：

S301、实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像。

S302、利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征。

S303、利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。

S304、根据所述至少一种行为特征和个体情绪识别结果，对全部参会者按照座位距离进行聚类。

示例性的，针对进一步的“抬头”和“皱眉”这两个行为特征，其表明了“疑惑”的情绪，则从个体情绪识别结果筛选出情绪为“疑惑”的参会者，并将情绪识别结果为“疑惑”的参会者按照座位距离进行聚类，例如将相邻的且情绪识别结果均为“疑惑”的参会者划分为一类。同理，可根据不同的行为特征和个体情绪识别结果，对全部参会者按照座位距离进行聚类。

S305、如果通过聚类得到至少一个情绪区域，则计算各情绪区域的区域情绪识别结果。

通过S304将对全部参会者进行聚类后，将整个会议现场划分为不同的情绪区域，通过每个情绪区域内各自包括的参会者的行为特征确定每个情绪区域的区域情绪识别结果。

进一步的，在至少一个情绪区域内，基于各情绪区域的区域情绪识别结果，对各区域内不同参会者的至少一种行为特征中置信度低于预设阈值的行为特征进行校正。示例性的，进行视线识别时，利用情绪区域的群体性的视线估计，可以纠正单个人的视线估计出现的误差。例如，多个参会者看的方向，通常也是某一参会者比较有可能在看的方向。

S306、显示所述个体情绪识别结果、群体情绪识别结果和/或至少一个情绪区域的区域情绪识别结果。

显示个体情绪识别结果、群体情绪识别结果和/或至少一个情绪区域的区域情绪识别结果，并将其反馈给会议主持人，以便会议主持人根据接收到的情绪分析结果，有针对性的进行处理。例如，群体情绪识别结果为“疑惑”时，会议主持人可以调整会议内容，给听众进行更深入的讲解，及时解惑；或者会议主持人可根据各个情绪区域的区域情绪识别结果进行不同处理，例如某一情绪区域的区域情绪识别结果为“厌烦”，会议主持人可以增加与该区域参会者的互动，以提升该区域参会者的兴趣。

本发明实施例中，根据参会者行为特征和个体情绪识别结果进行聚类，得到至少一个情绪区域，计算各情绪区域的区域情绪识别结果，并反馈给会议主持人，以便会议主持人根据不同情绪区域的区域情绪识别结果进行不同处理。

实施例四

图4是本发明实施例四中的会议参与度识别装置的结构示意图。如图4所示，会议参与度识别装置包括：

图片获取模块401，用于实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；

行为特征识别模块402，用于利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；

情绪识别模块403，用于利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。

本发明实施例提利用图片识别技术，从会议现场图片中识别每个参会者的至少一种行为特征，并输入到预先训练的情绪识别模型，以识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。由此实现了从多角度识别每个参会者的精细行为特征，并基于该行为特征识别每个参会者的个体情绪和全部参会者的群体情绪，为会议主持人提供了更丰富的有关参会者对会议参与度的信息，使主持人能够更准确、实时地了解参会者对会议主题的参与程度。

在上述实施例的基础上，所述至少一种行为特征至少包括：人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征；

相应的，所述行为特征识别模块，具体用于：

分别利用预先训练的人脸关键点识别模型、人体肢体识别模型、视线估计模型、会场行为模型和人脸表情识别模型，并基于图片识别技术，从所述会议现场图片中识别每个参会者的人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征。

在上述实施例的基础上，所述装置还包括：

情绪波动特征获取模块，用于保存历史群体情绪识别结果，得到群体历史情绪波动特征；

相应的，所述情绪识别模块包括：

个体情绪识别单元，用于利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果；

群体情绪识别单元，用于根据所述每个参会者的至少一种行为特征和所述群体历史情绪波动特征识别会议现场的群体情绪识别结果。

在上述实施例的基础上，所述装置还包括：

聚类模块，用于根据所述至少一种行为特征和个体情绪识别结果，对全部参会者按照座位距离进行聚类；以及如果通过聚类得到至少一个情绪区域，则计算各情绪区域的区域情绪识别结果；

显示模块，用于显示所述个体情绪识别结果、群体情绪识别结果和/或至少一个情绪区域的区域情绪识别结果。

在上述实施例的基础上，所述装置还包括：

行为特征校正模块，用于在所述至少一个情绪区域内，基于各情绪区域的区域情绪识别结果，对各区域内不同参会者的至少一种行为特征中置信度低于预设阈值的行为特征进行校正。

本发明实施例所提供的装置可执行本发明任意实施例所提供的会议参与度识别方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例性服务器12的框图。图5显示的服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，服务器12以通用计算设备的形式表现。服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该服务器12交互的设备通信，和/或与使得该服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的会议参与度识别方法，该方法包括：

实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；

利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；

利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的会议参与度识别方法，该方法包括：

实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；

利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；

利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种会议参与度识别方法，其特征在于，包括：

实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；

利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；

利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果；其中，情绪识别模型输出的群体情绪识别结果用于确定会议参与度；

其中，所述方法还包括：保存历史群体情绪识别结果，得到群体历史情绪波动特征；

相应的，所述利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果，包括：

利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果；

根据所述每个参会者的至少一种行为特征和所述群体历史情绪波动特征识别会议现场的群体情绪识别结果；

其中，在识别每个参会者的个体情绪识别结果以及会议现场的群体情绪识别结果之后，所述方法还包括：

根据所述至少一种行为特征和个体情绪识别结果，对全部参会者按照座位距离进行聚类；

如果通过聚类得到至少一个情绪区域，则计算各情绪区域的区域情绪识别结果；

显示所述个体情绪识别结果、群体情绪识别结果和/或至少一个情绪区域的区域情绪识别结果。

2.根据权利要求1所述的方法，其特征在于，所述至少一种行为特征至少包括：人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征；

相应的，所述利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征，包括：

分别利用预先训练的人脸关键点识别模型、人体肢体识别模型、视线估计模型、会场行为模型和人脸表情识别模型，并基于图片识别技术，从所述会议现场图片中识别每个参会者的人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述至少一个情绪区域内，基于各情绪区域的区域情绪识别结果，对各区域内不同参会者的至少一种行为特征中置信度低于预设阈值的行为特征进行校正。

4.一种会议参与度识别装置，其特征在于，包括：

图片获取模块，用于实时获取会议现场图片，其中，所述会议现场图片中包含全部参会者的图像；

行为特征识别模块，用于利用图片识别技术，从所述会议现场图片中识别每个参会者的至少一种行为特征；

情绪识别模块，用于利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果，以及会议现场的群体情绪识别结果；其中，情绪识别模型输出的群体情绪识别结果用于确定会议参与度；

其中，所述装置还包括：情绪波动特征获取模块，用于保存历史群体情绪识别结果，得到群体历史情绪波动特征；

相应的，所述情绪识别模块包括：

个体情绪识别单元，用于利用预先训练的情绪识别模型，根据所述每个参会者的至少一种行为特征识别每个参会者的个体情绪识别结果；

群体情绪识别单元，用于根据所述每个参会者的至少一种行为特征和所述群体历史情绪波动特征识别会议现场的群体情绪识别结果；

其中，所述装置还包括：

聚类模块，用于根据所述至少一种行为特征和个体情绪识别结果，对全部参会者按照座位距离进行聚类；以及如果通过聚类得到至少一个情绪区域，则计算各情绪区域的区域情绪识别结果；

显示模块，用于显示所述个体情绪识别结果、群体情绪识别结果和/或至少一个情绪区域的区域情绪识别结果。

5.根据权利要求4所述的装置，其特征在于，所述至少一种行为特征至少包括：人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征；

相应的，所述行为特征识别模块，具体用于：

分别利用预先训练的人脸关键点识别模型、人体肢体识别模型、视线估计模型、会场行为模型和人脸表情识别模型，并基于图片识别技术，从所述会议现场图片中识别每个参会者的人脸朝向特征、人体肢体特征、视线估计特征、会场行为特征和人脸表情特征。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

行为特征校正模块，用于在所述至少一个情绪区域内，基于各情绪区域的区域情绪识别结果，对各区域内不同参会者的至少一种行为特征中置信度低于预设阈值的行为特征进行校正。

7.一种服务器，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的会议参与度识别方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的会议参与度识别方法。

Images