CN117290778A - 虚拟会议的状态分析方法、设备及介质 - Google Patents

Abstract

本申请公开了一种虚拟会议的状态分析方法、设备及介质，该虚拟会议的状态分析方法包括：通过获取当前虚拟会议中参会对象的至少两种模态的会议数据；分别对每个会议数据进行特征提取，得到每个会议数据对应的特征向量，并融合每个特征向量得到融合特征；基于融合特征对每个会议数据进行分类，得到第一分类结果；以及，基于每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果；融合第一分类结果和第二分类结果得到多模态特征参数，对多模态特征参数进行状态分析，得到参会对象的状态分析结果，可以充分挖掘出多模态会议数据的数据信息，提高状态分析的准确性。

Description

虚拟会议的状态分析方法、设备及介质

技术领域

本申请涉及数据分析技术领域，特别是涉及一种虚拟会议的状态分析方法、设备及介质。

背景技术

随着计算机技术的发展，会议的形式越来越多样，不局限于参会人员聚集到统一的会议室中进行开会，还可以通过远程音视频的网络虚拟会议，实现跨地域的虚拟会议的召开，便利了人们的工作和生活。

在召开线上虚拟会议时，如何有效地分析会议中用户的行为是本领域技术人员亟待解决的问题。

发明内容

本申请至少提供一种虚拟会议的状态分析方法、设备及存储介质。

本申请第一方面提供了一种虚拟会议的状态分析方法，方法包括：获取当前虚拟会议中参会对象的至少两种模态的会议数据；分别对每个会议数据进行特征提取，得到每个会议数据对应的特征向量，并融合每个特征向量得到融合特征；基于融合特征对每个会议数据进行分类，得到第一分类结果；以及，基于每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果；融合第一分类结果和第二分类结果得到多模态特征参数，对多模态特征参数进行状态分析，得到参会对象的状态分析结果。

在一实施例中，分别对每个会议数据进行特征提取，得到每个会议数据对应的特征向量，包括：分别获取每个会议数据对应的数据预处理策略和特征提取策略；基于每个会议数据对应的数据预处理策略，对每个会议数据分别进行预处理，得到预处理数据；基于每个预处理数据对应的特征提取策略，对每个预处理数据分别进行特征提取，得到每个会议数据对应的特征向量。

在一实施例中，分别获取每个会议数据对应的数据预处理策略和特征提取策略，包括：获取历史虚拟会议对应的评价信息；基于评价信息选取每个会议数据对应的数据预处理策略和特征提取策略。

在一实施例中，基于融合特征对每个会议数据进行分类，得到第一分类结果；以及，基于每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果，包括：将融合特征输入至综合分类网络，得到综合分类网络输出的第一分类结果；以及，获取每个会议数据分别对应的独立分类网络，将每个会议数据对应的特征向量分别输入至对应的独立分类网络，融合每个独立分类网络输出的分类结果，得到第二分类结果。

在一实施例中，融合第一分类结果和第二分类结果得到多模态特征参数，包括：获取第一分类结果对应的第一权重参数，以及获取第二分类结果对应的第二权重参数；基于第一权重参数和第二权重参数，对第一分类结果和第二分类结果进行加权融合，得到多模态特征参数。

在一实施例中，在对多模态特征参数进行状态分析，得到参会对象的状态分析结果之后，还包括：基于参会对象的状态分析结果，生成会议优化策略；基于会议优化策略进行会议优化。

在一实施例中，参会对象含有第一用户与至少一个第二用户；基于会议优化策略进行会议优化，包括：基于每个第二用户对应的状态分析结果，生成当前虚拟会议的优化指示信息；将优化指示信息发送至第一用户，以使第一用户依据优化指示信息进行会议优化。

在一实施例中，获取虚拟会议中参会对象的至少两种模态的会议数据，包括：采集当前虚拟会议中产生的数据，得到参会数据；以及，从第三方数据源采集参会对象对应的数据，得到关联数据；结合参会数据和关联数据，得到会议数据。

本申请第二方面提供了一种虚拟会议的状态分析装置，装置包括：数据获取模块，用于获取当前虚拟会议中参会对象的至少两种模态的会议数据；特征提取模块，用于分别对每个会议数据进行特征提取，得到每个会议数据对应的特征向量，并融合每个特征向量得到融合特征；分类模块，用于基于融合特征对每个会议数据进行分类，得到第一分类结果；以及，基于每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果；状态分析模块，用于融合第一分类结果和第二分类结果得到多模态特征参数，对多模态特征参数进行状态分析，得到参会对象的状态分析结果。

本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述虚拟会议的状态分析方法。

本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述虚拟会议的状态分析方法。

上述方案，通过获取当前虚拟会议中参会对象的至少两种模态的会议数据；分别对每个会议数据进行特征提取，得到每个会议数据对应的特征向量，并融合每个特征向量得到融合特征；基于融合特征对每个会议数据进行分类，得到第一分类结果；以及，基于每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果；融合第一分类结果和第二分类结果得到多模态特征参数，对多模态特征参数进行状态分析，得到参会对象的状态分析结果。由于多模态特征参数即可以捕获跨模态的信息，也保留了每个模态会议数据的独特性，可以充分挖掘出多模态会议数据的数据信息，提高状态分析的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请一个实施例提供的方案实施环境的示意图；

图2是本申请的一示例性实施例示出的虚拟会议的状态分析方法的流程图；

图3是本申请的一示例性实施例示出的获取会议数据的示意图；

图4是本申请的一示例性实施例示出的特征向量处理的示意图；

图5是本申请的一示例性实施例示出的虚拟会议的状态分析装置的框图；

图6是本申请的一示例性实施例示出的电子设备的结构示意图；

图7是本申请的一示例性实施例示出的计算机可读存储介质的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联信息，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在当前社会环境中，随着远程工作和在线协作越来越普遍，线上虚拟会议变得日益重要。然而，线上虚拟会议中的信息流动快速，复杂多变，涵盖了多种模态的信息，如语音、文字和视频等，要在会议结束后准确回顾和理解会议的关键内容和结果，对于参会对象来说，可能是一个巨大的挑战。因此，如何在复杂的多模态线上虚拟会议中实时、高效、准确地分析并反馈会议情况，以提高会议的效率和效果，是亟待解决的问题。

基于此，本申请提供一种虚拟会议的状态分析方法、电子设备及计算机可读存储介质，以提高虚拟会议的分析效果。

本申请实施例提供的虚拟会议的状态分析方法可以由各种电子设备实施，例如可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以由服务器和终端协同实施。下面以由服务器和终端协同实施本申请实施例提供的虚拟会议的状态分析方法为例进行说明。

请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括：服务器110和终端(示例性示出了终端120-1至终端120-N，其中，N为大于1的正整数常量，例如N的取值可以是2、3、5等)，服务器110和各个终端之间通过网络进行通信连接，下面将分别进行说明。

服务器110是客户端120-1至客户端120-N的后台服务器，用于将虚拟会议的相关的多媒体数据分别发送给参加虚拟会议的参会对象1所关联的终端120-1至参会对象N所关联的终端120-N，其中，服务器110发送的多媒体数据包括但不限于N个参会对象的语音、视频、文字等。

网络用于作为服务器110和终端120-1至终端120-N之间的通信的媒介，网络可以是广域网或者局域网，又或者是二者的组合。

终端120-1至终端120-N上分别运行有客户端121-1至客户端121-N，客户端121-1至客户端121-N是同一类型的客户端，例如可以是虚拟会议客户端、即时通信客户端等，以客户端121-1为例，在接收到服务器110发送的虚拟会议的多媒体数据之后，客户端121-1在终端120-1中的人机交互界面对接收到的多媒体数据进行显示。

示例性的，图1中示出的服务器110可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。终端120-1至终端120-N可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端120-1至终端120-N与服务器110之间可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。

需要说明的是，在本申请的具体实施方式中，涉及到图像、音频、文字等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要守相关国家和地区的相关法律法规和标准。

请参阅图2，图2是本申请的一示例性实施例示出的虚拟会议的状态分析方法的流程图。该虚拟会议的状态分析方法可以应用于图1所示的实施环境，并由该实施环境中的服务器110具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。

下面以服务器作为具体的执行主体来对本申请实施例提出的虚拟会议的状态分析方法进行详细介绍。

如图2所示，虚拟会议的状态分析方法至少包括步骤S210至步骤S230，详细介绍如下：

步骤S210：获取当前虚拟会议中参会对象的至少两种模态的会议数据。

其中，虚拟会议是指以网络(例如互联网、局域网)为通信媒介的互动模式，任一参会对象的语音、视频、文字等形式的多媒体数据会被实时同步到其他的参会对象，从而突破参会对象在空间距离上的交流限制。

获取当前虚拟会议中参会对象的至少两种模态的会议数据，会议数据包括但不限于语音、视频、文字等形式的多媒体数据，以及参会对象的身份信息、在虚拟会议中输入的操作指令等数据。

示例性的，对当前虚拟会议的参会对象进行视频图像采集得到参会对象的视频数据。例如，参会对象通过终端加入虚拟会议，终端调用摄像头对虚拟会议中的参会对象进行视频图像采集，得到视频数据，并将采集到视频数据发送给服务器。

示例性的，对当前虚拟会议的参会对象进行音频采集得到参会对象的语音数据。例如，参会对象通过终端加入虚拟会议，终端调用音频采集装置对虚拟会议中的参会对象进行音频采集，得到语音数据，并将采集到语音数据发送给服务器。

示例性的，对当前虚拟会议的参会对象进行会议互动数据采集得到参会对象的会议互动数据。例如，参会对象通过终端加入虚拟会议，终端接收参会用户针对虚拟会议执行的会议互动操作，如投票、屏幕共享、加入会议的累计时长等会议互动操作，对这些会议互动操作进行记录，得到会议互动数据，并将采集到会议互动数据发送给服务器。

对采集会议互动数据进行举例：

a)记录参会对象加入或离开虚拟会议的时间。

b)检测参会对象是否在讲话或共享屏幕。

c)记录用户是否在使用其他功能，如使用文字聊天功能或投票功能。

步骤S220：分别对每个会议数据进行特征提取，得到每个会议数据对应的特征向量，并融合每个特征向量得到融合特征。

得到会议数据后，对各个模态的会议数据分别进行特征提取，以得到每个模态的会议数据对应的特征向量。

特征提取用于提取各会议数据中的关键信息，例如，从语音数据中提取声调特征和语速特征、从文字数据中提取关键词和情绪特征、从视频数据中提取面部表情特征和手势特征等。

然后，对各个模态的会议数据所对应的特征向量进行融合，以得到融合特征。

示例性的，对各个模态的会议数据进行拼接得到融合特征。例如，会议数据包括语音数据、视频数据和文字数据，对语音数据进行特征提取得到语音特征向量A，对文字数据进行特征提取得到文字特征向量B，对视频数据进行特征提取得到视频特征向量C，对语音特征向量A、文字特征向量B和视频特征向量进行拼接得到融合特征D＝[A，B，C]。

步骤S230：基于融合特征对每个会议数据进行分类，得到第一分类结果；以及，基于每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果。

根据融合特征对每个会议数据进行分类，得到第一分类结果。例如，会议数据包括语音数据、视频数据和文字数据，根据融合特征进行语音分类、视频分类和文字分类，结合语音分类结果、视频分类结果和文字分类结果得到的第一分类结果。

由于融合特征同时含有各个模态的会议数据的特征信息，根据融合特征对每个会议数据进行分类，得到第一分类结果，可以在分类过程中捕获跨模态的信息。

根据每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果。例如，会议数据包括语音数据、视频数据和文字数据，根据语音特征向量进行语音分类得到语音分类结果，根据视频特征向量进行视频分类得到视频分类结果，根据文字特征向量进行文字分类得到文字分类结果，结合语音分类结果、视频分类结果和文字分类结果得到的第二分类结果。

由于每个会议数据分别对应的特征向量分别完整保存有各个模态的会议数据的特征信息，根据每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果，可以在分类过程中充分利用每个模态会议数据的独特性。

步骤S240：融合第一分类结果和第二分类结果得到多模态特征参数，对多模态特征参数进行状态分析，得到参会对象的状态分析结果。

对第一分类结果和第二分类结果进行融合，得到多模态特征参数。然后，对多模态特征参数进行状态分析，得到参会对象的状态分析结果。

示例性的，状态分析可以是对当前虚拟会议中的参会人员进行行为判断，如判断参会人员是否存在发言、聆听或走神等行为。状态分析还可以是对当前虚拟会议中的参会人员进行情绪判断，如判断参会人员的感情倾向为积极、消极或中性。状态分析还可以是对当前虚拟会议中的参会人员进行行为预测或情绪预测，以预测后续参会人员可能的行为和情绪。

由于多模态特征参数即可以捕获跨模态的信息，也保留了每个模态会议数据的独特性，可以提高后续状态分析的准确性。

接下来对本申请的状态分析方法的步骤进行进一步说明：

在一些实施方式中，步骤S210中获取虚拟会议中参会对象的至少两种模态的会议数据，包括：采集当前虚拟会议中产生的数据，得到参会数据；以及，从第三方数据源采集参会对象对应的数据，得到关联数据；结合参会数据和关联数据，得到会议数据。

其中，参会数据是指当前虚拟会议产生的数据，如参会对象在当前虚拟会议中产生的视频数据、语音数据、文字数据、会议交互数据等，以及当前虚拟会议的持续时长、加入虚拟会议的参会对象的人数、退出虚拟会议的参会对象的人数等。

其中，关联数据是指不是当前虚拟会议产生的数据，如历史虚拟会议产生的相关数据，参会对象的身份信息，参会对象在其他交互平台的交互记录等。

例如，请参阅图3，图3为本申请一示例性实施例示出的获取会议数据的示意图，如图3所示，服务器与第三方数据源通信连接，从第三方数据源采集参会对象对应的数据，得到关联数据，其中，第三方数据源的数量可以为多个。同时，服务器采集当前虚拟会议中产生的数据，得到参会数据。将关联数据和参会数据均作为会议数据，丰富收集到的会议数据的维度，以从更加全面的视角分析参会对象的行为。

举例说明：关联数据可以为参会对象在不同虚拟会议中的会议数据或对应的状态分析结果，如参会对象在不同虚拟会议中的参与度、会议互动模式、情绪分析结果、语音数据等。

得到会议数据后，对会议数据进行特征提取。

在一些实施方式中，步骤S220中分别对每个会议数据进行特征提取，得到每个会议数据对应的特征向量，包括：分别获取每个会议数据对应的数据预处理策略和特征提取策略；基于每个会议数据对应的数据预处理策略，对每个会议数据分别进行预处理，得到预处理数据；基于每个预处理数据对应的特征提取策略，对每个预处理数据分别进行特征提取，得到每个会议数据对应的特征向量。

针对每个模态的会议数据分别获取其对应的数据预处理策略和特征提取策略，以分别对每个模态的会议数据进行处理。

根据每个会议数据对应的数据预处理策略，对每个会议数据分别进行预处理，得到预处理数据。

例如，会议数据包括语音数据、视频数据和文字数据，针对语音数据获取得到语音预处理策略，语音预处理策略指示需要对语音数据进行降噪预处理和语音转文字预处理；针对视频数据获取得到视频预处理策略，视频预处理策略指示需要对视频数据进行图像增强预处理、面部图像扣取预处理、手势图像扣取预处理等；针对文字数据获取得到文字预处理策略，文字预处理策略指示需要对文字数据进行语言分析预处理、句词划分预处理、语法分析预处理等。其中，所有会议数据均可以存在相同的预处理步骤，如对每个会议数据进行缺失值填充、异常数据过滤、数据标准化等预处理步骤。

举例说明：

对于聊天记录、弹幕等文字数据，预处理可能包括文本清洗、分词、词干提取和词性标注等步骤。文本清洗是去除文本中的噪声，例如，标点符号、特殊字符和无意义的词语等。分词是将文本分解为单词或短语。词干提取是将单词转化为其基本形式，例如，将“running”转化为“run”。词性标注是标注单词的词性，例如，名词、动词和形容词等。

对于语音数据，预处理可能包括语音分割、特征粗提取和噪声消除等步骤。语音分割是将语音信号分割为短的片段。特征粗提取是提取语音信号的特征，例如，音高、音量和语速等。

对于视频数据，预处理可能包括帧提取、面部检测和面部对齐等步骤。帧提取是将视频分解为单独的帧。面部检测是在每一帧中检测出面部的位置。面部对齐是调整面部的位置和角度，使其与预定义的标准对齐。

然后，根据每个预处理数据对应的特征提取策略，对每个预处理数据分别进行特征提取，得到每个会议数据对应的特征向量。

例如，会议数据包括语音数据、视频数据和文字数据，按照各模态会议数据对应的数据预处理策略，对语音数据、视频数据和文字数据分别进行预处理，得到语音预处理数据、视频预处理数据和文字预处理数据。根据语音数据对应的语音特征提取策略，对语音预处理数据进行声调特征提取和语速特征提取，得到语言特征向量；根据视频数据对应的视频特征提取策略，对视频预处理数据进行面部表情特征提取和手势特征提取，得到视频特征向量；根据文字数据对应的文字特征提取策略，对文字预处理数据进行主题特征提取和情感特征提取，得到文字特征向量。

不同模态的会议数据对应不同的数据预处理策略和特征提取策略，提高会议数据的处理精度，保证提取得到的特征向量的准确性。

在一些实施方式中，上述实施例中分别获取每个会议数据对应的数据预处理策略和特征提取策略的步骤包括：获取历史虚拟会议对应的评价信息；基于评价信息选取每个会议数据对应的数据预处理策略和特征提取策略。

在本实施例中，在每次虚拟会议结束后，会对结束的历史虚拟会议进行评价，以得到评价信息，该评价信息用于反映历史虚拟会议中状态分析结果的准确性。

例如，在得到状态分析结果后，会根据状态分析结果执行相应的会议优化操作，通过会议优化操作的实际优化效果确定虚拟会议对应的评价信息。如根据状态分析结果向参会对象推荐会议话题信息，采集参会对象对会议话题信息的反馈，得到评价信息。

又例如，向参会用户发送状态分析结果评价问卷，以获取参会用户针对状态分析结果评价问卷的输入信息，得到评价信息。

根据评价信息可以确定历史虚拟会议中状态分析的优劣情况，根据评价信息选取每个会议数据对应的数据预处理策略和特征提取策略。

例如，若评价信息表征历史虚拟会议的状态分析结果中的情绪分析的准确性高于预设值，则表明该历史虚拟会议所采用的情绪分析的相关算法较优，可以保留与情绪分析对应的相关算法。如确定情绪分析使用的会议数据，在当前虚拟会议中继续采用历史虚拟会议中该会议数据对应的数据预处理策略和特征提取策略。

又例如，若评价信息表征历史虚拟会议的状态分析结果中的状态分析的准确性低于预设值，则表明该历史虚拟会议所采用的状态分析的相关算法较差，可以更换与情绪分析对应的相关算法。如确定状态分析使用的会议数据，在当前虚拟会议中采用与历史虚拟会议中该会议数据不同的数据预处理策略和特征提取策略。

可以理解的是，除了上述实施例中提到的优化会议数据的数据预处理策略和特征提取策略之外，还可以根据评估信息优化其他算法，本申请对此不进行限定。

对状态分析方法进行优化的具体步骤进行举例说明：

1.反馈收集：在每次虚拟会议结束后收集各个参会对象的反馈。反馈可以是对虚拟会议整体满意度的评价，也可以是对状态分析结果的评价，例如，状态分析结果的准确性、及时性、易理解性等。此外，还可以收集一些额外的信息，如会议主题、参与者数量、会议时长等。

2.模型评估：根据收集到的反馈来评估历史虚拟会议的召开效果，得到评估结果。常见的评估指标包括状态分析的准确率、算法模型的召回率和F1分数、情绪预测的准确性、行为预测的及时性等。除了上述量化的指标，还可以分析反馈内容，提取出可优化评价，如虚拟会议管理的优点和缺点、潜在的问题等。

3.优化策略：根据评估结果，制定并执行优化策略。

例如：

a)预处理改进：如果发现会议数据存在质量问题，如噪声过多、缺失值过多等，可以改进数据清洗和预处理步骤，提高数据质量。

b)特征提取和融合策略：如果发现某些特征对预测效果影响较大，可以尝试改进特征提取或融合策略。

c)模型选择和调整：如果发现当前采用的算法模型的效果不佳，可以尝试不同的机器学习或深度学习模型，如卷积神经网络、循环神经网络、自注意力网络等。同时，可以通过调整模型参数，如学习率、隐藏层大小、正则化项等，优化算法模型性能。

其中，可以结合元学习(Meta-Learning)技术实现上述优化步骤。

在一些实施方式中，步骤S230中基于融合特征对每个会议数据进行分类，得到第一分类结果；以及，基于每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果，包括：将融合特征输入至综合分类网络，得到综合分类网络输出的第一分类结果；以及，获取每个会议数据分别对应的独立分类网络，将每个会议数据对应的特征向量分别输入至对应的独立分类网络，融合每个独立分类网络输出的分类结果，得到第二分类结果。

本实施例中，预先训练有综合分类网络和多个独立分类网络。

其中，综合分类网络的输入为多模态会议数据对应的融合特征，输出为每个模态会议数据对应的第一分类结果。每个独立分类网络的输入为单个模态会议数据对应的特征向量，输出为该单个模态会议数据对应的分类结果，融合每个独立分类网络的分类结果得到第二分类结果。

对综合分类网络和每个独立分类网络的训练过程进行示例性说明：

获取多模态的会议样本数据，每个会议样本数据对应标记有样本标签。例如，语言样本数据标记有语音分类结果，如语音情绪分类结果、语音表达主题分类结果；视频样本数据标记有视频分类结果，如视频情绪分类结果、视频行为分类结果等。对每个模态的会议样本数据进行特征提取，得到会议样本数据对应的特征向量，以及对各模态的会议样本数据的特征向量进行融合得到融合特征。

然后，将融合特征输入至预训练的综合分类网络，得到预训练的综合分类网络输出的各个模态会议样本数据对应的综合分类预测，根据样本标签和综合分类预测对预训练的综合分类网络进行网络参数调整，重复上述过程对预训练的综合分类网络进行迭代训练，得到训练完成的综合分类网络。

同理，将各模态的会议样本数据的特征向量至对应的预训练的独立分类网络，得到预训练的独立分类网络输出的该模态会议样本数据对应的独立分类预测，根据样本标签和独立分类预测对预训练的独立分类网络进行网络参数调整，重复上述过程对预训练的独立分类网络进行迭代训练，得到训练完成的独立分类网络。

在一些实施方式中，步骤S240中融合第一分类结果和第二分类结果得到多模态特征参数，包括：获取第一分类结果对应的第一权重参数，以及获取第二分类结果对应的第二权重参数；基于第一权重参数和第二权重参数，对第一分类结果和第二分类结果进行加权融合，得到多模态特征参数。

其中，第一权重参数和第二权重参数可以是预先设定的权重值，也可以是根据实际情况灵活计算的权重值。例如，获取历史虚拟会议对应的评价信息，根据评价信息灵活调整第一分类结果和第二分类结果对应的权重值，得到第一权重参数和第二权重参数；又例如，基于注意力机制灵活计算第一分类结果和第二分类结果之间进行融合的第一权重参数和第二权重参数。

根据第一权重参数和第二权重参数，对第一分类结果和第二分类结果进行加权融合，得到多模态特征参数，该多模态特征参数即可以捕获多个模态之间相互关联的信息，又可以保留单个模态会议数据的独特性。

具体的，请参阅图4，图4为本申请一示例性实施例示出的特征向量处理的示意图，如图4所示，获取M个模态会议数据对应的特征向量的融合特征，将融合特征输入至综合分类网络，得到综合分类网络输出的第一分类结果；以及，获取每个会议数据分别对应的独立分类网络，将每个会议数据对应的特征向量分别输入至对应的独立分类网络，融合每个独立分类网络输出的分类结果，得到第二分类结果。然后，对第一分类结果和第二分类结果进行加权融合，得到多模态特征参数。

然后，对多模态特征参数进行状态分析，得到参会对象的状态分析结果。

在一些实施方式中，基于状态分析模型对会议数据进行状态分析。

示例性的，状态分析模型包括特征提取网络、融合网络和分析网络。其中，特征提取网络用于对输入的各模态的会议数据进行特征提取；融合网络用于对提取到的特征向量和其对应的融合特征进行分类，得到第一分类结果和第二分类结果，进而融合第一分类结果和第二分类结果得到多模态特征参数；分析网络的输入为多模态特征参数，输出为参会对象的状态分析结果。

本申请中状态分析模型可以是基于支持向量机(Support Vector Machine，SVM)、随机森林(Random Forest)、梯度提升机(Gradient Boosting Machine)等机器学习模型实现的，也可以是基于卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)、Transformer等深度学习模型实现的，本申请不对状态分析模型的具体实现方式进行限定。

利用样本数据对预训练的状态分析模型进行模型训练，以对预训练的状态分析模型进行网络参数更新，并可以采用早停法(early stopping)、正则化(regularization)、数据增强(data augmentation)等策略防止过模型拟合，得到训练完成的状态分析模型。

进一步地，还可以对状态分析模型进行进一步的优化，如使用网格搜索(gridsearch)、随机搜索(random search)或贝叶斯优化(bayesian optimization)等方法对状态分析模型进行超参数优化。以及，使用集成学习(ensemble learning)方法，如bagging、boosting或stacking等来提高状态分析模型的数据分析性能。

利用状态分析模型对当前虚拟会议对应的会议数据进行状态分析，以得到参会对象对应的行为、情绪等分析结果。

例如，通过对参会对象的聊天记录和语音数据进行情绪分析。对于聊天记录，可以基于自然语言处理(Natural Language Processing，NLP)技术来分析聊天记录中文本的情感倾向，如，使用情感词典或情感分类器分析聊天记录中文本的情感倾向。对于语音数据，可以使用机器学习算法来分析语音的情感倾向，以根据语音数据的特征，预测语音数据的情感倾向，例如，积极、消极或中性。

又例如，通过会议互动数据对参会对象进行参与度分析。如根据参会对象加入或离开虚拟会议的时间、参会对象是否在讲话或共享屏幕等会议互动数据分析参会对象的行为，分析参会对象的会议参与度。

又例如，通过对参会对象的语音数据和视频数据进行会议效果分析，如分析参会对象是否专注、参会对象是否理解会议内容等。

在一些实施方式中，在对多模态特征参数进行状态分析，得到参会对象的状态分析结果之后，还包括：基于参会对象的状态分析结果，生成会议优化策略；基于会议优化策略进行会议优化。

得到状态分析结果后，可以根据状态分析结果进行会议优化。

例如，根据状态分析结果可以获知每个参会对象的行为习惯、情绪状态和需求。如，根据状态分析结果可以获知一个参会对象可能在会议开始时活跃程度较高，而随着会议进行该参会对象的活跃程度逐渐降低；一个参会对象可能在听到某些词语时会显现出积极的情绪，而在听到其他词语时会显现出消极的情绪；一个参会对象可能更喜欢文本交流，而另一个参会对象可能更喜欢语音交流。

然后，根据每个参会对象的行为习惯、情绪状态和需求，动态调整和优化虚拟会议。如，调整虚拟会议的流程、调整虚拟会议的内容、调整虚拟会议的互动方式、调整虚拟会议的音视频设置等。例如，如果一个参会对象经常在虚拟会议开始时活跃程度较高，而随着会议进行该参会对象的活跃程度逐渐降低，则可以安排重要的会议内容在虚拟会议开始时讨论；如果一个参会对象在听到某些词语时会显现出积极的情绪，则可以在虚拟会议中增加这些词语的使用频率；如果一个参会对象更喜欢文本交流，则可以在虚拟会议进行过程中为这个参会对象提供更多的文本交流工具和服务。

通过采集虚拟会议的会议数据进行状态分析，可以为各个参会对象提供自适应和个性化的服务，以更深入地理解参会对象，满足参会对象的需求，从而提供更优质的服务和更好的用户体验。

示例性的，参会对象含有第一用户与至少一个第二用户；基于会议优化策略进行会议优化，包括：基于每个第二用户对应的状态分析结果，生成当前虚拟会议的优化指示信息；将优化指示信息发送至第一用户，以使第一用户依据优化指示信息进行会议优化。

其中，第一用户可以为进行虚拟会议主持的用户，可以根据状态分析结果生成优化指示信息，将优化指示信息反馈给作为会议主持人的第一用户，以帮助第一用户了解第二用户的行为和情绪，并以此为基础对虚拟会议做出相应的调整。

举例说明：

例如，对状态分析结果进行可视化渲染，得到优化指示信息，将优化指示信息反馈给作为会议主持人的第一用户。例如，根据状态分析结果得到实时的情绪分析仪表板，其用于显示出参会对象的整体情绪状态，以及情绪状态的变化趋势。如果情绪状态处于消极的参会对象的数量超过预设数量，那么会议主持人可能需要调整会议的内容或方式，以改善参与者的情绪。

又例如，根据状态分析结果匹配优化决策，将优化决策作为优化指示信息，将优化指示信息反馈给作为会议主持人的第一用户。例如，如果状态分析结果表征某个参与对象的情绪状态变得消极，可以判断该参与对象在历史虚拟会议中出现消极的情绪后，是否存在又消极情绪转变为积极情绪的事件，若存在则基于该事件生成优化决策，以提示会议主持人按照优化决策改变该参与对象的情绪状态。

示例性的，状态分析结果可以用于表征针对参会对象在后续会议中的状态预测结果，如表征参会对象参加下一次虚拟会议的可能性、参会对象在下一次虚拟会议中可能出现的行为等，则可以根据状态分析结果调整后续虚拟会议。

举例说明：

例如，如果状态分析结果表明参会对象可能不会参加下次虚拟会议，则可以向该参会对象发送调整会议的时间或调整会议的主题等提示信息，以提高该参会对象参加会议的概率。

又例如，如果状态分析结果表明参会对象在下一次虚拟会议中可能出现的指定行为，如发言、共享屏幕等行为，则针对该参会对象在历史虚拟会议中的会议数据，生成对应的会议策略，如如果预测参会对象在下一次虚拟会议中可能出现的发言，则可以根据该参会对象在历史虚拟会议中的会议数据向该参会对象推送相关话题的文章或视频。

又例如，如果状态分析结果表明参会对象在下一次虚拟会议中可能出现的会议反馈或会议参与度，则可以根据状态分析结果调整会议内容，以提高用户满意度。

在一些实施方式中，还可以根据状态分析结果分析各个参会对象的影响力，利于影响力确定各个参会对象的会议优化策略。例如，构建社交网络图，该社交网络图中，节点代表参会对象，边代表参会对象之间的互动参数，边的权重可以根据互动的频率和强度进行设置。

基于社交网络图确定各个参会对象的影响力，如根据度中心性(与节点连接的边的数量，可以反映参会对象的活跃度或影响力)、接近中心性(节点到其他节点的平均最短路径长度，可以反映参会对象的信息传播能力)、介数中心性(节点在所有节点对之间最短路径上出现的次数，可以反映参会对象在网络中的控制或媒介作用)等，计算得到参会对象的影响力，例如，度中心性高的参会对象可能在会议中发言较多或者影响力较大，接近中心性高的参会对象可能在信息传播中起到关键作用。

根据影响力分析的结果，优化虚拟会议的组织和管理。例如，如果影响力分析结果反映某个参会对象在社交网络中的位置较为边缘，可以针对该参会对象生成优化策略，以提高该参会对象的参与度，比如邀请该参会对象进行发言或屏幕共享等。

需要说明的是，为了保证数据的使用安全，上述实施例在进行数据使用时，对于敏感数据，如音频和视频数据，采用加密技术进行保护，例如，可以使用公钥加密系统，只有拥有相应私钥的实体才能解密数据。以及，可以在模型训练过程中采用差分隐私和联邦学习等技术，其中，差分隐私是一种在发布数据统计信息时保护个人隐私的技术，通过在数据中添加一些随机性，使得即使有人获取了数据的统计信息，也无法确定任何特定个体的信息；联邦学习是一种分布式机器学习方法，它允许在不直接访问用户数据的情况下进行模型训练。

本申请提供的虚拟会议的状态分析方法，通过获取当前虚拟会议中参会对象的至少两种模态的会议数据；分别对每个会议数据进行特征提取，得到每个会议数据对应的特征向量，并融合每个特征向量得到融合特征；基于融合特征对每个会议数据进行分类，得到第一分类结果；以及，基于每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果；融合第一分类结果和第二分类结果得到多模态特征参数，对多模态特征参数进行状态分析，得到参会对象的状态分析结果。由于多模态特征参数即可以捕获跨模态的信息，也保留了每个模态会议数据的独特性，可以充分挖掘出多模态会议数据的数据信息，提高状态分析的准确性。

图5是本申请的一示例性实施例示出的虚拟会议的状态分析装置的框图。如图5所示，该示例性的虚拟会议的状态分析装置500包括：数据获取模块510、特征提取模块520、分类模块530和状态分析模块540。

具体地：

数据获取模块510，用于获取当前虚拟会议中参会对象的至少两种模态的会议数据；

特征提取模块520，用于分别对每个会议数据进行特征提取，得到每个会议数据对应的特征向量，并融合每个特征向量得到融合特征；

分类模块530，用于基于融合特征对每个会议数据进行分类，得到第一分类结果；以及，基于每个会议数据分别对应的特征向量对每个会议数据进行分类，得到第二分类结果；

状态分析模块540，用于融合第一分类结果和第二分类结果得到多模态特征参数，对多模态特征参数进行状态分析，得到参会对象的状态分析结果。

在上述示例性的虚拟会议的状态分析装置中，由于多模态特征参数即可以捕获跨模态的信息，也保留了每个模态会议数据的独特性，可以充分挖掘出多模态会议数据的数据信息，提高状态分析的准确性。

请参阅图6，图6是本申请电子设备一实施例的结构示意图。电子设备600包括存储器601和处理器602，处理器602用于执行存储器601中存储的程序指令，以实现上述任一虚拟会议的状态分析方法实施例中的步骤。在一个具体的实施场景中，电子设备600可以包括但不限于：微型计算机、服务器，此外，电子设备600还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器602用于控制其自身以及存储器601以实现上述任一虚拟会议的状态分析方法实施例中的步骤。处理器602还可以称为中央处理单元(Central ProcessingUnit，CPU)。处理器602可能是一种集成电路芯片，具有信号的处理能力。处理器602还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器602可以由集成电路芯片共同实现。

请参阅图7，图7是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质700存储有能够被处理器运行的程序指令710，程序指令710用于实现上述任一虚拟会议的状态分析方法实施例中的步骤。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种虚拟会议的状态分析方法，其特征在于，所述方法包括：

获取当前虚拟会议中参会对象的至少两种模态的会议数据；

分别对每个会议数据进行特征提取，得到所述每个会议数据对应的特征向量，并融合每个特征向量得到融合特征；

基于所述融合特征对所述每个会议数据进行分类，得到第一分类结果；以及，基于所述每个会议数据分别对应的特征向量对所述每个会议数据进行分类，得到第二分类结果；

融合所述第一分类结果和所述第二分类结果得到多模态特征参数，对所述多模态特征参数进行状态分析，得到所述参会对象的状态分析结果。

2.根据权利要求1所述的方法，其特征在于，所述分别对每个会议数据进行特征提取，得到所述每个会议数据对应的特征向量，包括：

分别获取所述每个会议数据对应的数据预处理策略和特征提取策略；

基于所述每个会议数据对应的数据预处理策略，对所述每个会议数据分别进行预处理，得到预处理数据；

基于每个预处理数据对应的特征提取策略，对所述每个预处理数据分别进行特征提取，得到所述每个会议数据对应的特征向量。

3.根据权利要求2所述的方法，其特征在于，所述分别获取所述每个会议数据对应的数据预处理策略和特征提取策略，包括：

获取历史虚拟会议对应的评价信息；

基于所述评价信息选取所述每个会议数据对应的数据预处理策略和特征提取策略。

4.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征对所述每个会议数据进行分类，得到第一分类结果；以及，基于所述每个会议数据分别对应的特征向量对所述每个会议数据进行分类，得到第二分类结果，包括：

将所述融合特征输入至综合分类网络，得到所述综合分类网络输出的第一分类结果；以及，

获取所述每个会议数据分别对应的独立分类网络，将所述每个会议数据对应的特征向量分别输入至对应的独立分类网络，融合每个所述独立分类网络输出的分类结果，得到第二分类结果。

5.根据权利要求1所述的方法，其特征在于，所述融合所述第一分类结果和所述第二分类结果得到多模态特征参数，包括：

获取所述第一分类结果对应的第一权重参数，以及获取所述第二分类结果对应的第二权重参数；

基于所述第一权重参数和所述第二权重参数，对所述第一分类结果和所述第二分类结果进行加权融合，得到多模态特征参数。

6.根据权利要求1所述的方法，其特征在于，在所述对所述多模态特征参数进行状态分析，得到所述参会对象的状态分析结果之后，还包括：

基于所述参会对象的状态分析结果，生成会议优化策略；

基于所述会议优化策略进行会议优化。

7.根据权利要求6所述的方法，其特征在于，所述参会对象含有第一用户与至少一个第二用户；所述基于所述会议优化策略进行会议优化，包括：

基于每个所述第二用户对应的状态分析结果，生成所述当前虚拟会议的优化指示信息；

将所述优化指示信息发送至所述第一用户，以使所述第一用户依据所述优化指示信息进行会议优化。

8.根据权利要求1所述的方法，其特征在于，所述获取所述虚拟会议中参会对象的至少两种模态的会议数据，包括：

采集所述当前虚拟会议中产生的数据，得到参会数据；以及，

从第三方数据源采集所述参会对象对应的数据，得到关联数据；

结合所述参会数据和所述关联数据，得到会议数据。

9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至8中任一项所述的虚拟会议的状态分析方法。

10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至8中任一项所述的虚拟会议的状态分析方法。