CN114615455A - 远程会议的处理方法、装置、会议系统和存储介质 - Google Patents

Abstract

本申请公开了一种远程会议的处理方法、装置、会议系统和存储介质。方法包括：响应于虚拟会议的启动指令，按照启动指令中的显示参数，在参会终端的会议窗口中显示服务器构建的目标会议空间，目标会议空间包括参会终端对应的虚拟形象模型，虚拟形象模型与参会终端的用户行为信息相对应；在显示目标会议空间的过程中，控制采集装置采集参会终端对应的人脸信息和声音信息；根据人脸信息和声音信息，确定用户情绪信息；在用户情绪信息属于目标情绪信息的情况下，调整显示参数，以干预情绪。本申请的方法，减少线上参会者的疲劳度和消极情绪，增加会议仪式感和参会者的沉浸度，提高会议效率。

Description

远程会议的处理方法、装置、会议系统和存储介质

技术领域

本申请涉及通信技术领域，尤其是涉及到一种远程会议的处理方法、装置、会议系统和存储介质。

背景技术

视频会议又可以称为电视会议，是通过多媒体设备和通信网络召开会议的一种方式。在召开会议时，处于两地或多个不同地点的与会代表既可以听到对方的声音，又能看到对方的形象，同时还能看到对方会议室的场景，以及在会议室中展示的实物、图片、文件等，缩小了与会代表间的距离，从而完成了会议的目的。

但是现有的视频会议的通讯方式满足了视觉和听觉实时交换的需求，但通讯双方或多方都是置身与自己当下所在的环境之中，屏幕上同时呈现多个面孔及会议简报，无法将通讯双方或多方至于同一环境中，受镜头视野限制，无法用肢体语言表达自己和理解他人，无法让参会者感受到现实会议般的代入感，而且缺乏有针对性的眼神交流和肢体语言互动，容易产生压力和消极情绪。

发明内容

有鉴于此，本申请提供了一种远程会议的处理方法、装置、会议系统和存储介质，可以减少线上参会者的疲劳度和消极情绪，增加参会者的交流度和专注度，进而增加会议仪式感和参会者的沉浸度，有利于提高会议效率。

根据本申请的一个方面，提供了一种远程会议的处理方法，该方法应用于会议系统，会议系统包括参会终端、采集装置和服务器，参会终端能够与服务器进行信息交互，方法包括：

响应于虚拟会议的启动指令，按照启动指令中的显示参数，在参会终端的会议窗口中显示服务器构建的目标会议空间，目标会议空间包括参会终端对应的虚拟形象模型，虚拟形象模型与参会终端的用户行为信息相对应；在显示目标会议空间的过程中，控制采集装置采集参会终端对应的人脸信息和声音信息；根据人脸信息和声音信息，确定用户情绪信息；在用户情绪信息属于目标情绪信息的情况下，调整显示参数，以干预情绪。

可选地，显示服务器构建的目标会议空间之前，远程会议的处理方法还包括：

构建虚拟形象模型；将虚拟形象模型设置在服务器的虚拟会议空间中，以形成目标会议空间。

可选地，构建虚拟形象模型，具体包括：

获取人脸图像，并按照人脸图像和预设形象模型，构建虚拟形象模型。

可选地，构建虚拟形象模型，具体包括：

获取虚拟形象模型的VRM文件，并加载VRM文件，以构建虚拟形象模型。

可选地，启动指令包括会议场景信息，将虚拟形象模型设置在服务器的虚拟会议空间中，具体包括：

按照虚拟形象模型的第一数据流，通过服务器在会议场景信息对应的虚拟会议空间中构建虚拟形象模型，得到目标会议空间。可选地，虚拟会议空间中包括座位模型，将虚拟形象模型设置在服务器的虚拟会议空间中，具体包括：

将虚拟形象模型设置在参会终端关联的座位模型上。

可选地，远程会议的处理方法还包括：

在显示目标会议空间的过程中，按照预设时间间隔，控制采集装置获取用户特征点的位置信息；根据位置信息，确定用户行为信息；根据用户行为信息，更新目标会议空间中的虚拟形象模型；其中，用户特征点包括以下至少一种：五官特征点、四肢特征点、头部特征点、身躯特征点。

可选地，会议系统还包括触控书写装置，目标会议空间包括记事板模型，记事板模型用于显示远程会议相关的信息，远程会议的处理方法还包括：

通过触控书写装置获取待分享信息；按照待分享信息的第二数据流，通过服务器更新记事板模型，以在记事板模型上显示待分享信息。

可选地，远程会议的处理方法还包括：

响应于用户对参会终端的第一输入，缩小会议窗口，并在参会终端上显示记事板窗口，记事板窗口用于显示记事板模型上显示的远程会议相关的信息。

根据本申请的另一方面，提供了一种远程会议的处理装置，该装置应用于会议系统，会议系统包括参会终端、采集装置和服务器，参会终端能够与服务器进行信息交互，装置包括：

显示模块，用于响应于虚拟会议的启动指令，按照启动指令中的显示参数，在参会终端的会议窗口中显示服务器构建的目标会议空间，目标会议空间包括参会终端对应的虚拟形象模型，虚拟形象模型与参会终端对应的用户行为信息相对应；采集模块，用于在显示目标会议空间的过程中，控制采集装置采集参会终端对应的人脸信息和声音信息；第一确定模块，用于根据人脸信息和声音信息，确定用户情绪信息；调整模块，用于在用户情绪信息属于目标情绪信息的情况下，调整显示参数，以干预情绪。

可选地，远程会议的处理装置还包括：

形象构建模块，用于构建虚拟形象模型；空间构建模块，用于将虚拟形象模型设置在服务器的虚拟会议空间中，以形成目标会议空间。

可选地，形象构建模块，具体包括：

第一获取模块，用于获取人脸图像；构建模块，用于按照人脸图像和预设形象模型，构建虚拟形象模型。

可选地，形象构建模块，具体包括：

第二获取模块，用于获取预设虚拟形象的VRM文件；加载模块，用于加载VRM文件，以构建虚拟形象模型。

可选地，启动指令包括会议场景信息，空间构建模块，具体用于按照虚拟形象模型的第一数据流，通过服务器在会议场景信息对应的虚拟会议空间中构建虚拟形象模型，得到目标会议空间。

可选地，虚拟会议空间中包括座位模型，空间构建模块，具体用于，将虚拟形象模型设置在参会终端关联的座位模型上。

可选地，远程会议的处理装置还包括：

第三获取模块，用于在显示目标会议空间的过程中，按照预设时间间隔，控制采集装置获取用户特征点的位置信息；第二确定模块，用于根据位置信息，确定用户行为信息；第一更新模块，用于根据用户行为信息，更新虚拟形象模型；其中，用户特征点包括以下至少一种：五官特征点、四肢特征点、头部特征点、身躯特征点。

可选地，会议系统还包括触控书写装置，目标会议空间包括记事板模型，记事板模型用于显示远程会议相关的信息，远程会议的处理装置还包括：

第四获取模块，用于通过触控书写装置获取待分享信息；空间构建模块，还用于按照待分享信息的第二数据流，通过服务器更新记事板模型，以在记事板模型上显示待分享信息。

可选地，显示模块，还用于响应于用户对参会终端的第一输入，缩小会议窗口，并在参会终端上显示记事板窗口，记事板窗口用于显示记事板模型上显示的远程会议相关的信息。

根据本申请又一个方面，提供了一种会议系统，包括参会终端、采集装置、服务器、存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述远程会议的处理方法的步骤。

根据本申请再一个方面，提供了可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现上述远程会议的处理方法的步骤。

借由上述技术方案，利用基于数字孪生的虚拟形象模型代替任参会者的人物图像，并将虚拟形象模型加入到类现实交互的目标会议空间，使得参与会议的所有人能够处于同一个场景中，而且虚拟形象模型能够与用户的动作、表情相对应。用户能够通过对虚拟形象模型的选择与操作实现虚拟形象模型之间肢体交互和眼神交流，提高参会者参加线上会议时的沉浸感，有利于增进人际关系，提高参会者的会议代入感和专注度，进而提高会议效率。同时，在进行会议的过程中，周期性的采集人脸信息，并参照人脸信息分析用户情绪信息，由此，在用户情绪信息属于目标情绪信息时，可通过调整显示参数的方式，改变目标会议空间的认知，从而达到干扰负面情绪的目的，减轻参会者线上会议时的疲劳感和不良情绪。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例提供的远程会议的处理方法的流程示意图之一；

图2示出了本申请实施例提供的远程会议的处理方法的流程示意图之二；

图3示出了本申请实施例提供的远程会议的处理方法的流程示意图之三；

图4示出了本申请实施例提供的远程会议的处理方法的流程示意图之四；

图5示出了本申请实施例提供的远程会议的处理方法的流程框图；

图6示出了本申请实施例提供的远程会议的处理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种远程会议的处理方法，如图1所示，该方法包括：

步骤101，响应于虚拟会议的启动指令，按照启动指令中的显示参数，在参会终端的会议窗口中显示服务器构建的目标会议空间；

其中，目标会议空间包括参会终端对应的虚拟形象模型，虚拟形象模型与参会终端的用户行为信息相对应，用户行为信息包括表情变化信息、动作变化信息等。也即，目标会议空间中的虚拟形象模型能够随用户的表情动作的变化而变化，实现实体与虚拟的同步。

具体地，启动指令中的显示参数可以是用户自行设置的显示参数或者参会终端默认的显示参数。显示参数包括但不限于以下至少一种：画面亮度、画面对比度、画面滤镜、画面显示尺寸、空间环境显示模式等。其中，空间环境显示模式用于改变虚拟会议的空间元素，例如，目标会议空间中灯光的强弱。通过显示参数能够调节目标会议空间整体的显示画面或虚拟会议的空间元素的观感。可以理解的是，画面亮度、画面对比度、画面滤镜、画面显示尺寸等显示参数可通过参会终端的处理器进行设置或调整，空间环境显示模式的设置或调整则需要通过参会终端与服务器之间的信息交互来实现。

进一步地，通过数字孪生(Digital Twin)技术实现虚拟形象模型的构建。数字孪生技术是利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体的全生命周期过程。相比于虚拟现实(Virtual Reality，VR)投影技术，数字孪生无需特殊的VR设备，成本较低。

在该实施例中，在用户需要进行虚拟会议时，利用基于数字孪生的虚拟形象模型代替任参会者的人物图像，并将虚拟形象模型加入到类现实交互的目标会议空间，使得参与会议的所有人能够处于同一个场景中，而且虚拟形象模型能够与用户的动作、表情相对应。用户能够通过虚拟形象模型的选择与操作实现虚拟形象模型之间肢体交互和眼神交流，提高参会者参加线上会议时的沉浸感，有利于增进人际关系，提高参会者的会议代入感和专注度，进而提高会议效率。

步骤102，在进行虚拟在显示目标会议空间的过程中，控制采集装置采集参会终端对应的人脸信息和声音信息；

其中，采集装置包括以下至少一种：姿态识别传感器、摄像装置、音频传感器等能够确认用户表情、动作变化的装置。需要说明的是，对于人体姿态信息，可直接通过摄像装置拍摄的图像进行识别，从而省略姿态识别传感器。

步骤103，根据人脸信息和声音信息，确定用户情绪信息；

其中，人脸信息包括用户的表情信息和表情维持时长，表情信息可通过面部的五官特征点位置的捕捉和追踪，确定出五官特征点位置的变化方向、变化距离、不同五官特征点之间位置关系的变化信息等，进而分析出表情信息，例如，嘴角两端的特征点位于嘴部水平中心线的下方，则确定用户为疑惑或不高兴的表情，若该表情的维持时长大于预设值，则判定用户处于疑惑或不高兴的情绪。

具体地，根据情感计算算法判断当前目标用户的表情以及对应的情绪，以及通过用户的声音变化，利用情感计算算法计算用户情绪变化。情感计算算法为通用的算法，本申请实施例不作具体限定。

步骤104，在用户情绪信息属于目标情绪信息的情况下，调整显示参数。

在该实施例中，会议的过程中，周期性的采集人脸信息，并参照人脸信息分析用户情绪信息，由此，在用户情绪信息属于目标情绪信息时，可通过调整显示参数的方式，改变目标会议空间的认知，从而达到干扰负面情绪的目的，减轻参会者进行线上会议时的疲劳感和不良情绪。

需要说明的是，会议系统包括参会终端、采集装置和服务器，参会终端能够与服务器进行信息交互。采集装置可以作为独立的装置与参会终端电连接或者集成在参会终端中，采集装置得到的数据可通过参会终端发送至服务器。参会终端即参会者对应的电子设备，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digitalassistant，PDA)等，参会终端的数量可以是一个或多个，与参会者的数量相关。进一步地，为了完成虚拟形象模型的构建，尽量保证用户(参会者)与参会终端一一对应。

进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种远程会议的处理方法，如图2所示，显示服务器构建的目标会议空间的步骤之前，远程会议的处理方法还包括：

步骤201，构建虚拟形象模型；

在实际应用场景中，构建虚拟形象模型的步骤，包括以下方式：

方式一：获取人脸图像，并按照人脸图像和预设形象模型，构建虚拟形象模型。

在该实施例中，获取参会终端对应用户的人脸图像，获取人脸图像的方式可以是通过采集装置拍摄或从参会终端的相册中选取。通过人脸图像识别出用户的面部特征数据，其中，面部特征数据包括五官数据、脸型数据等特。再按照面部特征数据对预设形象模型的头部进行修正，与参会终端的用户相匹配的虚拟形象模型。使得构建出的虚拟形象模型更加符合用户自身的形象，以便于分辨不同的参会者，进而增强用户参会的专注度和沉浸度。

例如，用户导入本人的照片，通过虚拟形象构建算法的计算生成与本人形象相似的虚拟形象。

方式二：获取虚拟形象模型的VRM文件，并加载VRM文件，以构建虚拟形象模型。

在该实施例中，用户可预先通过3D建模软件自行构造的个人虚拟形象模型，并将虚拟形象模型保存为VRM格式的文件。在进行虚拟会议时，只需导入VRM文件，并载入该文件即可将虚拟形象模型载入虚拟会议空间。从而实现了虚拟形象模型的个性化定制功能，以便于分辨不同的参会者，进而增强用户参会的专注度和沉浸度。

步骤202，将虚拟形象模型设置在服务器的虚拟会议空间中，以形成目标会议空间。

其中，虚拟会议空间即能够容纳多个虚拟形象模型的空间，可通过服务器构建，构建虚拟会议空间时可参考用户需求的环境和场景。

在该实施例中，在需要进行虚拟会议时，至少一个参会终端对应的虚拟形象模型被添加至服务器预先构建的虚拟会议空间中，使得参与会议的所有人能够处于同一个场景中，而且虚拟形象模型能够与用户的动作、表情相对应。用户能够通过虚拟形象模型的选择与操作实现虚拟形象模型之间肢体交互和眼神交流，提高参会者参加线上会议时的沉浸感，有利于增进人际关系，提高参会者的会议代入感和专注度，进而提高会议效率。

进一步地，启动指令包括会议场景信息，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，将虚拟形象模型设置在服务器的虚拟会议空间中的步骤，具体包括：按照虚拟形象模型的第一数据流，通过服务器在会议场景信息对应的虚拟会议空间中构建虚拟形象模型，得到目标会议空间。

在该实施例中，服务器中预先设置了不同场景的虚拟会议空间，在需要进行虚拟会议时，按照会议场景信息选取对应的虚拟会议空间，同时服务器通过第一数据流在该虚拟会议空间中形成对应的虚拟形象模型，以形成目标会议空间。然后服务器将目标会议空间的数据流反馈至各个参会终端，以便于在各个参会终端上显示目标会议空间。从而利用场景设置选取更加符合会议需求的会议空间，不仅为会议提供优异的场景环境，提高参会者参加线上会议时的沉浸感，而且能够消除参会者所处实际环境对远程会议造成的干扰，有利于提升会议效率。

具体地，会议场景信息包括：会议室场景、自然环境场景、城市环境场景等。

可以理解的是，为了降低服务器的运行压力，在进行多人虚拟会议的情况下，可以为场景选择功能设置权限，也即具有该权限的用户才能够设定虚拟会议空间的场景，使得不同的参会终端均采用统一场景的虚拟会议空间。

进一步地，虚拟会议空间中包括座位模型，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，将虚拟形象模型设置在服务器的虚拟会议空间中的步骤，具体包括：将虚拟形象模型设置在参会终端关联的座位模型上。

在该实施例中，在构建虚拟会议空间时，预先在虚拟会议空间中构建出座位模型。由此，不同参会终端的虚拟形象模型能够设置在对应的座位模型上。从而模仿真实的会议环境，增强会议沉浸度。

具体地，参会终端关联的座位模型可以是根据启指令中的座位信息确定，也即由用户自主选择虚拟形象模型的座位；或者根据参会终端的用户信息匹配座位模型，其中，用户信息包括用户级别、用户职位、用户年龄等；或者，在显示目标会议空间后，用户通过对座位模型的第二输入，确定参会终端关联的座位模型，例如，通过点击增强技术来让用户在入会或者需要变换座位时能够准确高效的点击事先建好模型中的目标座位。

值得一提的是，在将虚拟形象模型设置在参会终端关联的座位模型上之后，还可以将虚拟形象模型的视角转换为第一人称视角，也即，以第一人称视角显示目标会议空间，进一步增强参会者的沉浸感。

进一步地，虚拟会议空间中包括座位模型，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，如图3所示，远程会议的处理方法还包括：

步骤301，在显示目标会议空间的过程中，按照预设时间间隔，控制采集装置获取用户特征点的位置信息；

其中，用户特征点包括以下至少一种：五官特征点、四肢特征点、头部特征点、身躯特征点。

步骤302，根据位置信息，确定用户行为信息；

步骤303，根据用户行为信息，更新目标会议空间中的虚拟形象模型。

在该实施例中，按照预设时间间隔周期性采集用户特征点的位置信息，以实现用户特征点位置的捕捉和追踪。然后根据不同采集时刻的位置信息，计算出用户特征点位置的变化方向、变化距离、不同特征点之间位置关系的变化信息等，进而分析代表动作和/或表情的用户行为信息，再根据用户行为信息，更新目标会议空间中的虚拟形象模型。将会议空间中显示的虚拟形象模型与用户进行同步，从而实现虚拟形象模型之间肢体交互和眼神交流，有利于增进人际关系，提高参会者的会议代入感。

进一步地，会议系统还包括触控书写装置，触控书写装置与参会终端连接，或者集成与参会终端，例如手写板或手机中的手写软件模块。作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，如图4所示，远程会议的处理方法还包括：

步骤401，通过触控书写装置获取待分享信息；

步骤402，按照待分享信息的第二数据流，通过服务器更新记事板模型，以在记事板模型上显示待分享信息。

其中，目标会议空间包括记事板模型，记事板模型用于显示远程会议相关的信息。

在该实施例中，用户通过触控书写装置输入需要分享在记事板中的内容，此时服务器按照待分享信息的第二数据流将待分享信息添加在记事板模型上。从而将待分享信息实时反馈到目标虚拟会议空间的记事板模型中，实现实时手写信息共享功能。同时能够在目标会议空间中完成多人记事板协同编辑的任务，保证参会者进行及时、有效的沟通，提升远程会议的交互功能和会议效率。

进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，远程会议的处理方法还包括：

响应于用户对参会终端的第一输入，缩小会议窗口，并在参会终端上显示记事板窗口。

其中，记事板窗口用于显示记事板模型上显示的远程会议相关的信息。

具体地，第一输入包括但不限于点击输入、按键输入、指纹输入、滑动输入、按压输入。按键输入包括但不限于对电子设备的电源键、音量键、主菜单键的单击输入、双击输入、长按输入、组合按键输入等。当然，第一输入还可以是用户对电子设备的其它操作，本申请实施例对操作的方式不作具体限定，可为任一可能实现的方式。

在该实施例中，考虑到参会终端显示尺寸的局限性，目标会空间中的记事板模型的清晰度可能难以满足用户的查看需求。为此，在用户需要查看记事板模型上共享的内容时，可通过对参会终端的第一输入，控制会议窗口缩小，同时显示独立的记事板窗口，以放大记事板模型上显示的远程会议相关的信息，便于用户查看。

值得一提到是，可通过用户对记事板窗口和/或会议窗口的滑动输入，调整记事板窗口和/或会议窗口尺寸。

在一个具体实施例中，如图5所示，远程会议的处理方法包括以下步骤：

1.点击软件加入会议。

2.主持人选择会议模式，选择普通模式或者虚拟会议室模式。

3.打开参会终端摄像头。

4.选择虚拟形象。虚拟形象可以使用默认形象、系统已有形象、导入本人照片，通过算法的计算生成与本人形象相似的虚拟形象或通过捏脸软件创建自己的模型，导出VRM文件并载入到虚拟会议室软件中。

5.捕捉摄像头前参会者的动作和表情。具体地，通过摄像头对面部关键点进行检测，并通过算法的计算对面部变化进行捕捉跟踪，实时反馈到虚拟形象中；通过摄像头对肢体关键点进行检测，并通过算法的计算对关节变化进行捕捉跟踪，实时反馈到虚拟形象中；通过摄像头对手部关节关键点进行检测，并通过算法的计算对关节变化进行捕捉跟踪，实时反馈到虚拟形象中；通过算法的计算让人体不同部位关节实现整体的检测追踪，并实时反馈到虚拟形象中。

6.选择会议场景。具体地，预先建模并导入到虚拟会议软件中，进行会议时，用户在使用的过程中可以选择正常会议室场景、亲自然环境、城市环境。

7.自主选择座位，或者按照参会人员级别、重要程度分配座位。

8.开始会议。

9.参会期间情绪识别。具体地，通过摄像头对面部关键点的识别，根据情感计算算法判断当前目标用户的表情以及对应的情绪，并通过目标用户的声音变化，根据情感计算算法计算用户情绪变化。

10.干预消极情绪。具体地，在识别到目标用户的情绪波动后，利用算法匹配消极情绪与虚拟空间环境模式，并及时改变虚拟会议室的空间元素，如：灯光强弱，对用户的消极情绪起到干预的作用。

11.播放PPT，在用户使用PPT或者相应文件进行讲解时，通过双击虚拟会议室中的白板(记事板模型)实现PPT的全屏播放，以放大PPT内容，同时虚拟会议空间会缩小画面并变成可以拖动的独立窗口。

12.开会期间如有共享笔记的需要，在配套硬件触控设备(如，Pad画板)上记录笔记，通过蓝牙或者数据线的传输，以将笔记内容实时反馈到虚拟会议空间的白板中。

13.结束会议。

进一步地，如图6所示，作为上述远程会议的处理方法的具体实现，本申请实施例提供了一种远程会议的处理装置600，该远程会议的处理装置600包括：显示模块601、采集模块602、第一确定模块603以及调整模块604。

其中，显示模块601用于响应于虚拟会议的启动指令，按照启动指令中的显示参数，在参会终端的会议窗口中显示服务器构建的目标会议空间，目标会议空间包括参会终端对应的虚拟形象模型，虚拟形象模型与参会终端对应的用户行为信息相对应；采集模块602用于在显示目标会议空间的过程中，控制采集装置采集参会终端对应的人脸信息和声音信息；第一确定模块603用于根据人脸信息和声音信息，确定用户情绪信息；调整模块604用于在用户情绪信息属于目标情绪信息的情况下，调整显示参数，以干预情绪。

在该实施例中，利用基于数字孪生的虚拟形象模型代替任参会者的人物图像，并将虚拟形象模型加入到类现实交互的目标会议空间，使得参与会议的所有人能够处于同一个场景中，而且虚拟形象模型能够与用户的动作、表情相对应。用户能够通过对虚拟形象模型的选择与操作实现虚拟形象模型之间肢体交互和眼神交流，提高参会者参加线上会议时的沉浸感，有利于增进人际关系，提高参会者的会议代入感和专注度，进而提高会议效率。同时，在进行会议的过程中，周期性的采集人脸信息，并参照人脸信息分析用户情绪信息，由此，在用户情绪信息属于目标情绪信息时，可通过调整显示参数的方式，改变目标会议空间的认知，从而达到干扰负面情绪的目的，减轻参会者进行线上会议时的疲劳感和不良情绪。

可选地，远程会议的处理装置600还包括：

形象构建模块(图中未示出)，用于构建虚拟形象模型；空间构建模块(图中未示出)，用于将虚拟形象模型设置在服务器的虚拟会议空间中，以形成目标会议空间。

可选地，形象构建模块，具体包括：第一获取模块(图中未示出)，用于获取人脸图像；构建模块(图中未示出)，用于按照人脸图像和预设形象模型，构建虚拟形象模型。

可选地，形象构建模块，具体包括：第二获取模块(图中未示出)，用于获取预设虚拟形象的VRM文件；加载模块(图中未示出)，用于加载VRM文件，以构建虚拟形象模型。

可选地，启动指令包括会议场景信息，空间构建模块，具体用于按照虚拟形象模型的第一数据流，通过服务器在会议场景信息对应的虚拟会议空间中构建虚拟形象模型，得到目标会议空间。

可选地，虚拟会议空间中包括座位模型，空间构建模块，具体用于将虚拟形象模型设置在参会终端关联的座位模型上。

可选地，远程会议的处理装置600还包括：

第三获取模块(图中未示出)，用于在显示目标会议空间的过程中，按照预设时间间隔，控制采集装置获取用户特征点的位置信息；第二确定模块(图中未示出)，用于根据位置信息，确定用户行为信息；第一更新模块(图中未示出)，用于根据用户行为信息，更新虚拟形象模型；其中，用户特征点包括以下至少一种：五官特征点、四肢特征点、头部特征点、身躯特征点。

可选地，会议系统还包括触控书写装置，目标会议空间包括记事板模型，记事板模型用于显示远程会议相关的信息，远程会议的处理装置600还包括：

第四获取模块(图中未示出)，用于通过触控书写装置获取待分享信息；空间构建模块，还用于按照待分享信息的第二数据流，通过服务器更新记事板模型，以在记事板模型上显示待分享信息。

可选地，显示模块601，还用于响应于用户对参会终端的第一输入，缩小会议窗口，并在参会终端上显示记事板窗口，记事板窗口用于显示记事板模型上显示的远程会议相关的信息。

需要说明的是，本申请实施例提供的一种远程会议的处理装置所涉及各功能模块的其他相应描述，可以参考上述的对应实施例的描述，在此不再赘述。

基于上述远程会议的处理方法，以及远程会议的处理装置实施例，为了实现上述目的，本申请实施例还提供了一种会议系统，该会议系统包括参会终端、采集装置、服务器、存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述实施例提供的远程会议的处理方法。

可选地，该参会终端还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的一种会议系统结构并不构成对该会议系统的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

基于上述实施例提供的方法，相应的，本申请实施例还提供了一种刻度存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例提出的远程会议的处理方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

可读存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各控件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的单元或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的单元可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的单元可以合并为一个单元，也可以进一步拆分成多个子单元。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种远程会议的处理方法，其特征在于，所述方法应用于会议系统，所述会议系统包括参会终端、采集装置和服务器，所述参会终端能够与所述服务器进行信息交互，所述方法包括：

响应于虚拟会议的启动指令，按照所述启动指令中的显示参数，在所述参会终端的会议窗口中显示所述服务器构建的目标会议空间，所述目标会议空间包括所述参会终端对应的虚拟形象模型，所述虚拟形象模型与所述参会终端对应的用户行为信息相对应；

在显示所述目标会议空间的过程中，控制所述采集装置采集所述参会终端对应的人脸信息和声音信息；

根据所述人脸信息和所述声音信息，确定用户情绪信息；

在所述用户情绪信息属于目标情绪信息的情况下，调整所述显示参数，以干预情绪。

2.根据权利要求1所述的远程会议的处理方法，其特征在于，所述显示所述服务器构建的目标会议空间之前，所述方法还包括：

构建所述虚拟形象模型；

将所述虚拟形象模型设置在所述服务器的虚拟会议空间中，以形成所述目标会议空间。

3.根据权利要求2所述的远程会议的处理方法，其特征在于，所述启动指令包括会议场景信息，所述将所述虚拟形象模型设置在所述服务器的虚拟会议空间中，具体包括：

按照所述虚拟形象模型的第一数据流，通过所述服务器在所述会议场景信息对应的所述虚拟会议空间中构建所述虚拟形象模型，得到所述目标会议空间。

4.根据权利要求2所述的远程会议的处理方法，其特征在于，所述虚拟会议空间中包括座位模型，所述将所述虚拟形象模型设置在所述服务器的虚拟会议空间中，具体包括：

将所述虚拟形象模型设置在所述参会终端关联的所述座位模型上。

5.根据权利要求1至4中任一项所述的远程会议的处理方法，其特征在于，所述方法还包括：

在显示所述目标会议空间的过程中，按照预设时间间隔，控制所述采集装置获取用户特征点的位置信息；

根据所述位置信息，确定所述用户行为信息；

根据所述用户行为信息，更新所述目标会议空间中的所述虚拟形象模型；

其中，所述用户特征点包括以下至少一种：五官特征点、四肢特征点、头部特征点、身躯特征点。

6.根据权利要求1至4中任一项所述的远程会议的处理方法，其特征在于，所述会议系统还包括触控书写装置，所述目标会议空间包括记事板模型，所述记事板模型用于显示所述远程会议相关的信息，所述方法还包括：

通过所述触控书写装置获取待分享信息；

按照所述待分享信息的第二数据流，通过所述服务器更新所述记事板模型，以在所述记事板模型上显示所述待分享信息。

7.根据权利要求6所述的远程会议的处理方法，其特征在于，所述方法还包括：

响应于用户对所述参会终端的第一输入，缩小所述会议窗口，并在所述参会终端上显示记事板窗口，所述记事板窗口用于显示所述记事板模型上显示的所述远程会议相关的信息。

8.一种远程会议的处理装置，其特征在于，所述装置应用于会议系统，所述会议系统包括参会终端、采集装置和服务器，所述参会终端能够与所述服务器进行信息交互，所述装置包括：

显示模块，用于响应于虚拟会议的启动指令，按照所述启动指令中的显示参数，在所述参会终端的会议窗口中显示所述服务器构建的目标会议空间，所述目标会议空间包括所述参会终端对应的虚拟形象模型，所述虚拟形象模型与所述参会终端对应的用户行为信息相对应；

采集模块，用于在显示所述目标会议空间的过程中，控制所述采集装置采集所述参会终端对应的人脸信息和声音信息；

确定模块，用于根据所述人脸信息和所述声音信息，确定用户情绪信息；

调整模块，用于在所述用户情绪信息属于目标情绪信息的情况下，调整所述显示参数，以干预情绪。

9.一种会议系统，包括参会终端、采集装置、服务器、存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的远程会议的处理方法。

10.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的远程会议的处理方法的步骤。

Images