CN115314477A - 基于多方视频的会议控制方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及视频会议技术，揭露一种基于多方视频的会议控制方法、装置、设备及介质，所述方法包括：获取会议的会议类型及会议权限列表，接收用户的会议请求，对会议请求进行解析，得到用户身份信息、数据流包及视频流标识；根据会议权限列表及用户身份信息设置用户的会议权限，将视频流标识更新至会议记录中；根据会议类型、会议权限以及用户身份信息判定用户能够进入会议时，根据会议权限对数据流包进行传输控制，生成用户的会议显示；对会议的音频流进行识别，根据音频流的识别结果对会议中所有用户的会议显示进行视频转码，得到会议视频；监测会议的用户在线情况，根据用户在线情况更新会议记录。本发明可以提高会议可控制性以及会议流畅性。

Description

基于多方视频的会议控制方法、装置、设备及存储介质

技术领域

本发明涉及视频会议技术领域，尤其涉及一种基于多方视频的会议控制方法、装置、电子设备及计算机可读存储介质。

背景技术

多方视频会议技术是一种让身处异地的人们通过某种传输介质实现“实时、可视、交互”视频通信的多媒体通讯技术。多方视频会议技术可以通过现有的各种通讯传输媒体，将参会者的静态和动态图像、语音、文字等各种信息传送到其他参会者的终端设备上，使得在地理上分散的参会者能够通过视频、图像、声音等多种方式交流信息，使用户犹如身临其境地参加在同一会议。通常，多方视频会议系统中，服务器会收集各个客户端发送的视频，然后将会议中全部客户端发送的视频整合，并发送到参会的各个客户端，从而实现多人视频会议。

而对于目前的在线视频会议，往往是采用多端汇聚于一体的模式进行视频交流；基于不同会议职能的人无法充分把握好会议的开展与进度，容易造成会议杂乱无序的情况，并且针对于不同级别的用户无法在一场会议中达到区分性控制，针对会议内容无法实现不同级别之间的保密性。除此之外，在多方参加同一会议时，由于在线用户过多，计算机的资源消耗过大，容易出现会议卡顿、画面不清晰等情况。导致会议的体验感较差。

综上所述，现有技术中存在会议可控制性以及会议流畅性较低的问题。

发明内容

本发明提供一种基于多方视频的会议控制方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决会议可控制性以及会议流畅性较低的问题。

为实现上述目的，本发明提供的一种基于多方视频的会议控制方法，包括：

获取会议的会议类型以及会议权限列表，并接收用户的会议请求，对所述会议请求进行解析，得到用户身份信息、数据流包以及视频流标识；

根据所述会议权限列表及所述用户身份信息设置所述用户的会议权限，并将所述视频流标识更新至预设的会议记录中；

根据所述会议类型、所述会议权限以及所述用户身份信息判断所述用户能否进入所述会议；

当所述用户能够进入所述会议时，根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示；

对所述会议的音频流进行识别，根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频；

监测所述会议的用户在线情况，根据所述用户在线情况更新所述会议记录。

可选地，所述对所述会议的音频流进行识别，包括：

从所述会议中提取所有的音频流，并对所述音频流对应的音频序列进行特征提取，得到音频特征；

根据所述音频特征和预设标准音频特征信息，生成噪声消除因子；

利用所述噪声消除因子消除所述音频流中的噪声，得到标准音频流；

根据音频流的音频波动将所述标准音频流划分为主音频和参考音频。

可选地，所述根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频，包括：

根据所述主音频及参考音频获取对应的第一会议显示以及第二会议显示；

对所述第一会议显示以及第二会议显示进行丢包检测，得到丢包率及对应的时间戳，根据所述时间戳计算往返时间；

根据所述丢包率、所述往返时间及预设的重传超时时间计算得到预测码率；

根据所述预测码率对所述第一会议显示以及所述第二会议显示进行码率调整，得到会议视频。

可选地，所述根据所述丢包率、所述往返时间及预设的重传超时时间计算得到预测码率，包括：

利用下式计算预测码率：

其中，

为所述预测码率；

为所述丢包率；

为所述往返时间；

为所述重传超时时间。

可选地，所述根据所述预测码率对所述第一会议显示以及所述第二会议显示进行码率调整，得到会议视频，包括：

对所述预测码率进行均值计算，得到平均码率；

基于所述平均码率对所述第一会议显示进行升码处理，得到升码视频；

基于所述平均码率对所述第二会议显示进行降码处理，得到降码视频；

将所述升码视频及所述降码视频进行视频整合，得到会议视频。

可选地，所述监测所述会议的用户在线情况，包括：

根据预设周期获取用户段的IP地址，根据所述IP地址查询到所述会议所经过的中间路由地址；

获取所述会议与所述中间路由地址的报文发送情况，根据所述报文发送情况生成用户的在线情况。

可选地，所述根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示，包括：

对所述数据流包进行拆解，并根据所述会议权限从拆解后的数据流包中选取对应的数据流；

以一条数据流为单位将所述数据流添加至所述会议中，并将会议中的所述数据流进行数据集合，生成会议显示。

为了解决上述问题，本发明还提供一种基于多方视频的会议控制装置，所述装置包括：

会议请求处理模块，用于获取会议的会议类型以及会议权限列表，并接收用户的会议请求，对所述会议请求进行解析，得到用户身份信息、数据流包以及视频流标识；

会议权限设置模块，用于根据所述会议权限列表及所述用户身份信息设置所述用户的会议权限，并将所述视频流标识更新至预设的会议记录中；

会议显示生成模块，用于根据所述会议类型、所述会议权限以及所述用户身份信息判断所述用户能否进入所述会议；当所述用户能够进入所述会议时，根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示；

会议视频转码模块，用于对所述会议的音频流进行识别，根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频；

会议记录生成模块，用于监测所述会议的用户在线情况，根据所述用户在线情况更新所述会议记录。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于多方视频的会议控制方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于多方视频的会议控制方法。

本发明实施例通过会议权限列表和用户身份信息设置用户的会议权限，实现了对会议参与方的控制；通过会议类型，用户的会议权限以及用户身份信息实现对参会门槛的调控；通过用户的身份信息对用户的数据流包进行传输控制，控制了会议的数据流；通过根据音频流的识别结果对所有用户的会议显示进行转码，减轻了会议的流量压力，降低了服务器的计算压力，提高了会议的流畅性；通过对会议记录的更新，实现了对会议开展过程的全程监控。因此本发明提出的基于多方视频的会议控制方法、装置、电子设备及计算机可读存储介质，可以解决会议可控制性以及会议流畅性较低的问题。

附图说明

图1为本发明一实施例提供的基于多方视频的会议控制方法的流程示意图；

图2为本发明一实施例提供的对所述会议的音频流进行识别的流程示意图；

图3为本发明一实施例提供的根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码的流程示意图；

图4为本发明一实施例提供的基于多方视频的会议控制装置的功能模块图；

图5为本发明一实施例提供的实现所述基于多方视频的会议控制方法的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供一种基于多方视频的会议控制方法。所述基于多方视频的会议控制方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于多方视频的会议控制方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参照图1所示，为本发明一实施例提供的基于多方视频的会议控制方法的流程示意图。在本实施例中，所述基于多方视频的会议控制方法包括：

S1、获取会议的会议类型以及会议权限列表，并接收用户的会议请求，对所述会议请求进行解析，得到用户身份信息、数据流包以及视频流标识。

本发明实施例中，所述会议类型可以为会议的内容类型、会议的范围类型等，若所述会议类型为会议的内容类型，则会议类型可以有周会会议、培训会议、项目会议等；若所述会议类型为会议的范围类型，则会议类型可以有开放式会议、半开放式会议、封闭会议等。其中，所述开放式会议仅通过身份权限对会议进入进行限制，所述半开放式会议可以通过密码以及身份权限对会议进入进行限制；所述封闭会议针对所有用户实施不可进入的限制。

本发明实施例中，所述会议权限列表为管理员根据参会人员的职别、项目的参与程度等设置的参会权限列表。具体地，所述会议权限列表中存在着由多个参会人以及对应的会议权限所形成的关联行，其中，所述会议权限可以为仅观看、仅收听、开放等。

本发明实施例中，所述会议请求为参会方用户发送的会议参加请求，根据所述会议请求可以记录参会人员、参会情况，并且可以对参会人员的权限进行限制。

本发明实施例中，所述数据流包中包含着视频流、音频流、数据流等；所述视频流标识包含着数据流包中所有数据流的内容以及所述数据流包对应的参会人员的身份信息，通过所述视频流标识便于生成所述会议的会议记录。

本发明实施例中，所述对所述会议请求进行解析，得到用户身份信息、数据流包以及视频流标识，包括：

识别所述会议请求中的请求体，并从所述请求体中提取数据列表；

根据所述数据列表的数据属性提取用户身份信息及数据流包；

根据所述用户身份信息及所述数据流包生成视频流标识。

本发明实施例中，所述数据列表的数据结构通过会议请求所发送的内容构成；所述数据处理请求由请求行、请求头和请求头构成，其中所述请求体中包含实际发送的内容，即数据列表。

S2、根据所述会议权限列表及所述用户身份信息设置所述用户的会议权限，并将所述视频流标识更新至预设的会议记录中。

本发明实施例中，所述根据所述会议权限列表及所述用户身份信息设置所述用户的会议权限，包括：

从所述用户身份信息中提取用户标识，并利用所述用户标识在所述会议权限列表中检索对应的权限；

根据检索到的权限配置所述用户在所述会议中的权限。

本发明实施例中，所述用户标识可以为用户姓名或者员工编号等能够对每个人区别性识别的标识。

本发明实施例中，所述视频流标识可以反映在会议记录中的标识信息表中，该标识信息表可以表示所有参会人员以及其在会议中的所有信息。所述视频流标识表示着数据流包中不同流的类型（如视频，音频，数据），不同用户在同一种流下的标识可以是不同的，从而实现标记的作用。

本发明实施例中，所述会议记录中包含已参会人员的视频流标识，通过将新参会用户的视频流标识更新至所述会议记录中，可以实现会议终端能够实时得知在会的所有视频流标识，实现对会议实时情况的把控。并且，所述会议记录可以由授予权限的参会人员或者授权者查看，进而实现会议的全程监控。

S3、根据所述会议类型、所述会议权限以及所述用户身份信息判断所述用户能否进入所述会议。

本发明实施例中，所述根据所述会议类型、所述会议权限以及所述用户身份信息判断所述用户能否进入所述会议，包括：

根据所述会议类型判断所述会议是否开放；

若所述会议不开放，则判定所述用户不能进入所述会议；

若所述会议开放，则从所述用户身份信息中提取验证数据；

根据所述验证数据以及所述会议权限对所述用户进行身份验证；

若所述身份验证通过，则判定所述用户能够进入所述会议；

若所述身份验证不通过，则判定所述用户不能进入所述会议。

本发明实施例中，不同的会议类型可以对应不同的开放程度，例如，周会、晨会等可以为开放的会议类型，而高层会议、项目会议等保密性的会议可以为不开放的会议类型；或者会议类型直接设置为开放、半开放、封闭等对会议类型进行限制。

进一步地，本发明实施例中，在会议开放时，所需的验证方法可能不同，可以仅对用户进行权限验证，或者是对用户进行密码验证，又或者为权限验证和密码验证的结合。若为除权限验证以外的身份验证方法，则可以从用户身份信息中获取相应的验证数据进行身份验证。

S4、当所述用户能够进入所述会议时，根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示。

本发明实施例中，若所述用户能够进入所述会议，则需要根据用户的会议权限以及用户的数据流包进行数据流导入，以实现参与所述会议。

本发明实施例中，所述根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示，包括：

对所述数据流包进行拆解，并根据所述会议权限从拆解后的数据流包中选取对应的数据流；

以一条数据流为单位将所述数据流添加至所述会议中，并将会议中的所述数据流进行数据集合，生成会议显示。

本发明实施例中，所述会议显示可以为视频显示、音频显示、或者视频显示加音频显示等。

本发明实施例中，预设的会议控制服务器可以将所述视频流包中的视频流以一条数据流为单位添加至所述会议的会议数据流内，会议数据流是通过多个已参会用户的视频流包在所述会议控制服务器集合而成的。

本发明实施例中，当新参会的用户的视频流被添加至会议视频流内后，所述会议控制服务器会将会议视频流进行数据集合，并将生成的会议显示推送给新参会的用户以及所有已参会用户，从而达到多方远程视频会议的目的。

S5、对所述会议的音频流进行识别，根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频。

本发明实施例中，通过对会议进行音频识别，判断发言的源头方，根据发言的源头方对会议中所有用户的会议显示进行码率调整，实现会议中不同用户的区别化显示，降低了会议控制服务器的计算压力，并且可以提高会议的流畅性。

请参阅图2所示，本发明实施例中，所述对所述会议的音频流进行识别，包括：

S21、从所述会议中提取所有的音频流，并对所述音频流对应的音频序列进行特征提取，得到音频特征；

S22、根据所述音频特征和预设标准音频特征信息，生成噪声消除因子；

S23、利用所述噪声消除因子消除所述音频流中的噪声，得到标准音频流；

S24、根据音频流的音频波动将所述标准音频流划分为主音频和参考音频。

本发明实施例中，可以通过信号可视化、信号加重、分帧、FFT(快速傅里叶变换)等操作对所述音频流对应的音频序列进行特征提取。所述音频特征可以包含音频波形(同时表征频率、幅值、相位等信息)、过零率和短时能量信息；而所述预设标准音频特征信息同样包含预设音频波形(同时表征频率、幅值、相位等信息)、过零率和短时能量等，即两段音频存在多种量纲对应的音频特征信息，通过音频特征信息可以匹配到预设标准音频特征信息对应的噪声消除因子；所述噪声消除因子可以是预设标准音频特征信息的音频波形相抵消的反向音波。

请参阅图3所示，本发明实施例中，所述根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频，包括：

S31、根据所述主音频及参考音频获取对应的第一会议显示以及第二会议显示；

S32、对所述第一会议显示以及第二会议显示进行丢包检测，得到丢包率及对应的时间戳，根据所述时间戳计算往返时间；

S33、根据所述丢包率、所述往返时间及预设的重传超时时间计算得到预测码率；

S34、根据所述预测码率对所述第一会议显示以及所述第二会议显示进行码率调整，得到会议视频。

具体地，本发明实施例中，所述根据所述丢包率、所述往返时间及预设的重传超时时间计算到预测码率，包括：

利用下式计算预测码率：

其中，

为所述预测码率；

为所述丢包率；

为所述往返时间；

为所述重传超时时间。

详细地，本发明实施例中，所述根据所述预测码率对所述第一会议显示以及所述第二会议显示进行码率调整，得到会议视频，包括：

对所述预测码率进行均值计算，得到平均码率；

基于所述平均码率对所述第一会议显示进行升码处理，得到升码视频；

基于所述平均码率对所述第二会议显示进行降码处理，得到降码视频；

将所述升码视频及所述降码视频进行视频整合，得到会议视频。

本发明实施例中，第一会议显示可以为发言人对应的视频，第二会议显示可以为旁听人对应的视频。

本发明实施例中，可以采用视频编码方式提高所述第一会议显示的分辨率或者降低所述第二会议显示的分辨率，使得到的升码视频的视频分辨率高于降码视频的视频分辨率。具体地，本发明实施例可以采用H.264或者H.265对应的编码方式，升码视频可以具有CIF对应的分辨率，也即352*288；降码视频可以具有QCIF对应的分辨率，即176*144。

本发明实施例中，通过对会议视频进行转码处理，减少无线网络的拥塞状态,提高视频数据的传输效率。

S6、监测所述会议的用户在线情况，根据所述用户在线情况更新所述会议记录。

本发明实施例中，在会议的开展过程中往往会出现中途进入、掉线、提前退出等情况，通过监测会议中用户的在线情况可以实时了解会议的开展情况。

本发明实施例中，所述监测所述会议的用户在线情况，包括：

根据预设周期获取用户段的IP地址，根据所述IP地址查询到所述会议所经过的中间路由地址；

获取所述会议与所述中间路由地址的报文发送情况，根据所述报文发送情况生成用户的在线情况。

本发明实施例中，在用户掉线、退出等情况时，会议与中间路由地址的报文发送数据量可能会逐渐降低，在报文发送数据量低于预设阈值时，可以判定用户掉线，并且可以确定用户的掉线时间；会议与中间路由地址的报文发送数据量可能会逐渐升高至超过所述阈值时，可以判定用户在线，并且记录用户的上线时间。

本发明实施例中，不同会议权限的用户对会议记录的查看限制也可以是不同的。例如，高等权限等级的用户可以查看全部的会议记录，中等权限等级的用户可以查看部分会议记录，低等权限等级的用户不能查看会议记录。

本发明实施例通过会议权限列表和用户身份信息设置用户的会议权限，实现了对会议参与方的控制；通过会议类型，用户的会议权限以及用户身份信息实现对参会门槛的调控；通过用户的身份信息对用户的数据流包进行传输控制，控制了会议的数据流；通过根据音频流的识别结果对所有用户的会议显示进行转码，减轻了会议的流量压力，降低了服务器的计算压力，提高了会议的流畅性；通过对会议记录的更新，实现了对会议开展过程的全程监控。因此本发明提出的基于多方视频的会议控制方法，可以解决会议可控制性以及会议流畅性较低的问题。

如图4所示，是本发明一实施例提供的基于多方视频的会议控制装置的功能模块图。

本发明所述基于多方视频的会议控制装置100可以安装于电子设备中。根据实现的功能，所述基于多方视频的会议控制装置100可以包括会议请求处理模块101、会议权限设置模块102、会议显示生成模块103、会议视频转码模块104及会议记录生成模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述会议请求处理模块101，用于获取会议的会议类型以及会议权限列表，并接收用户的会议请求，对所述会议请求进行解析，得到用户身份信息、数据流包以及视频流标识；

所述会议权限设置模块102，用于根据所述会议权限列表及所述用户身份信息设置所述用户的会议权限，并将所述视频流标识更新至预设的会议记录中；

所述会议显示生成模块103，用于根据所述会议类型、所述会议权限以及所述用户身份信息判断所述用户能否进入所述会议；当所述用户能够进入所述会议时，根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示；

所述会议视频转码模块104，用于对所述会议的音频流进行识别，根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频；

所述会议记录生成模块105，用于监测所述会议的用户在线情况，根据所述用户在线情况更新所述会议记录。

详细地，本发明实施例中所述基于多方视频的会议控制装置100中所述的各模块在使用时采用与附图中所述的基于多方视频的会议控制方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

如图5所示，是本发明一实施例提供的实现基于多方视频的会议控制方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于多方视频的会议控制程序。

其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（ControlUnit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行基于多方视频的会议控制程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。

所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于多方视频的会议控制程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述通信总线12可以是外设部件互连标准（Peripheral ComponentInterconnect，简称PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。

图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的基于多方视频的会议控制程序是多个指令的组合，在所述处理器10中运行时，可以实现：

获取会议的会议类型以及会议权限列表，并接收用户的会议请求，对所述会议请求进行解析，得到用户身份信息、数据流包以及视频流标识；

根据所述会议权限列表及所述用户身份信息设置所述用户的会议权限，并将所述视频流标识更新至预设的会议记录中；

根据所述会议类型、所述会议权限以及所述用户身份信息判断所述用户能否进入所述会议；

当所述用户能够进入所述会议时，根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示；

对所述会议的音频流进行识别，根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频；

监测所述会议的用户在线情况，根据所述用户在线情况更新所述会议记录。

具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。

本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：

获取会议的会议类型以及会议权限列表，并接收用户的会议请求，对所述会议请求进行解析，得到用户身份信息、数据流包以及视频流标识；

根据所述会议权限列表及所述用户身份信息设置所述用户的会议权限，并将所述视频流标识更新至预设的会议记录中；

根据所述会议类型、所述会议权限以及所述用户身份信息判断所述用户能否进入所述会议；

当所述用户能够进入所述会议时，根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示；

对所述会议的音频流进行识别，根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频；

监测所述会议的用户在线情况，根据所述用户在线情况更新所述会议记录。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本申请实施例可以基于视频会议技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于多方视频的会议控制方法，其特征在于，所述方法包括：

获取会议的会议类型以及会议权限列表，并接收用户的会议请求，对所述会议请求进行解析，得到用户身份信息、数据流包以及视频流标识；

根据所述会议权限列表及所述用户身份信息设置所述用户的会议权限，并将所述视频流标识更新至预设的会议记录中；

根据所述会议类型、所述会议权限以及所述用户身份信息判断所述用户能否进入所述会议；

当所述用户能够进入所述会议时，根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示；

对所述会议的音频流进行识别，根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频；

监测所述会议的用户在线情况，根据所述用户在线情况更新所述会议记录。

2.如权利要求1所述的基于多方视频的会议控制方法，其特征在于，所述对所述会议的音频流进行识别，包括：

从所述会议中提取所有的音频流，并对所述音频流对应的音频序列进行特征提取，得到音频特征；

根据所述音频特征和预设标准音频特征信息，生成噪声消除因子；

利用所述噪声消除因子消除所述音频流中的噪声，得到标准音频流；

根据音频流的音频波动将所述标准音频流划分为主音频和参考音频。

3.如权利要求2所述的基于多方视频的会议控制方法，其特征在于，所述根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频，包括：

根据主音频及参考音频获取对应的第一会议显示以及第二会议显示；

对所述第一会议显示以及第二会议显示进行丢包检测，得到丢包率及对应的时间戳，根据所述时间戳计算往返时间；

根据所述丢包率、所述往返时间及预设的重传超时时间计算得到预测码率；

根据所述预测码率对所述第一会议显示以及所述第二会议显示进行码率调整，得到会议视频。

4.如权利要求3所述的基于多方视频的会议控制方法，其特征在于，所述根据所述丢包率、所述往返时间及预设的重传超时时间计算得到预测码率，包括：

利用下式计算预测码率：

其中，

为所述预测码率；

为所述丢包率；

为所述往返时间；

为所述重传超时时间。

5.如权利要求3所述的基于多方视频的会议控制方法，其特征在于，所述根据所述预测码率对所述第一会议显示以及所述第二会议显示进行码率调整，得到会议视频，包括：

对所述预测码率进行均值计算，得到平均码率；

基于所述平均码率对所述第一会议显示进行升码处理，得到升码视频；

基于所述平均码率对所述第二会议显示进行降码处理，得到降码视频；

将所述升码视频及所述降码视频进行视频整合，得到会议视频。

6.如权利要求1所述的基于多方视频的会议控制方法，其特征在于，所述监测所述会议的用户在线情况，包括：

根据预设周期获取用户段的IP地址，根据所述IP地址查询到所述会议所经过的中间路由地址；

获取所述会议与所述中间路由地址的报文发送情况，根据所述报文发送情况生成用户的在线情况。

7.如权利要求1至6中任一项所述的基于多方视频的会议控制方法，其特征在于，所述根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示，包括：

对所述数据流包进行拆解，并根据所述会议权限从拆解后的数据流包中选取对应的数据流；

以一条数据流为单位将所述数据流添加至所述会议中，并将会议中的所述数据流进行数据集合，生成会议显示。

8.一种基于多方视频的会议控制装置，其特征在于，所述装置包括：

会议请求处理模块，用于获取会议的会议类型以及会议权限列表，并接收用户的会议请求，对所述会议请求进行解析，得到用户身份信息、数据流包以及视频流标识；

会议权限设置模块，用于根据所述会议权限列表及所述用户身份信息设置所述用户的会议权限，并将所述视频流标识更新至预设的会议记录中；

会议显示生成模块，用于根据所述会议类型、所述会议权限以及所述用户身份信息判断所述用户能否进入所述会议；当所述用户能够进入所述会议时，根据所述会议权限对所述数据流包进行传输控制，生成所述用户的会议显示；

会议视频转码模块，用于对所述会议的音频流进行识别，根据音频流的识别结果对所述会议中所有用户的会议显示进行视频转码，得到会议视频；

会议记录生成模块，用于监测所述会议的用户在线情况，根据所述用户在线情况更新所述会议记录。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于多方视频的会议控制方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于多方视频的会议控制方法。

Images