CN108965774A - 视频会议数据处理方法、mcu、ai平台及存储介质 - Google Patents

Abstract

本发明通过在人工智能平台上运行软视频会议终端，使得人工智能平台通过运行的软视频会议终端加入到由多点控制单元主持的视频会议中，这样，各个会场的参会者可通过视频会议终端以语音的方式直接与人工智能平台进行交互。在人工智能平台确定用户意图并得到相应的处理结果之后，可通过其运行的软视频会议终端将处理结果传输至多点控制单元，进而由多点控制单元将处理结果转发至参会的各视频会议终端。通过这种方式，使得运行软视频会议终端的人工智能平台成为会议秘书的角色，丰富了视频会议系统的业务功能。

Description

视频会议数据处理方法、MCU、AI平台及存储介质

技术领域

本发明涉及智能终端技术领域，尤其涉及一种视频会议数据处理方法、多点控制单元MCU、人工智能AI平台及计算机可读存储介质。

背景技术

视频会议是利用视讯技术和设备通过现代通信网络，在本地及远端以电视方式召开实时、双向、交互式的可视会议的一种多媒体通信方式，是利用电视技术和设备通过传输信道在两地或多个地点举行会议的一种通信手段。随着移动互联网技术的发展，视频会议已经被广泛的应用在生活和工作中的多个场景中，不论身处何地，都可以很方便地通过会议电视终端参与会议，大大的提高了工作效率和节约差旅费用，为越来越多的普通用户所接受.

然而，在视频会议领域，不论是点对点或者时多点会议中，虽然已经满足实时、双向沟通交流的需求，但是随着视频会议的普及和功能的完善，特别是人工智能的兴起，云计算与大数据的蓬勃发展，人们对视频会议的与会体验要求也逐步提高，在与会期间，除了面对面的交流之外，人们还希望视频会议系统能够提供更多的服务。

发明内容

本发明的主要目的在于提供一种视频会议数据处理方法、多点控制单元、人工智能平台及计算机可读存储介质，旨在丰富视频会议系统的业务功能。

为实现上述目的，本发明提供一种视频会议数据处理方法，该视频会议数据处理方法包括：

多点控制单元在接收到参会的视频会议终端所发送的用户音频信号时，将所述用户音频信号转发至人工智能平台，其中，所述人工智能平台基于其运行的软视频会议终端参会；

接收所述人工智能平台在基于所述用户音频信号确定用户意图之后，通过所述软视频会议终端返回的所述用户意图的处理结果；

在接收到所述处理结果之后，将所述处理结果传输至参会的各视频会议终端进行展示。

可选地，所述在接收到参会的视频会议终端所发送的用户音频信号时，将所述用户音频信号转发至人工智能平台的步骤之前，还包括以下步骤：

接收任意所述视频会议终端发送的人机交互指令，并在接收到所述人机交互指令时，将所述软视频会议终端加入主持的视频会议。

可选地，所述处理结果包括图像处理结果，所述接收所述人工智能平台在基于所述用户音频信号确定用户意图之后，通过所述软视频会议终端返回的所述用户意图的处理结果包括：

在接收到所述软视频会议终端发送的传输请求时，发送远端辅流命令至所述软视频会议终端，以供所述软视频会议终端通过辅流的方式返回编码压缩后的图像处理结果，其中，所述软视频会议终端在人工智能平台基于所述用户音频信号确定用户意图并处理得到图像处理结果之后，返回传输请求至多点控制单元；

接收所述软视频会议终端返回的所述图像处理结果。

进一步地，本发明还提供一种多点控制单元，该多点控制单元包括：

存储有视频会议数据处理程序的存储器；

处理器，配置为执行所述视频会议数据处理程序以实现以下步骤:

在接收到参会的视频会议终端所发送的用户音频信号时，将所述用户音频信号转发至人工智能平台，其中，所述人工智能平台基于其运行的软视频会议终端参会；

接收所述人工智能平台在基于所述用户音频信号确定用户意图之后，通过所述软视频会议终端返回的所述用户意图的处理结果；

在接收到所述处理结果之后，将所述处理结果传输至参会的各视频会议终端进行展示。

进一步地，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有视频会议数据处理程序，所述视频会议数据处理程序被处理器执行时实现以下步骤：

在接收到参会的视频会议终端所发送的用户音频信号时，将所述用户音频信号转发至人工智能平台，其中，所述人工智能平台基于其运行的软视频会议终端参会；

接收所述人工智能平台在基于所述用户音频信号确定用户意图之后，通过所述软视频会议终端返回的所述用户意图的处理结果；

在接收到所述处理结果之后，将所述处理结果传输至参会的各视频会议终端进行展示。

进一步地，本发明提供一种视频会议数据处理方法，该视频会议数据处理方法包括：

通过所述软视频会议终端接收所述多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

根据所述用户音频信号，确定用户意图；

对确定的用户意图进行处理，将处理结果通过所述软视频会议终端传输至所述多点控制单元，以供所述多点控制单元将所述处理结果转发至参会的各视频会议终端进行展示。

可选地，所述根据所述用户音频信号，确定用户意图的步骤包括：

通过所述软视频会议终端对所述用户音频信号进行解码，得到对应的用户音频内容；

对所述用户音频内容进行语音识别，根据语音识别的结果得到用户意图。

可选地，所述对确定的用户意图进行处理包括：

在用户意图为查询信息时，通过互联网搜索用户待查询的信息，并将搜索结果作为用户意图的处理结果。

进一步地，本发明还提供一种人工智能平台，该人工智能平台包括：

存储有视频会议数据处理程序的存储器；

处理器，配置为执行所述视频会议数据处理程序以实现以下步骤:

通过运行的软视频会议终端接收所述多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

根据所述用户音频信号，确定用户意图；

对确定的用户意图进行处理，将处理结果通过所述软视频会议终端传输至所述多点控制单元，以供所述多点控制单元将所述处理结果转发至参会的各视频会议终端进行展示。

进一步地，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有视频会议数据处理程序，所述视频会议数据处理程序被处理器执行时实现以下步骤：

通过运行的软视频会议终端接收所述多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

根据所述用户音频信号，确定用户意图；

对确定的用户意图进行处理，将处理结果通过所述软视频会议终端传输至所述多点控制单元，以供所述多点控制单元将所述处理结果转发至参会的各视频会议终端进行展示。

本发明通过在人工智能平台上运行软视频会议终端，使得人工智能平台通过运行的软视频会议终端加入到由多点控制单元主持的视频会议中，这样，各个会场的参会者可通过视频会议终端以语音的方式直接与人工智能平台进行交互。在人工智能平台确定用户意图并得到相应的处理结果之后，可通过其运行的软视频会议终端将处理结果传输至多点控制单元，进而由多点控制单元将处理结果转发至参会的各视频会议终端。通过这种方式，使得运行软视频会议终端的人工智能平台成为会议秘书的角色，丰富了视频会议系统的业务功能。

附图说明

图1为本发明多点控制单元一实施例的结构示意图；

图2为本发明视频会议数据处理方法第一实施例的流程示意图；

图3为本发明视频会议数据处理方法第一实施例中多点控制单元主持的视频会议的拓扑结构示意图；

图4为本发明视频会议数据处理方法第一实施例中实体的视频会议终端的形态示例图；

图5为本发明人工智能平台一实施例的结构示意图；

图6为本发明视频会议数据处理方法第四实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：通过在人工智能平台上运行软视频会议终端，使得人工智能平台通过运行的软视频会议终端加入到由多点控制单元主持的视频会议中，这样，各个会场的参会者可通过视频会议终端以语音的方式直接与人工智能平台进行交互。在人工智能平台确定用户意图并得到相应的处理结果之后，可通过其运行的软视频会议终端将处理结果传输至多点控制单元，进而由多点控制单元将处理结果转发至参会的各视频会议终端。通过这种方式，使得运行软视频会议终端的人工智能平台成为会议秘书的角色，丰富了视频会议系统的业务功能。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的多点控制单元的结构示意图。

如图1所示，该多点控制单元可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口等。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的多点控制单元的结构并不构成对多点控制单元的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，在本发明多点控制单元的一实施例中，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频会议数据处理程序。

在图1所示的多点控制单元中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的视频会议数据处理程序，并执行以下操作：

在接收到参会的视频会议终端所发送的用户音频信号时，将接收的用户音频信号转发至人工智能平台，其中，人工智能平台基于其运行的软视频会议终端参会；

接收人工智能平台在基于用户音频信号确定用户意图之后，通过软视频会议终端返回的用户意图的处理结果；

在接收到处理结果之后，将接收的处理结果传输至参会的各视频会议终端进行展示。

进一步地，处理器1001可以用于调用存储器1005中存储的视频会议数据处理程序，还执行以下操作：

接收任意参会的视频会议终端发送的人机交互指令，并在接收到人机交互指令时，将人工智能平台运行的软视频会议终端加入主持的视频会议。

进一步地，处理器1001可以用于调用存储器1005中存储的视频会议数据处理程序，还执行以下操作：

在接收到软视频会议终端发送的传输请求时，发送远端辅流命令至软视频会议终端，以供软视频会议终端通过辅流的方式返回编码压缩后的图像处理结果，其中，软视频会议终端在人工智能平台基于用户音频信号确定用户意图并处理得到图像处理结果之后，返回传输请求至多点控制单元；

接收软视频会议终端返回的图像处理结果。

进一步地，本发明还提供一种视频会议数据处理方法，应用于多点控制单元，参照图2，在本发明视频会议数据处理方法的第一实施例中，该视频会议数据处理方法包括：

步骤S10，在接收到参会的视频会议终端所发送的用户音频信号时，将接收的用户音频信号转发至人工智能平台，其中，人工智能平台基于其运行的软视频会议终端参会；

步骤S20，接收人工智能平台在基于用户音频信号确定用户意图之后，通过软视频会议终端返回的用户意图的处理结果；

步骤S30，在接收到处理结果之后，将接收的处理结果传输至参会的各视频会议终端进行展示。

需要说明的是，为便于理解本发明方案，以下首先对本发明设计的人工智能技术进行简单介绍。

人工智能(Artificial Intelligence，简称：AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考，也可能超过人的智能。人工智能是包括十分广泛的科学，由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。

请参照图3，在本发明实施例中，人工智能平台运行有软视频会议终端，并通过其运行的软视频会议终端加入到多点控制单元主持的视频会议中。其中，可将软视频会议终端看做是人工智能平台运行的虚拟的视频会议终端，类似于PC平台的虚拟机；对于参会的实体的视频会议终端1-n，本发明对其形态不做限定，如图4所示，其可以为任何形态的视频会议终端。

当人工智能平台基于其运行的软视频会议终端加入到多点控制单元主持的视频会议之后，对于多点控制单元而言，人工智能平台运行的人视频会议终端与其他实体的视频会议终端为等同的参会者，则多点控制单元在接收到参会的视频会议终端所发送的用户音频信号时，除了将该用户音频信号转发至源视频会议终端之外的其他视频会议终端，还将用户音频信号转发至软视频会议终端，以将用户音频信号转发至人工智能平台，实现参会者与人工智能平台的人机交互。

软视频会议终端在接收到来自多点控制单元的用户音频信号之后，采用约定的编解码算法对接收的用户音频信号进行解码，得到用户音频内容。之后，将得到的用户音频内容作为人工智能平台的语音输入，提供给人工智能平台。

人工智能平台在接收到软视频会议终端解码用户音频信号之后得到的用户音频内容时，对用户音频内容进行语音识别，根据语音识别的结果得到用户意图。其中，对于采用何种语音识别技术，本发明不做具体限制，可由本领域技术人员根据实际需要进行选取。

在确定用户意图之后，人工智能平台对用户意图进行处理，得到处理结果。

例如，软视频会议终端解码后的用户音频内容为“现在几点了？”，人工智能平台接收到上述用户音频内容之后，对上述用户音频内容进行语音识别，根据语音识别的结果确定上述用户音频内容的意图为获得当前的时间，则人工智能平台将其当前的系统时间作为处理结果。

又例如，软视频会议终端解码后的用户音频内容为“播放xx报表”，人工智能平台接收到上述用户音频内容之后，对上述用户音频内容进行语音识别，根据语音识别的结果确定上述用户音频内容的意图为查看xx报表的内容，则人工智能平台获取到xx报表，将xx报表的内容作为处理结果。

人工智能平台在对用户意图进行处理，并得到处理结果之后，将得到的处理结果通过运行的软视频会议终端返回至多点控制单元。

多点控制单元对人工智能平台通过软视频会议终端返回的处理结果进行接收，并在接收到返回的处理结果之后，将处理结果传输至参会的各视频会议终端进行展示。这样，各个会场的参会者都可以通过各自会场的视频会议终端获得人工智能平台的处理结果。

本发明提出的视频会议数据处理方法，通过在人工智能平台上运行软视频会议终端，使得人工智能平台通过运行的软视频会议终端加入到由多点控制单元主持的视频会议中，这样，各个会场的参会者可通过视频会议终端以语音的方式直接与人工智能平台进行交互。在人工智能平台确定用户意图并得到相应的处理结果之后，可通过其运行的软视频会议终端将处理结果传输至多点控制单元，进而由多点控制单元将处理结果转发至参会的各视频会议终端。通过这种方式，使得运行软视频会议终端的人工智能平台成为会议秘书的角色，丰富了视频会议系统的业务功能。

进一步地，为提升人机交互的灵活性，基于第一实施例，提出本发明视频会议数据处理方法的第二实施例，在本实施例中，步骤S10之前，还包括：

接收任意视频会议终端发送的人机交互指令，并在接收到人机交互指令时，将软视频会议终端加入主持的视频会议。

需要说明的是，与前述第一实施例的区别在于，本实施例中多点控制单元在视频会议过程中，在且仅在参会者需要与人工智能平台进行交互时，将人工智能平台运行的软视频会议终端加入到主持的视频会议中。

具体的，在本发明实施例中，当会场的参会者需要与人工智能平台进行交互时，可以通过遥控器按键或者直接说出预定义语音内容，由该会场的视频会议终端识别后转换成人机交互指令。需要说明的是，本领域技术人员也可根据实际需要选取其他触发视频会议终端产生人机交互指令的方式，本发明不做具体限制。

在产生人机交互指令之后，视频会议终端采用约定的通讯协议将人机交互指令发送至多点控制单元。

相应的，多点控制单元对来自视频会议终端的人机交互指令进行接收，并在接收到来自参会的任一视频会议终端发送的人机交互指令时，将人工智能平台运行的软视频会议终端加入到主持的视频会议中。之后，各会场的参会者即可通过各自视频会议终端与人工智能平台以语音的方式，进行人机交互，具体可参照前述实施例的相关描述，此处不再赘述。

进一步地，基于第一实施例，提出本发明视频会议数据处理方法的第三实施例，在本实施例中，处理结果包括图像处理结果，步骤S20包括：

在接收到软视频会议终端发送的传输请求时，发送远端辅流命令至软视频会议终端，以供软视频会议终端通过辅流的方式返回编码压缩后的图像处理结果，其中，软视频会议终端在人工智能平台基于用户音频信号确定用户意图并处理得到图像处理结果之后，返回传输请求至多点控制单元；

接收软视频会议终端返回的图像处理结果。

需要说明的是，本发明对人工智能平台处理用户意图得到处理结果的类型不做具体限制，包括但不限于图像处理结果、语音处理结果等。在本实施例中，以人工智能平台得到处理结果为图像处理结果进行说明。

具体的，在本实施例中，软视频会议终端在人工智能平台完成用户意图的处理，并得到处理结果之后，采集处理结果的图像，其中，采集方案可以有多种方式，包括但不限于采集获取人工智能平台最终输出显示设备的图像，或者从人工智能平台内部驱动及系统底层截屏接口获取等，对于任何人工智能平台能提供采集输出图像的接口，软视频会议终端都可以调用进行采集处理结果的图像。

在采集得到人工智能平台的图像处理结果之后，软视频会议终端发送传输请求至多点控制单元，告知多点控制单元此时可进行图像处理结果的传输。

多点控制单元在接收到软视频会议终端发送的传输请求之后，发起远端辅流命令至软视频会议终端。

软视频会议终端在接收到远端辅流命令之后，将待发送的图像处理结果进行编码压缩，将编码压缩后的图像处理结果通过辅流的方式传输至多点控制单元。其中，对于采用何种图像编码压缩方式，本发明不做具体限制，可由本领域技术人员根据实际需要进行选取。

相应的，多点控制单元接收软视频会议终端通过辅流的方式所发送的图像处理结果。在接收到图像处理结果之后，通过辅流的方式将图像处理结果传输至参会的各视频会议终端。

各会场的视频会议终端在接收到多点控制单元转发的图像处理结果之后，对其进行解码输出，会场的参会者将看到视频会议终端播放的图像处理结果。

需要说明的是，在其他实施例中，在人工智能平台得到的处理结果为语音处理结果时，软视频会议终端采集处理结果的语音，其中，采集方案可以有多种方式，包括但不限于采集获取人工智能平台最终输出显示设备的语音，或者从人工智能平台内部驱动及系统底层音频接口获取等，对于任何人工智能平台能提供采集输出语音的接口，软视频会议终端都可以调用进行采集处理结果的语音。

在采集得到人工智能平台的语音处理结果之后，软视频会议终端对语音处理结果进行编码压缩后，发送至多点控制单元。其中，对于采用何种语音编码压缩方式，本发明不做具体限制，可由本领域技术人员根据实际需要进行选取。

相应的，多点控制单元接收软视频会议终端所发送的语音处理结果，并在接收到语音处理结果之后，将接收的语音处理结果传输至参会的各视频会议终端。

各会场的视频会议终端在接收到多点控制单元转发的语音处理结果之后，对其进行解码输出，会场的参会者将听到视频会议终端播放的语音处理结果。

进一步地，本发明还提供一种视频会议数据处理装置，应用于多点控制单元，对应于前述视频会议数据处理方法的第一实施例，在本发明视频会议数据处理装置的第一实施例中，该视频会议数据处理装置包括：

转发模块，用于在接收到参会的视频会议终端所发送的用户音频信号时，将接收的用户音频信号转发至人工智能平台，其中，人工智能平台基于其运行的软视频会议终端参会；

第一接收模块，用于接收人工智能平台在基于用户音频信号确定用户意图之后，通过软视频会议终端返回的用户意图的处理结果；

转发模块还用于在接收到处理结果之后，将接收的处理结果传输至参会的各视频会议终端进行展示。

需要说明的是，为便于理解本发明方案，以下首先对本发明设计的人工智能技术进行简单介绍。

请参照图3，在本发明实施例中，人工智能平台运行有软视频会议终端，并通过其运行的软视频会议终端加入到多点控制单元主持的视频会议中。其中，可将软视频会议终端看做是人工智能平台运行的虚拟的视频会议终端，类似于PC平台的虚拟机；对于参会的实体的视频会议终端1-n，本发明对其形态不做限定，如图4所示，其可以为任何形态的视频会议终端。

当人工智能平台基于其运行的软视频会议终端加入到多点控制单元主持的视频会议之后，对于多点控制单元而言，人工智能平台运行的人视频会议终端与其他实体的视频会议终端为等同的参会者，则转发模块在接收到参会的视频会议终端所发送的用户音频信号时，除了将该用户音频信号转发至源视频会议终端之外的其他视频会议终端，还将用户音频信号转发至软视频会议终端，以将用户音频信号转发至人工智能平台，实现参会者与人工智能平台的人机交互。

软视频会议终端在接收到来自转发模块的用户音频信号之后，采用约定的编解码算法对接收的用户音频信号进行解码，得到用户音频内容。之后，将得到的用户音频内容作为人工智能平台的语音输入，提供给人工智能平台。

人工智能平台在接收到软视频会议终端解码用户音频信号之后得到的用户音频内容时，对用户音频内容进行语音识别，根据语音识别的结果得到用户意图。其中，对于采用何种语音识别技术，本发明不做具体限制，可由本领域技术人员根据实际需要进行选取。

在确定用户意图之后，人工智能平台对用户意图进行处理，得到处理结果。

例如，软视频会议终端解码后的用户音频内容为“现在几点了？”，人工智能平台接收到上述用户音频内容之后，对上述用户音频内容进行语音识别，根据语音识别的结果确定上述用户音频内容的意图为获得当前的时间，则人工智能平台将其当前的系统时间作为处理结果。

又例如，软视频会议终端解码后的用户音频内容为“播放xx报表”，人工智能平台接收到上述用户音频内容之后，对上述用户音频内容进行语音识别，根据语音识别的结果确定上述用户音频内容的意图为查看xx报表的内容，则人工智能平台获取到xx报表，将xx报表的内容作为处理结果。

人工智能平台在对用户意图进行处理，并得到处理结果之后，将得到的处理结果通过运行的软视频会议终端返回至第一接收模块。

第一接收模块对人工智能平台通过软视频会议终端返回的处理结果进行接收，并在接收到返回的处理结果之后，由转发模块将处理结果传输至参会的各视频会议终端进行展示。这样，各个会场的参会者都可以通过各自会场的视频会议终端获得人工智能平台的处理结果。

本发明提出的视频会议数据处理装置，通过在人工智能平台上运行软视频会议终端，使得人工智能平台通过运行的软视频会议终端加入到由多点控制单元主持的视频会议中，这样，各个会场的参会者可通过视频会议终端以语音的方式直接与人工智能平台进行交互。在人工智能平台确定用户意图并得到相应的处理结果之后，可通过其运行的软视频会议终端将处理结果传输至多点控制单元，进而由多点控制单元将处理结果转发至参会的各视频会议终端。通过这种方式，使得运行软视频会议终端的人工智能平台成为会议秘书的角色，丰富了视频会议系统的业务功能。

进一步地，为提升人机交互的灵活性，基于第一实施例，提出本发明视频会议数据处理装置的第二实施例，对应于前述视频会议数据处理方法的第二实施例，在本实施例中，视频会议数据处理装置还包括：

控制模块，用于接收任意视频会议终端发送的人机交互指令，并在接收到人机交互指令时，将软视频会议终端加入主持的视频会议。

需要说明的是，与前述第一实施例的区别在于，本实施例中多点控制单元在视频会议过程中，在且仅在参会者需要与人工智能平台进行交互时，将人工智能平台运行的软视频会议终端加入到主持的视频会议中。

具体的，在本发明实施例中，当会场的参会者需要与人工智能平台进行交互时，可以通过遥控器按键或者直接说出预定义语音内容，由该会场的视频会议终端识别后转换成人机交互指令。需要说明的是，本领域技术人员也可根据实际需要选取其他触发视频会议终端产生人机交互指令的方式，本发明不做具体限制。

在产生人机交互指令之后，视频会议终端采用约定的通讯协议将人机交互指令发送至多点控制单元。

相应的，第一接收模块基于多点控制单元对来自视频会议终端的人机交互指令进行接收，并在接收到来自参会的任一视频会议终端发送的人机交互指令时，将接收到人机交互指令传输至控制模块，由控制模块将人工智能平台运行的软视频会议终端加入到主持的视频会议中。之后，各会场的参会者即可通过各自视频会议终端与人工智能平台以语音的方式，进行人机交互，具体可参照前述实施例的相关描述，此处不再赘述。

进一步地，基于第一实施例，提出本发明视频会议数据处理装置的第三实施例，对应于前述视频会议数据处理方法的第三实施例，在本实施例中，处理结果包括图像处理结果，第一接收模块还用于在接收到软视频会议终端发送的传输请求时，发送远端辅流命令至软视频会议终端，以供软视频会议终端通过辅流的方式返回编码压缩后的图像处理结果，其中，软视频会议终端在人工智能平台基于用户音频信号确定用户意图并处理得到图像处理结果之后，返回传输请求至多点控制单元；还用于接收软视频会议终端返回的图像处理结果。

需要说明的是，本发明对人工智能平台处理用户意图得到处理结果的类型不做具体限制，包括但不限于图像处理结果、语音处理结果等。在本实施例中，以人工智能平台得到处理结果为图像处理结果进行说明。

具体的，在本实施例中，软视频会议终端在人工智能平台完成用户意图的处理，并得到处理结果之后，采集处理结果的图像，其中，采集方案可以有多种方式，包括但不限于采集获取人工智能平台最终输出显示设备的图像，或者从人工智能平台内部驱动及系统底层截屏接口获取等，对于任何人工智能平台能提供采集输出图像的接口，软视频会议终端都可以调用进行采集处理结果的图像。

在采集得到人工智能平台的图像处理结果之后，软视频会议终端发送传输请求至多点控制单元，告知多点控制单元此时可进行图像处理结果的传输。

第一接收模块在基于多点控制单元接收到软视频会议终端发送的传输请求之后，发起远端辅流命令至软视频会议终端。

软视频会议终端在接收到远端辅流命令之后，将待发送的图像处理结果进行编码压缩，将编码压缩后的图像处理结果通过辅流的方式传输至多点控制单元。其中，对于采用何种图像编码压缩方式，本发明不做具体限制，可由本领域技术人员根据实际需要进行选取。

相应的，第一接收模块通过多点控制单元接收软视频会议终端通过辅流的方式所发送的图像处理结果。在接收到图像处理结果之后，由转发模块通过辅流的方式将图像处理结果传输至参会的各视频会议终端。

各会场的视频会议终端在接收到转发模块转发的图像处理结果之后，对其进行解码输出，会场的参会者将看到视频会议终端播放的图像处理结果。

需要说明的是，在其他实施例中，在人工智能平台得到的处理结果为语音处理结果时，软视频会议终端采集处理结果的语音，其中，采集方案可以有多种方式，包括但不限于采集获取人工智能平台最终输出显示设备的语音，或者从人工智能平台内部驱动及系统底层音频接口获取等，对于任何人工智能平台能提供采集输出语音的接口，软视频会议终端都可以调用进行采集处理结果的语音。

在采集得到人工智能平台的语音处理结果之后，软视频会议终端对语音处理结果进行编码压缩后，发送至多点控制单元。其中，对于采用何种语音编码压缩方式，本发明不做具体限制，可由本领域技术人员根据实际需要进行选取。

相应的，第一接收模块通过多点控制单元接收软视频会议终端所发送的语音处理结果，并在接收到语音处理结果之后，由转发模块将接收的语音处理结果传输至参会的各视频会议终端。

各会场的视频会议终端在接收到转发模块转发的语音处理结果之后，对其进行解码输出，会场的参会者将听到视频会议终端播放的语音处理结果。

进一步地，本发明还提供一种计算机可读存储介质，在一实施例中，该计算机可读存储介质上存储有视频会议数据处理程序，该视频会议数据处理程序被处理器1001执行时实现如下操作：

在接收到参会的视频会议终端所发送的用户音频信号时，将接收的用户音频信号转发至人工智能平台，其中，人工智能平台基于其运行的软视频会议终端参会；

接收人工智能平台在基于用户音频信号确定用户意图之后，通过软视频会议终端返回的用户意图的处理结果；

在接收到处理结果之后，将接收的处理结果传输至参会的各视频会议终端进行展示。

进一步地，前述视频会议数据处理程序被处理器1001执行时，还实现如下操作：

接收任意参会的视频会议终端发送的人机交互指令，并在接收到人机交互指令时，将人工智能平台运行的软视频会议终端加入主持的视频会议。

进一步地，前述视频会议数据处理程序被处理器1001执行时，还实现如下操作：

在接收到软视频会议终端发送的传输请求时，发送远端辅流命令至软视频会议终端，以供软视频会议终端通过辅流的方式返回编码压缩后的图像处理结果，其中，软视频会议终端在人工智能平台基于用户音频信号确定用户意图并处理得到图像处理结果之后，返回传输请求至多点控制单元；

接收软视频会议终端返回的图像处理结果。

进一步地，如图5所示，图5是本发明实施例方案涉及的硬件运行环境的人工智能平台的结构示意图。

如图5所示，该人工智能平台可以包括：处理器2001，例如CPU，网络接口2004，用户接口2003，存储器2005，通信总线2002。其中，通信总线2002用于实现这些组件之间的连接通信。用户接口2003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口2003还可以包括标准的有线接口、无线接口等。网络接口2004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器2005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器2005可选的还可以是独立于前述处理器2001的存储装置。

本领域技术人员可以理解，图5中示出的人工智能平台的结构并不构成对人工智能平台的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图5所示，在本发明人工智能平台的一实施例中，作为一种计算机存储介质的存储器2005中可以包括操作系统、网络通信模块、用户接口模块以及视频会议数据处理程序、软视频会议终端程序。

在图5所示的人工智能平台中，网络接口2004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口2003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器2001可以用于调用存储器2005中存储的视频会议数据处理程序，并执行以下操作：

通过软视频会议终端接收多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

根据用户音频信号，确定用户意图；

对确定的用户意图进行处理，将处理结果通过软视频会议终端传输至多点控制单元，以供多点控制单元将处理结果转发至参会的各视频会议终端进行展示。

进一步地，处理器2001可以用于调用存储器2005中存储的视频会议数据处理程序，还执行以下操作：

通过软视频会议终端对用户音频信号进行解码，得到对应的用户音频内容；

对用户音频内容进行语音识别，根据语音识别的结果得到用户意图。

进一步地，处理器2001可以用于调用存储器2005中存储的视频会议数据处理程序，还执行以下操作：

在用户意图为查询信息时，通过互联网搜索用户待查询的信息，并将搜索结果作为用户意图的处理结果。

进一步地，本发明还提供一种视频会议数据处理方法，应用于人工智能平台，参照图6，在本发明视频会议数据处理方法的第四实施例中，该视频会议数据处理方法包括：

步骤S210，通过软视频会议终端接收多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

步骤S220，根据用户音频信号，确定用户意图；

步骤S230，对确定的用户意图进行处理，将处理结果通过软视频会议终端传输至多点控制单元，以供多点控制单元将处理结果转发至参会的各视频会议终端进行展示。

请参照图3，在本发明实施例中，人工智能平台运行有软视频会议终端，并通过其运行的软视频会议终端加入到多点控制单元主持的视频会议中。其中，可将软视频会议终端看做是人工智能平台运行的虚拟的视频会议终端，类似于PC平台的虚拟机；对于参会的实体的视频会议终端1-n，本发明对其形态不做限定，如图4所示，其可以为任何形态的视频会议终端。

当人工智能平台基于其运行的软视频会议终端加入到多点控制单元主持的视频会议之后，对于多点控制单元而言，人工智能平台运行的人视频会议终端与其他实体的视频会议终端为等同的参会者，则多点控制单元在接收到参会的视频会议终端所发送的用户音频信号时，除了将该用户音频信号转发至源视频会议终端之外的其他视频会议终端，还将用户音频信号转发至软视频会议终端，以将用户音频信号转发至人工智能平台，实现参会者与人工智能平台的人机交互。

软视频会议终端在接收到来自多点控制单元的用户音频信号之后，采用约定的编解码算法对接收的用户音频信号进行解码，得到用户音频内容。之后，将得到的用户音频内容作为人工智能平台的语音输入，提供给人工智能平台。

人工智能平台在接收到软视频会议终端解码用户音频信号之后得到的用户音频内容时，对用户音频内容进行语音识别，根据语音识别的结果得到用户意图。其中，对于采用何种语音识别技术，本发明不做具体限制，可由本领域技术人员根据实际需要进行选取。

在确定用户意图之后，人工智能平台对用户意图进行处理，得到处理结果。

例如，软视频会议终端解码后的用户音频内容为“现在几点了？”，人工智能平台接收到上述用户音频内容之后，对上述用户音频内容进行语音识别，根据语音识别的结果确定上述用户音频内容的意图为获得当前的时间，则人工智能平台将其当前的系统时间作为处理结果。

又例如，软视频会议终端解码后的用户音频内容为“播放xx报表”，人工智能平台接收到上述用户音频内容之后，对上述用户音频内容进行语音识别，根据语音识别的结果确定上述用户音频内容的意图为查看xx报表的内容，则人工智能平台获取到xx报表，将xx报表的内容作为处理结果。

人工智能平台在对用户意图进行处理，并得到处理结果之后，将得到的处理结果通过运行的软视频会议终端返回至多点控制单元。

多点控制单元对人工智能平台通过软视频会议终端返回的处理结果进行接收，并在接收到返回的处理结果之后，将处理结果传输至参会的各视频会议终端进行展示。这样，各个会场的参会者都可以通过各自会场的视频会议终端获得人工智能平台的处理结果。

本发明提出的视频会议数据处理方法，通过在人工智能平台上运行软视频会议终端，使得人工智能平台通过运行的软视频会议终端加入到由多点控制单元主持的视频会议中，这样，各个会场的参会者可通过视频会议终端以语音的方式直接与人工智能平台进行交互。在人工智能平台确定用户意图并得到相应的处理结果之后，可通过其运行的软视频会议终端将处理结果传输至多点控制单元，进而由多点控制单元将处理结果转发至参会的各视频会议终端。通过这种方式，使得运行软视频会议终端的人工智能平台成为会议秘书的角色，丰富了视频会议系统的业务功能。

进一步地，基于第四实施例，提出本发明视频会议数据处理方法的第五实施例，在本实施例中，在用户意图为查询信息时，前述对确定的用户意图进行处理包括：

通过互联网搜索用户待查询的信息，并将搜索结果作为用户意图的处理结果。

需要说明的是，在实际应用中，确定的用户意图可以为多种类型，包括但不限于问问题、查询信息以及播放文件等。本实施例以确定的用户意图为查询信息进行说明。

具体的，在本实施例中，在确定的用户意图为查询信息时，人工智能平台则可通过互联网搜索用户待查询的信息，并将搜索结果作为用户意图的处理结果。

例如，软视频会议终端解码后的用户音频内容为“明天天气怎么样”，人工智能平台接收到上述用户音频内容之后，对上述用户音频内容进行语音识别，根据语音识别的结果确定上述用户音频内容的意图为查询天气信息，则通过互联网以“天气预报”为关键字进行搜索，将搜索结果中对应用户待查询时间“明天”的天气情况作为处理结果。

进一步地，本发明还提供一种视频会议数据处理装置，应用于人工智能平台，对应于前述视频会议数据处理方法的第四实施例，在本实施例中，该视频会议数据处理装置包括：

第二接收模块，用于通过软视频会议终端接收多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

确定模块，用于根据用户音频信号，确定用户意图；

处理模块，用于对确定的用户意图进行处理，将处理结果通过软视频会议终端传输至多点控制单元，以供多点控制单元将处理结果转发至参会的各视频会议终端进行展示。

请参照图3，在本发明实施例中，人工智能平台运行有软视频会议终端，并通过其运行的软视频会议终端加入到多点控制单元主持的视频会议中。其中，可将软视频会议终端看做是人工智能平台运行的虚拟的视频会议终端，类似于PC平台的虚拟机；对于参会的实体的视频会议终端1-n，本发明对其形态不做限定，如图4所示，其可以为任何形态的视频会议终端。

当人工智能平台基于其运行的软视频会议终端加入到多点控制单元主持的视频会议之后，对于多点控制单元而言，人工智能平台运行的人视频会议终端与其他实体的视频会议终端为等同的参会者，则多点控制单元在接收到参会的视频会议终端所发送的用户音频信号时，除了将该用户音频信号转发至源视频会议终端之外的其他视频会议终端，还将用户音频信号转发至软视频会议终端，以将用户音频信号转发至人工智能平台，实现参会者与人工智能平台的人机交互。

软视频会议终端在接收到来自多点控制单元的用户音频信号之后，采用约定的编解码算法对接收的用户音频信号进行解码，得到用户音频内容。之后，将得到的用户音频内容作为人工智能平台的语音输入，提供给人工智能平台。

接收模块通过人工智能平台接收到软视频会议终端解码用户音频信号之后得到的用户音频内容时，将用户音频内容传输至确定模块，由确定模块对用户音频内容进行语音识别，根据语音识别的结果得到用户意图。其中，对于采用何种语音识别技术，本发明不做具体限制，可由本领域技术人员根据实际需要进行选取。

确定模块在确定用户意图之后，将确定的用户意图传输至处理模块，由处理模块对用户意图进行处理，得到处理结果。

例如，软视频会议终端解码后的用户音频内容为“现在几点了？”，人工智能平台接收到上述用户音频内容之后，通过确定模块对上述用户音频内容进行语音识别，并根据语音识别的结果确定上述用户音频内容的意图为获得当前的时间，则处理模块将人工智能平台当前的系统时间作为处理结果。

又例如，软视频会议终端解码后的用户音频内容为“播放xx报表”，人工智能平台接收到上述用户音频内容之后，通过确定模块对上述用户音频内容进行语音识别，并根据语音识别的结果确定上述用户音频内容的意图为查看xx报表的内容，则处理模块获取到xx报表，将xx报表的内容作为处理结果。

处理模块在对用户意图进行处理，并得到处理结果之后，将得到的处理结果通过运行的软视频会议终端返回至多点控制单元。

多点控制单元对处理模块通过软视频会议终端返回的处理结果进行接收，并在接收到返回的处理结果之后，将处理结果传输至参会的各视频会议终端进行展示。这样，各个会场的参会者都可以通过各自会场的视频会议终端获得人工智能平台的处理结果。

本发明提出的视频会议数据处理装置，通过在人工智能平台上运行软视频会议终端，使得人工智能平台通过运行的软视频会议终端加入到由多点控制单元主持的视频会议中，这样，各个会场的参会者可通过视频会议终端以语音的方式直接与人工智能平台进行交互。在人工智能平台确定用户意图并得到相应的处理结果之后，可通过其运行的软视频会议终端将处理结果传输至多点控制单元，进而由多点控制单元将处理结果转发至参会的各视频会议终端。通过这种方式，使得运行软视频会议终端的人工智能平台成为会议秘书的角色，丰富了视频会议系统的业务功能。

进一步地，基于第四实施例，提出本发明视频会议数据处理装置的第五实施例，对应于前述视频会议数据处理方法的第五实施例，在本实施例中，在用户意图为查询信息时，处理模块还用于通过互联网搜索用户待查询的信息，并将搜索结果作为用户意图的处理结果。

需要说明的是，在实际应用中，确定的用户意图可以为多种类型，包括但不限于问问题、查询信息以及播放文件等。本实施例以确定的用户意图为查询信息进行说明。

具体的，在本实施例中，在确定模块确定的用户意图为查询信息时，处理模块则可通过互联网搜索用户待查询的信息，并将搜索结果作为用户意图的处理结果。

例如，软视频会议终端解码后的用户音频内容为“明天天气怎么样”，人工智能平台接收到上述用户音频内容之后，通过确定模块对上述用户音频内容进行语音识别，并根据语音识别的结果确定上述用户音频内容的意图为查询天气信息，则处理模块通过互联网以“天气预报”为关键字进行搜索，将搜索结果中对应用户待查询时间“明天”的天气情况作为处理结果。

进一步地，本发明还提供一种计算机可读存储介质，在一实施例中，该计算机可读存储介质上存储有视频会议数据处理程序，该视频会议数据处理程序被处理器2001执行时实现如下操作：

通过软视频会议终端接收多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

根据用户音频信号，确定用户意图；

对确定的用户意图进行处理，将处理结果通过软视频会议终端传输至多点控制单元，以供多点控制单元将处理结果转发至参会的各视频会议终端进行展示。

进一步地，前述视频会议数据处理程序被处理器2001执行时，还实现如下操作：

通过软视频会议终端对用户音频信号进行解码，得到对应的用户音频内容；

对用户音频内容进行语音识别，根据语音识别的结果得到用户意图。

进一步地，前述视频会议数据处理程序被处理器2001执行时，还实现如下操作：

在用户意图为查询信息时，通过互联网搜索用户待查询的信息，并将搜索结果作为用户意图的处理结果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台多点控制单元/人工智能平台执行本发明对应实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种视频会议数据处理方法，其特征在于，所述视频会议数据处理方法包括以下步骤：

多点控制单元在接收到参会的视频会议终端所发送的用户音频信号时，将所述用户音频信号转发至人工智能平台，其中，所述人工智能平台基于其运行的软视频会议终端参会；

接收所述人工智能平台在基于所述用户音频信号确定用户意图之后，通过所述软视频会议终端返回的所述用户意图的处理结果；

在接收到所述处理结果之后，将所述处理结果传输至参会的各视频会议终端进行展示。

2.根据权利要求1所述的视频会议数据处理方法，其特征在于，所述在接收到参会的视频会议终端所发送的用户音频信号时，将所述用户音频信号转发至人工智能平台的步骤之前，还包括以下步骤：

接收任意所述视频会议终端发送的人机交互指令，并在接收到所述人机交互指令时，将所述软视频会议终端加入主持的视频会议。

3.根据权利要求1所述的视频会议数据处理方法，其特征在于，所述处理结果包括图像处理结果，所述接收所述人工智能平台在基于所述用户音频信号确定用户意图之后，通过所述软视频会议终端返回的所述用户意图的处理结果包括：

在接收到所述软视频会议终端发送的传输请求时，发送远端辅流命令至所述软视频会议终端，以供所述软视频会议终端通过辅流的方式返回编码压缩后的图像处理结果，其中，所述软视频会议终端在人工智能平台基于所述用户音频信号确定用户意图并处理得到图像处理结果之后，返回传输请求至多点控制单元；

接收所述软视频会议终端返回的所述图像处理结果。

4.一种多点控制单元，其特征在于，该多点控制单元包括：

存储有视频会议数据处理程序的存储器；

处理器，配置为执行所述视频会议数据处理程序以实现以下步骤:

在接收到参会的视频会议终端所发送的用户音频信号时，将所述用户音频信号转发至人工智能平台，其中，所述人工智能平台基于其运行的软视频会议终端参会；

接收所述人工智能平台在基于所述用户音频信号确定用户意图之后，通过所述软视频会议终端返回的所述用户意图的处理结果；

在接收到所述处理结果之后，将所述处理结果传输至参会的各视频会议终端进行展示。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频会议数据处理程序，所述视频会议数据处理程序被处理器执行时实现以下步骤：

在接收到参会的视频会议终端所发送的用户音频信号时，将所述用户音频信号转发至人工智能平台，其中，所述人工智能平台基于其运行的软视频会议终端参会；

接收所述人工智能平台在基于所述用户音频信号确定用户意图之后，通过所述软视频会议终端返回的所述用户意图的处理结果；

在接收到所述处理结果之后，将所述处理结果传输至参会的各视频会议终端进行展示。

6.一种视频会议数据处理方法，其特征在于，人工智能平台基于其运行的软视频会议终端参与多点控制单元主持的视频会议，所述视频会议数据处理方法包括以下步骤：

人工智能平台通过所述软视频会议终端接收所述多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

根据所述用户音频信号，确定用户意图；

对确定的用户意图进行处理，将处理结果通过所述软视频会议终端传输至所述多点控制单元，以供所述多点控制单元将所述处理结果转发至参会的各视频会议终端进行展示。

7.根据权利要求6所述的视频会议数据处理方法，其特征在于，所述根据所述用户音频信号，确定用户意图的步骤包括：

通过所述软视频会议终端对所述用户音频信号进行解码，得到对应的用户音频内容；

对所述用户音频内容进行语音识别，根据语音识别的结果得到用户意图。

8.根据权利要求6所述的视频会议数据处理方法，其特征在于，所述对确定的用户意图进行处理包括：

在用户意图为查询信息时，通过互联网搜索用户待查询的信息，并将搜索结果作为用户意图的处理结果。

9.一种人工智能平台，其特征在于，所述人工智能平台包括：

存储有视频会议数据处理程序的存储器；

处理器，配置为执行所述视频会议数据处理程序以实现以下步骤:

通过运行的软视频会议终端接收所述多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

根据所述用户音频信号，确定用户意图；

对确定的用户意图进行处理，将处理结果通过所述软视频会议终端传输至所述多点控制单元，以供所述多点控制单元将所述处理结果转发至参会的各视频会议终端进行展示。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频会议数据处理程序，所述视频会议数据处理程序被处理器执行时实现以下步骤：

通过运行的软视频会议终端接收所述多点控制单元转发的，由参会的视频会议终端所发送的用户音频信号；

根据所述用户音频信号，确定用户意图；

对确定的用户意图进行处理，将处理结果通过所述软视频会议终端传输至所述多点控制单元，以供所述多点控制单元将所述处理结果转发至参会的各视频会议终端进行展示。