CN105991964A - 一种播报多媒体会议中动态信息的方法及装置 - Google Patents

Abstract

本发明提供一种播报多媒体会议中动态信息的方法及装置。所述方法，包括：获取多媒体会议中用户动态操作事件以及所述用户动态操作事件对应的操作者的标识信息；获取所述用户动态操作事件中包含的文字信息，并根据所述文字信息和标识信息生成推送消息；将所述推送消息发送给加入到所述多媒体会议中的至少部分会议终端，由所述至少部分会议终端显示所述推送信息。上述方案，通过将多媒体会议中参会人员进行的动态事件操作以文字信息的方式显示给所有与会人员，使得用户终端可以及时了解多媒体会议中发生的动态信息，此种方式，提高了用户对多媒体会议的满意度，同时提高了多媒体会议的质量。

Description

一种播报多媒体会议中动态信息的方法及装置

技术领域

本发明涉及多媒体通信技术领域，特别涉及一种播报多媒体会议中动态信息的方法及装置。

背景技术

随着IP网络及多媒体技术的发展，视频会议系统在现代企业中得到了广泛应用。视频会议系统是指，利用电视设备及视频会议终端，通过MCU(MultipointControl Unit，多点控制单元，也叫多点会议控制器，是视频会议系统中心控制设备的简称，是多点视频会议系统的关键设备)将分布各地的多个用户终端召集到同一个会议中，通过视音频及数据的传送，与会人员就相关议题进行讨论，达到现场互动和沟通的目的。

语音识别技术是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高端技术。该项技术已在视频会议领域中有一些应用。例如，MCU作为媒体处理服务器需要接收来自用户终端发送的音频媒体码流，经过语音识别模块处理后得到的文本，用于会议纪要分析等。

在传统的视频会议系统应用中，会议管理系统、媒体处理服务器(MCU)和终端可能分散各地，由会议管理专员操作和控制会议，其他与会成员除了观看到图像和听到声音外，对会议中正在发生的事件(如有人退出会议室，有人加入会议室，有人正在发言，发言内容是什么，有人执行了广播操作)一无所知，也不能对历史事件进行回溯。虽然，主席端有某些会控操作权限，但是这些权限十分有限，尤其对会议整体信息把握不足，大部分信息获取都需求助于会议管理员。这样，主席端就无法迅速对会议做出响应。

发明内容

本发明要解决的技术问题是提供一种播报多媒体会议中动态信息的方法及装置，用以解决在召开多媒体会议时，参加会议的其它成员除了能看到图像和听到声音外，对会议中发生的事件一无所知，影响多媒体会议质量的问题。

为了解决上述技术问题，本发明实施例提供一种播报多媒体会议中动态信息的方法，包括：

获取多媒体会议中用户动态操作事件以及所述用户动态操作事件对应的操作者的标识信息；

获取所述用户动态操作事件中包含的文字信息，并根据所述文字信息和标识信息生成推送消息；

将所述推送消息发送给加入到所述多媒体会议中的至少部分会议终端，由所述至少部分会议终端显示所述推送信息。

进一步地，所述用户动态操作事件为用户发言事件，所述获取所述用户动态操作事件中包含的文字信息，并根据所述文字信息和标识信息生成推送消息的步骤包括：

获取所述用户发言事件中发言者的语音信息；

获取所述语音信息转换成的发言内容，并将所述发言内容与发言者的标识信息建立关联关系，生成第一显示信息。

进一步地，所述获取所述语音信息转换成的发言内容，并将所述发言内容与发言者的标识信息建立关联关系，生成第一显示信息的步骤包括：

获取所述语音信息的音频码流对应的发言内容；

将所述发言内容与所述发言者的标识信息进行关联，生成具有预设格式的第一显示信息；其中，

所述预设格式的第一显示信息至少包括：发言者的标识信息和发言者的发言内容。

进一步地，所述用户动态操作事件为会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件，所述获取所述用户动态操作事件中包含的文字信息，并根据所述标识信息形成推送消息的步骤包括：

获取所述会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件对应的事件文字描述信息，生成预设格式的第二显示信息；其中，

所述第二显示信息至少包括：事件对应的操作者的标识信息和对应的事件文字描述信息。

进一步地，所述方法，还包括：

根据加入多媒体会议中的会议终端信息，生成会议播报终端列表。

进一步地，所述将所述推送消息发送给加入到所述多媒体会议中的至少部分会议终端，由所述至少部分会议终端显示所述推送信息的步骤包括：

将所述推送信息发送给所述会议播报终端列表中的第一会议终端，由所述第一会议终端显示所述推送信息；其中，

所述第一会议终端中不包含所述用户动态操作事件的操作者对应的会议终端。

本发明实施例提供一种播报多媒体会议中动态信息的装置，包括：

第一获取模块，用于获取多媒体会议中用户动态操作事件以及所述用户动态操作事件对应的操作者的标识信息；

第二获取模块，用于获取所述用户动态操作事件中包含的文字信息，并根据所述文字信息和标识信息生成推送消息；

发送模块，用于将所述推送消息发送给加入到所述多媒体会议中的至少部分会议终端，由所述至少部分会议终端显示所述推送信息。

进一步地，所述用户动态操作事件为用户发言事件，所述第二获取模块包括：

第一获取子模块，用于获取所述用户发言事件中发言者的语音信息；

第一生成子模块，用于获取所述语音信息转换成的发言内容，并将所述发言内容与发言者的标识信息建立关联关系，生成第一显示信息。

进一步地，所述第一生成子模块包括：

获取单元，用于获取所述语音信息的音频码流对应的发言内容；

生成单元，用于将所述发言内容与所述发言者的标识信息进行关联，生成具有预设格式的第一显示信息；其中，

所述预设格式的第一显示信息至少包括：发言者的标识信息和发言者的发言内容。

进一步地，所述用户动态操作事件为会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件，所述第二获取模块还包括：

第二生成子模块，用于获取所述会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件对应的事件文字描述信息，生成预设格式的第二显示信息；其中，

所述第二显示信息至少包括：事件对应的操作者的标识信息和对应的事件文字描述信息。

进一步地，所述装置，还包括：

生成模块，用于根据加入多媒体会议中的会议终端信息，生成会议播报终端列表。

本发明实施例提供一种多点会议控制器，包括上述的播报多媒体会议中动态信息的装置。

本发明的有益效果是：

上述方案，通过将多媒体会议中参会人员进行的动态操作事件以文字信息的方式显示给所有与会人员，使得用户终端可以及时了解多媒体会议中发生的动态信息，此种方式，提高了用户对多媒体会议的满意度，同时提高了多媒体会议的质量。

附图说明

图1表示本发明实施例的所述播报多媒体会议中动态信息的方法的总体流程示意图；

图2表示本发明实施例的所述播报多媒体会议中动态信息的装置的模块示意图；

图3表示本发明实施例的所述方法的详细流程示意图；

图4表示本发明实施例的终端发言时的流程示意图；

图5表示本发明实施例的终端操作时的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

本发明针对现有的在召开多媒体会议时，参加会议的其它成员除了能看到图像和听到声音外，对会议中发生的事件一无所知，影响多媒体会议质量的问题，如图1所示，本发明实施例提供一种播报多媒体会议中动态信息的方法，包括：

步骤10，获取多媒体会议中用户动态操作事件以及所述用户动态操作事件对应的操作者的标识信息；

步骤20，获取所述用户动态操作事件中包含的文字信息，并根据所述文字信息和标识信息生成推送消息；

步骤30，将所述推送消息发送给加入到所述多媒体会议中的至少部分会议终端，由所述至少部分会议终端显示所述推送信息。

上述方案，通过将多媒体会议中参会人员进行的动态操作事件以文字信息的方式显示给所有与会人员，使得用户终端可以及时了解多媒体会议中发生的动态信息，此种方式，提高了用户对多媒体会议的满意度，同时提高了多媒体会议的质量。

本发明中，主要以在进行视频会议时，用户终端可以显示与会人员的动态信息，例如：与会人员的发言内容、与会人员进入/离开会议室、与会人员的操作(广播、一键点名/发言)，这样，各个与会者能够即时及准确地掌握会议系统中发生的动态事件并做出正确响应，达到更好的互动及沟通交流效果。

应当说明的是，只有在创建视频会议时，为所述视频会议配置动态信息播报功能，在进行视频会议时，与会终端才会播报动态信息，同样只有具有播报权限的终端才可以播报所述动态信息。

本发明中的一个重要的便利之处在于，利用现有的语音识别技术将发言者说话内容以文本形式显示，使用户能够准确清晰理解发言者说话内容，避免因为各种外界或人为因素导致无法听清发言人说话内容的尴尬，为了达到上述目的，通过MCU与用户终端配合实现所述视频会议的顺利召开，其中，每个用户终端都配备有一麦克，用来采集用户输入的语音信息，本发明另一实施例中，所述用户动态操作事件为用户发言事件时，所述步骤20包括：

步骤21，获取所述用户发言事件中发言者的语音信息；

步骤22，获取所述语音信息转换成的发言内容，并将所述发言内容与发言者的标识信息建立关联关系，生成第一显示信息。

可选地，所述步骤22的一种实现方式为：获取所述语音信息的音频码流对应的发言内容；

将所述发言内容与所述发言者的标识信息进行关联，生成具有预设格式的第一显示信息；其中，

所述预设格式的第一显示信息至少包括：发言者的标识信息和发言者的发言内容。

应当说明的是，所述步骤22主要实现的是将发言者的语音信息转换为文本形式的发言内容，在进行转换时，首先要实现的是，获取语音信息中的文本信息，应当说明的是，所述文本信息的获取可以通过语音处理装置或语音识别系统实现，应当说明的是，现有技术中将语音信息转换成文本信息已为较成熟的技术，在此不再进行展开说明；再得到所述文本格式的发言内容后，将发言内容与发言者的标识信息进行关联，即最终实现的是诸如：发言内容1对应的发言人为A，发言内容2对应的发言人为B的形式。

应当说明的是，通过在召开多媒体会议时，在会议接听端以字幕形式显示播放发言者的说话内容，此种方式，避免了与会用户因外界环境与自身原因而造成错过重要发言人说话内容的问题，提高了用户对多媒体会议的满意度，同时提高了多媒体会议的质量。

本发明中还可以实现与会人员及时了解是否有与会人员离开或进入到视频会议，还可以了解与会管理者的会议控制操作，本发明又一实施例中，所述用户动态操作事件为会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件(例如：广播事件、轮询事件、一键发言事件、一键点名事件、一键选看事件等)，所述步骤20包括：

步骤23，获取所述会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件对应的事件文字描述信息，生成预设格式的第二显示信息；其中，

所述第二显示信息至少包括：事件对应的操作者的标识信息和对应的事件文字描述信息。

例如：当会议进行过程中，有用户终端如主席执行了广播、轮询、一键发言、一键点名、一键选看等操作时，MCU生成该事件对应的文字描述，诸如“用户终端***在19时30分进行了广播操作”，将该信息转换成文本信息后推送到有播报权限的终端设备。

为了方便与会终端的管理，本发明又一实施例中，所述方法，还包括：

根据加入多媒体会议中的会议终端信息，生成会议播报终端列表。

应当说明的是，所述会议终端播报列表中的所有会议终端均具备动态信息播报权限。

可选地，为了节省网络传输中信道的开销，在进行视频会议过程中，所述动态操作事件的执行者所对应的会议终端应不显示自己的操作信息，因此本发明又一实施例中，所述步骤30具体为：

将所述推送信息发送给所述会议播报终端列表中的第一会议终端，由所述第一会议终端显示所述推送信息；其中，

所述第一会议终端中不包含所述用户动态操作事件的操作者对应的会议终端。

通过仅将动态信息传递给除用户动态操作事件的操作者对应的会议终端以外的其它与会者的终端，节省了在信息传递时端口的开销，同时节省了链路资源。

本发明以上方案，解决了用户终端加入会议后观看会议中其他用户发言内容的问题，避免错过重要发言人说话内容的尴尬；同时本方案，便于与会成员掌握会议即时动态信息，迅速做出响应。

对应于上述方法，如图2所示，本发明实施例提供一种播报多媒体会议中动态信息的装置，包括：

第一获取模块100，用于获取多媒体会议中用户动态操作事件以及所述用户动态操作事件对应的操作者的标识信息；

第二获取模块200，用于获取所述用户动态操作事件中包含的文字信息，并根据所述文字信息和标识信息生成推送消息；

发送模块300，用于将所述推送消息发送给加入到所述多媒体会议中的至少部分会议终端，由所述至少部分会议终端显示所述推送信息。

可选地，所述用户动态操作事件为用户发言事件，所述第二获取模块200包括：

第一获取子模块，用于获取所述用户发言事件中发言者的语音信息；

第一生成子模块，用于获取所述语音信息转换成的发言内容，并将所述发言内容与发言者的标识信息建立关联关系，生成第一显示信息。

具体地，所述第一生成子模块包括：

获取单元，用于获取所述语音信息的音频码流对应的发言内容；

生成单元，用于将所述发言内容与所述发言者的标识信息进行关联，生成具有预设格式的第一显示信息；其中，

所述预设格式的第一显示信息至少包括：发言者的标识信息和发言者的发言内容。

可选地，所述用户动态操作事件为会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件，所述第二获取模块200还包括：

第二生成子模块，用于获取所述会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件对应的事件文字描述信息，生成预设格式的第二显示信息；其中，

所述第二显示信息至少包括：事件对应的操作者的标识信息和对应的事件文字描述信息。

可选地，所述装置，还包括：生成模块，用于根据加入多媒体会议中的会议终端信息，生成会议播报终端列表。

需要说明的是，该装置实施例是与上述方法相对应的装置，上述方法的所有实现方式均适用于该装置实施例中，也能达到与上述方法相同的技术效果。

本发明实施例还提供一种多点会议控制器，包括上述的播报多媒体会议中动态信息的装置。

结合以上实施例可以看出，本发明主要通过MCU、用户终端和语音识别系统实现动态信息显示的功能，其中，所述MCU主要包括视频会议业务管理系统及媒体处理系统，在本发明中还完成一项重要工作就是将语音识别系统处理得到的文本发送到用户终端，将会议进行过程中各种动态信息(有用户终端离开/加入视频会议，用户终端的操作等)加工处理后发送到用户终端；用户终端，用于和MCU进行实时双向的视音频及数据交互，并接受MCU推送的各种动态信息，叠加显示在自身输出接口上，同时，所述用户终端还可以实现对动态信息的存储，方便与会人员回溯发言人之前的说话内容，以便全面掌握会议内容；语音识别系统，主要是分析从MCU处获得的音频码流，得到对应的声音文件，然后通过与标准库比较，根据语音识别出内容并转换成文本格式，该语音识别系统可以是内嵌在MCU中的模块或者作为独立运行的系统。

如图3所示，本发明的总体流程为：

步骤S101，会议管理员在MCU上创建视频会议，用户终端与MCU会议管理系统在进行信令交互之后，加入视频会议，与MCU互通媒体；

步骤S102，会议管理系统判断该视频会议是否启用会议动态信息播报功能，若否，则不做处理；若是则申请会议动态信息播报时需要的资源，转步骤S103；

步骤S103，判断加入会议的终端是否具有播报权限，若否转步骤S105，若是转步骤S104，应当说明的是，此处的播报权限，实际应用中可以添加终端配置来实现或者终端自带鉴权密码来实现，例如：用户终端加入会议时携带启用播报功能的鉴权信息，在此时需校验鉴权信息是否正确；

步骤S104：将终端加入到播报终端列表中，该播报终端列表记录了所有有播报权限的终端；

步骤S105：会议管理系统判断是否有事件发生，若无转步骤S108，若有转步骤S106，此处的事件包括有终端加入/离开会议室，有终端发言，有终端进行会控操作(如广播发言等)；

步骤S106：会议管理系统将发生的事件转换成对应的文字性描述，格式为：动作发出者：动作内容；

步骤S107：会议管理系统将生成的文字性描述推送到播报终端列表中各个终端；步骤S108：结束会议，释放资源。

在上述流程中，重复步骤S105至步骤S107，直到会议结束。

而当处理的事件为用户发言事件时，如图4所示，所述实现发言内容显示的流程具体为：

步骤S201：判断终端麦克是否打开，若是转步骤S202；

步骤S202：语音识别模块将接收到的该终端的音频码流，得到对应的声音文件，然后通过与标准库比较，根据语音识别出内容并转换成文本格式，将处理后得到的文本回送会议管理系统；

步骤S203：会议管理系统将收到的文本格式的发言内容和发言人身份对应起来，转换成：发言者身份+发言内容的格式，诸如：“发言者a：******”的信息；

步骤S204：会议管理系统将该信息推送到播报终端列表中所有终端；

步骤S205：终端接收到播报内容后，叠加到自身画面上以字幕或短消息形式显示或者在其他输出接口中输出；应当说明的是，在终端侧的功能配置页面，用户可以对其显示的格式如字体、大小、颜色等进行定制，用户还可以选择回溯整个会议过程中其接收到的会议动态信息，并按关键字进行搜索其中内容，实际应用中，可灵活使用。

当处理的事件为有终端操作事件时，如图5所示，所述处理终端操作的流程具体为：

步骤S301：判断是否发生终端加入/离开会议，广播/发言/点名等事件时；

步骤S302：会议管理系统生成对该事件的文字描述，包括对象及事件内容的描述，例如：“用户终端***：在19：30分加入会议室”，“用户终端***：在19：30进行了一键广播操作”，“用户终端***：在19：30进行了发言操作”等；

步骤S303：会议管理系统将事件信息推送到播报终端列表中所有终端；

步骤S304：终端接收到播报内容后，叠加到自身画面上以字幕或短消息形式显示或者在其他输出接口中输出。

综上所述，本发明可以将会议进行过程中发生的大部分事件以播报形式推送到终端侧，以便终端用户能及时清楚会议过程中发生的各项事件，这些事件可以作为主席端采取进一步措施的判断依据，也可以使得其他终端用户掌握会议进行的整体情况。特别的，本发明中，利用语音识别系统将会议中各发言人的语音内容转换成文字形式，显示在用户终端上，便于与会者准确理解语义，且可以回溯发言者之前的发言内容，提高了用户对视频会议的满意程度。

这种方式可以但不限于一对多的远程课堂教育，使教师和学生对课堂中发生的事件能清晰地获知，使教师与学生、学生与学生的互动达到良好效果。

以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。

Claims (12)

1.一种播报多媒体会议中动态信息的方法，其特征在于，包括：

获取多媒体会议中用户动态操作事件以及所述用户动态操作事件对应的操作者的标识信息；

获取所述用户动态操作事件中包含的文字信息，并根据所述文字信息和标识信息生成推送消息；

将所述推送消息发送给加入到所述多媒体会议中的至少部分会议终端，由所述至少部分会议终端显示所述推送信息。

2.根据权利要求1所述的方法，其特征在于，所述用户动态操作事件为用户发言事件，所述获取所述用户动态操作事件中包含的文字信息，并根据所述文字信息和标识信息生成推送消息的步骤包括：

获取所述用户发言事件中发言者的语音信息；

获取所述语音信息转换成的发言内容，并将所述发言内容与发言者的标识信息建立关联关系，生成第一显示信息。

3.根据权利要求2所述的方法，其特征在于，所述获取所述语音信息转换成的发言内容，并将所述发言内容与发言者的标识信息建立关联关系，生成第一显示信息的步骤包括：

获取所述语音信息的音频码流对应的发言内容；

将所述发言内容与所述发言者的标识信息进行关联，生成具有预设格式的第一显示信息；其中，

所述预设格式的第一显示信息至少包括：发言者的标识信息和发言者的发言内容。

4.根据权利要求2或3所述的方法，其特征在于，所述用户动态操作事件为会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件，所述获取所述用户动态操作事件中包含的文字信息，并根据所述标识信息形成推送消息的步骤包括：

获取所述会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件对应的事件文字描述信息，生成预设格式的第二显示信息；其中，

所述第二显示信息至少包括：事件对应的操作者的标识信息和对应的事件文字描述信息。

5.根据权利要求1所述的方法，其特征在于，还包括：

根据加入多媒体会议中的会议终端信息，生成会议播报终端列表。

6.根据权利要求5所述的方法，其特征在于，所述将所述推送消息发送给加入到所述多媒体会议中的至少部分会议终端，由所述至少部分会议终端显示所述推送信息的步骤包括：

将所述推送信息发送给所述会议播报终端列表中的第一会议终端，由所述第一会议终端显示所述推送信息；其中，

所述第一会议终端中不包含所述用户动态操作事件的操作者对应的会议终端。

7.一种播报多媒体会议中动态信息的装置，其特征在于，包括：

第一获取模块，用于获取多媒体会议中用户动态操作事件以及所述用户动态操作事件对应的操作者的标识信息；

第二获取模块，用于获取所述用户动态操作事件中包含的文字信息，并根据所述文字信息和标识信息生成推送消息；

发送模块，用于将所述推送消息发送给加入到所述多媒体会议中的至少部分会议终端，由所述至少部分会议终端显示所述推送信息。

8.根据权利要求7所述的装置，其特征在于，所述用户动态操作事件为用户发言事件，所述第二获取模块包括：

第一获取子模块，用于获取所述用户发言事件中发言者的语音信息；

第一生成子模块，用于获取所述语音信息转换成的发言内容，并将所述发言内容与发言者的标识信息建立关联关系，生成第一显示信息。

9.根据权利要求8所述的装置，其特征在于，所述第一生成子模块包括：

获取单元，用于获取所述语音信息的音频码流对应的发言内容；

生成单元，用于将所述发言内容与所述发言者的标识信息进行关联，生成具有预设格式的第一显示信息；其中，

所述预设格式的第一显示信息至少包括：发言者的标识信息和发言者的发言内容。

10.根据权利要求8或9所述的装置，其特征在于，所述用户动态操作事件为会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件，所述第二获取模块还包括：

第二生成子模块，用于获取所述会议终端的离开/加入事件和/或会议终端进行的会议控制操作事件对应的事件文字描述信息，生成预设格式的第二显示信息；其中，

所述第二显示信息至少包括：事件对应的操作者的标识信息和对应的事件文字描述信息。

11.根据权利要求7所述的装置，其特征在于，还包括：

生成模块，用于根据加入多媒体会议中的会议终端信息，生成会议播报终端列表。

12.一种多点会议控制器，其特征在于，包括如权利要求7至11任一项所述的播报多媒体会议中动态信息的装置。