CN112825551B - 一种视频会议重要内容提示及转写存储的方法及系统 - Google Patents

Abstract

本发明公开一种视频会议重要内容提示及转写存储的方法。发言者在讲解重要内容时可在本地客户端发出重要内容提示指令，该指令可触发提示事件，在所有会议成员客户端的视频会话框中提示为重要内容。重要内容提示指令和音频流通过数据通道传输到服务器。服务器对音频流转写，将输出文本返回给会议成员客户端，客户端将文本以字幕形式实时显示在视频会话框中。服务器根据重要内容提示指令对重要内容转写出的文本进行区别处理，然后以会议记录格式生成文本文件保存在服务器。本发明给出重要内容提示可以让会议成员更容易捕捉重要内容；对重要内容作区别处理，方便会议成员会后查看会议重要内容；添加字幕，使得听力方面存在障碍的人员也可以参加会议。

Description

一种视频会议重要内容提示及转写存储的方法及系统

技术领域

本发明涉及WebRTC实时视频通话技术领域，尤其是一种基于WebRTC视频会议重要内容提示及转写存储的方法及系统。

背景技术

WebRTC，网页即时通讯(Web Real-Time Communication)是一个支持网页浏览器进行实时语音对话或视频对话的API。其主要目的是实现基于网页的视频会议，让Web开发者能够基于浏览器轻易快捷开发出丰富的实时多媒体应用，而无需下载安装任何插件，Web开发者也无需关注多媒体的数字信号处理过程，只需编写简单的Javascript程序即可实现。WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且还支持跨平台：Windows，Linux，Mac，Android，以及iOS。

发明内容：

本发明针对在视频会议中强调发言内容为重要内容，提出一种重要内容提示及转写存储的方法及系统，目的在于让参会人员快速准确捕捉会议重要内容，以免错过重要内容。

本发明为实现上述目的采用如下技术方案：一种视频会议重要内容提示及转写存储的方法，包括：

会议发起者的客户端使能本地的会议管理模块，录入会议的相关描述信息并发送至服务器，同时向服务器发起建立会议房间请求；

会议发起者的客户端发起会议邀请请求，邀请其他会议成员加入会议房间，所有会议成员客户端间建立连接；

客户端调用WebRTC音视频流采集模块采集音视频流并输出至服务器；服务器调用中继混流模块实时处理其接收的音视频流，对接收到的音频流进行语音转写文字处理形成会议内容信息，发送回所有客户端以及存储至会议记录中；

所有客户端和服务器实时检查每条会议内容信息中是否携带重要内容提示指令，若有则服务器将该条会议内容信息进行标记处理并指示参与者客户端在本地视频会话框中进行提示，以及服务器将该标记处理的会议内容信息存储至会议记录中。

还包括：客户端向服务器发送会议记录请求，接收服务器的会议记录文件生成模块返回的会议记录；会议记录包括：会议的相关描述信息、发言者姓名及其发言内容。

所述会议相关描述信息包括会议主题、会议时间、会议参与人员、会议参与人员姓名和其所用设备ID绑定情况。

所述中继混流模块将服务器接收的多路音视频流进行混流处理成一路音视频流再发送。

所述语音转写文字处理包括：服务器调用语音转写文字处理模块将接收到音频流进行语音识别、语义理解及校正处理形成输出文本，该输出文本用于会议内容信息。

所有客户端和服务器实时检查每条会议内容信息中是否携带重要内容提示指令，若有则服务器将该条会议内容信息进行标记处理并指示客户端在本地视频会话框中进行提示，包括：

当发言者向其客户端输入重要内容提示指令时，发言者客户端使能发出重要内容提示指令模块触发重要内容提示事件并输出给服务器；

当服务器检测到其接收的该条会议内容信息携带重要内容提示指令时，触发重要内容提示事件，并调用重要内容文本处理模块将该条会议内容信息进行标记显示用于区别于其他非重要的会议内容信息并存储至会议记录文件生成模块，以及发送给所有客户端；当服务器检测到其接收的该条会议内容信息没有携带重要内容提示指令时，不对会议内容信息进行额外标记，直接存储至会议记录文件生成模块，并发送给所有客户端；

客户端接收该条会议内容信息并检测该条会议内容信息是否携带重要内容提示指令，若是则使能重要内容信息提示模块触发重要内容提示事件，并在客户端对该条会议内容信息以字幕形式进行标记显示用于提示参与者；否则不提示。

所述标记显示为对会议内容信息的输出文本进行高亮、加粗或放大处理用于区别于非重要内容文本。

一种视频会议重要内容提示及转写存储的系统，包括：会议成员客户端和服务器端；

会议成员客户端，包括会议管理模块、字幕显示处理模块、发出重要内容提示指令模块、重要内容信息提示模块、请求会议记录模块，WebRTC音视频流采集模块，用于采集音视频流和会议相关描述信息并输出、接收并显示其他会议成员的会议内容信息；会议成员客户端按角色分为发起者客户端、发言者客户端、参与者客户端；

服务器端，包括中继混流模块、语音转写文字处理模块、重要内容文本处理模块、会议记录文件生成模块，用于接收客户端的音视频文件并处理成会议内容信息以及标记显示发送回客户端和存储至服务器端。

所述会议管理模块，用于录入会议的相关描述信息，包含会议主题、会议时间、会议参与人员、会议参与人员姓名和其所用设备ID绑定情况，用于后续生成会议记录文本文件，仅发起者客户端有使用会议管理模块的权限；

所述字幕显示处理模块，用于处理从服务器返回的经语音转写文字处理后得到的文本信息，使其以字幕形式实时显示在会议成员客户端的视频会话框中；

所述发出重要内容提示指令模块，用于发言者客户端发出重要内容提示指令，仅发言者客户端有使用发出重要内容提示指令模块的权限；

所述重要内容信息提示模块，用于处理接收到的发言者客户端发出的重要内容提示指令，触发重要内容提示事件，在会议成员客户端的视频会话框中提示当前发言内容为重要内容；

所述请求会议记录模块，用于会议成员客户端发起需要会议记录请求；

所述语音转写文字处理模块，包含语音识别模块和语义理解及校正模块；语音识别模块用于处理接收到的音频流，将音频内容转写成文本；语义理解及校正模块用于处理转写后的文本，分析会议内容，理解其语义信息；

所述重要内容文本处理模块，用于对重要内容进行区别于非重要内容的处理：高亮、加粗或放大处理；

所述会议记录文件生成模块，用于将服务器对文字转写处理后的输出文本以会议记录格式生成文本文件存储在服务器中；

所述中继混流模块，用于接收从会议成员客户端传输过来的多路音视频流，将其进行混流处理成一路音视频流，然后再发送回给会议成员客户端。

本发明具有以下有益效果及优点：

1、给出重要内容提示，让参会人员更快更准确捕捉发言者要表达的重点内容，尤其在较长时间的会议中，很难一直保持注意力集中，在发言者讲话内容为重要内容时给出提示，可以有效避免参会人员错过会议重要内容。

2、将语音转写文字处理过后的文本信息以会议记录格式生成文本文件存储在服务器中，可以方便会后查看会议内容，同时，也节省了整理会议记录的人力与时间等成本。

3、对发言内容为重要内容的文本进行区别于非重要内容的文本的处理，如高亮、加粗或放大等，可以让参会人员在会后轻松找出会议中的重要内容，方便进行会议重要内容总结。

4、将语音转写文字处理得到的文本发送给会议成员客户端处理，并以字幕形式实时显示在视频会话框中，使得听力方面存在障碍的人员也可以参与到会议中来。

附图说明：

图1是视频会议字幕显示过程示意图；

图2是视频会议重要内容提示过程示意图；

图3是会议记录生成及请求过程示意图；

图4是系统模块组成示意图；

具体实施方式：

下面结合附图和具体实施例对本发明作进一步详细描述。

具体实施例都是在会议成员客户端间建立对等连接的基础上进行，通过以下步骤建立对等连接：

会议发起者通过本地客户端的会议管理模块对会议的相关描述信息进行录入，将会议的相关描述信息发送到服务器，并向服务器发起建立会议房间请求；

会议发起者客户端发起会议邀请请求，邀请其他会议成员加入会议房间，所有会议成员客户端间建立对等连接。

本发明一个实施例提供一种视频会议字幕显示的方法步骤，以图1中所示为例，包括如下步骤：

步骤1.0：发言者客户端的音频流传输给服务器；

步骤1.1：服务器的语音转写文字处理模块对音频流进行处理，输出文本；

步骤1.2：服务器将处理所得输出文本发送给所有会议成员客户端；

步骤1.3：会议成员客户端的字幕显示处理模块对从服务器接收到的文本信息进行处理，并以字幕形式实时显示在视频会话框中。

本发明一个实施例提供一种视频会议重要内容提示的方法步骤，以图2中所示为例，包括如下步骤：

步骤2.0：发言者客户端发出重要内容提示指令；

步骤2.1：发言者客户端将布尔型变量标记flag的值由false置为true；

步骤2.2：在发言者客户端的视频会话框中提示当前讲话内容为重要内容；

步骤2.3：发言者客户端将重要内容提示指令通过数据通道发送给服务器；

步骤2.4：服务器收到重要内容提示指令，将布尔型变量标记flag的值由false置为true；

步骤2.5：服务器将重要内容提示指令发送给参与者客户端；

步骤2.6：参与者客户端收到重要内容提示指令，将布尔型变量标记flag的值由false置为true；

步骤2.7：在参与者客户端的视频会话框中提示当前讲话内容为重要内容。

本发明一个实施例提供一种会议记录生成及请求的方法步骤，以图3中所示为例，包括如下步骤：

步骤3.0：发言者客户端的音频流传输给服务器；

步骤3.1：服务器的语音转写文字处理模块对音频流进行处理，输出文本；

步骤3.2：判断服务器是否接收到从发言者客户端发送过来的重要内容提示指令；

步骤3.3：服务器没有收到重要内容提示指令，布尔型变量标记flag的值依然为false；

步骤3.4：服务器收到重要内容提示指令，将布尔型变量标记flag的值由false置为true；

步骤3.5：在布尔型变量标记flag的值为true的情况下，服务器的重要内容文本处理模块对重要内容文本进行区别于非重要内容文本的处理，如高亮、加粗或放大处理；

步骤3.6：服务器的会议记录文件生成模块对得到的文本信息进行处理；

步骤3.7：将处理得到的会议记录文本文件保存在服务器中；

步骤3.8：会议成员客户端向服务器发起查看会议记录文本文件的请求；

步骤3.9：服务器将会议记录文本文件发送给发起查看会议记录文本文件请求的客户端。

本发明提供了一种基于WebRTC视频会议重要内容提示及转写存储的系统，如图4所示，其模块组成及模块间交互如下：

客户端包括WebRTC音视频流采集模块(音频流模块、视频流模块)、字幕显示处理模块、发出重要内容提示指令模块、重要内容信息提示模块、会议管理模块和请求会议记录模块。特别说明，WebRTC音视频流采集模块为WebRTC内部模块，在图中列出用以更清楚的描述系统模块之间的交互。

服务器包括中继混流模块、语音转写文字处理模块(语音识别模块、语义理解及校正模块)、重要内容文本处理模块和会议记录文件生成模块。

客户端WebRTC音视频流采集模块得到的音视频流传输给服务器，服务器的中继混流模块对其进行处理，将多路音视频流进行混流处理成一路音视频流，然后再发送回给客户端。

客户端WebRTC音视频流采集模块中音频流模块得到的音频流传输给服务器。服务器的语音转写文字处理模块对其进行处理，先交给语音识别模块处理，将音频流内容转写成文本，然后交给语义理解及校正模块处理，对文本进行内容校正得到输出文本。一方面，将输出文本发送给客户端，客户端的字幕显示处理模块对其进行处理，以字幕形式实时显示在视频会话框中。另一方面，判断是否接收到客户端发出重要内容提示指令模块发出的重要内容提示指令，如收到指令，则将输出文本交给重要内容文本处理模块处理，然后交给会议记录文件生成模块处理，如没有收到指令，则直接交给会议记录文件生成模块处理。

会议管理模块处理得到的会议的相关描述信息传输给服务器。服务器从客户端接收到的会议的相关描述信息和语音转写文字处理模块及重要内容文本处理模块得到的文本，经会议记录文件生成模块处理，得到会议记录文本文件保存在服务器中，以供会后查看。

客户端通过请求会议记录模块向服务器发起查看会议记录请求，服务器的会议记录文件生成模块处理该请求，将会议记录文本文件发送给发起请求的客户端。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (8)

1.一种视频会议重要内容提示及转写存储的方法，其特征在于，包括：

会议发起者的客户端使能本地的会议管理模块，录入会议的相关描述信息并发送至服务器，同时向服务器发起建立会议房间请求；

会议发起者的客户端发起会议邀请请求，邀请其他会议成员加入会议房间，所有会议成员客户端间建立连接；

客户端调用WebRTC音视频流采集模块采集音视频流并输出至服务器；服务器调用中继混流模块实时处理其接收的音视频流，对接收到的音频流进行语音转写文字处理形成会议内容信息，发送回所有客户端以及存储至会议记录中；

所有客户端和服务器实时检查每条会议内容信息中是否携带重要内容提示指令，若有则服务器将该条会议内容信息进行标记处理并指示参与者客户端在本地视频会话框中进行提示，以及服务器将该标记处理的会议内容信息存储至会议记录中；包括：

当发言者向其客户端输入重要内容提示指令时，发言者客户端使能发出重要内容提示指令模块触发重要内容提示事件并输出给服务器；

当服务器检测到其接收的该条会议内容信息携带重要内容提示指令时，触发重要内容提示事件，并调用重要内容文本处理模块将该条会议内容信息进行标记显示用于区别于其他非重要的会议内容信息并存储至会议记录文件生成模块，以及发送给所有客户端；当服务器检测到其接收的该条会议内容信息没有携带重要内容提示指令时，不对会议内容信息进行额外标记，直接存储至会议记录文件生成模块，并发送给所有客户端；

客户端接收该条会议内容信息并检测该条会议内容信息是否携带重要内容提示指令，若是则使能重要内容信息提示模块触发重要内容提示事件，并在客户端对该条会议内容信息以字幕形式进行标记显示用于提示参与者；否则不提示。

2.按照权利要求1所述的一种视频会议重要内容提示及转写存储的方法，其特征在于，还包括：客户端向服务器发送会议记录请求，接收服务器的会议记录文件生成模块返回的会议记录；会议记录包括：会议的相关描述信息、发言者姓名及其发言内容。

3.按照权利要求1所述的一种视频会议重要内容提示及转写存储的方法，其特征在于，所述会议相关描述信息包括会议主题、会议时间、会议参与人员和其所用设备ID绑定情况。

4.按照权利要求1所述的一种视频会议重要内容提示及转写存储的方法，其特征在于，所述中继混流模块将服务器接收的多路音视频流进行混流处理成一路音视频流再发送。

5.按照权利要求1或2所述的一种视频会议重要内容提示及转写存储的方法，其特征在于，所述语音转写文字处理包括：服务器调用语音转写文字处理模块将接收到音频流进行语音识别、语义理解及校正处理形成输出文本，该输出文本用于会议内容信息。

6.按照权利要求1所述的一种视频会议重要内容提示及转写存储的方法，其特征在于，所述标记显示为对会议内容信息的输出文本进行高亮、加粗或放大处理用于区别于非重要内容文本。

7.一种视频会议重要内容提示及转写存储的系统，其特征在于，包括：会议成员客户端和服务器端；

会议成员客户端，包括会议管理模块、字幕显示处理模块、发出重要内容提示指令模块、重要内容信息提示模块、请求会议记录模块，WebRTC音视频流采集模块，用于采集音视频流和会议相关描述信息并输出、接收并显示其他会议成员的会议内容信息；会议成员客户端按角色分为发起者客户端、发言者客户端、参与者客户端；

所述会议管理模块，用于录入会议的相关描述信息，包含会议主题、会议时间、会议参与人员和其所用设备ID绑定情况，用于后续生成会议记录文本文件，仅发起者客户端有使用会议管理模块的权限；

所述字幕显示处理模块，用于处理从服务器返回的经语音转写文字处理后得到的文本信息，使其以字幕形式实时显示在会议成员客户端的视频会话框中；

所述发出重要内容提示指令模块，用于发言者客户端发出重要内容提示指令，仅发言者客户端有使用发出重要内容提示指令模块的权限；

所述重要内容信息提示模块，用于处理接收到的发言者客户端发出的重要内容提示指令，触发重要内容提示事件，在会议成员客户端的视频会话框中提示当前发言内容为重要内容；

所述请求会议记录模块，用于会议成员客户端发起需要会议记录请求；

服务器端，包括中继混流模块、语音转写文字处理模块、重要内容文本处理模块、会议记录文件生成模块，用于接收客户端的音视频文件并处理成会议内容信息以及标记显示发送回客户端和存储至服务器端。

8.按照权利要求7中所述的一种视频会议重要内容提示及转写存储的系统，其特征在于，

所述语音转写文字处理模块，包含语音识别模块和语义理解及校正模块；语音识别模块用于处理接收到的音频流，将音频内容转写成文本；语义理解及校正模块用于处理转写后的文本，分析会议内容，理解其语义信息；

所述重要内容文本处理模块，用于对重要内容进行区别于非重要内容的处理：高亮、加粗或放大处理；

所述会议记录文件生成模块，用于将服务器对文字转写处理后的输出文本以会议记录格式生成文本文件存储在服务器中；

所述中继混流模块，用于接收从会议成员客户端传输过来的多路音视频流，将其进行混流处理成一路音视频流，然后再发送回给会议成员客户端。

Images