CN105991854A - 一种智能终端上VoIP电话会议可视化的系统及方法 - Google Patents

Abstract

本发明涉及一种智能终端上VoIP电话会议可视化的系统及方法。本发明包括会议中可视化模块，用于将会议消息、声音、操作等按照时间顺序展示；会议总结可视化模块，在会议结束后自动对会议内容进行总结；时移回放模块，用于通过时移回放和抖动播放提高通话质量；语音播放模块，将语音数据按照说话人分离，并将说话人的声音信号绘制为波形图。采用声音波形视图、会议消息视图、时移回放、自动会议记录等方式将以语音为主的电话会议转换成视觉界面，解决了现有VoIP的电话会议声音不清楚，效率低下的问题，帮助用户更好的了解会议内容。

Description

一种智能终端上VoIP电话会议可视化的系统及方法

技术领域

本发明涉及终端电话会议系统领域，特别涉及一种智能终端上VoIP电话会议可视化的系统及方法。

背景技术

在电话会议中，参会者可能由于迟到、早退，中断等原因不能全程参与，就会错过会议中的一些具体细节。在会议结束后，想回顾一下会议内容只能收听录音，费时费力，效率很低。

VoIP的电话会议由于信道承载在不可靠的IP网络上，难免会有时候因丢包导致声音不清楚，影响交流；有时也会出现录音丢失不能恢复的现象。

现有智能设备上的电话会议技术没有展示每个用户声音波形图；很少有消息视图，有一些消息类app有消息视图；没有时移回放功能，某些电视相关产品有时移回放功能，但不能对VoIP的语音进行优化；现有智能设备上的电话会议技术只有非常简单的会议记录功能，一般只包含呼叫双方、时间和时长。

发明内容

本发明采用声音波形视图、会议消息视图、时移回放、自动会议记录等方式将以语音为主的电话会议转换成视觉界面，从而帮助用户更好的了解会议内容。

一种智能终端上VoIP电话会议可视化的系统，包括，

会议可视化模块，包括会议中可视化模块，用于将会议消息、声音、操作等按照时间顺序展示；还包括会议总结可视化模块，在会议结束后自动对会议内容进行总结；还包括时移回放模块，用于通过时移回放和抖动播放提高通话质量；

语音播放模块，将语音数据按照说话人分离，并将说话人的声音信号绘制为波形图。

抖动播放是从抖动缓冲模块获取数据并对丢失的数据进行补偿PLC；时移回放从时移回放缓冲模块早于参会者指定时间拉取语音数据。

进一步地，消息包括文字、图片、声音、视频、地理位置、会议操作和声音波形图。

进一步地，会议内容总结包括：内容记录、内容统计、语音转换文本、情绪检测、断句和会议摘要。

进一步地，会议操作包括举手、点赞、关闭麦克风、关闭扬声器、标记语音和振动。

一种智能终端上VoIP电话会议可视化的方法，包括，

会议可视化步骤，包括会议中可视化步骤，用于将会议消息、声音、操作等按照时间顺序展示；还包括会议总结可视化步骤，在会议结束后自动对会议内容进行总结；还包括时移回放步骤，用于通过时移回放和抖动播放提高通话质量；

语音播放步骤，将语音数据按照说话人分离，并将说话人的声音信号绘制为波形图。

抖动播放从所述抖动缓冲步骤获取数据并对丢失的数据进行补偿PLC；时移回放从所述时移回放缓冲步骤早于参会者指定时间拉取语音数据。

进一步地，消息包括文字、图片、声音、视频、地理位置、会议操作和声音波形图。

进一步地，会议内容总结包括：内容记录、内容统计、语音转换文本、情绪检测、断句和会议摘要。

进一步地，会议操作包括举手、点赞、关闭麦克风、关闭扬声器、标记语音和振动。

本发明的积极效果在于：

1、本发明通过声音波形图可以清晰的向用户展示每个用户发言的时间、时长和上下文，波形还可以表达出用户发言中的断续、声音的轻重等信息。

2、本发明在电话会议会议中可视化模块中引入了消息视图，除了消息类app常见的消息形式外，本发明针对电话会议场景还增加了：举手、点赞、关闭自己/他人麦克风、关闭自己扬声器、标记语音、振动等特有的操作和交互等消息形式。

3、本发明针对VoIP的特点，通过改善的网络传输模块减少语音数据丢包，再通过时移回放控制模块播放语音数据，使语音更连续清晰。

4、本发明的会议总结可视化模块通过以下技术帮助用户更好的理解和使用会议数据：内容更丰富，包括：语音数据，消息数据，交互数据，以及用户的操作数据；对会议数据做统计分析并将会议中的发言转换成文本，方面检索和分析；能够检测参会人员的情绪并能够对语音进行断句，帮助用户了解会议发言的细节；会议摘要能够用简短的描述对会议有深入的了解。

附图说明

图1为VoIP电话会议可视化系统的装置图；

图2为时移回放的实现装置图；

图3为会议总结可视化模块装置图；

图4为VoIP电话会议可视化系统在终端的界面截图。

具体实施例

下面结合附图和具体实施例对本发明的内容做进一步的阐述。

如图1，在组织者10发起会议后，参会者11，12的语音数据经过网络传输模块13传输到组织者10，语音数据接收模块14从网络接收语音数据，语音播放模块15将接收到的语音数据按照说话人分离，然后将每个说话人的声音信号的PCM绘制成波形图并在会议中可视化模块16上展示当前说话人的声音波形图。声音波形图可以清晰的向用户展示每个用户发言的时间、时长和上下文，波形还可以表达出用户发言中的断续、声音的轻重等信息。

其中，会议中可视化模块16提供一种新的按时间顺序(横向或纵向)显示谁正在说话的方式。这可以单个通道或者多个通道显示出来。以这样的方式显示音频的好处是参会者可以容易地理解使用者之间谈话的顺序。会议中可视化模块16也能显示其他参会者的行为状态。由于音频数据按顺序显示，这些参会者的交互可以在使用他们的谈话的场景中显示。这给参会者提供了对给定话题的所有其他参会者的想法和观点多得多的完全的理解。许多例子将在下面讨论以清楚地给出可视化过程。

消息包括但不限于文字、图片、声音、视频、地理位置、会议中的操作、说话人的声音波形图等形式。会议中的交互和操作包括但不限于：

举手：可用于表达自己要发言；点赞：可用于赞同、不赞同当前说话人，在有些实施例中，能够仅仅用“拇指向上”或者“拇指向下”的指定来指示同意或者不同意正在讨论的内容；关闭自己、他人麦克风；关闭自己的扬声器；标记语音：对当前说话内容做标记；振动：参会者的设备具有振动能力(正如大多数手机)，可以包括发送一个振动消息给其他参会者，其他参会者的设备会有短暂的振动，可用于提醒其他参会者。相同的，还可以包括独立的音频提醒或者视图的提醒(例如参会者的图标可以在其他参会者的显示器上闪一下)。

消息实现方式需要通过服务端支持，以举手为例：

a.参会者11举手，在自己的消息视图中显示自己举手；

b.参会者11将该消息发送给服务器，服务器转发给参会者12；

c.参会者12收到消息后，在消息视图中显示参会者11举手。

会议总结可视化模块17可以在会议结束后，自动对会议内容进行总结，帮助用户更好的了解会议。总结可以通过分析得到。这种自动的会议总结是通过自动对会议内容数据进行分析得到的。在一些情况下，迟到的语音数据能够被重组成记录以确保更高的保真度。记录可以附加上任何数量的分析以产生总结。同样，如上面所公开的可视化，呼叫总结可以同样地包括呼叫的按时间顺序的可视化总结。

时移回放模块18，是目前公开的系统和方法中的最大的节省时间的功能之一。由于网络带宽波动、临时的干扰或者丢失或迟到的数据包，网络呼叫呈现比理想化较弱的质量。此外，甚至当音频和/或视频数据没有问题时，由于各种原因，人们有时也会误解正在被说的信息。现在通过参与者仅仅错过一些信息(减少呼叫有效性的信息)或者需要参与者(浪费时间从而降低呼叫效率)确认而解决。除了不断的确认，本发明的功能可以自定义回放一段时间，让参会者重听一遍之前不清楚的部分。重听一个重要的时间部分和过去谈话的几秒钟，可以让原本会完全中断理解的交流更清晰。在一些实施例中，重复播放的部分可以加速(例如是150％)以快速地赶上这位参与者实时谈话。这确保了参与者没有离开谈话时间太长。在加速重复播放过程中的音频播放可以是频率调制的，以确保音频尽可能具有同正常一样的声音(例如，避免“吱吱的声音”，通常加速的音频都会发出)。可选择地，呼叫的重复播放的部分可以是以“低声说话模式”在现有呼叫讨论中分出层次，凭借“低声说话模式”重复播放在音量上减小，可选地在音高上调制，以模仿人低声说出谈话中失去的部分。如此呈现出来，大多数人能够立刻理解两个谈话。这使得参与者在参与谈话的时候仍能够重复呼叫片断。

进一步地，人们感知这个呼叫的时间是数秒，尽管这没有听起来像许多时间，但这一时间使得延迟的数据包信息再重组成重复播放的内容。因此，回放相较于最初的经历可以是较高的质量。这大大地减少了混淆并极大地增加了通话效率。

一般的VoIP网络传输模块，对丢失的语音数据通常只在几百毫秒到一两秒的时间内尝试重传。在时移回放模块18中，可以实现功能：支持时移回放的网络传输模块13可以在更长的时间(可以达到5秒甚至数十秒)内传输语音数据，重传丢包。

如图2，时移回放模块18中时移回放的实现，网络传输模块13中接收到数据后，将其中的语音数据按照说话人分离；分离后的语音数据分别送入抖动缓冲模块和时移回放缓冲模块；抖动播放控制模块24为实时VoIP通信优化，从抖动缓冲模块23中取得实时语音数据，对丢失的数据进行补偿PLC，并交给声音播放模块25播放；时移回放控制模块22为时移回放优化，从时移回放缓冲模块21中更早(比如5秒前)的语音数据开始拉取，并交给声音播放模块25播放。由于前面的网络传输模块有更多时间重传丢包，更早的数据在实时播放时可能丢失了，但在回放时很可能到达了。所以时移回放时，语音可能更连续，听得更清楚。如果出现静音数据，时移回放控制可以快速播放、跳过静音数据，追赶上当前实时语音数据，从而实现从时移回放无缝切换到实时播放。当用户感觉刚才没有听清楚时，在会议中可视化模块16上控制开始时移回放，激活时移回放控制模块22。时移回放控制从更早的时间(比如5秒前)开始从时移回放缓冲模块21中取得语音数据播放。

如图3，会议总结可视化模块17包括但不限于以下模块：

内容记录模块41：汇总记录会议中的语音数据，消息数据，交互数据，以及用户的操作数据等；内容统计模块42：对会议中的内容数据做统计，比如各个参会者的发言时间、发言次数等；语音转换文本模块43：通过对语音进行识别，转换成文本，可以对会议中的语音进行文字检索和分析；情绪检测模块44：对发言用户的语音进行情绪识别，比如高兴、激动等，标记会议中用户的情绪；断句模块45：对发言的用户语音进行断句分析，识别出每句话的开始和结束时间点；会议摘要模块46：根据以上分析得出的数据，自动对整个会议做一个简短的描述：比如会议参会者、每个人的发言时间、次数、情绪状态，关键字(会议主题、消息、语音转换成文字中提取)等，能够用简短的描述对会议有深入的了解，帮助用户了解会议发言的细节。

智能终端上VoIP电话会议可视化的系统及方法已经进行了详细的阐述，图4给出了VoIP电话会议可视化系统在终端的界面截图，在这一示例的屏幕截图中，参会者的联系方式显示在格子中，每个参会者图示在显示器的上端。参会者具有增加额外的联系方式(使用增加的标志)的选择，或者可以选择发起一个会议。这个即时的例子明显地对智能手机或者平板显示器的显示屏(包括触摸屏)最优化。当然这些例子仅仅试图去提供公开的系统和方法中一些的可能的实现性，并且这样的，本发明公开的范围试图包括界面布局，其可选择地对其他显示器类型、使用者喜好等进行最优化。

如图4，为每个参会者显示无声的或者其他特征，据此作为对显示的联系的覆盖或者着色。其中，消息时间顺序横向显示。例如，一个小手在两个参会者的图标之间示出。这些“举起的手”指示这些人希望说话。在这些参会者图标下面示出了按时间顺序的沿着单一通道的所有活动。参会者功能例如翘起拇指或者按下拇指、音量大小、以及举手被显示在界面的右手边。最后，在示例的显示器的下端显示消息盒。按照时间顺序，参会者行为或音频输入根据定时而被展示出来。因此，能理解的是，第一个参会者在开头开始说话(由音频波形图像表征)。第三和第四个参会者提供与在这个时候正在说的内容相关联的文本的输入。紧接着第二个参会者开始说话，明显地第五个参会者表示同意(通过反馈的翘起拇指标志来指示)。第六个参会者向其他人文本输入一个问题，询问大家是否能听到她说的话。

明显地，相比传统的音频会议，这样的网络会议能够在参会者之间传递更多的信息。这使得网络会议更有效果和效率。

同样清楚的是，不是所有上面公开的功能在前面的例子中示意出。这源于这样的事实，即一些特性(像暗示参会者情感状态的脉冲彩色轮廓、或者指示音频延迟的音频回放)没有很好地转化为静态的图片。上述图片试图表明的仅仅是示例性，而不是对本发明的保护范围的限制。

由以上实施例可见，本发明采用声音波形视图、会议消息可视化、时移回放、会议总结可视化等方式将以语音为主的电话会议转换成视觉界面，从而帮助用户更好的了解会议内容。

虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明并不局限于上述特定的实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，并不影响本发明的实质内容。

Claims (10)

1.一种智能终端上VoIP电话会议可视化的系统，其特征在于：包括，

会议可视化模块，包括会议中可视化模块，用于将会议消息、声音、操作等按照时间顺序展示；还包括会议总结可视化模块，在会议结束后自动对会议内容进行总结；还包括时移回放模块，用于通过时移回放和抖动播放控制提高通话质量；

语音播放模块，将语音数据按照说话人分离，并将说话人的声音信号绘制为波形图。

2.如权利要求1所述的智能终端上VoIP电话会议可视化的系统，其特征在于：所述抖动播放是从抖动缓冲模块获取数据并对丢失的数据进行补偿；所述时移回放从时移回放缓冲模块指定更早的时间拉取语音数据。

3.如权利要求1所述的智能终端上VoIP电话会议可视化的系统，其特征在于：所述消息包括文字、图片、声音、视频、地理位置、会议操作和声音波形图。

4.如权利要求1所述的智能终端上VoIP电话会议可视化的系统，其特征在于：所述会议内容总结包括：内容记录、内容统计、语音转换文本、情绪检测、断句和会议摘要。

5.如权利要求3所述的智能终端上VoIP电话会议可视化的系统，其特征在于：所述会议操作包括举手、点赞、关闭麦克风、关闭扬声器、标记语音和振动。

6.一种智能终端上VoIP电话会议可视化的方法，其特征在于：包括，

会议可视化步骤，包括会议中可视化步骤，用于将会议消息、声音、操作等按照时间顺序展示；还包括会议总结可视化步骤，在会议结束后自动对会议内容进行总结；还包括时移回放步骤，用于通过时移回放和抖动播放控制提高通话质量；

语音播放步骤，将语音数据按照说话人分离，并将说话人的声音信号绘制为波形图。

7.如权利要求6所述的智能终端上VoIP电话会议可视化的方法，其特征在于：所述抖动播放从所述抖动缓冲步骤获取数据并对丢失的数据进行补偿PLC；所述时移回放从所述时移回放缓冲步骤指定更早的时间拉取语音数据。

8.如权利要求6所述的智能终端上VoIP电话会议可视化的方法，其特征在于：所述消息包括文字、图片、声音、视频、地理位置、会议操作和声音波形图。

9.如权利要求6所述的智能终端上VoIP电话会议可视化的方法，其特征在于：所述会议内容总结包括：内容记录、内容统计、语音转换文本、情绪检测、断句和会议摘要。

10.如权利要求8所述的智能终端上VoIP电话会议可视化的方法，其特征在于：所述会议操作包括举手、点赞、关闭麦克风、关闭扬声器、标记语音和振动。