CN1433207A - 一种电话视频会议系统及其音频/视频处理方法 - Google Patents

Abstract

本发明有关一种电话视频会议系统，包括主控单元、数字信号处理单元、内部总线和以太网接口和E1/模拟电话线接入端口，所述主控单元完成电话视频会议的核心控制功能，所述数字信号处理单元完成电话的接入以及音频、视频和数据的处理功能，所述内部总线用于完成该系统内部各种控制信号及数字信号的传递，所述以太网接口用以连接至以太网，使计算机用户能加入到该电话视频会议系统，所述E1/模拟电话线接入端口，通过数字信号处理单元中的电话接入模块，将固定电话/移动电话用户接入到该电话视频会议系统。本发明使得电话用户和计算机用户都能够方便的参加会议；同时对计算机用户的客户端实现了零配置。

Description

一种电话视频会议系统及其音频/视频处理方法

技术领域

本发明属于视频会议领域和电话会议领域。

背景技术

众所周知，电话会议和视频会议随着计算机网络以及硬件设备的不断发展之下正逐渐成为新兴企业进行业务交流和协同工作的主要手段之一，而从目前来看，大部分的视频会议产品仍摆脱不了大规模的组网和对硬件的依赖以及对系统进行频繁和烦琐的设置等，其最大的缺点莫过于要依赖于固定的终端设备，面对繁杂的配置选项和专业化的术语，许多用户望而却步或者不能正确操作，固定终端设备的高昂投资也势必成为限制了视频会议这种先进的载体进一步改变人们生活方式的一种阻碍。

现在流行的视频、电话会议系统大致分为两大类：

1、利用MCU连接多个控制器，使各个终端(会场)能够互相传递语音和图象。这种方式的一般应用为在每个会场安装一台终端设备，在中心机房安装一台MCU设备，召开会议有两种模式：一种为每个会场向MCU发起呼叫，MCU确定会场的身份后把其加入会议；一种为MCU向每个会场发起呼叫，会场接受呼叫则加入会议。这种方式的缺点在于在开会之前需要专人来先把所有的会场加入会议，往往需要很长一段时间。另外这种方式的终端设备的安装也非常麻烦，需要专业人员去安装和维护。

2、利用浏览器下载程序安装客户平台软件的方式，将各端的请求送到服务器混合处理。这种方式的系统目前主要有两类：一种是先通过浏览器下载一个客户端，安装客户端后，通过客户端软件参加会议；一种是通过浏览器直接参加会议，但实际上仍然是通过浏览器运行了一个程序，由于是一个完整的程序，所以往往都较庞大，下载较慢，使用起来非常不方便。另外目前的所有这类系统中都无法使得没有计算机的用户加入会议，这也限制了一部分用户的使用。

发明内容

鉴于上述现有技术中的缺点，本发明提供一种电话视频会议系统及其音频/视频处理方法，不仅使普通电话用户也能方便地接入到电话会议系统中，而且使计算机用户的客户端实现“零”配置。

本发明的电话视频会议系统，包括主控单元、数字信号处理单元、内部总线和以太网接口，所述主控单元完成电话视频会议的核心控制功能，所述数字信号处理单元完成电话的接入以及音频、视频和数据的处理功能，所述内部总线用于完成该系统内部各种控制信号及数字信号的传递，所述以太网接口用以连接至以太网，使计算机用户能加入到该电话视频会议系统，其特征在于：还包括有一E1/模拟电话线接入端口，通过数字信号处理单元中的电话接入模块，将固定电话/移动电话用户接入到该电话视频会议系统。

所述主控单元包括：呼叫处理模块、会议监控模块、数据库和WEB服务器；所述呼叫处理模块完成对来自电话和IP网络的呼叫控制功能；所述会议监控模块完成对用户异常断线的处理，完成对异常会议的处理；所述数据库完成会议相关信息的保存；所述WEB服务器接受来自计算机用户的Web浏览器的请求，完成会议的预定、召开、修改以及系统的维护；所述数字信号处理模块还包括有：音频处理模块、视频处理模块和数据处理模块；所述音频处理模块完成音频的编解码和混音；所述视频处理模块完成视频的编解码和多画面处理；所述数据处理模块完成数据的编解码和转发。

本发明提供一种电话视频会议系统的音频处理方法，包括：通过一E1/模拟电话线接入端口，将固定电话/移动电话用户接入至一电话接入模块，由该电话接入模块采集音频信号，并以RTP/RTCP协议封装成IP报文，通过内部总线发送给音频处理模块，由音频处理模块进行混音，然后将混音后的语音也以RTP/RTCP协议封装成IP报文，通过内部总线发送给电话接入模块，由电话接入模块把接收到的RTP/RTCP报文解包后通过双缓冲方法播放给电话用户。

所述的双缓冲方法为：在普通的电话语音卡上准备两块内存区域A和B，一个内存区域A使用完毕，立即使用内存区域B，并且在切换到内存区域B时，给电话接入模块发送一个消息，电话接入模块接收到此消息后，更新内存区域A的内容，当录音或者播放程序使用完内存区域B时，内存区域A又被继续使用。

本发明提供另一种电话视频会议系统的音频处理方法，包括：通过计算机浏览器控件采集计算机用户的音频信号，以RTP/RTCP协议发送给音频处理模块，由音频处理模块进行混音，然后将混音后的语音也以RTP/RTCP协议通过以太网接口发送给计算机中浏览器控件进行相应处理。

上述的音频处理模块进行混音，包括下列步骤：

A)接收来自复数个用户的RTP/RTCP语音报文；

B)对报文分别进行解码，去掉报文头，然后对报文内容根据编码方式进行解码，还原成语音数据；

C)对还原后的复数个语音数据进行求和运算，取得求和结果；

D)分别将求和结果减去该复数个用户的语音数据，作为返送给相对应用户的语音数据；

E)音频处理模块对返送给每个用户语音数据以RTP/RTCP的方式分别发送给每个用户。

本发明提供一种电话视频会议系统的视频处理方法，包括：获取每个计算机用户最近某一时段内的语音数据，判断该时段内的语音数据是否大于60％，若大于60％，则认为此用户为发言用户；若没有发言用户，则显示第一个加入会议的用户；若有多个发言用户，则比较该时段内该多个发言用户的语音数据的算术平均值，显示平均值为最大的用户的图像。

本发明提供另一种电话视频会议系统的视频处理方法，包括：获取每个计算机用户最近某一时段内的语音数据，计算该时段内每个用户的语音数据的算术平均值，显示平均值为最大的四个用户的图像。

本发明对电话接入用户的语音和计算机用户的语音统一处理，解决了电话会议和IP语音视频的融合问题，使得电话用户和计算机用户都能够方便的参加会议；同时对计算机用户的客户端实现了零配置。

附图说明

图1为本发明的电话视频会议系统结构方框图；

图2为本发明电话视频会议系统中的呼叫处理模块的工作流程图；

图3为本发明电话视频会议系统中的音频处理模块的工作原理示意图；

图4为本发明电话视频会议系统中的视频处理模块的单画面工作原理示意图；

图5为本发明电话视频会议系统中的视频处理模块的四画面工作原理示意图；

图6为本发明电话视频会议系统中的数据处理模块的工作原理示意图。

具体实施方式

本发明的电话视频会议系统如图1所示，它包括主控单元、数字信号处理单元、内部总线、以太网接口和E1/模拟电话线接入端口。

主控单元：完成电话视频会议的核心控制功能，它在硬件上由采用Intel公司的“至强”CPU以及Intel公司的主板构成，操作系统采用Windows2000，所述主控单元包含如下四个部分：

呼叫处理模块：完成对来自电话和IP网络的呼叫控制功能。

会议监控模块：完成对客户异常断线的处理，完成对异常会议的处理。

数据库：完成会议相关信息的保存，采用MySQL数据库系统。

Web服务器：接受来自Web浏览器的请求，完成会议的预定、召开、修改以及系统的维护。采用目前常用的Apache Web服务器，在其上增加了会议的预定、召开、修改以及系统维护的Web页面。

数字信号处理单元：完成电话的接入以及音频、视频和数据的处理功能，它在硬件上由采用多个DSP的单板构成，由如下四个功能模块构成：

电话接入模块：通过电话线接口和E1接口，完成电话的接入。

音频处理模块：完成音频的编解码和混音。

视频处理模块：完成视频的编解码和多画面处理。

数据处理模块：完成数据的编解码和转发。

所述内部总线用于完成该系统内部各种控制信号及数字信号的传递，所述以太网接口用以连接至以太网，使计算机用户能加入到该电话视频会议系统，所述E1/模拟电话线接入端口，通过数字信号处理单元中的电话接入模块，将固定电话/移动电话用户接入到该电话视频会议系统。

用户参加会议的流程如下：

1、用户通过计算机上的浏览器加入会议：

1)浏览器通过HTTP协议连接到Web服务器，进入Web服务器中的参加会议页面。

2)经过身份验证，Web服务器发送“加入会议”消息给呼叫处理模块。

3)呼叫处理模块通知音频处理模块、视频处理模块、数据处理模块启动处理，同时通知用户所使用浏览器上的控件启动音频、视频以及数据的接受和发送。(浏览器上的控件为采用微软的ActiveX技术开发的一个组件，整个组件为配合浏览器使用的软件系统，完成用户所在计算机的语音、视频、数据的采集、播放以及发送和接收。此控件在用户第一次通过浏览器访问Web服务器时会自动下载，以后每次浏览器启动，此控件会自动加载)。

4)控件把用户的语音、图像、数据通过RTP/RTCP协议(RTP/RTCP协议为IP上多媒体通讯的一个标准协议，由IETF制定)发送给本发明的电话视频会议系统，由系统对语音、视频、数据进行处理，同时把处理后的语音、图像、数据通过RTP/RTCP协议发送给控件，这样参加会议的每个用户就能够听到其它人的声音，看到其它人的图像，获取到其它人的共享数据信息。语音的传送采用ITU G.711的编码或者ADPCM的编码方式，图像的传送采用MPEG-4、H.263、H.261的编解码技术，数据的传送采用二进制的方式进行。该些语音和图像的编码技术都是目前成熟的标准技术。

2、用户通过固定电话/移动电话加入会议：

1)用户通过固定电话/移动电话拨打一个特殊号码呼叫本发明的电话视频会议系统。

2)电话接入模块检测到有用户呼入，接通电话，提示用户输入会议室号码和会议密码。

3)若用户的会议室号码和会议密码全部正确，则电话接入模块发送“加入会议”消息给呼叫控制模块。

4)呼叫控制模块通知音频处理模块、视频处理模块、数据处理模块启动处理，同时通知电话接入模块启动音频的接受和发送。

5)电话接入模块把用户的语音转换成RTP/RTCP协议的格式，后面的处理同计算机加入的用户完全相同，区别仅仅在于电话加入的用户只有语音信息，没有图像和数据信息。

呼叫控制模块和音频处理模块、视频处理模块、数据处理模块之间通过会议消息进行交互，音频处理模块、视频处理模块、数据处理模块完全按照呼叫控制模块的指令进行相应的操作，这些会议消息如下：

1)：“加入会议”消息：消息中携带有用户姓名/电话号码、会议室号码、IP地址等信息，表示有一个用户加入某个会议室。

2)：“离开会议”消息：消息中携带有用户姓名/电话号码、会议室号码、IP地址等信息，表示有一个用户离开某个会议室。

上面的八个模块中，除了数据库和Web服务器为采用目前已有技术实现外，其他六个模块的功能及实现分述如下：

1、呼叫处理模块：呼叫处理模块的功能为接受电话用户或者计算机用户的访问请求，把这些用户加入会议；当这些用户离开会议时，进行相应处理，具体处理流程如下：

对于计算机用户：计算机用户通过浏览器访问Web服务器，浏览器和Web服务器之间通过HTTP协议进行交互，Web服务器以WEB页面的方式由计算机用户输入用户姓名、会议室号码和密码，输入完成后，Web服务器把这些信息以消息的方式提交给呼叫处理模块，呼叫处理模块根据图2的处理流程进行处理。

对于固定电话用户/移动电话用户：电话用户通过电话访问电话接入模块，电话接入模块播放提示音“请输入会议室号码”，用户输入会议室号码后，电话接入模块播放提示音“请输入密码”，用户输入密码后，电话接入模块把这些信息以消息的方式提交给呼叫处理模块，呼叫处理模块根据图2的处理流程进行处理。

2、会议监控模块：会议监控模块负责处理如下两个功能：

(1)监视数据库中的正在开会的用户是否有异常断线的，若有，则把此用户从数据库中删除。判断用户是否异常断线的方法为：用户所在浏览器上的控件每隔5秒钟修改一下数据库中的计数器，把计数器加一，会议监控模块每隔30秒检测一下数据库中的计数器是否修改，若未被修改，则表明此用户异常断线。

(2)监视数据库中的会议是否有没有正常关闭的，若有，则把此会议关闭。判断会议是否没有正常关闭的方法为：判断当前时间是否已经晚于用户预定会议的结束时间，若已经晚于用户预定会议的结束时间，则表示会议没有正常关闭。

3、电话接入模块：对外提供E1或者模拟线的接口，用于连接电信网络。具体实现方式为：采用目前已有的电话语音卡(电话语音卡为计算机上用于连接电信网络的板卡，主要用于提供类似电话银行、自动应答系统之类的应用)，在DSP上增加双缓冲算法。双缓冲算法是目前计算机用的声卡上支持的一个功能，因为在播放或者录音到一个内存区域时，内存区域不能太大，这样在播放或者录音到内存区域满时，就需要计算机暂停录音或者播放，去进行相关的处理工作，准备下一个内存区域；这样中间就有一个短暂的时间间隔，会影响播放或者录音的语音质量；声卡通过提供两个缓冲区(即双缓冲)来解决此问题，具体处理方式为：每次准备两个内存区域，当一个内存区域播放或者录音结束时，板卡自动切换到另外一个内存区域进行播放或者录音，这样就保证了语音播放或者录音的连贯性。目前普通电话语音卡主要用于播放文件和录音到文件，而不是到内存区域，所以目前的普通电话语音卡普遍不支持双缓冲算法。

本发明的电话接入模块采用普通电话语音卡，在其上增加双呼出算法，算法如下：

(1)准备两块内存区域，每块内存区域的大小为960字节，可以保存120ms的语音。

(2)让录音或者播放程序轮流使用这两块内存区域，即一个内存区域A使用完毕，立即使用内存区域B。并且在切换到内存区域B时，给电话接入模块发送一个消息。电话接入模块接收到此消息后，更新内存区域A的内容，这样当录音或者播放程序使用完内存区域B时，内存区域A又可以继续使用。

这样通过内存区域A和内存区域B的不停的切换使用，保证了内存录音或者播放的连续性，大大提高了语音质量。

电话接入模块采集的语音以RTP/RTCP协议封装成IP报文，通过内部总线发送给音频处理模块；同样，音频处理模块混音后的语音也以RTP/RTCP协议封装成IP报文，通过内部总线发送给电话接入模块，电话接入模块把接收到的RTP/RTCP报文解包后通过双缓冲技术播放给电话用户。

4、音频处理模块：不管是电话用户，还是计算机用户，音频处理模块都进行相同的处理，处理的基本原理为使得每个用户听到参加会议的其他所有用户的声音，但不能听到自己的声音。具体处理如下：

如图3所示，每个用户把自己的声音以RTP/RTCP报文的方式发送给音频处理模块，音频处理模块经过处理，保证用户1能够听到用户2、用户3、用户4的声音，用户2能够听到用户1、用户3、用户4的声音，即每个人都能够听到其他三个人的声音。音频处理模块的具体算法如下：

(1)接收来自用户1、用户2、用户3、用户4的RTP/RTCP报文。

(2)对报文分别进行解码，去掉报文头，然后对报文内容根据编码方式进行解码，还原成16位的语音数据。(报文内容根据国家的不同分别采用A律或者U律编码，A律/U律编解码属于标准算法)。用户1、用户2、用户3、用户4的解码后的16位语音数据分别以voice1、voice2、voice3、voice4表示。

(3)把voice1、voice2、voice3、voice4相加，结果以voice表示。

(4)音频处理模块给用户1发送的语音数据为voice减去voice1，给用户2发送的语音数据为voice减去voice2，给用户3发送的语音数据为voice减去voice3，给用户4发送的语音数据为voice减去voice4。

(5)音频处理模块对给每个用户的16位语音数据进行A律/U律转换后，以RTP/RTCP的方式分别发送给每个用户。

一般的算法采用的计算方式为加法，即给用户1发送的语音数据为voice2+voice3+voice4，给用户2发送的语音数据为voice1+voice3+voice4，这样复杂度就为n×(n-1)，而上面音频处理模块采用的算法的复杂度为n×2，这样在n较大，即用户较多时(例如100个用户)，算法的复杂度就大大降低了。

音频处理模块可以完全通过软件来实现。

5、视频处理模块：对于电话用户，没有视频的发送和接收，所以就没有视频的相关处理。视频处理模块仅仅需要处理计算机用户的视频信息。处理的基本原理为使得会议中的每个用户能够看到当前的发言用户，具体看到的图像分两种：单画面和四画面，单画面就仅仅显示一个发言用户，四画面为把一个屏幕分成四部分，分别显示四个用户的图像。它们的算法分别如下：

(1)单画面：

如图4所示，假设用户1、用户2、用户3、用户4参加会议，当前为用户1发言，则大家都看到用户1的图像。

判断谁是当前发言用户的方法为：获取每个用户的最近三秒16位语音数据，判断三秒钟内的语音数据是否大于60％(判断语音和静音的算法为标准算法，ITU相关标准已经规定)，若大于60％(因为人说话时会有一些停顿)，则认为此用户为发言用户，若没有发言用户，则显示第一个加入会议的用户；若有多个发言用户，则比较最近三秒该多个发言用户的16位语音数据的算术平均值，平均值最大的用户显示图像，因为他的发言声音最大。

(2)四画面：四画面是显示最近发言的4个用户的图像。

如图5所示，假设用户1、用户2、用户3、用户4、用户5参加会议，其中用户1、用户2、用户3、用户4为最近发言的4个用户，则大家都看到用户1、用户2、用户3、用户4的图像。

判断谁是最近发言的4个用户的算法为：获取每个用户的最近3秒16位语音数据，取算术平均值，平均值最大的4个用户为最近发言的4个用户。

视频处理模块可以完全通过软件来实现。

上面的两个算法都非常简单，但它们解决了视频会议的自动控制问题，目前大多数视频会议都采用会议主席控制的方式，这种方式要求会议主席在会议进行中要控制哪些用户可以发言，哪些用户不可以发言，显示哪个用户的图像，大大影响的会议的效果；通过本算法使得会议进行过程中不需要人的干预，系统自动切换到合适的图像，与日常的普通会议非常类似，谁发言大家自然就关注谁。

6、数据处理模块

数据处理模块用于处理计算机用户的屏幕共享功能，即一个用户能够把自己的计算机屏幕发送给所有其他与会用户，可以用来演示文档。数据处理模块的功能是接收计算机用户浏览器的控件所发送的数据，然后转发给其他所有用户。

如图6所示，假设用户1、用户2、用户3、用户4参加会议，当前为用户1进行屏幕发送，则大家都看到用户1的计算机屏幕。

用户所在计算机上的浏览器的控件完成的功能如下：

(1)若为当前发送用户则截获所有与计算机屏幕操作相关的操作系统消息，然后把这些消息发送给数据处理模块。

(2)若不是当前发送用户，则接收从数据处理模块发来的报文，这些报文为操作系统消息，把这些操作系统消息发送给当前使用的计算机，则当前计算机屏幕呈现发送用户的屏幕内容。

数据处理模块完成的内容为：按“先到先得”原则，确定当前发送用户，即哪个用户先请求，则他可以发送屏幕，直到他结束发送，下一个用户才能够请求发送。一旦确定发送用户，则把此用户来的IP报文原封不动的发送给其他与会所有计算机用户。

数据处理模块可以完全通过软件来实现。

本发明的电话视频会议系统通过上述八个模块的交互完成电话和视频会议的功能，外部提供E1/模拟线和以太网络接口，计算机用户通过浏览器即可以完成会议的预定、修改和加入以及离开，电话用户通过普通电话或者移动电话就可以方便的加入和离开会议。

综上所述，本发明通过采用浏览器+控件的方式，使得所有的配置都仅仅需要通过浏览器来完成，不用用户单独安装软件，简化了用户的安装配置。由于通过浏览器来参加会议，这就使得大多数人不需要经过任何学习就可以直接使用本系统，大大方便了用户。另外，本发明在普通电话语音卡的DSP上增加双缓冲算法大大提高了内存录音和播放的语音质量。在音频处理模块采用对每个用户语音求和再相减的算法，大大提高了会议混音的效率。在视频处理模块中单画面的发言用户判断方法以及四画面的最近四用户判定算法，采用简单的方式较好解决了视频会议的自动控制问题。同时，本发明通过电话接入用户的语音和计算机用户的语音统一处理，解决了电话会议和IP语音视频的融合问题，使得电话用户和计算机用户都能够方便的参加会议。

Claims (8)

1、一种电话视频会议系统，包括主控单元、数字信号处理单元、内部总线和以太网接口，所述主控单元完成电话视频会议的核心控制功能，所述数字信号处理单元完成电话的接入以及音频、视频和数据的处理功能，所述内部总线用于完成该系统内部各种控制信号及数字信号的传递，所述以太网接口用以连接至以太网，使计算机用户能加入到该电话视频会议系统，其特征在于：还包括有一E1/模拟电话线接入端口，通过数字信号处理单元中的电话接入模块，将固定电话/移动电话用户接入到该电话视频会议系统。

2、如权利要求1所述的电话视频会议系统，其特征在于：所述主控单元包括：呼叫处理模块、会议监控模块、数据库和WEB服务器；所述呼叫处理模块完成对来自电话和IP网络的呼叫控制功能；所述会议监控模块完成对用户异常断线的处理，完成对异常会议的处理；所述数据库完成会议相关信息的保存；所述WEB服务器接受来自计算机用户的Web浏览器的请求，完成会议的预定、召开、修改以及系统的维护；所述数字信号处理模块还包括有：音频处理模块、视频处理模块和数据处理模块；所述音频处理模块完成音频的编解码和混音；所述视频处理模块完成视频的编解码和多画面处理；所述数据处理模块完成数据的编解码和转发。

3、一种电话视频会议系统的音频处理方法，包括：通过一E1/模拟电话线接入端口，将固定电话/移动电话用户接入至一电话接入模块，由该电话接入模块采集音频信号，并以RTP/RTCP协议封装成IP报文，通过内部总线发送给音频处理模块，由音频处理模块进行混音，然后将混音后的语音也以RTP/RTCP协议封装成IP报文，通过内部总线发送给电话接入模块，由电话接入模块把接收到的RTP/RTCP报文解包后通过双缓冲方法播放给电话用户。

4、如权利要求3所述的电话视频会议系统的音频处理方法，其特征在于：所述的双缓冲方法为：在普通的电话语音卡上准备两块内存区域A和B，一个内存区域A使用完毕，立即使用内存区域B，并且在切换到内存区域B时，给电话接入模块发送一个消息，电话接入模块接收到此消息后，更新内存区域A的内容，当录音或者播放程序使用完内存区域B时，内存区域A又被继续使用。

5、一种电话视频会议系统的音频处理方法，包括：通过计算机浏览器控件采集计算机用户的音频信号，以RTP/RTCP协议发送给音频处理模块，由音频处理模块进行混音，然后将混音后的语音也以RTP/RTCP协议通过以太网接口发送给计算机中浏览器控件进行相应处理。

6、如权利要求3或5所述的电话视频会议系统的音频处理方法，其特征在于：所述的音频处理模块进行混音，包括下列步骤：

A)接收来自复数个用户的RTP/RTCP语音报文；

B)对报文分别进行解码，去掉报文头，然后对报文内容根据编码方式进行解码，还原成语音数据；

C)对还原后的复数个语音数据进行求和运算，取得求和结果；

D)分别将求和结果减去该复数个用户的语音数据，作为返送给相对应用户的语音数据；

E)音频处理模块对返送给每个用户语音数据以RTP/RTCP的方式分别发送给每个用户。

7、一种电话视频会议系统的视频处理方法，包括：获取每个计算机用户最近某一时段内的语音数据，判断该时段内的语音数据是否大于60％，若大于60％，则认为此用户为发言用户；若没有发言用户，则显示第一个加入会议的用户；若有多个发言用户，则比较该时段内该多个发言用户的语音数据的算术平均值，显示平均值为最大的用户的图像。

8、一种电话视频会议系统的视频处理方法，包括：获取每个计算机用户最近某一时段内的语音数据，计算该时段内每个用户的语音数据的算术平均值，显示平均值为最大的四个用户的图像。

Images