CN105721217A - 基于Web的音频通信质量改进方法 - Google Patents

Abstract

本发明提出了一种基于Web的音频通信质量改进方法，修改编码比特率相关信息，提高了低带宽时Web音频通信质量，解决了Web通信质量存在的不足；本发明构建了基于Web的通信质量评估系统，解决了在局域网内如何测试不同网络状况下的Web通信情况问题，极大地降低了测试系统的复杂度，增加了网络的可控因素，提高了网络环境的灵活性；本发明在接收端录制媒体文件，并运用客观评估算法对其评估，最后用得到的数据客观地表示通信质量，增强了评估结果的客观性和易用性。

Description

基于Web的音频通信质量改进方法

技术领域

本发明涉及多媒体通信技术领域，是一种针对低带宽时基于Web的音频通信质量的改进方法。

背景技术

随着HTML5和相关Web技术的迅速发展，新倡导的WebRTC技术进入人们视线并获得了重大关注。WebRTC技术是一种基于浏览器进行音视频实时通信的技术。其通过向Web应用开发人员提供基于JavaScript的通信能力开放API，从而简化Web的多媒体通信应用的开发；支持跨浏览器、跨平台，且无需依赖任何第三方插件，极大地提高了使用的便利性。目前，WebRTC支持多种较为成熟的音视频编码方式，但对网络条件较差情况下的通信质量研究仍较少，并且在通信质量评估方面还未形成一套完整的方案。

发明内容

本发明的目的是提供一种基于Web的音频通信质量改进方法，该方法提出了通过限制编码的比特率来改善Web实时通信（WebRTC）质量，解决了WebRTC在低带宽情况下音频通信质量较差的问题。

为了实现上述目的，本发明的技术方案为：

一种基于Web的音频通信质量改进方法，具体为：先修改编码的比特率，再建立Web通信；构建基于Web的通信质量评估系统，对不同网络状况下的Web通信进行媒体评估，测试该方法对Web音频通信质量的改进效果。

所述修改编码比特率的方法是指，本发明针对Web音频通信在带宽较低时质量迅速下降的问题，通过修改通信中默认编码方式的比特率测试不同编码性能对Web通信质量的影响，研究其通信的最优状态。

所述建立Web通信的方式为：两个客户端分别通过浏览器访问Web服务器，Web服务器控制客户端的浏览器使用WebSocket连接Web服务器，并通过Web服务器实现两个客户端的自动建立。

所述基于Web的通信质量评估系统包括网络损伤仿真设备、Web服务器和至少两个客户端；其中不同客户端间通过网络损伤仿真设备连接，Web服务器分别与各客户端通信连接。

所述基于Web的通信质量评估系统进行媒体评估的具体过程为：

两个客户端建立通信，其中一个客户端进行媒体播放，另一个客户端录制和保存媒体文件，并对其进行评估，评估方式采用客观评估算法对录制和保存的媒体文件进行质量评估，得到数据结果来客观地表示Web通信质量。

本发明在Web通信机制的基础上，提出了限制编码比特率的方法，改善了低带宽下基于Web的音频通信质量，解决了Web通信质量存在的不足。

本发明在完全可控的环境下，实现了基于Web的通信质量评估；使用网络损伤仿真设备，在局域网内模拟广域网测试环境，实现了在各种不同的网络状况下对Web通信进行测试，简化了网络环境硬件配置，提高了设备的重复使用率。

本发明提供的Web通信质量评估系统，采用多个不同的媒体文件作为输入，结果具有较高的准确性；同时通过自动化部分流程，减少了测试人员手工操作的工作量，提高了测试效率；不仅适用于音频质量通信评估，同样也适用于视频通信质量评估。

本发明的有益效果是，本发明提出了更改通信中默认编码方式的比特率来改善Web音频通信质量，解决了在低带宽情况下Web音频通信质量较差的问题；提出了一套基于Web的通信质量评估系统，解决了在局域网内如何测试不同网络状况下通信情况问题，极大地降低了测试系统的复杂度，增加了网络的可控因素，提高了网络环境的灵活性；在接收端录制为媒体文件，并运用客观评估算法对其评估，最后用评估数据客观地表示通信质量，增强了结果的客观性和易用性。

附图说明

图1是本发明提供的基于Web的通信质量改进方法及评估系统结构。

图2是本发明提供的基于Web的通信系统测试网络。

具体实施方式

为使本发明的技术方案更加清晰，下面结合附图1将本发明分为Web音频通信改进方法、Web通信质量评估系统两大部分进行说明。其中Web音频通信改进方法包括通信建立机制、编码比特率修改，Web通信质量评估系统包括网络环境配置、媒体播放及录制、媒体评估三个部分。

(一)Web音频通信改进方法

本实施例所涉及的Web通信从连接的客户端数量角度，分为一对一模式和多人模式。本发明采用一对一模式，该模式具有两个客户端，每个客户端浏览器将本地采集到的多媒体数据发送给对方，最后浏览器对本地和对方的多媒体数据进行处理和显示。

1.通信建立机制

Web通信建立通过浏览器之间传递信令来完成，信令分为两种：offer和answer，主要内容的格式须符合会话描述协议(SessionDescriptionProtocol，简称SDP)的要求。SDP是多媒体通信初始化信息的规范，主要负责会话请求、网络配置、及其他形式的多媒体活动的初始化等。WebRTC使用RTCPeerConnectionAPI建立通信信道，浏览器之间媒体流传输由该点对点信道完成，无需经过服务器中转。设两个浏览器为甲和乙，其过程是：

1）甲通过createOffer()方法创建含有SDP信息的offer信令；

2）甲通过setLocalDescription()方法，将SDP信息传给甲的peerConnection；

3）甲将offer信令通过信令服务器发送给乙；

4）乙收到offer信令后将SDP信息提取出来，并使用setRemoteDescription()方法传给乙的peerConnection；

5）乙通过createAnswer()方法创建相应的answer信令；

6）乙通过setLocalDescription()方法，将SDP信息传给乙的peerConnection；

7）乙将answer信令通过信令服务器发送给甲；

8）甲收到answer信令后将SDP信息提取出来，并使用setRemoteDescription()方法传给甲的peerConnection；

9）offer和answer信令交互完成，双方从SDP信息中获取了两端主机的网络地址和媒体流特性等信息，点对点信道建立。

2.编码比特率修改

本发明提出修改编码的比特率值来改进WebRTC音频通信质量，实施方法如下。

例一：

结合WebRTC通信建立过程，本实施例可通过修改SDP信息中编码参数和媒体属性的方法，研究WebRTC通信质量的变化，具体包括：编码优先级、编码比特率、帧率、带宽等；使用peerConnection中localDescription参数直接获取本机offerSDP信息，修改SDP信息然后将其发送给目的客户端，目的客户端生成相应的answerSDP信息，从而建立具有不同媒体属性的WebRTC通信。如下是SDP信息的音频编码部分内容：

m=audio49626UDP/TLS/RTP/SAVPF11110310490810610513126

……

a=setup:actpass

a=mid:audio

a=extmap:1urn:ietf:params:rtp-hdrext:ssrc-audio-level

a=extmap:3http://www.webrtc.org/experiments/rtp-hdrext/abs-send-time

a=sendrecv

a=rtcp-mux

a=rtpmap:111opus/48000/2

a=fmtp:111minptime=10;useinbandfec=1

a=rtpmap:103ISAC/16000

a=rtpmap:104ISAC/32000

a=rtpmap:9G722/8000

a=rtpmap:0PCMU/8000

a=rtpmap:8PCMA/8000

a=rtpmap:106CN/32000

a=rtpmap:105CN/16000

a=rtpmap:13CN/8000

a=rtpmap:126telephone-event/8000

a=maxptime:60

在SDP协议规范中，“maxaveragebitrate”参数用于指定最大平均比特率，单位为b/s，值的有效范围为6000~510000之间。譬如在“a=fmtp:111minptime=10;useinbandfec=1”中添加maxaveragebitrate=10000设置，便可限制OPUS编码方式的最大平均比特率为10kb/s，从而使WebRTC音频通信能够适应更低的带宽情况。

上述例一详细介绍了一种修改编码比特率的方法，但并非用以限制本发明。本发明的关键在于提出了编码比特率的修改有利于改进WebRTC通信质量，凡是使用修改比特率的基础上作出的相关质量改进都应属于本专利的保护范围之内。

(二)Web通信质量评估系统

本实施例所涉及的基于Web的通信质量评估系统，硬件设备主要包括：Web服务器、两个WebRTC终端的计算机设备，一台网络损伤仿真设备，以及用于构成局域网的路由设备。Web服务器用于下发Web应用程序。WebRTC通信客户端必须运行于不同的计算机设备上以防止相互干扰。网络损伤仿真设备被置于两台PC的默认网关，通过配置其参数可以在局域网内模拟广域网的各种网络状况，如丢包、抖动、延时、乱序等，以仿真不同网络损伤条件下的WebRTC通信情况；可以使用基于硬件或软件的网络损伤仿真设备，基于软件的仿真设备可以运行在一般PC上。

评估系统包括网络环境配置、媒体播放及录制、媒体评估三个部分，不仅适用于音频通信质量评估，同样也适用于视频通信质量评估。

网络环境配置部分，将硬件设备通过网线接入以太网，并通过IP地址配置在同一个子网内，WebRTC两台终端PC的默认网关设为网络仿真设备的IP地址。

媒体播放及录制部分提供虚拟媒体采集设备功能，可以将事先媒体文件转换为麦克风、摄像头媒体流格式，并被浏览器采集作为其媒体流输入；将接收端收到的媒体流自动记录为媒体文件。

媒体评估部分用于对记录的媒体文件进行提取和对齐处理，然后运用客观评估算法作质量评估，得到数据结果以客观地表示Web通信质量情况。

1.网络环境配置

如图2所示，是本发明提供的基于Web的通信测试网络。该网络接入到同一子网内，主要由Web服务器、两台Web通信客户端，以及一台网络损伤仿真设备构成。

Web服务器存储HTML和JavaScript脚本，并用作信令服务器，管理和协助建立WebRTC通信。当客户端浏览器发起请求，Web服务器下传脚本给客户端，客户端建立网页并通过信令交互建立点对点通信信道。两台客户端安装浏览器程序，作为WebRTC通信客户端。网络损伤仿真设备，可控制不同的网络损伤参数如丢包、抖动、延时、乱序等，以模拟广域网的不同网络状况。本实施例使用的是基于软件的网络损伤仿真设备，具体是在一台PC客户端上运行软件或者基于Linux内核从光盘启动即可作为网络仿真仪；设置网络仿真仪的IP地址为客户端的默认网关，使客户端发出的媒体数据均先经过网络仿真仪的处理再到达另一客户端。设置方法有两种，具体如下：

1)在“控制面板”下直接设置网络连接；

2)在命令行模式下设置，首先使用命令routedelete0.0.0.0删除默认路由，然后使用命令routeadd0.0.0.0mask0.0.0.0X.X.X.X，添加默认路由指向网络仿真仪。（其中X.X.X.X是网络仿真仪IP地址）

对两个客户端分别做上述操作，更改默认路由表使网络仿真仪为默认网关。所有发向不同网络段的数据均会经过网络仿真仪的处理，以测试不同网络状况对WebRTC通信质量的影响。

2.媒体播放及录制

本发明提供的WebRTC通信测试流程具体如下：

（1）系统设置

（11）下载和安装测试软件，包括浏览器、录制软件、以及多媒体处理工具（用于记录、转换数字音视频文件的开源工具）。

（12）设虚拟像头为默认摄像头。

（13）设内置“立体声混音”为默认录音设备。

（14）关闭系统声音和其它所有无关程序声音，发送端仅保留播放器声音，接收端仅保留浏览器播放声音。

（2）测试步骤

（21）在网络仿真仪上设置网络带宽。

（22）建立Web通信，一个客户端作为发送端，另一客户端作为接收端。

（23）接收端打开录制软件开始录制。

（24）发送端播放媒体文件。

（25）媒体文件播放完毕，结束录制并保存。

（26）返回（21），重设网络带宽并继续测试，从而得到在不同网络状况下web通信的媒体文件。

上述的测试过程只需修改网络仿真仪的可控参数，便可录制得到不同网络状况下的媒体文件，实现了在不同网络状况下测试Web通信质量的目标，提高了测试系统和设备的重复利用率。

上述的测试过程，媒体文件由多个无损格式的媒体文件组成，结果具有较高的准确性和有效性；采用内置媒体设备“立体声混音”为默认设备，保证了录制音频的高音质，减少了现实环境中噪声的影响；发送端须关闭系统声音和其他无关程序声音，仅保留媒体播放声音，避免其它程序声音的干扰，并且防止通信产生回声影响测试。

3.媒体评估

该部分主要包括录制文件处理和媒体评估。录制文件处理用于删除手动录制过程带来的时延，提取出与播放文件相对应的媒体段直接作为评估算法的输入。

本发明提供的音视频处理模块，通过计算机编程提取媒体流，获得与播放文件匹配的等长文件。方法如下：

1)编程提取录制文件的每一帧，计算每一帧的特征值（如音频采样点数据的绝对值、每帧图像的像素均值等）。

2)利用正常媒体流的特征值与冗余媒体流的特征值存在的不同，提取出与播放文件相对应的媒体段重新写入新的媒体文件。

本发明运用客观语音质量评估算法和客观图像评价标准，对原始播放文件和提取后的媒体文件进行对比评估，得到数据结果来客观地表征Web通信质量。其中语音评估算法以输出为-0.5到4.5的MOS分为标准，视频评估以输出PSNR为标准。

使用本发明提出的改进方法得到的Web通信质量评估结果如表1所示。改进前，Web音频通信在带宽低于65kb/s左右时，通信质量迅速下降，且低于60kb/s时便会发生通信自动中断的现象。经测试，当带宽低于70kb/s时，将比特率调整为10kb/s或6kb/s通信质量改善效果较好。改进后，Web音频通信不仅质量上得到了较大的提高，并且对低带宽的适应能力拓展到了40kb/以下。

表1.Web音频通信质量改进结果

Claims (4)

1.一种基于Web的音频通信质量评估方法，其特征在于，先修改编码的比特率，再建立Web通信；构建基于Web的通信质量评估系统，对不同网络状况下的Web通信进行媒体评估，以测试该方法对Web音频通信质量的改进效果；

所述修改编码比特率的方法是指，本发明针对Web音频通信在带宽较低时质量迅速下降的问题，通过修改通信中默认编码方式的比特率设置以测试不同编码性能对Web通信质量的影响，研究其通信的最优状态；

所述建立Web通信的方式为：两个客户端分别通过浏览器访问Web服务器，Web服务器控制客户端的浏览器使用WebSocket连接Web服务器，并通过Web服务器实现两个客户端的自动建立；

所述基于Web的通信质量评估系统包括网络损伤仿真设备、Web服务器和至少两个客户端；其中不同客户端间通过网络损伤仿真设备连接，Web服务器分别与各客户端通信连接；

所述基于Web的通信质量评估系统进行媒体评估的具体过程为：

两个客户端建立通信，其中一个客户端进行媒体播放，另一个客户端录制和保存媒体文件，并对其进行评估，评估方式采用客观评估算法对录制和保存的媒体文件进行质量评估，得到数据结果来客观地表示Web通信质量。

2.根据权利要求1所述的基于Web的音频通信质量改进方法，其特征在于，在Web通信机制的基础上，提出限制编码比特率设置的方法，改善了低带宽下基于Web的音频通信质量，解决了Web通信质量存在的不足。

3.根据权利要求1所述的基于Web的通信质量评估系统，其特征在于，在完全可控的环境下，实现了基于Web的通信质量评估；使用网络损伤仿真设备，在局域网内模拟广域网测试环境，实现了在各种不同的网络状况下对Web通信进行测试，简化了网络环境硬件配置，提高了设备的重复使用率。

4.根据权利要求1所述的基于Web的通信质量评估系统，其特征在于，采用多个不同的媒体文件作为输入，结果具有较高的准确性；同时通过自动化部分流程，减少了测试人员手工操作的工作量，提高了测试效率；不仅适用于音频通信质量评估，同样也适用于视频通信质量评估。