CN101834879A - 一种适应不同网络环境的智能高效视音频数据传输方法 - Google Patents

Abstract

本发明涉及一种适应不同网络环境的智能高效视音频数据传输方法，根据网络状态进行实时调整，当网络丢包率大于阈值时，采用路径最大传输单元的UDP协议传输；当网络丢包率小于阈值而网络延时大于阈值时，采用TCP+UDP协议传输；当网络延时和网络丢包率都小于阈值时，采用TCP协议传输；采用分层设计，一个二进制传输层封装所有网络传输细节，在二进制传输层之上封装视音频传输层，视音频传输层中实现所有视音频相关的逻辑，调用者只需指定需要传输的媒体文件即可实现文件的视音频帧级别的传输，从而大大简化了上层调用者的使用；实现了视音频业务应用根据网络实时特性，智能选择传输策略完成视音频数据的实时传输，获得高效传输性能。

Description

一种适应不同网络环境的智能高效视音频数据传输方法

技术领域

[0001] 本发明涉及一种适应不同网络环境的智能高效视音频数据传输方法，是一种通过 不定期发送探测包及接收回馈来测量网络状态，并根据当前的网络状态进行适时调整的视 音频数据传输方法。

背景技术

[0002] 随着广域网的飞速发展，网络在业务应用系统广泛深入应用，越来越多视音频业 务系统也将跨广域网部署和使用。但是不同的网络例如分组交换网络（以太网）、无线网 络、3G移动通讯网以及一些高速专用网等都有着显著不同的网络特性，整个网络的拥塞状 况随着当前网络流量的变化而变化，其表现出来的网络服务性能也会即时发生变化。业务 系统各通信端实时可用带宽与其所连接的网络的实时环境有很大的依赖关系。视音频数据 尤其是实时流方式的视音频数据与一般的二进制文件数据有比较大的差别。视音频数据必 须保证有序性，前面的数据没有到达接收端时，后面的数据已经到达也不能实时使用；广电 领域还要求视音频必须同步，传输数据量大，传输带宽要求高，大部分应用在浏览或使用视 音频时必须支持帧精度的搜索（Seek)。在这些本身物理性能各异，实时性能不断发生变化 的不同网络上，有必要根据网络实时特性，智能选择 传输策略完成视音频数据的实时传输， 以获得高效传输性能。

[0003] 目前有很多网络传输的软件，但是大都只能在一种或少数几种网络环境下，采用 固定的传输协议，或需根据人工选用特定的传输协议完成数据传输过程，不够智能化。现有 的软件也有采用多个TCP连接完成数据传传输，但是它们要么内部设定固定的链路数，要 么需要人工设定链路数来实现多链路的数据传输，不能根据网络特定或实时性能完成多链 路的数据传输。很多软件在特定的网络环境下工作得很好但是换了个网络环境，传输性能 表现不佳。现有的传输软件侧重于考虑一般二进制文件的传输，而对于视音频数据传输考 虑不够。

发明内容

[0004] 本发明的目的是提出一种适应不同网络环境的智能高效视音频数据传输方法。在 不同网络上，该方法对TCP和UDP传输协议进行有效的组合，实现根据网络实时特性和视音 频业务应用需求，智能选择传输策略完成视音频数据的实时传输，获得高效传输性能。

[0005] 本发明的目的是这样实现的：一种适应不同网络环境的智能高效视音频数据传输 方法，该方法将视音频数据发送端的视音频数据通过互联网传递到接收方，其特征在于，所 述方法包括获取网络环境的实时参数，根据实时参数判断选择数据传输策略；所述实时参 数包括：可用带宽、网络丢包率、网络延时和路径最大传输单元，所述数据传输策略是：

[0006] 当网络丢包率大于丢包率阈值时（无论网络延时是否大于其阈值），服务器采用 路径最大传输单元的UDP协议传输视音频数据；

[0007] 当网络丢包率小于丢包率阈值而网络延时大于网络延时阈值时，服务器采用TCP+UDP协议结合的方法传输视音频数据；

[0008] 当网络延时小于网络延时阈值并且网络丢包率小于丢包率阈值时，服务器采用 TCP协议传输视音频数据；

[0009] 策略选定后在数据传输过程中实时获取网络带宽参数，并根据带宽参数进行如下 决策：当实时占用带宽小于可用带宽时，增加新的传输链路，多条链路并行传输。

[0010] 所述的阈值是默认值或是根据实际网络情况进行定制化设置。

[0011] 所述TCP+UDP协议结合的方法是，正常情况下，通过UDP连接向发送端传输数据； 接收端通过TCP连接向发送端发送重传命令，告诉发送端哪些包丢失了需要重传，发送端 收到重传命令后，将需要重传的数据通过TCP连接重新发送给接收端。

[0012] 所述获取网络路径最大传输单元的方法是：先发送使用最大值的探测包（因为各 种网络的最大传输单元是一些固定的值），如果路由器反馈包过大，则探测包大小缩小为比 上一个探测包小的最大可能值重新发送，重复该过程直至没有该反馈为止，此时的探测包 数据大小即为路径最大传输单元。

[0013] 该传输方法包括视音频传输层和二进制传输层，二进制传输层提供底层网络传 输，实现网络状况探测及调整机制，并对视音频数据传输层提供接口 ；视音频传输层在二进 制传输层的基础上实现，提供与视音频格式及应用直接相关的逻辑，对上层应用程序提供 接口。

[0014] 在所述的接收端的视音频数据传输层建立帧缓存机制，用来接收来自发送端的数 据，并通过帧缓存向接收端本地的应用软件提供数据。视音频数据传输层的帧缓存中对每 一帧都记录有视频头部信息，并建立指定帧搜索功能，所述帧搜索命令的收发都是通过数 据连接进行的。

[0015] 所述视音频传输层封装视音频编解码格式信息、提供帧数据的缓冲，对上层应用 程序提供接口。

[0016] 所述二进制传输层封装了除视音频数据格式、帧缓冲、帧搜索外的所有网络传输 细节，对视音频数据传输层提供接口。

[0017] 本发明产生的有益效果是：

[0018] 本发明实现了视音频业务应用根据网络实时特性，智能选择传输策略完成视音频 数据的实时传输，获得高效传输性能。

[0019] 本发明以二进制数据传输层作为传输底层，在视音频传输层我们可以忽略网络传输的细节，只需要考虑处理视音频方面的特性，视音频传输层只对二进制传输层提出传输 服务质量要求，调用者只需指定需要传输的多媒体文件即可实现文件的视音频帧级别的传 输，从而大大简化了远程播放系统、远程传输系统、远程内容分发系统等上层调用者的使用。

[0020] 下面结合附图和实施例对本发明作进一步说明。 附图说明

[0021] 图1是本发明方法流程图； 图2是延时探测流程图； 图3是丢包率探测流程图；图4是路径最大传输单元（MTU)探测流程图； 图5是视音频数据收发的层次模型图； 图6是视音频传输的传输发送端流程图； 图7是视音频传输的传输接收端流程图； 图8是视音频文件传输流程图。 [0022]

[0023]

[0024]

[0025]

[0026]

[0027]

具体实施方式

[0028] 实施例一：

[0029] 一种适应不同网络环境的智能高效视音频数据传输方法实施例，参见图1、图2、 图3和图4，该方法将视音频数据发送端的视音频数据通过互联网传递到接收方，其过程是 首先获取网络环境的实时参数，获取网络延时阈值、网络丢包率阈值，根据实时参数判断选 择数据传输策略，如图1所示该方法的流程步骤是：

[0030] a.程序启动，探测当前所在网络环境的实时参数；即实时的获取网络环境的实时 参数，所述实时参数包括：网络丢包率、网络延时和路径最大传输单元；

[0031] b.根据所探测到的实时网络性能参数，设定网络延时阈值、网络丢包率阈值，进行 智能决策，即视音频数据通过哪一种数据传输策略传输；

[0032] 所述的数据传输策略是：

[0033] c.当网络丢包率小于丢包率阈值而网络延时大于网络延时阈值时，采用TCP+UDP 协议结合的方法传输；这里的TCP+UDP协议结合的方法是，正常情况下，通过UDP连接向发 送端传输数据；接收端通过TCP连接向发送端发送重传命令，告诉发送端哪些包丢失了需 要重传，发送端收到重传命令后，将需要重传的数据通过TCP连接重新发送给接收端；

[0034] d.当网络丢包率大于丢包率阈值时，无论网络延时是否大于网络延时阈值，都采 用UDP协议传输，数据包大小采用路径最大传输单元；

[0035] e.当网络延时小于网络延时阈值并且网络丢包率小于丢包率阈值时，采用TCP协 议传输；

[0036] f.在传输过程中定时获取网络实时带宽参数，所述网络实时带宽参数包括当前占 用带宽和网络可用带宽；

[0037] g.根据网络实时带宽参数进行如下决策：当实时占用带宽小于可用带宽时，增加 新的传输链路，即多条链路并行传输。

[0038] 网络延时与丢包率与网络的类型，线路质量，以及发送端与接收端的距离等等因 素有关，线路质量越差，则丢包率越大，距离越远，则延时越大。从网络类型上看，则局域网 比广域网的丢包率和延时都要低；有线网络比无线网络丢包率和延时要低。

[0039] 系统通常为上述的各阈值事先配置一些默认值，也可以由用户根据实际网络情况 进行定制化设置。[0040] 网络默认延时阈值范围一般在0至200毫秒之间，网络默认丢包率阈值的范围一 般在0%至20%之间。本实施例根据对网络质量的要求，设定网络延时阈值为50毫秒，设 定网络丢包率阈值为12%。

[0041] 在实际环境中，曾在某个时段测试得到从ADSL到电信3G网络，延迟可达182ms， 丢包率达8%，此时网络延时超过网络延时阈值，丢包率没有超过丢包率阈值，根据策略，将 采用TCP+UDP协议结合的方式进行传输；而从北京到内蒙古的专线，延迟12ms，丢包率却为 0%，此时延时小于网络延时阈值并且网络丢包率小于丢包率阈值，则根据策略将采用TCP 协议进行传输。

[0042] 所述探测网络延时的步骤如图2所示，先发送探测包并记录发送时间戳2-1、当收 到接收端对探测包的反馈时记录接收时间戳2-2、通过计算发送时间戳与接收时间戳的差 值获得网络延时2-3 (实际体现为往返时间RTT)。

[0043] 所述探测网络丢包率的步骤如图3所示，先发送若干个丢包率探测包3-1，统计接 收端反馈所收到完整数据包数3-2，计算获得网络丢包率3-3。

[0044] 网络延时的探测可以和网络丢包率的探测融合在一起进行，根据丢包率探测过程 中，接收端反馈情况同步完成网络延时的探测。

[0045] 所述探测路径最大传输单元步骤如图4所示，因为各种网络的最大传输单元是一 些固定的值，因此先发送使用最大值的探测包4-1，如果路由器反馈包过大4-2，则探测包 大小缩小为比上一个探测包小的最大可能值重新发送4-3，重复该过程直至没有该反馈为 止，此时的探测包数据大小即为路径最大传输单元4-4。需要说明的是，不同类型的网络，其 所支持的最大传输单元是不同的，每次探测包缩小的值也是不同的。例如：对于常见的以太 网，最大传输单元的有效数据包长度是1500字节，每次探测包缩小的值为20字节；对于3G 移动通信网络，最大传输单元的有效数据包长度是1448字节，每次探测包缩小的值为16字 节。在实施时可根据不同的网络类型预先设置。

[0046] 所述的网络可用带宽参数通过向网络接收端发送探测数据和接收从接收端反馈 还来的探测数据的大小计算获得。

[0047] 实施例二 ：

[0048] 一种适应不同环境的智能高效视音频数据传输方法优选实施例，参见图5、图6和 图7，以及实施例1，由于要适应多种网络环境，同时要考虑到使用各种不同的传输协议，以 及视音频数据应用业务的实时性和顺序性要求，为方便上层应用调用，视音频数据的传输 层和二进制数据传输层最好相互透明。鉴于此，实现过程中采用分层设计，所述传输方法由 视音频数据传输层和二进制数据传输层组成，二进制传输层提供底层网络传输，实现网络 状况探测及调整机制，并对视音频数据传输层提供接口 ；视音频传输层在二进制传输层的 基础上实现，提供与视音频格式及应用直接相关的逻辑，对上层应用程序提供接口。

[0049] 具体的封装方式是，先实现二进制传输层封装除视音频数据格式、帧缓冲、帧搜索 外的所有网络传输细节，所有的网络状况探测及调整机制均在二进制传输层中实现，并对 视音频数据传输层提供接口 ；在二进制传输层基础之上实现视音频传输层，视音频传输层 中实现与视音频格式及应用直接相关的逻辑，例如视音频编解码格式信息的保存，视音频 帧数据的缓冲等等，对远程播放系统、远程传输系统、远程内容分发系统等上层应用提供接 口。如图5所示。[0050] 以二进制数据传输层作为传输底层，在视音频传输层我们可以忽略网络传输的细 节，只需要考虑处理视音频方面的特性。

[0051] 视音频数据传输层还内建立了指定帧精度搜索（seek)功能及帧缓冲机制，帧缓 冲在接收方建立，视音频数据传送到接收方后，首先缓存在帧缓冲区，再从帧缓冲区提供给 接收端的应用程序。接收端可以在接收播放过程中进行搜索（seek)，指定要跳到第几帧，如 果此时帧缓冲区有需要跳至的视音频数据，则直接从帧缓冲区中读取并提供给播放程序使 用；如果帧缓冲区没有需要跳至的视音频数据，则通知发送端，发送端视音频数据传输层将 定位到指定帧，并通过二进制数据传输层发送。这里搜索命令的收发都是通过数据连接进 行的，而没有额外增加控制连接，这样节约了资源，提高了效率；内建的帧缓存中对每一帧 都记录了头部信息，这样可以快速索引；并且在多连接情况下可以在接收端的视音频传输 层的帧缓冲区内实现帧的自动排序，达到有序性的要求，帧精度seek功能支持及帧缓冲机 制对于像网络上视频播放时需要前后拖动播放位置的应用场景是非常方便的。

[0052] 所述视音频数据层发送方执行的步骤如图6所示，向接收方发送视音频格式信息 6-1，判断是否达到结束条件，如果满足结束条件则结束传输6-2，如果不满足结束条件，则 从视音频文件中获取视音频数据并发送6-3，如果传输过程中收到接受方的Seek请求，则 重新定位文件指针到要Seek的位置6-4，然后重复上述过程直到满足结束条件。

[0053] 所述视音频数据层接收方执行的步骤如图7所示，接收发送方发来的视音频格式 信息7-1 ；判断是否达到结束条件，如果满足结束条件则结束传输7-2 ；如果不满足结束条 件，则接收视音频数据7-3，并判断是否是需要将接收到的视音频数据写入本地接收文件， 如果需要，则将接收到的视音频数据写入指定文件7-4 ；否则放入帧缓冲中并通知上层应 用程序有视音频数据到达7-5，如果需要seek(通常是由上层应用调用），则向发送方发送 seek请求7-6，然后重复上述过程直到满足结束条件。

[0054] 一个完整的视音频文件传输过程如图8所示：

[0055] 上层应用程序通过调用视音频传输层接口，指定本端是要监听本地端口还是要主 动连接远端8-1 ；

[0056] 视音频传输层再调用底层二进制传输层的接口进行监听或连接，如果是要监听则 等待远端主动连接，当连接建立之后，视音频传输层通知上层应用程序8-2 ；

[0057] 上层应用程序接到连接建立通知后，调用视音频传输层接口，指定要本端是要作 为发送方还是接收方8-3 ；

[0058] 如果是发送方，指定要发送的源视音频文件名，进入视音频数据的发送过程；如果 是接收方，则需要指定是否要写文件，如果需要写文件的话，则还需要指定目标视音频文件 名。进入视音频数据的接收过程8-4。

[0059] 所述视音频数据的发送过程是：

[0060] 先向接收方发送视音频格式信息；

[0061] 判断是否达到结束条件，如果满足结束条件则结束传输；如果不满足结束条件，则 从视音频文件中获取视音频数据并发送；

[0062] 如果收到接受方的Seek请求，则重新定位文件指针到要Seek的位置。

[0063] 重复上述⑵到（3)过程直到满足结束条件。

[0064] 所述视音频数据的接受过程是：[0065] (1)接收发送方发来的视音频格式信息并保存；

[0066] (2)判断是否达到结束条件，如果满足结束条件则结束传输；如果不满足结束条件，则接收视音频数据；

[0067] (3)判断是否是写文件，如果是写文件的话，则将视音频数据写入指定文件；否则放入帧缓冲中并通知上层应用程序有视音频数据到达；

[0068] (4)判断是否需要seek(通常是由上层应用调用），如果是则向发送方发送seek 请求；

[0069] (5)重复⑵到（4)过程直到满足结束条件。

[0070] 发送完毕或者接收完毕，通知上层应用程序8-5。

Claims (10)

1. 一种适应不同网络环境的智能高效视音频数据传输方法，该方法将视音频数据发送端的视音频数据通过互联网传递到接收方，其特征在于，所述方法包括获取网络环境的实时参数，根据实时参数判断选择数据传输策略；所述实时参数包括：可用带宽、网络丢包率、网络延时和路径最大传输单元；所述数据传输策略是：当网络丢包率大于丢包率阈值时，服务器采用UDP协议传输视音频数据，数据包大小选用路径最大传输单元；当网络丢包率小于丢包率阈值而网络延时大于网络延时阈值时，服务器采用TCP+UDP协议结合的方法传输视音频数据；当网络延时小于延时阈值并且网络丢包率小于丢包率阈值时，服务器采用TCP协议传输视音频数据；策略选定后在数据传输过程中实时获取可用带宽、网络丢包率、网络延时和网络带宽参数，并根据带宽参数进行如下决策：当实时占用带宽小于可用带宽时，增加新的传输链路，使用多条链路并行传输；根据可用带宽、网络丢包率、网络延时调整当前的数据传输策略。
2. 2.根据权利要求1所述一种适应不同网络环境的智能高效视音频数据传输方法，其特 征在于，所述的丢包率阈值和网络延时阈值是默认值。
3. 3.根据权利要求2所述一种适应不同网络环境的智能高效视音频数据传输方法，其特 征在于，所述网络延时阈值默认值范围在0至200毫秒之间，网络丢包率阈值默认值范围在 0%至20%之间。
4. 4.根据权利要求1所述一种适应不同网络环境的智能高效视音频数据传输方法，其特 征在于，所述的丢包率阈值和网络延时阈值是根据实际网络情况进行定制化设置。
5. 5.根据权利要求1所述一种适应不同网络环境的智能高效视音频数据传输方法，其特 征在于，所述TCP+UDP协议结合方法是，正常情况下，通过UDP连接向发送端传输数据；接收 端通过TCP连接向发送端发送重传命令，告诉发送端哪些包丢失了需要重传，发送端收到 重传命令后，将需要重传的数据通过TCP连接重新发送给接收端。
6. 6.根据权利要求1所述一种适应不同网络环境的智能高效视音频数据传输方法，其特 征在于，所述获取网络路径最大传输单元的方法是：发送数据长度为该网络允许最大值的 探测包，如果路由器反馈包过大，则探测包大小缩小为比上一个探测包小的最大可能值重 新发送，重复该过程直至没有该反馈为止，此时的探测包数据大小即为路径最大传输单元。
7. 7.根据权利要求1所述一种适应不同网络环境的智能高效视音频数据传输方法，其特 征在于，该传输方法包括视音频传输层和二进制传输层，二进制传输层提供底层网络传输， 实现网络状况探测及调整机制，并对视音频数据传输层提供接口 ；视音频传输层在二进制 传输层的基础上实现，提供与视音频格式及应用直接相关的逻辑，对上层应用程序提供接
8. 8.根据权利要求7所述一种适应不同网络环境的智能高效视音频数据传输方法，其特 征在于，在所述的接收端的视音频数据传输层建立帧缓冲机制，用来接收来自发送端的数 据，并通过帧缓冲向接收端本地的应用软件提供数据，所述视音频数据传输层的帧缓存中 对每一帧都记录有视频头部信息，并建立指定帧搜索功能，所述指定帧搜索功能所使用的 帧搜索命令的收发都是通过数据连接进行的。
9. 9.根据权利要求7所述一种适应不同网络环境的智能高效视音频数据传输方法，其特 征在于，所述视音频传输层封装视音频编解码格式信息，提供帧数据的缓冲，对上层应用程 序提供接口。
10. 10.根据权利要求7所述一种适应不同网络环境的智能高效视音频数据传输方法，其 特征在于，所述二进制传输层封装了除视音频数据格式、帧缓冲、帧搜索外的所有网络传输 细节，对视音频数据传输层提供接口。