CN101552660B - 对流媒体数据进行重传、播放的方法、装置及通信系统 - Google Patents

Abstract

本发明公开了一种对流媒体数据进行重传的方法，该方法包括：对待发送的流媒体数据进行编码，为编码后得到的媒体帧分配优先级；利用传送协议对所述媒体帧进行封装，在封装后的数据包的包头添加该媒体帧的优先级，并发送；若经过设定的等待时间后未接收到响应消息，则当所述数据包中优先级满足第一设定条件时，对数据包进行重传。通过本发明，降低了对应用层网络设备的要求并且提高了反馈了速度，提高了用户的最终体验。本发明还公开了一种播放流媒体数据的方法、对流媒体数据进行重传的装置、播放流媒体数据的装置和通信系统。

Description

对流媒体数据进行重传、播放的方法、装置及通信系统

技术领域

本发明涉及通信领域的数据传输技术，尤其涉及一种对流媒体数据进行重传、播放的方法、装置及通信系统。

背景技术

在Internet上的流媒体业务的应用越来越广泛，但是由于现在的压缩技术不成熟和网络体系架构的不完善，在传输层的用户数据报协议(User DatagramProtocol，UDP)和传送控制协议(Transfer Control Protocol，TCP)都不能很好地支持流媒体数据的传输。为了解决这一问题，目前主要的解决方案是将应用层的实时传送协议(Real-time Transport Protocol，RTP)和UDP协议结合，将利用UDP协议封装后的数据包再利用RTP协议进行封装，通过应用层的协议来改善流媒体数据在Internet上的传输性能。

流媒体数据被压缩编码后会区分出不同类型的媒体帧，这些不同类型的媒体帧在流媒体数据播放时起着不同的作用，有些类型的媒体帧对于播放质量是非常关键的，缺少了这些媒体帧在播放时可能会出现抖动等现象，使用户体验较差。例如：当使用H.264/AVC算法对流媒体数据进行压缩编码后会产生3种类型的媒体帧，分别是：I帧、P帧和B帧。其中I帧和P帧对播放质量起着非常重要的作用，若丢失I帧将会使播放时画面出现花屏，并且画面不够流畅。考虑到实际的播放效果，需要对流媒体数据进行分类，让关键的流媒体数据能够最大限度地保证传输的可靠性，对于不重要的流媒体数据可以适当减少重传次数以减轻网络负担。在RTP的封装过程中已经对部分编解码算法提出了针对优先级的位，对封装的不同流媒体数据携带不同的优先级信息。例如，在H.264编码方式中，在网络抽象层(NAL)中定义了2bit的NAL参考ID(NRI)，当NRI的值为00时，表示NAL中流媒体数据优先级较低，在传输失败时不重传；当NRI的值为01时，表示NAL中流媒体数据优先级较高，在传输失败时要重传。但是，NAL位于RTP的载荷中，要获得某流媒体数据的优先权信息需要对利用RTP协议封装的数据包进行拆解。对于某些编解码算法，甚至需要拆解到帧一层才能才能获知流媒体数据的优先级信息，这对于目前应用层网络设备的能力提出了很大的挑战。正因为如此，在实际操作中对帧的优先级应用很少，将传输失败的全部流媒体数据重传，导致网路拥塞，使不重要的流媒体数据占据了大量带宽，而关键的媒体帧又不能够及时传输，影响播放质量。

另外，现有方案中，接收侧在接收到多个数据包后才通过实时传输控制协议(Realtime Transport Control Protocol，RTCP)反馈信息，这种方式的实时性较差，发送端在接收到RTCP协议的数据包时可能已经过了较长的时间，若此时再做出重传反应，可能需要重传的数据包已经过期。因此，现有方案在实时性较高的应用中反馈不及时，效果较差。

发明内容

本发明实施例提供一种对流媒体数据进行重传的方法、装置及通信系统，以解决现有技术存在的通过拆解数据包获取优先权信息进行重传时，对网络通信设备的能力要求较高，实现成本较高的技术问题。

本发明实施例提供一种播放流媒体数据的方法和装置，以解决现有技术存在的信息反馈不及时，实时性较差的技术问题。

一种对流媒体数据进行重传的方法，该方法包括：

对待发送的流媒体数据进行编码，为编码后得到的媒体帧分配优先级；

利用传送协议对所述媒体帧进行封装，在封装后的数据包的包头添加该媒体帧的优先级，并发送；

若经过设定的等待时间后未接收到响应消息，则在滞留时间与传输时间之和小于数据包在接收端的缓冲时间，且当所述数据包中的优先级满足第一设定条件时，对数据包进行重传，其中，所述滞留时间是指数据包从首次发送到当前时间所占用的时长，所述传输时间为数据包从发送端到接收端的传输时间。

一种播放利用所述重传方法进行重传的流媒体数据的方法，该方法包括：

接收数据包，并返回响应消息，如果接收端接收到的数据包中携带了发送序号，则所述响应消息中携带确认序号，表示发送的数据包接收到了，下一次发送携带确认序号的数据包；

利用传送协议对数据包解封装，得到解封装后的媒体帧；

对得到的媒体帧进行解码，播放解码后得到的流媒体数据。

一种对流媒体数据进行重传的装置，该装置包括：

优先级分配模块，用于为待发送的流媒体数据在编码后得到的媒体帧分配优先级；

优先级添加模块，用于利用传送协议对所述媒体帧进行封装，在封装后的数据包的包头添加该媒体帧的优先级，并发送；

执行模块，用于在经过设定的等待时间后未接收到响应消息，则在滞留时间与传输时间之和小于数据包在接收端的缓冲时间，且当所述数据包中的优先级满足第一设定条件时，对数据包进行重传，其中，所述滞留时间是指数据包从首次发送到当前时间所占用的时长，所述传输时间为数据包从发送端到接收端的传输时间。

一种通信系统，所述通信系统包括：

发送端，用于为流媒体数据编码后得到的媒体帧分配优先级，并在利用传送协议对所述媒体帧进行封装后的数据包的包头添加该媒体帧的优先级后发送，当经过设定的等待时间后未接收到响应消息，则在滞留时间与传输时间之和小于数据包在接收端的缓冲时间，且当所述数据包中优先级满足第一设定条件时，对数据包进行重传，其中，所述滞留时间是指数据包从首次发送到当前时间所占用的时长，所述传输时间为数据包从发送端到接收端的传输时间；

接收端，用于接收所述数据包，并返回所述响应消息。

通过本发明实施例记载的方法、装置及通信系统，将媒体帧的优先级信息添加在数据包的包头内，在重传数据包时，可以方便地使用根据优先级信息确定的重传机制，降低了对应用层网络设备的要求；另外，接收端在接收到数据包后及时反馈响应消息，提高了反馈了速度。

附图说明

图1为本发明实施例一中对流媒体数据进行重传的方法步骤流程示意图；

图2为本发明实施例一中重传机制示意图；

图3为本发明实施例二中接收端播放接收到的流媒体数据的方法流程示意图；

图4为本发明实施例二中解封装示意图；

图5为本发明实施例三中对流媒体数据进行重传的装置结构示意图；

图6为本发明实施例四中播放流媒体数据的装置结构示意图；

图7为本发明实施例五中通信系统结构示意图。

具体实施方式

下面结合说明书附图对本发明进行详细的描述。

如图1所示，为本发明实施例一中对流媒体数据进行重传的方法步骤流程示意图，从图中可以看出该方法包括：

步骤101：对待发送的流媒体数据进行编码，为编码后得到的媒体帧分配优先级。

在本发明实施例中，在发送端对待发送的流媒体数据进行编码的编码算法可以是现有的编码算法，例如H.264/AVC算法。

流媒体数据经过编码后得到不同类型的媒体帧，为这些媒体帧分配优先级的原则是：对流媒体数据播放时的效果影响较大的媒体帧分配优先级较高，对播放效果影响较小的媒体帧分配优先级较低。

步骤102：利用传送协议(如RTP协议)对编码后得到的媒体帧进行封装，得到封装后的数据包，在数据包的包头添加该媒体帧的优先级。

在本实施例中，封装媒体帧时要遵循不同优先级的媒体帧封装到不同的数据包中这一原则。

以RTP封装协议为例，可以对RTP数据包包头的格式进行扩展，扩展的RTP协议相对于传统的RTP协议，在包头部分增加了一个2bit的字段(Prt字段)，用来表示媒体帧的优先级。

步骤103：利用传输层的UDP协议对数据包再次进行封装后发送。

步骤104：当等待设定时间后未接收到返回的响应消息，则在滞留时间与传输时间之和小于数据包在接收端的缓冲时间时，并且数据包中媒体帧的优先级满足第一设定条件时，对数据包进行重传；否则，在信道质量较好的情况下传输数据包，信道质量较差的情况下重传结束。在本发明实施例中，第一设定条件可以是根据预先设定的一个优先级和媒体帧的优先级的比较结果来判断媒体帧的优先级是否达到重传的要求。可以设定比较结果为媒体帧的优先级大于该预先设定的优先级的值时，满足第一设定条件；也可以设定媒体帧的优先级不小于该预先设定的优先级的值时，满足第一设定条件。例如：若优先级由低到高划分为1至5这五个等级，且预先设定的优先级为3，则满足第一设定条件是指媒体帧的优先级不低于3，或者，满足第一设定条件也可以是大于3。

本步骤的具体实现方式可以如图2所示，包括以下步骤：

步骤A1、在发送端维护一个计时器，当数据包发送时开始计时，判断在等待时间内能否接收到返回的响应消息，若接收到，则解析并记录该响应消息，并执行步骤A8；否则执行步骤A2。

步骤A2、确定数据包在发送端的滞留时间和当前重传过程中需要的传输时间。

所述滞留时间是指：数据包从首次发送到当前时间所占用的时长，例如：若当前是该数据包的第二次重传，则滞留时间＝首次传输时间+等待时间+第二次传输时间+等待时间。

所述传输时间为数据包从发送端到接收端的传输时间，此传输时间可以根据经验值确定，也可以通过以下方法确认：确定从发送端发送一个数据包，到接收到响应消息的时间，传输时间就是确定的该时间的一半。

步骤A3、判断所述滞留时间与传输时间之和是否小于数据包在接收端的缓冲时间，若是，则执行步骤A4；否则，执行步骤A8。

数据包在接收端的缓冲时间是指：数据包在接收端缓冲区的等待时间。如果确定通过本次重传后，即使该数据包正确到达接收端，也已超过播放该数据包中流媒体数据的时间，则说明该数据包已经没有发送的意义，可以结束该数据包的发送过程。

步骤A4、根据数据包携带的优先级信息确定对应的最大重传次数，并判断该数据包是否达到最大重传次数；若是，则执行步骤A8，否则，执行步骤A5。

优先级越高表明该数据包中的媒体帧对于播放质量所起的作用越大，因此对应的最大重传次数也就越大。

本步骤不是实现本发明目的的必要步骤，也可以不考虑重传次数执行本发明的方案。

步骤A5、判断数据包中携带的优先级是否满足第一设定条件，若是，则执行步骤A7，否则，执行步骤A6。

步骤A6、判断当前信道质量是否满足第二设定条件，若是，则执行步骤A7，否则，执行步骤A8。

判断信道质量是否满足第二设定条件包括：判断信道参数(如信道带宽、信道延时、信道吞吐量和信道负载中的一个或多个)的值是否达到阈值，若达到，则信道质量满足第二设定条件；否则，则信道质量不满足第二设定条件。

在网络信道质量较好的情况下，重传优先级较低的数据包也不会引起网络拥塞；但是在信道质量较差的情况下，不重传优先级较低的数据包，节省带宽。

步骤A7、重传所述数据包，将重传次数加1，并返回步骤A1。

步骤A8、该数据包的发送过程结束。

上述判断是否需要重传的条件顺序不固定。

通过实施例一对发送端发送数据的方法描述，对应地，本发明实施例二还提供一种接收端播放接收到的流媒体数据的方法，如图3所示，包括以下步骤：

步骤301：监听接收端口，判断是否接收到数据包。

步骤302：每次接收到一个数据包后，返回响应消息(ACK)。

如果接收端接收到的数据包中携带了发送序号，则返回的ACK消息中可以携带确认序号，表示发送的数据包接收到了，下一次发送携带确认序号的数据包，其中，发送序号与确认序号之间满足预设条件，如两序号之差为固定值。

例如，发送的RTP数据包中携带的发送序号为100，则返回携带确认序号101的ACK消息；下一次传输时，数据包携带的是101发送序号。

另外，接收端连续接收到设定个数的数据包时，返回RTCP反馈信息。

RTCP协议仍遵循RFC 1889，协议规则维持不变。若RTP、RTCP分别启用n和n+1端口，则ACK启用n+2端口。

步骤303：对数据包解封装，得到解封装后的媒体帧。

若再发送端利用实施例一中扩展RTP协议进行封装，则在接收端进行RTP协议解封装时，需要识别出包头中添加的2bit数据是优先权信息。

步骤304：对解封装后的媒体帧进行解码，播放解码后的流媒体数据。

步骤303的具体实现流程可以如图4所示，包括以下步骤：

步骤B1、判断缓冲区中是否已保存了接收到的所述数据包，若是，则丢弃数据包；否则，执行步骤B2。

接收端接收到数据包后会向发送端返回ACK消息，但是由于网络拥塞等原因，ACK消息也能会传输失败，此时，发送侧根据自身的重传机制可能向接收端重传该数据包，因此，接收端需要判断接收到的数据包是否是重复的。

B2、利用UDP协议对数据包解封装。

B3、利用扩展的RTP协议对数据包解封装。

B4、判断属于同一媒体帧的分片是否都到达了，若是，则将属于同一媒体帧的数据重组为一帧；否则，等待属于同一媒体帧的其它数据到达。

发送侧在编码时，会对较大的媒体帧进行分片，然后分别发送，因此接收端需要将分片后的帧重组。

通过实施例一的描述，本发明实施例三还提供一种对流媒体数据进行重传的装置，该装置可以是流媒体服务器，如图5所示，该装置包括优先级分配模块11、优先级添加模块12和执行模块13，其中：优先级分配模块11用于对待发送的流媒体数据进行编码，为编码后得到的媒体帧分配优先级；优先级添加模块12用于利用传送协议对所述媒体帧进行封装，在封装后的数据包的包头添加该媒体帧的优先级，并发送；执行模块13用于在经过设定的等待时间后未接收到响应消息，且所述数据包中优先级满足第一设定条件时，对数据包进行重传。

另一方面，所述执行模块13还用于在所述数据包中优先级不满足第一设定条件时，判断信道质量是否满足第二设定条件，若满足，则对数据包进行重传；否则，重传结束。

进一步地，所述执行模块13包括计时单元21、触发单元22和操作单元23，其中，计时单元21用于在发送数据包后计时；触发单元22用于在经过设定的等待时间后未接收到响应消息，并且确定重传数据包需要的传输时间和该数据包的滞留时间之和小于数据包在接收端的缓冲时间时，发送触发信号；操作单元23用于在接收到所述触发信号，且所述数据包中优先级满足第一设定条件时，对数据包进行重传。

针对实施例二的描述，本发明实施例四还提供一种播放流媒体数据的装置，可以是流媒体播放客户端，如图6所示，包括响应消息返回模块31、解封装模块32和播放模块33，其中，响应消息返回模块31用于在接收到数据包时，返回ACK；解封装模块32用于利用传送协议对数据包解封装，得到解封装后的媒体帧；播放模块33用于对得到的媒体帧进行解码，播放解码后得到的流媒体数据。

综合以上各实施例的描述，本发明实施例五还提供一种通信系统，如图7所示，包括进行通信的发送端41和接收端42，其中，发送端41用于为流媒体数据编码后得到的媒体帧分配优先级，并在利用传送协议对所述媒体帧进行封装后的数据包的包头添加该媒体帧的优先级后发送，在经过设定的等待时间后未接收到响应消息，且所述数据包中优先级满足第一设定条件时，对数据包进行重传；接收端42用于接收所述数据包，并返回所述响应消息。

进一步地，所述发送端41用于当所述数据包中优先级不满足第一设定条件，且信道质量满足第二设定条件时，对数据包进行重传。所述接收端42用于在返回响应消息后，对利用传送协议解封装后得到的媒体帧进行解码，播放解码后得到的流媒体数据。

通过本发明实施例记载的方法、装置及通信系统，可以获得以下优点：

1、通过扩展RTP协议，在RTP数据包的包头添加优先级，降低了对应用层网络设备的要求，使基于优先权的重传机制的实现更加简便，降低了实现成本。

2、通过本发明的重传机制，在网络信道质量较好的情况下，媒体帧尽可能完整到达接收端；在信道质量较差的情况下，保证关键媒体帧的传送，减少非关键媒体帧的重传，节省了网络带宽，提高了用户的最终体验。

3、接收端及时向发送端返回响应消息，提高了反馈速度，使得在实时性较高的应用场景中可以对丢失的数据包及时重传，使流媒体数据的播放效果较好。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种对流媒体数据进行重传的方法，其特征在于，该方法包括：

对待发送的流媒体数据进行编码，为编码后得到的媒体帧分配优先级；

利用传送协议对所述媒体帧进行封装，在封装后的数据包的包头添加该媒体帧的优先级，并发送；

若经过设定的等待时间后未接收到对应的响应消息，则在滞留时间与传输时间之和小于数据包在接收端的缓冲时间，且当所述数据包中的优先级满足第一设定条件时，对所述数据包进行重传，其中，所述滞留时间是指数据包从首次发送到当前时间所占用的时长，所述传输时间为数据包从发送端到接收端的传输时间。

2.如权利要求1所述的方法，其特征在于，还包括：当所述优先级不满足第一设定条件，且信道质量满足第二设定条件时，对数据包进行重传。

3.如权利要求2所述的方法，其特征在于，判断信道质量是否满足第二设定条件，包括：

判断信道参数的值是否达到阈值，若达到，则满足第二设定条件；否则为不满足第二设定条件；

所述信道参数包括：信道带宽、信道延时、信道吞吐量和信道负载中的一个或多个。

4.如权利要求1所述的方法，其特征在于，利用传送协议对所述媒体帧进行封装时，不同优先级的媒体帧封装在不同的数据包中。

5.一种播放如权利要求1的方法进行重传的流媒体数据的方法，其特征在于，该方法包括：

接收数据包，并返回响应消息，如果接收端接收到的数据包中携带了发送序号，则所述响应消息中携带确认序号，表示发送的数据包接收到了，下一次发送携带确认序号的数据包；

利用传送协议对数据包解封装，得到解封装后的媒体帧；

对得到的媒体帧进行解码，播放解码后得到的流媒体数据。

6.一种对流媒体数据进行重传的装置，其特征在于，该装置包括：

优先级分配模块，用于为待发送的流媒体数据在编码后得到的媒体帧分配优先级；

优先级添加模块，用于利用传送协议对所述媒体帧进行封装，在封装后的数据包的包头添加该媒体帧的优先级，并发送；

执行模块，用于在经过设定的等待时间后未接收到响应消息，则在滞留时间与传输时间之和小于数据包在接收端的缓冲时间，且所述数据包中的优先级满足第一设定条件时，对数据包进行重传，其中，所述滞留时间是指数据包从首次发送到当前时间所占用的时长，所述传输时间为数据包从发送端到接收端的传输时间。

7.如权利要求6所述装置，其特征在于，

所述执行模块，用于在所述数据包中优先级不满足第一设定条件，且信道质量满足第二设定条件时，对数据包进行重传。

8.如权利要求6所述装置，其特征在于，所述执行模块包括：

计时单元，用于在发送数据包后计时；

触发单元，用于在经过设定的等待时间后未接收到响应消息，并且确定重传数据包需要的传输时间和该数据包的滞留时间之和小于数据包在接收端的缓冲时间时，发送触发信号；

操作单元，用于在接收到所述触发信号，且所述数据包中优先级满足第一设定条件时，对数据包进行重传。

9.一种通信系统，其特征在于，所述通信系统包括：

发送端，用于为流媒体数据编码后得到的媒体帧分配优先级，并在利用传送协议对所述媒体帧进行封装后的数据包的包头添加该媒体帧的优先级后发送，当经过设定的等待时间后未接收到响应消息，则在滞留时间与传输时间之和小于数据包在接收端的缓冲时间，且当所述数据包中优先级满足第一设定条件时，对数据包进行重传，其中，所述滞留时间是指数据包从首次发送到当前时间所占用的时长，所述传输时间为数据包从发送端到接收端的传输时间；

接收端，用于接收所述数据包，并返回所述响应消息。

10.如权利要求9所述的通信系统，其特征在于，

所述发送端，用于当所述数据包中优先级不满足第一设定条件，且信道质量满足第二设定条件时，对数据包进行重传。

11.如权利要求9所述的通信系统，其特征在于，

所述接收端，用于在返回响应消息后，对利用传送协议解封装后得到的媒体帧进行解码，播放解码后得到的流媒体数据。

Images