CN104735470A - 一种流媒体数据传输方法及装置 - Google Patents

Abstract

本发明实施例公开了一种流媒体传输方法及装置，涉及流媒体传输领域，用以减少流媒体传输时的延迟现象。在本发明实施例中，当判断待传输流媒体数据是视频流数据时，获取所述视频流数据中的图像序列的全部编码帧；根据每个编码帧的类型和/或当前网络时延状态，确定出重要编码帧；优先向接收端发送确定出的重要编码帧；在网络出现延迟的情况下，由于本发明实施例确定出了能够保证接收端播放流畅度的重要编码帧，并且优先向接收端发送确定出的重要编码帧，因此，本申请实施例在保证接收端一定播放效果的情况下，减少了流媒体传输时的延迟现象。

Description

一种流媒体数据传输方法及装置

技术领域

本发明涉及流媒体传输领域，尤其涉及一种流媒体数据传输方法及装置。

背景技术

随着计算机技术和无线通信技术的发展，数字多媒体进入产业化阶段，各种多媒体应用平台也在产业化过程中逐渐走向成熟。无线局域网(WLAN)、蓝牙(Bluetooth)以及第三代移动通信(3G)技术已能够提供基本的带宽来满足各种多媒体以及实时视频传输应用的需求；同时，嵌入式系统的计算能力也使得在移动设备上实现实时多媒体信息处理逐步成为现实。对国内外，实时流媒体传输主要应用于视频会议、多屏幕共享等领域。相比于其他的多媒体业务，流媒体数据传输对于实时性、网络带宽、容错性、媒体同步、播放平滑性等方面均有严格要求。

一方面，流媒体对网络可用带宽的要求较高，而当前的Internet(互联网)并没有为流媒体预留出足够的带宽，而且，现有的路由器一般采用的是存储转发、队列被动丢弃的发送数据的方式，当网络可用带宽小于实时流媒体所要求的最小带宽时，这种发送数据的方式容易导致流媒体数据包在路由器上大量拥塞，这种情况下，路由器会按照丢包策略，将流媒体数据包中的一部分丢弃，从而对流媒体的播放质量造成很大的影响。

另一方面，流媒体对于延迟的要求也显著高于一般数据。如实时语音的延迟不能高于250ms，实时视频则不能大于1s，由于流媒体数据和一般数据一样，都需要通过路由器的存储、排队、转发等过程，当网络出现拥塞时，路由器不能将流媒体数据及时输出，流媒体数据仅在路由器上的延迟往往就会超过流媒体所要求的最小延迟，延迟到达接收端的媒体数据包在播放时会造成停顿、抖动等较差的播放效果。

发明内容

本发明实施例提供一种流媒体传输方法及装置，用以减少流媒体传输时的延迟现象。

本发明实施例提供一种流媒体传输方法，该方法包括：

当判断待传输流媒体数据是视频流数据时，获取所述视频流数据中的图像序列的全部编码帧；

根据每个编码帧的类型和/或当前网络时延状态，确定出重要编码帧；

优先向接收端发送确定出的重要编码帧。

本发明实施例还提供一种流媒体数据传输装置，该装置包括：

获取单元，用于当判断待传输流媒体数据是视频流数据时，获取所述视频流数据中的图像序列的全部编码帧；

确定单元，用于根据每个编码帧的类型和/或当前网络时延状态，确定出重要编码帧；

发送单元，用于优先向接收端发送确定出的重要编码帧。

从上述技术方案可以看出，当待传输流媒体数据是视频流数据时，根据每个编码帧的类型和/或当前网络时延状态，在全部编码帧中选择部分重要编码帧进行优先传输，而现有技术需要传输视频流数据的全部编码帧。当网络拥塞时，相比现有技术，本发明实施例仅需传输部分编码帧，只要保证接收端能够根据这部分编码帧中包含的图像信息进行基本完整的播放即可，由于待传输的编码帧的数量降低了，从而减少了视频流数据传输时的时延现象，提高了传输效率，而且保证接收端能够流畅播放流媒体文件。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的流媒体传输方法的流程示意图；

图2为本发明实施例提供的一种发送端的结构示意图；

图3为本发明实施例提供的一种发送端向接收端传输流媒体数据的流程示意图；

图4为本发明实施例提供的流媒体数据传输装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例可以应用于通过Internet网络传输各种类型的流媒体数据的应用场景，本发明实施例尤其可以适用于基于时间重要性和内容重要性进行实时流媒体传输的应用场景。在本发明实施例中，流媒体数据的发送端可以为各种具有音频和视频编码能力的设备，流媒体数据的接收端可以为各种具有音频和视频解码能力的设备。

本发明实施例针对现有技术中当网络拥塞时，流媒体数据大量延迟的现象，使流媒体数据能够适应现有Internet网络传输的特点，提高端到端的流媒体服务质量。本发明实施例提供了一种实时流媒体数据的传输算法，可以根据实时流媒体数据所承载的音视频的时间重要性和内容要重要性的高低，有选择的发送实时流媒体数据的内容，减少实时流媒体数据端到端的延时，控制无线网络网络拥塞，增强观看效果。

图1示出了本发明实施例提供的流媒体传输方法的流程示意图，如图1所示，该方法可以包括：

步骤11：当判断待传输流媒体数据是视频流数据时，获取视频流数据中的图像序列的全部编码帧。

步骤12：根据每个编码帧的类型和/或当前网络时延状态，确定出重要编码帧。

步骤13：优先向接收端发送确定出的重要编码帧。

可选的，重要编码帧用于表征该图像序列中的图像信息。

可选的，在上述步骤12中，图像序列由一个帧内编码帧和若干个前向预测编码帧组成；将图像序列中的帧内编码帧确定为重要编码帧；将图像序列中的若干个前向预测编码帧中符合当前网络传输时延要求的前向预测编码帧确定为重要编码帧。

可选的，在上述步骤12中，确定前向预测编码帧的采样时间；并将前向预测编码帧的采样时间与当前时间的差值作为该前向预测编码帧的采样时间差；判断采样时间差是否小于当前网络时延，若是，则将该前向预测编码帧确定为重要编码帧。

可选的，在上述步骤13之后，还包括：确定是否需要将全部编码帧中除重要编码帧以外的编码帧发送给接收端，若需要，则将除重要编码帧以外的编码帧发送给接收端；否则，丢弃除重要编码帧以外的编码帧。

可选的，在上述步骤11之前，还包括：根据待传输流媒体数据的标识信息，确定待传输流媒体数据的类型；若待传输流媒体数据的类型为音频流数据，则将音频流数据的全部编码帧发送给接收端。

下面对本发明实施例进行详细描述。

目前的实时流媒体传输方案中，大多采用H.264(H.264是新一代数字视频压缩格式)标准进行视频编码。在H.264标准中，图像以图像序列为单位进行组织，一个图像序列是一段图像编码后的数据流，以I帧(帧内编码帧)开始，到下一个I帧结束。一个图像序列的第一个图像叫做IDR图像(Instantaneous Decoding Refresh，立即刷新图像)，IDR图像都是I帧图像。H.264中引入IDR图像是为了解码的重同步，当解码器解码到IDR图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样，如果前一个序列出现重大错误，在这里可以获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。

在H.264中，I帧为帧内编码帧，I帧属于关键帧，可以为某一帧画面的完整保留；解码时只需要本帧数据就可以完成。I帧是一个全帧压缩编码帧，它将全帧图像信息进行类似JPEG(国际图像压缩标准)标准的帧内压缩编码方法，解码时仅用I帧的数据就可重构完整图像，I帧描述了图像背景和运动主体的详情，I帧不需要参考其他画面而生成，I帧是P帧(前向预测编码帧)和B帧(后向预测编码帧)的参考帧(其质量直接影响到同组中以后各帧的质量)，I帧是帧组GOP(Group of Pictures，策略影响编码质量)的基础帧(第一帧)，在一组中只有一个I帧，I帧不需要考虑运动矢量，帧所占数据的信息量比较大。

P帧是前向预测编码帧。P帧表示的是这一帧跟之前的一个关键帧(或P帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面，也就是差别帧。P帧没有完整画面数据，只有与前一帧的画面差别的数据。对于P帧的预测与重构：P帧是以I帧为参考帧，在I帧中找出P帧“某点”的预测值和运动矢量，取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值，从而可得到完整的P帧。P帧是I帧后面相隔1～2帧的编码帧，P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差)，P帧解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像，P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧，帧可以是其后面P帧的参考帧，也可以是其前后的B帧的参考帧，由于P帧是参考帧,它可能造成解码错误的扩散，由于是差值传送，P帧的压缩比较高。

需要说明的是，实时网络传输几乎没有B帧，即仅采用P帧和I帧的方式来编码，这是由于B帧会造成网络数据的等待，因此在实际应用中，实时网络传输几乎没有B帧。

实时流媒体传输采用RTP(Real-time Transport Protocol，实时传输协议)/RTCP(Real-time Streaming Protocol，实时流协议)协议，RTP负责实时流媒体音视频数据的发送，RTCP负责实时流媒体控制信息的传送。在RTP传输过程中，RTP包头的第2个32Bit即为RTP包的时间戳(Time Stamp)，时间戳占32位。时间戳反映了RTP分组中的数据的第一个字节的采样时刻。在一次会话开始时的时间戳初值也是随机选择的。即使是没有信号发送时，时间戳的数值也要随时间不断的增加。接收端使用时间戳可准确知道应当在什么时间还原哪一个数据块，从而消除传输中的抖动。时间戳还可用来使视频应用中声音和图像同步。在RTP协议中并没有规定时间戳的粒度，这取决于有效载荷的类型。因此RTP的时间戳又称为媒体时间戳，以强调这种时间戳的粒度取决于信号的类型。时间戳就是一个值，用来反映某个数据块的产生(采集)时间点的，后采集的数据块的时间戳肯定是大于先采集的数据块的。有了这样一个时间戳，就可以标记数据块的先后顺序。在实时流传输中，数据采集后立刻传递到RTP模块进行发送，那么，其实，数据块的采集时间戳就直接作为RTP包的时间戳。时间戳的单位采用的是采样频率的倒数，例如采样频率为8000Hz时，时间戳的单位为1/8000，时间戳增量是指两个RTP包之间的时间间隔。

需要说明的是，本发明实施例仅以目前主流的流媒体传输方案为例进行说明，在实际应用时，本发明实施例提供的流媒体数据传输方法及装置不限于采用H.264标准编码的视频，也不限于采用RTP协议传输的视频。

图2示出了本发明实施例提供的一种发送端的结构示意图，如图2所示，在本发明实施例提供的流媒体数据传输方案中，发送端可以至少包括：编码模块21和网络发送模块22。编码模块21和网络发送模块22分别根据预先设置的线程优先级由发送端操作系统进行调度；其中，编码模块21用于对视频进行编码，网络发送模块22用于周期性的与编码模块21进行数据交互并获取流媒体数据后并通过网络进行传输。

图3示出了本发明实施例提供的一种发送端向接收端传输流媒体数据的流程示意图，如图3所示，该流程可以包括：

步骤31：发送端的网络发送模块从编码模块中拷贝编码后的音视频流媒体数据。

具体实现时，网络发送模块可以通过内存拷贝的方法从底层硬件编码模块获得流媒体数据。需要说明的是，本发明实施例仅以通过内存拷贝的方式进行举例，在实际应用中，发送端可以通过多种方式获取流媒体数据。

步骤32：网络发送模块判断拷贝得到的流媒体数据的类型，若是音频流数据，则执行步骤33；若是视频流数据，则执行步骤34。

具体实现时，由于每个实时流媒体数据中分为不同的流，有视频流和音频流，每个流有不同的标识信息(如，特征代码)，网络发送模块根据不同的流特征代码判断拷贝得到的流媒体数据是音频流数据还是视频流数据。

步骤33：在待传输流媒体数据的类型为音频流数据时，将音频流数据的全部编码帧发送给接收端，以指示接收端根据接收到的编码帧进行解码并播放。

具体实现时，由于人耳对音频数据的丢失比较敏感，因此在本发明实施例中完整发送所有的音频流数据的每一个编码帧，不对其进行处理；从而保证音频数据对延时的要求。

需要说明的是，在执行步骤33之后，发送端结束音频流数据传输流程。

步骤34：在待传输流媒体数据的类型为视频流数据时，网络发送模块对视频流媒体数据进行内容重要性分析，根据内容重要性分析结果，确定出重要编码帧。

具体实现时，由于人眼的视觉暂留效应，人眼在观察景物时，光信号传入人大脑神经，需经过一段短暂的时间，光的作用结束后，视觉形象并不立即消失，这种残留的视觉称“后像”，视觉的这一现象则被称为“视觉暂留”，是光对视网膜所产生的视觉在光停止作用后，仍保留一段时间的现象。因此，根据人眼的这一特性，在24FPS(Frames Per Second，每秒传输帧数)帧率或者更高的帧率播放流媒体的过程中，在一秒钟内丢失若干帧人的大脑是无法察觉到的。

在本发明实施例中，网络发送模块在判断接收到的流媒体数据为视频流数据后，进行视频流数据的内容重要性的分析。具体分析过程可以如下：

根据视频压缩编码的特性，即视频流数据被编码成连续的、且由I帧引导的P帧跟随的数据流。由于I帧和P帧的特性，即I帧包含了其所编码视频帧所有的图像数据，即帧内编码。而P帧为以I帧为参考帧的视频数据，只包括两个不同帧之间不同的部分。因此P帧的丢失不会对视频回放过程中产生人眼可以察觉的现象。

网络发送模块根据当前无线网络发送的状态或当前网络时延状态(例如，根据网络的阻塞情况，或根据接收端返回的实时流媒体数据丢包的数量)进行实时流媒体数据的发送。当网络产生拥塞时，网络发送模块通过不发送图像序列中最后若干个P帧的方式来减轻网络数据发送的负担。这是由于无线网络中数据发送的失败，或者当编码器编码所产生的时延比较大时，编码的实时流媒体数据被大量的缓存在发送端的缓冲区中，这些都造成了端到端的延时。可见，本发明实施例将图像序列中的I帧确定为优先发送的重要编码帧；并将图像序列中的所有的P帧中的部分P帧确定为优先发送的重要编码帧，这部分P帧即为该图像序列中的最后几个P帧。这样，减少了发送端缓存区中缓存的待发送帧的数量，从而减轻了网络数据发送负担，进而降低了网络发送时延。

步骤35：网络发送模块对视频流媒体数据进行时间重要性分析，根据时间重要性分析结果，确定出重要编码帧。

具体实现时，在视频流数据经过内容重要性分析后，在发送端将待传输重要编码帧发送至接收端之前，如果当前实时流媒体的数据量或者端到端时延仍未达到要求，网络发送模块进一步进行视频流数据的时间重要性分析。具体分析过程可以如下：

本发明实施例中的发送端所在的平台能够实时获取到当前时间，其时间精度可以精确到纳秒。由于流媒体数据的数据包中存在打包封装时的时间戳，因此，当流媒体数据的数据包因为网络阻塞发送不出去的时候，缓存在缓冲区的流媒体数据中视频流的时间戳和当前时间会有很大的差值，也就是说，待发送的数据已经不具有实时性，然而，随着缓存区中缓存队列的增多，待发送的流媒体数据的时延长度会越来越大，最终导致整个图像序列的丢失。为了阻止上述时延现象的加剧，网络发送模块会根据流媒体数据包中的时间重要程度以一个图像序列为单位进行分析。也就是说，网络发送模块仅对该图像序列中的P帧进行时间重要性分析。首先，根据时间戳确定P帧的采样时间；然后，将该P帧的采样时间与当前时间的差值作为该P帧的采样时间差；进一步的，判断采样时间差是否小于当前网络时延，若是，则将该P帧确定为优先发送的重要编码帧，即认为该P帧符合当前网络传输时延要求，该P帧的时间重要性较大；若采样时间差大于当前网络时延，则认为如果将该P帧作为待传输编码帧加入到缓存区中的缓存队列后，会严重影响到该视频流媒体的传输效率，并且，由于该P帧与当前时间的差值越大，意味着该P帧中包含的与属于同一图像序列的I帧之间的差异度越细微，以至于可以忽略不计，此时可以认为该P帧的时间重要性较小。因此，网络发送模块首先将时间重要性较小的图像组的数据进行剔除，然后优先发送时间重要性较大的数据，这样，减少了发送端缓存区中缓存的待发送帧的数量，从而减轻了网络数据发送负担，进而降低了网络发送时延。

步骤36：发送端将确定出的全部重要编码帧发送至接收端，以指示接收端根据接收到的重要编码帧进行解码并播放。

具体实现时，发送端将确定出的全部重要编码帧发送至接收端，接收端根据现有编解码标准进行解码并播放。

需要说明的是，在执行步骤36之后，发送端结束视频流数据传输流程。

还需要说明的是，在本发明实施例中，由于网络传输环境通常比较复杂，发送端和接收端之间使用的网络连接方式(如有线网络、无线网络)、不同的传输协议、不同的视频格式、不同的编码和解码方式等等因素都会对当前网络传输状况造成影响，在本发明实施例中将当前网络时延状态作为一种典型的网络传输状态，例如：当前网络时延状态良好可以认为此时网络未发生拥塞现象，当前网络时延状态较差可以认为此时网络发生拥塞现象或堵塞现象。

从上述技术方案可以看出，当待传输流媒体数据是视频流数据时，根据每个编码帧的类型和/或当前网络时延状态，在全部编码帧中选择部分重要编码帧进行优先传输，而现有技术需要传输视频流数据的全部编码帧。当网络拥塞时，相比现有技术，本发明实施例仅需传输部分编码帧，只要保证接收端能够根据这部分编码帧中包含的图像信息进行播放即可，由于待传输的编码帧的数量降低了，从而减少了视频流数据传输时的时延现象，提高了传输效率，保证接收端能够流畅播放流媒体文件。

基于相同的技术构思，本发明实施例还提供了一种流媒体数据传输装置，图4示出了本发明实施例提供的流媒体数据传输装置的结构示意图，如图4所示，该装置可以包括：

获取单元41，用于当判断待传输流媒体数据是视频流数据时，获取所述视频流数据中的图像序列的全部编码帧；

确定单元42，用于根据每个编码帧的类型和/或当前网络时延状态，确定出重要编码帧；

发送单元43，用于优先向接收端发送确定出的重要编码帧。

可选的，所述图像序列由一个帧内编码帧和若干个前向预测编码帧组成；所述确定单元42具体用于：将所述图像序列中的帧内编码帧确定为重要编码帧；将所述图像序列中的若干个前向预测编码帧中符合当前网络传输时延要求的前向预测编码帧确定为重要编码帧。

可选的，所述确定单元42具体用于：确定所述前向预测编码帧的采样时间；并将所述前向预测编码帧的采样时间与当前时间的差值作为该前向预测编码帧的采样时间差；判断所述采样时间差是否小于当前网络时延，若是，则将该前向预测编码帧确定为重要编码帧。

可选的，所述发送单元43还用于：确定是否需要将全部编码帧中除重要编码帧以外的编码帧发送给所述接收端，若需要，则将除重要编码帧以外的编码帧发送给所述接收端；否则，丢弃除重要编码帧以外的编码帧。

可选的，所述获取单元41还用于：根据所述待传输流媒体数据的标识信息，确定所述待传输流媒体数据的类型；在所述待传输流媒体数据的类型为音频流数据时，将所述音频流数据的全部编码帧发送给所述接收端。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器，使得通过该计算机或其他可编程数据处理设备的处理器执行的指令可实现流程图中的一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种流媒体数据传输方法，其特征在于，该方法包括：

当判断待传输流媒体数据是视频流数据时，获取所述视频流数据中的图像序列的全部编码帧；

根据每个编码帧的类型和/或当前网络时延状态，确定出重要编码帧；

优先向接收端发送确定出的重要编码帧。

2.如权利要求1所述的方法，其特征在于，所述图像序列由一个帧内编码帧和若干个前向预测编码帧组成；

所述确定重要编码帧，具体包括：

将所述图像序列中的帧内编码帧确定为重要编码帧；将所述图像序列中的若干个前向预测编码帧中符合当前网络传输时延要求的前向预测编码帧确定为重要编码帧。

3.如权利要求2所述的方法，其特征在于，所述将所述图像序列中的若干个前向预测编码帧中符合当前网络传输时延要求的前向预测编码帧确定为重要编码帧，具体包括：

确定所述前向预测编码帧的采样时间；并将所述前向预测编码帧的采样时间与当前时间的差值作为该前向预测编码帧的采样时间差；

判断所述采样时间差是否小于当前网络时延，若是，则将该前向预测编码帧确定为重要编码帧。

4.如权利要求3所述的方法，其特征在于，在所述优先向接收端发送确定出的重要编码帧之后，该方法还包括：

确定是否需要将全部编码帧中除重要编码帧以外的编码帧发送给所述接收端，若需要，则将除重要编码帧以外的编码帧发送给所述接收端；否则，丢弃除重要编码帧以外的编码帧。

5.如权利要求1-4中任一项所述的方法，其特征在于，该方法还包括：

根据所述待传输流媒体数据的标识信息，确定所述待传输流媒体数据的类型；

若所述待传输流媒体数据的类型为音频流数据，则将所述音频流数据的全部编码帧发送给所述接收端。

6.一种流媒体数据传输装置，其特征在于，该装置包括：

获取单元，用于当判断待传输流媒体数据是视频流数据时，获取所述视频流数据中的图像序列的全部编码帧；

确定单元，用于根据每个编码帧的类型和/或当前网络时延状态，确定出重要编码帧；

发送单元，用于优先向接收端发送确定出的重要编码帧。

7.如权利要求6所述的装置，其特征在于，所述图像序列由一个帧内编码帧和若干个前向预测编码帧组成；所述发送单元具体用于：

将所述图像序列中的帧内编码帧确定为重要编码帧；将所述图像序列中的若干个前向预测编码帧中符合当前网络传输时延要求的前向预测编码帧确定为重要编码帧。

8.如权利要求7所述的装置，其特征在于，所述发送单元具体用于：

确定所述前向预测编码帧的采样时间；并将所述前向预测编码帧的采样时间与当前时间的差值作为该前向预测编码帧的采样时间差；

判断所述采样时间差是否小于当前网络时延，若是，则将该前向预测编码帧确定为重要编码帧。

9.如权利要求8所述的装置，其特征在于，所述发送单元还用于：

确定是否需要将全部编码帧中除重要编码帧以外的编码帧发送给所述接收端，若需要，则将除重要编码帧以外的编码帧发送给所述接收端；否则，丢弃除重要编码帧以外的编码帧。

10.如权利要求6-9中任一项所述的装置，其特征在于，所述获取单元还用于：

根据所述待传输流媒体数据的标识信息，确定所述待传输流媒体数据的类型；在所述待传输流媒体数据的类型为音频流数据时，将所述音频流数据的全部编码帧发送给所述接收端。