CN101409630A - 一种流媒体数据发送接收方法、装置及系统 - Google Patents

Abstract

本发明公开了一种流媒体数据发送接收方法、装置及系统，通过在流媒体服务器对流媒体数据进行分层编码，将分层编码后的分层编码数据以单位时间长度离散为数据片段，进行编号并发送；流媒体接收节点选择接收的分层数据，从流媒体服务器接收到所选择的对应分层的数据片段，或者从其它的流媒体接收节点接收到所选择的对应分层的数据片段，根据数据片段的编号按照分层按流媒体数据的播放时间顺序进行组合，并将组合得到的分层编码数据进行解码和播放。从而使得流媒体接收节点能根据自身的能力和/或自身所处网络状况选择性地接收不同的分层数据，在获取基本层数据保证获得基本播放质量的前提下，通过进一步获取增强层数据提升流媒体播放质量。

Description

一种流媒体数据发送接收方法、装置及系统

技术领域

本发明涉及流媒体编码播放技术，尤其涉及一种流媒体数据发送接收方法、装置及系统。

背景技术

为了解决流媒体数据服务中系统的存储资源、计算资源以及带宽资源遇到的瓶颈问题，近年来，业界提出了将对等网络(P2P，Peer to Peer)技术应用在流媒体数据服务中，通过参与系统的节点之间的直接交互来实现信息资源和服务的共享。

在误码多发环境中传输流媒体数据的问题历来是受到广泛的重视的。尤其在对等网络环境中，存在节点的异构性带来了网络带宽以及其他资源的波动；对等网络中节点的加入、离开都会使网络拓扑不断变化；实时流媒体服务，特别是视频类业务需要很高的比特率和一定的带宽作为保证，并且对时延和丢包异常敏感；又由于用户终端设备的显示能力和处理能力存在明显差异等诸多问题，这些因素都会造成对等网络中流媒体数据传输的不稳定性，也就造成了恒定速率的流媒体数据难以在带宽波动的网络环境下高效传输，客户端的流媒体数据重构质量受到很大影响。

为了解决这些问题，对等网络中传输流媒体数据通常是借鉴了对等网络中文件共享应用对大文件切分的思想，对流媒体数据进行分片，然后辅以数据调度策略以满足流媒体数据时间敏感性的特殊要求。目前。主要有几种对流媒体数据分片的方法：一种是从流媒体数据本身具有播放时间的属性入手，按照等长的流媒体数据播放时间把一个流媒体数据文件切割成多个分片；第二种方法则是从流媒体数据占有存储空间的角度入手，按照大小相等的存储空间将流媒体数据文件切割成为多个小片；还有一种分片方法是利用多描述编码将流媒体数据分成多个条带块，然后通过多路不同的网络路径传输数据。

现有技术中的流媒体数据传送方法，由于没有考虑到网络中终端的网络状况以及终端自身能力的异构性，因而，也就不能针对不同网络状况的终端而提供不同的流媒体服务质量，终端也不能根据自身能力差异而选择不同的流媒体服务。

发明内容

本发明实施例提供一种流媒体数据发送接收方法、装置及系统，解决了现有流媒体数据发送接收技术中，不能针对终端的异构性以及不同的网络状况而提供不同的流媒体服务质量的问题。

一种流媒体数据发送方法，该方法包括：

流媒体服务器对流媒体数据进行分层编码；

将分层编码得到的分层编码数据以单位时间长度离散为数据片段；

对数据片段进行编号并发送。

较佳地，所述分层编码采用精细可伸缩性编码FGS。

较佳地，该方法进一步包括：

将流媒体数据的分层编码信息、以单位时间离散的参数信息、数据片段的编号以及时间顺序信息通过元数据文件进行记录并发送。

一种流媒体数据接收方法，该方法包括：

流媒体接收节点从流媒体服务器或其它的流媒体接收节点接收流媒体数据的数据片段；

根据所述数据片段的编号，将接收的所述数据片段按层及时间顺序进行组合；

将组合得到的分层编码数据解码为流媒体数据。

较佳地，所述流媒体接收节点根据自身能力和自身所处网络能力选择性地接收不同分层的所述流媒体数据的数据片段。

较佳地，所述流媒体接收节点还从流媒体服务器或其它的流媒体接收节点接收元数据文件；所述元数据文件包含流媒体数据的分层编码信息、以单位时间离散的参数信息、数据片段的编号以及时间顺序信息；

所述流媒体接收节点根据接收的所述元数据文件将组合得到的分层编码数据解码为流媒体数据。

较佳地，所述从流媒体服务器或其它的流媒体接收节点接收流媒体数据的数据片段，包括：

每个流媒体接收节点设置一个滑动窗口，用以表示在播放点附近的缓存映射；

各个流媒体接收节点通过交换各自滑动窗口内的缓存映射，获取自身所需的数据片段。

较佳地，所述流媒体接收节点优先获取自身所需的数据片段中的低层数据片段，以及优先获取拥有节点数量较少的数据片段。

较佳地，所述流媒体接收节点无法从其它流媒体接收节点获取所需的数据片段时，向所述流媒体服务器获取所需的数据片段。

一种流媒体数据发送装置，该装置包括分层编码单元、时间离散单元和发送单元，其中，

所述分层编码单元，用于对流媒体数据进行分层编码，得到分层编码数据；

所述时间离散单元，用于将分层编码数据以单位时间长度离散为数据片段；

所述发送单元，用于对数据片段进行编号并发送。

较佳地，所述装置进一步包括元数据单元，用于生成元数据文件，所述元数据文件中记录流媒体数据的分层编码信息、以单位时间离散的参数信息、数据片段的编号以及时间顺序信息；

所述发送单元还用于将元数据文件同所述数据片段一同发送。

一种流媒体数据接收装置，该装置包括接收单元、组合单元和解码单元，其中，

所述接收单元，用于接收流媒体数据片段，根据元数据文件中的校验码进行数据片段正确性检查，将正确的数据片段发送给所述组合单元；

所述组合单元，用于根据接收的数据片段的编号，将接收的所述数据片段按层及时间顺序组合成流媒体分层编码数据，发送给所述解码单元；

所述解码单元，用于对组合成的流媒体分层编码数据解码为流媒体数据。

较佳地，所述接收单元进一步包括滑动窗口子单元和交互子单元，具体如下：

所述滑动窗口子单元，用于设置一个滑动窗口，用以表示在播放点附近的缓存映射；

所述交互子单元，用于同其它的流媒体数据接收装置交换各自滑动窗口内的缓存映射，获取自身所需的数据片段。

一种流媒体数据传送系统，包括流媒体数据发送装置以及若干个流媒体数据接收装置，其中，

所述流媒体数据发送装置，用于对流媒体数据进行分层编码，将分层编码得到的分层编码数据以单位时间长度离散为数据片段；对数据片段进行编号并发送；

所述流媒体数据接收装置，用于从所述流媒体数据发送装置或其它的流媒体数据接收装置接收到流媒体数据的数据片段，根据数据片段的编号按层及时间顺序进行组合，将组合得到的分层数据解码为流媒体数据。

本发明实施例通过在流媒体服务器对流媒体数据进行分层编码，将分层编码后的每层分层编码数据以单位时间长度离散为数据片段，进行编号并发送；流媒体接收节点选择接收的分层数据，从流媒体服务器接收到所选择的对应分层的数据片段，或者从其它的流媒体接收节点接收到所选择的对应分层的数据片段，根据数据片段的编号，按照分层流媒体数据的播放时间顺序进行组合，并将组合得到的分层编码数据进行解码和播放。从而使得流媒体接收节点能根据自身的能力和/或自身所处网络状况选择性地接收不同的分层数据，在获取基本层数据保证获得基本播放质量的前提下，通过进一步获取增强层数据提升流媒体播放质量。因此，采用本发明实施例可以适应网络的异构性和客户终端设备的能力差异，通过调整分层编码数据的层数，适应不同的网络带宽以及不同能力的终端设备。

附图说明

图1为本发明实施例提供的流媒体数据发送方法主要实现原理流程图；

图2为本发明实施例中FGS分层编码过程示意图；

图3为本发明实施例中对编码数据进行单位时间离散过程示意图；

图4为本发明实施例提供的流媒体数据接收方法的主要实现原理流程图；

图5为本发明实施例提供的流媒体数据发送装置功能结构示意图之一；

图6为本发明实施例提供的流媒体数据发送装置功能结构示意图之二；

图7为本发明实施例提供的流媒体数据接收装置功能结构示意图；

图8为本发明实施例提供的流媒体数据接收装置中接收单元的功能结构示意图。

具体实施方式

下面结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。

如图1所示，本发明实施例提供的流媒体数据发送方法主要实现原理流程如下：

步骤11，流媒体服务器对流媒体数据进行分层编码。

本发明实施例中，可以采用多种流媒体数据分层编码方式，例如，基于位平面编码的精细可伸缩性编码(FGS，Fine Granular Scalable)，它提供了细粒度的可伸缩性。该编码方法通常生成两种码流：基本层码流和增强层码流。基本层码流是播放流媒体数据所需要的最基本的数据，因而必须传输，并且码率低；增强层码流旨在进一步增强流媒体数据播放的质量，可以根据带宽网络状况任意截取，甚至可以不传输。

本发明利用FGS对流媒体数据进行分层编码，如图2所示，码流由一个基本层码流和多个增强层码流组成，分别用L₀，L₁，...，L_n代表每一个层。其中，L₀代表基本层，L₁，...，L_n代表n个增强层，n为正整数，例如取值为2或3。流媒体接收节点在接收流媒体数据时，可以根据自身的处理能力、网络带宽以及播放需求，选择接收增强层码流，可以选择接收一层增强层码流，也可以选择接收多层或全部增强层码流，当然，流媒体接收节点也可以选择不接收增强层码流，但是，无论是否接收增强层码流，为保证基本的播放质量，基本层码流是必须接收的。

对流媒体数据进行分层编码主要有三个作用：

1)从流媒体接收节点的角度看，采用分层的编码方案，可以适应网络的异构性和动态性。不同流媒体接收节点可以根据网络情况选择性地获取数据。网络状况好或者处理能力强的流媒体接收节点可以选择获取基本层和其上增强层的数据，而网络状况不好或处理能力较弱的流媒体接收节点可以选择只获取基本层的数据；

2)从流媒体接收节点的展示能力来看，采用分层的编码方案，可以适应展示能力的异构性。硬件性能好(处理能力强)的流媒体接收节点可以选择获取多层数据，以获得更好的播放质量，而硬件性能差(处理能力弱)的流媒体接收节点可以选择只获取基本层数据，以获得基本质量的流媒体数据，以保证播放的流畅性；

3)从流媒体服务器的角度看，可以对流媒体接收节点分级，给不同的流媒体接收节点传输不同分层的流媒体数据，提供不同的服务。例如，对于低级别的流媒体接收节点，仅传输基本层的流媒体数据。

步骤12，将分层编码后的每层流媒体编码数据以单位时间长度离散为数据片段。

在对流媒体数据进行分层编码后，得到多层流媒体编码数据。将每一层的流媒体编码数据以单位时间长度为粒度进行离散，也就是说，把每一层流媒体编码数据离散成时间长度相等的数据片段，如图3所示，每个数据片段的时长为T_piece。

例如，可以以1秒种为单位时长对分层流媒体编码数据进行离散，得到的每个数据片段代表1秒钟的流媒体编码数据。将数据离散成时间长度相等的片段有三个作用：

1)流媒体接收节点的数据请求可以以数据片段为单位，流媒体数据的获取也可以以数据片段为单位，这样将对大数据量的流媒体数据的请求进行了分散，使得流媒体接收节点有可能从多个伙伴节点同时获得数据；

2)按照单位时间长度离散数据片段，有利于流媒体数据随机访问的方便定位；

3)按照单位时间长度离散流媒体数据也便于多层流媒体数据之间的同步。

步骤13，对每个数据片段进行编号并发送。

将分层编码数据以单位时间为粒度进行离散后，还需要对每个数据片段进行编号，各数据片段对应的编号在流媒体数据中是唯一的，根据数据片段的编号可以获得数据片段的时间顺序以及所属的码流分层，也就是说，数据片段的编号中标识了该数据片段的层标识以及片段标识，流媒体接收节点根据接收到的数据片段的编号，可以将所有的数据片段分层并按时间顺序重新组合起来，得到原始的流媒体编码数据。

特别的，流媒体服务器可以生成一个元数据文件，用以记录流媒体数据的分层编码以及以单位时间离散的所有参数，并记录数据片段的编号以及时间顺序等信息。例如，元数据文件中可以记录每层数据文件的大小、播放总时长、流媒体文件的校验码、每个数据片段的起始、终止位置以及这一数据片段的校验码等。流媒体服务器在发送流媒体数据时，将元数据文件一同发送。流媒体接收节点在拥有元数据文件之后，才能够对接收到的流媒体数据片段进行重新组合，得到原始的流媒体数据。

相应的，本发明实施例还提供一种流媒体数据的接收方法，如图4所示，为流媒体数据接收方法的主要实现原理流程，具体如下：

步骤21，流媒体接收节点从流媒体服务器接收到数据片段，或者从其它的流媒体接收节点接收到数据片段。

流媒体接收节点可以从流媒体服务器接收流媒体数据片段，也可以从其它的流媒体接收节点接收流媒体数据片段。一般情况下，流媒体接收节点优先从其它流媒体接收节点获取所需的数据。

流媒体接收节点在接收流媒体数据片段时，可以根据自身的能力和/或自身所处网络状况选择性地接收不同的分层编码数据，在获取基本层数据保证获得基本播放质量的前提下，通过进一步获取增强层数据提升流媒体播放质量。例如，如果流媒体接收节点硬件性能好(处理能力强)，可以选择获取多层数据，以获得更好的播放质量，而如果流媒体接收节点硬件性能差(处理能力弱)，可以选择只获取基本层数据，以获得基本质量的流媒体数据，以保证播放的流畅性。

当流媒体接收节点从流媒体服务器获取数据片段时，可以采用任何的网际传输协议将流媒体数据传送至本地；当流媒体接收节点从其它的流媒体接收节点获取数据片段时，可以采用如下的方法：

1、每个流媒体接收节点在播放点附近对接收的每一层流媒体数据设置一个缓存的滑动窗口来代表流媒体接收节点当前播放点附近的缓存映射(BufferMap，BM)，这个滑动窗口是一个时间意义上的滑动窗口，设定滑动窗口长度为M，表示滑动窗口内包含M个单位时间长度的流媒体数据。例如，当对流媒体数据划分为数据片段的单位时长取值为1秒，M取值为120时，滑动窗口包含120个数据片段，即总共120秒播放时长对应的流媒体数据。为了确定出接收节点是否拥有滑动窗口内所包含的各数据片段，可以采用M个比特位来表示这个滑动窗口所包含的各数据片段，每一个比特位对应一个数据片段，例如设置对应的比特位为“1”表示该流媒体接收节点拥有对应的数据片段，比特位为“0”表示该流媒体接收节点没有对应的数据片段。实际中，可以将所有的流媒体接收节点的滑动窗口设置为同样的大小。

2、各个流媒体接收节点通过交换各自滑动窗口内的缓存映射获取自身所需的数据片段。

每个流媒体接收节点的滑动窗口都设置在各自的播放点附近，为了保障流媒体数据的顺利播放，每个流媒体接收节点至少需要确保滑动窗口内的所有数据片段都是本节点拥有的，如果滑动窗口内存在本节点所没有的数据片段，就需要向其它的流媒体接收节点或流媒体服务器获取。

各个流媒体接收节点通过交换各自的滑动窗口内的数据片段获取自身所需的流媒体数据片段。各个流媒体接收节点之间交换数据片段的调度规则遵循低层数据优先和稀少数据优先的原则，优先获取低层(如基本层)的数据片段，并优先获取拥有节点数量较少的数据片段。每个流媒体接收节点根据其它流媒体接收节点拥有的数据片段情况，确定从哪个节点处接收数据片段，然后通过网际传输协议向该节点请求所需数据片段。

为了能够顺利交换数据片段，各个流媒体接收节点需要记录并交换各自的滑动窗口的起始位置，例如，可以记录自身的滑动窗口起始位置的数据片段的编号。通过交换各自的滑动窗口起始位置信息，各个流媒体接收节点就可以获知其它每个节点的滑动窗口中的数据片段内容，从而获知哪些节点拥有自身所需的数据片段，确定从哪个节点处接收这些数据片段。

特别的，如果流媒体接收节点无法从其它节点处获得所需的数据片段，则从流媒体服务器直接获取所需的数据片段。

每个流媒体接收节点在交换数据片段时，可以将自身拥有数据片段的层标识、片段标识、滑动窗口的起始位置以及结束位置的信息记录在滑动窗口的缓存映射中，在传送数据片段之前，交换各自滑动窗口的缓存映射。

步骤22，流媒体接收节点根据数据片段的编号按照时间顺序进行组合。

流媒体接收节点在接收到数据片段后，需要对这些数据片段进行重新组合，组合的依据就是数据片段的编号。流媒体接收节点可以根据接收到的每个数据片段的编号，将数据片段按层以及时间顺序组合起来，得到每一层的分层编码数据。

特别的，流媒体接收节点还从流媒体服务器或其它的流媒体接收节点接收元数据文件，元数据文件包含流媒体数据的分层编码信息、以单位时间离散的参数信息、数据片段的编号以及时间顺序信息。流媒体接收节点根据接收到的元数据文件获得组合数据片段所需的各类信息，并根据元数据文件完成数据片段的组合，得到分层编码数据。

步骤23，流媒体接收节点将组合得到的分层编码数据解码为流媒体数据。

相应的，本发明实施例提供一种流媒体数据的发送装置，如图5所示，该装置包括分层编码单元31、时间离散单元32和发送单元33，具体如下：

分层编码单元31，用于对流媒体数据进行分层编码，得到分层编码数据；

特别的，本发明实施例中，可以采用多种流媒体数据分层编码方式，例如，采用FGS编码。

时间离散单元32，用于将分层编码数据以单位时间长度离散为数据片段。

发送单元33，用于对数据片段进行编号并发送。

特别的，数据片段的编号中标识了该数据片段的层标识以及片段标识，流媒体接收节点根据接收到的数据片段的编号，可以将所有的数据片段按层以及时间顺序重新组合起来，得到原始的流媒体编码数据。

较佳地，如图6所示，上述的流媒体数据发送装置进一步包括元数据单元34，用于生成元数据文件，记录流媒体数据的分层编码以及以单位时间离散的所有参数，并记录数据片段的编号以及时间顺序等信息；

发送单元33还用于将元数据文件同数据片段一同发送。

相应的，本发明实施例提供一种流媒体数据接收装置，如图7所示，该装置包括接收单元41、组合单元42和解码单元43，具体如下：

接收单元41，用于接收流媒体数据片段，根据元数据文件中的校验码进行数据片段正确性检查，将正确的数据片段发送给组合单元42；

组合单元42，用于将接收的数据片段以时间顺序组合成流媒体分层编码数据，发送给解码单元43；

解码单元43，用于对接收到的流媒体分层解码数据进行解码，得到原始的流媒体数据。

较佳地，如图8所示，上述的流媒体数据接收装置中的接收单元41，进一步包括滑动窗口子单元411和交互子单元412，具体如下：

滑动窗口子单元411，用于在播放点附近设置一个缓存的滑动窗口；

交互子单元412，用于同其它的流媒体数据接收装置交换各自滑动窗口内的缓存数据片段，获取自身所需的数据片段。

相应的，本发明实施例提供一种流媒体数据传送系统，包括流媒体数据发送装置以及若干个流媒体数据接收装置，具体如下：

流媒体数据发送装置，用于对流媒体数据进行分层编码，并以单位时间进行离散，得到流媒体数据片段并对各数据片段编号后发送；

流媒体数据接收装置，用于从流媒体数据发送装置接收到数据片段，或者从其它的流媒体数据接收装置接收到数据片段，根据数据片段的编号按照时间顺序进行组合，将组合得到的分层数据解码为流媒体数据。

本发明实施例所述的方法，通过对流媒体数据进行分层编码，能够在现有技术基础上非常有效地获得较好的流媒体数据传输服务以及在客户端获得较好的流媒体数据播放质量。同时本发明实施例提供的分层编码方案，可以适应网络的异构性和客户终端设备的能力差异。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1、一种流媒体数据发送方法，其特征在于，该方法包括：

流媒体服务器对流媒体数据进行分层编码；

将分层编码得到的分层编码数据以单位时间长度离散为数据片段；

对数据片段进行编号并发送。

2、如权利要求1所述的方法，其特征在于，所述分层编码采用精细可伸缩性编码FGS。

3、如权利要求1或2所述的方法，其特征在于，该方法进一步包括：

将流媒体数据的分层编码信息、以单位时间离散的参数信息、数据片段的编号以及时间顺序信息通过元数据文件进行记录并发送。

4、一种流媒体数据接收方法，其特征在于，该方法包括：

流媒体接收节点从流媒体服务器或其它的流媒体接收节点接收流媒体数据的数据片段；

根据所述数据片段的编号，将接收的所述数据片段按层及时间顺序进行组合；

将组合得到的分层编码数据解码为流媒体数据。

5、如权利要求4所述的方法，其特征在于，所述流媒体接收节点根据自身能力和自身所处网络能力选择性地接收不同分层的所述流媒体数据的数据片段。

6、如权利要求4或5所述的方法，其特征在于，所述流媒体接收节点还从流媒体服务器或其它的流媒体接收节点接收元数据文件；所述元数据文件包含流媒体数据的分层编码信息、以单位时间离散的参数信息、数据片段的编号以及时间顺序信息；

所述流媒体接收节点根据接收的所述元数据文件将组合得到的分层编码数据解码为流媒体数据。

7、如权利要求4所述的方法，其特征在于，所述从流媒体服务器或其它的流媒体接收节点接收流媒体数据的数据片段，包括：

每个流媒体接收节点设置一个滑动窗口，用以表示在播放点附近的缓存映射；

各个流媒体接收节点通过交换各自滑动窗口内的缓存映射，获取自身所需的数据片段。

8、如权利要求7所述的方法，其特征在于，所述流媒体接收节点优先获取自身所需的数据片段中的低层数据片段，以及优先获取拥有节点数量较少的数据片段。

9、如权利要求7或8所述的方法，其特征在于，所述流媒体接收节点无法从其它流媒体接收节点获取所需的数据片段时，向所述流媒体服务器获取所需的数据片段。

10、一种流媒体数据发送装置，其特征在于，该装置包括分层编码单元、时间离散单元和发送单元，其中，

所述分层编码单元，用于对流媒体数据进行分层编码，得到分层编码数据；

所述时间离散单元，用于将分层编码数据以单位时间长度离散为数据片段；

所述发送单元，用于对数据片段进行编号并发送。

11、如权利要求10所述的装置，其特征在于，所述装置进一步包括元数据单元，用于生成元数据文件，所述元数据文件中记录流媒体数据的分层编码信息、以单位时间离散的参数信息、数据片段的编号以及时间顺序信息；

所述发送单元还用于将元数据文件同所述数据片段一同发送。

12、一种流媒体数据接收装置，其特征在于，该装置包括接收单元、组合单元和解码单元，其中，

所述接收单元，用于接收流媒体数据片段，根据元数据文件中的校验码进行数据片段正确性检查，将正确的数据片段发送给所述组合单元；

所述组合单元，用于根据接收的数据片段的编号，将接收的所述数据片段按层及时间顺序组合成流媒体分层编码数据，发送给所述解码单元；

所述解码单元，用于对组合成的流媒体分层编码数据解码为流媒体数据。

13、如权利要求12所述的装置，其特征在于，所述接收单元进一步包括滑动窗口子单元和交互子单元，具体如下：

所述滑动窗口子单元，用于设置一个滑动窗口，用以表示在播放点附近的缓存映射；

所述交互子单元，用于同其它的流媒体数据接收装置交换各自滑动窗口内的缓存映射，获取自身所需的数据片段。

14、一种流媒体数据传送系统，其特征在于，包括流媒体数据发送装置以及若干个流媒体数据接收装置，其中，

所述流媒体数据发送装置，用于对流媒体数据进行分层编码，将分层编码得到的分层编码数据以单位时间长度离散为数据片段；对数据片段进行编号并发送；

所述流媒体数据接收装置，用于从所述流媒体数据发送装置或其它的流媒体数据接收装置接收到流媒体数据的数据片段，根据数据片段的编号按层及时间顺序进行组合，将组合得到的分层数据解码为流媒体数据。

Images