CN1874507A

CN1874507A - 实时多媒体视频流的分层传输方法

Info

Publication number: CN1874507A
Application number: CN 200610027987
Authority: CN
Inventors: 沈家明; 申瑞民; 王加俊; 童任; 张智强
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2006-06-22
Filing date: 2006-06-22
Publication date: 2006-12-06
Anticipated expiration: 2026-06-22
Also published as: CN100411439C

Abstract

一种多媒体网络传输技术领域的实时多媒体视频流的分层传输方法。本发明能自客户端和服务端之间通过网络传输分层的视频流，服务端将视频流中每一帧数据都按照分解算法分解成若干个有层次序列的数据包输出至网络；客户端从网络获取得服务端输出的有序的不间断层次的视频流分层数据包，根据分解算法的逆运算，将分层数据包恢复成设定大小的视频流的一帧数据，或者完全无损恢复至原始大小的视频流帧数据。本发明可以适应不同网络带宽与不同性能终端设备多媒体视频流高效率低成本传输，利用本发明能够实现一种方法可以在PC，PDA，手机，与机顶盒等不同性能终端设备上同时广播，并且这些终端设备可以在GPS，CDMA，ADSL等不同网络平台上。

Description

实时多媒体视频流的分层传输方法

技术领域

本发明涉及一种多媒体网络传输技术领域的方法，尤其涉及一种实时多媒体视频流的分层传输方法，适应各种网络带宽与设备的多媒体同步播放。

背景技术

随着各类互联网络的迅速兴起和广泛应用，多媒体网络广播业务日益增加，并且对广播的多平台，实时性与清晰度也要求越来越高，多媒体网络广播业务从传统的PC播放，发展到移动笔记本PDA，手机，机顶盒等设备播放。由于网络带宽大小及终端设备性能参次不齐，甚至差别很大，这就给多媒体网络广播技术实现带来很大难题。目前解决这一难题的办法大致有二：一是对每一种网络带宽情况与移动笔记本情况设置单独服务器进行单独服务，二是利用基于小波算法的分层编码。前一种解决由于服务被分类，设备成本与系统维护成本非常高，第二种解决方法计算要求高，需要一定终端设置计算性能要求，并且还原原始帧时不能够精确还原。

经对现有技术的文献检索发现，美国专利申请号为：US6,965,700,专利名称为：Embedded and efficient low-complexity hierarchical image coder andcorresponding methods，该专利描述了一种编解码器，它包括三项技术与一项可选技术。第一项技术：分割子带变换到两个集合中，这两个集合分别标识为第一集合与第二集合；将第一集合加入到非重要集合列表中(LIS)；初始化重要像素列表(LSP)。第二项技术：针对一个临界值测试前面两个集合的重要性；按照与集合对应的分割函数来分割两个集合的重要成员；将重要的像素添加到LSP中。第三项技术改善LSP中像素的量子化。临界值在前面三项技术对应实现步骤每一步后都会降低。第四步骤为可选的，由第二三项技术共同产生的平均信息量编织重要性图。

该美国专利由于在分层编码时需要反复提炼重要像素等操作，在多层编码时还要多次这样的操作，这些操作对于运算性能具有一定的要求。

发明内容

本发明目的在于针对现有技术的不足和缺陷，提供一种实时多媒体视频流的分层传输方法，可以适应不同网络带宽与不同性能终端设备多媒体视频流高效率低成本传输，利用本发明能够实现一种方法可以在PC，PDA，手机，与机顶盒等不同性能终端设备上同时广播，并且这些终端设备可以在GPS，CDMA，ADSL等不同网络平台上。

本发明的目的是通过以下技术方案实现的：

本发明所述的实时多媒体视频流的分层传输方法，能自客户端和服务端之间通过网络传输分层的视频流，服务端将视频流中每一帧数据都按照分解算法分解成若干个有层次序列的数据包输出至网络；客户端从网络获取得服务端输出的有序的不间断层次的视频流分层数据包，根据分解算法的逆运算，将分层数据包恢复成设定大小的视频流的一帧数据，或者完全无损恢复至原始大小的视频流帧数据。

所述客户端及服务端指用户或者服务器，在用户下载数据时，用户为客户端，而服务器则为服务端，在用上传数据时，用户为服务端，服务器则为客户端。服务端和客户端之间通过网络传输分层的视频流。服务端需要按照分解算法来分解视频流数据；客户端根据服务端分解算法的逆运算来恢复所需要视频流帧数据。

一段视频流数据是由若干视频帧数据组成的，本发明要分解的对象为原始帧；要恢复的目标为原始帧。原始帧在分解后可对每一个数据包进行单独编码；对于用于恢复的数据包如果经过编码，则在解码后进行恢复。客户端及服务端之间可以加入如H264，XIVD等编码算法，但编解码算法只能加入到原始帧数据被分解之后，与恢复原始帧数据之前。服务端使用图表法将一帧数据A分解成A1，Q两个数据包，Q数据包是完整的一帧数据，帧大小要小于原始帧数据A，A1数据包不是完整的一帧数据，A1只有和Q合并才能形成原始帧数据A。称A1数据包为第一层数据，Q数据包为第2层数据，或者称为最底一层数据。每次分解所得当前最底层数据包所能表达的帧大小总是小于原始帧，并且逐层减小。服务端可以将一帧数据分解成两层及两层以上的数据包，层数在两层以上的分解方式都与第一次分解相同，只是每一次分解对象是当前最底一层数据包。如三层分解示例如下：第一次分解，将原始帧数据A分解成第一层数据包A1，当前最底层数据包Q1；第二次分解，将当前最底层数据包Q1分解成第二层数据包A2与第三层数据包即最底层数据包Q。三层以上分解方法以此类推。服务端将原始帧数据分解成若干数据包以后，若需编码则对每个数据包单独进行编码，否则即可上传数据包，上传数据包按照从底层向高层的层次顺序发送，并且从最底层开始连续向上，发送预先设定好的连续几层的数据包。当客户端下载多媒体视频流时，按照服务器分解每一帧的次序的逆次序接收数据包，即从最底层开始连续向上接收所需要层数的数据包，并且一次需下载可形成完整一帧的不间断序列的连续数据包。数据包接收到后，客户端既可进行恢复运算。客户端恢复帧数据必须从最底层开始，顺序向上逐层合并。如前所述的最底层数据包数据本身是一个完整的帧数据，对只需要最底帧数据的客户端来说，不必再作恢复操作。三层数据包恢复示例如下：有三层数据包，最底层Q，倒数第二层B与倒数据第三层C；第一次恢复，将最底层数据包Q与倒数据第二层数据包B合并成Q1；第二次恢复，将Q1与C合并成A，这样就恢复形成本用户所需要多媒体视频流帧数据。三层以上恢复方法以此类推。

本发明中所用到的图表法，在服务端的分解帧过程与客户端的恢复帧过程都被使用。服务端根据查询一个图表确定被分解的素点。图表中只有0与1值。图表中的0，1分别对应帧对应的像素点，如果帧像素数据对应图表中的值为0，则将当前点数据留给当前层；如果帧像素数据对应图表中的值为1，则当前点数据留给当前最底层。被分开的像素数据仍按原先顺序分别保存在两层数据包中。图表的产生可以预先设定，也可以根据视频流所带信息计算生产。对一帧数据每一次分解分别对应一张图表。客户端根据查表确定帧像素如果合并成一帧。该图表与分解所用图表需要完全一致，一一对应。如果图表中当前点值为0，则将本层对应点像素数据填充到本次要恢复的帧对应像素数据位置，如果图表中当前点值为1，则将当前最底层对应像素数据填充到本次要恢复的帧对应像素数据位置。这样就可恢复本次帧数据。

与现有的技术相比，本发明的有益效果是：服务端通过对多媒体视频流每一帧数据按照对每一次层恢复帧所需大小，逐层分解，分解前后的数据量并没有减少或者增加，每一个客户端根据自己所需要帧大小来从服务端下载从最底层向上连续的几个数据包，不必下载由分解原始帧数据所获得的全部数据包。这样可以降底带宽要求与运算数据量，各种网络带宽与各种性能的终端设备可根据自己环境条件来选择下载几层的数据包。从而将多媒体视频能够最大限度地在各个网络带宽与各种性能终端设备上广播。因为一套服务可以解决各种多媒体视频大小同时广播，从而降底了设备成本与系统维护成本。本发明可以精确还原始帧，这是基于小波算法分层编码所不能做到的。由于本发明没有复杂的计算，所以对服务端设备计算性能并没有过高的要求，对客户端对数据包进行分解逆运算就可以恢复帧数据，客户端也不需要很强的运算性能。

附图说明

图1为本发明的从服务端分解多媒体视频流帧数据到客户端恢复帧数据总体示意图

图2为本发明的帧数据分解示意图，其中，2-a当前原始帧(12*6)象素点阵，X与Q表示象素；2-b与当前原始帧对应象素的图表；2-c分解后，当前层数据包所形成为象素点阵(9*6)，可被当作一帧数据进行编解码；2-d分解后，当前最底层数据包可表示的完整一帧(6*3)象素点阵。

具体实现方式

为了更清楚的理解本发明，以下结合附图和实施例对本发明作进一步的详细描述。

本发明从服务端分解多媒体视频流帧数据到客户端恢复帧数据过程包括以下几个方面内容：

请参阅图1，这是本发明从服务端分解多媒体视频流帧数据到客户端恢复帧数据总体流程图。本发明的实现分为三个步骤：一.服务端根据设定的要求，将多媒体视频流中每一帧帧数据分解若干层有层次的数据包。二.根据现实情况的要求，可以对每一个数据包单独编码，编码后的数据包仍按照原先的次序根据每一个客户端的要求发送相应层数的数据包到客户端，客户端对数据包解码。这个编码过程不是必须的，视现实要求确定有无。若没有编解码过程，则将第一步中分解后的数据包按照预先设定的层数直接发送至客户端。三.客户端接收到一串有次序的数据包，从最底层向上层逐层恢复至所需要的帧数据。从而完成本发明的整个过程。

本发明的实现最重要的一个过程就是对多媒体视频流帧数据进行分解。请看图2实施例。其中图2-a为一帧原始帧象素点阵，宽12个象素，高6行象素；图2-b为图表，图表中6行数字与图2-a中6行象素对应，每行12个数与图2-a中对应行12个象素对应；图2-c为原始帧分解后剩余象素所形成象素点阵，宽9个象素，高6行；图2-d为原始帧分解后挑选出来的象素所形成的象素点阵，它是当前最底层数据包，可以表示一个完整的帧数据，从视觉效果上来看，它所表达的图像与原始帧一样，只是比原始帧要小。图2-a中的象素按照图2-b中的图表分解到图2-c与图2-d中，如果图2-b中的当前值为0，则将图2-a中与之对应的象素仍按照原先的前后顺序放到图2-c中，如果图2-b中的当前值为1，则将图2-a中与之对应的象素仍按照原先的前后顺序放到图2-d中。对照图2-b中的每一个值按顺序分解图2-c中的帧象素，最终可以形成图2-c与图2-d。这样分解过程结束，一帧数据被解成两个数据包。如果需要两层以上的数据包，则可以按照照相同的方法对当前最底层数据包进行分解即可。

客户端将数据包恢复成帧数据的算法是服务端分解帧数据的算法的逆算法。仍对照图2，图2-c与图2-d对照图2-b中图表按次序将自己的象素放回到图2-a中则恢复了图2-a。程序中设四个指针对应图2-a、图2-b、图2-c与图2-d，指针从左向右，从上向下移动，若图2-b当前指针指向的值为0则将图2-c当前指针指向的象素赋给图2-a指针指定的象素位置，若图2-b当前指针指向的值为1则将图2-d当前指针指向的象素赋给图2-a指针指定的象素位置，赋值完成后，则将图2-b并图2-c(或者图2-d)的指针向前移动一个象素，再按照相同的方法进行下一个象素的恢复。从而最终恢复图2-a帧象素点阵。

Claims

1、一种实时多媒体视频流的分层传输方法，能自客户端和服务端之间通过网络传输分层的视频流，其特征在于：服务端将视频流中每一帧数据都按照分解算法分解成若干个有层次序列的数据包输出至网络；客户端从网络获取得服务端输出的有序的不间断层次的视频流分层数据包，根据分解算法的逆运算，将分层数据包恢复成设定大小的视频流的一帧数据，或者完全无损恢复至原始大小的视频流帧数据。

2、如权利要求1所述的实时多媒体视频流的分层传输方法，其特征在于：所述的服务端将视频流中每一帧数据都按照分解算法分解成若干个有层次序列的数据包，其中：将一帧数据A分解成A1，Q两个数据包，Q数据包是完整的一帧数据，帧大小要小于原始帧数据A，A1数据包只有和Q合并才能形成原始帧数据A，称A1数据包为第一层数据，Q数据包为第2层数据，或者称为最底一层数据；每次分解所得当前最底层数据包所能表达的帧大小总是小于原始帧，并且逐层减小；将一帧数据分解成两层及两层以上的数据包，层数在两层以上的分解方式都与第一次分解相同，只是每一次分解对象是当前最底一层数据包。

3、如权利要求1或者2所述的实时多媒体视频流的分层传输方法，其特征在于：所述的服务端将视频流中每一帧数据都按照分解算法分解成若干个有层次序列的数据包，具体为：每一次分解的分解算法采用图表法，根据查表确定被分解的素点；如果帧像素数据对应图表中的值为0，则将当前点数据留给当前层；如果帧像素数据对应图表中的值为1，则当前点数据留给当前最底层；被分开的像素数据仍按原先顺序分别保存在两层数据包中。

4、如权利要求1所述的实时多媒体视频流的分层传输方法，其特征在于：所述的将分层数据包恢复成设定大小的视频流的一帧数据，具体为：对每一次帧数据恢复方法采用图表法，根据查表确定帧像素如果合并成一帧；该图表与分解所用图表需要完全一致，一一对应，如果图表中当前点值为0，则将本层对应点像素数据填充到本次要恢复的帧对应像素数据位置，如果图表中当前点值为1，则将当前最底层对应像素数据填充到本次要恢复的帧对应像素数据位置，这样就恢复本次帧数据了。

5、如权利要求1所述的实时多媒体视频流的分层传输方法，其特征在于：所述客户端及服务端指用户或服务器，在用户下载数据时，用户为客户端，而服务器则为服务端，在用户上传数据时，用户为服务端，服务器为客户端。