CN101547355B

CN101547355B - 富媒体电视的解码方法

Info

Publication number: CN101547355B
Application number: CN 200810134142
Authority: CN
Inventors: 丁亚强; 武晓阳; 林福辉
Original assignee: Spreadtrum Communications Shanghai Co Ltd
Current assignee: Spreadtrum Communications Shanghai Co Ltd
Priority date: 2008-03-24
Filing date: 2008-07-17
Publication date: 2011-02-09
Anticipated expiration: 2028-07-17
Also published as: CN101547355A

Abstract

本发明涉及流媒体、IPTV、手机电视，以及数字电视传输协议，公开了一种富媒体电视的解码方法。本发明中，场景描述由独立的基本流承载，如果接收端不支持场景描述的解析或被设置为不解析场景描述，则在解析时忽略承载场景描述的基本流，否则对各基本流直接进行解析。解决了与不支持场景描述的现有广播传输的系统反向兼容性问题。

Description

富媒体电视的解码方法

技术领域

本发明涉及流媒体、IPTV(internet protocol television)、手机电视，以及数字电视传输协议，特别涉及富媒体电视的解码技术。

背景技术

MPEG LASER是运动图像专家小组(Moving Picture Experts Group，简称“MPEG”)组织近期提出的一个富媒体应用场景描述的技术。虽然理论上LASER可以支持从无线应用协议(Wireless Application Protocol，简称“WAP”)富媒体(比如地图应用)到手机电视等应用。MPEG LASER兼容了过多的其它行业标准，使其通用性变强，而实用性却有所降低。从本质上来讲，LASER标准比较适合下载播放富媒体(通过网页的方式)或流媒体点播的场合。而LASER对广播形态的富媒体的支持有一定的局限性。可缩放向量图形(Scalable Vector Graphics，简称“SVG”)，同步多媒体集成语言(Synchronized Multimedia Integration Language，简称“SMIL”)，文档对象模型(Document Object Model，简称“DOM”)等工具从本质上来讲是为WEB设计的。而WEB媒体和TV媒体有很多不同的特性，所以，应用WEB工具到TV场合需要更多地考虑其适用性和实用性。

另外，虽然LASER提出了聚合打包的格式以适配不同的传输协议，但是这种协议的适配性带来了与现有广播传输的系统兼容性问题。即，除了支持场景描述的电视接收机之外，现有的电视接收机无法解码包含场景描述的码流.

发明内容

本发明的目的在于提供一种富媒体电视的解码方法，解决富媒体解码与现有广播传输的系统兼容性问题。

为解决上述技术问题，本发明的实施方式提供了一种富媒体电视的解码方法，包括以下步骤：

接收传输层承载的各基本流，其中包括承载场景描述的独立的基本流；

如果接收端不支持场景描述的解析或被设置为不解析场景描述，则在解析时忽略承载场景描述的基本流，否则对包括承载场景描述的基本流在内的各基本流进行解析。

本发明实施方式与现有技术相比，主要区别及其效果在于：

场景描述由独立的基本流承载，根据需要解析，从而解决了与不支持场景描述的现有广播传输的系统反向兼容性问题。也就是说，除了支持场景描述的电视接收机之外，现有的电视接收机也可以解码包含场景描述的码流。

附图说明

图1是本发明实施方式中富媒体电视的解码方法流程示意图；

图2是本发明实施方式中对承载场景描述的基本流进行解析的流程示意图；

图3是本发明实施方式中屏幕上叠加了选票按钮的QVGA(即VGA的四分之一尺寸)手机电视示例；

图4是本发明实施方式中场景更新指令及其所对应的场景图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明和无场景描述的电视节目传输层反向兼容。允许不同传输协议层直接承载场景描述，视频，音频，文字等基本流。这样做有个好处：场景描述作为一个单独的基本流传送，这样对系统的改动很小。解码器可以选择解析或者不解这一路场景，如果不解析，那么场景DEFAULT(缺省)就是普通的TV(全屏的电视)，如果对场景码流进行解析那就是SVG(向量图形)叠加的交互电视(根据场景描述的安排布置)。

富媒体场景描述的特点是动态性，而传统菜单是静态的。两者之间不是互相取代的关系，而是互补的关系。考虑TV应用的特点，默认场景为传输协议自定义的场景。比如IPTV中使用的固定菜单，用户可以按固定菜单的按钮来浏览频道。场景描述通常应该和传统意义上的频道的节目内容相关。也就是说，在发生频道切换等事件的时候，属于该频道的场景描述应该不起作用了。这样通过和传统电视切换的机制结合起来的场景描述才比较有实际意义。

本发明直接使用传输层的时间戳进行同步。逻辑上，在同一频道的任何时刻，场景可以一个可扩充标记语言(extensible Markup Language，简称“XML”)文档来表示，具体表示形式是SVG文档：XML文档中所包含的时间称为场景时间。场景时间的起点为0，其精度由SVG规范定义。XML文档由应用场景描述(Application Scene Representation，简称“ASR”)单元承载，并在传输层内包含媒体基本流的时间戳PTS。如果传输层是TS流，那么，时间戳是TS头中的PTS，如果传输层是实时传输协议(RealTimeTransfer Protocol，简称“RTP”)流，那么，时间戳是RTP头中的TIMESTAMP。PTS的精度由传输层各自的机制定义。

初始场景文档(Tnewscene＝0)被打包到ASR单元的载荷中发送，该ASR单元的在传输层所定义的PTS时间戳是由传输系统打入的，可能和场景时间无关。

在任意一个场景单元里面包含在场景XML文档里的时间，是相对于该场景单元所对应的场景时间的相对时间。

如果一个场景组(Group Of Scenes，简称“GOS”)的第一个场景单元是以新场景为开始的，那么其中任意一个场景单元的场景时间为该场景单元所对应的传输层PTS(播放时间戳)-新场景对应的PTS。

如果一个GOS的第一个场景单元不是以新场景，那么其中任意一个场景单元的场景时间为该场景单元所对应的传输层PTS-新场景对应的PTS+场景时间修正。

ASR指定下面的算法和步骤执行循环。与ASR兼容的解码器应当与下列算法的执行循环产生相同的结果。

本发明的一个实施方式中的流程如图1所示。

在步骤101，传输系统选择频道。

此后进入步骤102，系统接收属于同一频道的富媒体流(比如TS流或RTP流)。

此后进入步骤103，系统通过带外或带内通知(比如节目描述表，SDP)，判断该频道是否包含场景描述的基本流，如果包含场景描述的基本流则进入步骤104，否则进入步骤105。

在步骤104中，系统对包括承载场景描述的基本流在内的各基本流进行解析。具体地说，系统应首先对包含场景描述的基本流进行解析得到场景描述流，然后依据该场景描述对其所关联的富媒体基本流进行解析并播放富媒体电视节目。

在步骤105中，系统直接按照该传输系统所定义的系统层协议解复用，同步，并播放音视频节目。

上述步骤104中，对场景描述以及所关联的富媒体基本流进行解析的步骤可以进一步细化为如图2所示的流程：

在步骤201中，在执行某一场景解析的开始时刻，首先计算该场景开始的具体时间Tscene。

此后进入步骤202，在ASR单元(下面简称为AU)的解码缓冲内，根据同步模型计算该AU的场景时间。提取场景时间小于或等于Tscene的AU并解码。如果该场景已经在之前的执行循环中被显示过，那么该AU应该被忽略不解码。

此后进入步骤203，执行上一步骤中解码出来的场景命令。

此后进入步骤204，根据DOM EVENT模型处理所有和DOM，SVG以及ASR所关联的事件，并根据SMIL同步模型(可选)和传输层同步机制解析出所有多媒体元素播放的开始和结束时间。

此后进入步骤205，根据开始和结束的播放时间决定场景中所描述的哪些媒体元素是活跃的。这里有两种情况：

对于TS流：由根据PMT等节目表信息中终端提取相应的PID的节目并播放音视频主流。同时，从场景描述码流中提取活跃的媒体元素，并根据其时间戳进行同步，播放，并根据场景中的参数叠加到主视频中。

对于RTP/用户数据报协议(User Datagram Protocol，简称“UDP”)/IP流，根据会话描述协议(Session Description Protocol，简称“SDP”)的信息和业务指南的节目指南要求提取并播放音视频主流。同时，从场景描述码流中提取活跃的媒体元素，并根据其时间戳进行同步，播放，并根据场景中的参数叠加到主视频中。

此后进入步骤206(本步骤可选)，根据各自的普通播放时间来播放每个活跃的多媒体元素，每个多媒体元素的播放时间(以场景时间为基准)为：clipBegin+(Ts-begin time)，并用clipEnd做剪切。

此后进入步骤207，根据SVG播放模型来播放音频，视频和图形等元素。主视频应该根据传输复用协议中的同步机制来播放音视频。

下面这个例子说明了在用户手机电视屏幕上叠加可供交互的富媒体电视应用。图3是该富媒体电视应用的一个视频截屏。在这个例子中，场景描述包括了两个选票按钮及其位置，视频的大小位置，以及音频等富媒体场景信息。场景描述数据还指定用户可以和该场景进行交互，比如用户点击屏幕上的按钮后，可以把选票通过手机电视上行反馈通道发送给服务器。

图4显示了该例子中的场景描述对应的场景图(Scene Graph)的变化。

假设在场景事件T＝0时刻接收到的初始场景包含一个根元素SVG和音视频节点。在T＝10秒接收到INSERT更新指令后，场景图上增加了一个G元素及其两个children(子)元素：文本框和文本，及其脚本节点(为简便起见未表示出)。在T＝13秒时刻，用户点击投票框A，发送事件到脚本程序，脚本代码处理后发送请求到服务器，服务器发送ASR INSERT指令并在接收端显示投票的结果。

下面所列的ASR场景数据都被映射到ASR单元，而ASR单元作为场景描述的基本流又被打包并复用到手机电视传输流和音视频节目一起发送到手机终端进行解码并播放。

初始场景的ASR单元数据

<asr:newScene>

<video xlink:href＝″<iri>″type＝″stream/avs_p2_video″

width＝″320″height＝″240″x＝″50″y＝″50″repeatCount＝″1″begin＝″0s″/>

<audio xlink:href＝″<iri>″type＝″stream/avs_audio″

repeatCount＝″1″begin＝″0s″/>

</svg>

</asr:newScene>

INSERT指令的ASR单元数据

<！[CDATA[

function serverResponse(evt)

{

var socketbuf＝somestringtosend；

socketsend(socketbuf)；

}

//]]></script>

<asr:insert href＝″demo_video″>

<rect style＝″fill:yellow；stroke:#000000；stroke-width:1″x＝″34″y＝″45″width＝″90″height＝

″30″onclick＝″serverResponse(evt)/>

<text style＝″fill:#000000；font-family:Microsoft Sans Serif；font-size:12pt″x＝″69″y＝″67″

width＝″37″height＝″21″>A</text>

</g>

</asr:insert>

服务器反馈的INSERT指令的ASR单元数据

<asr:insert href＝″demo_video″>

width＝″37″height＝″21″>Thanks for voting！Your Current Credit is now+100</text>

</g>

</asr:insert>

本发明的方法实施方式可以以软件、硬件、固件等等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可是换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims

1.一种富媒体电视的解码方法，其特征在于，包括以下步骤：

如果接收端不支持场景描述的解析或被设置为不解析场景描述，则在解析时忽略承载场景描述的基本流，直接解复用并播放音视频节目，否则对场景描述及其所关联的富媒体基本流进行解码并播放富媒体电视节目。

2.根据权利要求1所述的富媒体电视的解码方法，其特征在于，在所述接收传输层承载的各基本流的步骤之前，还包括以下步骤：

选择频道，各所述基本流均属于所选的频道；

根据来自发送端的通知，判断该频道是否包含承载场景描述的基本流；

如果不包含承载场景描述的基本流，则接收传输层承载的各基本流并直接进行解析。

3.根据权利要求2所述的富媒体电视的解码方法，其特征在于，所述根据来自发送端的通知，判断该频道是否包含承载场景描述的基本流的步骤中，根据来自发送端的带内通知进行所述判断。

4.根据权利要求3所述的富媒体电视的解码方法，其特征在于，所述带内通知可以是以节目描述表或会话描述协议通知。

5.根据权利要求2所述的富媒体电视的解码方法，其特征在于，所述根据来自发送端的通知，判断该频道是否包含承载场景描述的基本流的步骤中，根据来自发送端的带外通知进行所述判断。

6.根据权利要求1至5中任一项所述的富媒体电视的解码方法，其特征在于，对场景描述及其所关联的富媒体基本流进行解码的步骤进一步包括以下子步骤：

A.在执行一场景解析的开始时刻，计算该场景开始的具体时间Tscene；

B.在应用场景描述单元的解码缓存内，根据同步模型计算应用场景描述单元的场景时间，提取场景时间小于或等于Tscene的应用场景描述单元并解码，如果该场景已在之前的执行循环中被显示过，那么该应用场景描述单元被忽略不解码；

C.执行解码所述场景描述单元所得到的场景命令；

D.根据文档对象模型的事件模型处理所有和文档对象模型、可缩放向量图形以及应用场景描述所关联的事件，并根据传输层同步机制解析出所有多媒体元素播放的开始和结束时间；

E.根据开始和结束的播放时间确定场景中所描述的活跃的媒体元素；

F.从场景描述码流中提取活跃的媒体元素，根据其时间戳进行同步和播放，并根据场景中的参数叠加到主视频中；

G.根据可缩放向量图形播放模型播放音频、视频和图形元素，所述主视频根据传输复用协议中的同步机制来播放音频和视频。

7.根据权利要求6所述的富媒体电视的解码方法，其特征在于，所述步骤D中，根据同步多媒体集成语言和传输层同步机制解析出所有多媒体元素播放的开始和结束时间。

8.根据权利要求7所述的富媒体电视的解码方法，其特征在于，所述步骤F和G之间还包括以下步骤：

根据各自的普通播放时间来播放每个活跃的多媒体元素。

9.根据权利要求6所述的富媒体电视的解码方法，其特征在于，对于传输流，所述方法还包括与所述步骤F同时执行的以下步骤：

对于基于传输流的手机电视或数字电视节目，则根据节目特定信息，终端提取相应节目标识的节目并播放音视频主流。

10.根据权利要求6所述的富媒体电视的解码方法，其特征在于，对于基于实时传输协议/用户数据报协议/IP协议栈结构的IPTV电视节目，所述方法还包括与所述步骤F同时执行的以下步骤：

根据会话描述协议的信息和业务指南的节目指南要求，提取并播放音视频主流。