CN1993762A - 改善特技播放期间和之后的图形可访问性 - Google Patents

Abstract

公开了一种创作多路复用流中包括图形内容的数字视频信号的方法。该方法包括，在创作期间构造所述信号，将所述图形内容专门多路复用到多路复用在流中的至少第一种类型的图像的帧中。这在仅从流中读取所述第一种类型的图像时能够实现得到改善的特技播放效果。这样，在特技播放期间也可以使用图形内容并且在特技播放返回到正常播放之后立即可以使用图形内容。

Description

改善特技播放期间和之后的图形可访问性

技术领域

本发明总体上涉及数字信号的领域。更加具体地讲，本发明涉及除了图像之外还包括图形内容的数字视频信号，并且再更加具体地涉及在数字视频流信号的特技播放期间和之后可从这一数字视频流中得到的经过改善的图形。

背景技术

一般来说，术语“特技播放”指的是视频信号的重放模式，比如以相对于视频信号的正常重放模式下的标称速度的各种不同速度进行的慢/快进/退。

基于磁带的模拟视频记录器目前正在被基于作为存储介质的硬盘或光盘的数字视频记录器取代(也称为数字个人视频记录器(PVR))。消费者仍然期待着可以使用用惯了的特技播放模式，但是VHS中使用的技术不再适用了。目前市场上的数字视频记录器和DVD播放器通过到常规电视的模拟接口进行重放。通过数字接口进行重放正在变成一项重要特征，尤其是在数字网络快速增长的情况下。

而且，视频内容依靠交互内容得到了提升，例如在交互式电视方面。PVR支持用户使用诸如暂停、即时重播、倒放之类的传输控制来利用“特技播放”模式。与传统的录像机不同，这些操作也可以在观看直播电视的同时进行。

通过数字接口进行重放为特技播放带来了问题，因为对流进行接收和解码的装置一般来说并不知道它正在接收特技播放流。接收装置将会认为是遵从与正常播放相同的格式的正常视频流。

MPEG(运动画面专家组)是这样一群专家：他们在ISO(国际标准组织)的安排下举行会议，来为数字视频和音频压缩制定标准。MPEG-2标准已经使得在这样的消费者产品中使用压缩数字视频数据成为现实。MPEG-2是为运动画面和相关音频的通用编码而设计的，并且MPEG-2创建由按照称为GOP结构(GOP＝画面组)的规定顺序排列的三种类型的帧数据(内帧I、正向预测帧P和双向预测帧B)形成的视频流。有很多可行的GOP结构，但是普通的GOP结构长度为12或15帧，(因为GOP的时间通常为大约0.5秒，对于50Hz的系统，0.5秒的时间导致有12帧，而对于60Hz的系统，0.5秒会导致有15帧)并且普通的GOP结构具有I_BB_P_BB_P_BB_P_BB_P_BB_P_BB_序列。GOP结构中I、P和B画面的比例是由视频流的性质和输出流所受的带宽约束决定的。GOP结构由帧内画面(I画面)开始。I画面是在不参考其它画面的前提下编码的。I画面还提供位流中编码开始处的入口点。P画面具有对在前的I画面或P画面的引用。这种P画面只有在已经解码出了这一在前的I画面或P画面的情况下才能得到解码。B画面包含对在前I或P画面的参考以及对下一P或I画面的引用。I画面所对应的编码画面的平均数据位量最高，而B画面所对应的平均数据位量最低。

而且，要将上面提到的图形数据多路复用为上面介绍的主MPEG2传输流(TS)中的基本流。该图形数据例如用于呈现菜单(其中例如菜单的内容在流中的不同位置上可以是不同的)或者例如用来呈现字幕。

在特技播放期间，并非要读取所有的流数据，因为从盘向外的传递速率是有限的并且这个速率在正常播放期间就已经很高了。使得特技播放能够实现的比正常播放速率高的速率通常是不可能达到的。因此，特技播放是通过仅仅读取部分流(例如，仅仅读取I画面)并且以正常播放速度显示这些部分来实现的。假设GOP长度为12帧并且快进速度为正常速度的3倍(3x)，则仅读取和呈现I画面。在呈现期间，将这些画面重复4x。这样，使得虚拟特技播放可行，仅用快速播放的视频信息为用户提供了预期的感受。不过，这意味着在特技播放模式期间会有部分流得不到读取。按照现有技术，不读取部分图形基本流。如果缺失部分数据，则整个数据将不可用。因此，本发明要解决的问题是常规特技播放期间图形数据的丢失。

而且，在按照常规方式从特技播放转变到正常播放之后，仍然不会呈现交互图形。这是由于针对图形流的获取点不能过于频繁地重复这一实际情况造成的，因为这可能会使主多路复用流的位速率增加得过大。这意味着，在一定的时间段内不会呈现出基于来自图形流的图形的菜单内容。尤其是在转换到正常播放之后，用户通常想要看到菜单，以便改变重放。任何时间延迟都会让用户感到不方便。本发明的另一个目的是克服这一缺点。

数字视频信号的某些传输格式要求在传输流中先于相关图像预先传送图形信息，即，呈现图形和交互图形。除了上述问题之外，这也会导致对用户造成与前述相同的不方便感觉的缺陷，即，在特技播放期间图形不可用和从特技播放返回到正常播放时的图形延迟显示。

一般来说，呈现图形是例如字幕信息，但是它另外也可以是位图呈现中的画面。交互图形一般是包括按钮和画面的位图呈现的菜单。

针对各种语言，将不同的图形流多路复用在主多路复用流中。图形的呈现在同一时刻针对各种语言开始进行。这就是为什么要运用位流分摊的原因，因为在不进行分摊的情况下，主多路复用流的位速率会出现不希望有的峰值。这一分摊就是为什么要预先发送图形信息的原因，实际上要预先一分钟发送。

如前面所提到的，特技播放的大多数实现过程仅仅读取主多路复用流的I帧。为此，有CPI(特征点信息)表，这个表具有I帧的起始和结束位置。在特技播放期间，跳过来自其它帧的传输流数据包。这意味着，在特技播放期间，仅仅从图形流中读取某些数据包，而跳过其它的数据包。这使得图形流不可用。在恢复正常播放之后，用户不得不等待一段时间，直到在流中传送了新的图形，才能够再次呈现图形。因此，用户不得不等待呈现时间，因为如前面所提到的，图形是预先传送的，而这个预先的程度可能要达到一分钟。这个时间延迟是用户无法接受的并且必须要加以克服。

因此，本发明的再一个目的是，即使在特技播放期间以及在特技播放后再次开始正常播放之后立即，允许访问和利用(例如呈现)来自TS的全部图形(呈现图形和交互图形)。

发明内容

本发明通过提供按照所附权利要求的创作数字视频信号的方法、针对数字视频信号的特技播放方法、用于执行这些方法的设备、包括用于执行这些方法的计算机可执行程序的计算机可读介质和数字视频信号来克服前面指出的现有技术中的不足并且单独地或组合地解决前述问题。

本发明提议将图形数据仅仅(即，专门地)多路复用在视频多路复用流中多路复用了在特技播放期间要显示的帧所处位置处的部分中。

按照优选实施方式，仅仅在多路复用了I帧的位置上将图形数据多路复用在主多路复用流中。这个数据在特技播放期间被读取，所以所有图形数据也得到读取并且可供进一步处理和显示使用。按照本发明，实现了在特技播放期间能够呈现来自于图形流中的图形数据的信息以及在特技播放之后能够立即呈现这一信息，因为在这些阶段期间具有图形内容的TS数据包没有丢失。

按照本发明的一个方面，给出了一种创作多路复用流中包括图形内容的数字视频信号的方法。该方法包括，在创作期间构造所述信号，将所述图形内容专门多路复用到多路复用在流中的至少第一种类型的图像的帧中。最好，数字视频信号是MPEG-2兼容信号，并且所述第一种类型的图像是不参照流中其它画面编码的I画面。最好，所述图形是呈现图形(比如字幕)或交互图形(比如菜单)。

按照本发明的另一个方面，给出可另一种针对按照前面公开的方法创作的包括图形内容的数字视频信号的特技播放方法。该特技播放方法包括，在特技播放期间使用来自源多路复用流的选定数量的第一种类型的图像作为显示所述特技播放的源。将交互内容多路复用到所述第一种类型的图像中。

按照本发明的再另一个方面，给出了一种用于创作多路复用流中包括图形内容的数字视频信号的设备。该设备适用于执行前面的创作方法。

按照本发明的再另一个方面，给出了一种用于特技播放包括图形内容的数字视频信号的设备。该设备构成为用于执行前面的特技播放方法。

按照本发明的另一个方面，给出了一种上面收录了由计算机进行处理的计算机程序的计算机可读介质。该计算机程序包括用于创作多路复用流中包括图形内容的数字视频信号的代码段，所述计算机程序配置为用于执行前面公开的创作方法。

按照本发明的另一个方面，给出了一种上面收录了由计算机进行处理的计算机程序的计算机可读介质。该计算机程序包括用于特技播放多路复用流中包括图形内容的数字视频信号的代码段，所述计算机程序配置为用于执行前面公开的特技播放方法。

按照本发明的再另一个方面，给出了一种包括图形内容的数字视频信号。该信号包括传输流中的选定数量的第一种类型的编码图像，图形内容多路复用在所述第一种类型的图像中。

按照本发明的最后一个方面，给出了一种包括前面公开的信号的数字存储介质。

本发明具有优于现有技术的优点，它通过使得图像数据在特技播放期间以及在特技播放之后立即可用，改善了图形的呈现。实现成本非常之小。它是在创作期间实现的。在重放期间，监视基本流的连续性计数。一旦发现没有丢失TS数据包，就可以对图形进行解码。

附图说明

参照附图，从下文中本发明的实施方式的介绍中，本发明的其它目的、特征和优点将会变得显而易见，其中

附图1是由来自视频流和图形流的视频画面和图形画面构成的显示画面的创建过程的示意图，

附图2是来自多路复用视频流的作为时间的函数的I-B-P视频画面的传输和呈现的示意图，

附图3是包含来自一个视频基本流、两个音频基本流、一个交互图形基本流、一个字幕基本流的传输流数据包和SI/PSI传输流数据包的示例传输流的示意图，

附图4是视频帧和图形画面的相应呈现时间的图解说明，

附图5是按照本发明的视频信号的实施方式中的多路复用流的示意图，

附图6是从存储数据创建MPEG传输流的示意图，和

附图7是特技播放期间重放系统的示意图。

具体实施方式

附图1示意性地从总体上图解说明如何由传输流TS、视频画面所构成的画面P和图形画面来产生显示画面15。这一原理既可应用于正常播放，又可应用于特技播放。多路分解器10从传输流TS(例如，MEPG-2流)中过滤出基本流(即，具有相同PID号码的流)。在不同音频语言的情况下，选择带有选定语音的流。如果在流中存在不同语言的字幕，则运用相同的过程。为了图解说明和清晰明了的目的，附图1仅仅示出了视频基本流和图形基本流，例如，字幕(ST)基本流。如果有交互图形流，则通常在视频平面13和字幕平面14的上面有第三个平面。这些基本流是在针对视频和图形的单独的解码器11和12中解码的。这些解码器还包含缓冲器，在通过叠加解码后的视频平面13和解码后的图形平面创建画面15的时候，呈现信息之前，将其存储在所述缓冲器中。

附图2图解说明在某一画面能够得到解码和呈现之前，必须已经发出了来自这个画面的所有信息。在B(和P)画面能够得到解码之前，必须已经解码出了参考画面。

附图3给出了相继TS包的例子。示出了来自下列基本流的示例TS包：视频31、音频-1 36、音频-2 36、交互图形(IG)34、字幕(ST)36和此外的SI信息37。非常常见的情况是有不止一个图形流，例如，针对不同语言的图形流。

附图4表示常规的情况，在这种情况下，将图形画面的图形信息散布在数个GOP间隔内，并且图形画面的传输起始点可以是在实际呈现图形画面之前数秒或者甚至数分钟。

在常规情况下，象前文中提到的那样，在特技播放期间仅读取部分流，即，仅读取I画面。这意味着，在常规情况下仅读取部分交互图形(IG)和/或字幕(ST)流，因为图形信息是沿着整个TS散布的。因此，在常规特技播放期间，会丢失某些IG/ST TS数据包。这使得整个IG/ST流无用，因为在特技播放期间不能呈现IG/ST画面。在特技播放之后，如前所述，在可得到新的IG/ST画面之前，可能会花费几分钟。

按照本发明的实施方式，仅仅在多路复用I画面的时候，才将图形TS数据包(IG和/或ST)多路复用在流中。这样，在特技播放期间读取的是完整的图形流，并且将不会有缺失的数据包。在特技播放期间可以呈现图形并且在将特技播放转变成正常播放之后可立即得到图形。

附图5表示由按照本发明的创作方法的实施方式创作的视频信号TS的优选实施方式，其中仅仅将图形信息多路复用在将I画面51多路复用在流TS中的TS间隔内。在特技播放期间，仅仅读取传输流TS中那些包含I画面数据的部分53。CPI表就是用于实现这一目的。这里给出了流的起始位置和I画面的长度。按照本发明，将图形数据专门多路复用在TS中包括I画面的间隔51内。在包括B+P画面的间隔52内，不多路复用图形数据。因此，可访问并使用完整的图形数据以供特技播放期间的进一步处理。

在按照本发明的创作方法的实施方式创作视频信号的时候，借助多路复用器61将来自于视频、音频、呈现和交互图形的基本流中的所有传输流数据包全部都多路复用在一个MPEG-2传输流中。在创作TS期间，要遵循下列多路复用规则(得到附图6中图解说明的支持)：

-各个基本流得到它们自己的PID号码。

-考虑各个基本流的缓冲器要求，这样做的意思是要避免解码缓冲器中出现缓冲器下溢和上溢。

-各个存取单元具有PTS(呈现时标)(和DTS(解码时标))。

-最大位速率(在传输缓冲器中平均了的)具有取决于基本流种类的最大值(对于视频是40Mbps，对于音频是2Mbps，对于系统数据是1Mbps)。

-图形流的多路复用率相当低。这意味着，将用于显示一个画面的图形流散步在数个帧间隔内，如附图4中所示。

-在一定时间之后刷新图形画面，这个时间间隔可以很大(长达数分钟)，仍见附图4。

-在特技播放期间，仅仅读取部分流。非常常见的情况是，仅读取I画面。使用CPI信息来实现这种读取，CPI信息指出MPEG传输流中I画面的起始位置(I-起始)和结束位置(I-结束)。

-在有P和B画面多路复用在流中的间隔期间，不在流中多路复用图形数据或者用于图形处理的其它相关数据。

-得出CPI表，并且如果存储了TS，则将CPI表也存储在数字存储介质(比如光盘或硬盘)上。

来自基本流60的数据存在于缓冲器中或者可以从数字存储介质(比如硬盘或光盘)中得到。在将基本流的TS数据包多路复用到一个MPEG2传输流期间，遵循前面给出的一般性多路复用规则。运用了一项额外的规则，这项规则是关于仅仅在有I帧多路复用在流中的间隔期间将图形基本流多路复用在多路复用流中。对所有这项规则适用的基本流运用这项规则。

在附图7中所示的本发明的另一种实施方式中，视频播放器70在从按照前面介绍的创作方法创作的TS中进行重放的特技播放期间使用CPI表71，以便从TS中仅仅读取存在来自I画面的数据的那些部分。这一选择是由CPI选择器装置72进行的。因此在多路分解器73中仅仅过滤出了相关的流。监视MPEG2 TS画面中的连续性计数，以检查是否没有遗漏数据包。由解码器74、75分别对图形和视频进行解码，并且如果希望的话，对解码结果进行缓存。然后在对应于I画面的呈现时间的呈现间隔上显示解码后的视频画面76和叠加在一起的解码后的图形画面77。因此，能够实现具有在特技播放期间以及紧接在特技播放结束之后的不受阻碍的图形呈现的特技播放。

按照本发明的再一种实施方式，提供了一种上面记录有多路复用视频信号的数字存储介质，其中所述视频信号是按照前面参照附图6介绍的创作方法创作的。该数字介质最好是硬盘大容量存储装置或者光盘，比如DVD或BD-ROM。

与前面介绍的方法相关的特技播放的应用和用途、按照本发明的设备、程序和数字介质是多种多样的并且包括诸如在象DVD或BD-ROM这样的光盘上发布的电影之类的示例领域。这里在制片厂中进行创作期间已经留意到仅仅将图形数据多路复用在传送I画面的间隔中。

还可以用在自己的音像制品的个人创作当中。创作软件工具留意到仅仅在传送I画面的间隔期间将图形数据多路复用在流中。

甚至可以用于广播信号。在这种情况下，上面那些动作是在播音室中进行的。

前面的介绍针对的是图形流(可以是呈现图形或交互图形)。很容易理解，也可以将同样的技术应用于专用于广播信号的所谓的SI(服务信息)TS数据包和MPEG中规定的PSI(节目专用信息)。

上面参照具体实施方式介绍了本发明。不过，处在所附权利要求范围内的除了前面介绍的优选实施方式之外的实施方式同样是可行的，例如，多路复用顺序与前面介绍的不同、由硬件或软件执行上述方法等。

再有，术语“包括”在本说明书中加以使用的时候并不排除其它单元或步骤，术语“一”和“一个”并不排除有多个的可能，并且单独一个处理器或其它单元可以完成权利要求中列举的好几个单元或电路的功能。

Claims (16)

1.一种创作多路复用流中包括图形内容的数字视频信号的方法，所述方法包括，在创作期间构造所述信号，并且将所述图形内容专门多路复用到多路复用在流中的至少第一种类型的图像的帧中。

2.按照权利要求1所述的方法，其中所述数字视频信号是MPEG-2兼容信号。

3.按照权利要求1或2所述的方法，其中所述第一种类型的图像是不参照流中其它画面编码的I画面。

4.按照权利要求1到3中任何一项所述的方法，其中所述图形是呈现图形或交互图形。

5.按照权利要求4所述的方法，其中呈现图形包括字幕。

6.按照权利要求4所述的方法，其中交互图形包括菜单。

7.一种特技播放方法，用于按照权利要求1到6所述的方法创作的、包括图形内容的数字视频信号，所述方法包括，在特技播放期间从源多路复用流中读取选定数量的第一种类型的图像作为显示所述特技播放的源，并且与所述第一类型的图像一起读取多路复用在所述第一类型的图像中的所述图形内容。

8.一种用于创作多路复用流中包括图形内容的数字视频信号的设备，所述设备适用于执行权利要求1到6所述的方法。

9.一种用于特技播放包括图形内容的数字视频信号的设备，所述设备构成为用于执行权利要求7所述的方法。

10.一种上面收录了由计算机进行处理的计算机程序的计算机可读介质，该计算机程序包括用于创作多路复用流中包括图形内容的数字视频信号的代码段，所述计算机程序配置为用于执行权利要求1到6所述的方法。

11.一种上面收录了由计算机进行处理的计算机程序的计算机可读介质，该计算机程序包括用于特技播放多路复用流中包括图形内容的数字视频信号的代码段，所述计算机程序配置为用于执行权利要求7所述的方法。

12.一种包括图形内容的数字视频信号，所述信号包括在传输流中选定数量的第一种类型的编码图像，其中所述图形内容被专门地多路复用在所述第一种类型的图像中。

13.一种按照权利要求1到6中任何一项所述的方法创作的多路复用数字视频信号。

14.按照权利要求12或13所述的数字视频信号，其中该信号存在数字存储介质上。

15.按照权利要求12或13所述的数字视频信号，其中该信号配置成用来进行广播。

16.一种将权利要求12到14中任何一项所述的信号存储于其上的数字存储介质。

Images