CN103004221A - 多媒体应用的画中画的方法 - Google Patents

Abstract

描述了一种用于准备包含了不止一个针对于画中画应用的分量流的媒体流的方法和装置，以及用于在画中画模式中呈现该媒体流的对应方法和设备。本发明使得对在媒体流中包含的分量流进行实时和动态的画中画呈现。提出了应该支持诸如MPEG-2传输流和ISO媒体格式之类的各种多媒体应用的媒体格式的扩展，以便使能这种动态画中画功能。

Description

多媒体应用的画中画的方法

相关申请的交叉引用

本申请要求提交于2010年7月13日标题为“Method of Picture-in Picturein the MPEG-2TS for the HTTP Streaming”、序列号61/363,697的美国临时专利申请，以及提交于2010年7月13日的标题为“Method of Picture-in-Picturein the ISO Base Media File Format for the HTTP Streaming”、序列号61/363,699的美国临时专利申请的优先权益。通过引用明确地将上述的临时专利申请的教导并入于此。

技术领域

本发明一般地涉及诸如传送或呈现的多媒体应用的画中画。更具体地，本发明涉及支持多媒体应用的画中画功能和改进画中画的灵活性。

背景技术

画中画（PIP）使得观看者同时观看多个单独的视频源。例如，一些蓝光盘字幕（title）包括允许观看者看到导演对他们正在观看的电影的评论的画中画轨道（track）。传统地，诸如在蓝光盘应用中，通过生成硬编码的PIP视频（即，通过用前景视频替换背景视频中的区域）来实施画中画。将硬编码的PIP视频压缩并且发送到接收器。结果，观看者不能动态地调整PIP，诸如开启/关闭PIP特征（除非分开地发送背景视频的副本），以改变前景视频的位置等。另一种传统PIP应用是在播放器侧覆盖两个独立的视频流，其中视频传输不能提供PIP视频流的任何关联信息。

随着交互媒体科技的发展，多个视频分量可以被关联并且形成一组媒体，即，画中画。可以通过内容创建或用户交互来动态地确定PIP媒体的呈现，这意味着前景视频的位置、缩放和阿尔法混合（alpha blending）可以在回放期间改变。在其中前景视频在背景视频上显示导演评论的先前示例中，动态PIP通过例如移动前景视频而使得导演指向背景视频的不同位置的效果成为可能。

诸如MPEG2传输流和ISO媒体文件格式之类的当前媒体文件格式的一个缺点是它们不能实时或动态地更新系统层（即，传输层）中的PIP流的位置、层和缩放的信息。没有动态的位置和缩放信息，就不可能在不共享相同分辨率的屏幕区域上可靠地安放或覆盖视频源。一种可能性是从视频解码器取得信息。取决于编解码器和特定编码器的输出，这种信息可能不存在或可能不可靠。对于系统而言，从编解码器提取这种信息也可能是困难的。系统级的方法是一种提供一致的体验而无论使用的底层视频编解码器的更好的方法。

本发明提供了支持诸如发送和呈现之类的多媒体应用的画中画功能以及改进画中画的灵活性的解决方案。

发明内容

本发明针对一种用于准备包含画中画应用的多个分量流的媒体流并且在画中画模式中呈现这种媒体流的方法和装置。

根据本发明的一个方面，提供了一种用于准备包含针对画中画应用的多个分量流的媒体流的方法。基于在媒体流中包含的多个分量流生成画中画信息。在将这种该画中画信息发送到接收器之前，将其嵌入到媒体流中。还提供了一种执行该方法的装置。所述装置包括：相关器，其根据在媒体流中包含的多个分量流生成画中画信息；以及嵌入器，将画中画信息插入到媒体流中。

根据本发明另一个方面，提供了一种用于在画中画模式中呈现包含多个分量流的媒体流的方法。获得与媒体流有关的画中画信息。根据这种画中画信息，从媒体流中提取多个分量流并且在画中画模式中进行呈现。还提供了实施该方法的装置。这种装置包括提取器和处理器。提取器从媒体流中提取画中画信息，并且根据该画中画信息提取多个分量流。所提取的分量流在处理器中处理以便在画中画模式中呈现。

附图说明

参照附图通过具体描述本发明的示例性实施例，本发明的以上特征将变得更加明显，附图中：

图1图示了其中一个从属层画面覆盖在主层画面上的画中画显示模式。

图2示出了根据本发明的，用于准备包含针对画中画目的的多个分量流的媒体流的装置的结构。

图3示出了准备在画中画应用中使用的媒体流的本发明的一个实施例。

图4示出了用于读取包含画中画信息的媒体流并且在画中画模式中呈现该流的画中画呈现设备的结构。

图5示出了根据本发明的读取包含画中画信息的媒体流并且在画中画模式中呈现该流的过程。

具体实施方式

在本发明中，提出了一种系统级PIP解决方案，其通过将PIP信息（诸如，PIP模式中每个分量流的分辨率/大小、位置以及高宽比）插入到系统级的比特流，使得接收器可以在不访问来自解码器的信息的情况下动态地操作PIP。

图1图示了具有两个画面源的画中画显示模式。将背景画面标记为主层110并且将前景画面标记为从属层120。在一个实施例中，从属层120相对于主层110的位置被定义为一对偏移（水平偏移和垂直偏移）。还根据主层110中期望的区域确定从属层120的高宽比和分辨率。还根据应用来定义诸如主层画面和从属层画面的阿尔法混合之类的其它参数。本发明可以支持多个从属层。每个层可以以相似的方式定义。在不同的实施例中，可以相对于被称作锚画面/视频的固定画面/视频来定义主层和从属层，使得对于所有层而言,位置、缩放和其它PIP信息被对准（align）。在本发明中，将由主层或从属层组成的内容流称作分量流。注意到分量流可以是视频、图像、字幕、或基础层视频、SVC中的增强层视频或MVC中的视频的一个视图。以下，使用视频分量流来描述本发明。相同的原理应用于其它分量类型。

图2示出了一种用于准备包含针对画中画目的的多个分量流的媒体流的装置。该媒体流可以是例如，节目流或传输流。流标识符210识别包含在媒体流205中的分量流215。相关器220根据画中画关系将识别的那些分量流关联。这种画中画关系由应用确定。在一个应用中，作为从属视频的卫星图像的视频可以例如与作为主视频的气象学家对天气预报的评论的视频相关联/相关。在不同的应用中，作为主视频的卫星图像的视频与用于教育目的的作为从属视频的记录遭遇龙卷风的本地城镇的视频相关联。相关器220还基于主分量视频和从属分量视频的信息生成PIP信息225。PIP信息225包括，但不限于：

-指示不同层之间的重叠关系的层信息，诸如哪个分量视频是主层视频，以及哪个分量视频是从属层视频。对于支持多个从属层的应用，层信息还包括从属层之间的重叠关系。

-指示在画中画模式中显示时每个层的位置的位置信息。在一个实施例中，可以相对于主层分量视频计算位置信息。在不同的实施例中，位置信息是相对于锚分量视频。

-指示在画中画模式中显示时每个层的大小或分辨率的大小信息。在一个示例中，通过主层视频中的旨在显示从属层视频的区域的大小来确定从属层视频的大小或分辨率。

-指示在画中画模式中显示时每个层的高宽比的高宽比信息。类似地，在一个示例中，通过主层视频中的旨在显示从属层视频的区域的高宽比来确定从属层视频的高宽比。

还可以包括诸如层的阿尔法混合之类的其它信息。

可以通过嵌入器240将识别的PIP信息225插入到媒体流中。在一个实施例中，通过将PIP信息225馈送到PIP信息构建器230以生成PIP信息数据单元235来实现这样的嵌入。信息数据单元235携带与PIP信息225相同的信息，但是符合分量流215的格式。嵌入器240将符合格式的PIP信息数据单元235连同分量流215一起插入到媒体流中，使得PIP信息可以与分量流相关联以便在接收器侧启用PIP。输出媒体流245与输入媒体流205不同之处在于输出媒体流245包含由嵌入器240插入的PIP信息。

图3示出了准备包含针对画中画应用的多个分量流媒体流的过程。在步骤320，检查在步骤310取得的媒体流中包含的每个分量流。首先，在步骤330识别当前分量流与其他分量流的PIP关系。同时，生成上面提及的PIP信息。这样的PIP信息在步骤340被封装到符合媒体流的格式的PIP信息数据单元。在步骤350将PIP信息数据单元插入到要被发送给接收器的媒体流中。

一般地，对于某一时间段，诸如在视频的一个场景内，分量流的PIP信息是稳定的。也就是说，位置值、大小和其它PIP信息对于该场景内的所有帧保持相同。但是，随着主层或从属层的分量流的内容改变，可能需要更新PIP信息。这种改变的一个示例是导演评论的主题的改变，这需要将导演的视频移动到不同的位置并且具有不同的大小和高宽比。另一个示例可能是从属层视频的源切换到不同的分量流。需要更新PIP信息的这种改变并将其插入到媒体流中。如果PIP信息数据单元用于携带PIP信息，则还应该基于符合媒体流的格式的更新的PIP信息来重建PIP信息数据单元并将其嵌入到媒体流中。

本发明目标在于支持多个分量关系。其可以在诸如HTTP流传输和使得HTML5的功能丰富之类的许多多媒体应用中使用。以下，对于将支持HTTP流传输的两个流传输标准公开PIP信息数据单元设计的两个实施例：MPEG2传输流和ISO媒体格式流传输。由于两个标准的当前版本都不支持系统级PIP实施，所提出的实施例将是当前标准的扩展。应该认识到本领域技术人员将能够设计出虽然没有明确在此描述或示出、但是体现了本原理并且被包括在本原理的精神和范围内的各种版本的PIP信息数据单元。

在表1中列出的是所提出被称为pip_descriptor的用于MPEG-2TS规格的PIP信息数据单元。描述符（descriptor）包含视频源的位置、缩放和高宽比信息的细节。pip_descriptor的语法解释如下：

表1–PiP描述符

-descriptor_tag-descriptor_tag是识别MPEG-2标准中每个描述符的8比特字段。对于MPEG-2中关于描述符的具体细节，参见Information technology-Generic coding of moving pictures andassociated audio information:systems,ISO/IEC13818-1:2007的Section2.6。

-descriptor_length-descriptor_length是指定紧随descriptor_length字段后面的描述符的字节数的8比特字段。

-layer_num-这个字段指示主层分量视频和从属层分量视频是怎样重叠的。0值是在重叠期间最低的层。一般地，对于一个显示器，如果在i层内容和j层内容之间存在任何重叠，并且i＜j，将在重叠的区域呈现j层。使用layer_num的参数，可以容易地实施多显示器设备的支持。在具有多个显示器/屏幕的系统中（诸如，使用TV作为主显示屏幕以及iPad作为辅助显示屏幕），应用可以对具有更高layer_num值的分量流中的内容分配更高的概率以在辅助显示屏幕上呈现。

-master_layer–这个字段指示哪个分量视频是当前分量视频层的主层。如果主层的值与层数的值相同，这意味着当前分量视频是主层。

-horizontal_offset–这个字段指示如图1所示的当前分量视频显示区域的左上角像素相对于主层分量视频或显示区域的左上角像素的水平位置。还可以关于锚分量视频来测量这个值。

-vertical_offset–这个字段指示如图1所示的当前分量视频显示区域的左上角像素相对于主层分量视频显示区域的左上角像素的垂直位置。还可以关于锚分量视频来测量这个值。

-width–这个字段是当前分量视频的显示区域的水平大小。当前分量视频的视频帧被缩放到这个大小。

-height–这个字段是当前分量视频的显示区域的垂直大小。当前分量视频的视频帧被缩放到这个大小。

-aspect_ratio_info_present_flag–如果这个字段的值等于1，这意味着存在aspect_ratio_idc。如果aspect_ratio_info_present_flag等于0，则aspect_ratio_idc不存在。

-aspect_ratio_idc–这个字段指定分量视频中亮度样本的样本高宽比的值。表2示出了代码的含义。当aspect_ratio_idc指示Extended_SAR时，通过sar_width和sar_height来表示样本高宽比。当不存在aspect_ratio_idc语法元素时，aspect_ratio_idc值将被推断为等于0。

表2–样本高宽比指示符的含义

-sar_width指示样本高宽比的水平大小（以任意单位）。

-sar_height指示样本高宽比的垂直大小（以与sar_width相同的任意单位）。

sar_width和sar_height应该是相对主要的（prime）或等于0。当aspect_ratio_idc等于0或sar_width等于0或sar_height等于0时，样本高宽比被认为是未指定的。

-flexibility指示播放器的PIP行为。当将其设置为0时，其是硬编码PIP类型并且意味着播放器不能将其替换或将其移除，这可以用于诸如非可移除的广告之类的应用。当将灵活性字段设置成1时，播放器可以根据诸如屏幕大小和兴趣点掩蔽层等之类的算法替换PIP。当将灵活性字段设置成2时，播放器允许用户改变PIP并且甚至关闭PIP，这可以增强交互体验并且还可以减少控制的开销。

在画中画模式中，target_background_descriptor和pip_descriptors用来将视频放置于图1中所示的显示器中的特定位置。在Information technology-Generic coding of moving pictures and associated audio information:systems,ISO/IEC13818-1:2007的Section2.6.12中更加详细地描述target_background_descriptor。将在Information technology-Generic coding ofmoving pictures and associated audio information:systems,ISO/IEC13818-1:2007的Section2.4.4.8中定义的节目映射表/部分（PMT）的描述符循环中包括pip_descriptor。当必须更新PIP信息时，可以与PMT信息一起动态地更新pip_descriptor。

对于ISO媒体文件格式，提出了两个PIP信息框(box)，一个用于实时更新并且一个用于离线更新。在实时流传输期间使用实时更新PIP信息框，其中PIP信息框被包括在分量流的元数据部分中并且可以持续地更新。离线更新PIP信息框用于诸如DVD之类的离线应用，由此PIP信息在框中仅发送一次并且将该信息插入到流的数据样本部分中。当PIP信息改变时，更新PIP信息框并且将其插入到流的当前数据样本部分中。

1.用于实时更新的PIP信息框

定义：

框类型：‘pipl’

容器：轨道片段框（‘traf'）或轨道框（‘trak’）

强制：否

数量：零或一

语法：

语义：

每个条目与之前解释的相同。

2.用于离线更新的PIP信息框

定义：

框类型：‘pips’

容器：样本表格框（‘stbl’）

强制：否

数量：零或一

语法：

语义

entry_count-是给出以下表格中条目数量的整数。每个条目对应于媒体流中的分量流。

pip_sample_number-给出作为流中的PIP点的样本的数量。可以在Information Technology-Coding of Audio-Visual Objects-Part12:ISO basemedia file format的Section3.1.10中找到关于样本的定义的细节。

在接收器侧，为了呈现包含多个分量流的媒体流的画中画，从媒体流提取PIP信息。根据PIP信息，从媒体流确定并提取包括主层分量流和一个或更多从属层分量流的多个分量流。根据PIP信息呈现其中包括主层分量流和从属层分量流的分量流。在一些情况下，例如当分量流中的视频内容具有与所要求的PIP的大小和高宽比不同的大小/分辨率和高宽比时，需要在呈现之前预处理该分量流。这样的预处理与分量流的缩放操作有关。取决于分量流和PIP信息可能必须进行其它预处理。呈现处理将持续地监视PIP信息，并且在PIP信息更新时进行改变。

图4示出了用于读取包含PIP信息的媒体流的PIP呈现设备的结构。提取器410从输入媒体流提取PIP信息，并且根据PIP信息进一步从媒体流提取主分量流和所有从属分量流。处理器430根据画中画信息处理提取的分量流来生成输出给显示器440。在一个实施例中，提取器410从媒体流提取诸如pip_descriptors或PIP信息框之类的PIP信息数据单元，并且采用分析器420来分析所提取的PIP信息数据单元。来自分析器420的一个输出是对于主层分量视频流和从属层分量视频流的引用。使用那些引用，提取器410能够为处理器430提取必需的分量流。分析器420进一步解析PIP信息数据单元以便生成处理器430可理解的PIP信息。处理器430还可以接受例如来自观看者的外部控制信号，以便控制PIP效果，诸如开启或关闭PIP特征。控制信号可以包含分量流的期望位置或大小信息。这样的信息覆盖了来自于媒体流的PIP信息提供的对应信息。处理器430可以包括用于解码提取的主分量流和从属分量流的视频解码器。可以并行地进行主层分量流和从属层分量流的解码。如果之前提及的预处理对于分量流是必须的，则处理器430通过在生成用于在显示器440上显示的PIP视频之前调用其预处理器单元来进一步进行这样的预处理。如之前讨论的，显示器440还可以包括不止一个用于多显示应用的显示器。

图5示出了根据本发明的读取包含PIP信息的媒体流和在PIP模式中呈现该流的过程。在步骤510中提取诸如pip_descriptors或PIP信息框之类的PIP信息数据单元。在步骤520通过分析提取的PIP信息数据单元来进一步识别PIP信息，诸如，哪些流是主层分量流和从属层分量流。使用PIP信息，在步骤530中该过程能够从媒体流提取所需的分量流。对于每个分量流，判断步骤550确定分量流是否需要预处理。如果需要预处理，则在步骤560根据PIP信息来处理分量流内容，诸如，将内容重新调整到期望的大小和高宽比。如果确定预处理是不必要的，则该过程直接移动到步骤570来进行呈现。可以使用多核处理器或通过多线程实施方案来并行地实现对每个分量流的循环。

尽管在此已经详细地描述本发明的优选实施例，但应该了解，本发明不限于这些实施例，并且本领域技术人员可以在不背离如所附权利要求限定的本发明的范围的情况下实施其它修改和变形。

Claims (35)

1.一种用于准备包含多个针对画中画应用的分量流的媒体流的方法，所述方法包括：

根据在媒体流中包含的多个分量流来生成画中画信息；以及

将画中画信息插入到媒体流中。

2.如权利要求1所述的方法，还包括：

根据多个分量流中的改变来更新画中画信息。

3.如权利要求2所述的方法，其中媒体流是传输流和节目流中的一个。

4.如权利要求2所述的方法，其中插入步骤包括：

根据生成的画中画信息建立画中画数据单元；以及

将画中画数据单元插入到媒体流中。

5.如权利要求4所述的方法，其中所述画中画数据单元包括画中画描述符，并且插入步骤还包括：

将画中画描述符包括到媒体流的节目映射表中。

6.如权利要求4所述的方法，其中所述画中画数据单元包括画中画信息框，并且插入步骤还包括

将画中画信息框插入到多个分量流中。

7.如权利要求6所述的方法，其中画中画信息框是用于实时更新的画中画信息框和用于离线更新的画中画信息框中的一个。

8.如权利要求2所述的方法，其中所述画中画信息包括画中画模式中分量流的层、位置、大小、以及高宽比的信息。

9.如权利要求8所述的方法，其中相对于主层分量流和锚分量流中的一个来定义每个分量流的画中画信息。

10.一种用于准备包含了多个针对画中画应用的分量流的媒体流的装置，所述装置包括：

相关器，根据在媒体流中包含的多个分量流来生成画中画信息；以及

嵌入器，将画中画信息插入到媒体流中。

11.如权利要求10所述的装置，其中所述媒体流是传输流和节目流中的一个。

12.如权利要求11所述的装置，还包括：

画中画信息建立器，根据识别的画中画信息生成画中画信息数据单元，所述画中画信息数据单元被馈送到嵌入器以便插入到媒体流中。

13.如权利要求12所述的装置，其中所述画中画数据单元包括画中画描述符，并且嵌入器还执行以下步骤：

将画中画描述符包括到媒体流的节目映射表中。

14.如权利要求12所述的装置，其中所述画中画数据单元包括画中画信息框，并且所述嵌入器还执行以下步骤：

将画中画信息框插入到多个分量流中。

15.如权利要求14所述的装置，其中画中画信息框是用于实时更新的画中画信息框和用于离线更新的画中画信息框中的一个。

16.一种用于在画中画模式中呈现包含了多个分量流的媒体流的方法，所述方法包括：

获得与媒体流有关的画中画信息；

根据获得的画中画信息从媒体流提取多个分量流；以及

根据获得的画中画信息呈现多个分量流。

17.如权利要求16所述的方法，其中媒体流是传输流和节目流中的一个。

18.如权利要求16所述的方法，其中多个分量流包括主层分量流和至少一个从属层分量流。

19.如权利要求16所述的方法，还包括：

如果必要，在呈现之前，根据画中画信息预处理所提取的多个分量流中的至少一个分量流。

20.如权利要求19所述的方法，其中获得步骤包括：

从媒体流中提取画中画信息数据单元；以及

分析画中画信息数据单元以便识别画中画信息。

21.如权利要求20所述的方法，其中画中画数据单元包括画中画描述符、用于实时更新的画中画信息框、以及用于离线更新的画中画信息框中的至少一个。

22.如权利要求16所述的方法，其中所述画中画信息包括画中画模式中分量流的层、位置、大小、以及高宽比的信息。

23.如权利要求22所述的方法，其中相对于主分量流和锚分量流中的一个来定义每个分量流的画中画信息。

24.如权利要求22所述的方法，其中预处理步骤包括将提取的分量流中的至少一个缩放到画中画信息中指定的大小。

25.一种用于在画中画模式中呈现包含了多个分量流的媒体流的装置，所述装置包括：

提取器，从媒体流中提取画中画信息，并且用于根据画中画信息提取多个分量流；

处理器，根据画中画信息处理所提取的多个分量流。

26.如权利要求25所述的装置，其中所述提取器从媒体流中提取画中画信息数据单元，所述装置还包括：

分析器，分析画中画信息数据单元以便得到画中画信息，并且向提取器提供对多个分量流的引用。

27.如权利要求26所述的装置，还包括：

显示器，以画中画模式显示媒体流。

28.如权利要求25所述的装置，其中所述媒体流是传输流和节目流中的一个。

29.如权利要求25所述的装置，其中多个分量流包括主层分量流和至少一个从属层分量流。

30.如权利要求25所述的装置，其中画中画数据单元包括画中画描述符、用于实时更新的画中画信息框、以及用于离线更新的画中画信息框中的至少一个。

31.如权利要求25所述的装置，其中所述画中画信息至少包括画中画模式中分量流的层、位置、大小、以及高宽比的信息。

32.如权利要求31所述的装置，其中相对于主分量流和锚分量流中的一个来定义每个分量流的画中画信息。

33.如权利要求25所述的装置，其中所述处理器包括：

预处理单元，将至少一个分量流缩放到画中画信息中指定的大小。

34.如权利要求25所述的装置，其中所述处理器接受控制信号并且根据该控制信号来处理所提取的分量流中的至少一个。

35.如权利要求25所述的装置，其中所述显示器包括多个屏幕，用于在画中画模式中显示媒体流。

Images