CN101204089B - 视频数据再生装置、视频数据生成装置 - Google Patents

Abstract

一种视频数据再生装置，包括：标志符读出部(101)，其读出根据视频数据来指示特殊再生时的再生方式的标志符；对两个视频数据进行解码的解码部(102、103)；合成解码视频并输出的合成部(106)；和根据上述标志符的值来控制解码部(102、103)及合成部(106)的动作的管理部(109)。通过根据上述标志符的值来管理画中画再生时的特殊再生的再生方式，对于画中画视频的特殊再生时的再生方式，能实现反映了提供者意图的再生方式。

Description

视频数据再生装置、视频数据生成装置

技术领域

本发明涉及一种在被输入多个视频数据(video data)之后，输出对将该多个视频数据解码而得到多个解码视频进行合成后的再生视频的视频数据再生装置、以及用于将由多个视频数据得到的多个解码视频进行合成来输出再生视频的该视频数据的视频数据生成装置等。

背景技术

基于网络基础结构的高速化和记录介质的大容量化，用户或用户使用的视频设备一次可处理的视频数据的绝对量飞跃增加。伴随于此，使用多个视频数据实现的各种功能或基于这些功能的高度应用也正在不断出现。在上述功能中有一种被称作画中画的功能。“画中画”是在画面(母画面)中重叠小的子画面并同时显示2个视频的功能。上述画中画功能例如被用于：在子画面中显示从不同于母画面视频的角度拍摄的视频，即“多角度显示”；以注释形式显示与母画面的视频相关的附加信息，即“注释显示”(例如显示监督的注释视频等，该监督的注释视频收录了与视频有关的拍摄密闻等)。

该画中画功能如图17所示，例如可通过分别在2个不同的层上解码两个视频数据，并将这些解码视频重合的处理来实现。

另外，图18表示了画中画功能中的子画面的视频的显示形态的不同，在子画面上除了矩形视频1801之外，还可使用任意形状的视频1802。关于画中画的功能以及实现方法，例如记载于专利文献1等中。

专利文献1：特开2005-123775号公报

在画中画中，可同时再生显示两个视频。因此，当进行画中画显示时，例如在对母画面的视频指示了高速再生等的特殊再生的情况下，关于是按照母画面的视频对子画面的视频进行特殊再生还是不进行特殊再生，一直以来没有限制，这取决于再生设备的安装。因此，在提供视频一侧不能限制特殊再生时的动作。这里，所谓特殊再生是指除了2倍速度、4倍速度等视频的高速再生之外，慢动作再生、逐帧再生(frame-by-frameplayback)、倒推再生等不同于通常再生的视频再生方式。

图19表示从提供者向消费者发送视频内容时的作为代表的3个途径(广播、通信(网络)、数据包配送)。另外，作为复合型的发送机构，能够以广播或数据包配送的方式输送基本部分，以通信(网络)输送追加部分。当如此从提供者向消费者发送含有画中画的视频时，根据用途(申请)的不同，需要在视频提供者一侧按照提供者的意图指定画中画的特殊再生时的再生方式。

例如，子画面中显示的视频是特权视频(privilege video)，要求将视听到最后也不能进行高速再生作为视听条件。对此，在以往的画中画中如上所述，特殊再生时的再生方式由再生设备一侧决定，没有用于实现提供者侧的上述要求的方法。

发明内容

本发明鉴于上述问题而提出，其目的在于，提供一种对于画中画视频的特殊再生时的再生方式，能实现反映了提供者的意图的再生方式的视频数据再生装置及视频数据生成装置等。

为了解决上述课题，第一发明提供一种视频数据再生装置，其被输入多个视频数据，输出将对解码该多个视频数据而得到的多个解码视频进行合成而得到的再生视频，包括：解码单元，其对所述多个视频数据进行解码，得到所述多个解码视频；合成单元，其对所述多个解码视频进行合成，得到所述再生视频；指示信息读出单元，其用于读出指示信息，该指示信息根据所述多个视频数据的至少一个来指示所述再生视频的再生方式；和管理单元，其通过根据由所述指示信息读出单元读出的指示信息，控制所述解码单元或所述合成单元的至少一个的动作来管理所述再生方式。

第二发明提供一种视频数据再生装置，其被输入多个视频数据和与该多个视频数据的至少一个相关的管理数据，以画中画形式的视频输出将对解码该多个视频数据而得到的多个解码视频进行合成而得到的再生视频，包括：解码单元，其对所述多个视频数据进行解码，得到所述多个解码视频；合成单元，其对所述多个解码视频进行合成，得到所述再生视频；指示信息读出单元，其用于读出指示信息，该指示信息根据所述管理数据来指示所述再生视频的再生方式；和管理单元，其通过根据由所述指示信息读出单元读出的指示信息，控制所述解码单元或所述合成单元的至少一个的动作来管理所述再生方式，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述画中画形式的视频中母画面的视频被特殊再生的期间，是否显示子画面的视频的信息。

第三发明根据第一或第二发明提出，其特征在于，所述再生视频是画中画形式的视频。

而且，第四发明根据第三发明提出，其特征在于，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述画中画形式的视频中母画面的视频被特殊再生时，是否对子画面的视频进行特殊再生的信息。

另外，第六发明根据第三发明提出，其特征在于，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述画中画形式的视频中子画面的视频被特殊再生时，是否对母画面的视频进行特殊再生的信息。

第七发明根据第一或第二发明提出，其特征在于，所述再生视频是双画面显示形式的视频。

此外，第八发明根据第七发明提出，其特征在于，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述双画面显示形式的视频中一个视频被特殊再生时，是否对另一个视频进行特殊再生的信息。

而且，第九发明根据第七发明提出，其特征在于，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述双画面显示形式的视频中一个视频被特殊再生时，是否显示另一个视频的信息。

第十发明提供一种视频数据生成装置，是在对由多个视频数据得到的多个解码视频进行合成并输出再生视频中所利用的该视频数据的视频数据生成装置，包括：编码单元，其对输入的视频进行编码，得到编码后的视频数据；和指示信息写入单元，其对所述视频数据写入指示所述再生视频的再生方式的指示信息。

第十一发明提供一种视频数据生成装置，是在对由多个视频数据得到的多个解码视频进行合成并以画中画形式的视频输出再生视频中所利用的该视频数据的视频数据生成装置，包括：编码单元，其对输入的视频进行编码，得到编码后的视频数据；管理数据生成单元，其生成与所述视频数据相关的管理数据；和指示信息写入单元，其对所述管理数据写入指示所述再生视频的再生方式的指示信息，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述画中画形式的视频中母画面的视频被特殊再生的期间，是否显示子画面的视频的信息。

并且，第十二发明根据第十一发明提出，其特征在于，还包括多路复用数据生成单元，其生成对所述视频数据和写入了所述指示信息的所述管理数据进行多路复用而得到的多路复用数据。

另外，第十三发明根据第十～第十二中任意一项发明提出，其特征在于，所述再生视频是画中画形式的视频。

此外，第十四发明根据第十三发明提出，其特征在于，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述画中画形式的视频中母画面的视频被特殊再生时，是否对子画面的视频进行特殊再生的信息。

并且，第十六发明根据第十三发明提出，其特征在于，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述画中画形式的视频中子画面的视频被特殊再生时，是否对母画面的视频进行特殊再生的信息。

另外，第十七发明根据第十～第十二中任意一项发明提出，其特征在于，所述再生视频是双画面显示形式的视频。

此外，第十八发明根据第十七发明提出，其特征在于，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述双画面显示形式的视频中一个视频被特殊再生时，是否对另一个视频进行特殊再生的信息。

而且，第十九发明根据第十七发明提出，其特征在于，所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述双画面显示形式的视频中一个视频被特殊再生时，是否显示另一个视频的信息。

发明效果

本发明中，在子画面视频的视频数据中包含指示标志符，该指示标志符表示母画面的视频被特殊再生时子画面的视频的再生方式(是否随从母画面的特殊再生)。或者，将指示标志符存储到与母画面、子画面的视频数据独立的管理数据中。这样，在发送视频数据时等，也能将指示标志符的指示信息与视频数据一起处理。在视频再生装置中，通过读出上述存储的指示标志符并对其进行利用，能按照提供者的意图进行画中画时的特殊再生(随从母画面视频对子画面视频进行特殊再生，或者独立地进行再生)。结果，画中画时的再生方式不依赖于再生设备的安装。

附图说明

图1是表示本发明的第一实施方式所涉及的视频再生装置的概略构成的功能框图。

图2是表示本发明的第一实施方式所涉及的视频再生装置中特殊再生时的再生方式的说明图。

图3是表示本发明的第一实施方式所涉及的视频再生装置中特殊再生时的其他再生方式的说明图。

图4是表示本发明的第一实施方式所涉及的视频再生装置中特殊再生时的又一再生方式的说明图。

图5是表示本发明的第一实施方式所涉及的视频再生装置中特殊再生时的另一再生方式的说明图。

图6是表示可本发明的第一实施方式所涉及的视频再生装置中处理的指示标志符(indication flag)的值与特殊再生时的再生方式之间的对应关系的表。

图7是表示本发明第一实施方式所涉及的视频数据生成装置的概略构成的功能框图。

图8是表示本发明第一实施方式中处理的视频数据的概略结构的说明图。

图9是表示本发明第一实施方式所涉及的视频再生装置的其他构成的功能框图。

图10是表示本发明第一实施方式中处理的视频数据的其他概略结构的说明图。

图11是表示本发明第一实施方式所涉及的视频再生装置的又一构成的功能框图。

图12是表示本发明的第一实施方式中再生的视频的画面显示例的说明图。

图13是表示本发明的第二实施方式所涉及的视频再生装置的概略构成的功能框图。

图14是表示本发明的第三实施方式所涉及的视频再生装置的概略构成的功能框图。

图15是表示本发明的第三实施方式所涉及的视频数据生成装置的概略构成的功能框图。

图16是表示本发明的第三实施方式中处理的视频数据的概略结构的说明图。

图17是表示以往的画中画功能的实现方式的说明图。

图18是表示以往的画中画功能的例子。

图19是说明以往的视频内容的发送的说明图。

图中：1一视频再生装置；101一标志符读出部；102、103一解码部；104、105一缓冲器(BF)；106一合成部；107一显示部；108一输入部；109一解码管理部；110一调整部。

具体实施方式

(第一实施方式)

首先，利用图1～图12来说明本发明的第一实施方式所涉及的视频再生装置。

图1是表示本发明的第一实施方式所涉及的视频再生装置1的概略构成的功能框图。视频再生装置1将2个视频数据(编码视频流)作为输入，来解码这些数据，并将对解码视频进行合成后的视频输出并进行显示。本说明书中，以下将画中画显示中母画面显示的视频称作“主视频”，将作为子画面显示的视频称作“子视频”，以进行区分。

视频再生装置1包括：标志符读出部101，其用于从子视频的视频数据读出后述的指示标志符；用于分别对视频数据解码编码化数据的解码部102和103；同样地保持各个解码视频并根据合成定时进行输出的缓冲器(BF)104和105；用于合成这些解码视频的合成部106；显示输出视频的显示部107；接收用户的输入的输入部108；以及用于控制解码部102、103的解码处理的解码管理部109。另外，在上述合成部106中包括用于对子视频的解码视频调整合成用的显示尺寸或显示位置的调整部110。

在本实施方式所涉及的视频再生装置1中，通过标志符读出部101从视频数据读出后述的指示标志符并输出。在实际的视频数据解码中，存在着需要分离随附的音频数据或读出视频中附带的管理信息(表示视频的编码方式的信息等数据解码所需的信息、指定视频的时间上的剪辑或连接的播放列表信息等视频的再生所需的信息等)的情况，但在图1中为了方便说明，省略上述分离、读出的说明。

首先，在标志符读出部101中从子视频的视频数据读出用于指示特殊再生时的再生方式的指示标志符。该读出的指示标志符被输入到解码管理部109，并在画中画视频的特殊再生时利用。关于指示标志符的具体内容将在后面详细描述。

首先对通常再生时的动作进行说明。在通常再生的情况下，主视频的视频数据及(指示标志符读出后的)子视频的视频数据分别被输入到解码部102、103，之后被顺次解码。然后，解码后的各视频暂时被存储在缓冲器(BF)104、105中，之后在调整了输出定时的基础上被发送给合成部106。

合成部106构成为在内部包括调整部110。而且，输入到合成部106的两个解码视频中，对应子视频的解码视频从BF105输入到调整部110。在调整部110中，作为使子视频重合于主视频的前处理，将进行子视频的图像尺寸的变更和显示位置的设定。这些子视频(子画面)的图像尺寸和显示位置的值是作为合成参数由视频再生装置1预先持有，或者通过用户输入的。或者，也可以通过与用户的交互(interaction)来决定。这样调整后的子视频重合在从BF104输入的主视频所对应的解码视频上来进行合成。

另外，在进行合成时，也可以设定子视频的透过度以便能够透视主视频。该透过度也可作为合成参数由视频再生装置1预先持有，或者通过与用户的交互来决定。

如此在合成部106中合成并被输出的画中画视频通过显示部107由监视器等显示。

接着，对指示了特殊再生时的动作进行说明。视频再生装置1具备输入部108，接收来自用户的特殊再生指示。输入部108在接收到特殊再生的指示输入后，将其变换为表示该指示内容的特殊再生指示信息，并将该特殊再生指示信息送给解码管理部109。

来自输入部108的特殊再生指示信息与指示标志符一起被输入到解码管理部109中，该指示标志符表示通过标志符读出部101从子视频的视频数据中读出的特殊再生时的再生方式。解码管理部109在接收到上述特殊再生指示信息后，控制两个解码部102、103以及合成部106的处理，以图2～图5所示的任意一个再生方式执行画中画时的特殊再生。此时，从标志符读出部101输入的指示标志符用于决定以哪个再生方式进行特殊再生。

图2所示的再生方式(A)是表示在指示了主视频的特殊再生的情况下，追随主视频，子视频也被特殊再生的再生方式。此时，视频再生装置1的解码管理部109对解码部102、103双方同步指示特殊再生(用于特殊再生的解码处理的执行)。接收到指示后的解码部102、103例如在高速再生的情况下，对将要解码的帧数据进行间拔，例如仅解码I帧并输出，从而实现主视频和子视频双方的高速再生。所输出的解码视频与通常再生时同样被输入到合成部106，进行合成后输出并显示。

另外，为了容易地实现如上所述同步进行特殊再生，可以追加当编码时在主视频和子视频中预先匹配(matching)I帧的插入位置的处理。进而，也可以包括由MPEG(Moving Picture Expert Group)标准规定的帧间预测编码化方式的数据结构、即GoP(Group ofPicture)结构在内，匹配主视频和子视频的数据结构。通过包括GoP结构在内来匹配主视频和子视频的数据结构，能实现包括P帧等的顺利特殊再生的同步。

图3所示的再生方式(B)表示在指示了主视频的特殊再生的情况下，停止主视频被特殊再生期间的子视频的输出，在返回到通常再生后，再度合成从与返回到通常再生的主视频相同时刻位置开始的子视频，并进行显示的再生方式。此时，视频再生装置1的解码管理部109仅对解码部102指示特殊再生(用于特殊再生的解码处理的执行)。而且，解码管理部109指示合成部106停止特殊再生期间子视频的合成。在指示了返回到通常再生后，解码管理部109对解码部102指示通用再生(用于通用再生的解码处理的执行)，并且对解码部103指示从与返回到通常再生的主视频相同时刻位置开始解码子视频的视频数据。然后，在返回到通常再生后，主、子解码图像被输入到合成部106来进行合成，并被输出、显示。

图2、图3的再生方式是表示可同步再生主视频和子视频时的例子。即，在图2和图3的再生方式中，可根据同一时刻基准再生主视频和子视频。

图4所示的再生方式(C)表示在指示了主视频的特殊再生的情况下，仅对主视频进行特殊再生，仍以通常再生的方式对子视频进行再生显示的再生方式。此时，视频再生装置1的解码管理部109仅对解码部102指示特殊再生(用于特殊再生的解码处理的执行)。解码部103仍以通常再生进行解码。然后，从解码部102输出的被特殊再生的主视频和从解码部103输出的被通常再生的子视频与通常再生时同样被输入到合成部106，进行合成、输出并显示。

图5所示的再生方式(D)表示在指示了主视频的特殊再生的情况下，停止主视频被特殊再生期间的子视频的输出，在返回到通常再生后，再度合成从停止的时间位置开始的子视频，并进行显示的再生方式。此时，视频再生装置1的解码管理部109仅对解码部102指示特殊再生(用于特殊再生的解码处理的执行)。另外，解码管理部109指示合成部106停止特殊再生期间子视频的合成。在指示了返回到通常再生后，解码管理部109对解码部102指示通常再生(用于通常再生的解码处理的执行)，并且对解码部103指示开始特殊再生并从子视频解码被停止的位置开始解码子视频。然后，在返回到通常再生后，主视频和子视频被输入到合成部106来进行合成，并输出、显示。

图4和图5的再生方式是表示在进行特殊再生时主视频和子视频的再生为非同步的情况的例子。即，在图4和图5的再生方式中，可根据不同的时刻基准再生主视频和子视频。

这里，对指示标志符进行说明。由标志符读出部101读出并输入到解码管理部109的指示标志符，用于决定以上述的哪个再生方式进行特殊再生。即，根据子视频的视频数据中包含的指示标志符的值来控制是使子视频和主视频同步(图2、图3)还是非同步(图4、图5)。在本说明书中，作为所设定的指示标志符的例子，定义了下面三种。

“再生方式指示标志符”：

该标志符是二值标志符，其表示在主视频被特殊再生时，是使子视频随从进行特殊再生、还是不随从而独立进行再生(例如通常再生)。

“禁止随从再生标志符”：

该标志符是二值标志符，其用来禁止当主视频被特殊再生时、子视频随从进行特殊再生的情况。当该标志符为“真”时，子视频始终与主视频的特殊再生独立地进行再生(例如通常再生)。

“禁止独立再生标志符”

该标志符是二值标志符，其用来禁止在主视频被特殊再生时、子视频不随从主视频而独立地进行再生(例如通常再生)的情况。当该标志符为“真”时，子视频始终追随主视频进行特殊再生。

视频数据包括上述的指示标志符的任意一个或多个，根据这一个值或多个值，来决定视频再生装置1中的画中画的特殊再生时的再生方式。在图6的表中表示了这些指示标志符的值、和可采用的再生方式(A)(图2)、再生方式(C)(图4)之间的具体对应关系。

图6的表601表示了再生方式指示标志符的值为“独立”“随从”、和再生方式指示标志符为“独立”或“随从”时视频再生装置1可采用的再生方式之间的关系。在再生方式指示标志符为“独立”的情况下，子视频不随从主视频的特殊再生，而以独立的时间基准进行通常再生。在再生方式指示标志符为“随从”的情况下，子视频随从主视频的特殊再生，以同一时间基准进行特殊再生。

另外，在为了使同步进行特殊再生变得容易，当编码化时追加了在主视频和子视频中匹配I帧的插入位置的处理的情况下，该标志符的值也可以被解释为直接表示是匹配I帧位置(标志符的值为“随从”)还是不匹配(标志符的值为“独立”)。

图6的表602表示了禁止随从再生标志符的值为“真”“伪”、和禁止随从再生标志符为“真”或“伪”时视频再生装置1可采用的再生方式之间关系。在禁止随从再生标志符为“真”的情况下，子视频不随从主视频的特殊再生，而以独立的时间基准进行通常再生。另一方面，在禁止随从再生标志符为“伪”时，视频再生装置1可以进行任意一个再生。

另外，图6的表603表示了禁止独立再生标志符的值为“真”“伪”、和禁止独立再生标志符为“真”或“伪”时视频再生装置1可采用的再生方式之间关系。在禁止独立再生标志符为“真”的情况下，子视频随从主视频的特殊再生，以同一时间基准进行特殊再生。另一方面，在禁止独立再生标志符为“伪”时，视频再生装置1可以进行任意一个再生。

此外，这里所示的指示标志符只是一个例子，都是“0”、“1”的二值标志符，但也可以定义使用由多值构成的更复杂的指示标志符。例如可以设置下述的标志符，即该标志符是禁止随从再生并许可独立再生的标志符，且如图5所示禁止停止子视频再生的形式下的独立再生，并如图4所示只许可继续通常再生子视频的形式的独立再生。

换言之，除了上述的表示再生是“随从”还是“独立”的“0”、“1”二值标志符之外，也可以准备表示“显示”或“不显示”的“0”、“1”二值标志符，来表示在主视频被特殊再生时继续显示子视频(图2、图4)、或在主视频被特殊再生时不显示子视频(图3、图5)，通过组合这些标志符的值，能够唯一地指定图2～图5的再生方式(A)～(D)中任意一个。也可以将前者(表示再生是“追随”还是“独立”的标志符)称作“再生指示标志符”，将后者(表示子视频是“显示”还是“不显示”的标志符)称作“显示指示标志符”。

例如，若设再生指示标志符为“追随”、显示指示标志符为“显示”，则可选择图2的再生方式(A)。在这样的再生中，能看到合成于主视频的子视频完全是主视频的一部分，具有从外观上无法区分主视频和子视频的效果。因此，在视频提供者希望得到这样的效果时，只要按照上述来设定各指示标志符即可。相反，在想要明确子视频是与主视频不同的附加视频时，设再生指示标志符为“随从”、显示指示标志符为“不显示”，选择图3的再生方式(B)即可。

另外，若设再生指示标志符为“独立”、显示指示标志符为“显示”，则选择图4的再生方式(C)。该再生方式例如适用于严格地确定再生一次子视频所花费的实际再生时间那样的、优先度极高的子视频，在再生一次子视频的期间，不停止子视频的再生。另一方面，在设再生指示标志符为“独立”、显示指示标志符为“不显示”的图5的再生方式(D)中，在主视频为特殊再生的期间，停止子视频的再生以及显示，在主视频恢复到通常再生后，从停止位置开始对接下来的子视频进行再生并显示。因此，能够避免在操作设备期间由于疏忽而导致错过了子视频的状况，适用于安心地观看子视频。

这样，通过附属于视频数据的指示标志符，能够指定视频再生装置1中特殊再生时的再生方式。该指示标志符由视频数据的提供者一侧在生成子视频的视频数据时追加。

图7是表示视频数据生成装置11的概略构成的功能框图。视频数据生成装置11包括：编码部701、标志符设定部702以及标志符写入部703。视频提供者的指示输入在标志符设定部702中被变换为指示标志符。所输入的视频在编码部701中被编码而变换为视频数据(编码视频流)。之后，通过标志符写入部703在视频数据(编码视频流)存储指示标志符。

视频提供者通过将指示标志符嵌入到视频数据(编码视频流)，可在提供者想要的再生方式下通过视频再生装置进行画中画的特殊再生。另外，图8表示了由图7的视频数据生成装置11生成的视频数据的例子，特别表示了指示标志符的嵌入位置。如图8所示，在指示标志符嵌入到视频数据(编码视频流)中的序列头部(801)、或嵌入到各数据包头部(802)、或对编码视频流进行管理的管理信息(播放列表信息等)记录在视频数据内的情况下，将指示标志符存储在管理信息内(803)。但是，指示标志符在视频数据内的嵌入位置并非限定于此。

在上述第一实施方式所涉及的视频再生装置1中，例示了在所输入的视频数据(编码视频流)中包含指示标志符的例子，但并非限定于此。例如，在与视频数据的数据流一起提供记录了用于管理视频数据流的管理信息(表示视频的编码方式的信息等数据的解码所需的信息、指定视频的时间上的剪辑或连接的播放列表信息等视频的再生所需的信息等)的数据流(管理数据流)，并输入将它们多路复用而得到的多路复用数据时，可以不在视频数据流内，而在管理数据流内存储并输入指示标志符。

另外，在输入到上述视频再生装置1中的视频数据中，例示了指示标志符包含在子视频的视频数据中的例子，但并非限定于此，也可以假设在主视频的视频数据一侧存储并输入指示标志符。该情况下的指示标志符，在对上述主视频的视频数据组合了任意的子视频的视频数据时，成为表示是否任意的子视频随从上述主视频的特殊再生的标志符。

图9是表示了对这些输入模式的不同进行整理的图。91、92表示了输入包括指示标志符的两个视频数据(编码视频流)的情况，91与图1的α相同。93、94表示了输入多路复用数据的情况，该多路复用数据是将包括指示标志符的管理数据(流)与视频数据(流)多路复用而得到的。分离部903、904是用于将管理数据从多路复用后的数据分离出来的功能部。其中，关于分离后的管理数据的处理在此省略说明。另外，91、93表示了指示标志符包含在子视频侧的视频数据(或者对应的管理数据)的情况，92、94表示了指示标志符包含于主视频侧的视频数据(或者对应的管理数据)的情况。输出都是两个视频数据和指示标志符，是与图1的α部分置换进行连接的构件。

此外，在图9的93、94中，描述了仅由视频数据和管理数据这两个数据流构成多路复用数据，但实际上也可以对音频数据流等其他数据流进行多路复用。在图9中为了简便而省略了它们的图示。

图10是表示构成多路复用数据的视频数据(编码视频流)以及管理数据流的例子的图。如图10所示，指示标志符嵌入在与视频数据(编码视频流)有关的再生管理信息(播放列表信息等)内(1001)、或者存储在与视频数据(编码视频流)有关的解码管理信息(编码方式信息等)(1002)。但是，指示标志符在管理数据内的嵌入位置并非限定于此。

图1的两个解码部102和103可以具有相同的解码能力，也可以具有分别不同的解码能力。第一实施方式所涉及的视频再生装置1中，在输入的时刻决定各个视频数据是主视频用的视频数据还是子视频用的视频数据。因此，能够定义分辨率低于主视频(图像尺寸小)的子视频专用的视频数据，该情况下，在被输入子视频的视频数据的解码部103中，能够利用子视频专用的视频数据解码的解码器来解码低分辨率视频。

而且，在图1的视频再生装置1中，还能假定所输入的视频数据是没有被编码的视频数据。该情况下，由于不需要解码视频数据，所以解码部102、103不是进行解码的功能块，可被置换为对输入的视频数据进行适当划分并输出的功能块(分离部102’、103’)。并且，解码管理部109可被置换为用于对所述功能块(分离部102’、103’)划分并输出视频数据进行管理的功能块(分离管理部109’)。

另外，图1所示的视频再生装置1的合成部106只进行子视频的调整，不进行主视频的调整(即，主视频为整个画面显示)(图11(a))，但合成部106并非限定于此，也可如图11(b)所示，替换为在主视频一侧设置调整部1110来实施调整并进行输出的合成部1106。图12表示了替换为合成部1106时的输出视频的例子。该情况下，可实现如图12的1202所示将主视频变更为任意的大小，或者如图1203所示不将主、子两个视频重合而并列显示2个画面的画面构成。

本发明的视频再生装置除了画中画显示用途之外，还可以在图12的1203所示的双画面显示的视频再生装置中应用。即，通过将指示标志符嵌入到视频数据，可进行控制，以决定对于一个视频的特殊再生是使另一个视频随从还是对其进行特殊再生，从而能够按照视频提供者侧的意图对双画面显示的图像进行特殊再生。

在上述本发明的第一实施方式所涉及的视频再生装置1中，将在画中画中表示特殊再生时的再生方式的信息、即指示标志符与视频数据一起输入，根据指示标志符来决定上述特殊再生时的再生方式。由此，视频的提供者在生成视频数据时通过使指示标志符随附于视频数据来进行传送，可按照提供者意图的再生方式，使视频再生装置进行画中画再生时的特殊再生。

另外，在本实施方式所涉及的视频再生装置1或图9的91的情况下，在输入的时刻决定各视频数据是主视频用还是子视频用，但也可以将作为子视频用而生成的视频数据，作为主视频的视频数据输入。该情况下，忽略存储于视频数据中的指示标志符。另外，同样在图9的92的情况下，也可以将包括作为主视频用而生成的指示标志符的视频数据，作为子视频的视频数据输入。该情况下，也忽略存储于视频数据中的指示标志符。而且，在对视频再生装置1设置默认的再生方式，并不从主视频、子视频的任意一个读出指示标志符的情况下，也可以设定成以默认的再生方式进行特殊再生。

而且，上述第一实施方式中所说明的指示标志符是表示了对主视频进行特殊再生时的子视频的举动的标志符，相反，也能够定义在指示了子视一频的特殊再生时表示主视频的举动的指示标志符。由此，在以下的实施方式以及其他实施方式中都可同样地适用。

并且，作为表示子视频的举动并传达视频提供者的意图的标志符，除了表示上述特殊再生时的再生方式的指示标志符之外，还可以一并存储禁止子视频的移动/放大的标志符等。该禁止子视频的移动/放大的标志符适用于能够由用户变更子视频的显示尺寸、显示位置的再生装置。当禁止子视频的移动/放大的标志符的值为“真”时，相对于主视频，使子视频的显示尺寸和显示位置固定，不接收用户的指示。

另外，在上述第一实施方式的视频再生装置1中，作为特殊再生的实现方法表示了对解码部的处理进行控制的方法，但特殊再生的实现方法并非限定于此。例如，在高速再生的例子中，除了通过上述实施方式所示的解码部进行间拔处理之外，还可在对全部的帧进行了解码后，通过与定时的调整相对应地间拔从缓冲器104、105输出的解码图像的方法，来实现高速再生。即，图1所示的视频再生装置1是用于实现特殊再生的装置的一个构成方式，还能采用除此之外的实现特殊再生的装置构成，对于这些也同样可应用本发明的基于指示标志符来控制特殊再生的方法。就此而言，在以下的实施方式以及其他的实施方式中都可同样地应用。

(第二实施方式)

接着，使用图13来说明本发明的第二实施方式所涉及的视频再生装置2。

图13是表示本发明的第二实施方式所涉及的视频再生装置2的概略构成的功能框图。视频再生装置2包括：用于从各视频数据读出指示标志符的标志符读出部1301、1302；解码部1303、1304；缓冲器(BF)1305、1306；合成部1307；显示部1308(包括调整部1312和1313)；显示部1308；输入部1309；解码管理部1310；以及用于控制由合成部1307执行的合成处理的合成管理部1311。其中，标志符读出部1301、1302都具有与图1所示的标志符读出部101相同的功能，而且，解码部1303、1304、缓冲器1305、1305、显示部1308分别具有与图1所示的解码部102、103、缓冲器104、105、显示部107相同的功能。并且，调整部1312、1313具有与图1所示的调整部110同样的功能。下面，以与第一实施方式所涉及的视频再生装置1的不同点为中心，对第二实施方式所涉及的视频再生装置2的动作进行说明。

在上述第一实施方式所涉及的视频再生装置1中，对于两个输入视频数据，在输入的阶段预先决定了两个视频数据中哪个用于主视频、哪个用于子视频的基础上，输入两个视频数据。这在存在子视频专用的视频数据、例如对主视频附送的视频或拍摄密闻的详细注释视频等不进行主视频再生的视频数据时最有效。

对此，第二实施方式所涉及的视频再生装置2对于两个输入视频数据，在输入阶段不分是主视频用还是子视频用，通过输入后在视频的合成阶段调整两个视频的合成，来决定主视频、子视频。这在频繁切换主视频再生和子视频再生那样的用途、例如在多角度显示过程中频繁切换显示视频的情况下最有效。

为此，视频再生装置2具有视频再生装置1中没有的新的功能块、即合成管理部1311。

输入部1309除了特殊再生指示之外，从用户接收切换主视频、子视频(选择哪个是主视频、哪个是子视频)的视频选择的指示。输入部1309接收到视频选择的指示后，发送视频选择指示信息，传给合成管理部1311。

合成管理部1311根据上述视频选择指示信息得知哪个成为主显示、哪个成为子显示，对各个调整部1312、1313分别送出由上述视频选择指示信息表示的主视频显示、子视频显示所对应的合成参数。而且，将重合时的上下关系(在主视频上重合子视频)通知给合成部1307。另外，也可以一并发送透过度的设定等。进而，将表示选择了哪个作为子视频的选择信息送给解码管理部1310。

在标志符读出部1301、1302中，从输入的各个视频数据读出指示标志符，并将读出的指示标志符全都输入到解码管理部1310。

解码管理部1310在接收来自用户的特殊再生指示并收到输入部1309所发送的特殊再生指示信息后，参照从合成管理部1311收取的上述选择信息(表示哪个被选择为子视频的信息)，得知被输入的两个指示标志符中对应于子视频的视频数据的指示标志符，根据该指示标志符，与第一实施方式同样地决定画中画再生时的特殊再生的再生方式。

在视频再生装置2中，所输入的两个视频数据都是能够作为主视频、子视频进行再生的视频数据。因此，在视频再生装置2中，解码部1303、1304具有完全等效的功能。

(第三实施方式)

接着，利用图14～图16对本发明第三实施方式所涉及的视频再生装置3进行说明。

图14是表示本发明第三实施方式所涉及的视频再生装置3的概略构成的功能框图。视频再生装置3包括：分离部1401，其用于将多路复用多个视频数据而得到的多路复用数据分离为多个视频数据和管理数据等；标志符读出部1402，其用于从管理数据读出指示标志符；两个解码部1403、1404；两个缓冲器(BF)1405、1406；合成部1407(包括调整部1411)、显示部1408；输入部1409；以及解码管理部1410。其中，解码部1403、1404、缓冲器1405、1405、合成部1407、调整部1411、显示部1408及解码管理部1410分别具有与图1所示的视频再生装置1的解码部102、103、缓冲器104、105、合成部106、调整部110、显示部107及解码管理部109相同的功能。即，第三实施方式所涉及的视频再生装置3与第一实施方式所涉及的视频再生装置1相比，仅分离部1401、标志符读出部1402(在视频再生装置1中为标志符读出部101)以及输入部1409(在视频再生装置1中为输入部108)不同。下面，以与第一、第二实施方式所涉及的视频再生装置1、2的不同点为中心，对第三实施方式所涉及的视频再生装置3的动作进行说明。

上述的第一及第二实施方式所涉及的视频再生装置1、2中，在视频数据(编码视频流)内、或与视频数据一一对应的管理数据流内存储有指示标志符，该指示标志符用来针对对应的视频数据，控制以画中画再生形式对该视频数据进行子视频再生之际的特殊再生时的再生方式。对此，第三实施方式所涉及的视频再生装置3在对多个视频数据(编码视频流)独立地赋予用来管理这些视频数据的管理数据流的状况下，根据存储在该管理数据流中的指示标志符来控制画中画再生形式下的特殊再生时的再生方式。

即，在视频再生装置3中运用的指示标志符并非表示对所输入的某一个视频数据的再生方式，而是在决定一个作为主视频数据、另一个作为子视频数据后，按照对所决定的子视频的再生方式进行控制的方式动作。因此，在视频再生装置1中，是在预先进行决定后输入主视频、子视频的视频数据，另外视频再生装置2中，在合成阶段决定是主视频还是子视频，而视频再生装置3中，在分离部1401对多路复用数据进行分离时决定哪个是主视频、哪个是子视频，并引用解码部1403、1404以后的处理。

本实施方式所涉及的视频再生装置3，将包括两个视频数据(编码视频流)以及指示标志符的管理数据流被多路复用而得到的多路复用数据作为输入，并对两个视频数据的解码图像合成后的图像进行显示。图15表示用于生成该被输入的多路复用数据的视频数据生成装置31的概略构成的功能框图。

图15的视频数据生成装置31包括：两个编码部1501、1502；管理信息生成部1503；标志符设定部1504；标志符写入部1505；以及多路复用部1506。

被输入的两个视频通过解码部1501、1502分别被变换为视频数据(编码视频流)。标志符设定部1504生成与视频提供者指示的再生方式对应的指示标志符，所生成的指示标志符通过标志符写入部1505，被写入到由管理信息生成部1503生成的管理信息(管理数据流)中。

管理数据流中存储的管理信息包括：表示视频数据(编码视频流)的编码方式的信息等对应于各视频数据而记录的信息(解码管理信息)；和通过视频的时间上的剪切和连接信息来指定多个视频数据的再生的播放列表信息等公共的信息(再生管理信息)等。

另外，图16表示由图15的视频数据生成装置31生成的数据在多路复用前的数据的例子(指示标志符的嵌入位置的例子)。如图16所示，指示标志符被存储在管理数据流的公共的再生管理信息内(1601)。这些视频数据、管理数据通过多路复用部1506被多路复用、形成多路复用数据。

在输入了图15所示的由视频数据生成装置31生成的多路复用数据后，图14的视频再生装置3的分离部1401的动作如下所述。

与第二实施方式的视频再生装置2同样，输入部1409从用户接收切换主视频、子视频(选择哪个是主视频、哪个是子视频)的视频选择指示。输入部1409在接收到视频选择指示后，发送对应的视频选择指示信息，并传送到分离部1401。

分离部1401在将输入的多路复用数据分离成两个视频数据以及管理数据之后，根据上述接收到的视频选择指示信息，将被指定给主视频的视频数据输入到解码部1403，将被指定给子视频的视频数据输入部解码部1404。而且，从分离部1401输出的管理数据被输入到标志符读出部1402，来读出指示标志符。读出的指示标志符被输入到解码管理部1410，对画中画再生中的特殊再生时的再生方式进行控制。之后，进行与第一实施方式中所说明的动作相同的动作。

另外，该第三实施方式的图14～图16中，说明了多路复用数据仅由视频数据(编码视频流)及管理数据(管理数据流)构成，但实际上也存在对音频数据等其他的数据进行多路复用的情况。这里为了简化说明，对上述的视频数据及管理数据以外的数据省略了图示。

而且，虽然图示了输入到视频再生装置3中的视频数据(编码视频流)及管理数据(管理数据流)被多路复用而输入，但也未必要进行多路复用。也可构成为：两个视频数据以及1个管理数据通过独立的信道被输入，来对它们进行处理。即，本第三实施方式所涉及的视频再生装置3的关键在于：不依赖于任意一个视频数据的、对多个视频数据公共处理的指示标志符，通过管理数据被提供给装置。

另外，在上述本发明的各实施方式中，假定了通过视频再生装置直接再生经由广播或通信等传送路径而被输入的视频数据(以及管理数据)的状况，来说明本发明的各实施方式所涉及的视频再生装置，但能够适用本发明的状况并非限定于此，例如即使在视频数据(以及管理数据)预先被记录在记录介质中，逐次读出记录在记录介质中的视频数据(以及管理数据)并进行再生的状况下也能适用本发明。图19的数据包配送中的应用便对应于此。另外，在暂时经由传送路径记录于记录介质之后，读出所记录的视频数据(以及管理数据)来进行再生的状况下也同样适用。即，本发明对于记录有包含各实施方式中详细说明的指示标志符的视频数据或者管理数据的记录介质、以及对上述的记录介质进行再生的视频再生装置也同样适用。

而且，将本发明的各实施方式中已说明的视频数据(或管理数据)中存储的指示标志符描述为：在画中画视频的特殊再生时的再生方式方面，用于反映视频提供者的意图的固定信息。但是，也能将该视频数据(或者管理数据)中存储的指示标志符在再生侧用作预先记录再生时用户的喜好用的字段(field)。或者，也能够在视频再生装置侧将上述指示标志符改写为由视频再生装置的再生能力限制的值。这样的改写通过下述方式来进行：在将通过广播或通信等传送路径输入的视频数据(及管理数据)记录于记录介质时、或从记录介质逐次读出视频数据(及管理数据)来进行再生时，由视频再生装置改写指示标志符的存储字段的值。该改写处理可以由用户直接输入，或者也可以通过Java(注册商标)等程序动态变更。即，本发明并非拘泥于最终在何处设定指示标志符的值，对于包括各实施方式中详细说明的指示标志符的视频数据、或管理数据的视频再生装置而言，同样能够适用。

另外，这里所公开的实施方式只是例示，不应认为用来限定本发明。本发明的范围通过权利要求书来表示而并非通过上述说明的内容表示，并且本发明包括与权利要求书的范围等同以及范围内的所有变更。

Claims (2)

1.一种视频数据再生装置，其被输入多个视频数据和与该多个视频数据的至少一个相关的管理数据，以画中画形式的视频输出将对解码该多个视频数据而得到的多个解码视频进行合成而得到的再生视频，包括：

解码单元，其对所述多个视频数据进行解码，得到所述多个解码视频；

合成单元，其对所述多个解码视频进行合成，得到所述再生视频；

指示信息读出单元，其用于读出指示信息，该指示信息根据所述管理数据来指示所述再生视频的再生方式；和

管理单元，其通过根据由所述指示信息读出单元读出的指示信息，控制所述解码单元或所述合成单元的至少一个的动作来管理所述再生方式，

所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述画中画形式的视频中母画面的视频被特殊再生的期间，是否显示子画面的视频的信息。

2.一种视频数据生成装置，是在对由多个视频数据得到的多个解码视频进行合成并以画中画形式的视频输出再生视频中所利用的该视频数据的视频数据生成装置，包括：

编码单元，其对输入的视频进行编码，得到编码后的视频数据；

管理数据生成单元，其生成与所述视频数据相关的管理数据；和

指示信息写入单元，其对由所述管理数据生成单元生成的管理数据写入指示所述再生视频的再生方式的指示信息，

所述再生方式是指特殊再生时的再生方式，所述指示信息是表示在所述画中画形式的视频中母画面的视频被特殊再生的期间，是否显示子画面的视频的信息。

Images