CN103959768A - 能够显示立体图像的数字广播接收方法和装置 - Google Patents

Abstract

本发明提供数字广播接收方法，该方法包括以下步骤：接收和解复用包括基准时段视频流和扩展时段视频流的数字广播信号；使用在节目映射表(PMT)、地面虚拟频道表(TVCT)、服务描述表(SDT)和事件信息表(EIT)中的至少一个中设置的描述符，来确定涉及基准时段视频流和扩展时段视频流的右/左信息；对基准时段视频流和扩展时段视频流解码；以及通过使用右/左信息控制解码后的基准时段视频流和扩展时段视频流。

Description

能够显示立体图像的数字广播接收方法和装置

技术领域

本公开涉及数字广播接收方法和装置，更具体地，涉及能够显示立体图像的数字广播接收方法和装置。

背景技术

最近，随着立体成像服务的关注增加，正在开发用于提供这种立体图像的装置。显示这种立体图像的方法可以包括立体方案、体积方案、全息方案等。

立体方案的基本原理是向用户的左眼和右眼单独地提供彼此垂直地排列的图像，并且通过在大脑中组合向相应的左眼和右眼提供的图像产生立体图像。在此，正交排列的图像可以变为左视图图像和右视图图像。当左视图图像和右视图图像分别被左眼和右眼通过偏振眼镜或者显示装置观看时，用户可以识别立体图像效果。

然而，相关技术数字广播是基于二维(2D)图像提供的。因此，为了在数字广播中有效地实现立体成像服务，可以考虑有效地检查和处理立体图像信号的方法。

发明内容

技术问题

因此，为了减轻这些问题，具体描述的方面是提供能够检查和处理用于立体图像的信号的数字广播接收方法，以及使用该方法的数字广播接收装置。

具体描述的另一个方面是提供数据配置方法和输出控制方法，以允许能够显示立体(或者3D)图像的接收装置和能够仅显示二维(2D)图像的接收装置正确地处理信号。

具体描述的另一个方面是提供能够通过以各种级别检查和处理右视图图像和左视图图像而支持3D图像显示的数字广播发送和接收方法以及装置。

具体描述的另一个方面是提供在基于MVC立体编码的3D广播的准备中接收装置的相关操作和进一步要求的约束或控制。

技术方案

为了实现这些和其它优点，并且根据本发明的目的，如这里所具体实施和广泛描述的，提供了一种数字广播接收方法，该方法包括以下步骤：接收和解复用步骤，接收并解复用包括基本视图视频流和扩展视图视频流的数字广播信号；确定步骤，使用在节目映射表PMT、地面虚拟频道表TVCT、服务描述表SDT和事件信息表EIT中的至少一个中设置的描述符，来确定与所述基本视图视频流和所述扩展视图视频流相关的右/左信息；解码步骤，对所述基本视图视频流和所述扩展视图视频流解码；以及控制步骤，使用所述右/左信息来控制解码后的基本视图视频流和扩展视图视频流。

根据此处公开的一个示例性实施方式，所述基本视图视频流和所述扩展视图视频流可以被设置有彼此不同的视点的视频流区段。所述描述符可以以节目级别、事件级别和帧级别中的至少一个指示不同视点的所述视频流区段的所述右/左信息。可以根据设定的优先级来处理关于所述节目级别、所述事件级别和所述帧级别的所述右/左信息。

根据此处公开的另一个示例性实施方式，所述解码步骤还可以包括使用补充增强信息SEI消息来确定与对应的流相关的视点信息。所述基本视图视频流和所述扩展视图视频流可以被设置有不同的视点的视频流区段，并且所述视点信息使用帧单位、图片单位和序列单位中的至少一个指示所述视频流区段的视点。

为了实现这些和其它优点，并且根据本发明的目的，如这里所具体实施和广泛描述的，还提供了一种数字广播接收装置，该装置包括：调谐器，其被构造为接收包括基本视图视频流和扩展视图视频流的数字广播信号；解复用器，其被构造为从所述数字广播信号解复用所述基本视图视频流和所述扩展视图视频流；PSI/PSIP处理器，其被构造为使用在节目映射表PMT、地面虚拟频道表TVCT、服务描述表SDT和事件信息表EIT中的至少一个中包括的描述符，来确定与所述基本视图视频流和所述扩展视图视频流相关的右/左信息；解码器，其被构造为对所述基本视图视频流和所述扩展视图视频流解码；以及3D视频处理器，其被构造为使用所述右/左信息来控制解码后的基本视图视频流和扩展视图视频流。

为了实现这些和其它优点，并且根据本发明的目的，如这里所具体实施和广泛描述的，还提供了一种用于接收数字广播的方法，该方法包括：提取接收到的多视图视频编解码器MVC立体流的PID值，并且向解码器输出所述MVC立体流；根据基本视图和扩展视图将所述MVC立体流分配到所述解码器的AVC层和MVC扩展层；以及通过所述AVC层和所述MVC扩展层处理在GOP中包括的接入单元，并且对基本视图视频数据和扩展视图视频数据解码。

根据此处公开的另一个示例性实施方式，在2-PID复用模式下，所述扩展视图视频数据可以具有编码片段扩展的NAL类型或者IDR图片片段或非IDR图片片段的NAL类型。

根据此处公开的另一个示例性实施方式，在1-PID复用模式下，根据是否存在前缀NAL单元，所述扩展视图视频数据可以具有不同的NAL类型。

有益效果

根据具体描述，可以按照不同方式提供与立体图像相关的信息，并且立体图像信息可以被检查和处理。这可以允许输出立体图像。

根据具体描述，广播接收器可以识别接收到的视频流中包括的图像的视点，以控制立体图像的输出。

根据具体描述，可以根据每个级别限定应用视图信息的范围，使得可在每个级别提供与左视图图像和右视图图像相关的信息。另外，可以在描述符中指示信息和对应信息的准确性。这可以允许以频道/节目/服务/帧为单位设定在视频流与左视图图像和右视图图像之间的关系。

附图说明

图1a和图1b是例示根据此处公开的一个示例性实施方式的发送3D(内容)视频流的方法的图。

图2是例示根据此处公开的一个示例性实施方式的处理包括补充增强信息(SEI)消息的视频流的顺序步骤的流程图。

图3是例示根据此处公开的一个示例性实施方式的包括视图(点)信息元数据的SEI消息的句法结构的图。

图4是例示根据此处公开的一个示例性实施方式的view_info_SEI_data的句法结构的图。

图5是例示view_info_descriptor的句法结构的图。

图6是例示解析信令数据的处理的概念图。

图7是例示使用图6的方法来获取视(点)信息的处理的流程图。

图8是例示视图切换的各个示例性实施方式的图。

图9是例示针对事件边界检测的信令建议的概念图。

图10是例示使用视点信息来控制编码图片的3D输出的接收装置的结构的图。

图11是例示使用视点信息的解码器和格式化器的构造的一个示例性实施方式的概念图。

图12是示出MVC编码的NAL单元的类型的表。

图13是例示2-PID模式的MVC立体广播中的接收装置的结构的图。

图14a是例示AVC层中处理基本视图流(PID_A)的一个示例性实施方式的图。

图14b和图14c是例示MVC扩展层中处理扩展视图流(PID_B)的示例性实施方式的图。

图15是例示1-PID模式的MVC立体广播中的接收装置的图。

图16是例示在1-PID模式的针对GOP中包括的每个接入单元的处理顺序的图。

图17是例示用于在2-PID模式发送3D广播的发送装置的数据处理过程的图。

图18是例示用于接收和输出3D广播的接收装置的结构的图。

具体实施方式

术语3-D或者3D用于说明用于再现立体图像(或者三维图像；在下文称为“3D图像”)的视觉表示或者显示技术，其提供光学深度幻觉。相对于左视图图像和右视图图像，观看者的视觉皮质将该两个图像解释为一个3D图像。

3D显示技术针对可显示3D图像的装置采用3D图像处理和显示技术。可选地，可显示3D图像的装置可以要求特定观看装置以向观看者有效地提供3D图像。

3D图像处理和显示的示例可以包括立体图像/视频拍摄、使用多个相机的多视点图像/视频拍摄、处理2D图像和深度信息等。可显示3D图像的装置的示例可以包括液晶显示器(LCD)、显示器TV屏幕、计算机监视器等，全部这些设置有支持3D图像显示技术的适当的硬件和/或软件。特定观看装置的示例可以包括特殊眼镜、目镜、头盔、护目镜等。

具体地，3D图像显示技术可以包括浮雕3D(通常与无源红蓝眼镜一起使用)，偏振3D(通常与无源偏振眼镜一起使用)、交替帧序列(通常与有源快门眼镜/头盔一起使用)、使用光栅或者栅栏屏幕的自动立体显示器。此处描述的各个范围和特征将可应用于这些3D图像显示技术。

一些3D图像显示技术可以使用可旋转或者可交替操作的光学装置，例如，附接到滤色器轮的分片偏振片，并且在此情况下，要求之间的同步。其它3D图像显示技术可以使用基于数字微镜器件(DMD)的数字光处理器(DLP)，DMD使用按照与要显示的图像的像素对应的矩形形式排列的可旋转的微型反射镜。

在很多公司、共同体和组织正在开发与3D图像润饰和显示技术(具体地，3D TV)有关的新类型的规格，其示例包括电影电视工程师协会(SMPTE)、消费电子产品协会(CEA)、3d@Home共同体、国际电信联盟(ITU)等。另外，诸如DVB、BDA、ARIB、ATSC、DVD论坛和IEC等的其它标准组织也参与其中。移动图像专家组(MPEG)在参加多视图图像、立体图像和具有深度信息的2D图像的3D编码。针对MPEG-4先进视频编码(AVC)的多视图图像编解码器扩展的标准化正在进行中。立体图像编码和立体分配格式涉及颜色移位(补色立体图)、像素次采样(并行、棋盘、五点等)和增强视频编码(2D+德尔塔、2D+元数据和具有深度信息的2D)。此处描述的范围和特征将可应用于这些规格。

并且，此处公开的本公开的范围和特征的至少一部分涉及3D图像显示技术，其在数字图像和3D TV的图像再现和显示环境的方面中描述。然而，细节不意在限制此处描述的各个特征此处描述的各种特征，并且可应用于各种类型的其它显示技术和装置。例如，3D TV技术可以不仅仅应用于TV广播，而且应用于Blu-ray^TM、游戏机台、有线、IPTV传输、移动电话内容传递等。在此情况下，3D TV可以与其它类型的TV、机顶盒、Blu-ray装置(例如，Blu-ray^TM盘(BD)播放器)、DVD播放器和TV内容分配器兼容。

在下文，将给出3D图像处理和呈现方法的描述。立体图像/视频拍摄也被称为立体成像方案，其中考虑两个视点。使用多个相机的多视图图像/视频拍摄称为多视图成像方案，其中考虑三个或者更多个视点。

立体成像方案设计成使用一对左右视图图像，其通过使用左手相机和右手相机拍摄相同目标对象获得。多视图成像方案设计成使用三个或者更多个图像，所述图像通过使用隔开预设距离或者角度的三个或者更多个相机拍摄相同目标对象获得。通过将三个图像中的两个设定成左视图图像和右视图图像，多视图成像方案可以显示立体(3D)图像。然而，本公开可以不限于此，而是使用三个或者更多个图像(例如，积分成像)可以实现其它类型的3D成像方案。

立体图像或者多视图图像根据包括运动图像专家组(MPEG)在内的多种方法可以被压缩并且被编码，接着发送到目的地。例如，立体图像或者多视图图像可以根据H.264/先进视频编码(AVC)被压缩和编码。在此，接收系统通过按照H.264/AVC的相反顺序对接收到的数据解码可以获得3D图像。

立体图像或者多视图图像中的一个被指派成基本层的图像，并且另一个图像被指派成扩展层(或者延展层)的图像。基础层的图像按照与单视场成像相同方式编码。与扩展层图像关联，仅可以编码和发送基础层图像和扩展层图像之间的关系。针对基础层的图像的示例性压缩编码方法可以包括JPEG、MPEG-2、MPEG-4、H.264/AVC等。扩展层图像的压缩和编码可以通过使用H.264/MVC(多视图视频编码)来实现。

当MVC方案附加地应用于AVC方案或者仅仅使用AVC对右/左图像序列编码以实现立体显示时，针对广播相应3D内容的考虑之一是与传统(或者相关技术)2D广播接收装置(或者接收器，在下文称为“接收装置”)的兼容。当根据后向兼容方法来对右和左图像中的一方编码和发送时，2D广播接收装置仅仅识别并且输出对应的信号。因此，可以通过2D接收装置观看对应的内容。

在3D内容传输的一个示例性实施方式中，视图图像中的一个被编码成2D兼容信号，使得2D兼容信号被发送。在此，考虑到制造商的意图，要作为在相同内容内2D图像发送的视频流可以被编辑成在不同区段具有不同视点的视频帧，使得视频帧可被发送。在下文，参照图1a和图1b描述这个示例性实施方式。图1a是例示根据此处公开的一个示例性实施方式的发送3D(内容)视频流的方法的图。

如图1a所例示，其中左视图视频流区段和右视图视频流区段顺序排列的视频流是作为向后兼容编码视频流(或者针对2D广播接收装置的视频流)的AVC编码的视频流(在下文，称为第一视频流120)。在此，视频流区段指示不同视点的视频流中包含的视频流区段，并且可以按照视频帧、图片或者序列为单位构建这个区段。针对3D广播接收装置(或者接收器，在下文，称为接收装置)的附加视频帧(在下文，称为第二视频帧130)可以按照AVC或者MVC方式编码，并且发送。

参照图1a，左视图图像序列110和右视图图像序列140是在左视图图像和右视图图像捕捉并且编辑的图像序列，使得制造3D内容。为了实现针对2D广播接收装置的显示功能，传输系统选择左视图图像序列110和右视图图像序列140中的一方，并且发送所选择的一方。然而，如所例示的，通过选择和排列左视图图像和右视图图像获得的第一视频流120和第二视频流130可以被编码和发送。

在此情况下，2D广播接收装置接收、解码并且输出第一视频流120。然而，如果3D广播接收装置接收第一视频流120和第二视频流130并且在不做任何改变的情况下输出它们，则可能产生不期望的区段，其中左视图图像和右视图图像彼此代替。也就是说，如所例示的，当在编码后的视频流中视点改变时，3D图像可能不被正常输出，除非响应于对应的视点正确地控制了3D输出。另外，由于支持3D输出的准确控制，即使在2D广播接收装置中，也可能可以连续地输出左视图图像和右视图图像中的仅仅一方。

问题还可能存在于例如频道/节目/事件级别。

如图1b所例示，当按照第一事件到第三事件的顺序处理事件时，会产生根据制造商的意图，第一视频流120在第一事件中是左视图图像而在第二事件中是右视图图像的情况。在此情况下，第二视频流130在第一事件中是右视图图像，而在第二事件中是左视图图像。按此方式，如果甚至在事件级别提供了用于根据编码后的视频流内对应的视点准确控制3D输出的装置，左视图和右视图彼此代替的信号会被处理。

本公开提出用于根据视点来准确地控制3D输出的信号处理方法。在下文，将描述：作为信令数据的视频信息元数据的配置和处理，该信令数据用于相对于编码后的图像序列以图片、帧或者序列为单位通知对应图像的视点；以及用于以频道/节目/事件为单位来通知视点的描述符的配置和处理。

首先，将给出此处公开的用于在视频基础流(ES)中包括视图信息数据并且发送得到的视频ES的方法的一个示例性实施方式的描述。

在使用H.264(或者AVC)视频数据和MVC扩展视频数据的情况下，视频ES可以包括补充增强信息(SEI)消息。SEI消息指示在编码处理中是不必要的附加信息。SEI消息可以包括涉及与假设基准编码器(HRD)相关联的每个图片的定时信息、涉及笔/扫描功能(读取和显示解码后图像的一些部分的功能)的信息、用于执行随机接入而要求的信息、由用户单独定义的信息等。

图2是例示根据此处公开的一个示例性实施方式的处理包括SEI消息的视频流的顺序的流程图，以及图3是例示根据此处公开的一个示例性实施方式的包括视图(点)信息元数据的句法结构的图。

在附图中例示的视频流的处理顺序中的处理接入单元的方法将描述如下。

首先，可以检查接入单元定界符网络提取层(NAL)单元是否存在(S210)。如果存在，则可以是第一NAL单元。

当SEI NAL单元存在时(S220)，接下来可以是主编码图片。并且，当存在包括缓冲周期SEI消息的SEI NAL单元时，该缓冲周期SEI消息可以是接入单元内的第一SEI NAL单元的第一SEI消息载荷。

主编码图片接下来可以是对应的冗余编码图片。当冗余编码图片存在时(S240)，可以按照redundant_pic_cnt的值的升序排列。

当序列参数集合(SPS)扩展NAL单元存在时，可以是SPS NAL单元之后的NAL单元，其具有与SPS扩展NAL单元内的seq_parameter_set_id的值相同的值。

当在不分割NAL单元的情况下存在辅助编码图片的一个或者更多个编码片段时(S250)，可以跟随主编码图片和全部冗余编码图片。

当序列NAL单元的序列的末尾存在时，它可以跟随主编码图片和全部冗余编码图片，或者在不分割NAL单元的情况下跟随辅助编码图片的全部编码片段。当流NAL单元的流的末尾存在时(S270)，可以是最后NAL单元。

根据视频解码器处理视频流内的SEI消息的顺序，传输系统可以将视频分支数据，例如，视图信息元数据，包括在视频ES的SEI区域中，并且发送该视频ES，以按照图片、帧或者序列为单位通知对应的图像的视点。这可以得到通过视频级别元数据实现传输。

针对H.264(或者AVC)和MVC扩展视频数据，传输系统通过将附加信息包括在SEI区域中可以发送附加信息。在图3中，传输系统通过使用user_data_registered_itu_t_t35()中包括的user_identifier和user_structure可以发送用于广播应用而要求的附加信息，其中在SEI消息中SEI载荷类型值被设定为4。

ATSC_user_data可以位于user_structure内，并且传输系统通过参照user_data_type_code字段可以识别对应的数据是view_info_SEI_data。接收装置通过使用user_data_type_structure中包括的视图分支数据句法，例如，view_info_SEI_data中包括的字段，可以识别视图中的哪一个被包含在对应的图片中。

图4是例示根据此处公开的一个示例性实施方式的view_info_SEI_data的句法结构的图。在下文，将描述配置图4中例示的view_info_SEI_data的各字段。为了简要描述，将按照原样使用并且使用双括号来区分配置句法的字段的英文术语。

“left_view_flag”是指示包括SEI消息的图片(或者在SEI消息之后紧接着接收到的图片)是左视图图像还是右视图图像的字段。如果“left_view_flag”被设定成“1”该图片可以是左视图图像，如果“left_view_flag”被设定为“0”可以是右视图图像。

“view_id”是指示SEI消息被应用到的相应视频ID的字段，并且使用相同值作为在MVC的图片参数集合(PPS)或者序列参数集合(SPS)中设定的view_id的值，也就是说，该字段可以用于识别SEI消息的内容应用于MVC流的哪个视点。换句话说，view_id通知与左视图图像和右视图图像匹配的数字(在下文，此处描述的视图信息指示涉及右/左视图图像的信息，除非单独说明并且通过view_id信息来区分)。

在此，本公开不限于该句法。例如，view_id字段可以省略。当view_id字段省略时，可以允许其中在view_info_SEI_data中设定的left_view_flag值无条件地针对基本视图分量设定的实施方式。在此情况下，当基本视图是左视图图像时，对应的视图可以被设定成右视图图像。相反地，当基本视图是右视图图像时，对应的视图可以被设定成左视图图像。

另外，可以使得发送视图信息元数据的方法在以下描述的各个示例性实施方式中可用。

在一个示例性实施方式中，可以在指示图像序列的报头图片的瞬时解码刷新(IDR)图片的位置发送视图信息元数据。与IDR图片关联地，因为H.264/AVC方案一般允许帧间预测，指示位于I图片之后的P图片引用在该I图片前面的其它图片，所以仅仅使用一般I图片难以对状态进行完全初始化，使得使用了IDR图片来解决这个问题。

在另一个示例性实施方式中，可以在每个图片位置发送视图信息元数据。或者，可以在各序列的开始位置发送视图信息元数据。在此情况下，可以维持涉及先前视图信息元数据的信息直至接收到新的视图信息元数据为止。作为另一个示例性实施方式，可以在各图片位置发送视图信息元数据，并且对应的值在一个序列内可以被保持在相同值。也就是说，如果在针对2D视频序列的特定区段选择了一个视点，则视频序列可以被编码使得在一个序列内维持相同视点。

另外，当作为多个流发送视频数据时，视图信息元数据可以基本上通过被包括在基本视图视频流中来发送。另外，甚至对于处理扩展视图(扩展视图或者依存视图(dependent view))视频流，涉及基本视图视频流中包括的视点的信息可以被使用。例如，对于立体视频流，扩展视图视频流的视点可以与基本视图视频流的视点相反。因此，甚至在处理扩展视图视频流的情况下，可以使用涉及基本视图视频流中包括的视点的信息。作为另一个示例，基本视图视频流还可以通过甚至包括与扩展视图视频流的视点有关的信息来发送。另外，视图信息元数据可以通过被包括在扩展视图视频流中或者被包括在基本视频流和依存视频流这两者中来发送。

另外，可以按照将右视点和左视点混合在一个帧中的方式发送立体视频数据作为一个流。代表示例可以包括并排、上下、棋盘、水平/垂直交错格式等。甚至在此情况下，可发送视图SEI数据。在以2D模式输出时，基于视图SEI数据信息使用右视图图像和左视图图像，可以重构(重配置)2D序列，并且可以显示2D序列。在此，使用view_id字段的区分方法可以用于上下格式。例如，如果view_id＝“0”则可以是上方，并且如果view_id＝“1”则可以是下方。

根据这里公开的一个示例性实施方式，通过被构建成单独分组基础流(PES)分组，可以发送视图信息元数据。也就是说，不同于如上所述将视图信息元数据包括在视频流中，如上所述，除了针对视频流和音频流之外，传输系统可以构建视图信息元数据作为单独独立PES分组。

以上给出了作为用于以图片、帧或者序列为单位通知编码后图像序列的视点的信令数据的视图信息元数据的配置(构建)和处理的描述。

这种方法可以扩展到以频道/节目/事件为单位通知视点的句法。也就是说，可以针对每个级别限定应用视点信息的范围，使得可在每个级别提供涉及右视图图像和左视图图像的信息。在一个示例中，可以采用用于在节目专用信息(PSI)的节目映射表(PMT)中包括新描述符并且用信号通知该描述符的方法。然而，本公开可以不限于此。可以以表信息提供该描述符，诸如事件信息表(EIT)、地面虚拟频道表(TVCT)、服务描述表(SDT)等。

作为这种描述符的句法结构，图5例示view_info_descriptor的句法结构。

如图5所例示，view_info_descriptor可以包括指示与视图信息有关的信息以及对应信息的准确性的元素。

“program_level”是指示与left_view_flag中包括的对应的视频流有关的视图信息直到哪个级别有效的字段。当program_level字段被设定为“1”时，其指示left_view_flag中包括的视图信息被以频道/节目/服务为单位固定，与其它字段的值无关。也就是说，“program_level”字段指示视图信息以节目级别改变。

“event_level”是指示与left_view_flag中包括的对应的视频流有关的视图信息直到哪个级别有效的字段。当event_level字段被设定成“1”时(在此，program_level字段被设定成“0”)，其指示left_view_flag中包括的视图信息按照事件为单位改变，并且可以通过与“frame_level”字段的组合来用信号通知视图信息是否在事件内改变。

“frame_level”是指示与left_view_flag中包括的对应的视频流有关的视图信息直到哪个级别有效的字段。当frame_level字段被设定成“1”时(在此，program_level字段和event_level字段被设定成“0”)，其指示left_view_flag中包括的视图信息可以按照帧为单位改变，并且参照以下的表1将理解其细节。

[表1]

当“view_info_SEI_included”被设定成“1”时，其指示在视频中存在包括涉及对应视频流的视图信息在内的SEI消息。在此，view_info_descriptor字段中包括的left_view_flag的值不能够反应实际视图信息。因此，如果使用了vide_info_SEI_included字段，则可以在视频级别检查视图信息。

“left_view_flag”是按照节目或者事件级别指示与对应的视频流有关的视图信息的字段。如果这个字段的值被设定成“1”，则其指示对应的视频流是3D的左视图图像，并且如果被设定成“0”，则指示对应的视频流是3D的右视图图像。

如果用于按照图片、帧或者序列为单位通知对应的图像的视点的信令方法与用于以频道/节目/事件为单位通知视点的信令方法，在大多数情况下可检查与对应的图像有关的右/左信息。在下文，将描述实施方式的处理方法。

图6是例示解析信令数据的处理的概念图，其例示使用视频流的节目专用信息(PSI)和SEI消息的节目映射表(PMP)来提供右和左视图图像信息的方法。以及图7是例示使用图6的方法来获取视图信息的处理的流程图。

“view_info_SEI”被包括在视频流中，并且在PMT中提供“view_info_descriptor”。

在下文，将描述PMT中包括的字段。“stream-type”是指示基础流的类型的字段。当基本视图视频流通过AVC编码时，stream_type字段具有值“0x1B”，并且当扩展视图视频流通过MVC编码时，stream_type字段具有值“0x20”，以通知视频流是基础流的基本图像或附加图像(或者依存图像)。并且，“elementary PID”提供流分组的PID值。

在下文，将描述解析这样定义的结构中的信令数据的处理。

首先，可以识别PMT中的相对于基本图像(AVC)的PID值(PID_V1)(S310)。接着，可以基于用于基本图像(AVC,PID值＝PID_V1)的view_info_descriptor识别与对应的图像有关的右/左信息(S320)。步骤S320可以省略并且由以下步骤S340代替。

另外，在PMT中可以识别相对于依存图像(MVC)的PID值(PID_V2)(S330)。可以基于用于依存图像(MVC,PID值＝PID_V2)的view_info_descriptor识别与对应的图像有关的右/左信息。步骤S340可以省略并且由步骤S320代替。

当识别了与对应的图像有关的右/左信息时，具有与基本图像和依存图像相对应的PID值(PID_V1、PID_V2)的传输分组被输入到视频解码器中(S350)，并且基本图像和依存图像被解码(S360)(在步骤S360中，使用对应的流中包括的view_info_SEI来识别涉及视频流的右/左信息)。

将参照图7描述右/左信息的识别。如果program_level值被设定成“1”，则可基于view_info_descriptor的left_view_flag确定对应图像是左视图图像或右视图图像。

如果program_level＝“0”、event_level＝“1”并且frame_level＝“0”，则可以基于view_info_descriptor的left_view_flag确定对应图像是否是左视图图像和右视图图像。然而，在实际广播处理中，因为由EIT用信号通知的事件边界与实际事件边界不对齐，所以在接收装置的操作中可能出现问题。在此情况下，可以通过检查view_info_SEI消息的left_view_field字段确定对应图像是左视图图像或右视图图像。

如果program_level＝“0”并且frame_level＝“1”，则总是通过检查view_info_SEI消息的left_view_field字段来确定对应图像是左视图图像还是右视图图像，与event_level的值无关。

返回参照图6和图7一起，显示处理器可以相对于基本图像和附加图像进行后处理(解交错、帧速率转换等)(S370)，并且通过使用view_info_descriptor或者view_info_SEI_message映射右/左图像来输出3D视频(S380)。

这种接收控制方法可以允许各种类型的视图切换。图8是例示视图切换的各个示例性实施方式的图。

情况1对应于program_level＝“1”、event_level＝“0”并且frame_level＝“0”的情况。在情况1中，右视图图像和左视图图像在每个视频流中混合。因此，view_info_descriptor的program_level在区段A-E的范围中具有值“1”，并且通过使用view_info_descriptor中包括的left_view_flag的值来识别涉及每个视频流的右/左信息。

情况2对应于program_level＝“0”、event_level＝“1”并且frame_level＝“0”的情况。在情况2，右视图图像和左视图图像可以按照事件级别切换。

视图(点)信息可以按照事件为单位改变，并且在一个事件内维持。然而，因为在实际广播处理期间，由EIT用信号通知的事件边界与实际事件边界不对齐，所以在接收装置的操作中可能出现问题。例如，区段B应该是其中由EIT广播事件2的时间区段，但是实际上对应于其中事件1被广播的区段。如果在事件1和事件2之间存在视图信息的差异，则涉及事件2的视图信息被应用到的点(时间或者时间点)是区段C开始的点(时间或者时间点)。然而，仅仅通过使用PMT的VI描述符(视图信息描述符)或者EIT的VI描述符，不能够以帧级别通知视点的准确切换时间点。

因此，可以在每个区段单元中执行以下信令。

-区段A、C和E：存在其中响应于来自EIT的信令而执行事件1的区段。在这些区段中，使用PMT的view_info_descriptor或者EIT的view_info_descriptor识别指示每个视频分量是左视图图像或右视图图像的信息。在此情况下，view_info_descriptor可以具有program_level＝“0”、event_level＝“1”并且frame_level＝“0”的设定。

-区段B和D：其中EIT的信号通知的内容和实际广播的内容彼此不同或者很有可能不同的区段。在这些区段中执行以下信令。

view_info_descriptor中的每个字段具有program_level＝“0”、event_level＝“1”、frame_level＝“0”并且view_info_SEI_included＝“1”的设定，并且view info SEI总在视频流中发送。另外，通过使用left_view_field用信号通知右/左视图图像信息。这个示例性实施方式可以包括由EIT用信号通知的事件开始或者结束时间就在眼前的时间点或者EIT和实际广播的内容不同的情况。

情况3是program_level＝“0”、event_level＝“0”、frame_level＝“0”的情况。在情况3，右视图图像和左视图图像可以按照帧级别切换。因此，使用view_info_SEI消息来映射右视图图像和左视图图像。并且，view_info_descriptor中包括的view_info_SEI_included被设定成“1”并且view info SEI被稳当地发送。另外，使用left_view_field用信号通知右/左视图图像信息。

情况4是program_level＝“0”、event_level＝“1”、frame_level＝“1”的情况。在情况4，右视图图像和左视图图像可以按照事件级别切换。还有可能图像按帧级别切换。

在此情况下，针对事件的显著主导部分，视图信息可以是固定的。也就是说，针对事件的主要时间段维持特定右/左视图图像信息，但是右视图图像和左视图图像在中间广告或者在一些其它片段中切换。还可以包括右视图图像和左视图图像按照场景为单位切换的情况。在下文，将在以下参照图9更详细地描述情况4。

图9是例示针对事件边界检测的信令建议的概念图。

如图9所例示，在事件1的中间广告的部分中视图信息被改变。事件2包括位于事件的最后部分的广告，并且视图信息在该最后部分被改变。另外，在事件3中在事件内视图信息被改变任意次数。

在此，在区段A、C和E中，可以按照EIT或者PMT级别用信号通知代表对应的事件的视图信息，并且这个信息可以被利用作为对应的区段的视图信息。因此，以下信令是可执行的。

-区段A、C和E：这些区段具有event_level＝“1”并且frame_level＝“0”的设定。使用view_info_descriptor的left_view_flag字段用信号通知与对应的区段有关的视图信息。

-区段B、D和F：这些区段具有event_level＝“1”并且frame_level＝“1”的设定。这些区段包括具有事件级别的视图信息的无效部分的一些区段(B和F)或者其中存在事件边界的区段(D)。因此，view info SEI消息应在对应的区段内通过视频流发送。因此，view_info_descriptor的view_info_SEI_included被设置成“1”并且使用view infoSEI消息的left_view_field用信号通知视图信息。

-区段G：这个区段具有event_level＝“0”、frame_level＝“1”并且view_info_SEI_included＝“1”的设定。在这个区段，可以表示事件的视图信息不存在并且该视图信息不规则地改变。因此，view info SEI消息总是被发送并且使用left_view_field来用信号通知视图信息。

除了以上提到的，本公开还提出各种类型的标准。例如，当按照与前面的实施方式不同的方式(例如，如果三个字段全部被设定成“1”)用信号通知节目级别、时间级别和帧级别时，级别可以具有帧级别>事件级别>节目级别的优先级。因此，当三个字段全被设定成“1”时，接收装置可以优先执行用于相对于frame_level＝“1”信令的操作，并且最终按照帧为单位以视频级别识别并且处理对应的帧的右/左信息。

在一些情况下program_level字段可以省略。也就是说，当event_level和frame_level全部被设定成“0”时，可以确定涉及对应的服务/频道的视图信息是固定的。

另外，当在PMT和EIT这两者中存在view_information_descriptor时，其优先级可以被设定。例如，view_information_descriptor位于EIT中旨在预先识别涉及对应事件的信息。可以基于PMT的view info SEI消息和视频级别而实际识别正确视图信息。因此，当EIT的view_information_descriptor和PMT的view_information_descriptor在其中的内容方面彼此不同时，PMT的view_information_descriptor被优先处理

另外，如果可能，则仅仅可以相对于基本视图(或者基本视图图像)用信号通知view info SEI消息。还可以能够实现如此的实施方式，即，其中，当相对于基本视图和扩展视图(或者依存视图图像)用信号通知view info SEI消息时，如果这种冲突出现，则相对于基本视图的view info SEI消息被优先处理。

图10和图11是分别例示用于使用视图信息控制解码后的图片的3D输出的接收装置的结构的一个示例性实施方式、以及使用视图信息的解码器和格式化器的构造的一个示例性实施方式的概念图。

广播接收装置可以包括调谐器和解调制器410、残余边带(VSB)解码器420、传输分组解复用器(TP demux)430、PSI/PSIP处理器440、A/V解码器450、扩展视频解码器460和3D立体控制和3D格式化器470(3D视频处理器)。

尽管未例示，但是广播接收装置可以包括用于输出对应视点的图像的图像输出单元。图像输出单元可以被构造为控制对应于每个视点的图像并且在屏幕上显示它们，或者设置多个以分别输出右视图图像和左视图图像。

调谐器和解调制器410接收并且检测数字广播信号，并且校正错误以产生传输流。TP解复用器430被提供作为对传输流执行过滤和解析的解复用器的示例。PSI/PSIP处理器440从由TP解复用器430转发的表信息提取与视频流有关的分组标识符(PID)信息。

A/V解码器450是用于对基本视图视频解码的解码器，并且扩展视频解码器460是用于对扩展视图视频解码的解码器。A/V解码器450和扩展视频解码器460的每个设置了用于处理视频数据的视频编码层(VCL)，以及用于处理补充数据的报头和SEI。另外，根据此处公开的示例性实施方式，还可以提供视图信息处理器。

在下文，将描述如上构造的接收装置的操作方法。

接收装置从自PIS/PSIP处理器440解析的PMT和TVCT信息提取视频流PID，并且允许TP解复用器430使用对应的视频流PID输出视频流。如果输出视频流对应于基本视图视频(AVC)，则TP解复用器430向A/V解码器450输出视频流。如果输出视频流对应于扩展视图视频(MVC)，则TP解复用器430向扩展视频解码器460输出视频流。

A/V解码器450和扩展视频解码器460分别处理在接收到的视频流中包含的视频数据和补充数据，并且向3D视频处理器470输出那些处理后的数据。在此，A/V解码器450和扩展视频解码器460处理补充数据中包括的SEI消息以输出视点信息(或者视图信息)。在此情况下，执行帧级别控制。

视图信息处理器480使用从PSI/PSIP处理器440解析的PMT或者EIT信息处理在view_information_descriptor中设置的视点信息，并且向3D视频处理器470输出处理后的视点信息。在此情况下，可以执行节目或者事件级别控制。

3D视频处理器470使用视点信息控制从A/V解码器450和扩展视频解码器460接收到的视频数据以对应于每个视点，并且输出控制后的数据。

参照图11，3D视频处理器470设置有开关471，其根据视图信息切换右视图图像和左视图图像。图11例示显示装置是线交错偏振型的情况。如图11所例示，在右视图图像和左视图图像在开关471中设定之后，可以执行3D格式化。结果，可以在帧中执行右视图图像和左视图图像的组合或者切换。

如上所述，此处公开的接收装置可以使用PMT或者ETI的描述符来识别接收到的视频流中包括的图像的视点或者识别图像是左视图图像还是右视图图像，并且以频道/节目/服务/帧为单位执行图像切换。

为了接收装置处理通过数字广播信号发送的3D视频广播信号并且在屏幕上输出3D视频数据，除了上述切换功能之外还可以要求不同功能。作为一个示例，当期望支持基于特定编码方案的3D广播时，通过将与流配置关联的发送端和接收端的情形考虑在内，附加约束和操作应被正确引导。特别地，对于通过右视图图像和左视图图像中的两个配置的立体3D广播，基于支持用于两个流的编码的MVC立体技术可以支持广播传送，并且应定义用于支持广播类型的方法以及使用该方法的接收装置的操作方式。

在一个示例中，在基于H.264/AVC方案的3D广播的情况下，可以补充附加要求的约束或者规则以定义MVC立体编解码器。在下文，将首先描述NAL单元、接入单元、视图分量、基本视图分量、依存视图分量、序列参数集合(SPS)和图片参数集合(PPS)。

MVC立体编解码器定义处理视频编码的视频编码层(VCL)、以及被称为位于VCL和子系统之间并且发送和存储编码后的信息的网络提取层(NAL)的层。因此，MVC立体编解码器在VCL和NAL的单独结构中被配置。NAL单元包括NAL报头和根据VCL产生的原始字节序列载荷(RBSP)。类似于H.264/AVC，MVC(在H.264/AVC规范的附件H中描述)编码基于NAL单元而被执行。图12示出nal_unit_type的配置。

若干个NAL单元被收集在一起来接入图片单元中的比特串内包含的信息的一个集合称为接入单元。在MVC立体编解码器(或者MVC接入单元)中的接入单元的含义扩展到包括彼此相对应的基本视图图像和依存视图图像在内的成对的立体图像的组合。也就是说，基本视图和依存视图被配对以构造接入单元。

视图分量是指MVC编码后基本视图和依存视图的每个，并且指示左视图图像或者右视图图像。因此，彼此对应的两个视图分量被组合到一个接入单元中。

基本视图分量被称为MVC的AVC视频子比特流(在2-PID模式下)或者MVC基本视图子比特流(在1-PID复用模式下)。基本视图分量是与两个MVC编码后视图分量的基本图像相对应的分量，并且指示使用传统AVC/H.264解码器可解码的流。

依存视图分量是可用ISO/IEC14496-10的附件H解码的流，并且对应于MVC扩展流。使用视图间预测来解码依存视图分量，其使用基本视图的解码结果或者依存视图分量之间的中间预测。

SPS包括共同应用到视频序列的参数。SPS包括分布、级别、色度格式(诸如4:2:0这样的信息)、序列中包括的帧的数量、图片大小、帧剪切相关的信息等。也就是说，SPS可以是报头信息，其中包括涉及整个序列的信息、诸如分布、级别等。

PPS包含应用于一个或者若干个图片的参数，并且包括针对图片的熵编码模式(CABAC、CABLC等)、片段的数量、片段配置信息、涉及量化参数的信息等。具体地，PPS可以是指示整个图片的编码模式的报头信息。

在下文，将给出在基于MVC立体编码的3D广播中发送/接收和处理NAL单元的顺序。接收装置发送/接收和处理NAL单元的顺序依赖于复用模式配置。MVC立体比特流可以被构造为两种复用模式。在下文，将首先描述2-PID复用模式的情况。

图13是例示2-PID模式的MVC立体广播中的接收装置的结构的图。

如图13所例示，在2-PID复用模式下，一个PES分组包含一个MVC视图分量，并且各个流在单独的解码器中处理。在下文，将示例性地描述接收器相对于2-PID模式流的操作。

首先，TP解复用器使用PSI/PSIP/SI区段中包含的信息识别分组的PID值，其包括基本视图和扩展视图(或者依存视图)，并且向视频输入缓冲和控制块输入对应的PID分组(PIA_A和PID_B)。

视频输入缓冲和控制块临时存储两个独立PID流，基于PES分组中包括的PTS或者DTS信息识别与彼此对应的基本视图和扩展视图相对应的分组，并且向MVC解码器输出识别的分组。也就是说，视频输入缓冲和控制块处理NAL单元的片段。

在对输入基本视图流和扩展视图流的顺序改变的情况的准备中，视频输入缓冲和控制块确保充分存储空间。另外，视频输入缓冲和控制块还管理同步功能以在输出端向MVC解码器总是传递新的成对的两个对应的视图。

接着，包含彼此对应的基本视图和扩展视图的PES或者ES也被传递到MVC解码器(在此，非VCL信息，诸如SPS、PPS等也被包括在内)。

MVC解码器具有用于解码对应于AVC层和MVC扩展层的数据的功能和构造，其接着分别解码基本视图数据和扩展视图数据。在下文，将更详细描述在MVC解码器中执行的解码步骤。

图14a是例示AVC层中处理基本视图流(PID_A)的一个示例性实施方式的图。以及图14b和图14c是例示MVC扩展层中处理扩展视图流(PID_B)的示例性实施方式的图。

每个接入单元可以包括对应于主编码图片的片段的NAL单元，并且AU定界符可以添加在接入单元的前部。

参照图14a，对于处理NAL单元，AVC层使用图片的组(GOP，或者序列)中的第一接入单元的AU定界符确定接入单元的报头，并且检查SPS、PPS和SEI消息。如所例示的，可以进一步添加前缀NAL单元或者子集序列参数集合。最终，在第一接入单元中处理基本视图视频。具体地，基本视图流的主编码图片和冗余/辅助编码图片在第一接入单元中被处理。

在随后的接入单元中，AU定界符、PPS、SEI消息和基本视图视频分别被处理。GOP的最后接入单元基于序列的末尾(EOS)确定序列的末尾。另外，接入单元的每个NAL单元，与AU定界符一起遵循与H.264/AVC相同的规则，以与传统的2DHDTV向后兼容。

参照图14b和图14c，MVC扩展层中的NAL单元的处理顺序可以被粗略划分成两个情形。另外，情形可以是在MVC立体编码中的NAL单元处理的约束。

首先，通过设定成nal_unit_type＝20(非基本视图的编码片段)，发送/处理包括与扩展视图(或者依存视图)关联的视频数据的NAL单元的情况可以被允许。在此，根据它们在GOP中的何处，可以如图14b例示地配置接入单元。

AU定界符是指示每个接入单元的报头的开始符号，并且可以被设定成nal_unit_type＝9。AU定界符先于PPS或者SPS。作为另一个示例，使用nal_unit_type＝18可以规定仅针对扩展视图的AU定界符。子集序列参数集合可以包括涉及SPS MVC扩展的信息，例如，与针对MVC或者整个序列的分布或者级别的编码有关的扩展信息。子集序列参数集合可以被包括在GOP(或者序列)中的第一接入单元中。

PPS指示针对扩展视图的整个图片的编码模式。SEI消息可通过被包括在MVC可缩放嵌套SEI消息中而被发送。如前所述，扩展视图的视频数据通过在每个接入单元中被设定成编码片段扩展(nal_unit_type＝20)而被发送/处理。

接着，通过将用于NAL单元的nal_unit_type设定成1(非IDR)或者5(IDR)，发送/处理扩展视图的视频数据的处理顺序，并且在图14c中例示了这种情况中的配置。

甚至在这种情况下，AU定界符是指示每个接入单元的前部的开始符号，并且可以被设定成nal_unit_type＝9。作为另一个示例，使用nal_unit_type＝18可以规定针对扩展视图流的AU定界符。

通过在每个接入单元中将nal_unit_type设定成1或者5来发送/处理扩展视图的视频数据。更具体地，通知NAL单元是IDR图片的编码片段或非IDR图片的编码片段。因此，可以报告GOP的第一图片处于何种状况、随后图片如何排序、或者哪个图片被排到最后。

不同于上述实施方式，在此处公开的示例性实施方式中，前缀NAL单元可以被进一步提供。前缀NAL单元是指其解码顺序在其它NAL单元前面的NAL单元。例如，前缀NAL单元被作为nal_unit_type＝14来发送/处理，并且比nal_unit_type＝1或者5的NAL单元更早解码。因此，前缀NAL单元比扩展视图的视频数据更早解码。

上述描述已经给出了2-PID复用模式的情况。在下文，将描述1-PID复用模式。

图15是例示1-PID模式的MVC立体广播中的接收装置的图。

如图15所例示，在1-PID复用模式下，基本视图视频和扩展视图视频可以被包括在一个流中并且在MVC解码器中一起处理。在下文，将示例性地描述接收器相对于1-PID模式流的操作。

首先，TP解复用器基于PSI/PSIP/SI区段中包括的信息识别MVC视频流分组的PID值(PID_A)，其包括基本视图和扩展视图，并且向视频输入缓冲和控制块输入对应的PID分组。

视频输入缓冲和控制块临时存储一个MVC流，并且之后基于PES分组中包括的PTS或者DTS信息向MVC解码器输出临时存储的MVC流。在此情况下，由一个流发送的基本视图和扩展视图具有预先排列的顺序。因此，视频输入缓冲和扩展块不必执行同步。

PES或者ES被传递到MVC接入单元中的MVC解码器。在此，诸如SPS、PPS等的非VCL信息也可以被包括在内，并且MVC接入单元可以基于包括AU定界符的NAL单元而确定开始点。

MVC解码器具有用于解码对应于AVC层和MVC扩展层的数据的功能和构造，其分别解码基本视图数据和扩展视图数据。在下文，将更详细描述在MVC解码器中执行解码的接入单元的配置。

图16是例示在1-PID模式中根据在GOP中包括的每个接入单元的处理顺序的图。

AU定界符添加在每个接入单元的前部，并且指示基本视图的开始符号。AU定界符遵循与H.264/AVC相同的规则以与传统2D HDTV向后兼容。

每个接入单元以PPS(基本视图)、PPS(依存视图)、SEI消息(基本视图)、SEI消息(依存视图)、视频(基本视图)、前缀NAL单元(依存视图)和视频(依存视图)的顺序配置。并且，GOP的第一接入单元设置有SPS(基本视图)和子集序列参数集合，并且最后接入单元设置有序列末尾(EOS)。子集序列参数集合包括与SPSMVC扩展(依存视图)相关的信息，并且也可以被排列在SPS(依存视图)之后。

SEI消息(依存视图)被包括在MVC可缩放嵌套SEI消息中。

视频(基本视图)设置有主编码图片和冗余/辅助编码图片，并且作为IDR图片的编码片段而被传递。

可以省略前缀NAL单元(依存视图)以防止传统AVC解码器的误操作，并且可以基于MVC扩展描述符的no_prefix_nal_unit_present值而确定前缀NAL单元的存在或者不存在。

视频(依存视图)可以是编码片段MVC扩展NAL单元。另外，如果前缀NAL单元存在，则构建扩展视图的视频片段的NAL单元的类型被设定成nal_unit_type＝1(非IDR)或5(IDR)。如果前缀NAL单元不存在，则构建扩展视图的视频片段是nal_unit_type＝20。

EOS可以被设定成nal_unit_type＝10。

如在配置中可以理解的，在MVC立体NAL单元的解码时应针对每个步骤规定的项目可以包括AU定界符(基本视图)、SPS(基本视图)、PPS(基本视图)、SEI消息(基本视图)、前缀NAL单元或者子集序列参数集合(基本视图)、视频(基本视图)、SPS MVC扩展(依存视图)、PPS(依存视图)、SEI消息(依存视图)、前缀NAL单元或者子集序列参数集合(依存视图)、视频(依存视图)、序列末尾等。

在下文，将更详细描述每个项目的约束。以下描述将应用于图14a到图14c例示的配置，除了不能够应用于2-PID模式的特定部分之外。

首先，SPS(基本视图)、PPS(基本视图)、SEI消息(基本视图)、前缀NAL单元或子集序列参数集合(基本视图)、以及序列末尾遵循与H.264/AVC相同的规则以与传统的2D HDTV向后兼容。

与H.264/AVC相同的规则的兼容等同地应用于视频(基本视图)，并且基本视图和依存视图之间的关系遵从以下条件。

首先，使用传输分组的调整字段内的random_access_indicator字段指示MVC随机接入。在此，即使该字段仅仅位于基本视图分量，也没有问题。因此，可实现其中对应的字段仅仅被包括在包括基本视图分量的起点的传输分组中的实施方式。

当MVC立体基本视图是I或者IDR图片(随机接入开始并且IDR图片存在于基本视图)时，Elementary_stream_priority_indicator被设定成“1”，并且相对于包括对应的依存视图的NAL单元，anchor_pic_flag的值被设定成“1”。也就是说，即使在全部前缀NAL单元(nal_unit_type＝14)、片段扩展NAL单元(nal_unit_type＝20)和依存视图(nal_unit_type＝1或者5)的情况下，对应的NAL单元的anchor_pic_flag被设定成“1”。

相对于基本视图和依存视图，PES分组载荷的第一字节应是基本视图(或者依存视图)视频的第一字节。在此情况下，当接收装置处理PES分组时，接收装置免受用于搜索载荷中的图片的第一字节的单独处理的负荷。

另外，基本视图分量的PTS/DTS和依存视频分量的PTS/DTS应彼此相同。当存在容差时，差异应仅仅在较低的9比特(对应于约1/180秒，其值最接近于1/50秒并且在计数器比较中是容易的)。在此情况下，接收器比较并且处理每个PTS/DTS的较高24比特。

当AVC描述符的AVC_still_present被设定成“1”时，考虑对应的条件甚至应用于MVC立体，即，作为MVC静止图片来解释和处理。

在MVC立体中，pic_width_in_mbs_minus1和pic_height_in_map_units_minus1不改变，并且在基本视图分量和依存视图分量中采用不同值。MVC立体中的图像的宽高比可以是16：9。在基本视图视频和依存视图视频中宽高比应该是相同的。在此情况下，当从发送端以下采样方式发送依存视图分量时，水平/垂直比可以基于分辨率而不同，但是使用样本宽高比的最终输出的宽高比可以相同地设定成16：9。

另外，可以相对于基本视图分量和依存视图分量的每个发送颜色参数信息，并且每个颜色参数信息可以具有相同值。

在3D事件进行时，都与视频相关的分布、级别、帧速率、逐行/交错状态、entropy_coding_mode_flag等被固定，并且MVC应被维持。另外，在基本视图和依存视图中，PPS的entropy_coding_mode_flag应被设定成相同值。

SPS(基本视图)在子集序列参数集合中编码。在此，应被设定成具有与SPS MVC扩展(依存视图)相同的值。也就是说，应按照使基本视图和扩展视图具有相同值的方式设定SPS字段。在此情况下，seq_parameter_set_id和profile_idc被排除。

因为相同数据应用于基本视图分量和依存视图分量，所以向依存视图分量的subset_seq_param_set内的seq_parameter-set-data()的位置仅仅发送具有相同参数值的基本视图的seq_parameter_set_id的值的方法可以被允许。然而，在此情况下，MVC解码器可以使用共享而非单独管理存储了当对基本视图和依存视图解码时由每个视图分量使用的SPS、PPS等的存储器的结构。也就是说，MVC解码器使用允许在依存视图中使用针对基本视图的SPS的结构。

在PPS(依存视图)中，相对于基本视图和扩展视图，设定了相同的entropy_coding_mode。

SEI消息(依存视图)可以被包括在MVC可缩放嵌套SEI消息中。更具体地，应用于依存视图的全部SEI消息被包括在MVC_scalable_nesting SEI消息中并且被发送。例如，平移-扫描矩形SEI消息可以被包括在MVC_scalable_nesting SEI消息中并且接着被发送。在此情况下，接收器可以对右视图图像和左视图图像解码，并且通过在最终输出处理期间，将平移-扫描矩形SEI消息用于每个图像，来设定分别显示那些图像的显示区域。也就是说，如果已经针对基本视图和依存视图不同地设定了平移-扫描矩形SEI，则基本视图输出由基本视图流的平移-扫描矩形SEI用信号通知的区域，并且依存视图输出由用于依存视图分量的平移-扫描矩形SEI用信号通知的区域。接收装置使用每个所选择的区域输出立体视频。

在此情况下，在依存视图中包括的SEI消息的发送/处理顺序可以包括三个步骤。例如，SEI消息可以由包括缓冲周期SEI消息的MVC可缩放嵌套SEI消息、包括用户数据登记的SEI消息(带有OSD深度范围元数据)的MVC可缩放嵌套SEI消息、以及其它MVC可缩放SEI消息构成。

在前缀NAL单元或者子集序列参数集合(依存视图)中，当MVC_extension_descriptor的no_prefix_nal_unit_present字段被设定成“1”时，前缀NAL单元不能够在依存视图视频流中存在。在此情况下，包括依存视图视频的NAL单元可以被仅仅设定成nal_unit_type＝20。也就是说，nal_unit_type不能够被设定成1或者5。

在下文，将描述视频(依存视图)的约束。

首先，针对MVC锚图片，解码器应正常解码3D立体视图对并且基于MVC锚图片显示立体图片。

对于MVC立体对应视图分量，可允许的primary_pic_type或者可允许的slice_type应相对于构建MVC图片的基本视图和依存视图来设定。由于涉及中间视图的slice_type不单独存在，所以要求限定使用I/P/B片段的约束，并且可以如下表2来构造。

[表2]

在此，关于立体P图片，基本视图和依存视图的每个的primary_pic_type不应被同时设定成0。另外，关于立体B图片，基本视图和依存视图中的至少一个应将primary_pic_type的值设定成2。

对于MVC立体RAP，应规定允许的片段集。MVC立体RAP是指3D图像可被解码成在随机视点的完整格式的起点，并且对应于接收基本视图数据和依存视图数据这两者的情况。例如，基本视图可以仅包括IDR图片或者I片段。依存视图可以仅仅包括I片段或者P片段。基准图片可以仅仅考虑在相同接入单元中存在的基本视图。

除了每个项目的上述约束以外，MVC立体解码还可以提供针对基本视图和依存视图的RAP配置的约束。也就是说，MVC立体RAP时间间隔可以改变，并且应设定相关的广播要求。例如，包括MVC立体RAP或者MVC随机接入视图分量的PES报头在内的TP包括自适应字段。在此，每个字段可以具有以下配置。

-payload_unit_start_indicator＝'1'

-adaptation_field_control＝'11'

-random_access_indicator＝'1'

-elementary_stream_priority_indicator＝'1'(在此，在基本视图分量的情况下)。

MVC立体RAP的排列间隔被推荐具有预定周期。在此情况下，在3D模式下执行随时点播时，按统一间隔使能帧跳过，其可以导致自然随时点播。

在MVC立体基本视图中不允许前缀NAL单元。这是为了维持向后兼容。在此，MVC基本视图假定具有以下特征。

-根据对应的基本视图分量的nal_unit_type来确定IDR或非IDR(因为当nal_unit_type是5时是IDR图片，它被设定成“0”，因为当nal_unit_type是1时是非IDR图片，它被设定成“1”)。

-基本视图被认为具有最高优先级。

-基本视图的view_id被认为设定成“0”。

-对应的基本视图和依存视图的时间级别假定是相同的。

-相对于基本视图和依存视图，相同地设定anchor_pic_flag字段的值。

-执行inter_view。

另外，MVC立体基本视图不允许编码片段扩展NAL单元(nal_unit_type＝20)和子集序列参数集合NAL单元((nal_unit_type＝15)。

作为另一个约束，基本视图视频流和依存视图视频流的每个GOP结构应是相同的。另外，在GOP结构、视图计数、对应的片段中的nal_ref_idc的值、显示顺序(图片顺序计数)、通过从GOP的第一图片的PTS减去DTS限定的解码延迟等中，基本视图视频流和依存视图视频流应是相同的。

在下文，将参照图17描述在2-PID模式下的传输(TS)分组复用指南。图17是例示用于在2-PID模式中发送3D广播的发送装置的数据处理过程的图。

如图17所例示，在2-PID复用模式下，一个PES分组包括一个MVC视图分量，并且各个流(或者右视图图像和左视图图像的流)在单独编码器中处理。基本视图和依存视图中的一个可以是左视图图像，并且另一个可以是右视图图像。在此情况下，分别提供包括基本视图和依存视图的分组的PID值(PID_A、PID_B)，并且根据对应的PDI分组，PID值被输出到不同的缓冲器(缓冲器A、缓冲器B)。

在此情况下，对应于GOP中的第一接入单元的MVC立体基本视图分量的PES分组报头的第一TS分组应在与针对GOP中的第一依存单元的基本视图相对应的MVC立体依存视图分量的PES分组报头的第一TS分组前面。另外，具有GOP中的最后依存单元的MVC立体依存视图分量的PES分组报头的最后TS分组应在具有随后GOP中的第一接入单元的MVC立体基本视图分量的PES分组报头的第一TS分组前面。

在此情况下，在编码和重混合处理期间，通过引用每个视图分量的PTS，包括对应的基本视图和依存视图的PES分组按照顺序方式排列。为此，可以在复用器前面设置同时管理用于基本视图流和依存视图流两个的缓冲器的块。例如，除了缓冲器A和缓冲器B，该块可以还包括缓冲器控制器。通过引用每个PTS，缓冲器控制器可以将PES分组彼此同步。

这样，以上描述限定了发送装置的操作以及接收装置的可允许的操作，其在基于MVC立体的3D广播的执行中可被允许，并且已经提出了使用它们的方法。在下文，将描述接收装置的用于接收和输出基于MVC立体的3D广播的总体操作。

图18是例示用于接收和输出3D广播的接收装置的结构的图。

广播接收装置可以包括调谐器和解调制器510、VSB解码器520、TP解复用器530、PSI/PSIP处理器540和输出格式化器550。

尽管未例示，但是广播接收装置可以包括用于输出对应视点的图像的图像输出单元。图像输出单元可以被构造成控制对应于每个视点的图像并且在屏幕上显示它们，或者被设置多个以分别输出右视图图像和左视图图像。

调谐器和解调制器510接收并且检测数字广播信号，并且校正错误以产生传输流。TP解复用器530被提供作为对传输流执行过滤和解析的示例性解复用器。PSI/PSIP处理器540从自TP解复用器530转发的表信息提取与视频流有关的分组标识符(PID)信息。TP解复用器530使用在PSI/PSIP/SI区段中包含的信息来识别包括基本视图和依存视图的分组的PID值，并且向视频缓冲和控制块560输入对应的PID分组。

视频缓冲和控制块560临时存储两个独立PID流，识别与彼此对应的基本视图和依存视图相对应的分组，并且向解码器570输出识别的分组。在此，AVC层是用于对基本视图视频解码的解码器，并且MVC扩展层是用于对依存视图视频解码的解码器。

基于由PSI/PSIP处理器540提取的信息，输出格式化器550将基本视图视频流和扩展视图视频流格式化，以对应于图像输出单元的输出，接着发送格式化后的流。

在此，为了格式化基本视图视频流和扩展视图视频流以对应于立体输出，在输出格式化器550前面设置L/R分离器580。使用由PSI/PSIP处理器540提取的视点位置信息(具体地，关于是左图像或右图像的信息)，L/R分离器580将基本视图视频流和扩展视图视频流匹配分别作为左视图图像和右视图图像。

这样构造的接收装置可以检查并且处理立体图像信息，以允许输出立体图像。

至此，已经例示了各个实施方式来描述与本公开的各个方面关联的独特范围。然而，在一个具体实施方式中给出的一个或者更多个具体特征也可应用于一个或者更多个其它实施方式。在每个实施方式及相关附图中例示的一些部件或者步骤可以被修改并且可以删除、移动或者包括另外的部件和/或步骤。

可以使用软件、硬件、固件、中间件或者其组合来实现此处描述的各个特征和构思。例如，存储在计算机可执行介质中以实现接收立体图像信号的方法和用于在数字广播中接收立体图像信号的接收装置的计算机程序(由计算机、处理器、控制器等执行)可以包括执行各种任务的至少一个程序代码区段。类似地，存储在计算机可执行介质中以实现接收立体图像信号的方法和用于在数字广播中接收立体图像信号的接收装置的软件工具(由计算机、处理器、控制器等执行)可以包括执行各种任务的程序代码的一部分。

工业应用性

本发明提出的能够显示立体图像的数字广播接收方法和数字广播接收装置可以应用于相关工业领域中。

Claims (18)

1.一种数字广播接收方法，该方法包括以下步骤：

接收和解复用步骤，接收并解复用包括基本视图视频流和依存视图视频流的数字广播信号；

确定步骤，使用在节目映射表PMT、地面虚拟频道表TVCT、服务描述表SDT和事件信息表EIT中的至少一个中设置的描述符，来确定与所述基本视图视频流和所述依存视图视频流相关的右/左信息；

解码步骤，对所述基本视图视频流和所述依存视图视频流解码；以及

控制步骤，使用所述右/左信息来控制解码后的基本视图视频流和依存视图视频流。

2.根据权利要求1所述的方法，其中，所述基本视图视频流和所述依存视图视频流被设置有彼此不同的视点的视频流区段。

3.根据权利要求2所述的方法，其中，所述描述符以节目级别、事件级别和帧级别中的至少一个指示不同视点的所述视频流区段的所述右/左信息。

4.根据权利要求3所述的方法，其中，根据设定的优先级来处理关于所述节目级别、所述事件级别和所述帧级别的所述右/左信息。

5.根据权利要求2所述的方法，其中，所述基本视图视频流和所述依存视图视频流的每一个是右视图图像或左视图图像在不同的视点的所述视频流区段中切换。

6.根据权利要求1所述的方法，其中，所述解码步骤还包括使用补充增强信息SEI消息来确定与对应的流相关的视点信息。

7.根据权利要求6所述的方法，其中，所述基本视图视频流和所述依存视图视频流被设置有不同的视点的视频流区段，并且所述视点信息使用帧单位、图片单位和序列单位中的至少一个指示所述视频流区段的视点。

8.根据权利要求7所述的方法，其中，所述描述符还包括指示所述SEI消息是否被包括的字段。

9.根据权利要求8所述的方法，其中，如果在所述描述符中包括的内容和在所述SEI消息中包括的内容彼此不同，则所述描述符被优先处理。

10.根据权利要求6所述的方法，其中，所述SEI消息包括通知包括所述SEI消息的图片是左视图图像或右视图图像的字段、和通知所述图片应用于多视图视频编解码器流的哪个视点的字段。

11.一种数字广播接收装置，该装置包括：

调谐器，其被构造为接收包括基本视图视频流和依存视图视频流的数字广播信号；

解复用器，其被构造为从所述数字广播信号解复用所述基本视图视频流和所述依存视图视频流；

PSI/PSIP处理器，其被构造为使用在节目映射表PMT、地面虚拟频道表TVCT、服务描述表SDT和事件信息表EIT中的至少一个中包括的描述符，来确定与所述基本视图视频流和所述依存视图视频流相关的右/左信息；

解码器，其被构造为对所述基本视图视频流和所述依存视图视频流解码；以及

3D视频处理器，其被构造为使用所述右/左信息来控制解码后的基本视图视频流和依存视图视频流。

12.根据权利要求11所述的装置，其中，所述基本视图视频流和所述依存视图视频流被设置有彼此不同的视点的视频流区段，并且

其中，所述描述符以节目级别、事件级别和帧级别中的至少一个指示与不同视点的所述视频流区段相关的所述右/左信息。

13.一种用于接收数字广播的方法，该方法包括以下步骤：

提取接收到的多视图视频编解码器MVC立体流的PID值，并且向解码器输出所述MVC立体流；

根据基本视图和依存视图将所述MVC立体流分配到所述解码器的AVC层和MVC扩展层；以及

通过所述AVC层和所述MVC扩展层处理在GOP中包括的接入单元，并且对基本视图视频数据和依存视图视频数据解码。

14.根据权利要求13所述的方法，其中，在2-PID复用模式下，所述扩展视图视频数据具有编码片段扩展的NAL类型或者IDR图片片段或非IDR图片片段的NAL类型。

15.根据权利要求13所述的方法，其中，所述依存视图的AU定界符具有与所述基本视图的AU定界符相同的NAL类型，或者nal_unit_type＝18的专用NAL类型。

16.根据权利要求13所述的方法，其中，在1-PID复用模式下，根据是否存在前缀NAL单元，所述依存视图视频数据具有不同的NAL类型。

17.根据权利要求16所述的方法，其中，所述基本视图视频数据不包括所述前缀NAL单元以用于向后兼容。

18.根据权利要求13所述的方法，其中，基于I图片、P图片和B图片设定针对所述基本视图和所述扩展视图被允许的primary_pic_type和slice_type。