CN105075253A - 用于处理3维广播信号的方法和设备 - Google Patents

用于处理3维广播信号的方法和设备 Download PDF

Info

Publication number
CN105075253A
CN105075253A CN201580000459.4A CN201580000459A CN105075253A CN 105075253 A CN105075253 A CN 105075253A CN 201580000459 A CN201580000459 A CN 201580000459A CN 105075253 A CN105075253 A CN 105075253A
Authority
CN
China
Prior art keywords
information
video
service
field
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580000459.4A
Other languages
English (en)
Inventor
黄修振
徐琮烈
吴炫默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105075253A publication Critical patent/CN105075253A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本发明的一个实施方式的3D广播接收机包括:调谐器,其接收包括三维(3D)广播内容的3D视频数据的广播信号;解码器,其解析FPA?SEI消息,解析包含在FPA?SEI消息中的标识3D视频的格式的3D视频格式信息,解析包含在3D视频数据中的默认显示窗口(DDW)信息、有效格式描述(AFD)信息和条数据,并且将3D视频数据解码;2D提取单元,其根据3D视频格式信息和DDW信息从所解码的3D视频数据的视频帧提取用于2D显示的2D图像;宽高比转换单元,其利用AFD信息和条数据信息渲染所提取的2D图像以适合于接收机的宽高比;以及显示处理单元,其显示所渲染的2D图像。

Description

用于处理3维广播信号的方法和设备
技术领域
本发明涉及用于处理广播信号的方法和设备,更具体地讲,涉及一种在3D广播系统中在维持2D服务和3D服务之间的兼容性的同时提供广播服务的方法和设备。
背景技术
随着广播设备和广播系统的发展,已经可经由广播来提供3D内容并且提供从源以各种宽高比制作的内容。因此,为了便于广播接收机适当地再现3D广播内容,已经一起开发了3D广播内容的传输方案及其关联的信令方法。
然而,存在这样的问题:在当前3D广播系统中无法再现3D广播内容的传统广播接收机无法以2D来再现对应的广播内容。
另外,存在这样的问题:在当前3D广播系统中无法在维持3D广播和2D广播之间的兼容性的同时考虑所提供的内容的宽高比和接收机的宽高比来渲染广播内容。
发明内容
技术问题
为解决所述问题而设计出的本发明的目的在于在3D广播系统中无法再现3D图像并且旨在将广播内容作为2D图像来使用而非3D再现的接收机中再现有效的2D广播内容。
为解决所述问题而设计出的本发明的另一目的在于一种用于在维持3D广播和2D广播之间的兼容性的同时考虑所提供的内容的宽高比和接收机的宽高比来渲染广播内容的信令方法。
技术方案
本发明的目的可通过提供一种三维(3D)广播接收机来实现,该3D广播接收机包括:调谐器,其接收包括节目映射表(PMT)以及3D广播内容的3D视频数据的广播信号,所述PMT包括指示3D视频数据中是否包含帧封装布置(FPA)SEI消息的non_packed_constraint_flag信息;解码器,当non_packed_constraint_flag信息指示3D视频数据中包含FPASEI消息时,该解码器解析FPASEI消息,解析包含在FPASEI消息中的标识3D视频的格式的3D视频格式信息,解析包含在3D视频数据中的默认显示窗口(DDW)信息、有效格式描述(AFD)信息和条数据(bardata),并且将3D视频数据解码;二维(2D)提取器,其根据3D视频格式信息和DDW信息在所解码的3D视频数据的视频帧中提取用于2D显示的2D图像;宽高比转换器,其利用AFD信息和条数据根据接收机的宽高比来渲染所提取的2D图像;以及显示处理器,其显示所渲染的2D图像。
所述DDW信息可被包含在3D视频数据中所包含的视频可用性信息(VUI)数据中。
所述DDW信息可包括用于标识是否存在DDW的default_display_window_flag信息、用于标识DDW的左边缘的位置的def_disp_win_left_offset信息、用于标识DDW的右边缘的位置的def_disp_win_right_offset信息、用于标识DDW的上边缘的位置的def_disp_win_top_offset信息以及用于标识DDW的下边缘的位置的def_disp_win_bottom_offset信息。
所述AFD信息可包括用于标识关注区域的宽高比的信息。
所述广播信号可包括指示在3D视频数据的传输期间的预期宽高比的源宽高比信息。
在本发明的另一方面中,这里提供了一种由三维(3D)广播接收机处理广播信号的方法,该方法包括以下步骤:接收包括节目映射表(PMT)以及3D广播内容的3D视频数据的广播信号,所述PMT包括指示3D视频数据中是否包含帧封装布置(FPA)SEI消息的non_packed_constraint_flag信息;当non_packed_constraint_flag信息指示3D视频数据中包含FPASEI消息时,解析FPASEI消息,解析包含在FPASEI消息中的标识3D视频的格式的3D视频格式信息,解析包含在3D视频数据中的默认显示窗口(DDW)信息、有效格式描述(AFD)信息和条数据,并且将3D视频数据解码;根据3D视频格式信息和DDW信息在所解码的3D视频数据的视频帧中提取用于2D显示的2D图像;利用AFD信息和条数据根据接收机的宽高比来渲染所提取的2D图像;以及显示所渲染的2D图像。
所述DDW信息可被包含在3D视频数据中所包含的视频可用性信息(VUI)数据中。
所述DDW信息可包括用于标识是否存在DDW的default_display_window_flag信息、用于标识DDW的左边缘的位置的def_disp_win_left_offset信息、用于标识DDW的右边缘的位置的def_disp_win_right_offset信息、用于标识DDW的上边缘的位置的def_disp_win_top_offset信息以及用于标识DDW的下边缘的位置的def_disp_win_bottom_offset信息。
所述AFD信息可包括用于标识关注区域的宽高比的信息。
所述广播信号可包括指示在3D视频数据的传输期间的预期宽高比的源宽高比信息。
在本发明的另一方面中,这里提供了一种三维(3D)广播发送机,该3D广播发送机包括:第一信令编码器,其对节目映射表(PMT)进行编码,所述PMT包括指示3D视频数据中是否包含帧封装布置(FPA)SEI消息的non_packed_constraint_flag信息,所述FPASEI消息包括标识3D视频的格式的3D格式信息;第二信令编码器,其对默认显示窗口(DDW)信息、有效格式描述(AFD)信息和条数据进行编码;视频编码器,其对包括3D广播内容的3D视频数据、默认显示窗口(DDW)信息、有效格式描述(AFD)信息和条数据的视频序列进行编码;以及广播信号生成器,其生成包括所述PMT和所述视频序列的广播信号。
所述DDW信息可被包含在3D视频数据中所包含的视频可用性信息(VUI)数据中。
所述DDW信息可包括用于标识是否存在DDW的default_display_window_flag信息、用于标识DDW的左边缘的位置的def_disp_win_left_offset信息、用于标识DDW的右边缘的位置的def_disp_win_right_offset信息、用于标识DDW的上边缘的位置的def_disp_win_top_offset信息以及用于标识DDW的下边缘的位置的def_disp_win_bottom_offset信息。
所述AFD信息可包括用于标识关注区域的宽高比的信息。
所述广播信号可包括指示在3D视频数据的传输期间的预期宽高比的源宽高比信息。
有益效果
根据本发明,在3D广播系统中无法再现3D图像并且旨在将广播内容作为2D图像来使用而非3D再现的接收机可再现有效的2D广播内容。
根据本发明,可在维持3D广播和2D广播之间的兼容性的同时考虑所提供的内容的宽高比和接收机的宽高比来渲染广播内容。
附图说明
图1是例示了根据本发明的图像显示设备的示例的框图。
图2是例示了根据本发明的3D图像显示设备的另一示例的框图。
图3示出根据本发明的包括服务列表描述符的网络信息表(NIT)区段的比特流句法。
图4示出例示了根据本发明的服务列表描述符的比特流句法。
图5示出例示了根据本发明的包括服务描述符的服务描述表(SDT)的比特流句法。
图6示出例示了根据本发明的服务描述符的比特流句法。
图7和图8例示了各自包括服务描述符的节目映射表(PMT)区段和事件信息表(EIT)区段的示例的比特流句法。
图9例示了示出根据本发明的3D服务描述符的比特流句法。
图10、图11和图12例示了指定表3的示例。
图13例示了根据本发明的组件描述符的比特流句法的示例。
图14例示了根据本发明的链接描述符的比特流句法的示例。
图15例示了根据本发明的使用链接描述符的3D服务信令方法。
图16是例示了根据本发明的利用3D信令信息输出立体视频信号的方法的流程图。
图17例示了根据本发明的示例实施方式的UI。
图18例示了根据本发明的示例实施方式的电子节目指南(EPG)画面。
图19例示了根据本发明的示例实施方式的EPG画面。
图20例示了根据本发明的示例实施方式的EPG画面。
图21和图22例示了根据本发明的示例性EPG画面图像。
图23例示了根据本发明的指示是否存在3D版本的UI的示例。
图24例示了EPG的另一示例。
图25例示了图24所示的详细UI的示例。
图26例示了根据本发明的实施方式的各种图像格式的立体图像复用格式。
图27例示了根据本发明的实施方式的3D广播服务的概念图。
图28例示了示出根据本发明的实施方式的提供全分辨率3D广播服务的方法的概念性框图。
图29例示了根据本发明的实施方式的提供3D广播服务的方法。
图30例示了根据本发明的另一实施方式的提供3D广播服务的方法。
图31例示了根据本发明的另一实施方式的提供3D广播服务的方法。
图32例示了根据本发明的另一实施方式的提供3D广播服务的方法。
图33例示了根据本发明的实施方式的用于提供3D广播服务的全向前和向后互操作性。
图34例示了对第一代3DTV和第二代3DTV兼容的3D广播服务的服务模型。
图35例示了根据本发明的实施方式的包括3D互补视频信息的TVCT的句法结构。
图36例示了根据本发明的实施方式的包括在TVCT中的3D互补视频描述符的句法结构。
图37例示了根据本发明的实施方式的根据包括在3D互补视频信息中的complementary_type字段的字段值的图像配置方法。
图38例示了根据本发明的实施方式的包括3D互补视频信息的PMT的句法结构。
图39例示了根据本发明的另一实施方式的包括3D互补视频信息的PMT的句法结构。
图40例示了根据本发明的实施方式的包括3D互补视频信息的视频ES的图片扩展和用户数据的句法结构。
图41例示了根据本发明的实施方式的用户标识符的补充增强信息(SEI)句法结构以及用于对3D互补视频信息进行解码的结构。
图42例示了根据本发明的实施方式的利用基本视频数据、互补视频数据以及从3D视频服务规范B接收的3D互补视频信息来提供全分辨率图像的方法。
图43例示了根据本发明的另一实施方式的利用基本视频数据、互补视频数据以及从3D视频服务规范B接收的3D互补视频信息来提供全分辨率图像的方法。
图44例示了根据本发明的另一实施方式的利用基本视频数据、互补视频数据以及从3D视频服务规范B接收的3D互补视频信息来提供全分辨率图像的方法。
图45例示了根据本发明的另一实施方式的利用基本视频数据、互补视频数据以及从3D视频服务规范B接收的3D互补视频信息来提供全分辨率图像的方法。
图46例示了根据本发明的实施方式的利用服务描述符表(SDT)来用信号通知3D广播服务的方法。
图47例示了根据本发明的实施方式的利用SDT来用信号通知3DTV服务的服务类型值。
图48例示了根据本发明的实施方式的利用SDT来用信号通知3DTV服务的附加服务类型值和描述。
图49例示了根据本发明的实施方式的指示用于DVB广播服务的各个基本流的组件描述符。
图50例示了根据本发明的实施方式的在DVB广播系统中用于指示全分辨率3D立体服务的流内容、组件类型和描述。
图51例示了根据本发明的实施方式的SDT的3D互补视频描述符的句法结构。
图52例示了根据本发明的实施方式的利用链接描述符来用信号通知规范A和规范B3D服务的方法。
图53例示了指示根据本发明的实施方式的通过解析3D信号信息来输出立体视频信号的处理的流程图。
图54例示了根据本发明的另一实施方式的利用链接描述符来用信号通知规范A和规范B3D服务的方法。
图55例示了根据本发明的实施方式的关于位于ATSCPSIPEIT区段中的全分辨率3DTV服务的信息。
图56例示了根据本发明的实施方式的关于位于DVBSIEIT区段中的全分辨率3DTV服务的信息。
图57例示了指示根据本发明的实施方式的通过解析3D互补视频描述符并且利用ATSCPSIPEIT进行渲染来输出立体视频信号的处理的流程图。
图58例示了指示根据本发明的实施方式的通过解析3D互补视频描述符并且利用DVBSIEIT进行渲染来输出立体视频信号的处理的流程图。
图59例示了根据本发明的实施方式的具有3D视频解码器的广播接收机的框图。
图60是例示了根据本发明的实施方式的3D服务2.0(规范B)的概念的示图。
图61是例示了根据本发明的实施方式的用信号通知3D服务2.0(规范B)的方法的示图。
图62是根据本发明的实施方式的组件描述符的stream_content字段和/或component_type字段的示图。
图63是例示了根据本发明的实施方式的链接描述符的linkage_type字段和/或link_type字段的示图。
图64是根据本发明的实施方式的接收机的框图。
图65是例示了根据本发明的实施方式的3D服务3.0的概念的示图。
图66是例示了根据本发明的实施方式的用信号通知SFC-3DTV服务的方法的示图。
图67是例示了根据本发明的实施方式的服务描述符的service_type字段的示图。
图68是例示了根据本发明的实施方式的服务描述符的service_type字段的示图。
图69是例示了根据本发明的实施方式的组件描述符的stream_content字段和/或component_type字段的示图。
图70是例示了根据本发明的实施方式的组件描述符的stream_content字段和/或component_type字段的示图。
图71是例示了根据本发明的实施方式的组件描述符的stream_content字段和/或component_type字段的示图。
图72是例示了根据本发明的实施方式的链接描述符的linkage_type字段和/或link_type字段的示图。
图73是根据本发明的实施方式的接收机的框图。
图74是例示了根据本发明的实施方式的根据active_format信息的有效格式描述(AFD)的示图。
图75是例示了根据本发明的实施方式的接收机根据发送的帧的active_format和宽高比的显示的示例的示图。
图76是例示了根据本发明的另一实施方式的接收机根据发送的帧的active_format和宽高比的显示的示例的示图。
图77是例示了根据本发明的实施方式的条数据的示图。
图78是根据本发明的实施方式的接收机的示图。
具体实施方式
以下,将参照附图详细描述根据本发明的图像显示方法和设备的各种实施方式。
特别是,本说明书提供了一种成像处理设备和方法,其定义了关于标识的各种信令信息项并且处理根据本发明的3维(3D)服务并且由发送端/接收端处理信令信息项。
为了更好地理解并且容易地说明本发明,可通过包括用于3D服务处理的组件的数字接收装置来举例说明图像显示设备。数字接收机可包括数字电视接收机、包括机顶盒(包括用于3D服务处理的组件)以及用于输出由机顶盒处理的3D图像的数字单元的接收装置、个人数字助理(PDA)、移动电话和智能电话。即,数字接收机可包括接收、处理和/或提供3D图像数据的任何装置。另外,数字接收机可以是仅用于3D的接收机或者用于2D和3D二者的接收机。
表现3D图像的方法包括考虑2个视点的立体图像显示方法以及考虑3个或更多个视点的多视点图像显示方法。
立体图像显示方法使用通过利用彼此间隔开预定距离的两个相机(即,左相机和右相机)拍摄同一对象而获取的一对左眼和右眼图像。另外,多视点图像显示方法使用通过利用具有预定距离或角度的3个或更多个相机拍摄同一对象而获取的3个或更多个图像。
立体图像的传输格式分成单视频流格式和多视频流格式。
单视频流格式包括并排、上下、交织、帧顺序、棋盘格和补色立体(anaglyph)格式。另一方面,多视频流格式包括全左/右、全左/半右和2D视频/深度格式。
立体图像或多视点图像可在通过各种图像压缩编码方案(包括运动图像专家组(MPEG))压缩和编码之后被发送。
例如,并排、上下、交织或棋盘格格式的立体图像可在通过H.264/高级视频编码(AVC)方案压缩和编码之后被发送。这里,接收系统可通过按照H.264/AVC编码方案的反转方式对立体图像进行解码来获得3D图像。
全左/半右视点图像当中的左视点图像或者多视点图像之一是基本层图像,剩余图像被指派为增强层图像。基本层图像可在利用与单视场图像相同的方案编码之后被发送。可在仅对基本层与增强层图像之间的相关性信息编码之后发送增强层图像。例如,JPEG、MPEG-1、MPEG-2、MPEG-4、H.264/AVC等可用作基本层图像的压缩编码方案。H.264/多视点视频编码(MVC)可用作上层图像的压缩编码方案。这里,立体图像被分配为一个基本层图像和一个增强层图像,而多视点图像被分配为一个基本层图像和多个增强层图像。用于将多视点图像划分成基本层图像和一个或更多个增强层图像的基准可基于相机的位置或者基于相机的布置方式来确定。另选地,这种划分基准也可任意地确定,而无需特定标准。
这些3D图像显示类型被大体分成立体型、体积型和全息型。例如,采用这种立体技术的3D图像显示装置将深度信息添加到2D图像并且允许用户通过这种深度信息来体验3D生动和逼真感。
3D图像观看类型被大体分成眼镜型和无眼镜型。
眼镜型被分成被动型和主动型。被动型使用偏振滤光器以允许用户分别看到左眼图像和右眼图像。被动型还包括通过针对双眼使用蓝色和红色眼镜来允许用户看到3D图像的类型。另一方面,主动型利用液晶快门来分割左视点图像和右视点图像,所述液晶快门随着时间顺序地打开和关闭左眼镜和右眼镜以分离左眼图像和右眼图像。在主动型中,周期性地重复时分画面,与该周期同步的电子快门被安装在用户穿戴以观看3D图像的眼镜上。这种主动型也被称作时分型或者快门眼镜型。
典型的无眼镜型包括:双凸透镜(lenticular)型,其中垂直地排列有柱状透镜阵列的双凸透镜片被安装在显示面板的前侧;以及视差屏障型,其中具有周期性狭缝的屏障层被设置在显示面板的顶部。下文中,为了易于说明,将参照眼镜型作为示例来描述本发明。
另外,通过本说明书,下面将描述利用系统信息(SI)来用信号通知立体服务以便通过地面DTV广播信道发送和接收3D信号(具体地讲,立体视频信号)的信令方法。
如果可能,在考虑本发明中的功能的同时,本说明书中所使用的术语是从目前广泛使用的一般术语选择的。然而,这些术语可根据本发明所属领域的技术人员的意图、传统做法或者新技术的出现而改变。在特定情况下,申请人根据需要来自愿地选择术语。在这种情况下,由于自愿术语的含义将在本发明的以下描述中详细描述。因此,应该注意的是,本说明书中所使用的术语将基于本发明的详细描述以及术语的预期含义来解释,而非它们的简单名称。
在本说明书中,术语“信令”是指由互联网广播系统和/或广播/互联网融合系统提供的服务信息(SI)的发送/接收。SI包括由目前存在的各个广播系统提供的广播服务信息(例如,ATSC-SI和/或DVB-SI)。
在本说明书中,术语“广播信号”被定义为包括从诸如互联网广播、宽带广播、通信广播、数据广播和/或视频点播(VOD)的双向广播以及地面广播、有线广播、卫星广播和/或移动广播提供的信号和/或数据的概念。
在本说明书中,术语“PLP”是指发送包含在物理层中的数据的预定单元。因此,在本说明书中,术语“PLP”也可被称作“数据单元”或“数据管道”。
将用在数字广播(DTV)服务中的重要应用之一可以是经由广播网络与互联网之间的连接的混合广播服务。混合广播服务发送与通过地面广播网络发送的广播音频/视频(A/V)内容关联的一些增强数据以及通过互联网的一些实时广播A/V内容,使得观看者可体验各种内容。
本发明提出了一种用于在下一代数字广播系统中封装IP分组、MPEG-2TS分组以及广播系统中将使用的其它分组以将分组发送给物理层的方法。另外,本发明还提出了一种利用相同的头格式一起发送层2信令的方法。
根据本发明,3D图像包括通过左眼观看的左图像以及通过右眼观看的右图像。人根据通过左眼观看的左图像与通过右眼观看的右图像中呈现的对象之间的水平距离差异来体验立体效果。
通过广播来提供3D图像或3D服务的方法可包括在一个帧中同时发送左图像和右图像的帧兼容方法以及通过相应传输流、相应基本流或者相应层流来发送左图像和右图像的服务兼容方法。根据帧兼容方法,左图像和右图像可在一个帧中上下或并排设置。服务兼容的定义是指3D服务与2D服务之间的兼容性。即,在提供左图像和右图像以用于3D服务的系统中,将对应左图像和/或右图像用于2D服务,同时维持2D服务的质量的方法可被定义为服务兼容的。
图1是示出根据本发明的图像显示设备的示例的框图。
参照图1,根据本发明的图像显示设备主要包括用于处理从内容源110接收的输入源的处理部130以及用于处理由处理部130处理的音频/视频(A/V)数据的输出部(即,显示单元)140。在这种情况下,所述源可示例性地包括3D图像。除了从内容源110接收的输入源以外,图像显示设备还可包括用于处理从外部装置接收的输入源的接口单元135。图像显示设备还可包括红外线(IR)发射器145,其输出同步信号(例如同步信息)以按照用户可观看从输出单元140提供的源的方式允许穿戴3D眼镜150的用户观看3D图像。
在图1所示的图像显示设备中,处理部130和显示单元140按照充当数字接收机的一个装置的形式配置,或者处理部130可按照机顶盒(STB)的形式配置以使得输出部140可作为仅用作由STB处理的信号的输出部的显示器来操作。特别是,在后一种情况下,上述接口部135可用于在处理部130与输出部140之间交换数据。
在上述描述中,接口部135可以是支持高清晰度多媒体接口(HDMI)规范以支持3D服务的接口(I/F)。
另外,3D图像可被包含在从诸如地面广播、有线广播、卫星广播、光盘、互联网协议电视(IPTV)广播的内容源110接收的信号或源中,或者可直接从诸如通用串行总线(USB)或游戏机的外部装置120接收。在直接从外部装置120接收3D图像的后一种情况下,必须在接口单元135中基于从外部装置120提供的信息来定义和提供用于图像显示的信令信息。
在使用外部装置120的情况下,各种格式的3D图像(例如,DivX、组件、AV、SCART(SyndicatdesConstructeursd'AppareilsRadiorecepteursetTeleviseurs,无线电和电视接收机制造商协会))可被输入到图像显示设备。图像显示设备可包括用于处理上述格式的各种组件。
3D眼镜150可利用从IR发射器145接收同步信号的接收部(未示出)来使得用户能够观看从输出部140提供的3D图像。在这种情况下,3D眼镜150还可包括用于执行2D/3D观看模式切换的单元,并且还可包括根据观看模式切换单元生成单独的同步信息的发生器(未示出)。另外,可在从观看模式切换单元接收的观看模式切换请求被发送给图像显示设备时或者在从图像显示设备接收同步信息时生成从3D眼镜150生成的同步信息,并且图像显示设备可通过参照预先接收的同步信息来生成同步信息。在这种情况下,3D眼镜150还可包括用于存储从图像显示设备预先接收的同步信息的存储单元(或存储器)。
图2是示出根据本发明的3D图像显示设备的另一示例的框图。例如,图2可以是图1所示的处理部130的详细框图。
参照图2,根据本发明的图像显示设备包括接收部210、解调部220、解复用部230、系统信息或信令信息(SI)处理部240、视频解码器250、3D图像格式化器260和控制部270。
下文中将描述图像显示设备的上述组件的基本操作,下面将参照附图给出以下实施方式的详细描述。
接收部210通过射频(RF)信道从内容源110接收包括3D图像数据的数字广播信号。
解调部220利用映射至调制方案的解调方案来对从接收部210接收的数字广播信号进行解调。
解复用部230可将从解调的数字信号接收的音频数据、视频数据和信令信息解复用。对于此操作,解复用部230利用分组标识符(PID)执行滤波,以将数字广播信号解复用。解复用部230将解复用的视频信号输出给后面的视频解码器220,并且将信令信息输出给SI处理部240。在这种情况下,信令信息可以是例如节目特定信息(PSI)、节目和系统信息协议(PSIP)、数字视频广播服务信息(DVB-SI)等的系统信息中的任一个。
SI处理部240处理从解复用部230接收的信令信息,并且将处理的信令信息输出给控制部270。在这种情况下,SI处理部240还可包括用于临时存储处理的信令信息的数据库(DB)。在本发明的以下实施方式中将给出这种信令信息的详细描述。
SI处理部240确定是否存在指示内容是2D图像还是3D图像的信令信息。如果判定存在信令信息,则SI处理部240读取该信令信息并且将它发送给控制部270。
视频解码器250接收解复用的视频数据并且将其解码。在这种情况下,可基于由SI处理部240处理的信令信息来示例性地执行解码。
3D图像格式化器260根据输出格式来执行由视频解码器260解码的3D图像数据的格式化,并且将格式化结果输出给输出部140。在这种情况下,3D图像格式化器260可根据需要仅在解码的图像数据是3D图像数据时被激活。换言之,如果解码的图像数据是2D图像数据,则3D图像格式化器260可被去激活。即,3D图像格式化器260可绕过输入的图像数据,使得输入的图像数据在没有任何附加处理的情况下被输出。
3D图像格式化器260执行所需的从输入的(解码的)视频格式到本地3D显示格式的转换。诸如伪影减少、锐度、对比度增强、解交织、帧频转换以及其它类型的质量增强块的视频处理可存在于视频解码器250与3D图像格式化器260之间。
如上所述,本发明使得支持3D视频处理功能的DTV接收设备能够处理通过DTV广播信号发送的3D视频广播信号,并且在屏幕上输出3D视频数据。
对于上述功能,本发明提供了一种针对支持立体3D广播信号的接收的3D服务/事件定义一个或更多个描述符,利用所述一个或更多个描述符接收立体广播信号,并且支持立体显示输出的方法。现有的地面DTV接收标准基于2D视频内容。特别是,必须针对3DTV服务定义用于3D编解码器的描述符。另外,接收机必须适当地处理这种修改的信号,使得它可接收和输出3D广播服务。
与现有DVB传输有关的SI标准仅限于2D视频服务。因此,为了通过地面DTV广播信道接收3DTV信号(具体地讲,立体视频信号),现有SI标准有必要执行立体服务的信令。为了有效地执行立体服务的信令,有必要重新设计和实现DTV接收机以支持3D广播接收。
在SDT的服务描述符中定义用于指示3D服务的服务类型。定义用于指示关于3D服务和事件(节目)的详细信息的3D服务描述符。为了通过EIT指示3D服务,利用stream_content和component_type来定义表示3D图像的方法。接收机处理重新定义的3D信令,使得平滑地执行2D/3D服务切换。
下文中将详细描述根据与3D信令关联的各个层面的各种信令方法。例如,术语层面可指示以服务为单位的服务层面、服务中的内容以及以事件为单位的内容层面。
在这种情况下,主要使用描述符格式来描述本发明的信令方法。然而,信令方法的范围或精神不仅限于描述符格式,应该注意的是,传统表区段字段的概念可被扩展,并且可根据需要添加新字段。
图3示出根据本发明的包括服务列表描述符的网络信息表(NIT)区段的比特流句法。图4示出例示了根据本发明的服务列表描述符的比特流句法。
NIT可传达与经由给定网络承载的复用/TS的物理组织以及网络本身的特性有关的信息。original_network_id和transport_stream_id的组合允许各个TS贯穿本文献的应用区域被唯一地标识。网络被指派单独的network_id值,其用作网络的唯一标识码。network_id和original_network_id可取相同的值,或者可不得不取不同的值以服从original_network_id和network_id的分配约束。
接收机能够将NIT信息存储在非易失性存储器中以使在信道之间切换(信道跳跃)时的存取时间最小化。除了实际网络以外,还可发送其它网络的NIT。实际网络的NIT与其它网络的NIT之间利用不同的table_id值来区分。
形成NIT的部分的任何区段将在PID值为0x0010的TS分组中发送。描述实际网络(即,包含NIT的TS作为其一部分的网络)的NIT的任何区段将具有table_id0x40,table_id_extension(network_id)相同。network_id字段取指派给实际网络的值。
下文中将参照图3描述NIT区段的各个字段。
table_id字段可通过预定义的值指示该表区段处的NIT区段。section_syntax_indicator字段将被设定为1。section_length可以是12比特字段,前两个比特将为00。它指定紧随section_length字段之后开始并且包括CRC的区段的字节数。section_length将不超过1021,以使得整个区段的最大长度为1024字节。
network_id字段可用作相对于任何其它传送系统,标识NIT所告知的传送系统的标签。version_number字段可以是sub_table的版本号。当sub_table内承载的信息发生改变时,version_number将增加1。当它达到值31时,它折回0。当current_next_indicator被设定为1时,则version_number将是由table_id和network_id定义的当前适用的sub_table的版本号。当current_next_indicator被设定为0时,则version_number将是由table_id和network_id定义的下一适用的sub_table的版本号。current_next_indicator可以是1比特指示符,当被设定为1时指示sub_table是当前适用的sub_table。当该比特被设定为0时,它指示发送的sub_table还不适用,将是下一sub_table有效。
section_number字段可给出区段的编号。sub_table中的第一区段的section_number将为0x00。每增加具有相同table_id和network_id的一个区段,section_number就将增加1。last_section_number字段可指定该区段所属于的sub_table的最后区段(即,具有最高section_number的区段)的编号。
network_descriptors_length字段可给出随后的网络描述符的总字节长度。transport_stream_loop_length字段可指定随后的直至第一CRC-32字节的TS循环的总字节长度。transport_stream_id字段可用作相对于传送系统内的任何其它复用标识该TS的标签。original_network_id字段可给出用于标识始发传送系统的network_id的标签。transport_descriptors_length字段可指定随后的TS描述符的总字节长度。
CRC_32字段可包含在处理整个区段之后给出解码器中的寄存器的零输出CRC值。
参照图4,服务列表描述符用作NIT描述符,使得可识别总3D服务列表。
下文中将详细描述图4所示的服务列表描述符。
服务列表描述符提供了一种通过service_id和service_type列出服务的手段。
descriptor_tag字段可通过descriptor_tag的预定义的值来标识对应描述符。descriptor_length字段可指定随定义该字段的值的字节之后的描述符的数据部分的总字节数。
service_id字段唯一地标识TS内的服务。除了在service_type=0x04、0x18或0x1B(NVOD参考服务)的情况下,service_id不具有对应program_number以外,service_id与对应program_map_section中的program_number相同。
service_type字段可指定服务的类型。服务的service_type值的指派在表1中更具体地描述。
如上所述,图像显示设备执行图3所示的NIT区段的滤波,解析包含在滤波的NIT区段中的service_list_descriptor(参见图4),识别service_type字段为帧兼容3DTV服务的service_id,并且仅收集/输出3D服务(节目)的列表。
图5示出例示了根据本发明的包括服务描述符的服务描述表(SDT)的比特流句法。图6示出例示了根据本发明的服务描述符的比特流句法。
SDT的各个sub_table将描述包含在特定TS内的服务。所述服务可以是实际TS的一部分或者其它TS的一部分,这些通过table_id来标识。形成SDT的部分的任何区段将在PID值为0x0011的TS分组中发送。描述实际TS(即,包含SDT的TS)的SDT的任何区段将具有table_id值0x42,table_id_extension(transport_stream_id)相同并且original_network_id相同。参考实际TS以外的TS的SDT的任何区段将取table_id值0x46。
下文中将参照图5描述SDT区段的各个字段。
table_id字段可通过预定义的值指示该表区段处的NIT区段。section_syntax_indicator可以是1比特字段,将被设定为1。section_length可以是12比特字段,前两个比特将为00。它指定紧随section_length字段之后开始并且包括CRC的区段的字节数。section_length将不超过1021,以使得整个区段的最大长度为1024字节。
transport_stream_id可以是16比特字段,用作相对于传送系统内的任何其它复用,标识SDT所告知的TS的标签。version_number字段可以是sub_table的版本号。当sub_table内承载的信息发生改变时,version_number将增加1。当它达到值31时,它折回0。当current_next_indicator被设定为1时,则version_number将是当前适用的sub_table的版本号。当current_next_indicator被设定为0时,则version_number将是下一适用的sub_table的版本号。current_next_indicator可以是1比特指示符,当被设定为1时指示sub_table是当前适用的sub_table。当该比特被设定为0时,它指示发送的sub_table还不适用,将是下一sub_table有效。
section_number字段可给出区段的编号。sub_table中的第一区段的section_number将为0x00。每增加具有相同table_id、transport_stream_id和original_network_id的一个区段,section_number就将增加1。last_section_number字段可指定该区段所属于的sub_table的最后区段(即,具有最高section_number的区段)的编号。
original_network_id字段可给出标识始发传送系统的network_id的标签。service_id可以是16比特字段,用作相对于TS内的任何其它服务标识该服务的标签。service_id与对应program_map_section中的program_number相同。
EIT_schedule_flag可以是1比特字段,其在被设定为1时指示服务的EIT调度信息存在于当前TS中,以用于关于EIT调度sub_table的出现之间的最大时间间隔的信息。如果该标志被设定为0,则服务的EIT调度信息不应该存在于TS中。EIT_present_following_flag可以是1比特字段,其在被设定为1时指示服务的EIT_present_following信息存在于当前TS中,以用于关于EIT当前/随后sub_table的出现之间的最大时间间隔的信息。如果该标志被设定为0,则服务的EIT当前/随后信息不应该存在于TS中。
running_status可以是指示服务的状态的3比特字段。对于准视频点播(NVOD)参考服务,running_status的值将被设定为0。free_CA_mode可以是1比特字段,当被设定为0时指示服务的所有组件流未加扰。当被设定为1时指示对一个或更多个流的访问可由条件访问(CA)系统控制。descriptors_loop_length字段可给出随后的描述符的总字节长度。
CRC_32可以是32比特字段,其包含在处理整个区段之后给出解码器中的寄存器的零输出的CRC值。
参照图6,服务描述符用作SDT的描述符,并且使用包含在服务描述符中的service_type字段以确定SDT的具体服务标识符是否指示3D服务。另外,通过服务描述符,还可确定对应3D服务是否可被解码并显示。
下文中将详细描述图6所示的服务描述符。
服务描述符随service_type一起以文本形式提供服务提供商和服务的名称。
descriptor_tag字段可通过descriptor_tag的预定义的值标识对应描述符。descriptor_length字段可指定随定义该字段的值的字节之后的描述符的数据部分的总字节数。
service_type字段可指定服务的类型。服务的service_type值的指派描述于表1中。
[表1]
对于一些服务,来自表1的service_type的指派可为显而易见的,例如MPEG-2HD数字电视服务。然而,判定并不总是如此直接。
另外,service_type的值0x01指示数字电视服务。在一般情况下,该service_type没有就服务的组件的编码方式给接收机提供明确指示。当然,在具体平台的情况下,特定编码可隐含地链接到该service_type,因此由接收机推断。然而,任何这种布置方式均超出本文献的范围。该service_type可用于MPEG-2SD数字电视服务。然而,它还可用于使用其它编码的服务,包括在表79中具有特定条目的编码(例如,MPEG-2HD数字电视服务)。
由于在其它(非MPEG-2SD)编码的背景下的使用业已存在,DVB有意地没有从数字电视服务至MPEG-2SD数字电视服务改善该service_type的定义。假设所有接收机将能够解码并呈现MPEG-2SD编码的材料,则基于它可能是MPEG-2SD编码的材料,所有接收机将向观看者呈现指派有该service_type的任何服务以用于选择。然而,如上所述,这可能并非如此,接收机可能不支持所使用的实际编码。接收机无法确定实际上是否将能够解码并呈现指派有该service_type的服务意味着服务提供商需要根据它希望实现的观看者体验小心地分配它。
例如,考虑一些服务基于MPEG-2SD编码,其它服务基于MPEG-2HD编码的平台,这两种服务均被传送给混合的一群仅MPEG-2SD接收机和MPEG-2SD/HD接收机。对于基于MPEG-2SD编码的服务,service_type的指派是显而易见的:0x01(数字电视服务)。然而,对于基于MPEG-2HD编码的服务,service_type的指派取决于服务提供商是否想要该服务被包括在呈现给仅MPEG-2SD接收机的观看者的任何服务列表中,即使如果选择的话,他们实际上也将无法观看该服务。如果这是期望的观看者体验,则该服务应该被分配service_type0x01(数字电视服务)。然而,如果期望的观看者体验仅仅是列出仅MPEG-2SD接收机的观看者实际上将能够观看的服务,则该服务应该被分配service_type0x11(MPEG-2HD数字电视服务)。该service_type还可被分配给包含同一材料的MPEG-2SD编码和另选编码(例如,MPEG-4HD)二者的服务。这在所有接收机将能够解码并呈现MPEG-2SD编码的材料,因此将至少向观看者呈现MPEG-2SD编码的形式的假设下是合理的。然而,根据所使用的接收机的能力,可向观看者呈现另选(通常更优)的编码形式。用于不同编码的组件之间可在将要解码时通过为PSI中的stream_type指派的值和/或使用SI中的component_descriptor来区分。
另外,service_type的值是指示高级编解码器的各种值。高级编解码service_type被分配以能够指示服务是利用MPEG-2以外的编解码器编码的。更具体地讲,指派这些service_type中的一个意指接收机必须支持MPEG-2以外的编解码器以能够解码并呈现该服务。基于此,建议仅MPEG-2SD接收机不应该向观看者呈现指派了这些service_type中的一个的任何服务以用于选择。指派这些service_type中的一个提供了使用某高级编解码器的一般指示,而没有具体地指示哪一个。因此,它自己并不完全能够允许接收机确定它能够解码并呈现指派了这些service_type中的一个的服务。当然,在具体平台的情况下,特定编码可隐含地链接到该service_type,因此由接收机推断。然而,任何这种布置方式均超出本文献的范围。在服务被指派了高级编解码service_type中的一个的情况下,应该在SI中使用component_descriptor以指示所使用的特定高级编解码器。这允许接收机明确地确定它是否将能够解码并呈现该服务并且适当地应对。
另外,service_type的值是指示高级编解码帧兼容立体HD的各种值。帧兼容立体HD值允许广播商用信号通知服务(主要)作为立体服务来操作。使用这些值需要仔细考虑传统接收机群的影响,其结果可能忽略这些服务。因此,相反,广播商可选择用信号通知帧兼容立体服务作为正常HD服务,并且使用另选信令来指示该服务(或事件)为帧兼容立体格式。service_provider_name_length字段可指定随用于描述服务提供商的名称的字符的service_provider_name_length字段之后的字节数。char是8比特字段。char字段的串指定服务提供商或服务的名称。利用字符集和方法对文本信息进行编码。service_name_length字段可指定随用于描述服务的名称的字符的service_name_length字段之后的字节数。
图7和图8例示了各自包括服务描述符的节目映射表(PMT)区段和事件信息表(EIT)区段的示例的比特流句法。图9例示了示出根据本发明的3D服务描述符的比特流句法。
PMT可提供节目编号与包括它们的节目元素之间的映射。这种映射的单个实例被称作节目定义。PMT是TS的所有节目定义的完整收集。该表将在分组中发送,分组的PID值由编码器选择。区段通过program_number字段来标识。
下文中将参照图7描述PMT区段的各个字段。
table_id字段可通过预定义的值指示该表区段处的PMT区段。section_syntax_indicator字段将被设定为1。section_length字段的前两个比特将为00,剩余10比特指定紧随section_length字段之后开始并且包括CRC的区段的字节数。该字段的值将不超过1021(0x3FD)。
program_number字段可指定program_map_PID所适用于的节目。一个节目定义将被仅承载于一个TS_program_map_section内。这意味着节目定义永不会长于1016(0x3F8)。program_number可用作例如广播信道的指定。通过描述属于节目的不同节目元素,来自不同源(例如,顺序事件)的数据可利用program_number连接在一起以形成流的连续集合。version_number字段可以是TS_program_map_section的版本号。当区段内承载的信息发生改变时,该版本号将增加1模32。版本号是指单个节目的定义,因此是指单个区段。当current_next_indicator被设定为1时,则version_number将是当前适用的TS_program_map_section的版本号。当current_next_indicator被设定为0时,则version_number将是下一适用的TS_program_map_section的版本号。
current_next_indicator可以是1比特字段,其在被设定为1时指示所发送的TS_program_map_section当前适用。当该比特被设定为0时,指示所发送的TS_program_map_section还不适用,下一TS_program_map_section将变得有效。
section_number字段将为0x00。last_section_number字段将为0x00。PCR_PID字段可指示将包含对于program_number所指定的节目有效的PCR字段的TS分组的PID。如果没有PCR与私有流的节目定义关联,则该字段将取值0x1FFF。program_info_length可以是12比特字段,其前两个比特将为00,剩余10比特指定紧随program_info_length字段之后的描述符的字节数。
stream_type可以是8比特字段,其指定PID的值由elementary_PID指定的分组内承载的节目元素的类型。除了音频、视频和DSM-CC以外,辅助流可用于本说明书所定义的数据类型,例如节目流目录和节目流映射。elementary_PID可以是13比特字段,其指定承载关联的节目元素的TS分组的PID。ES_info_length可以是12比特字段,其前两个比特将为00,剩余10比特指定紧随ES_info_length字段之后的关联节目元素的描述符的字节数。
CRC_32字段可包含在处理整个TS节目映射区段之后给出解码器中的寄存器的零输出的CRC值。
EIT可按照时间顺序提供关于各个服务内包含的事件的信息。实际TS的所有EIT子表将具有相同的transport_stream_id和original_network_id值。除了在NVOD参考服务的情况下,它可具有两个以上事件描述以外,当前/随后的表将仅包含与实际TS或另一TS上的给定服务所承载的当前事件和时间上随后的事件有关的信息。实际TS或另一TS的事件调度表包含时间表形式的事件的列表,即,包括在超过下一事件的某一时间发生的事件。事件信息将按照时间排序。形成EIT的部分的任何区段将在PID值为0x0012的TS分组中发送。
下文中将参照图8描述EIT区段的各个字段。
table_id字段可通过预定义的值指示该表区段处的EIT区段。section_syntax_indicator字段将被设定为1。section_length字段可指定紧随section_length字段之后开始并且包括CRC的区段的字节数。section_length将不超过4093,以使得整个区段的最大长度为4096字节。
service_id字段可用作相对于TS内的任何其它服务标识该服务的标签。service_id与对应program_map_section中的program_number相同。version_number字段是sub_table的版本号。当sub_table内承载的信息发生改变时,version_number将增加1。当它达到值31时,它折回0。当current_next_indicator被设定为1时,则version_number将是当前适用的sub_table的版本号。当current_next_indicator被设定为0时,则version_number将是下一适用的sub_table的版本号。
current_next_indicator可以是1比特指示符,当被设定为1时指示sub_table是当前适用的sub_table。当该比特被设定为0时,它指示所发送的sub_table还不适用,将是下一sub_table有效。section_number字段可给出区段的编号。sub_table中的第一区段的section_number将为0x00。每增加具有相同table_id、service_id、transport_stream_id和original_network_id的一个区段,section_number就将增加1。在这种情况下,sub_table可被结构化为片段的数量。在各个片段内,每增加一个区段section_number将增加1,但是在片段的最后区段与相邻片段的第一区段之间允许编号间隙。last_section_number字段可指定该区段所属于的sub_table的最后区段(即,具有最高section_number的区段)的编号。
transport_stream_id字段可用作相对于传送系统内的任何其它复用,标识EIT所告知的TS的标签。original_network_id字段可给出标识始发传送系统的network_id的标签。segment_last_section_number字段可指定sub_table的该片段的最后区段的编号。对于未分段的sub_table,该字段将被设定为与last_section_number字段相同的值。last_table_id字段可标识所使用的最后table_id。event_id字段可包含所描述的事件的标识号(在服务定义内唯一地分配)。
start_time字段可包含世界协调时间(UTC)和修正儒略日(MJD)形式的事件的开始时间。该字段被编码为给出16LSB的MJD的16比特,随后的24比特被编码为4比特二进制编码十进制(BCD)形式的6位。如果开始时间未定义(例如,对于NVOD参考服务中的事件),则字段的所有比特被设定为1。Duration字段可包含小时、分钟和秒形式的事件的持续时间。
running_status字段可指示事件的状态。对于NVOD参考事件,running_status的值将被设定为0。free_CA_mode可以是1比特字段,当被设定为0时指示事件的所有组件流未加扰。当被设定为1时指示对一个或更多个流的访问由CA系统来控制。descriptors_loop_length字段可给出随后的描述符的总字节长度。
CRC_32字段可包含在处理整个私有区段之后给出解码器中的寄存器的零输出的CRC值。
参照图9,根据本发明的3D服务描述符可被包含在图5的SDT和图7的PMT中。例如,当在SDT或PMT中所包含的特定服务或节目中包含3D服务描述符时,图像显示设备可识别出对应服务或节目是3D服务。另外,图像显示设备可利用包含在3D服务描述符中的信息来识别3D视频格式信息等。另外,利用包含在EIT中的3D服务描述符来确定是否存在用于预定事件的3D服务。
3D服务描述符可包括3D服务和节目的详细信息,并且可位于PMT或SDT中(其中3D服务描述符可位于EIT中,使得它可指示宣告节目/事件的3D信息)。
3D服务描述符可在service_type是帧兼容3DTV时或者事件的stream_content和component_type是帧兼容3D时使用,并且可包括以下字段。
descriptor_tag字段可通过descriptor_tag的预定义的值来标识对应描述符。descriptor_length字段可指定随定义该字段的值的字节之后的描述符的数据部分的总字节数。
3D_structure字段可指示3D节目的视频格式。例如,3D_structure字段可由下表2表示。
[表2]
3D_structure 含义
0000 全分辨率左和右
0001 场交替
0010 行交替
0011 保留
0100 L+深度
0101 保留
0110 上下
0111 帧顺序
1000 并排
1001~1111 保留
参照表2,如果3D_structure字段值被设定为0000,则这表示全分辨率左和右格式。如果3D_structure字段值被设定为0001,则这表示场交替格式。如果3D_structure字段值被设定为0010,则这表示行交替方案。如果3D_structure字段值被设定为0100,则这表示左图像加深度(L+深度)方案。如果3D_structure字段值被设定为0110,则这表示上下(TaB)方案。如果3D_structure字段值被设定为0111,则这表示帧顺序方案。如果3D_structure字段值被设定为1000,则这表示并排(SbS)方案。然而,表2所示的字段和含义仅是处于例示的目的而公开,本发明的范围和精神不限于此,而是可根据需要应用于其它示例。
如果3D_metadata_location_flag字段被设定为01,则3D服务描述符中可另外存在3D_metadata_type、3D_metadata_length和3D_metadata字段。如果3D_metadata_location_flag字段被设定为00,则不发送对应数据。如果3D_metadata_location_flag字段被设定为10,则可从视频区域发送3D_metadata_type、3D_metadata_length、3D_metadata字段等。
3D_sampling字段指示关于3D节目的帧兼容格式的信息。例如,3D_sampling字段可由下表3表示。
[表3]
另外,下文中将参照图10至图12描述表3所示的字段。在这种情况下,图10(a)、图11(a)和图12(a)示出奇数位置,图10(b)、图11(b)和图12(b)示出偶数位置。
参照图10和图11,如果3D_sampling字段被设定为0000至0011,则这表示子采样。更详细地讲,如果3D_sampling字段被设定为0000,则这表示子采样,特别是表示奇数左(L)和奇数右(R)。如果3D_sampling字段被设定为0001,则这表示子采样,特别是表示奇数左(L)和偶数右(R)。如果3D_sampling字段被设定为0010,则这表示子采样,特别是表示偶数左(L)和奇数右(R)。如果3D_sampling字段被设定为0011,则这表示子采样,特别是表示偶数左(L)和偶数右(R)。
参照图12,如果3D_sampling字段被设定为0100至0111,则这表示梅花形矩阵。例如,如果3D_sampling字段被设定为0100,则这表示梅花形矩阵,特别是表示奇数左(L)和奇数右(R)。如果3D_sampling字段被设定为0101,则这表示梅花形矩阵,特别是表示奇数左(L)和偶数右(R)。如果3D_sampling字段被设定为0110,则这表示梅花形矩阵,特别是表示偶数左(L)和奇数右(R)。如果3D_sampling字段被设定为0111,则这表示梅花形矩阵,特别是表示偶数左(L)和偶数右(R)。尽管上述示例性地公开了3D视频格式为SbS,应该注意的是,TaB可如SbS中一样定义,并且可在上述示例中另外地定义。
3D_orientation字段指示包含在3D节目中的左视点数据和右视点数据的像素排列格式,并且可如表4所示定义。
[表4]
3D_orientation 含义
00 左–正常,右–正常
01 左–正常,右–颠倒
10 左–颠倒,右–正常
11 左–颠倒,右-颠倒
参照图4,如果3D_orientation字段被设定为00,则这表示在3D视频取向中左画面和右画面颠倒的正常情况。如果3D_orientation字段被设定为01,则这表示在3D视频取向中仅右画面颠倒。如果3D_orientation字段被设定为10,则这表示在3D视频取向中仅左画面颠倒。如果3D_orientation字段被设定为11,则这表示在3D视频取向中左画面和右画面颠倒。
当3D_metadata_exist_flag被设定为1时,3D_metadata_type字段是有效字段,以使得3D_metadata_length和3D_metadata如表5所示定义。
[表5]
如果3D_metadata_type字段被设定为000,则3D_metadata_length可被设定为4,3D_metadata可以是四个值中的至少一个或者所有这四个值。作为这四个值的示例,3D_metadata[0]可指示parallax_zero,3D_metadata[1]可指示parallax_scale,3D_metadata[2]可指示Dref,3D_metadata[3]可指示Wref。另一方面,如果3D_metadata_type字段被设定为001,则3D_metadata_length也被设定为4,并且3D_metadata可以是四个值中的至少一个或者所有这四个值。作为这四个值的示例,3D_metadata[0]可指示xB,3D_metadata[1]可指示Zref,3D_metadata[2]可指示Dref,3D_metadata[3]可指示Wref。
与上述描述关联,表5中所示的参数是3D内容制造处理中预期的环境值,可使得接收机能够利用所述环境值实现制造者所预期的立体效果。各个参数是用于在如深度图中一样发送视差图的条件下正确地解释各个视差的数据。换言之,在接收到视差图时,利用各个值的基准值以及考虑现有观看环境转换的视差值形成新视点图像。
Dref参数可以是距观看者和屏幕的距离(cm),其中,所述距离(cm)可被定义为3D内容制造处理中的基准。Wref参数是被定义为3D内容制造处理中的基准的屏幕的水平尺寸(cm)。Zref参数是被定义为3D内容制造处理中的基准的深度值(cm)。xB参数是用户双眼之间的距离(基准值=65mn)。
基准视差Pref可利用式1来计算(假设视差图的各个值由N比特表示)。
[式1]
Pref=((m-parallax_zero)/2^N)*(parallax_scale/256)*(Wref/8)
实际屏幕上的视差如式2所示计算(参见ISO23002-3)。
[式2]
p = x B ( 1 - D D - ( D r e f W r e f * W · p r e f p r e f - x B ) ) ≈ - p r e f * d r e f w r e f * W D * x B p r e f - x B
在式2中,D是观看者与接收机之间的距离,W是屏幕的水平尺寸。如果3D_metadata_type被设定为000,则不发送xB参数,并且假设xB参数是65mm。
图13示出根据本发明的组件描述符的比特流句法的示例。
在这种情况下,图13的组件描述符被定义为SDT描述符,以使得可确定对应服务是否为3D服务。另外,图13的组件描述符被定义为EIT的描述符,以使得确定对应事件是否为3D事件。
组件描述符可标识组件流的类型,并且可用于提供基本流的文本描述。
下文中将参照图13描述组件描述符的各个字段。
descriptor_tag字段可通过descriptor_tag的预定义的值标识对应描述符。descriptor_length字段可指定随定义该字段的值的字节之后的描述符的数据部分的总字节数。
stream_content字段可指定流的类型(视频、音频或EBU数据)。该字段的编码在表26中指定。component_type字段可指定视频、音频或EBU数据组件的类型。
component_tag字段可具有与组件流的流标识符描述符(如果存在于PSI节目映射区段中的话)中的component_tag字段相同的值。
ISO_639_language_code字段可标识组件(在音频或EBU数据的情况下)以及该描述符中可包含的文本描述的语言。ISO_639_language_code可包含由ISO639-2指定的3字符码。各个字符被编码为8比特并且被按照顺序插入24比特字段中。
text_char字段可具有指定组件流的文本描述的串。文本信息利用字符集和方法来编码。
具体地讲,包含在组件描述符中的stream_content字段和component_type字段如表6所示定义,使得图像显示设备可通过组件描述符标识对应服务或事件的3D服务或3D事件。
[表6]
参照表6,如果stream_content被设定为0x01,则这表示MPEG-2视频流。在这种情况下,如果component_type被设定为0x11,则这表示25Hz的帧兼容3D视频流。如果component_type被设定为0x12,则这表示30Hz的帧兼容3D视频流。
另外,如果stream_content被设定为0x05,则这表示H.264/AVC标清视频。如果component_type被设定为0x11,则这表示25Hz的帧兼容3D视频。如果component_type被设定为0x12,则这表示30Hz的帧兼容3D视频。
另外,如果stream_content被设定为0x03并且component_type被设定为0x15,则这表示用于显示在3D监视器上的DVB字幕(正常)。如果stream_content被设定为0x03并且component_type被设定为0x25,则这表示用于显示在3D监视器上的DVB字幕(用于弱听者)。
在这种情况下,翻译字幕与弱听字幕之间的比较结果如下。
翻译字幕通常为白色的,被置于屏幕的中心。听力观众将能够标识扬声器和声音效果,因此字幕中仅需要对话。弱听字幕可能必须辨别耳聋/弱听观众的额外需要。总之,正常字幕主要基于对话,弱听字幕可包括关于弱听者的指示谁在说话的全部情景信息。
因此,图像显示设备解析图13的组件描述符,提取stream_content字段的值和component_type字段的值,标识对应服务是否为3D服务,并且确定对应服务或事件是否被解码和输出。
图14示出了根据本发明的链接描述符的比特流句法的示例。图15示出了根据本发明的使用链接描述符的3D服务信令方法。
例如,链接描述符可被包含在图5的SDT或图8的EIT中。图像显示设备可识别与当前观看2Dservice_id或者将来要广播的特定2Devent_id对应的3D服务或事件。
参照图14,包含在linkage_descriptor中的linkage_type被设定为0x05(服务替换服务),在private_data_byte字段中替换类型可被设定为3D。
在另一示例中,当链接描述符被发送给EIT时,linkage_type被设定为0x0D(事件链接),可利用target_event_id字段的3D服务描述符或组件描述符来识别是否存在对应3D服务。
在另一示例中,linkage_type可被设定为新值0x0E,对应描述可被设定为3D服务。
在另一示例中,linkage_type被设定为0x05(服务替换服务)。这里,关于目标服务的service_type,通过直接解析对应服务中所使用的SDT、EIT等来确定是否执行3D服务。
链接描述符标识在消费者请求与SI系统所描述的特定实体有关的附加信息的情况下可呈现的服务。句法中的链接描述符的位置指示附加信息可用的实体。例如,位于NIT内的链接描述符将指向网络上提供附加信息的服务,BAT中的链接描述符将提供对告知一揽子(bouquet)等的服务的链接。
CA替换服务可利用链接描述符来标识。如果CA拒绝对SI系统所描述的特定实体的访问,则该服务可由接收机自动选择。服务替换服务也可利用linkage_descriptor来标识。在当前服务的运行状态被设定为not_running时,该替换服务可由IRD自动选择。
下文中将参照图14描述链接描述符的各个字段。
transport_stream_id字段可标识包含所指示的信息服务的TS。
original_network_id字段可给出标识所指示的信息服务的始发传送系统的network_id的标签。
service_id字段唯一地标识TS内的信息服务。service_id与对应program_map_section中的program_number相同。如果linkage_type字段具有值0x04,则service_id字段不相关,将被设定为0x0000。
linkage_type字段可指定例如对信息的链接的类型(参见表7)。
[表7]
Linkage_type 描述
0x00 保留供将来使用
0x01 信息服务
0x02 EPG服务
0x03 CA替换服务
0x04 包含完整网络/一揽子SI的TS
0x05 服务替换服务
0x06 数据广播服务
0x07 RCS映射
0x08 移动切换
0x09 系统软件更新服务
0x0A 包含SSU BAT或NIT的TS
0x0B IP/MAC通知服务
0x0C 包含INT BAT或NIT的TS
0x0D 事件链接
0x0E 扩展事件链接
0x0F至0x7F 保留供将来使用
0x80至0xFE 用户定义
0xFF 保留供将来使用
本文中,只有当描述符被承载于EIT中时,具有值0x0D或0x0E的linkage_type才有效。
mobile_hand-over_info()字段将根据预定义的方法来编码。event_linkage_info()字段将根据预定义的方法来编码。extended_event_linkage_info()字段将根据预定义的方法来编码。private_data_byte是8比特字段,其值私有地定义。
参照图15,PAT定义对应节目的program_number值和PMT_PID。图像显示装置从PAT提取PMT,并且解析所提取的PMT。
这里,当使用2D服务时,PMT可指示对应节目的stream_type和program_number。例如,如果stream_type被设定为0x02,则对应流是音频流。在这种情况下,音频ES的PID可指示0x111。另外,如果program_number是0xbc,则这表示对应流是视频流。在这种情况下,视频ES的PID可指示0x112。
然而,当使用3D服务时,除了stream_type和program_number以外,PMT可另外定义一个program_number。例如,如果假设program_number为0xbd,则这表示3D扩展并且ESPID可指示0x113。因此,支持3D服务的图像显示设备提取并解析一个stream_type值和两个program_number值,使得它可标识并处理3D服务。
在这种情况下,SDT通过service_id映射至PMT的program_number,使得可用信号通知对应服务。
如果SDTservice_type被设定为2,则service_type2被映射至PMT的program_number,并且包含在SDT中的服务描述符的service_type被设定为0x1B(H.264HD),使得可用信号通知2D服务。如果service_id被设定为3并且linkage_type被设定为0x05,则这表示服务替换服务,并且通过private_data()和replacement_type(0x02)指示3D,使得可用信号通知与service_id2对应的3D服务的存在和处理。同样,即使在service_id被设定为3的情况下,service_descriptor的service_type被定义为0x1C,使得可立即用信号通知3D服务。
与上述描述关联,replacement_type定义如表8所示的服务之间的关系,使得可基于所定义的关系标识HD多播或3D服务。
[表8]
Replacement_type 替换服务的类型
0x00 HD多播
0x01 SVC
0x02 3D立体
0x03-0xff 保留供使用
图16是例示了根据本发明的利用3D信令信息输出立体视频信号的方法的流程图。
参照图16,解复用部230在接收到数字广播信号时执行SDT的滤波和解析。如上所述,解复用部通过PID滤波来执行SDT区段的滤波。例如,PID可被设定为0x0011,具有对应PID的TS分组被滤波,使得table_id=0x42的区段数据可被解析(步骤S1602)。
SI处理部240可从包含在SDT中的服务循环中所包含的服务描述符获得具有传统服务类型的服务的信息,并且存储所获得的信息(步骤S1604)。
SI处理部240可从所解析的SDT的服务循环获得具有3D服务类型的服务的信息,并且存储所获得的信息。即,SI处理部可获得并存储关于3D服务的PMT信息(步骤S1606)。
SI处理部240从信令信息解析链接描述符,并且利用所解析的链接描述符信息识别传统3D服务ID信息(步骤S1608)。
SI处理部240可利用3DPMT信息识别扩展视点流的PID信息(步骤S1610)。
数字接收机接收观看模式设置的信息(步骤S1612)。
可根据各个观看模式使用两种方法。首先,下文中将描述3D观看模式设置的情况。
在步骤S1614中数字接收机可选择提供3D立体视频(帧兼容立体3D)的service_id。在这种情况下,例如,service_id的service_type可以是帧兼容3DTV(步骤S1616)。
控制器270可利用3D服务描述符输出由3D图像格式化器解码的3D立体视频(步骤S1618)。
通过3D图像格式化器260输出的3D视频通过输出单元显示在屏幕上(步骤S1620)。
接下来,下文中将详细描述2D观看模式设置的情况。
数字接收机可选择提供2D视频(基本视点视频)的service_id(步骤S1622)。例如,具有service_id的信道可以是传统信道。
控制器可控制解复用部和解码器执行基本A/V流的PID滤波和视频/音频ES解码(基本视点视频解码器)(步骤S1624)。
控制器通过输出单元输出解码的2D视频(步骤S1626)。
图17例示了根据本发明的示例实施方式的UI。其它实施方式和配置也在本发明的范围内。
图17(a)、图17(b)和图17(c)示出被配置为指示在信道搜索期间搜索到的信道可提供3D内容的用户界面(UI)或屏幕显示(OSD)画面,其可与提供2D内容的信道相区别。此时,数字接收机可识别对应信道是否提供3D服务。例如,数字接收机可预先基于图4的服务列表描述符、图6的服务描述符、图9的3D服务描述符和图13的组件描述符中的至少一个来确定对应信道提供3D服务。
与上述情况不同,由于观看者在信道搜索期间不知道3D信道,所以可如图17(a)、图17(b)和图17(c)所示配置UI或OSD画面以指示3D信道。
在图17(a)中,在UI中可在信道搜索期间出现的信道横幅1110上显示3D指示符1715。
在图17(b)中,OSD画面1720可指示所访问的信道提供3D内容。
在图17(c)中,OSD画面1730可在3D内容的标题上方显示3D指示符1735以指示所访问的信道提供3D内容。
在图17(b)和图17(c)的示例中,当观看者在信道搜索期间在没有早前的信道信息的情况下访问提供3D内容的特定信道时,在信道切换期间初步通过OSD画面来向观看者通知3D内容,以使得观看者可在适当的模式下观看信道。因此,观看者可跳过信道或者利用OSD画面在改变的模式下观看信道的3D内容。
以下涉及电子节目指南(EPG)画面。
图18、图19和图20例示了根据本发明的示例性实施方式的EPG画面。其它实施方式和配置也在本发明的范围内。
图18至图20基于与数字接收机从上述表或描述符解析/提取的3D服务/事件关联的数据中的至少一个来构造。
如图18所示,EPG画面1800可包括:第一项目1805,指示当前信道;第二项目1810,按照时间顺序显示信道内容的列表;第三项目1820,显示从第二项目1810选择的节目1811的预览图像;第四项目1830,包括与显示在第三项目1820中的预览图像有关的附加信息;以及第五项目1840,显示其它菜单。
在图18中,EPG画面1800可包括各种方式的3D指示符。
3D指示符可显示在第三项目1820中的预览图像上方,同时3D指示符可不显示在第二项目1810中的内容列表上。参照图18,尽管3D指示符没有驻留于从第二项目1810中的内容列表选择的内容1811上方,但是3D指示符1825可位于第三项目1820中的预览图像上方。
3D指示符可显示在第二项目1810中的内容列表上方,同时在第三项目1820中的预览图像上方没有3D指示符。参照图18,3D指示符1813和1815可显示在第二项目1810的内容列表中的两个内容上方。
另外,显示3D指示符的以上两种方法可组合使用。
3D指示符可被配置为2D图像或3D图像。随3D指示符一起或者在没有3D指示符的情况下,可按照颜色或者利用EPG画面1800上的深度信息来指示3D内容。
图19例示了指南画面1900,其显示了关于从图18所示的EPG画面选择的特定内容的细节。
如图19所示,指南画面1900可包括:第一项目1910,指示当前信道和当前时间;第二项目1920,指示内容的标题以及关于内容的时间信息;第三项目1930,显示预览图像;以及第四项目1940,显示关于内容的细节信息。
如果内容包括3D图像数据,则信号处理设备可在项目1910、1920、1930、1940中的至少一个中显示3D指示符1925或1935。3D指示符1925还可按照2D格式或者3D格式配置。
图20例示了EPG画面2000,其与图18所示的EPG画面1800相比仅列出了3D内容。
参照图18和图20,在图18的EPG画面中仅附着有3D指示符1811、1813和1815的内容可显示在图20的EPG画面中,而没有剩余2D内容。
尽管在图20的EPG画面中指示3D内容,但是3D内容可按照EPG画面以外的任何方式来指示。
图21和图22示出根据本发明的示例性EPG画面图像。
图像处理设备可利用图14和图15的链接描述符识别是否存在与各个服务对应的2D/3D服务。因此,当存在映射至彼此的2D服务和3D服务时,图像处理设备可识别服务对。在提供服务列表时,所识别的服务对可提供图21或图22所示的EPG画面图像。
在这种情况下,图像处理设备可根据用户的设置请求来操作,或者可自动下载一个服务的服务对。如果图像处理设备进一步下载服务对并且用户在所存储的服务或内容被再现时按下2D/3D切换按钮,则图像处理设备对当前内容执行切换,以使得图像显示设备再现所得内容,导致更大的用户便利。
接收机可执行下载预订,使得可在接收机中接收用户所选择的服务、自动服务或者所有内容对。在这种情况下,当对应内容被广播时,发现并且完整地接收/存储与预订录制的内容对应的service_id。接收机可使用解析的EIT当中的各个内容的service_id值。因此,如果用户按下2D/3D切换按钮以再现所存储的内容,则图像显示设备对对应内容执行切换并且再现所得内容,导致更大的用户便利。
图23示出了根据本发明的指示是否存在3D版本的UI的示例。图24示出了EPG的另一示例。图25是图24所示的详细UI的示例。
参照图23,基于接收机的信令信息,如果当用户观看传统广播图像时存在与通过EIT存储的2D内容对应的内容,即,如果存在3D版本,则如图23所示,接收机可使得文本栏能够滚动。然而,本发明的范围或精神不仅限于图23,附加UI被配置为使得指示是否存在3D版本的信息以及关联的控制信息可被选择并设立在OSD上。
图24示出通过解析图5的SDT和图8的EIT中的至少一个获得的EPG画面图像。例如,即使当用户按下特定按钮(例如,RED)时,也可提供相同的EPG。参照图24,响应于用户请求而提供的EPG向各个内容提供指示对应内容是否可标识2D服务或3D服务的指示符。具体地讲,本发明可提供与特定内容对应的信息。例如,可从图24看出,用户可识别指示2D版本内容“妻子回来了(WifeReturns)#22集”在SBS广播台于12:00开始的信息以及指示3D版本“妻子回来了#23集”在SBS广播台于15:30开始的另一信息。在这种情况下,3D版本内容不总是仅限于同一集,例如,可以是其它集(例如,#21、#23、专题等)的内容。另外,尽管图24示例性地示出与特定内容对应的内容信息,本发明的范围或精神不限于此,本发明还可以不仅提供关于其它信道的信息,而且可根据需要提供与其它媒体对应的内容信息。
当用户选择图24所示的3D版本内容“太祖王建(TaejoWangGeon)#30集”时,详细信息和关联的处理示出于图25中。例如,在图25中选择的内容提供指示预录制的2D版本“太祖王建#30集”的3D版本、预订录制功能、后退功能等的信息。在这种情况下,尽管图中未示出接收机,对应内容的详细信息也可被提供给接收机,例如,梗概信息、剧集信息、广播开始时间信息、广播结束时间信息、缩略图信息等。
下文中将参照上述内容描述视频格式转变。
帧兼容立体3DTV服务可在两种帧兼容立体视频格式之间切换视频格式,或者可从帧兼容立体视频格式之一切换为HDTV视频格式(即,非帧兼容立体3DTV视频格式)或者反之亦然。不太可能应用并排和上下帧封装布置之间的格式切换,但是不禁止这种转变。
将仅利用瞬时解码刷新(IDR)视频帧在随机访问点(RAP)处应用视频格式切换。由于缺少PMT在TS中的出现与画面在视频流中的出现之间的紧密同步,如果在运行帧兼容立体3DTV服务期间切换视频格式,则存在短时间的不一致。HDTV(即,非3DTV)视频格式内容的承载通常意味着帧封装布置补充增强信息(SEI)消息不适用。然而,利用这种格式切换呈现的IRD可能由于与包含在先前出现的PMT中的信息的暂时不一致而无法正确地应对转变。这以从1080i25Hz并排帧兼容立体3DTV视频向1080i25HzHDTV视频的视频格式切换为例描绘于图5中。
在此示例中,在视频格式切换之前最后出现的PMT中承载的信息与在视频格式切换之后通过帧封装布置SEI消息传送的信息之间存在不一致。这种不一致可导致IRD在不一致周期期间采取不正确的视频格式,其长度由于所提及的缺少PMT与编码的视频画面之间的紧密同步而未知。
定义格式转变辅助信令,其使得能够确保IRD中的解码处理的鲁棒性。建议在帧兼容立体3DTV服务包括非3DTV视频格式的内容的周期时应用该格式转变辅助信令。
格式转变辅助信令由还将帧封装布置SEI消息包括在包含HDTV格式视频内容的视频流中构成,其中字段frame_packing_arrangement_cancel_flag被设定为1以肯定地用信号通知当前没有发送帧兼容立体3DTV视频格式。
为了使IRD中的解码处理的鲁棒性最大化,建议帧兼容立体3DTV服务至少在HDTV视频格式与帧兼容立体3DTV视频格式之间的格式切换之前和之后的两秒周期内还在承载HDTV格式期间应用帧封装布置SEI消息。
当发生向HDTV视频格式或者从HDTV视频格式的视频格式转变时,在发生从帧兼容立体3DTV视频格式向HDTV视频格式的转变之后的至少两秒的周期内,或者在将要发生从HDTV视频格式向帧兼容立体3DTV视频格式的转变之前的至少两秒内,帧封装布置SEI消息中的frame_packing_arrangement_cancel_flag应该被设定为“1”,指示正在承载非3DTV视频格式。
可在HDTV视频格式内容的完整持续时间期间持续frame_packing_arrangement_cancel_flag被设定为“1”的帧封装布置SEI消息的承载,由服务提供商来定夺。除了通过帧兼容立体3DTV服务内的视频格式转变的IRD增强应对的鲁棒性以外,在IRD从另一服务跳跃至帧兼容立体3DTV服务时的情况下也提供鲁棒性。在一些情况下,继续应用该信令可能比停止传送它更方便。
在任何情况下,帧封装布置SEI消息信令将与所承载的视频格式一致,并且就视频格式而言优先于其它信令。与上述PMT的暂时不一致可能发生,并且通过应用本节中所指定的格式转变辅助信令来缓解。
本发明提供了一种允许3DTV处理用于立体视频广播服务的信令信息的方法及其实现方案。特别是,本发明提供了一种利用对应信令信息接收广播服务的方法以及操作并实现3DTV以控制立体显示输出的方法。
另外,本发明可通过独立和单独的逻辑信道(虚拟信道)来标识3DTV服务和2D传统TV服务,使得用户可容易地通过信道切换来执行2D/3D转换。
换言之,在DTV广播环境下2D服务和3D服务彼此混合的条件下,本发明可识别2D服务与3D服务之间的关系以识别是否存在2D服务和3D服务。结果,如果用户期望向2D服务或3D服务的服务转换,则本发明可使得用户能够容易地执行2D或3D转换,导致更大的用户便利。
如所述,本发明的实施方式可完整地或部分地应用于数字广播系统。
现在将详细参照本发明的优选实施方式,其示例示出于附图中。只要可能,贯穿附图将使用相同的标号来表示相同或相似的部件。
尽管本发明中所使用的术语是从通常已知并使用的术语中选择的,但是本发明的描述中所提及的一些术语可能由本领域技术人员斟酌、根据习惯、或者由于新技术的出现而改变。另外,在一些情况下,本发明的描述中所提及的一些术语由申请人酌情选择。并且,在这些情况下,详细含义在本发明的描述的相关部分中描述,不简单地通过本文所使用的术语的单纯命名来理解,而是通过各个术语的实际含义以及基于本发明的描述的总体内容来理解。
3D图像呈现方法包括:立体图像方法,其考虑两个角度(或视点);以及多视点图像方法,其考虑三个或更多个角度(或视点)。相反,现有技术的单视点图像类型可被称作单视场方法。
立体图像方法使用通过利用左侧相机和右侧相机拍摄同一对象而获取的左/右图像对,其中,两个相机彼此间隔开预定距离。多视点图像使用通过利用至少3个不同的相机(彼此间隔开预定距离或者按照不同的角度设置)拍摄而获取的至少3个图像的集合。下文中,尽管将根据本发明的实施方式描述立体方法,本发明的构思也可应用于多视点方法。并且,下文中,术语立体(stereoscopic)也可以被缩略为立体(stereo)。
立体图像或多视点图像可按照MPEG(运动图像专家组)格式或者利用不同的方法来压缩编码,从而被发送。
例如,立体图像或多视点图像可利用H.264/AVC(高级视频编码)方法来压缩编码,从而被发送。就这一点,接收系统作为H.264/AVC方法的逆处理对所接收到的图像执行解码处理,从而获取3D图像。
另外,立体图像的左视点图像或右视点图像中的任一个或者多视点图像中的任一个图像可被指派为基本层图像,剩余图像可被指派为增强层图像。以下,基本层的图像可利用对单视场图像进行编码所使用的相同方法来编码。并且,在增强层的图像中,可仅对基本层图像与增强层图像之间的关系信息进行编码。然后,可发送经处理的图像。
基本层图像的压缩编码方法的示例可包括JPEG、MPEG-1、MPEG-2、MPEG-4和H.264/AVC。并且,在本发明的此实施方式中,采用了H.264/AVC方法。另外,根据本发明的实施方式,采用了H.264/SVC(可伸缩视频编码)或者MVC(多视点视频编码)方法来进行增强层图像的压缩编码处理。
用于地波(或地面)DTV发送和接收的传统标准基于2D视频内容。因此,为了服务3DTV广播内容,应该另外定义用于3DTV广播内容的发送和接收标准。接收机可根据增加的发送和接收标准来接收广播信号,以充分地处理所接收到的信号,从而支持3D广播服务。
在本发明的描述中,根据本发明的实施方式将使用ATSC(高级电视系统委员会)标准来描述传统DTV发送和接收标准。
在ATSC系统的情况下,用于处理广播内容的信息可被包括在系统信息中,从而被发送。
例如,系统信息可被称作服务信息。本文中,例如,系统信息可包括信道信息、节目信息、事件信息等。在ATSC标准方法的情况下,系统信息可通过被包括在PSI/PSIP(节目特定信息/节目和系统信息协议)中来发送和接收。然而,本发明将不仅限于此示例。并且,在以表格式发送系统信息的协议的情况下,不管其术语(或名称)如何,协议可应用于本发明。
根据本发明的实施方式,PSI表可包括PAT(节目关联表)和PMT(节目映射表)。
PAT对应于通过PID为“0”的数据分组发送的特殊信息。PAT可发送用于各个节目的对应PMT的PID信息。PMT发送传输流(TS)分组的PID信息(其中发送节目标识号以及配置对应节目的视频和音频数据的各个比特序列),并且还发送其中发送PCR的PID信息。然后,通过解析从PAT获取的PMT,还可获取配置对应节目的元素之间的相关信息。
根据本发明的实施方式,PSIP表可包括VCT(虚拟信道表)、STT(系统时间表)、RR(分级区域表)、ETT(扩展文本表)、DCCT(直接信道改变表)、DDCSCT(直接信道改变选择代码表)、EIT(事件信息表)和MGT(主指南表)。
VCT可发送关于虚拟信道的信息(例如,用于选择信道的信道信息)以及用于接收音频和/或视频数据的信息(例如,PID(分组标识符))。更具体地讲,当VCT被解析时,可获取通过信道承载的广播节目的音频/视频数据的PID连同信道名称和信道号。STT可发送关于当前数据和定时信息的信息,RRT可发送关于节目分级的区域和咨询组织的信息。ETT可发送特定信道和广播节目的附加描述,EIT可发送关于虚拟信道事件的信息。DCCT/DCCSCT可发送与自动(或直接)信道改变关联的信息,MGT可发送PSIP内的各个表的版本和PID信息。
立体图像的传输格式包括单视频流格式和多视频流格式。单视频流格式对应于将两个角度的视频数据复用到单视频流中并且发送单视频流的方法。这里,由于视频数据被发送给一个视频流,所以单视频流格式的优点在于提供3D广播服务所另外需要的带宽不宽。多视频流格式对应于将多个视频数据发送给多个视频流的方法。这里,尽管带宽的使用增加,但是由于可发送高容量数据,所以多视频流格式的优点在于可显示高画面质量的视频数据。
图26示出根据本发明的实施方式的各种图像格式的立体图像复用格式。
3D广播服务的图像格式包括(a)所示的并排格式、(b)所示的上下格式、(c)所示的交织格式、(d)所示的帧顺序格式、(e)所示的棋盘格格式和(f)所示的补色立体格式。
(a)所示的并排格式对应于左图像和右图像在水平方向上被1/2下采样的格式。这里,采样的图像之一被置于左侧,另一采用的图像被置于右侧,从而创建单个立体图像。(b)所示的上下格式对应于左图像和右图像在垂直方向上被1/2下采样的格式。这里,采样的图像之一被置于上侧,另一采用的图像被置于下侧,从而创建单个立体图像。(c)所示的交织格式对应于这样的格式,其中,左图像和右图像在水平方向上被1/2下采样以使得两个图像可逐行交替,从而创建单个立体图像,或者其中,左图像和右图像在垂直方向上被1/2下采样以使得两个图像可逐行交替,从而创建单个立体图像。(d)所示的帧顺序格式对应于左图像和右图像在时间上交替并且被配置在单视频流中的格式。(e)所示的棋盘格格式对应于左图像和右图像被1/2下采样以使得左图像和右图像可在水平方向和垂直方向中的每一个方向上交替,从而将两个图像配置成单个图像的格式。(f)所示的补色立体格式对应于配置图像以使得图像可利用补色对比度呈现立体效果的格式。
本发明的数字广播利用有限的系统资源来提供广播服务。数字广播环境的系统资源包括传输带宽、处理能力等。具体地讲,在频率的指派(或分配)中可使用的带宽有限。在这种数字广播环境中,当提供3D广播服务时,对应3D广播服务也将使用数字广播环境中所使用的有限资源。
根据本发明的实施方式,在使用立体图像方案的3D广播服务的情况下,应该发送左视点图像和右视点图像。因此,难以利用传统数字广播的带宽以高分辨率发送这两个图像。例如,在利用数字广播的带宽发送全分辨率视频数据时,难以利用相同的带宽发送2组全分辨率视频数据。因此,提出了一种发送2组半分辨率视频数据的方法。
然而,需要提供全分辨率3D广播服务以满足用户对高画面质量的需求。然而,即使在提供全分辨率3D广播服务时,全分辨率3D广播服务也应该与传统半分辨率3D广播服务兼容。
图27示出根据本发明的实施方式的3D广播服务的概念图。根据图27的实施方式,提供全分辨率图像的3D广播服务(2010)在下文中可被称作3D服务2.0或者3D服务规范B。提供半分辨率图像的3D广播服务(2020)在下文中可被称作3D服务1.0或者3D服务规范A。
3D服务1.0(2020)可为半分辨率左图像和半分辨率右图像服务。由于提供全分辨率图像的的3D服务2.0(2010)应该与3D服务1.0(2020)兼容,而非重新发送全分辨率图像,所以可使用维持3D服务1.0(2020)的图像传输并且提供不同的数据或者附加数据以用于提供全分辨率图像的方法。更具体地讲,如图27所示,可通过将3D服务2.0的互补视频元素(2030)添加到3D服务1.0(2020)的半分辨率视频元素来提供全分辨率3D广播服务(2010)。最终,可支持3D服务1.0的广播接收机可通过接收并处理3D服务1.0(2020)的数据来提供半分辨率图像,可支持3D服务2.0的广播接收机可通过接收并处理3D服务1.0(2020)的数据和3D服务2.0的互补数据来提供全分辨率图像。
图28例示了示出根据本发明的实施方式的提供全分辨率3D广播服务的方法的概念性框图。
在本发明中,可各自提供可提供全分辨率3D图像的数字广播接收机(3030)和可支持半分辨率3D图像的数字广播接收机(3040)。
提供3D广播服务的广播系统可通过基本层(3020)发送半分辨率3D视频数据,并且可通过增强层(3010)发送用于提供全分辨率3D图像的附加半分辨率3D视频数据。
可支持半分辨率3D图像的数字广播接收机(3040)可通过接收并处理基本层(3020)的视频数据来提供半分辨率3D图像。另外,可提供全分辨率3D图像的数字广播接收机(3030)可通过接收并处理基本层(3020)的视频数据和增强层(3010)的视频数据来提供全分辨率3D图像。下文中,为了简单,基本层的视频数据或视频组件可分别被称作基本视频数据或基本视频组件,增强层的视频数据或视频组件可分别被称作互补视频数据或互补视频组件。
图29例示了根据本发明的实施方式的提供3D广播服务的方法。
参照图29,3D服务规范A(4010)指示通过基本层发送的3D视频数据,根据图28的实施方式,该3D视频数据以半分辨率上下图像格式提供。
3D服务规范B(4020)通过增强层发送各个角度的图像的互补数据。接收系统接收所发送的互补数据。并且,所接收到的互补数据被另外处理至从3D服务规范A(4010)发送的3D视频数据,从而使得接收系统能够提供全分辨率立体图像。
图30例示了根据本发明的另一实施方式的提供3D广播服务的方法。
根据本发明的实施方式,3D服务规范A(5010)对应于上下图像格式,并且可包括空间上半分辨率、时间上全分辨率的3D视频数据。根据本发明的另一实施方式,3D服务规范A(5010)的视频数据可在接收系统中被插值,以按照空间上半分辨率、时间上全分辨率来提供。3D服务规范B(5020)的接收系统可另外处理互补信息以提供空间和时间上均全分辨率的图像。
在时间上半分辨率、空间上全分辨率的定义中,由于系统资源的限制,能够发送的视频数据(或者可发送视频数据)的大小或量可能受到限制。视频数据可包括帧单元图像。这里,根据可发送视频数据的大小,能够时间上设置的帧单元图像之间的距离也可能随图像的分辨率一起受到限制。例如,由于预定带宽的限制,如果可发送视频数据的集合在空间上为半分辨率的,在时间上为全分辨率的,并且当在相同带宽的限制内发送空间上全分辨率的图像时,仅可发送时间上半分辨率(例如,在时间上全分辨率的情况下,帧距离的两倍距离)视频数据。
可存在根据接收系统中的分辨率来处理视频数据的方法的各种实施方式。
3D服务规范A(5010)的接收系统可对所接收到的图像(Lb或Rb)执行插值,以提供接近全分辨率(Lb'或Rb')的图像(绘制在图30的左下侧)。
3D服务规范B(5020)的接收系统可使用在基本层中接收的视频数据以及在增强层中接收的视频数据。接收系统可将所接收到的基本层的图像(Lb或Rb)和所接收到的增强层的图像(Le或Re)的水平行交织并组合,从而提供全分辨率图像(Lf或Rf)。另外,接收系统可对所接收到的基本层的图像(Lb或Rb)执行低通滤波,并且可对所接收到的增强层的图像(Le或Re)执行高通滤波,从而将这两个图像组合并重构全分辨率图像(Lf或Rf)。另外,接收系统可对所接收到的基本层的图像(Lb或Rb)执行插值,并且利用互补信息图像(Le或Re)补充插值的全分辨率(接近全分辨率)图像(Lb'或Rb'),从而提供全分辨率图像(Lf或Rf)(绘制于图30的右下侧)。
图31例示了根据本发明的另一实施方式的提供3D广播服务的方法。
根据本发明的实施方式,3D服务规范A(6010)对应于并排图像格式,并且可包括空间上半分辨率、时间上全分辨率的3D视频数据。根据本发明的另一实施方式,3D服务规范A(6010)的视频数据可在接收系统中被插值,以按照空间上全分辨率、时间上半分辨率来提供。3D服务规范B(6020)的接收系统可另外处理互补信息以提供空间上和时间上均全分辨率的图像。
在图31的情况下,除了图像格式对应于并排图像格式的事实以外,图31的剩余描述与图5相同。因此,为了简单,将省略本发明的重复描述。然而,参照图31,在交织所接收到的基本层的图像(Lb或Rb)和所接收到的增强层的图像(Le或Re)的情况下,3D服务规范B(6020)的接收系统可交织并组合垂直行,从而提供全分辨率图像。
图32例示了根据本发明的另一实施方式的提供3D广播服务的方法。
根据本发明的实施方式,3D服务规范A(7010)对应于帧顺序图像格式,并且可包括空间上全分辨率、时间上半分辨率的3D视频数据。根据本发明的另一实施方式,3D服务规范A(7010)的视频数据可在接收系统中被格式转换,以按照空间上半分辨率、时间上全分辨率来提供。3D服务规范B(7020)的接收系统可另外处理互补信息以提供空间上和时间上均全分辨率的图像。
根据本发明的实施方式,3D服务规范A(7010)的接收系统可对所接收到的图像(Lb或Rb)执行抽取,从而创建(或生成)上下格式或并排格式的半分辨率图像(Lb'或Rb')。就这一点,在执行抽取的同时,接收系统获取上下格式或并排格式的半分辨率图像(Lb'或Rb')。就这一点,在执行抽取的同时,接收系统通过帧频转换获取在时间上扩展(例如,加倍)的一对半分辨率图像,从而能够提供空间上和时间上全分辨率的图像。
根据另一实施方式,3D服务规范B(7020)的接收系统分别将通过增强层(Le或Le)接收的图像插入到通过基本层接收的各个连续图像(Lb或Rb)之间,从而能够提供空间上和时间上全分辨率的图像。
如上所述,为了提供高分辨率的3D广播服务,应该针对当前提供的分辨率的3D广播服务提供互补视频数据,并且伴随互补视频数据,还需要发送/接收并处理用于互补视频数据的信令信息。
下文中,将详细描述用信号通知互补视频数据的方法以及关于这种互补视频数据的信息。根据本发明的实施方式,互补视频数据可使用H.264/SVC(可伸缩视频编码)或MVC(多视点视频编码)方法作为分层图像压缩编码方法。并且,就这一点,互补视频数据可通过增强层来发送。
所发送的关于互补视频数据的信令信息可被称作3D互补视频信息。根据本发明的实施方式,3D互补视频信息可按照描述符或表格式来提供,其中,3D互补视频信息可被称作3D互补视频描述符或3D互补视频表。
根据本发明的实施方式,3D互补视频信息可被包括在从ATSC广播系统发送的PSIP中,并且可具体地被包括在PSIP的TVCT(或VCT)中,从而被发送。另外,3D互补视频信息可被包括在从ATSC广播系统发送的PSI中,并且可具体地被包括在PSI的PMT中。此外,3D互补视频信息可被包括在互补视频信息中,并且可具体地被包括在互补视频ES(基本流)的头信息中,从而被发送。
图33例示了根据本发明的全向前和向后互操作性。
本发明给予当前和下一代源装置以及近期半分辨率3DTV和下一代全分辨率3DTV之间的全向前和向后互操作性。存在它们如何操作的示例。对于在当前BD播放器/STB上播放的规范A内容,可具有两种模式:消费者在近期3DTV上观看半分辨率3D立体内容,以及消费者在下一代3DTV上观看半分辨率3D立体内容。对于在下一代BD播放器/STB上播放的规范A内容,消费者可在近期3DTV上观看半分辨率3D立体内容,并且消费者可在下一代3DTV上观看半分辨率3D立体内容。对于在当前BD播放器/STB上播放的规范B内容,消费者可在近期3DTV上观看半分辨率3D立体内容,并且消费者可在下一代3DTV上观看半分辨率3D立体内容。最后,对于在下一代BD播放器/STB上播放的规范B内容,消费者可在近期3DTV上观看半分辨率3D立体内容,并且消费者可在下一代3DTV上观看全分辨率3D立体内容。
本发明中的空间半分辨率方法(例如,上下和并排)被现有BD/DVD创作系统很好地支持,并且在没有改变或者很小修改的情况下有助于以下特征,例如使用呈现图形模式的3D字幕、在帧的上下部分中放置移位的对象的3D图形、在整个剪辑上应用效果(而无需编辑各个帧)以及BD现场内容创作。
图34例示了提供第一代3DTV与第二代3DTV之间的兼容性的服务模型。
如上所述,如果通过规范A配置立体3D视频的左图像和右图像各自为半分辨率,可通过高分辨率提供将来的立体3DTV服务。这里,由于传统视频元素已经支持半分辨率,为了支持全分辨率,通过互补视频元素提供不同的信号。结果,支持规范B的接收机将能够通过将互补视频元素添加到规范A来提供全分辨率3DTV服务。并且,本发明提供针对规范B发送互补视频元素以便支持3DTV服务的方法。
图35例示了根据本发明的实施方式的包括3D互补视频信息的TVCT的句法结构。
包括在图35的TVCT中的字段将描述如下。
“table_id”字段是指示表区段的类型的8比特无符号整数字段。
“section_syntax_indicator”字段是一比特字段,其对于“terrestrial_virtual_channel_table_section()”字段将被设定为“1”。
“private_indicator”字段是一比特字段,将被设定为“1”。
“section_length”字段是12比特字段,其中前两个比特将被设定为“00”,指定紧随“section_length”字段之后开始并且包括CRC的区段的字节数。
“transport_stream_id”字段指示16比特MPEG-2传输流(TS)ID。“transport_stream_id”字段将地面虚拟信道表(TVCT)与可在不同PTC中广播的其它表相区分。
用作5比特字段的“version_number”字段指示虚拟信道表(VCT)的版本号。
“current_next_indicator”字段是一比特指示符。在“current_next_indicator”字段被设定为“1”的情况下,这表示所发送的虚拟信道表(VCT)当前适用。当“current_next_indicator”字段的比特被设定为“0”时,这表示所发送的表还未适用,将下一表变得有效。
“section_number”字段是给出该区段的编号的8比特字段。
用作8比特字段的“last_section_number”字段指定完整的地面虚拟信道表(TVCT)的最后区段(即,具有最高section_number值的区段)的编号。
用作8比特无符号整数字段的“protocol_version”字段用于在将来允许表类型承载结构上可能不同于当前协议中所定义的那些参数的参数。
用作8比特字段的“num_channels_in_section”字段指定该VCT区段中的虚拟信道的数量。
“short_name”字段可指示虚拟信道的名称,被表示为根据unicode字符数据的UTF-16标准解释的一个至七个16比特码值的序列。
“major_channel_number”字段指示10比特数,其表示与“for”循环的该迭代中定义的虚拟信道关联的“主”信道号。
“minor_channel_number”字段指示“0”至“999”范围内的10比特数,以表示“次”或“子”信道号。该“minor_channel_number”字段与“major_channel_number”字段一起可指示两部分信道号,其中minor_channel_number表示数字的第二或右手部分。
包括8比特无符号整数的“modulation_mode”字段可指示与虚拟信道关联的所发送的载波的调制模式。
“carrier_frequency”字段可指示所允许的载波频率。
“channel_TSID”字段是在0x0000至0xFFFF范围内的16比特无符号整数字段。“channel_TSID”字段表示与承载由虚拟信道参考的MPEG-2节目的传输流(TS)关联的MPEG-2传输流(TS)ID。
“program_number”字段包括16比特无符号整数,其将这里所定义的虚拟信道与MPEG-2节目关联和TS节目映射表关联。
用作2比特字段的“ETM_location”字段指定扩展文本消息(ETM)的存在和位置。“access_controlled”字段指示1比特布尔(Boolean)标志。当“access_controlled”字段的布尔标志被设定时,这表示可控制访问与虚拟信道关联的事件。
“hidden”字段指示1比特布尔标志。当“hidden”字段的布尔标志被设定时,这表示用户无法通过直接输入虚拟信道号来访问虚拟信道。
“hide_guide”字段指示布尔标志。当对于隐藏信道,“hide_guide”字段的布尔标志被设定为零“0”时,这表示虚拟信道和虚拟信道事件可出现在EPG显示中。
“service_type”字段是6比特枚举型字段,其将标识虚拟信道中承载的服务的类型。
“source_id字段”包括16比特无符号整数,其标识与虚拟信道关联的节目源。
“descriptors_length”字段可指示虚拟信道的描述符的总长度(字节)。
“descriptor()”字段可包括被确定为适合于“descriptor()”字段的零个或更多个描述符。
“additional_descriptors_length”字段可指示VCT描述符列表的总长度(字节)。
“CRC_32”字段是包含CRC值的32比特字段,该CRC值在处理整个地面虚拟信道表(TVCT)区段之后确保解码器中的寄存器的零输出(定义于ISO/IEC138181的附件A“MPEG-2Systems”[8]中)。
当从对应信道提供的广播服务是3D服务2.0时,service_type字段(8010)对应于指示该信息的字段。例如,当service_type字段(8010)的字段值为0x13时,这指示正从对应虚拟信道提供3D广播节目(用于显示3D立体图像的音频、视频以及互补视频数据)。descriptor字段(8020)包括3D互补视频信息,并且将在下文中参照附图详细描述。
图36例示了根据本发明的实施方式的包括在TVCT中的3D互补视频描述符的句法结构。
包括在图36的3D互补视频描述符中的字段现在将描述如下。
number_elements字段指示配置相应虚拟信道的视频元素的数量。广播接收机可接收3DTV服务位置描述符,以将包括在numbers_elements字段下面的字段中的信息解析与配置相应虚拟信道的视频元素的数量对应的次数。
complementary_type字段指示配置互补视频数据或互补视频流的方法。当正输出全分辨率图像时,接收系统使用该字段的信息来将基本视频数据和互补视频数据重新配置(或重构)为全分辨率图像。
当配置基本视频组件和互补视频组件时,naive_subsampling_flag字段指示是否执行子采样或者是否执行低通滤波和高通滤波。例如,当naive_subsampling_flag字段的字段值等于1时,这指示执行子采样。并且,当字段值等于0时,这指示执行低通滤波和高通滤波。
codec_type字段指示用于编码或压缩互补视频组件的视频编解码器的类型。例如,根据codec_type字段的字段值,可指示诸如MPEG-2、AVC/H.264、SVC扩展等的编码方案。
horizontal_size字段、vertical_size字段和frame_ratesize字段分别指示互补视频组件的水平大小、垂直大小和帧频。这里,水平大小和垂直大小可指示空间分辨率,帧频可指示时间分辨率。例如,当complementary_type字段的字段值等于0x0004时,互补视频组件的空间/时间分辨率可均变为全分辨率。
当关于基本视频组件执行插值时,interpolation_filter_available_flag字段指示是否使用额外定制的滤波器。就这一点,根据本发明的实施方式,诸如用于实现滤波器的滤波器系数的信息可被包括在TVCT或PMT中的互补视频组件的描述符循环中,并且可按照描述符格式提供。并且,根据本发明的另一实施方式,这种信息可被包括在视频元素内的头信息或消息信息中,从而被提供。在配置互补视频信息的左视点的视频数据和右视点的视频数据当中,left_image_first_flag字段指示两个视频数据中的哪一个首先出现(或者被生成)。根据本发明的实施方式,当与左视点对应的视频数据首先被接收时,left_image_first_flag字段的字段值可被设定为1。
complementary_first_flag字段指示在配置全分辨率图像的过程期间组合基本视频组件和互补视频组件的顺序。根据本发明的实施方式,当与基本视频组件对应的视频数据在与互补视频组件对应的视频数据之前时,complementary_first_flag字段的字段值可被设定为1。
图37例示了根据本发明的实施方式的根据包括在3D互补视频信息中的complementary_type字段的字段值的图像配置方法。
包括在图36中的complementary_type字段指示配置互补视频数据或互补视频流的方法。并且,接收系统使用该字段的信息来将基本视频数据和互补视频数据重新配置(或重构)为全分辨率图像。这里,根据本发明的实施方式,根据complementary_type字段的字段值重新配置(或重构)全分辨率图像可如图37所示不同地执行。
1)当complementary_type字段的字段值等于0时:complementary_type字段指示互补视频数据被行交织,并且承载互补行的视频数据。
互补视频数据可包括偶数行或奇数行的视频数据,其被添加到基本视频数据以便配置全分辨率图像。偶数行或奇数行的视频数据可根据基本视频数据的复用格式被水平地或垂直地行交织,以被生成(或创建)。根据本发明的实施方式,当基本视频数据对应于并排格式时,可执行垂直行交织,当基本视频数据对应于上下格式时,可执行水平行交织。
2)当complementary_type字段的字段值等于1时:complementary_type字段指示互补视频数据被像素交织,并且承载从每一行交替(或改变)的图像的角度的顺序信息。这里,所述顺序信息对应于关于重新配置全分辨率图像的像素的信息。
互补视频数据可以按照像素为单位来交织,以按照棋盘格格式来发送。在这种情况下,左图像的像素和右图像的像素可在单行内以像素为单位(或者逐像素地)交替。另外,为了正常地恢复全分辨率图像,接收系统需要发送关于交替顺序的这种信息。在这种情况下,关于包括在重新配置(或重构)的全分辨率图像的第一像素中的视频数据,complementary_first_flag字段指示包括在第一像素中的视频数据对应于哪一角度或层。
3)当complementary_type字段的字段值等于2时:complementary_type字段指示互补视频数据被帧交织,并且包括用于重新配置(或者重构)全分辨率图像的互补帧。
根据本发明的实施方式,全分辨率的含义表示时间分辨率。在这种情况下,互补视频数据可包括以帧为单位(或者逐帧地)交织的图像数据,并且还可包括基于逐帧(或者帧顺序)的视频数据。complementary_first_flag字段可通知接收系统通过互补视频组件接收的视频帧位于通过基本视频组件接收的视频帧之前还是之后。
4)当complementary_type字段的字段值等于3时:complementary_type字段指示互补视频数据被场交织,并且包括用于重新配置(或者重构)全分辨率图像的互补帧。
根据本发明的实施方式,全分辨率的含义表示时间分辨率。在这种情况下,互补视频数据可包括以场为单位(或者逐场地)交织的图像数据,并且还可包括基于逐场的视频数据。complementary_first_flag字段可通知接收系统通过互补视频组件接收的视频场对应于全分辨率图像的偶数场还是奇数场。
5)当complementary_type字段的字段值等于4时:complementary_type字段可指示互补视频数据包括用于重新配置(或者重构)全分辨率图像的残差或增量数据。
根据本发明的实施方式,不管基本视频组件的立体复用格式如何,互补视频组件包括用于重新配置(或者重构)全分辨率图像的残差或增量数据。在这种情况下,在组合互补视频数据和基本视频数据之前,接收系统可对基本视频数据执行插值或加倍。
图38例示了PMT中的3D互补视频描述符的信令的实施方式。换言之,PMT内的3D互补视频描述符将提供配置全分辨率3D立体节目的互补视频元素。
3D_complementary_video_descriptor_PMT位于PMT内的ES_info_length字段之后,并且包括与基本流对应的信息。各个字段的含义与3D_complementary_video_descriptor_VCT相同。codec_type可被PMT内的stream_type字段代替,在这种情况下,3D互补视频描述符可被省略。
随后,现在将详细描述利用PMT用信号通知3D互补视频信息的方法。
图39示出根据本发明的实施方式的包括3D互补视频信息的PMT的句法结构。
包括在图39的PMT中的字段将描述如下。“table_id”字段是8比特字段,其在“TS_program_map_section”字段将总是被设定为“0x02”。
“section_syntax_indicator”字段是1比特字段,其将被设定为“1”。
“section_length”字段是12比特字段,其中前两个比特将被设定为“00”,并且指定紧随“section_length”字段之后开始并且包括CRC的区段的字节数。
“program_number”字段是16比特字段,其指定“program_map_PID”字段适用于的节目。
“version_number”字段是5比特字段,其指示“TS_program_map_section”字段的版本号。
“current_next_indicator”字段是1比特字段。当“current_next_indicator”字段的比特被设定为“1”时,这表示所发送的“TS_program_map_section”字段当前适用。当“current_next_indicator”字段的比特被设定为“0”时,这表示所发送的“TS_program_map_section”字段还未适用,将下一“TS_program_map_section”字段变得有效。
“section_number”字段包括将为“0x00”的8比特字段的值。
“last_section_number”字段包括将为“0x00”的8比特字段的值。
“PCR_PID”字段是13比特字段,其指示将包含对“program_number”字段所指定的节目有效的PCR字段的传输流(TS)分组的PID。在没有PCR与私有流的节目定义关联的情况下,则该字段将取值“0x1FFF”。
“program_info_length”字段是12比特字段,其前两个比特将为“00”。“program_info_length”字段指定紧随“program_info_length”字段之后的描述符的字节数。
“stream_type”字段是8比特字段,其指定具有由“elementary_PID”字段指定的PID值的分组内承载的基本流或有效载荷的类型。另外,“stream_type”字段可指示对应视频流的编码类型。作为示例性编码类型,可使用JPEG、MPEG-2、MPEG-4、H.264/AVC、H.264/SVC或H.264/MVC方案。
“elementary_PID”字段是13比特字段,其指定承载关联的基本流或有效载荷的传输流(TS)分组的PID。该PID可用作主视频数据或辅视频数据的PID。
“ES_info_length”字段是12比特字段,其前两个比特将为“00”。“ES_info_length”字段可指定紧随“ES_info_length”字段之后的关联的基本流的描述符的字节数。
“CRC_32”字段是包含CRC值的32比特字段,该CRC值在处理整个传输流节目映射区段之后给出附件B中所定义的解码器中的寄存器的零输出。
descriptor字段(11010)包括3D互补视频信息,下文中将参照附图来详细描述。
随后,现在将详细描述通过包括在互补视频数据中的互补视频ES用信号通知3D互补视频信息的方法。
图40例示了根据本发明的实施方式的包括3D互补视频信息的视频ES的画面扩展和用户数据的句法结构。
根据本发明的实施方式,ATSC电信系统可将3D互补视频信息包括在视频ES的头信息中(而非PISP层),并且可用信号通知对应信息。更具体地讲,3D互补视频信息(complementary_video_info();13030)可被包括在互补视频ES中以被发送,并且通过解析视频解码器中的对应信息,接收系统可获取控制显示输出所需的信息。
根据本发明的实施方式,当利用MPEG-2视频编码方案来对互补视频数据进行编码时,3D互补视频信息可被包括在画面扩展和用户数据的user_data()(13010)中,以被发送。画面扩展和用户数据可在画面头和画面编码扩展之后被接收,从而被解码。
在图40的实施方式中,user_data_start_code字段的字段值被固定为0x000001B2。
user_data_identifier(或ATSC_identifier)字段的字段值对应于给出值0x47413934的32比特码。
user_data_type_code字段指示ATSC用户数据(13020)的数据类型,并且可具有8比特的字段值。根据本发明的实施方式,利用值0x10,该字段可指示包括3D互补视频信息(13030)。
在H.264或AVC视频的情况下,对应信息被发送给如图41所示的SEI(补充增强信息)区域。user_identifier和user_structure被包括在user_data_registered_itu_t_135()中。因此,对应信息被传输给SEI有效载荷,而非user_data()。
下文中,现在将详细描述利用基本视频数据、互补视频数据以及从3D视频服务规范B接收的3D互补视频数据提供全分辨率图像的方法。
图42例示了根据本发明的实施方式的利用基本视频数据、互补视频数据以及从3D视频服务规范B接收的3D互补视频信息来提供全分辨率图像的方法。
在图42的实施方式中,以上下格式接收基本视频数据的图像,其中,左图像位于上侧,并且其中,右图像位于下侧。在3D互补视频信息的情况下,complementary_type字段的字段值被指示为“0x0000”,naive_subsampling_flag字段的字段值被指示为“1”,left_image_first_flag字段的字段值被指示为“1”,并且complementary_first_flag字段的字段值被指示为“0”。更具体地讲,3D互补视频信息指示利用行交织处理互补视频数据,在执行子采样时不执行低通滤波和高通滤波,与左视点对应的视频数据被首先呈现,并且与基本视频对应的视频数据在与互补视频对应的视频数据之前。
根据3D互补视频信息,接收系统从上下格式的基本视频帧(16010)提取左图像部分(Lb1~Lb5),从互补视频帧(16020)提取左图像部分(Lc1~Lc5),并且逐行地重新配置(或者重构)所提取的视频数据,从而获取全分辨率左图像(16030)。类似地,根据3D互补视频信息,接收系统从上下格式的基本视频帧(16010)提取右图像部分(Rb1~Rb5),从互补视频帧(16020)提取右图像部分(Rc1~Rc5),并且逐行地重新配置(或者重构)所提取的视频数据,从而获取全分辨率右图像(16040)。
接收系统可通过帧顺序方案显示所获取的全分辨率左图像(16030)和右图像(16040)。在这种情况下,由于两个帧(16030,16040)是以帧为单位从一个帧(16010)生成的,所以时间全分辨率显示变得可用。
图43例示了根据本发明的另一实施方式的利用基本视频数据、互补视频数据以及从3D视频服务规范B接收的3D互补视频信息来提供全分辨率图像的方法。
在图43的实施方式中,以上下格式接收基本视频数据的图像,其中,左图像位于上侧,并且其中,右图像位于下侧。在3D互补视频信息的情况下,complementary_type字段的字段值被指示为“0x0000”,naive_subsampling_flag字段的字段值被指示为“0”,left_image_first_flag字段的字段值被指示为“1”,并且complementary_first_flag字段的字段值被指示为“0”。更具体地讲,3D互补视频信息指示利用行交织处理互补视频数据,在执行子采样时必须执行低通滤波和高通滤波,与左视点对应的视频数据被首先呈现,并且与基本视频对应的视频数据在与互补视频对应的视频数据之前。
首先,根据3D互补视频信息,接收系统对基本视频帧执行低通滤波,从而获取经滤波的基本视频帧(Lb1’~Lb5’和Rb1’~Rb5’)。另外,接收系统对互补视频帧执行高通滤波,从而获取经滤波的互补视频帧(Lc1’~Lc5’和Rc1’~Rc5’)。
根据3D互补视频信息,接收系统从上下格式的基本视频帧提取低通滤波的左图像部分(Lb1’~Lb5’),并且从互补视频帧提取低通滤波的左图像部分(Lc1’~Lc5’)。此后,接收系统逐行地重新配置(或者重构)所提取的视频数据,从而获取全分辨率左图像(1030)。类似地,根据3D互补视频信息,接收系统从上下格式的基本视频帧提取低通滤波的右图像部分(Rb1’~Rb5’),并且从互补视频帧提取低通滤波的右图像部分(Rc1’~Rc5’)。然后,接收系统逐行地重新配置(或者重构)所提取的视频数据,从而获取全分辨率右图像(17040)。
接收系统可通过帧顺序方案显示所获取的全分辨率左图像(17030)和右图像(17040)。在这种情况下,由于两个帧(17030,17040)是以帧为单位从一个帧(17010)生成的,所以时间全分辨率显示变得可用。
图44例示了根据本发明的另一实施方式的利用基本视频数据、互补视频数据以及从3D视频服务规范B接收的3D互补视频信息来提供全分辨率图像的方法。
在图44的实施方式中,以上下格式接收基本视频数据的图像,其中,左图像位于上侧,并且其中,右图像位于下侧。在3D互补视频信息的情况下,complementary_type字段的字段值被指示为“0x0004”,naive_subsampling_flag字段的字段值被指示为“1”,left_image_first_flag字段的字段值被指示为“1”,并且complementary_first_flag字段的字段值被指示为“0”。更具体地讲,3D互补视频信息指示互补视频数据包括针对基本视频数据的残差视频数据(0x0004),在执行子采样时不执行低通滤波和高通滤波,与左视点对应的视频数据被首先呈现,并且与基本视频对应的视频数据在与互补视频对应的视频数据之前。
接收系统对首先接收的基本视频帧(18010)执行逐行插值,从而获取空间上加倍的视频帧(18040)。此后,接收系统将插值的行(Li1、Li2、...、Ri5)与互补视频帧(18020)的残差数据行(Lc1~Lc10和Rc1~Rc10)组合。然后,通过设置与基本视频帧的行逐行组合的行,获取全分辨率左图像(18050)和右图像(18060)。根据本发明的实施方式,在左图像的情况下,插值的基本视频帧(18040)的行Li1与互补视频帧(18020)的行Lc1和Lc2的数据组合,从而获取全分辨率图像(18050)的行图像Lc1。随后,利用将该行图像Lc1设置在行图像Lb1和Lb2之间的方法,可获取全分辨率左图像(18050)。
接收系统可通过帧顺序方案显示所获取的全分辨率左图像(18050)和右图像(18060)。在这种情况下,由于两个帧(17050,17060)是以帧为单位从一个帧(18010)生成的,所以时间全分辨率显示变得可用。
图45例示了根据本发明的另一实施方式的利用基本视频数据、互补视频数据以及从3D视频服务规范B接收的3D互补视频信息来提供全分辨率图像的方法。在图45的实施方式中,以棋盘格格式接收基本视频数据的图像,其中,左图像位于左端部的最高像素中。在3D互补视频信息的情况下,complementary_type字段的字段值被指示为“0x0001”,naive_subsampling_flag字段的字段值被指示为“1”,left_image_first_flag字段的字段值被指示为“1”,并且complementary_first_flag字段的字段值被指示为“0”。更具体地讲,3D互补视频信息指示互补视频数据包括基本视频图像的互补视频图像的行交替顺序(0x0001),在执行子采样时不执行低通滤波和高通滤波,与左视点对应的视频数据被首先呈现,并且与基本视频对应的视频数据在与互补视频对应的视频数据之前。
接收系统利用3D互补视频信息根据相应顺序针对每一行将所接收到的基本视频帧(19010)中包括的左视点的像素和右视点的像素对齐,将所接收到的互补视频帧(19020)中包括的左视点的像素和右视点的像素对齐。因此,可获取全分辨率左图像(19030)和右图像(19040)。另外,根据本发明的实施方式,接收系统以并排格式或上下格式重新配置(或者重构)所接收到的基本视频帧(19010)和互补视频帧(19020)。然后,接收系统根据3D互补视频信息将重新配置的视频帧对齐,从而获取全分辨率左图像(19030)和右图像(19040)。
接收系统可通过帧顺序方案显示所获取的全分辨率左图像(19030)和右图像(19040)。在这种情况下,由于两个帧(19030,19040)是以帧为单位从一个帧(19010)生成的,所以时间全分辨率显示变得可用。
通过组合基本视频组件和互补视频组件来获取全分辨率视频组件的接收系统的操作可依据本发明的上述实施方式根据不同的实施方式来执行。
根据本发明的实施方式,当基本视频组件被称作B时,当互补视频组件被称作C时,并且当全分辨率视频组件被称作F时,可存在以下操作情景。
情况1:F=B+C
情况2:F=B’+C
情况3:F=B’+C’
这里,B’和C’分别对应于利用插值/滤波处理的B和C。
情况1对应于naive_subsampling_flag字段的字段值等于“1”的示例。因此,该情况对应于两个子采样的视频组件被交织并对齐的实施方式。
情况2对应于利用插值/滤波处理B,然后与C组合,从而获得F的示例。这里,C可对应于残差/增量数据格式。(具体地讲,当使用SVC编码方案时,可执行这种形式的组合。)
情况3对应于naive_subsampling_flag字段的字段值等于“0”的示例。因此,该情况对应于利用插值/滤波处理B和C二者并且B’与C’组合,从而获得F的实施方式。
图46是示出使用SDT用信号通知3DTV服务的另一实施方式。
服务描述符包括指示它是3DTV2.0服务的服务类型(用信号通知是否包括视频数据以用于支持规范B)。另外,descriptor()包括关于配置与规范B对应的3DTV服务的互补视频组件的信息。
图47例示了根据本发明的实施方式的为了支持规范B的全分辨率立体3DTV服务的服务类型。服务类型的值可被包括在DVB的服务描述符中所包括的SDT的描述符循环中。根据本发明的与传统规范A相比的改进如下:
1)规范A和规范B服务被分别定义,但是配置各个服务的流被共享。在规范B的情况下,如图47中所述定义服务类型。配置服务的基本层流可被共享,另外,规范B服务还包括增强层流以提供全分辨率3DTV服务。
2)还可仅通过配置规范A来提供全分辨率服务。在这种情况下,增强流不具有单独的值,因此传统规范A接收机将忽略增强流并且仅利用基本层流来提供半分辨率。在支持规范B的接收机中,识别增强流,并且接收机将与基本层组合以提供全分辨率服务。
图48例示了使用SDT被添加以用信号通知3DTV服务的Service_type。
图49例示了传统组件描述符的句法。
并且,图50例示了指示DVB广播系统中的全分辨率3D立体服务的stream_content和component_type的定义和描述。
为DVB服务配置的各个基本流通过在SDT的描述符中添加组件描述符来用信号通知。在本发明中,stream_content和component_type如图50所示来定义以分离3D互补视频,以提供全分辨率3D立体服务。对于MPEG-2视频,指示流的类型的流类型被定义为0x01,对于H.264视频,它被定义为0x05。
图51例示了根据本发明的实施方式的包括在SDT中的3D互补视频描述符的句法结构。
3D_complementary_video_descriptor_SDT位于SDT中的descriptors_loop_length字段的描述符中,并且包括关于3D互补基本流的信息。各个字段的含义与如图36所示的3D_complementary_video_descriptor_VCT相同。codec_type可被SDT中的组件描述符内的stream_content和component_type字段代替,在这种情况下,它也可从3D互补视频描述符省略。
另外,component_tag可用于指示与PMT的ES_loop的ES和组件描述符的关系。
将说明通过TVCT接收3D互补视频描述符的接收机操作处理。
首先,利用TVCT的service_type确定对应虚拟信道是否提供全分辨率立体3DTV服务。另外,支持规范B的接收机能够利用与半分辨率立体3DTV服务相同的service_type来通过3D互补视频描述符的存在确定是否提供全分辨率立体3DTV服务。
接下来,如果提供全分辨率立体3DTV服务,则利用立体格式描述符接收3D立体基本视频组件的elementary_PID信息(PID_B)。
然后,利用3D互补视频描述符接收关于互补视频组件的基本PID信息(PID_C)。
与PID_B对应的基本视频被解码,然后,与PID_C对应的互补视频信号被解码。
通过利用包括在3D互补视频描述符中的complementary_type、left_image_first_flag和complementary_first_flag组合基本视频和互补视频信号来获取全分辨率的左图像和右图像。然后,将左图像和右图像输出给全分辨率立体显示器以向用户提供3D显示。
图52例示了根据本发明的实施方式的如何通过PMT接收3D互补视频描述符。
首先,从自PMT用信号通知的基本流标识与规范A对应的流。接下来,从自PMT用信号通知的基本流标识互补视频流。利用program_number字段以及通过TVCT提供的信息执行映射。然后,随互补视频信号的解码对基本视频进行解码。
然后,利用左图像和右图像获取全分辨率。最后,全分辨率立体显示作为3D被显示给用户。
图53例示了通过解析3D信号输出立体视频信号的流程处理。下面说明该处理。
获取第一SDT,并且对TS分组进行滤波。然后,获取关于对应服务的PMT信息。通过检查SDT内的服务循环,获取并存储规范B3D服务类型信息。获取并存储与服务对应的PMT信息。通过链接描述符确定规范A和规范B信息。使用规范B的PMT信息来确定互补视频流的PID信息。
如果接收机能够接收规范B,则选择提供规范B3D视频的service_id,并且与互补视频流的传统A/V流和PID滤波一起,执行对视频/音频的ES解码。然后,通过重构控制输出全分辨率3D视频,并且利用互补视频描述符信息执行3D视频输出的转换。
如果接收机能够接收规范A,则选择由规范A中包括的帧兼容视频提供的service_id。然后,对A/V流执行视频/音频ES解码和PID滤波。最后,输出半分辨率3D视频。
图54详细例示了扩展用于链接规范A事件和规范B事件的事件链接的处理。在传统SD事件和HD事件中,没有提供关于目标事件服务类型的单独的信息。通过扩展target_event类型,现在能够区分2DHD、半分辨率3D、全分辨率3D。并且基于它,现在在半分辨率3D事件与全分辨率3D事件之间存在链接。
图55例示了3D_complementary_video_descriptor的位置在event_information_table_section()中以提供对ATSCPSIPEIT的全分辨率3DTV服务指南。
descriptor()在for循环内以指示全分辨率3DTV服务对于各个节目和事件是否可用。
图56指示组件描述符或3D_complementary_video_descriptor在DVBSIEIT的event_information_section()的for循环内的位置。
如上所述,在ATSC传输中,3D_Complementary_video_descriptor_TVCT被包括在EIT中以用信号通知全分辨率3DTV,并且对于DVB,除了ATSC的相同方法以外,还利用组件描述符。
图57例示了解析并渲染ATSCPSIPEIT的3D互补视频描述符的处理,图58例示了DVBSIEIT的处理。
对于ATSCPSIPEIT,对PID值为0x1FFB的TS分组执行滤波。然后,解析tableid等于0xC7和0xC8的区段数据。然后,获取关于具有来自MGT的EIT的流的PID的信息。然后,对来自获取的EITPID的TS分组进行滤波。获取关于使用EIT中的各个事件的3D互补视频描述符的各个VC事件的3D互补视频的信息。
然后,指示关于广播指南信息的全分辨率3D服务的可用性以观看3D广播事件的全分辨率模式。接下来,获取使用TVCT中的SLD的基本A/V流的PID的信息。通过3D互补视频描述符从EIT获取3D互补视频的信息。接下来,还执行基本A/V流的滤波PID以及ES解码视频/音频。
最后,利用互补视频描述符信息通过输出格式化器的转换和全分辨率3D视频的重构控制执行全分辨率3D视频的输出。
图58示出了解析并渲染DVBSIEIT的3D互补视频描述符的处理。
首先,针对PID值0x0011对TS分组进行滤波。然后,解析具有table_id=0x42的区段数据。具有PID0x0012的TS分组被滤波,并且具有table_id=0x4E的区段数据被解析。ATSC与DVB之间的差异在于,在DVB中,3D互补视频描述符或组件描述符可用于确定3D互补视频流的存在。
图59例示了具有3D视频解码器的广播接收机的框图。
两个层中的视频流通过下一代广播接收机,基本层视频流在主视频解码器中解码。
增强层视频流在辅视频解码器中解码。另外,PSI/PSIP/SI处理器从下一代ATSC规范和DVB规范解析3D立体信息,其中PMT/TVCT/SDT包含新信令句法以支持3D服务。并且,下一代接收机可根据3DTV或3D显示器的种类将全分辨率3D视频格式转换为特定立体格式。
图60是例示了根据本发明的实施方式的3D服务2.0(规范B)的概念的示图。
根据该附图的实施方式,提供全分辨率图像的3D服务C10000将被称作3D服务2.0(规范B)和/或3D服务2B。下面,提供半分辨率图像的3D服务1.0C10010将被称作帧兼容3D服务(FC-3D服务)、3D服务1.0(规范A)和/或3D服务1A。
3D服务1.0(规范A)C10010可用作半分辨率左图像和半分辨率右图像。提供全分辨率图像的3D服务2.0(规范B)C10020需要与3D服务1.0(规范A)C10010兼容,因此可使用维持3D服务1.0(规范A)C10010的图像的传输并且提供差数据或附加数据以用于发送全分辨率图像的方法,而非重新发送全分辨率图像。更详细地讲,3D服务2.0(规范B)C10020的互补视频元素可被添加到3D服务1.0(规范A)C10010的半分辨率视频元素以提供全分辨率3D服务C10000。结果,可支持3D服务1.0(规范A)的广播接收机可接收并处理3D服务1.0(规范A)C10010的数据以提供半分辨率图像,可支持3D服务2.0(规范B)的广播接收机可接收并处理3D服务1.0(规范A)C10010的数据和3D服务2.0(规范B)的互补数据以提供全分辨率图像。
图61是例示了根据本发明的实施方式的用信号通知3D服务2.0(规范B)的方法的示图。
用信号通知3D服务2.0(规范B)的信令信息可在系统层面和/或视频层面定义。
当在系统层面定义信令信息时,信息中的信令可被包括在PSI、ATSC-PSIP和/或DVB-SI中。根据本发明的实施方式,PSI表可包括PAT和/或PMT。另外,DVBSI表可包括NIT、SDT和/或EIT。另外,ATSCPSIP表可包括VCT、STT、RRT、ETT、DCCT、DDCSCT、EIT和/或MGT。PSI表、DVBSI表和/或ATSCPSIP表与以上描述相同,因此其描述将用以上描述来代替。下文中,将针对在PSI表和/或DVBSI表中定义信令信息的情况描述本发明。
当在视频层面定义信令信息时,信令信息可被包括在视频ES的头中。当利用MPEG-2或MPEG-4视频编码方案对视频数据进行编码时,信令信息可被包括在用户数据和画面扩展的user_data()13010中。当利用H.264/AVC或H.265/HEVC视频编码方案对视频数据进行编码时,信令信息可被包括在补充增强信息(SEI)消息中。除了ATSC传输过程以外,视频层面的信令信息的定义也可按照相同的方式应用于DVB传输过程。下文中,将就利用H.264/AVC视频编码方案对视频数据进行编码的情况描述信令信息。
信令信息可包括服务描述符、基本层的组件描述符和/或增强层的组件描述符。下面将详细描述服务描述符、基本层的组件描述符和/或增强层的组件描述符。
下文中,就以MPEG和/或DVB标准用信号通知3D服务2.0(规范B)的方法来描述本发明。
参照附图,用信号通知3D服务2.0(规范B)的信令信息可以是包括在PMT、视频ES、字幕、SDT和/或EIT中的至少一个中的描述符和/或字段。
PMT可包括AVC_video_descriptor和/或字幕描述符。另外,各个视频ES可包括SEI消息,字幕可包括视差信息和/或视差信令片段(DSS)。另外,SDT可包括服务描述符和/或组件描述符。EIT可包括扩展事件链接、组件描述符、内容描述符和/或视频深度范围描述符。下面将详细描述信令信息。
可支持3D服务1.0(规范A)的接收机可基于信令信息接收并处理基本层的基本视频数据和/或3D视频信息以提供半分辨率3D图像。另外,可支持3D服务2.0(规范B)的接收机可基于信令信息接收并处理增强层的互补视频数据和/或3D互补视频信息以及基本层的基本视频数据和/或3D视频信息以提供全分辨率3D图像。
根据本发明的实施方式的提供基本视频数据、3D视频信息、互补视频数据、3D互补视频信息和/或3DTV服务的详细方法与以上描述相同,因此其详细描述将用以上描述代替。
下文中,将详细描述信令信息。
信令信息可包括AVC_video_descriptor。
AVC_video_descriptor可包括用于标识相关AVC视频流的编码参数的基本信息,例如包括在AVC视频流的序列参数集(SPS)中的类(profile)和/或级(level)参数。AVC_video_descriptor可被包括在针对用于传输3D服务的传输流的PMT中的各个基本流条目的描述符循环中。SPS是头信息,其包括关于总序列的编码的信息,例如类和/或级。
AVC_video_descriptor可包括descriptor_tag字段、descriptor_length字段、profile_idc字段、constraint_set0_flag字段、constraint_set1_flag字段、constraint_set2_flag字段、AVC_compatible_flags字段、level_idc字段、AVC_still_present字段、AVC_24_hour_picture_flag字段和/或保留字段。
descriptor_tag字段可包括用于标识AVC_video_descriptor的信息。
descriptor_length字段可包括指示AVC_video_descriptor的大小的信息。
profile_idc字段可指示比特流所基于的类。例如,类可包括基线类、主类和/或扩展类。
constraint_set0_flag字段可指示数据是否可被解码为基线类。
constraint_set1_flag字段可指示数据是否可被解码为主类。
constraint_set2_flag字段可指示数据是否可被解码为扩展类。
AVC_compatible_flags字段可以是具有值“0”的5比特数据。解码器可无视这5比特。
level_idc字段可指示比特率的级。在各个类中,根据图像的大小来确定级。所述级定义了根据对应图像的大小的参数限制。level_idc字段可包括五个级及其中间级。
AVC_still_present字段可指示AVC视频流是否包括AVC静止画面。AVC静止画面可包括包含IDR画面的AVC访问单元。IDR画面可位于序列参数集(SPS)NAL单元和/或画面参数集(PPS)NAL单元之后,用于传输足够的信息以用于准确地解码IDR画面。
AVC_24_hour_picture_flag字段可指示相关的AVC视频流是否包括AVC24小时画面。AVC24小时画面是指包括未来24小时或更长的呈现时间的AVC访问单元。
AVC_video_descriptor还可包括Frame_Packing_SEI_not_present_flag字段。
Frame_Packing_SEI_not_present_flag字段可指示编码的视频序列(或视频ES)中是否存在帧封装布置SEI消息。Frame_Packing_SEI_not_present_flag字段可指示视频序列是3DTV视频格式还是HDTV视频格式。
例如,在3D视频格式的传输期间,Frame_Packing_SEI_not_present_flag字段可被设定为”0”以便用信号通知编码的视频序列中存在帧封装布置SEI消息。另外,在HDTV视频格式的传输期间,Frame_Packing_SEI_not_present_flag字段可被设定为”0”以便用信号通知编码的视频序列中存在帧封装布置SEI消息。
另外,当仅使用HDTV视频格式或者将不发生向3D视频格式的格式转变和/或没有发生向3D视频格式的格式转变时,Frame_Packing_SEI_not_present_flag字段可被设定为“1”以便用信号通知编码的视频序列中不存在帧封装布置SEI消息。
在基本层流中,接收机可基于信令信息处理基本视频数据。
在增强层流中,当PMT的stream_type字段的值为“0x20”时,增强层的视频流可由“AVC视频流的MVC视频子比特流”表示。接收机可基于AVC_video_descriptor的Frame_Packing_SEI_not_present_flag字段标识比特流中是否存在帧封装布置SEI消息。
另外,信令信息可包括服务描述符。
服务描述符是用于说明服务类型、服务提供商和/或服务名称的描述符。服务描述符可被包括在PMT、SDT和/或EIT中。
服务描述符可包括descriptor_tag字段、descriptor_length字段、service_type字段、service_provider_name_length字段、指示服务提供商的名称的char字段、service_name_length字段和/或指示服务名称的char字段。服务描述符的详细描述将由以上描述代替。
service_type字段可指示服务类型。针对服务的service_type的分配的详细描述将由以上描述代替。
另外,当service_type字段的值为“0x0B”时,service_type字段可指示“高级编解码马赛克服务”和/或“H.264/AVC马赛克服务”。当service_type字段的值为“0x16”时,service_type字段可指示“高级编解码SD数字电视服务”和/或“H.264/AVCSD数字电视服务”。当service_type字段的值为“0x17”时,service_type字段可指示“高级编解码SDNVOD时移服务”和/或“H.264/AVCSDNVOD时移服务”。当service_type字段的值为“0x18”时,service_type字段可指示“高级编解码SDNVOD参考服务”和/或“H.264/AVCSDNVOD参考服务”。当service_type字段的值为“0x19”时,service_type字段可指示“高级编解码HD数字电视服务”和/或“H.264/AVCHD数字电视服务”。当service_type字段的值为“0x1A”时,service_type字段可指示“高级编解码HDNVOD时移服务”和/或“H.264/AVCHDNVOD时移服务”。当service_type字段的值为“0x1B”时,service_type字段可指示“高级编解码HDNVOD参考服务”和/或“H.264/AVCHDNVOD参考服务”。
另外,当service_type字段的值为“0x1C”时,service_type字段可指示“高级编解码帧兼容平面立体HD数字电视服务”和/或“H.264/AVC帧兼容平面立体HD数字电视服务”。当service_type字段的值为“0x1D”时,service_type字段可指示“高级编解码帧兼容平面立体HDNVOD时移服务”和/或“H.264/AVC帧兼容平面立体HDNVOD时移服务”。当service_type字段的值为“0x1E”时,service_type字段可指示“高级编解码帧兼容平面立体HDNVOD参考服务”和/或“H.264/AVC帧兼容平面立体HDNVOD参考服务”。
当service_type字段的值为“0x1C”、“0x1D”和/或“0x1E”中的一个时,service_type字段可指示“H.264/AVC帧兼容HD”服务。当基本视频数据和/或增强视频数据的service_type字段的值为“0x1C”、“0x1D”和/或“0x1E”中的一个时,接收机可将对应视频服务确定为“H.264/AVC帧兼容HD”。
另外,信令信息可包括content_descriptor。
content_descriptor可提供事件的分类信息。content_descriptor可被包括在EIT和/或SIT中。将更详细地描述content_descriptor。
另外,信令信息可包括帧封装布置SEI消息。
3D服务2.0(规范B)可提供用于2D事件和3D事件之间的动态转变的信令。编码的视频流可包括帧封装布置(FPA)补充增强信息(SEI)消息以便用信号通知3D服务2.0(规范B)。除了3DTV视频格式的视频流的传输时间以外,用于在3DTV视频格式和HDTV视频格式(例如,非3DTV格式)之间切换的3D服务还可在HDTV视频格式的视频流的传输时间期间包括帧封装布置SEI消息。
帧封装布置SEI消息可包括用信号通知3D服务2.0(规范B)的信息。例如,帧封装布置SEI消息可包括诸如Frame_packing_arrangement_cancel_flag字段和3D服务2.0(规范B)视频流的格式的其它特征信息项。
Frame_packing_arrangement_cancel_flag字段可指示视频流是3D视频格式还是HDTV视频格式。
例如,当Frame_packing_arrangement_cancel_flag字段的值为“0”时,Frame_packing_arrangement_cancel_flag字段可指示使用3D视频格式,对应描述符的其它字段可用信号通知3D视频流的格式和/或其它特征。
当Frame_packing_arrangement_cancel_flag字段的值为“1”时,Frame_packing_arrangement_cancel_flag字段可指示使用HDTV视频格式(即,非3D视频格式)。例如,当Frame_packing_arrangement_cancel_flag字段的值为“1”时,Frame_packing_arrangement_cancel_flag字段可指示使用HDTV视频格式。
接收机可基于帧封装布置SEI消息重新布置样本,并且处理配置帧(左图像和/或右图像)的样本以适当地显示。
帧封装布置SEI消息可不存在于增强层流中,可仅存在于基本层流中。
然而,帧封装布置SEI消息可包括被包括在上述3D服务描述符中的字段和/或被包括在上述3D互补视频信息中的字段。3D服务描述符可包括关于基本视频数据的信令信息。3D互补视频信息可包括关于增强视频数据的信令信息。3D服务描述符和/或3D互补视频信息与以上描述相同,因此其描述将由以上描述代替。
下文中,将描述与字幕关联的信令信息。
接收机可显示诸如字幕和/或图形的附加内容以不被3D图像隐藏。除了SDTV和/或HDTV以外,字幕是3D服务的重要元素。在深度和定时条件下将字幕与同屏图形一起准确地定位在3D视频内容上非常重要。
首先,信令信息可包括视差信令片段(DSS)。
DSS可包括区域中的子区域的定义。DSS可被包括在字幕中。
其次,信令信息可包括关于DVB字幕的信息。当组件描述符中的stream_content字段的值为“0x03”时,信令信息可根据component_type字段的值包括关于DVB字幕的信息。
第三,信令信息可包括字幕描述符。
字幕描述符可包括关于DVB字幕的信息。字幕描述符可被包括在PMT中。
第四,信令信息可包括视差信息。视差信息指示对象距离屏幕有多近或者对象距离屏幕有多远。视差信息可被包括在字幕中。
第五,信令信息可包括视频深度范围描述符。为了优化显示在3D视频的上端的图形(例如,文本和/或图标)的布置,视频深度范围描述符可指示3D视频的预期深度范围。
第六,信令信息可包括多区域视差。多区域视差提供视频层面的视差信息。
下面将详细描述视差信令片段(DSS)、关于DVB字幕的信息、字幕描述符、视差信息、视频深度范围描述符和/或多区域视差。
图62是根据本发明的实施方式的组件描述符的stream_content字段和/或component_type字段的示图。
信令信息可包括组件描述符。
组件描述符可用于标识组件流的类型并且提供基本流的文本描述。组件描述符可被包括在SDT和/或EIT中。即,组件描述符可被定义成SDT的描述符以确定对应服务是否提供3DTV服务,组件描述可被定义成EIT的描述符以确定对应事件是否提供3DTV。
组件描述符可包括descriptor_tag字段、descriptor_length字段、reserved_future_use字段、stream_content字段、component_type字段、component_tag字段、ISO_639_language_code字段和/或text_char字段。组件描述符的详细描述将由以上描述代替。
组件流的类型可包括至少一个参数。例如,参数可包括比特率信息、视频流的编解码器信息、类信息、分辨率信息、宽高比信息、帧频信息、图像格式信息和/或位深信息。
当stream_content字段为“0x01”时,stream_content字段可指示MPEG-2视频。在这种情况下,当component_type字段为“0x11”时,component_type字段可指示25Hz的帧兼容3D视频,当component_type字段为“0x12”时,component_type字段可指示30Hz的帧兼容3D视频。
当stream_content字段为“0x05”时,stream_content字段指示H.264/AVC标清(SD)视频。在这种情况下,当component_type字段为“0x11”时,component_type字段指示25Hz的帧兼容3D视频,当component_type字段为“0x12”时,component_type字段可指示30Hz的帧兼容3D视频。
当stream_content字段为“0x03”并且component_type字段为“0x14”时,这可指示用于显示在3D监视器上的DVB字幕(正常),当stream_content字段为“0x03”并且component_type字段为“0x24”时,这可指示用于显示在3D监视器上的DVB字幕(用于弱听者)。
参照附图,根据本发明的实施方式的组件描述符可包括3D服务2.0(规范B)所适用于的新的stream_content字段和/或component_type字段。
当基本层的stream_content字段为“0x05”并且component_type字段为“0x80”时,基本视频数据可指示H.264/AVC平面立体帧兼容高清视频、16:9宽高比、25Hz和/或并排。
当基本层的stream_content字段为“0x05”并且component_type字段为“0x81”时,基本视频数据可指示H.264/AVC平面立体帧兼容高清视频、16:9宽高比、25Hz和上下。
当基本层的stream_content字段为“0x05”并且component_type字段为“0x82”时,基本视频数据可指示H.264/AVC平面立体帧兼容高清视频、16:9宽高比、30Hz和并排。
当基本层的stream_content字段为“0x05”并且component_type字段为“0x83”时,基本视频数据可指示H.264/AVC立体帧兼容高清视频、16:9宽高比、30Hz和上下。
根据本发明的实施方式,当stream_content字段为“0x05”时,stream_content字段可包括用于增强层的新的component_type字段。在这种情况下,不管3D系统的类型如何,与基本层对应的增强层的stream_content字段和/或component_type字段可具有相同的值。然而,在一些实施方式中,stream_content字段和/或component_type字段可具有不同的值。
例如,当增强层的stream_content字段为“0x05”并且component_type字段为“0x85”时,增强视频数据可指示H.264/MVC相关视点和平面立体服务兼容视频。component_type字段的值可以不是固定的值,在一些实施方式中可以改变。例如,当增强层的stream_content字段为“0x05”并且component_type字段为“0x84”时,这也可指示H.264/MVC相关视点和平面立体服务兼容视频。
详细地讲,当增强层的stream_content字段为“0x05”并且component_type字段为“0x85”时,这可指示H.264/MVC相关视点平面立体服务兼容视频、25Hz和并排。当增强层的stream_content字段为“0x05”并且component_type字段为“0x85”时,这可指示H.264/MVC相关视点平面立体服务兼容视频、25Hz和上下。当增强层的stream_content字段为“0x05”并且component_type字段为“0x85”时,这可指示H.264/MVC相关视点平面立体服务兼容视频、30Hz和并排。另外,当增强层的stream_content字段为“0x05”并且component_type字段为“0x85”时,这可指示H.264/MVC相关视点平面立体服务兼容视频、30Hz和上下。
接收机可基于组件描述符的stream_content字段和/或component_type字段来标识视频流的类型。例如,当基本层的stream_content字段为“0x05”并且component_type字段为“0x80”时,这可指示基本视频数据的格式为帧兼容视频格式。当增强层的stream_content字段为“0x05”并且component_type字段为“0x85”时,这可指示增强视频数据的格式为帧兼容视频格式。在这种情况下,基本视频数据和/或增强视频数据的格式可以是并排和/或上下中的一个。
当基本视频数据和/或增强视频数据的格式为帧兼容视频格式时,这可指示3D服务2.0(规范B)。
图63是例示了根据本发明的实施方式的链接描述符的linkage_type字段和/或link_type字段的示图。
另外,信令信息可包括链接描述符。
链接描述符可指示当需要与SI系统中的特定实体关联的附加信息时可存在的服务。链接描述符可存在于需要用于提供附加信息的服务的对应表中。可利用链接描述符确定服务替换服务。在这方面,在当前进行的服务的运行状态为“不运行”状态时,接收机可自动选择对应替换服务。
例如,链接描述符可被包括在SDT和/或EIT中,接收机可基于链接描述符识别将在未来广播的与当前观看的特定2Dservice_id或特定2Devent_id对应的3D服务或事件。
链接描述符可包括descriptor_tag字段、descriptor_length字段、transport_stream_id字段、original_network_id字段、service_id字段、linkage_type字段、mobile_hand-over_info()字段、event_linkage_info()字段、extended_event_linkage_info()字段和/或private_data_byte字段。链接描述符的详细描述将由以上描述代替。
mobile_hand-over_info()字段可标识移动接收机切换的服务。当不再能够利用service_id接收实际服务时,可由接收机自动选择服务。
当两个事件按照相同的方式用信号通知时可使用event_linkage_info()字段。链接的事件可被同时播放或时移。当目标事件具有较高质量时,可设定event_simulcastfiled。
event_linkage_info()字段可包括target_event_id字段、target_listed字段、event_simulcast字段和/或保留字段。
target_event_id字段可包括用于标识与源事件对应的目标事件的event_id信息。源事件可以是对应linkage_descriptor所属于的事件,并且可以是根据对应linkage_descriptor的位置标识的事件。目标事件是根据对应linkage_descriptor来确定的事件,并且可以是经由根据original_network_id、transport_stream_id和/或service_id定义的服务发送的事件。
target_listed字段可指示根据original_network_id字段、transport_stream_id字段和/或service_id字段定义的服务是否被包括在对应TS中发送的SDT中。
event_simulcast字段可指示目标事件和源事件是否被同时播放。
extended_event_linkage_info()字段可用于按照相同的方式用信号通知至少一个事件。链接的事件可被同时播放或时移。
extended_event_linkage_info()字段可包括loop_length和/或至少一个循环。各个循环可指示链接的事件。各个循环可包括target_event_id字段、target_listed字段、event_simulcast字段、link_type字段、target_id_type字段、original_network_id_flag字段、service_id_flag字段、user_defined_id字段、target_transport_stream_id字段、target_original_network_id字段和/或target_service_id字段。
loop_length字段可指示随后的循环的大小(以字节为单位)。
target_event_id可包括用于标识与源事件对应的目标事件的event_id信息。
target_listed字段可包括根据original_network_id字段、transport_stream_id字段和/或service_id字段定义的服务是否被包括在对应TS中发送的SDT中。
event_simulcast字段可指示目标事件和源事件是否被同时播放。
link_type字段可指示目标服务的类型。
参照附图,当linkage_type字段为“0x0E”并且link_type为“0”时,这可指示链接类型为“扩展事件链接”,目标服务的类型是标清视频(SD)。当linkage_type字段为“0x0E”并且link_type为“1”时,这可指示链接类型为“扩展事件链接”,目标服务的类型是高清视频(HD)。当linkage_type字段为“0x0E”并且link_type为“2”时,链接类型可为“扩展事件链接”,目标服务的类型可指示帧兼容平面立体H.264/AVC。另外,当linkage_type字段为“0x0E”并且link_type为“3”时,链接类型可指示“扩展事件链接”,目标服务的目标可指示服务兼容平面立体MVC。
target_id_type字段可与original_network_id_flag字段和/或service_id_flag字段一起标识目标服务。
当target_id_type字段为“0”时,这指示可使用transport_stream_id字段以便标识单个目标服务。当target_id_type字段为“1”时,这指示代替transport_stream_id字段,可使用target_transport_stream_id字段以便标识单个目标服务。当target_id_type字段为“2”时,这指示目标服务被包括在至少一个传输流中(通配TSid)。当target_id_type字段为“3”时,目标服务可由用户定义的标识符匹配。
original_network_id_flag字段可指示是否代替original_network_id字段使用target_original_network_id字段以便确定目标服务。
service_id_flag字段可指示是否代替service_id使用target_service_id以便确定目标服务。
当使用user_defined_id字段时,链接描述符可被包括在私有数据指定描述符的范围内。因此,接收机可确定user_defined_id字段的含义。
target_transport_stream_id字段可在target_id_type字段、original_network_id_flag字段和/或service_id_flag字段的控制下标识包括所指示的信息服务的替代TS。
target_original_network_id可在target_id_type字段、original_network_id_flag字段和/或service_id_flag字段的控制下包括包含所指示的信息服务的替代始发传送系统的network_id信息。
target_service_id可在target_id_type字段、original_network_id_flag字段和/或service_id_flag字段的控制下标识所指示的替代信息服务。
下面将描述根据本发明的实施方式的使用链接描述符通知3D服务2.0(规范B)的方法。
首先,当linkage_type字段为“0x05”时,链接类型可指示“服务替换服务”。另外,private_data_byte区域中的替换类型可被确定为3D服务2.0(规范B)。
其次,当通过EIT发送链接描述符时,这可指示linkage_type为“0x0D”并且链接类型可指示“事件链接”。接收机可通过EIT利用关于target_event_id的3D服务描述符或组件描述符来用信号通知对应3D服务2.0(规范B)。
第三,当通过EIT发送链接描述符时,这可指示linkage_type为“0x0E”并且链接类型为“扩展事件链接”。当link_type为“2”时,目标服务的类型可指示帧兼容平面立体H.264/AVC。当linkage_type字段为“0x0E”并且link_type字段为“2”时,这可指示3D服务2.0(规范B)。因此,接收机可基于linkage_type字段和/或link_type字段来用信号通知3D服务2.0(规范B)。另外,接收机可通过EIT利用关于target_event_id的3D服务描述符或组件描述符来用信号通知对应3D服务2.0(规范B)。
第四,可为linkage_type字段确定新值“0x0F”,并且对应描述可被确定为“3D服务2.0(规范B)”。
第五,当linkage_type字段为“0x05”时,链接类型可指示“服务替换服务”。关于目标服务的service_type,接收机可直接解析关于服务的SDT、EIT等以用信号通知3D服务2.0(规范B)。基于该方法,接收机可搜索与3D对应的2D服务。
图64是根据本发明的实施方式的接收机的框图。
根据本发明的实施方式的接收机可包括上述3D图像显示设备和/或广播接收机的功能。
参照附图,根据本发明的实施方式的接收机包括接收单元C10210、解调器C10220、解复用器C10230、信令信息处理器C10240、3D视频解码器C10250和/或输出格式化器C10260。
接收单元C10210通过射频(RF)信道接收广播信号。
解调器C10220将所接收到的广播信号解调。
解复用器C10230从解调的信号解复用音频数据、视频数据和/或信令信息。为此,解复用器C10230可利用分组标识符(PID)经由滤波来将广播信号解复用。解复用器C10230将解复用的视频信号输出给下游装置的3D视频解码器C10250,并且将信令信息输出给信令信息处理器C10240。这里,信令信息可包括诸如上述PSI、ATSC-PSIP和/或DVB-SI的系统信息。
信令信息处理器C10240可处理从解复用器C10230发送来的信令信息。这里,信令信息处理器C10240可包括用于临时存储待处理的信令信息的数据库(DB),其在信令信息处理器C10240的内部或外部。
信令信息处理器C10240可处理信令信息以用于用信号通知上述3D服务2.0(规范B)。例如,信令信息可包括用于标识是否提供3D服务的信息、用于提供基本视频数据的详细信息的3D服务信息(3D服务描述符)、和/或用于提供关于增强视频数据的详细信息的3D互补视频信息。用于标识是否提供3D服务的信息可包括用于标识内容是2D还是3D的信息以及用于标识内容是3D服务1.0(规范A)还是3D服务2.0(规范B)的信息。
3D视频解码器C10250接收并解码解复用的视频数据。例如,3D视频解码器C10250可基于信令信息将视频数据解码。3D视频解码器C10250可包括用于对基本视频数据解码的基本视频解码器C10252和/或用于对增强视频数据解码的增强视频解码器C10254。
输出格式化器C10260根据输出格式将3D视频解码器C10250所解码的3D视频数据项格式化,并且将3D视频数据项输出给输出单元(未示出)。这里,当解码的视频数据是3D视频数据时,输出格式化器C10260可根据用于3D输出的输出格式将视频数据格式化。当解码的视频数据是2D视频数据时,输出格式化器C10260可根据用于2D输出的输出格式来输出视频数据,而无需单独地处理视频数据。
下文中,将描述通过根据本发明的实施方式的接收机处理广播信号的方法。
解复用器C10230从所接收到的广播信号对SDT和/或EIT区段进行滤波和解析。这里,如上所述,解复用器可经由PID滤波来对SDT和/或EIT区段进行滤波。
信令信息处理器C10240在解析的SDT和/或EIT的服务循环中获取并存储关于3D服务1.0(规范A)类型的服务的信息。然后,信令信息处理器获取并存储关于3D服务1.0(规范A)的PMT信息。
另外,信令信息处理器C10240在解析的SDT和/或EIT的服务循环中获取并存储关于3D服务2.0(规范B)类型的服务的信息。即,信令信息处理器获取并存储关于3D服务2.0(规范B)的PMT信息。
信令信息处理器C10240可利用关于3D服务1.0(规范A)的PMT信息和/或关于3D服务2.0(规范B)的PMT信息来获取关于基本视频流的PID信息和/或关于增强视频流的PID信息。
接收机的操作可根据服务类型分成三个分支。
首先,下面将描述2D服务。
接收机选择用于提供2D视频(基本视点视频)的service_id。具有该service_id的信道可以是例如传统信道。
3D视频解码器C10250对与2D数据对应的视频流执行PID滤波和视频ES解码。然后,接收机通过输出单元输出解码的2D视频。
接下来,下面将描述3D服务1.0(规范A)。
接收机选择用于提供3D服务1.0(规范A)的service_id。在这种情况下,该service_id的service_type可以是例如半分辨率3D服务。
3D视频解码器C10250对基本层的基本视频流执行PID滤波和视频ES解码。
输出格式化器C10260基于信令信息和/或3D服务描述符根据输出格式将3D视频数据项格式化,并且将3D视频数据项输出给输出单元(未示出)。
接收机通过输出单元在屏幕上输出半分辨率3D视频。
最后,下面将描述3D服务2.0(规范B)。
接收机选择用于提供3D服务2.0(规范B)的service_id。在这种情况下,该service_id的service_type可以是例如全分辨率3D服务。
3D视频解码器C10250对基本层的基本视频流执行PID滤波和视频ES解码。另外,3D视频解码器C10250对增强层的增强视频流执行PID滤波和视频ES解码。
输出格式化器C10260根据输出格式基于信令信息、3D服务信息和/或3D互补视频信息将3D视频数据项格式化,并且将3D视频数据项输出给输出单元(未示出)。
接收机通过输出单元在屏幕上输出全分辨率3D视频。
信令信息处理器C10240可从信令信息解析链接描述符并利用解析的链接描述符的信息识别2D服务、3D服务1.0(规范A)和/或3D服务2.0(规范B)之间的链接信息。
图65是例示根据本发明的实施方式的3D服务3.0的概念的示图。
图65是例示根据本发明的实施方式的3D服务3.0C20000的概念的示图。
根据本发明的实施方式的3D服务3.0C20000用于具体实现用于发送和/或接收利用H.265/高效视频编码(HEVC)编码方案编码的视频流的广播信号的功能。
3D服务3.0C20000指示关于利用H.265/高效视频编码(HEVC)编码方案编码的服务(例如,视频流、视频数据等)的服务帧兼容3D服务(用于HEVC编码服务和SFC3DTV服务的服务帧兼容平面立体3DTV)。
SFC-3D服务是选择性地向视频比特流发送信令信息的帧兼容服务(FC-3D服务)。信令信息可包括用于从包括在FC-3D服务的视频流中的两个图像(例如,左图像和右图像)中提取任一个(例如,左图像)的控制信息。另外,信令信息可包括用于上调所提取的图像以便模拟HDTV服务的接收的控制信息。HDTV接收机可基于信令信息从包括在FC-3D服务的视频流中的两个图像(例如,左图像和右图像)提取任一个(例如,左图像),并且上调所提取的图像以便模拟HDTV服务的接收。
SFC-3D服务与HDTV服务的不同之处在于,3D服务的视频组件是帧兼容视频格式比特流。
除了视频层的信令信息以外,SFC-3D服务的视频比特流遵循HDTV服务的视频格式的要求。
3DTV服务(或3D服务)是指用于发送3DTV事件的DVB服务。可通过指示“HEVC数字电视服务”的service_type字段(将在下面描述)来用信号通知SFC-3D服务。SFC-3D事件(或SFC-3DTV事件)是包括SFC-3D格式的视频流的DVB服务事件。
信令信息可包括SFC-3D服务的HD视频编码参数(例如,编解码器/类、分辨率和/或帧频)。信令信息可包括用信号通知3D服务(或3DTV服务)的视频格式转变以在3DTV模式与HDTV模式之间切换的信息。
传统事件链接服务信息可被扩展以便允许更高数量的便利事件链接信令情境以及增强数量的其它服务类型。
下文中,服务帧兼容3DTV服务可通过SFC-3DTV服务和/或SFC-3D服务来表示。SFC-3D服务可包括服务兼容3D服务和帧兼容3D服务。
帧兼容3D服务(FC-3D服务)是空间复用并布置被包括在视频内容中的左图像C20010和右图像C20020的服务。因此,支持帧兼容3D服务的3D接收机可基于所接收到的左图像C20010和右图像C20020来显示3D图像。然而,不支持帧兼容3D服务的传统2D接收机可将所接收到的左图像C20010和右图像C20020二者像一般2D图像(HDTV图像)一样输出在一个画面上。
服务兼容3D服务(SC-3D服务)是布置并发送左图像C20010和右图像C20020以由传统2D接收机从帧兼容3D服务提取视频内容的2D版本的服务(例如,HDTV)。
SFC-3D服务和传统HDTV服务可被复用到一个MPEG-2传输流并被发送给接收机。用于SFC-3D服务的传输系统也可应用于使用DVBMPEG-2传输流的任何广播和/或传送信道以便发送DVB服务。
在根据本发明的实施方式的SFC-3D服务中,服务提供商还可将用于显示3D图像的视频流提供给传统2D接收机(例如,HDTV基础设施)。传统2D接收机可接收利用H.265/高效视频编码(HEVC)编码方案编码的视频流,并且从包括在所接收到的视频流中的左图像C20010和右图像C20020提取一个。然后,传统2D接收机可上调所提取的一个图像(例如,左图像C20010)并且显示2D图像(例如,HDTV)。
3D接收机可接收利用H.265/高效视频编码(EVC)编码方案编码的视频流,并且确定所接收到的视频流是作为2D图像还是3D图像输出。当视频流作为2D图像输出时,如上所述,可从包括在所接收到的视频流中的左图像C20010和右图像C20020提取一个图像。然后,3D接收机可上调所提取的一个图像并且显示2D图像(例如,HDTV)。当视频流作为3D图像输出时,包括在所接收到的视频流中的左图像C20010和右图像C20020可被格式化,并且可显示3D图像。
另外,3D接收机可接收利用H.265/高效视频编码(HEVC)编码方案编码的2D视频流和3D视频流,并且可基于视频流之间的相关信息(例如,相关信息可被包括在信令信息中)选择性地切换并输出关于视频内容的2D图像和3D图像。
为了提供上述SFC-3D服务,根据本发明的实施方式的SFC-3D服务可提供信令信息。下文中,下面将详细描述用信号通知SFC-3D服务的信令信息。
图66是例示了根据本发明的实施方式的用信号通知SFC-3DTV服务的方法的示图。
该图例示了在DVB传输系统中用于传输SFC-3D服务的各种信令信息项。
用信号通知SFC-3D服务的信令信息可指示用于发送、接收和/或处理利用H.265/高效视频编码(HEVC)编码方案编码的视频流的任何控制信息。信令信息可指示用于发送、接收和/或处理利用H.265/高效视频编码(HEVC)编码方案编码的视频流的任何控制信息。
例如,信令信息可包括帧封装布置SEI消息、默认显示窗口(DDW)信息、AFD/条数据、HEVC_video_descriptor、content_descriptor、视差信令片段(DSS)、关于DVB字幕的信息、字幕描述符、视差信息、视频深度范围描述符、多区域视差、服务描述符、组件描述符和/或链接描述符中的至少一个。
用信号通知SFC-3D服务(3D服务3.0)的信令信息可被包括在视频流、传输层和/或字幕中的至少一个中。
当信令信息被包括在视频流中时,信令信息可被包括在视频ES中。当视频数据利用MPEG-2或MPEG-4视频编码方案编码时,信令信息可被包括在用户数据的画面扩展和user_data()13010中。当视频数据利用H.264/AVC或H.265/HEVC视频编码方案编码时,信令信息可被包括在补充增强信息(SEI)消息中。下文中,将就视频数据利用H.265/HEVC视频编码方案编码的情况来描述本发明。
当信令信息被包括在传输层中时,信令信息可被包括在PSI、ATSC-PSIP和/或DVB-SI中。PSI、ATSC-PSIP和/或DVB-SI的详细描述与以上描述相同,因此将由以上描述代替。下文中,将就信令数据被包括在PSI和/或DVB-SI中的情况来描述本发明。
当信令信息被包括在字幕中时,信令信息可包括视差信息,并且可随包括在PSI和/或DVB-SI中的其它信息项一起用信号通知字幕。
首先,信令信息可包括帧封装布置SEI消息。
SFC-3D服务的编码的视频流可包括帧封装布置SEI消息以便用信号通知FC-3D服务的视频组件的格式。当视频是SFC-3D服务的格式时,SFC-3D服务的编码流可包括针对所有视频帧的帧封装布置SEI消息。
帧封装布置SEI消息可包括用于标识是否使用帧兼容视频格式的Frame_packing_arrangement_cancel_flag字段。另外,帧封装布置SEI消息可包括3D视频流的格式和/或用信号通知其它特征的信息。
例如,帧封装布置SEI消息可包括上述3D服务描述符中所包括的字段。3D服务描述符是包括关于视频数据的信令信息的描述符。3D服务描述符与以上描述中相同,因此其详细描述将用以上描述代替。
Frame_packing_arrangement_cancel_flag字段可指示视频流是3D视频格式还是HDTV视频格式。
例如,当Frame_packing_arrangement_cancel_flag字段的值为“0”时,Frame_packing_arrangement_cancel_flag字段可指示使用帧兼容视频格式。另外,帧封装布置SEI消息的其它字段可用信号通知3D视频流的格式和/或其它特征。
当Frame_packing_arrangement_cancel_flag字段的值为“1”时,Frame_packing_arrangement_cancel_flag字段可指示使用非3D视频格式。例如,当Frame_packing_arrangement_cancel_flag字段的值为“1”时,Frame_packing_arrangement_cancel_flag字段可指示使用HDTV视频格式。
用于在3DTV和非3DTV(例如,HDTV)之间切换的SFC-3D服务还可在传输HDTV格式的视频流期间发送帧封装布置SEI消息。
因此,接收机可基于帧封装布置SEI消息的Frame_packing_arrangement_cancel_flag字段来用信号通知SFC-3D服务。另外,接收机可基于帧封装布置SEI消息重新布置样本,并且处理配置帧(左图像和/或右图像)的样本以适当地显示。
下文中,将详细描述帧封装布置SEI消息。
根据本发明的实施方式,帧封装布置SEI消息可包括frame_packing_arrangement_id字段、frame_packing_arrangement_cancel_flag字段、frame_packing_arrangement_type字段、quincunx_sampling_flag字段、content_interpretation_type字段、spatial_flipping_flag字段、frame0_flipped_flag字段、field_views_flag字段、current_frame_is_frame0_flag字段、frame0_self_contained_flag字段、frame1_self_contained_flag字段、frame0_grid_position_x字段、frame0_grid_position_y字段、frame1_grid_position_x字段、frame1_grid_position_y字段、frame_packing_arrangement_reserved_byte字段、frame_packing_arrangement_repetition_period字段和/或frame_packing_arrangement_extension_flag字段。
frame_packing_arrangement_id字段可包括用于标识帧封装布置SEI消息的信息。
frame_packing_arrangement_cancel_flag字段可指示帧封装布置SEI消息是否从输出顺序取消先前帧封装布置SEI消息的持续。例如,当frame_packing_arrangement_cancel_flag字段的值为“0”时,帧封装布置信息可遵循先前帧封装布置信息。
frame_packing_arrangement_type字段可指示封装布置的类型。例如,封装布置的类型可包括棋盘格格式(frame_packing_arrangement_type=0)、列交织格式(frame_packing_arrangement_type=1)、行交织格式(frame_packing_arrangement_type=2)、并排格式(frame_packing_arrangement_type=3)、上下格式(frame_packing_arrangement_type=4)、帧顺序格式(frame_packing_arrangement_type=5)和2D格式(frame_packing_arrangement_type=6)。
quincunx_sampling_flag字段可指示各个配置帧(左图像和/或右图像)的颜色分量平面是否被梅花形采样。
content_interpretation_type字段可指示配置帧(左图像和/或右图像)的预期解释。例如,当content_interpretation_type字段的值为“0”时,content_interpretation_type字段可指示配置帧之间不存在相关性。当content_interpretation_type字段的值为“1”时,两个配置帧可分别指示立体视点场景的左图像和右图像,“帧0”可指示左图像,“帧1”可指示右图像。当content_interpretation_type字段的值为“2”时,两个配置帧可分别指示立体视点场景的左图像和右图像,“帧0”可指示右图像,“帧1”可指示左图像。
spatial_flipping_flag字段可指示左图像和右图像中的一个是否通过与原始预期的方向的比较而被空间上翻转。例如,在并排格式的情况下,当spatial_flipping_flag字段的值为“1”时,spatial_flipping_flag字段可指示左图像和右图像中的一个被水平翻转。在上下格式的情况下,当spatial_flipping_flag字段的值为“1”时,spatial_flipping_flag字段可指示左图像和右图像中的一个被垂直翻转。
当spatial_flipping_flag字段的值为“1”时,frame0_flipped_flag字段可指示两个配置帧(左图像和右图像)中的被翻转的配置帧。
field_views_flag字段可指示存在于当前编码的视频序列中的所有画面是否均被编码为互补场对。
在帧顺序格式(frame_packing_arrangement_type=5)的情况下,current_frame_is_frame0_flag字段可指示当前解码的帧是左图像还是右图像。例如,当current_frame_is_frame0_flag字段的值为“1”时,current_frame_is_frame0_flag字段可指示当前解码的帧是左图像,下一解码的帧是右图像。
frame0_self_contained_flag字段可指示是否执行在编码的视频序列的第一配置帧(例如,左图像)的样本的解码处理中参考第二配置帧(例如,右图像)的样本的帧间预测操作。
frame1_self_contained_flag字段可指示是否执行在编码的视频序列的第二配置帧(例如,右图像)的样本的解码处理中参考第一配置帧(例如,左图像)的样本的帧间预测操作。
frame0_grid_position_x字段指示第一配置帧(例如,左图像)的坐标对(x,y)的分量x。
frame0_grid_position_y字段指示第一配置帧(例如,左图像)的坐标对(x,y)的分量y。
frame1_grid_position_x字段指示第二配置帧(例如,右图像)的坐标对(x,y)的分量x。
frame1_grid_position_y字段指示第二配置帧(例如,右图像)的坐标对(x,y)的分量y。
frame_packing_arrangement_reserved_byte字段可以是为将来使用保留的字节。
frame_packing_arrangement_repetition_period字段可指示帧封装布置SEI消息的持续。另外,frame_packing_arrangement_repetition_period字段可指示帧顺序计数间隔。在帧顺序计数间隔或者编码的视频序列的最后部分中具有相同的frame_packing_arrangement_id的值的不同帧封装布置SEI消息可存在于比特流中。
frame_packing_arrangement_extension_flag字段可指示附加数据是否存在帧封装布置SEI消息。
另外,信令信息可包括默认显示窗口(DDW)信息。
DDW信息可包括用于从3D图像提取2D图像的信息。例如,DDW信息可包括用于从3D图像的左图像和右图像提取一个图像的信息。另外,DDW可包括与3D图像的左图像或右图像对应的坐标范围。DDW可被包括在SPS的视频可用性信息(VUI)中。
另外,信令信息可包括AFD/条数据。
AFD/条数据可包括用于从整个编码的视频区域提取有效区域的信息。例如,当发送机发送具有第一宽高比(例如,21:9)的视频内容,接收机处理第二宽高比(例如,16:9)的视频内容时,AFD/条数据可包括用于提取第二宽高比的信息。AFD/条数据可被包括在视频ES中。
另外,信令信息可包括HEVC_video_descriptor。
HEVC_video_descriptor可包括用于标识与HEVC视频流关联的编码参数的信息。
HEVC_video_descriptor可包括descriptor_tag字段、descriptor_length字段、profile_idc字段、reserved_zero_8bits字段、level_idc字段、temporal_layer_subset_flag字段、HEVC_still_present_flag字段、HEVC_24hr_picture_present_flag字段、temporal_id_min字段和/或temporal_id_max字段。
descriptor_tag字段可包括用于标识HEVC_video_descriptor的信息。
descriptor_length字段可包括指示HEVC_video_descriptor的大小的信息。
profile_idc字段可指示比特流所基于的类。例如,所述类可包括HEVC规范中所定义的主类、主10类和/或主静止画面类。
reserved_zero_8bits字段可包括紧随存在于根据HEVC规范的sequence_parameter_set之后的profile_idc字段之后的8比特信息。
level_idc字段可指示HEVC规范中定义的比特流的级。在各个类中,根据图像的大小来确定级。所述级定义了根据图像的大小的参数限制。level_idc字段可包括六个级及其中间级。
temporal_layer_subset_flag字段可指示用于描述时间层的子集的句法元素是否存在于HEVC_video_descriptor中。
HEVC_still_present_flag字段可指示HEVC视频流是否包括AVC静止画面。AVC静止画面可包括包含IDR画面的AVC访问单元。IDR画面可位于序列参数集(SPS)NAL单元和/或画面参数集(PPS)NAL单元之后,用于传输足够信息以用于准确地解码IDR画面。
HEVC_24hr_picture_present_flag字段可指示关联的HEVC视频流是否包括HEVC24小时画面。HEVC24小时画面是指包括未来24小时或更长的呈现时间的HEVC访问单元。
temporal_id_min字段指示存在于关联的视频ES中的NAL单元的头中所存在的temporal_id字段的最小值。
temporal_id_max字段指示存在于关联的视频ES中的NAL单元的头中所存在的temporal_id字段的最大值。
HEVC_video_descriptor还可包括non_packed_constraint_flag字段。
non_packed_constraint_flag字段可用信号通知帧封装布置SEI消息是否存在于视频流中。non_packed_constraint_flag字段可指示视频流是3DTV视频格式还是HDTV视频格式。
例如,在传输3D视频格式期间,non_packed_constraint_flag字段可被设定为“0”以便用信号通知帧封装布置SEI消息存在于编码的视频序列中。另外,在传输HDTV视频格式期间,non_packed_constraint_flag字段可被设定为“0”以便用信号通知帧封装布置SEI消息存在于编码的视频序列中。
另外,当仅使用HDTV视频格式,不安排发生向3D视频格式的格式转变,和/或从不发生向3D视频格式的格式转变时,non_packed_constraint_flag字段可被设定为“1”以便用信号通知帧封装布置SEI消息不存在于编码的视频序列中。
接收机可基于non_packed_constraint_flag字段标识比特流中是否存在帧封装布置SEI消息。
另外,信令信息可包括content_descriptor。
content_descriptor可提供事件的分类信息。content_descriptor可被包括在EIT和/或SIT中。
content_descriptor可包括descriptor_tag字段、descriptor_length字段和/或至少一个for循环。各个for循环可包括事件的分类信息。各个for循环可包括content_nibble_level_1字段、content_nibble_level_2字段和/或user_byte字段。
descriptor_tag字段可包括用于标识content_descriptor的信息。
descriptor_length字段可指示下一for循环的大小(以字节为单位)。
content_nibble_level_1字段可具有4比特,指示第一级的内容标识符。
content_nibble_level_2字段可具有4比特,指示第二级的内容标识符。第二级可以是第一级的详细字段。
user_byte字段可具有8比特,并且可由发送机定义。
content_nibble_level_1字段可具有“0x0”至“0xF”的值。当content_nibble_level_1字段为“0x0”时,第一级的内容分类信息可指示“未定义的内容”。另外,当content_nibble_level_1字段为“0x1”时,第一级的内容分类信息可指示“电影/戏剧”。当content_nibble_level_1字段为“0x2”时,第一级的内容分类信息可指示“新闻/时事”。当content_nibble_level_1字段为“0x3”时,第一级的内容分类信息可指示“演出/游戏节目”。当content_nibble_level_1字段为“0x4”时,第一级的内容分类信息可指示“体育”。当content_nibble_level_1字段为“0x5”时,第一级的内容分类信息可指示“儿童/青少年节目”。当content_nibble_level_1字段为“0x6”时,第一级的内容分类信息可指示“音乐/芭蕾/舞蹈”。当content_nibble_level_1字段为“0x7”时,第一级的内容分类信息可指示“艺术/文化(没有音乐)”。当content_nibble_level_1字段为“0x8”时,第一级的内容分类信息可指示“社会/政治问题/经济”。当content_nibble_level_1字段为“0x9”时,第一级的内容分类信息可指示“教育/科学/事实主题”。当content_nibble_level_1字段为“0xA”时,第一级的内容分类信息可指示“业余爱好”。当content_nibble_level_1字段为“0xB”时,第一级的内容分类信息可指示“特色”。当content_nibble_level_1字段为“0xC”至“0xE”时,第一级的内容分类信息可指示“保留供将来使用”。另外,当content_nibble_level_1字段为“0xF”时,第一级的内容分类信息可指示“用户定义”。
content_nibble_level_2字段可具有值“0x0”至“0xF”。content_nibble_level_2字段可针对各个content_nibble_level_1字段具有特定值,并且具有关于第一级的内容分类信息的更详细的分类信息。
例如,当content_nibble_level_1字段为“0xB”时,第一级的内容分类信息可指示“特色”,当content_nibble_level_2字段为“0x4”时,第二级的内容分类信息可指示“平面立体3DTV格式”。
因此,组件描述符的接收机可基于content_nibble_level_1字段和/或content_nibble_level_2字段标识视频流的分类信息。另外,接收机可基于组件描述符突出EPG中的支持3D服务的事件。
下文中,将描述与字幕关联的信令信息。
接收机可显示诸如字幕和/或图形的附加内容以不被3D图像隐藏。除了SDTV和/或HDTV以外,字幕是3D服务的重要元素。在深度和定时条件下将字幕与同屏图形一起准确地定位在3D视频内容上非常重要。
首先,信令信息可包括视差信令片段(DSS)。
DSS可包括区域中的子区域的定义。DSS可被包括在字幕中。
使得字幕能够被布置在页面和/或区域中的可变深度中的不同视差值可被发送给各个子区域。视差信息可随子像素精度信息一起发送。子像素精度信息可包括用于在3D场景中最佳地布置字幕的信息。
DSS可支持基于关于区域或子区域的视差值来布置3D内容的字幕。
其次,信令信息可包括关于DVB字幕的信息。
当组件描述符中的stream_content字段的值为“0x03”时,信令信息可根据component_type字段的值包括关于DVB字幕的信息。
例如,当stream_content字段的值为“0x03”并且component_type字段的值为“0x14”时,这可指示“用于显示在高清监视器上的DVB字幕(正常)”。另外,当stream_content字段的值为“0x03”并且component_type字段的值为“0x15”时,这可指示“用于显示在高清监视器上的具有平面立体视差的DVB字幕(正常)”。
第三,信令信息可包括字幕描述符。
字幕描述符可包括关于DVB字幕的信息。字幕描述符可被包括在PMT中。字幕描述符可被确定为PMT表中用于传输DVB字幕的分组的stream_type=0x06。
字幕描述符可包括ISO_639_language_code字段、subtitling_type字段、composition_page_id字段和/或ancillary_page_id字段。
ISO_639_language_code字段可指示由3词文本表示的语言。
subtitling_type字段可包括字幕的内容以及关于将要应用的显示器的信息。当component_descriptor的stream_content字段的值为“0x03”时,subtitling_type字段可指示为各个component_type字段定义的码。
composition_page_id字段可包括用于标识组合页的信息。
ancillary_page_id字段可包括用于标识辅助页的信息。
第四,信令信息可包括视差信息。
字幕可包括视差信息。视差信息指示对象距离屏幕有多近或者对象距离屏幕有多远。视差信息可被包括在视频深度范围描述符和/或多区域描述符中。
第五,信令信息可包括视频深度范围描述符。
为了优化显示在3D视频的上端的图形(例如,文本和/或图标)的布置,视频深度范围描述符可指示3D视频的预期深度范围。视频深度范围描述符按照服务和/或级提供视差信息。视差信息可在与对应服务和/或对应事件对应的时间周期内具有静态值。
视频深度范围描述符可包括range_type字段、range_length字段、production_disparity_hint_info()字段和/或range_selector_byte字段。
range_type字段指示深度范围的类型。当range_type字段的值为“0x00”时,深度范围的类型为“制造视差提示”,当range_type字段的值为“0x01”时,深度范围的类型可指示“存在多区域视差SEI”。当range_type字段的值为“0x01”时,range_type字段可指示视频ES中存在多区域视差SEI数据。在这种情况下,range_length字段的值可为“0”。
第六,信令信息可包括多区域视差。
多区域视差提供视频层面的视差信息。多区域视差可具有3D视频的所有帧和/或3D视频的各个帧的不同区域的动态值。
接收机可基于多区域视差针对附加信息(图形、菜单等)的叠加发送视差值的形状的深度信息。因此,接收机可避免3D视频(平面立体视频)与图形之间的深度干扰。
在各个帧中,可发送一个最大视差值。可根据一组预定义的图像分割图案来定义区域。在各个帧的各个区域中,可准确地发送一个最小视差值。
多区域视差可包括multi_region_disparity_length字段、max_disparity_in_picture字段和/或min_disparity_in_region_i字段。
multi_region_disparity_length字段可具有8比特,定义了multi_region_disparity()中紧随被定义为multi_region_disparity_length字段的值的字节之后的字节数。
multi_region_disparity_length字段可用信号通知区域图案的类型。multi_region_disparity_length字段可包括与预定义的图像分割图案对应的有限的一组值。各个图像分割图案可定义图像的多个区域。
例如,当multi_region_disparity_length字段的值为“0”时,multi_region_disparity_length字段可指示“无视差信息待传送”。当multi_region_disparity_length字段的值为“2”时,multi_region_disparity_length字段可指示“一个minimum_disparity_in_region被编码为表示总画面中的最小值”。当multi_region_disparity_length字段的值为“3”时,multi_region_disparity_length字段可指示“两个垂直minimum_disparity_in_region被编码”。当multi_region_disparity_length字段的值为“4”时,multi_region_disparity_length字段可指示“三个垂直minimum_disparity_in_region被编码”。当multi_region_disparity_length字段的值为“5”时,multi_region_disparity_length字段可指示“四个minimum_disparity_in_region被编码”。当multi_region_disparity_length字段的值为“10”时,multi_region_disparity_length字段可指示“九个minimum_disparity_in_region被编码”。当multi_region_disparity_length字段的值为“17”时,multi_region_disparity_length字段可指示“十六个minimum_disparity_in_region被编码”。
max_disparity_in_picture字段可定义画面中的最大视差值。
min_disparity_in_region_i字段可定义第i区域中的最小视差值。
图67是例示了根据本发明的实施方式的服务描述符的service_type字段的示图。
信令信息可包括服务描述符。
服务描述符是描述服务类型、服务提供商和/或服务名称的描述符。服务描述符可被包括在SDT和/或选择信息表(SIT)中。
服务描述符可包括descriptor_tag字段、descriptor_length字段、service_type字段、service_provider_name_length字段、指示服务提供商的名称的char字段、service_name_length字段和/或指示服务名称的char字段。服务描述符的详细描述将由以上描述代替。
service_type字段可描述服务类型。针对服务的service_type的分配的详细描述将由以上描述代替。
当service_type字段的值为“0x1F”时,服务类型(或者服务类型信息)可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容平面立体HD数字电视服务”。当service_type字段的值为“0x20”时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容平面立体HDNVOD时移服务”。当service_type字段的值为“0x21”时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容平面立体HDNVOD参考服务”。
service_type字段可用信号通知HEVC视频服务是否存在于广播信号(例如,MPEG-TS)中。例如,当service_type字段的值是“0x1F”、“0x20”和/或“0x21”中的一个时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容HD服务”。
这里,服务描述符可包括传统2D服务(2DHEVC)中所使用的service_type字段的值(service_type字段的值为“0x1F”)。
传统2D接收机可基于传统2D服务中所使用的service_type字段的值来处理视频数据并且显示2D图像。
根据本发明的实施方式的支持SFC-3D服务的接收机可基于重新定义的service_type字段的值来处理视频数据并且显示2D图像和/或3D图像。
接收机可基于service_type字段用信号通知HEVC视频服务是否存在于广播信号(例如,MPEG-TS)中。例如,当视频流的service_type字段的值为“0x1F”时,接收机可确定服务类型为“HEVC数字电视服务”和/或“H.265/HEVC帧兼容HD服务”。
另外,当视频流的service_type字段的值是“0x20”和/或“0x21”中的一个时,接收机可确定对应视频服务是HEVC视频服务。例如,当service_type字段的值是“0x20”和/或“0x21”中的一个时,接收机可确定服务类型是“HEVC数字电视服务”和/或“H.265/HEVC帧兼容HD服务”。
图68是例示了根据本发明的实施方式的服务描述符的service_type字段的示图。
信令信息可包括服务描述符。服务描述符的详细描述与以上描述中相同,因此将由以上描述代替。
参照附图,服务类型可根据位深的值来再划分。位深可指示可再现颜色(或者灰色阴影)的色号单位(或者在灰度图像的情况下,亮度程度)。例如,位深可包括8比特位深和/或10比特位深。
当service_type字段的值为“0x1F”时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容平面立体8比特位深HD数字电视服务”。当service_type字段的值为“0x20”时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容平面立体8比特位深HDNVOD时移服务”。当service_type字段的值为“0x21”时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容平面立体8比特位深HDNVOD参考服务”。
当service_type字段的值为“0x22”时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容平面立体10比特位深HD数字电视服务”。当service_type字段的值为“HEVC数字电视服务”和/或“0x23”时,服务类型可指示“H.265/HEVC帧兼容平面立体10比特位深HDNVOD时移服务”。当service_type字段的值为“0x24”时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容平面立体10比特位深HDNVOD参考服务”。
service_type字段可用信号通知HEVC视频服务是否存在于广播信号(例如,MPEG-TS)中。例如,当service_type字段的值是“0x1F”、“0x20”、“0x21”、“0x22”、“0x23”和/或“0x24”中的一个时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容HD服务”。
接收机可基于service_type字段用信号通知HEVC视频服务是否存在于广播信号(例如,MPEG-TS)中。例如,当视频流的service_type字段的值为“0x1F”时,接收机可确定服务类型是“HEVC数字电视服务”和/或“H.265/HEVC帧兼容HD服务”。
另外,接收机可基于service_type字段用信号通知HEVC视频信号是否存在于广播信号(例如,MPEG-TS)中。例如,当视频流的service_type字段的值是“0x20”、“0x21”、“0x22”、“0x23”和/或“0x24”中的一个时,接收机可确定对应视频服务是“HEVC数字电视服务”和/或“H.265/HEVC帧兼容HD服务”。
图69是例示了根据本发明的实施方式的组件描述符的stream_content字段和/或component_type字段的示图。
信令信息可包括组件描述符。
组件描述符可用于标识组件流的类型并且提供基本流的文本描述。组件描述符可被包括在SDT和/或EIT中。
组件描述符可包括descriptor_tag字段、descriptor_length字段、reserved_future_use字段、stream_content字段(或者第一流内容信息)、component_type字段(或者组件类型信息)、component_tag字段、ISO_639_language_code字段和/或text_char字段。组件描述符的详细描述将由以上描述代替。
组件描述符可包括传统2D服务(2DHEVC)中所使用的stream_content字段的值和/或component_type字段的值。另外,组件描述符可包括可应用于SFC-3D服务的新stream_content字段的值和新component_type字段的值。
参照附图,根据本发明的实施方式的SFC-3D服务可基于一个组件描述符标识组件类型信息(例如,比特流、组件流和/或视频流的类型)。组件类型信息可包括至少一个参数。
例如,所述参数可包括比特流信息、视频流的编解码器信息(编码类型信息)、类信息、分辨率信息、宽高比信息、帧频信息、图像格式信息和/或位深信息。
比特流信息是关于比特流类型的信息。例如,比特流信息可包括视频流、音频流和/或字幕流。编解码器信息是关于通过对比特流进行编码获得的编解码器的信息。例如,编解码器信息可包括H.265/HEVC。分辨率信息是关于比特流的分辨率信息。例如,分辨率信息可包括高清和/或标清。宽高比信息可以是当显示视频数据时针对帧的水平尺寸和垂直尺寸的宽高比信息。例如,宽高比信息可包括16:9的宽高比。帧频信息是关于每秒视频帧的输出次数的信息。例如,帧频信息可包括25Hz和/或30Hz。图像格式信息是关于包括在视频流中的左图像和右图像的布置方式的信息。例如,图像格式信息可包括并排和/或上下。位深信息是指示可再现颜色(或者灰色阴影)的色号单位(或者在灰度图像的情况下,亮度程度)的信息。例如,位深可包括8比特位深和/或10比特位深。
当stream_content字段的值为“0x09”并且component_type的值为“0x80”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,25Hz,并排”。
这里,当stream_content字段的值为“0x09”时,stream_content字段可指示H.265/HEVC视频。另外,作为stream_content字段的值的“0x09”和/或作为component_type字段的值的“0x80”不固定,因此可改变。
另外,“H.265/HEVC平面立体帧兼容高清视频”的比特流可以是视频流,该视频流利用H.265/HEVC视频编码方案编码,并且该视频流可指示支持帧兼容3D服务的高清视频。
另外,“16:9宽高比”可指示视频流的宽高比信息,“25Hz”可指示视频流的帧频信息,“并排”可指示包括在视频流中的左图像和/或右图像的图像格式信息。下文中,相同表达方案表示相同含义,因此将简要描述。
当stream_content字段的值为“0x09”并且component_type字段的值为“0x81”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,25Hz,上下”。
当stream_content字段的值为“0x09”并且component_type字段的值为“0x82”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,30Hz,并排”。
当stream_content字段的值为“0x09”并且component_type字段的值为“0x83”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,30Hz,上下”。
传统2D接收机可基于传统2D服务中所使用的stream_content字段的值和/或component_type字段的值来处理视频数据,并且显示2D图像。
根据本发明的实施方式的支持SFC-3D服务的接收机可基于重新定义的stream_content字段的值和component_type字段的值来处理视频数据,并且显示2D图像和/或3D图像。
图70是例示了根据本发明的实施方式的组件描述符的stream_content字段和/或component_type字段的示图。
信令信息可包括组件描述符。组件描述符可用于标识组件流的类型。组件描述符的详细描述与以上描述中相同,因此将由以上描述代替。
参照附图,服务类型可根据位深的值来再划分。位深可指示可再现颜色(或者灰色阴影)的色号单位(或者在灰度图像的情况下,亮度程度)。例如,位深可包括8比特位深和/或10比特位深。
当stream_content字段的值为“0x09”并且component_type字段的值为“0x80”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,25Hz,并排,8比特位深”。当stream_content字段的值为“0x09”并且component_type字段的值为“0x81”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,25Hz,上下,8比特位深”。当stream_content字段的值为“0x09”并且component_type字段的值为“0x82”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,30Hz,并排,8比特位深”。当stream_content字段的值为“0x09”并且component_type字段的值为“0x83”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,30Hz,上下,8比特位深”。
当stream_content字段的值为“0x09”并且component_type字段的值为“0x84”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,25Hz,并排,10比特位深”。当stream_content字段的值为“0x09”并且component_type字段的值为“0x85”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,25Hz,上下,10比特位深”。当stream_content字段的值为“0x09”并且component_type字段的值为“0x86”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,30Hz,并排,10比特位深”。当stream_content字段的值为“0x09”并且component_type字段的值为“0x87”时,视频数据可指示“H.265/HEVC平面立体帧兼容高清视频,16:9宽高比,30Hz,上下,10比特位深”。
接收机可基于组件描述符标识组件流(例如,视频流)的类型。例如,接收机可基于组件描述符标识出视频流是经由H.265/HEVC视频编码方案编码的高清视频。另外,接收机可基于组件描述符标识出包括在视频流中的左图像和右图像的图像格式信息是“上下”。
图71是例示了根据本发明的实施方式的组件描述符的stream_content字段和/或component_type字段的示图。
信令信息可包括多个组件描述符。
组件描述符可用于标识组件流(例如,视频流)的类型并且提供基本流的文本描述。组件描述符可被包括在SDT和/或EIT中。
组件描述符可包括descriptor_tag字段、descriptor_length字段、stream_content_ext字段、reserved_future_use字段、stream_content字段(或第一流内容信息)、component_type字段(或组件类型信息)、component_tag字段、ISO_639_language_code字段和/或text_char字段。
stream_content_ext字段(第二流内容信息)可与stream_content字段组合并且可标识流的类型。组件描述符可另外地包括stream_content_ext字段并且可扩展由stream_content限定的空间。
component_tag字段可包括用于标识组件流的信息。即,component_tag字段可标识组件描述符所指示的视频流。例如,component_tag字段具有与组件流的流标识符描述符(如果这存在于PSI映射区段中的话)中的component_tag相同的值。
可针对component_tag字段的相同值存在多个组件描述符。例如,SDT和/或EIT可各自包括多个组件描述符。另外,SDT可包括一个组件描述符,EIT可包括多个组件描述符。
为了标识组件流(例如,视频流)的类型(例如,16:9宽高比,并排和/或上下),可针对一个组件流存在多个组件描述符。
其它组件描述符的详细描述将由以上描述代替。
参照附图,根据本发明的实施方式的附加组件描述符可包括视频流中所包括的左图像和右图像的图像格式信息。
当stream_content字段的值为“0xA”,stream_content_ext字段的值为“0x0”并且component_type字段的值为“0x00”时,图像格式信息可指示“上下”。当stream_content字段的值为“0xA”,stream_content_ext字段的值为“0x0”并且component_type字段的值为“0x01”时,图像格式信息可指示“并排”。stream_content字段的值、stream_content_ext字段的值和/或component_type字段的值不固定,因此可改变。
信令信息可包括多个组件描述符。在这种情况下,至少一个组件描述符可标识同一比特流。另外,至少一个组件描述符中的一些可以是具有相同内容的组件描述符,以用于标识同一比特流。另外,至少一个组件描述符中的剩余一些可以是具有不同内容的组件描述符,以用于同一比特流。
根据stream_content字段和component_type字段的组合,可标识视频流(例如,视频流和/或音频流)的编码类型信息(压缩信息)、包含在提供3D服务的视频服务中的左图像和右图像的图像格式信息、视频数据的类信息(例如,HEVC的类信息)、宽高比信息、帧频信息和/或标识其它比特流(包括视频数据、字幕和/或音频数据)的类型的信息中的至少一个。
因此,各个组件描述符可包括视频流(例如,视频流和/或音频流)的编码类型信息(压缩信息)、包含在提供3D服务的视频服务中的左图像和右图像的图像格式信息、视频数据的类信息(例如,HEVC的类信息)、宽高比信息、帧频信息和/或标识其它比特流(包括视频数据、字幕和/或音频数据)的类型的信息中的至少一个。
接收机可将至少一个组件描述符组合以获取比特流的编码类型信息、包括在提供3D服务的视频流中的左图像和右图像的图像格式信息和/或关于比特流的附加信息。例如,接收机可将至少一个组件描述符组合以获取指示比特流利用H.265/HEVC视频编码方案编码的信息和/或指示图像格式是并排格式的信息。另外,接收机可将至少一个组件描述符组合以获取指示比特流提供SFC-3D服务的信息。
组件描述符可包括传统2D服务(2DHEVC)中所使用的stream_content字段的值、stream_content_ext字段的值和/或component_type字段的值。例如,当组件描述符的stream_content字段的值为“0x09”,stream_content_ext字段的值为“0x0”,并且component_type字段的值为“0x00”时,视频数据可指示“HEVC主类高清视频,50Hz”。另外,当组件描述符的stream_content字段的值为“0x09”,stream_content_ext字段的值为“0x0”并且component_type字段的值为“0x01”时,视频数据可指示“HEVC主10类高清视频,50Hz”。当组件描述符的stream_content字段的值为“0x09”,stream_content_ext字段的值为“0x0”并且component_type字段的值为“0x02”时,视频数据可指示“HEVC主类高清视频,60Hz”。当组件描述符的stream_content字段的值为“0x09”,stream_content_ext字段的值为“0x0”并且component_type字段的值为“0x03”时,视频数据可指示“HEVC主10类高清视频,60Hz”。另外,当组件描述符的stream_content字段的值为“0x09”,stream_content_ext字段的值为“0x0”并且component_type字段的值为“0x04”时,视频数据可指示“HEVC超高清视频”。
另外,组件描述符可包括可应用于SFC-3D服务的新stream_content字段的值、stream_content_ext字段的值和/或component_type字段的值。
因此,传统2D接收机可基于传统2D服务中所使用的stream_content字段的值、stream_content_ext字段的值和/或component_type字段的值来处理视频数据,并且显示2D图像。另外,支持SFC-3D服务的接收机可基于重新定义的stream_content字段的值、stream_content_ext字段的值和/或component_type字段的值来处理视频数据,并且显示2D图像和/或3D图像。
另外,根据本发明的实施方式的SFC-3D服务可基于多个组件描述符来标识同一个比特流(例如,视频流)的类型。
例如,信令信息可包括第一组件描述符、第二组件描述符、第三组件描述符和/或第四组件描述符。第一组件描述符、第二组件描述符、第三组件描述符和/或第四组件描述符可利用相同的component_tag字段的值来标识同一比特流。
当第一组件描述符的stream_content字段的值为“0x09”,stream_content_ext字段的值为“0x0”,component_type字段的值为“0x00”时,视频数据可指示“HEVC主类高清视频,50Hz”。
当第二组件描述符的stream_content字段的值为“0x0B”,stream_content_ext字段的值为“0xF”,component_type字段的值为“0x03”时,视频数据可指示“平面立体上下(TaB)帧封装”。
当第三组件描述符的stream_content字段的值为“0x0B”,stream_content_ext字段的值为“0xF”,component_type字段的值为“0x01”时,视频数据可指示“16:9宽高比”。
当第四组件描述符的stream_content字段的值为“0x0B”,stream_content_ext字段的值为“0xF”,component_type字段的值为“0x03”时,视频数据可指示“平面立体上下(TaB)帧封装”。这里,第二组件描述符和第四组件描述符是具有相同内容以用于标识同一流的组件描述符。
因此,信令信息可将第一组件描述符、第二组件描述符、第三组件描述符和/或第四组件描述符中的至少一个组合并且标识同一个视频流。
接收机可基于至少一个组件描述符来标识所接收到的比特流的类型。即使接收机无法识别多个组件描述符中的一些组件描述符,接收机也可接收服务。即,接收机可利用“或”运算来处理多个组件描述符之间的相关性,并且仅基于一些组件描述符来接收服务。
例如,在仅接收到第一组件描述符时,接收机可标识出所接收到的视频流是利用H.265/HEVC视频编码方案编码的高清视频。
在接收到第一组件描述符和第二组件描述符时,接收机可将第一组件描述符和第二组件描述符组合并标识出所接收到的视频流是利用H.265/HEVC视频编码方案编码的高清视频并且包括在视频流中的左图像和右图像的图像格式信息是“平面立体上下(TaB)帧封装”。
即使在接收信令信息期间接收机无法接收多个组件描述符当中的至少一个组件描述符,接收机可也接收剩余组件描述符以标识同一个视频流。例如,即使接收机无法接收第四组件描述符,接收机也可接收第二组件描述符并且将包括在视频流中的左图像和右图像的图像格式信息标识为“平面立体上下(TaB)帧封装”。
图72是例示了根据本发明的实施方式的链接描述符的linkage_type字段和/或link_type字段的示图。
信令信息可包括链接描述符。
链接描述符可指示当SI系统中需要与特定实体关联的附加信息时可存在的服务。链接描述符可存在于需要通过附加信息提供的服务的对应表中。可利用链接描述符确定服务替换服务。在这方面,在当前执行的服务的运行状态为“不运行”时,接收机可自动选择对应替换服务。
例如,链接描述符可被包括在SDT和/或EIT中。然而,当linkage_type字段的值在“0x0D”至“0x1F”的范围内时,链接描述符可仅被包括在EIT中。接收机可基于链接描述符识别将在未来广播的与当前观看的特定2Dservice_id或特定2Devent_id对应的3D服务或事件。
链接描述符可包括descriptor_tag字段、descriptor_length字段、transport_stream_id字段、original_network_id字段、service_id字段、linkage_type字段、mobile_hand-over_info()字段、event_linkage_info()字段、extended_event_linkage_info()字段和/或private_data_byte字段。链接描述符的详细描述将由以上描述代替。
图73是根据本发明的实施方式的接收机的框图。
参照图73,根据本发明的实施方式的接收机包括接收单元C20210、解调器C20220、解复用器C20230、信令信息处理器C20240、解码器C20250和/或输出单元C20260。以上描述可应用于广播信号发送设备。
接收单元C20210通过射频(RF)信道接收广播信号。
接收单元C20210可接收包括视频组件的视频流以及用信号通知视频流的信令信息的广播信号。视频流可提供帧兼容3维电视(3DTV)服务和高清电视(HDTV)服务中的一个。
例如,信令信息可包括指示视频流是帧兼容3DTV视频格式还是高清电视(HDTV)视频格式的第一信息、指示视频流的服务类型是高效视频编码(HEVC)服务的服务类型信息以及指示视频流的HEVC服务的类型的多个组件描述符。
另外,信令信息可包括帧封装布置SEI消息、默认显示窗口(DDW)信息、AFD/条数据、HEVC_video_descriptor、content_descriptor、视差信令片段(DSS)、关于DVB字幕的信息、字幕描述符、视差信息、视频深度范围描述符、多区域视差、服务描述符、组件描述符和/或链接描述符中的至少一个。
解调器C20220将所接收到的广播信号解调。
解复用器C20230从解调的信号解复用音频数据、视频数据和/或信令信息。为此,解复用器C20230可利用分组标识符(PID)经由滤波来将广播信号解复用。解复用器C20230将解复用的视频信号输出给下游装置的解码器C20250,并且将信令信息输出给信令信息处理器C20240。
信令信息处理器C20240可处理从解复用器C20230发送来的信令信息。另外,信令信息处理器C20240可基于信令信息标识视频流的类型。这里,信令信息处理器C20240可包括用于临时存储待处理的信令信息的数据库(DB),其在信令信息处理器C20240的内部或外部。
信令信息处理器C20240可基于信令信息命令3DTV视频格式与HDTV视频格式之间的切换。接收机可从用户接收切换信息以命令以2D图像模式输出视频流。在这种情况下,信令信息可包括切换信息。
解码器C20250接收并解码解复用的视频数据。例如,解码器C20250可基于信令信息将视频数据解码。解码器C20250可将3DTV视频格式和/或HDTV视频格式的视频流解码。
输出单元C20260可根据输出格式将解码的视频数据项格式化,并且输出视频数据项。输出单元C20260可按照3DTV视频格式和HDTV视频格式中的一个来输出视频流。
这里,当解码的视频数据是3DTV视频数据时,输出单元C20260可根据用于3D输出的输出格式将解码的视频数据格式化。当解码的视频数据是2D视频数据时,输出单元C20260可根据用于2D输出的输出格式来输出视频数据,而不单独地处理视频数据。
下文中,将描述根据本发明的实施方式的广播信号接收方法。
信令信息处理器C20240处理包括在PMT中的信令信息项。信令信息处理器C20240可基于信令信息获取改变的信息并且生成信道映射。
信令信息处理器C20240可标识所接收到的视频流是3DTV视频格式还是HDTV视频格式。
例如,信令信息处理器C20240检查包括在PMT中的HEVC视频描述符的non_packed_constraint_flag。non_packed_constraint_flag字段可指示视频流是3DTV视频格式还是HDTV视频格式。另外,non_packed_constraint_flag字段可用信号通知帧封装布置SEI消息是否存在于视频流中。
例如,当non_packed_constraint_flag字段指示视频流是3DTV视频格式时,可存在帧封装布置SEI消息。另外,当non_packed_constraint_flag字段指示视频流是HDTV视频格式时,可不存在帧封装布置SEI消息。
当视频流是HDTV视频格式时,解码器C20250可将HDTV视频格式的视频流解码。另外,输出单元C20260可将解码的视频流作为2D图像输出。
当视频流是3DTV视频格式时,信令信息处理器C20240可标识视频流的服务的类型和组件流的类型。
首先,信令信息处理器C20240可基于服务描述符的服务类型信息(service_type字段)标识服务的类型。
service_type字段可用信号通知HEVC视频服务是否存在于广播信号(例如,MPEG-TS)中。例如,当service_type字段的值为“0x1F”时,服务类型可指示“HEVC数字电视服务”和/或“H.265/HEVC帧兼容HD服务”。
然后,信令信息处理器C20240可基于组件描述符的第一流内容信息(stream_content字段)、第二流内容信息和组件类型信息(component_type字段)来标识组件流的类型。
例如,各个组件描述符可包括指示视频流的类型的第一流内容信息、与第一流内容信息组合以指示视频流的类型的第二流内容信息以及指示视频组件的类型的组件类型信息。组件描述符可基于第一流内容信息、第二流内容信息和组件类型信息指示HEVC服务的类型。
针对component_tag字段的相同值可存在多个组件描述符。例如,SDT和/或EIT可各自包括多个组件描述符。另外,SDT可包括一个组件描述符,EIT可包括多个组件描述符。另外,为了标识组件流(例如,视频流)的类型(例如,16:9宽高比,并排和/或上下),可针对一个组件流存在多个组件描述符。
例如,当第一组件描述符的stream_content字段的值为“0x09”,stream_content_ext字段的值为“0x0”,component_type字段的值为“0x00”时,视频数据可指示“HEVC主类高清视频,50Hz”。
当第二组件描述符的stream_content字段的值为“0x0B”,stream_content_ext字段的值为“0xF”,component_type字段的值为“0x03”时,视频数据可指示“平面立体上下(TaB)帧封装”。
根据本发明的实施方式,服务类型信息和第一组件描述符可被包括在SDT中,第二组件描述符可被包括在EIT中。
另外,根据本发明的实施方式,SDT和/或EIT可包括多个组件描述符。例如,SDT和/或EIT可包括至少一个第一组件描述符和/或至少一个第二组件描述符。
信令信息处理器C20240可将第一组件描述符和第二组件描述符组合并且标识出所接收到的视频流是利用H.265/HEVC视频编码方案编码的高清视频,并且包括在视频流中的左图像和右图像的图像格式信息是“平面立体上下(TaB)帧封装”。
信令信息处理器C20240可获取包括在视频流中的帧封装布置SEI消息。信令信息处理器C20240可基于帧封装布置SEI消息获取关于视频流的详细信息。例如,帧封装布置SEI消息可包括frame_packing_arrangement_id字段、frame_packing_arrangement_cancel_flag字段、frame_packing_arrangement_type字段、quincunx_sampling_flag字段、content_interpretation_type字段、spatial_flipping_flag字段、frame0_flipped_flag字段、field_views_flag字段、current_frame_is_frame0_flag字段、frame0_self_contained_flag字段、frame1_self_contained_flag字段、frame0_grid_position_x字段、frame0_grid_position_y字段、frame1_grid_position_x字段、frame1_grid_position_y字段、frame_packing_arrangement_reserved_byte字段、frame_packing_arrangement_repetition_period字段和/或frame_packing_arrangement_extension_flag字段。
输出单元C20260可基于帧封装布置SEI消息将视频流作为3D图像输出。
输出单元C20260可基于帧封装布置SEI消息将3D图像分成左图像和右图像。另外,输出单元C20260可将左图像和右图像格式化以输出3D图像。为此,输出单元C20260还可包括根据3D输出格式将左图像和右图像格式化的格式化器(未示出)。
另外,输出单元C20260可基于AFD/条数据根据接收机的宽高比有效地改变图像的宽高比,并且可输出3D图像。
接收机可从用户接收指示视频流将以2D图像模式输出的切换信息。在这种情况下,信令信息可包括切换信息。
当信令信息以2D图像模式输出时,信令信息处理器C20240可从视频流提取左图像和右图像中的一个。另外,输出单元C20260可将所提取的一个图像作为2D图像输出。
例如,信令信息处理器C20240可获取默认显示窗口(DDW)信息和/或AFD/条数据。即,当DDW信息是包括帧封装布置SEI消息的流时,DDW信息可包括用于从3D图像提取2D图像的信息,AFD/条数据可包括用于提取编码的整个视频区域中的有效区域的信息。
输出单元C20260可基于默认显示窗口(DDW)信息从3D图像提取2D图像,并且基于AFD/条数据分割有效区域。
另外,输出单元C20260可上调所提取的一个图像。
根据本发明的实施方式的广播信号发送设备可包括第一编码器(未示出)、第二编码器(未示出)和/或接收机(未示出)。
第一编码器可生成视频组件中的视频流。该视频流可提供帧兼容3维电视(3DTV)服务和高清电视(HDTV)服务中的一个。
信令信息可包括指示视频流是帧兼容3DTV视频格式还是高清电视(HDTV)视频格式的第一信息、指示视频流的服务类型是高效视频编码(HEVC)服务的服务类型信息以及针对视频流指示HEVC服务的服务的多个组件描述符。接收机可发送包括视频流和信令信息的广播信号。
根据本发明的实施方式的广播信号发送方法可由上述广播信号发送设备执行,并且可按照与广播信号接收方法相反的方式执行。以上描述可应用于广播信号发送设备和/或广播信号发送方法。
图74是例示了根据本发明的实施方式的根据active_format信息的有效格式描述(AFD)的示图。
AFD是说明所关注的编码的视频帧的特定区域的信息。广播接收机可发送active_format信息以便用信号通知特定关注区域,并且接收机可使用active_format信息以便标识特定关注区域。
AFD可与条数据(将在下面描述)一起用于标识特定关注区域。条数据包括显示在屏幕的上端或下端的上条或下条(上下边(letterbox))的信息,或者显示在屏幕的左侧或右侧的侧条(左右边(pillarbox))的尺寸信息。
AFD可用于克服节目的源格式、节目的传输格式和使用对应节目的目标接收机的格式之间的兼容问题。例如,针对宽屏制作的14:9内容(或节目)可按照在以4:3编码的帧中包括上下边的形式来发送以便于具有4:3屏幕的接收机使用。然而,在这种情况下,可能存在具有宽屏接收机的用户所不期望的字被显示,或者14:9的内容被宽高比不适合的屏幕使用的问题。因此,信令信息可被提供以允许接收机标识对应内容中的关注区域并根据接收机的宽高比来显示对应区域,并且可对应于AFD和/或条数据。这里,“关注区域”可被定义为包括内容的信息的图像区域。
Active_format信息可与源宽高比一起使用。源宽高比可指示所发送的源内容的宽高比。源宽高比可作为信令信息被提供,或者由接收机利用所提供的信令信息根据所发送的广播数据的编码方案来计算。
例如,当源宽高比指示16:9并且active_format指示16:9中心时,接收机可识别出所发送的帧的整个区域是“关注区域”。当源宽高比指示4:3并且active_format指示16:9中心时,接收机可识别出在所发送的帧中存在上下边。当源宽高比指示16:9并且active_format指示4:3中心时,接收机可识别出在所发送的帧中存在左右边。
又如,当源宽高比指示16:9并且active_format指示16:9中心时,接收机可识别出所发送的帧的整个区域是“关注区域”。当源宽高比指示16:9并且active_format指示21:9中心时,接收机可识别出在所发送的帧中存在上下边。当源宽高比指示21:9并且active_format指示16:9中心时,接收机可识别出在所发送的帧中存在左右边。
active_format信息可被包括在广播流中并被发送。
当active_format信息的值为0000时,active_format信息指示未定义或者无法使用“关注区域”。
当active_format信息的值为0010时,active_format信息指示“关注区域”具有比例16:9并且位于屏幕的上部。即,在具有不同宽高比的接收机中,条可被显示在屏幕的下部。
当active_format信息的值为0011时,active_format信息指示“关注区域”具有比例14:9并且位于屏幕的上部。即,在具有不同宽高比的接收机中,条可被显示在屏幕的下部。
当active_format信息的值为0111时,active_format信息指示“关注区域”对应于宽高比大于16:9的区域,并且“关注区域”需要被显示在屏幕的中心部分中。在这种情况下,需要利用条数据(将在下面描述)计算图像尺寸(水平或垂直长度)。
当active_format信息的值为1000时,active_format信息指示“关注区域”的宽高比与编码的帧的宽高比相同。
当的值active_format信息为1001时,active_format信息指示“关注区域”具有比例4:3并且位于屏幕的中心部分。
当active_format信息的值为1010时,active_format信息指示“关注区域”具有比例16:9并且位于屏幕的中心部分。
当active_format信息的值为1011时,active_format信息指示“关注区域”具有比例14:9并且位于屏幕的中心部分。
当active_format信息的值为1101时,active_format信息指示“关注区域”具有比例4:3并且按照14:9的比例保护帧。
当active_format信息的值为1110时,active_format信息指示“关注区域”具有比例16:9并且按照14:9的比例保护帧。
当active_format信息的值为1111时,active_format信息指示“关注区域”具有比例16:9并且按照4:3的比例保护帧。
图75是例示了根据本发明的实施方式的接收机根据所发送的帧的active_format和宽高比的显示的示例的示图。
当anactive_format信息的值为0010时,以4:3编码的帧在帧的下部包括条,以16:9编码的帧中不存在单独的条。
当active_format信息的值为0011时,以4:3编码的帧在帧的下部包括条,以16:9编码的帧在帧的侧部包括条。
当active_format信息的值为0100时,以4:3编码的帧在帧的下部包括条,以16:9编码的帧在帧的下部包括条。
当active_format信息的值为1000时,以4:3编码的帧和以16:9编码的帧二者均不包括单独的条。
当active_format信息的值为1001时,以4:3编码的帧不包括单独的条,以16:9编码的帧在帧的侧部包括条。
在上述示例中,以16:9编码的帧和active_format所指示的信息的传输也可类似地应用于关注区域指示16:9、21:9、21:9或更多的宽区域的情况。
图76是例示了根据本发明的另一实施方式的接收机根据所发送的帧的active_format和宽高比的显示的示例的示图。
当active_format信息的值为1010时,以4:3编码的帧在帧的上部和下部包括条,以16:9编码的帧中不存在单独的条。
当active_format信息的值为1011时,以4:3编码的帧在帧的上部和下部包括条,以16:9编码的帧在帧的左侧/右侧部分中包括条。
当active_format信息的值为1101时,以4:3编码的帧不包括单独的条,以16:9编码的帧在帧的左侧/右侧部分中包括条。
当active_format信息的值为1110时,以4:3编码的帧在帧的上部和下部包括条,以16:9编码的帧中不存在单独的条。
当active_format信息的值为1111时,以4:3编码的帧在帧的上部和下部包括条,以16:9编码的帧中不存在单独的条。
在上述示例中,以16:9编码的帧和active_format所指示的信息的传输也可类似地应用于关注区域指示16:9、21:9、21:9或更多的宽区域的情况。
图77是例示了根据本发明的实施方式的条数据的示图。
条数据可被包括在视频用户数据中。条数据可被包括在视频流中。另选地,条数据可通过单独的信令信号来发送。
根据本发明的实施方式的条数据包括top_bar_flag信息、bottom_bar_flag信息、left_bar_flag信息、right_bar_flag信息、marker_bits信息、line_number_end_of_top_bar信息、line_number_start_of_bottom_bar信息、pixel_number_end_of_left_bar信息和/或pixel_number_start_of_right_bar信息。
top_bar_flag信息标识是否存在顶部条。当该信息的值为1时,该信息指示存在顶部条。
bottom_bar_flag信息标识是否存在底部条。当该信息的值为1时,该信息指示存在底部条。
left_bar_flag信息标识是否存在左侧条。当该信息的值为1时,该信息指示存在左侧条。
right_bar_flag信息指示是否存在右侧条。当该信息的值为1时,该信息指示存在右侧条。
line_number_end_of_top_bar信息标识位于帧的上部的水平上下边型条的区域的最后一行。
line_number_start_of_bottom_bar信息标识位于帧的下部的水平上下边型条的区域的第一行。
pixel_number_end_of_left_bar信息标识位于帧的左侧部分的垂直左右边型条的最后水平亮度样本。
pixel_number_start_of_right_bar信息标识位于帧的右侧部分的垂直左右边型条的第一水平亮度样本。
条数据对应于标识包括在帧中的条的位置的信令信息。
图78是根据本发明的实施方式的接收机的示图。
除了3D服务的上述帧兼容方法和服务兼容方法以外,可另外定义3D服务的服务帧兼容方法。类似帧兼容方法中一样,服务帧兼容方法是通过在一个帧中发送/接收左图像和右图像,从对应帧提取左图像或右图像,并且上调左图像或右图像来提供全分辨率的2D服务的方法。
服务帧兼容方法需要DDW信息以及AFD信息和/或条数据二者以用于补偿发送端所发送的内容的宽高比与接收机的宽高比之间的差异,以便提取一个帧中将用作2D图像的图像区域。即,在帧兼容方法中,左图像和右图像中的每一个在一个帧中精确地占据帧的一半,但是在服务帧兼容方法中,在一个帧中左图像和右图像所占据的区域之比可不同。因此,通过DDW信息,可提取左图像和/或右图像的区域。例如,在该处理中,当16:9的接收机接收到21:9的服务帧兼容3D图像时,需要利用上述AFD信息和/或条数据针对宽高比进行渲染。因此,在此示例中,需要用于发送/接收DDW信息和AFD信息/条数据二者并且根据该信息处理图像的服务帧兼容方法的接收机。
根据本发明的实施方式的接收机可包括广播接收机(未示出)、解复用器、解码器、2D/3D切换器、2D提取器、第一宽高比转换器、L/R分离器、格式化器和/或第二宽高比转换器。
视频流的补充增强信息(SEI)消息可包括视频可用性信息(VUI)。VUI可包括关于默认显示窗口(DDW)的信息。DDW信息可包括default_display_window_flag信息、def_disp_win_left_offset信息、def_disp_win_right_offset信息、def_disp_win_top_offset信息和/或def_disp_win_bottom_offset信息。
default_display_window_flag信息标识是否存在关于DDW的信息。另外,default_display_window_flag信息标识是否存在DDW。
def_disp_win_left_offset信息标识DDW的左边缘的位置。def_disp_win_left_offset信息标识DDW的左边缘所在的位置的亮度样本。
def_disp_win_right_offset信息标识DDW的右边缘的位置。def_disp_win_right_offset信息标识DDW的右边缘所在的位置的亮度样本。
def_disp_win_top_offset信息标识DDW的上边缘的位置。def_disp_win_top_offset信息标识DDW的上边缘所在的位置的亮度样本。
def_disp_win_bottom_offset信息标识DDW的下边缘的位置。def_disp_win_bottom_offset信息标识DDW的下边缘所在的位置的亮度样本。
默认显示窗口(DDW)指示一个帧中作为基准的图像区域。DDW标识包括在一个帧中的两个或更多个图像当中的作为基准图像的图像区域。在帧兼容3D服务中,DDW可对应于正方形区域显示,其在帧中被分成上下或并排的左图像和右图像中指示2D服务中所使用的基准图像的区域。接收机在帧兼容3D服务的帧中提取DDW信息所指示的区域的图像作为用于2D服务的图像。
广播接收机(未示出)接收广播信号。广播接收机可对应于广播信号接口或调谐器。
解复用器将广播信号解复用并且提取信令信息(PSI/SI)、视频数据和音频数据。广播信号可包括PSI/SI信息、信令信息、与DDW关联的信息、AFD信息、条数据和/或帧封装布置补充增强信息(FPASEI)。
解码器将视频数据和/或音频数据解码。解码器可在解码过程中使用接收的信令信息。信令信息可由信令解码器(未示出)解码。
2D/3D切换器可接收关于2D观看模式或3D观看模式的控制信息,并且根据该控制信息将视频数据处理为2D或3D。在选择2D观看模式时,2D/3D切换器将所接收到的视频数据发送给用于渲染成2D的设备。在选择3D观看模式时,2D/3D切换器将所接收到的视频数据发送给用于渲染成3D的设备。
在接收到包括左图像和右图像的帧作为视频数据时,2D提取器分离左图像或右图像。根据本发明的实施方式,2D提取器可提取左图像并使用左图像作为2D图像。2D提取器在提取左图像或右图像的过程中利用上述DDW信息提取DDW所指示的区域的图像。
第一宽高比转换器可利用上述AFD信息和/或条数据信息在帧中插入或去除条或者调节帧的宽高比。第一宽高比转换器可被包括在2D提取器中。
L/R分离器从视频数据分离用于发送左图像的视频数据(流)和用于发送右图像的视频数据(流)。
格式化器布置左图像和右图像并且将3D图像格式化。
第二宽高比转换器可利用上述AFD信息和/或条数据信息在帧中插入或去除条或者调节帧的宽高比。
下文中,为了描述方便,当接收到2D兼容21:9上下格式的3D图像时16:9接收机的操作。描述了图像具有21:9的宽高比并且接收机具有16:9的宽高比的示例。然而,以下描述也可应用于输入图像的宽高比和接收机的宽高比不同的情况。
宽高比转换器(第一宽高比转换器和/或第二宽高比转换器)可在分离左图像和右图像之前执行操作。即,宽高比转换器可位于L/R分离器的前面。
接收机检查包括在PMT中的基本流级描述符中的HEVC视频描述符的non_packed_constraint_flag。non_packed_constraint_flag标识帧封装布置(FPA)SEI消息是否包括在视频序列中。当non_packed_constraint_flag的值为0时,non_packed_constraint_flag指示视频序列中不包括FPASEI消息。当non_packed_constraint_flag的值为0时,接收机通过发送给各个接入点(AU)的FPASEI消息来识别关于对3D服务/内容进行编码的3D格式(服务兼容、上下、并排和/或服务帧兼容)的信息。
当观看模式是2D模式时,如果比特流中包括DDW信息、AFD信息、条数据和/或FPASEI消息,则接收机利用视频可用性信息(VUI)中的DDW分离2D图像作为左图像或右图像(利用default_display_window_flag、def_disp_win_left_offset、def_disp_win_right_offset以及def_disp_win_top_offset和def_disp_win_bottom_offset)。
接收机利用包含在视频基本流的辅助数据中的AFD信息和/或条数据信令有效地根据接收机的宽高比改变图像的宽高比,并且将图像作为2D图像输出。
在3D模式的情况下,当比特流中包括DDW信息、AFD信息、条数据和/或FPASEI消息时,接收机无视视频可用性信息(VUI)中的DDW信息,利用FPASEI消息将3D图像分成L/R,利用包含在视频基本流的辅助数据中的AFD信息和/或条数据信令有效地根据接收机的宽高比改变图像的宽高比,并且将图像作为3D图像进行显示。
传统上,默认显示窗口(DDW)和AFD/条数据无法被同时包括。因此,传统上,当在从3D图像提取2D图像的过程中所发送的编码帧的宽高比没有对应于接收机的屏幕的宽高比时,图像处理方面存在问题。因此,根据本发明,在识别出所接收到的图像是3D图像时,接收机可利用DDW和AFD/条数据二者提取适当的2D图像,以提取有效区域和2D区域二者。
为了获取帧兼容格式的3D图像与2D图像之间的兼容性,接收机将default_display_window_flag信息设定为“1”,设定def_disp_win_left_offset信息、def_disp_win_right_offset信息、def_disp_win_top_offset信息和/或def_disp_win_bottom_offset信息的值,生成指示将用于2D图像的区域的信令信息,并且将该信令信息发送给接收机。在这种情况下,FPASEI消息被包括在各个AU中。
接收机确定DDW、AFD信息和条数据是否全部存在于FPASEI消息中以便从帧兼容格式的3D图像提取2D图像。当DDW、AFD信息和条数据存在于FPASEI消息中时,接收机利用DDW信息从3D图像分离/提取将用于2D图像的图像。接收机利用AFD信息和条数据将所分离/提取的图像渲染成与接收机的宽高比对应的图像。
贯穿本说明书,为了描述方便而分别描述了附图。然而,显而易见的是通过将附图的一些特征组合而获得的实施方式也在本发明的范围内。另外,本发明的实施方式可包括接收机可读介质,其包括用于执行通过各种计算机实现的操作的程序指令。
根据本说明书的设备和方法不限于上述实施方式的配置和方法。即,上述实施方式可被部分地或全部地组合以进行各种修改。
根据本说明书的设备和方法还可被具体实现为处理器可读记录介质上的处理器可读代码。处理器可读记录介质是可存储此后可由处理器读取的数据的任何数据存储装置。处理器可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、磁带、软盘、光学数据存储装置、载波(例如,经由互联网的传输)等。处理器可读记录介质也可分布于联网的计算机系统上,使得处理器可读代码以分布式方式存储和执行。
对于本领域技术人员而言将显而易见的是,在不脱离本发明的精神或范围的情况下,可对本发明进行各种修改和变化。因此,本发明旨在涵盖对本发明的修改和变化,只要它们落入所附权利要求及其等同物的范围内。
另外,贯穿本说明书,描述了装置和方法发明二者。如果需要,装置和方法发明的描述可补充地应用。
本发明的模式
已经在具体实施方式中描述了各种实施方式。
工业实用性
本发明适用于总体广播行业。

Claims (15)

1.一种三维3D广播接收机,该3D广播接收机包括:
调谐器,该调谐器接收包括节目映射表PMT以及3D广播内容的3D视频数据在内的广播信号,所述PMT包括指示所述3D视频数据中是否包含帧封装布置FPASEI消息的non_packed_constraint_flag信息;
解码器,当所述non_packed_constraint_flag信息指示所述3D视频数据中包含FPASEI消息时,该解码器解析所述FPASEI消息,解析包含在所述FPASEI消息中的标识所述3D视频的格式的3D视频格式信息,解析包含在所述3D视频数据中的默认显示窗口DDW信息、有效格式描述AFD信息和条数据,并且将所述3D视频数据解码;
二维2D提取器,该2D提取器根据所述3D视频格式信息和所述DDW信息在所解码的3D视频数据的视频帧中提取用于2D显示的2D图像;
宽高比转换器,该宽高比转换器利用所述AFD信息和所述条数据根据所述接收机的宽高比来渲染所提取的2D图像;以及
显示处理器,该显示处理器显示所渲染的2D图像。
2.根据权利要求1所述的3D广播接收机,其中,所述DDW信息被包含在所述3D视频数据中所包含的视频可用性信息VUI数据中。
3.根据权利要求2所述的3D广播接收机,其中,所述DDW信息包括用于标识是否存在DDW的default_display_window_flag信息、用于标识所述DDW的左边缘的位置的def_disp_win_left_offset信息、用于标识所述DDW的右边缘的位置的def_disp_win_right_offset信息、用于标识所述DDW的上边缘的位置的def_disp_win_top_offset信息以及用于标识所述DDW的下边缘的位置的def_disp_win_bottom_offset信息。
4.根据权利要求3所述的3D广播接收机,其中,所述AFD信息包括用于标识关注区域的宽高比的信息。
5.根据权利要求4所述的3D广播接收机,其中,所述广播信号包括指示在所述3D视频数据的传输期间的预期宽高比的源宽高比信息。
6.一种由三维3D广播接收机处理广播信号的方法,该方法包括以下步骤:
接收包括节目映射表PMT以及3D广播内容的3D视频数据在内的广播信号,所述PMT包括指示所述3D视频数据中是否包含帧封装布置FPASEI消息的non_packed_constraint_flag信息;
当所述non_packed_constraint_flag信息指示所述3D视频数据中包含FPASEI消息时,解析所述FPASEI消息,解析包含在所述FPASEI消息中的标识所述3D视频的格式的3D视频格式信息,解析包含在所述3D视频数据中的默认显示窗口DDW信息、有效格式描述AFD信息和条数据,并且将所述3D视频数据解码;
根据所述3D视频格式信息和所述DDW信息在所解码的3D视频数据的视频帧中提取用于2D显示的2D图像;
利用所述AFD信息和所述条数据根据所述接收机的宽高比来渲染所提取的2D图像;以及
显示所渲染的2D图像。
7.根据权利要求6所述的方法,其中,所述DDW信息被包含在所述3D视频数据中所包含的视频可用性信息(VUI)数据中。
8.根据权利要求7所述的方法,其中,所述DDW信息包括用于标识是否存在DDW的default_display_window_flag信息、用于标识所述DDW的左边缘的位置的def_disp_win_left_offset信息、用于标识所述DDW的右边缘的位置的def_disp_win_right_offset信息、用于标识所述DDW的上边缘的位置的def_disp_win_top_offset信息以及用于标识所述DDW的下边缘的位置的def_disp_win_bottom_offset信息。
9.根据权利要求8所述的方法,其中,所述AFD信息包括用于标识关注区域的宽高比的信息。
10.根据权利要求9所述的方法,其中,所述广播信号包括指示在所述3D视频数据的传输期间的预期宽高比的源宽高比信息。
11.一种三维3D广播发送机,该3D广播发送机包括:
第一信令编码器,该第一信令编码器对节目映射表PMT进行编码,所述PMT包括指示3D视频数据中是否包含帧封装布置FPASEI消息的non_packed_constraint_flag信息,所述FPASEI消息包括标识3D视频的格式的3D格式信息;
第二信令编码器,该第二信令编码器对默认显示窗口DDW信息、有效格式描述AFD信息和条数据进行编码;
视频编码器,该视频编码器对包括3D广播内容的3D视频数据、默认显示窗口DDW信息、有效格式描述AFD信息和条数据在内的视频序列进行编码;以及
广播信号生成器,该广播信号生成器生成包括所述PMT和所述视频序列在内的广播信号。
12.根据权利要求11所述的3D广播发送机,其中,所述DDW信息被包含在所述3D视频数据中所包含的视频可用性信息VUI数据中。
13.根据权利要求12所述的3D广播发送机,其中,所述DDW信息包括用于标识是否存在DDW的default_display_window_flag信息、用于标识所述DDW的左边缘的位置的def_disp_win_left_offset信息、用于标识所述DDW的右边缘的位置的def_disp_win_right_offset信息、用于标识所述DDW的上边缘的位置的def_disp_win_top_offset信息以及用于标识所述DDW的下边缘的位置的def_disp_win_bottom_offset信息。
14.根据权利要求13所述的3D广播发送机,其中,所述AFD信息包括用于标识关注区域的宽高比的信息。
15.根据权利要求14所述的3D广播发送机,其中,所述广播信号包括指示在所述3D视频数据的传输期间的预期宽高比的源宽高比信息。
CN201580000459.4A 2014-02-21 2015-02-23 用于处理3维广播信号的方法和设备 Pending CN105075253A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201461942628P 2014-02-21 2014-02-21
US61/942,628 2014-02-21
US201461944075P 2014-02-25 2014-02-25
US61/944,075 2014-02-25
US201462073005P 2014-10-30 2014-10-30
US62/073,005 2014-10-30
US201462092798P 2014-12-16 2014-12-16
US62/092,798 2014-12-16
PCT/KR2015/001728 WO2015126214A1 (ko) 2014-02-21 2015-02-23 3d 방송 신호를 처리하는 방법 및 장치

Publications (1)

Publication Number Publication Date
CN105075253A true CN105075253A (zh) 2015-11-18

Family

ID=53878621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580000459.4A Pending CN105075253A (zh) 2014-02-21 2015-02-23 用于处理3维广播信号的方法和设备

Country Status (8)

Country Link
US (1) US20160269711A1 (zh)
EP (1) EP3110150A4 (zh)
JP (1) JP6181848B2 (zh)
KR (1) KR20160123216A (zh)
CN (1) CN105075253A (zh)
CA (1) CA2898542C (zh)
MX (1) MX354309B (zh)
WO (1) WO2015126214A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696471A (zh) * 2017-02-21 2018-10-23 科通环宇(北京)科技有限公司 基于avs2的码流封装方法、码流、解码方法及装置
CN110870320A (zh) * 2017-07-07 2020-03-06 夏普株式会社 用于针对虚拟现实应用程序发送信号通知投影区域的系统和方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105431720B (zh) * 2013-06-17 2019-03-22 通用电气健康护理生物科学股份公司 温度传感器装置
TWI544785B (zh) * 2014-03-07 2016-08-01 聯詠科技股份有限公司 影像縮減取樣裝置與方法
US10958890B2 (en) * 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
KR102351095B1 (ko) * 2017-06-23 2022-01-13 삼성전자주식회사 전자 장치, 디스플레이 장치 및 그 제어 방법
US10687119B2 (en) * 2017-06-27 2020-06-16 Samsung Electronics Co., Ltd System for providing multiple virtual reality views
KR102553764B1 (ko) * 2017-07-13 2023-07-10 삼성전자주식회사 전자 장치, 디스플레이 장치 및 그 제어 방법
CA3086592A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
KR102377499B1 (ko) * 2018-02-08 2022-03-24 이노베이션스 마인드트릭 인크. 뷰어-조정식 입체 이미지 디스플레이
CN112040287A (zh) * 2020-08-31 2020-12-04 聚好看科技股份有限公司 显示设备及视频播放方法
CN113221463B (zh) * 2021-05-21 2022-07-01 广东省科学院广州地理研究所 一种海洋风能密度格网数据空间降尺度方法和装置
TWI778749B (zh) * 2021-08-17 2022-09-21 睿至股份有限公司 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統
CN113852870B (zh) * 2021-09-23 2023-11-24 海信电子科技(深圳)有限公司 一种频道列表显示方法及显示设备
EP4325845A1 (en) * 2022-08-17 2024-02-21 3D Experiences Iberia, S.L. Remote audiovisual assistance method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598686A (zh) * 2010-08-06 2012-07-18 松下电器产业株式会社 再现装置、集成电路、再现方法、程序
CN103069815A (zh) * 2010-08-17 2013-04-24 Lg电子株式会社 用于接收数字广播信号的设备和方法
CN103081498A (zh) * 2010-09-01 2013-05-01 Lg电子株式会社 数字接收器和用于在数字接收器中处理3d内容的方法
CN103081479A (zh) * 2010-09-03 2013-05-01 索尼公司 编码装置、编码方法、解码装置和解码方法
WO2013183947A1 (ko) * 2012-06-05 2013-12-12 엘지전자 주식회사 3d 방송 서비스를 위한 방송 신호 처리 방법 및 장치
CN103503070A (zh) * 2011-04-28 2014-01-08 松下电器产业株式会社 与高画质有关的记录介质、再现装置、记录装置、编码方法、及解码方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
KR101727033B1 (ko) * 2010-02-09 2017-04-14 엘지전자 주식회사 디지털 방송 수신기 및 영상 디스플레이 방법
WO2011122914A2 (ko) * 2010-04-02 2011-10-06 삼성전자 주식회사 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치
KR101789636B1 (ko) * 2010-04-30 2017-10-25 엘지전자 주식회사 이미지 처리 방법 및 장치
US8896664B2 (en) * 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service
CN103202023A (zh) * 2010-10-25 2013-07-10 松下电器产业株式会社 编码方法、显示装置、解码方法
JP2012114575A (ja) * 2010-11-22 2012-06-14 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP2013110540A (ja) * 2011-11-18 2013-06-06 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
EP3056007A4 (en) * 2013-10-11 2017-05-24 Sharp Kabushiki Kaisha Color information and chromaticity signaling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598686A (zh) * 2010-08-06 2012-07-18 松下电器产业株式会社 再现装置、集成电路、再现方法、程序
CN103069815A (zh) * 2010-08-17 2013-04-24 Lg电子株式会社 用于接收数字广播信号的设备和方法
CN103081498A (zh) * 2010-09-01 2013-05-01 Lg电子株式会社 数字接收器和用于在数字接收器中处理3d内容的方法
CN103081479A (zh) * 2010-09-03 2013-05-01 索尼公司 编码装置、编码方法、解码装置和解码方法
CN103503070A (zh) * 2011-04-28 2014-01-08 松下电器产业株式会社 与高画质有关的记录介质、再现装置、记录装置、编码方法、及解码方法
WO2013183947A1 (ko) * 2012-06-05 2013-12-12 엘지전자 주식회사 3d 방송 서비스를 위한 방송 신호 처리 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696471A (zh) * 2017-02-21 2018-10-23 科通环宇(北京)科技有限公司 基于avs2的码流封装方法、码流、解码方法及装置
CN110870320A (zh) * 2017-07-07 2020-03-06 夏普株式会社 用于针对虚拟现实应用程序发送信号通知投影区域的系统和方法

Also Published As

Publication number Publication date
JP6181848B2 (ja) 2017-08-16
MX354309B (es) 2018-02-22
EP3110150A4 (en) 2017-11-15
CA2898542C (en) 2018-01-16
US20160269711A1 (en) 2016-09-15
WO2015126214A1 (ko) 2015-08-27
KR20160123216A (ko) 2016-10-25
EP3110150A1 (en) 2016-12-28
CA2898542A1 (en) 2015-08-21
JP2016519480A (ja) 2016-06-30
MX2015014801A (es) 2016-06-21

Similar Documents

Publication Publication Date Title
CN105075253A (zh) 用于处理3维广播信号的方法和设备
CN102959980B (zh) 处理图像的设备及处理图像的方法
CN102415101B (zh) 广播发射机、广播接收机及其3d视频数据处理方法
CN102860000B (zh) 产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备
CN102415100B (zh) 广播接收机及其3d视频数据处理方法
CN103069815B (zh) 用于接收数字广播信号的设备和方法
KR101797506B1 (ko) 방송 신호 송신 장치 및 방송 신호 수신 장치
CN102388620B (zh) 广播接收机和三维视频数据处理方法
KR20110088332A (ko) 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
USRE49786E1 (en) Method for coding and decoding a digital video, and related coding and decoding devices
CN102771131A (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN103168476A (zh) 发送器、发送方法以及接收器
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151118

WD01 Invention patent application deemed withdrawn after publication