CN102461183B - 广播发射机、广播接收机及其3d视频处理方法 - Google Patents

广播发射机、广播接收机及其3d视频处理方法 Download PDF

Info

Publication number
CN102461183B
CN102461183B CN201080026626.XA CN201080026626A CN102461183B CN 102461183 B CN102461183 B CN 102461183B CN 201080026626 A CN201080026626 A CN 201080026626A CN 102461183 B CN102461183 B CN 102461183B
Authority
CN
China
Prior art keywords
frame
video data
information
video
base view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080026626.XA
Other languages
English (en)
Other versions
CN102461183A (zh
Inventor
徐琮烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN201510415432.3A priority Critical patent/CN105025309A/zh
Publication of CN102461183A publication Critical patent/CN102461183A/zh
Application granted granted Critical
Publication of CN102461183B publication Critical patent/CN102461183B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H04H20/95—Arrangements characterised by the broadcast information itself characterised by a specific format, e.g. an encoded audio stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了广播发射机/接收机及其3D视频数据处理方法。广播发射机的3D视频数据处理方法包括：使用编码器编码3D视频数据；使用系统信息处理器生成包括在3D视频元数据中的系统信息；使用TP编码器将帧同步信息插入在3D视频数据中并且复用3D视频数据和系统信息来输出传输流；使用发送单元调制和发送传输流。广播接收机的3D视频数据处理方法包括：使用接收单元接收包括具有帧同步信息的3D视频数据和系统信息的广播信号；使用解复用器解复用3D视频数据和系统信息；使用系统信息处理器解析系统信息获取3D视频元数据；使用同步控制器，从3D视频数据获取帧同步信息并且基于获取的帧同步信息按帧顺序输出视频数据；使用解码器基于3D元数据解码3D视频数据。

Description

广播发射机、广播接收机及其3D视频处理方法
技术领域
本发明涉及一种广播发射机、广播接收机以及广播发射机和接收机的3D视频处理方法，更具体地，涉及在从3D广播系统发送多个视频流的情况下的处理视频数据的广播发射机和广播接收机以及3D视频处理方法。
背景技术
通常，3D维度图像使用人眼的立体视觉来提供三维效果。人可以经由因彼此相距大约65mm的双眼之间的距离产生的双目视差感受立体，因此，3D图像提供针对人的右眼和左眼中的每一个制作的图像，使各眼看到与该其相关的对应平面图像，从而可以实现维度和立体效果。
这样的3D图像的显示方法可以包括立体成像法、体积成像法和全息成像法。根据立体成像法，分别为人的右眼和左眼提供左视点图像(left view image)和右视点图像(right view image)，使得人的右眼和左眼分别观看到左视点图像和右视点图像，从而感受到三维效果。
发明公开
技术问题
为了解决上述问题，本发明的目的在于在3D广播系统传输用于立体显示的两个视频流的情况下，通过发送和接收3D视频数据信息并且通过处理3D视频数据来方便来为用户提供高效和方便的广播环境。
解决问题的技术方案
为了这些目的和其它优点，并且根据本发明的目的，如本文具体实现和广泛描述的，一种广播发射机的3D视频数据处理方法包括：使用编码器编码3D视频数据；使用系统信息处理器生成包括在3D视频元数据的系统信息；使用TP编码器，通过将帧同步信息插入在3D视频数据中并且复用3D视频数据和系统信息来输出传输流；以及使用发送单元调制和发送传输流。
在本发明的另一方面，一种广播接收机的3D视频数据处理方法包括：使用接收单元接收包括具有帧同步信息的3D视频数据和系统信息的广播信号；使用解复用器解复用3D视频数据和系统信息；使用系统信息处理器通过解析系统信息获取3D视频元数据；使用同步控制器，从3D视频数据获取帧同步信息并且基于所获取的帧同步信息按帧顺序输出所述视频数据；以及使用解码器基于3D元数据解码3D视频数据。
本发明的有利效果
本发明具有下述有利效果。
根据本发明，在提供3D广播服务的情况下，广播接收器可以处理接收的3D视频数据以展示生成3D广播服务时想要的3D效果。
此外，根据本发明，可以尽可能地减少对常规2D广播服务的影响并且可以同时提供3D广播服务。
附图说明
被包括以提供本公开的进一步理解并且被并入且构成本申请的一部分的附图示出了本公开的实施方式并且与说明书一起用于解释本公开的原理。
在附图中：
图1是示出了根据本发明的示例性实施方式的3D广播服务的数据配置的概念图；
图2是示出了用于通过使用时域可伸缩方案编码左图像和右图像的方法的图；
图3是示出了根据本发明的实施方式的包括立体格式信息的TVCT的语法结构的图，将在后文描述图3中示出的TVCT的字段描述；
图4是示出了在根据本发明的实施方式的TVCT中提供的3DTV服务位置描述符的语法的图；
图5是示出了根据本发明的实施方式的包括立体格式信息的PMT的语法结构的图，后文描述图6中示出的PMT的字段；
图6是示出了根据本发明的实施方式的PMT中提供的3DTV服务位置描述符的语法的图；
图7是示出了根据本发明的实施方式的包括帧信息的MPEG-2TS分组的适应字段的语法结构的图；
图8是示出了MPEG-2TS分组的适应字段中提供的帧同步信息的语法结构的图；
图9是示出了根据本发明的示例性实施方式的广播发射机的图；
图10是示出了广播发射机的3D视频数据处理方法的流程图；
图11是示出了根据本发明的示例性实施方式的广播接收机的图；
图12是示出了图11中所示的输出格式器的图；以及
图13是示出了广播接收机的3D视频数据处理方法的流程图。
具体实施方式
现在将详细说明其示例在附图中示出的本发明的具体实施方式。只要可能，在所有附图中，相同的标号指代相同或类似的元件。
在本发明的说明书中使用的术语可以考虑本发明的功能而适合于广泛公知的通用技术术语，并且其可以根据本领域的技术人员的目的或者实践以及新技术的出现而变化。在具体情况中，申请人对术语进行选择并且在特定实施方式中描述这样的术语。结果，术语可以被理解为基于说明书的内容的含义，而不是仅理解为字面含义。
一种显示3D图像的方法可以包括考虑两个视点的立体成像法和考虑3个或更多视点的多视点图像。相反地，常规的单视点图像可以被称为单像方法。
立体成像法使用由间隔预定距离的左像机和右像机拍摄的同一对象的一对左图像和右图像。多视点图像方法使用由具有预定距离或角度的三个或更多个像机拍摄的3个或更多图像。在下文，将会采用立体成像法作为示例来描述本发明。然而，本发明的技术主题也可以应用于多视点成像法。而且“立体成像”可以在下文中被称为“立体”以方便描述。
立体图像或多视点图像可以以包括MPEG(运动图像专家组)在内的各种类型进行压缩和编码以进行发送。
例如，可以通过使用H.264/AVC(高级视频编码)来压缩和编码立体图像或多视点图像。这里，发送系统以反向H.264/AVC来解码接收的图像以获得3D图像。
立体图像的左视点图像和右视点图像这两者中的一个或者多视点图像中的一个图像可以被指定为基础层图像，并且立体图像的左视点图像和右视点图像这两者中的另一个或者多视点图像中的其它图像可以被指定为增强层图像。通过使用与在单像图像中使用的方法相同的预定方法来编码基础层的图像并且可以仅针对与基础层和增强层有关的图像的信息来编码和发送增强层的图像。例如，在用于基础层图像的压缩编码方法中可以使用JPEG、MPEG-2、MPEG-4、H264/AVC等等。根据本发明的该实施方式，使用H.264/AVC，在根据本实施方式的用于更高层图像的压缩编码方法中使用H.264/SVC(可伸缩视频编码)或者MVC(多视点视频编码)。
2D视频内容被作为技术标准的传统地面DVT标准化。为了使3D TV广播内容进行服务，应该定义用于3D视频内容的发送和接收的标准。接收机可以基于定义的发送和接收标准来接收并且处理广播信号，并且接收机适于支持3D广播服务。
可以在本发明中采用ATSC(高级电视系统委员会)标准来描述常规DTV发送和接收标准。
根据ATSC系统，可以发送和接收包括在系统信息中的用于处理广播内容的信息。例如，系统信息可以被称为服务信息并且具体地，其包括频道信息、节目信息、事件信息等等。在ATSC标准的情况下，系统信息可以包括在PSI/PSIP(节目专用信息/节目和系统信息协议)中以进行发送和接收，并且本发明不限于此。任何能够发送表格式的系统信息的协议都可以应用于本发明。
PSI是示例，其可以包括PAT(节目关联表)和PMT(节目映射表)。
PAT是可通过PID(分组ID)为“0”的分组传输的特殊信息，并且其可以传输与各节目对应的各PMT的PID信息。PMT可以传输传输流分组的PID信息和具有传输到传输流分组的PCR的PID信息。这里，各节目的ID和构成各节目的各视频和音频比特流可以被传输到传输流分组。如果对从PAT获取的PMT进行解析，则可以获取与节目的组成之间的关联相关的信息。
根据实施方式，PSIP可以包括VCT(虚拟频道表)、STT(系统时间表)、RRT(评级区域表)、ETT(扩展文本表)、DCCT(定向频道转换表)、DDCSCT(定向频道转换选择码表)、EIT(事件信息表)、MGT(主指南表)。
VCT可以传输与虚拟频道相关的信息，例如，用以选择频道的频道信息、用以接收视频和/或音频的PID(分组标识符)。如果对VCT进行解析，则可以从与频道标题、频道编号一起发送的频道信息中获取广播节目的音频和视频的PID。STT可以传输当前日期和时间的信息并且RRT可以传输与用于节目分集的授权审议和区域相关的信息。ETT可以传输有关于频道和广播节目的辅助说明，并且EIT可以传输关于虚拟频道的事件的信息。DCCT/DCCSCT可以传输有关于自动频道改变的信息并且MGT可以传输PSIP和PID信息内的每个表的版本。
立体图像的传输格式可以包括单视频流格式和多视频流格式。单视频流格式将两个视图的视频数据复用为单个视频流以进行传输并且其基于视频格式的方案包括并排格式、上下格式、交错格式以及棋盘格式。
单视频流格式基于半分辨率的视频数据发送和接收。根据该格式方案，特别减少了的半分辨率的左图像和右图像可以布置在单视频帧中。因此，根据显示类型和视频流格式的组合，将发生图像质量的劣化。即，在接收的视频格式不同于显示装置的显示格式时，将发生额外的分辨率。例如，如果接收到上下格式的视频数据，同时显示装置的显示格式为并排格式，则在垂直分辨率已经减少1/2的内容的输出期间，将出现其中水平分辨率被额外减少1/2的分辨率劣势。
然而，如果通过使用时域可缩放来传输立体视频流，则可以尽可能地减少这样的显示质量劣化问题并且特别地，可能存在利用全空间分辨率的优点。具体地，使用具有两层的时域SVC(可缩放视频编码)，经由基层基于多视频流格式传输与2D传统广播接收器兼容的基础视点视频流并且可以经由增强层传输用于3D广播服务的扩展视点视频流。
图1是示出了根据本发明的示例性实施方式的3D广播服务的数据配置的概念图。
立体显示用于描述根据图1的3D广播服务。
3D立体视频服务(1010)包括2D传统视频服务1020。虽然可以提供辅助3D视频服务，但是能够使用用于传统2D传统视频服务的基础设施并且3D立体视频服务可以保持与2D传统视频服务1020的兼容性以使用当前使用的广播发送和接收装置。2D传统视频服务1020包括2D视频流1030的发送和接收。例如，2D是基于与H.264/AVC兼容的H.264/SVS编码的基础视点的主视频流并且其可以经由基础层进行传输。
为了呈现3D立体视频服务1010，必须传输辅助视频流而不是包括在2D传统视频服务1020中的2D视频流1030。图1中所示的辅助视频流是2D视频流1040。例如，辅助视频流1040是基于H.264/SVC编码的扩展视点的辅视频流并且其可以经由增强层来传输。
在上面参照图1描述的以上主视频流和辅视频流的分辨率仅是示例。能够组合各种不同的分辨率，例如，半分辨率的主视频流、半分辨率的辅视频流、全分辨率的主视频流以及全分辨率的辅视频流。
如果3D立体视频服务1010试图显示两个视频流中的3D图像，则必须额外的发送和接收与该两个视频流相关的3D立体视频服务和信息。3D立体视频服务1010的这样的信息将被称为3D视频元数据，为便于下文的描述，其将被定义为表或者描述符。
图2是示出了使用时域可伸缩方案的编码左图像和右图像的帧顺序方法的图。
首先，每帧布置左图像的基础视点视频流。按照帧I、帧P1、帧P3和帧P4的顺序每帧布置基础视点视频流。基于帧之间的关系对各个帧进行编码，并且帧P1可以参照“I”，帧P2参照帧P1，帧P3参照帧P2并且帧P4参照帧P3。
扩展视点(即右视点)的视频流被按照帧顺序布置在基础视点的视频流中。如图2中所示，扩展视点的视频帧对应于帧B1、帧B2、帧B3和帧B4。根据布置的扩展视点的视频帧，帧B1可以参照帧I和帧P1。帧B2可以参照帧P1和帧P2。帧B3可以参照帧P2和帧P3。帧B4可以参照帧P3和帧P4。
接收系统可以参照相对帧I的前帧图片恢复基础视点的视频流的P1、P2、P3和P4并且其可以通过使用恢复出的基础视点的视频数据和从接收的扩展视点的视频流解码出的视频数据来按照B1、B2、B3、B4的顺序恢复扩展视点的视频数据。
如果如上所述地为3D广播服务传输由基础视点的视频流和扩展视点的视频流配置的视频流，则必须与3D广播服务一起传输与视频流相关的信息。3D视频元数据可以包括在PMT信息中、PMT信息包括在PSI或TVCT信息中、PSI或TVCT信息包括在PSIP中的情况下进行传输。将在下文描述3D视频元数据的这样的传输。在下文，3D视频元数据将被提供为表类型，作为3DTV服务位置描述符。
图3是示出了根据本发明的实施方式的包括立体格式信息的TVCT的语法结构的图。将在下面描述图3中示出的TVCT的字段。
“table_id”(表ID)字段是表示表区段的类型的8位未分配的整数字段。
“section_syntax_indicator”字段是对于“terrestrial_virtual_channel_table_section”字段应设置为“1”的一位字段。
“private_indicator”字段是应被设置为“1”的一位字段。
“section_length”字段是12位字段，其中头两位应被设置为“00”，并且描述了在“section_length”字段之后紧接着开始并且包括CRC在内的区段的字节的数目。
“transport_stream_id”字段表示16位MPEG-2传输流(TS)ID。“transport_stream_id”字段将地面虚拟频道表(TVCT)与在不同PTC中可以广播的其它地面虚拟频道表(TVCT)区分开。
“version_number”(版本号)字段是5位字段，表示虚拟频道表(VCT)的版本号。
“current_next_indicator”字段是一位指示符。在“current_next_indicator”字段被设置为“1”的情况下，这意味着发送的虚拟频道表(VCT)当前可用。当“current_next_indicator”字段的位被设置为“0”时，这意味着发送的表还不可用并且下一个表将变为可用的。
“section_number”字段是8位字段，其给出了该区段的编号。
“last_section_number”字段是8位字段，其描述了完整地面虚拟频道表(TVCT)的最后区段(即，具有最高section_number值的区段)的编号。
“protocol_version”字段是8位无符号整数字段，其用于允许表类型在将来携带被构造为不同于在当前协议中定义的参数的参数。
“num_channels_in_section”字段是8位字段，其描述了在该VCT区段中的虚拟频道的数目。
“short_name”字段可以表示虚拟频道的名称，表示为根据用于统一字符数据的UTF-16标准解释的一至七个16位码值的序列。
“major_channel_number”字段表示10位数字，其表示与在“for”环路的该循环中定义的虚拟频道相关的“主”频道编号。
“minor_channel_number”字段表示10位数字，其从“0”到“999”以表示“次要”或者“子”频道编号。该“minor_channel_number”字段和“major_channel_number”字段可以表示两部分频道编号，其中minor_channel_number表示编号的第二部分或右手部分。
“modulation_mode”(调制模式)字段包括8位无符号的整数，其可以表示与虚拟频道相关的发送载波的调制模式。
“carrier_frequency”(载波模式)字段可以表述允许的载波频率。
“channel_TSID”字段是16位无符号整数字段，其范围为0x0000至0xFFFF。“channel_TSID”字段表示与携带虚拟频道所引用的MPEG-2节目的传输流(TS)相关的MPEG-2传输流(TS)ID。
“program_number”(节目编号)字段包括16位无符号整数，其将这里定义的虚拟频道与MPEG-2节目关联并和TS节目映射表相关联。
“ETM_location”字段是2位字段，其描述扩展文本消息(ETM)的存在和位置。
“access_controlled”字段表示1位布尔标记。当设置“access_controlled”字段的布尔标记时，这意味着可以控制与虚拟频道关联的事件的访问。
“hidden”字段表示1位布尔标记。当设置“hidden”字段的布尔标记时，这意味着用户不能通过虚拟频道编号的直接输入访问虚拟频道。
“hide_guide”字段表示布尔标记。当对于隐藏频道将“hide_guide”字段的布尔标记设置为零“0”时，这意味着在EPG显示中可能出现虚拟频道和虚拟频道事件。
“service_type”字段是6位列举类型字段，其应识别在虚拟频道中携带的服务的类型。
“source_id”字段包括16位无符号整数，其识别与虚拟频道相关的编程源。
“descriptors_length”字段可以表示用于虚拟频道的描述符的总长度(字节)。
“descriptor()”字段可以包括被确定为适合于“descriptor()”字段的零或更多描述符。
“additional_descriptors_length”字段可以表示VCT描述符列表的总长度(字节)。
“CRC_32”字段是32位字段，其包含CRC值，其确保在处理整个地面虚拟频道表(TVCT)区段之后ISO/IEC 138181MPEG-2系统[8]的附A中定义的解码器中的寄存器的零输出。
service_type(服务类型)字段3010是表示对应的频道提供的广播服务是3D的字段。例如，service_type字段3010的字段值是0x11，其表示对应的虚拟频道提供包括用于显示3D立体图像的音频流、视频流和辅助视频流的3D广播节目。
descriptor字段3020包括3D视频元数据，将在下面参照图4进行描述。
图4是示出了根据本发明的实施方式的TVCT中包括的3DTV服务位置描述符的语法结构的图。
Number_elements字段表示构成对应的虚拟频道的视频元素的数目。广播接收机接收3DTV服务位置描述符，其可以解析包括在与构成对应的虚拟频道的视频元素数目相同的后随字段中的信息。
Base_view_flag字段表示对应的视频元素是否是基础视点的视频元素。包括在3DTV服务位置描述符中的信息可以包括用于3DTV广播服务的信息。例如，信息可以重复声明与已经包括在TVCT的服务位置描述符中的基础视点的视频相关的信息。在该情况下，Base_view_flag字段的字段值被设置为“1”以表示对应元素的视频数据是否是基础视点的视频数据。如果只有与3DTV相关的辅助信息被包括在3DTV服务位置描述符中，则可以只有stream_type字段表示的视频流类型是SVC扩展时可以在该描述符中仅包括辅助信息并且可以省略Base_view_flag。而且，可以推断出的是，基础视点的视频元素通过使用有关于扩展视点的视频元素的left_right_view字段的信息具有右或左视点。
left_right_view字段表示对应的视频元素是左视点还是右视点的视频元素。
Elementary_PID字段表示对应的视频元素的PID。3DTV服务位置描述符定义与具有Elementary_PID字段的PID的视频元素相关的信息。广播接收机可以从3DTV视频位置描述符获取具有对应PID的视频元素的3D视频显示的信息。
Stream_type(流类型)字段表示对应视频元素的编码类型，例如MPEG-2视频、H.264/AVC、SVC扩展、MVC扩展等等。
Frame_rate_code字段表示对应视频元素的帧率。帧率可以通过使用例如ATSCA/53部分4的表6.2的预定码值来定义。另外，基础层的帧率和增强层的帧率被相加以获得最终的速率。
图5是示出了根据本发明的实施方式的包括立体格式信息的PMT的语法结构的图，在下面描述图5中示出的PMT的字段。
“table_id”字段是8位字段，其在“TS_program_map_section”字段中应始终被设置为“0x02”。
“section_syntax_indicator”字段是一位字段，其应该被设置为“1”。
“section_length”字段是12位字段，其中头两位应被设置为“00”，并且描述了在“section_length”字段之后紧接着开始并且包括CRC的区段的字节的数目。
“program_number”字段是16位字段，其描述了“program_map_PID”字段可应用的节目。
“version_number”字段是5位字段，并且表示“TS_program_map_section”字段的版本号。
“current_next_indicator”字段是一位字段。在“current_next_indicator”字段被设置为“1”的情况下，这意味着发送的“TS_program_map_section”字段当前可用。当“current_next_indicator”字段的位被设置为“0”时，这意味着发送的“TS_program_map_section”字段还不可用并且下一个“TS_program_map_section”字段将是可用的。
“section_number”字段包括8位字段的值，其应为“0x00”。
“last_section_number”字段包括8位字段的值，其将为“0x00”。
“PCR_PID”字段是13位字段，表示将包含对于由“program_number”字段描述的程序有效的PCR字段的传输流(TS)分组的PID。如果没有PCR与用于私人流的节目定义相关联，则该字段应该取“0x1FFF”的值。
“program_info_length”字段是12位字段，其头两位应被设置为“00”。“program_info_length”字段描述了在紧随“program_info_length”字段之后的描述符的字节的数目。
“stream_type”字段是8位字段，其表示在具有其值由“elementary_PID”字段描述的PID的分组内携带的元素流或者有效负荷的类型。另外，“stream_type”字段可以表示对应的视频元素的编码类型。作为示例编码类型，可以使用JPEG、MPEG-2、MPEG-4、H.264/AVC、H.264/SVC或者H.264/MVC方案。
“elementary_PID”字段是13位字段，其表示携带关联元素流或者有效负荷的传输流(TS)分组的PID。该PID可以用作主视频数据或者辅视频数据的PID。
“ES_info_length”字段是12位字段，其头两位应为“00”。“ES_info_length”字段可以描述紧随“ES_info_length”字段之后的关联元素流的描述符的字节的数目。
“CRC_32”字段是32位字段，其包含CRC值，其给出在处理了整个传输流节目映射区段之后附B中定义的解码器中的寄存器的零输出。
descriptor字段5010包括与构成立体图像的视频流相关的信息，这将在下面参照图6进行描述。
图6是示出了根据本发明的实施方式的3DTV服务位置描述符的语法结构的图。
图6中的立体格式描述符与图4中的立体格式描述符类似，并且因此将省略相同字段的描述。这里，在PMT的情况下，视频元素的elementary_PID和stream_type字段的信息包括在PMT中，这与图4不同，并且将参照图4描述这些字段。
通常，SVC解码器基于按帧复用并且输入在单个比特流中的增强层和基础层的视频流进行操作。然而，在经由传输分组传输两层的视频流的情况下，不同的PID被给予每个层，从而可以将视频流作为独立元素传输。由于在接收器中输入的视频流的缓冲时序差异，帧级别的同步可能不一致。特别地，由于3D图像显示要求精确的帧同步，因此诸如帧的顺序和数目的帧同步信息应包括在传输分组中。这样的帧同步信息可以被包括在MPEG-2TS分组的头或者头的适应字段(adaptation field)中来传输。
图7是示出了包括帧信息的MPEG-2TS分组的适应字段的语法结构的图。
将参照图7描述包括在MPEG-2TS分组的适应字段中的字段。
adaptation_field_length(适应字段长度)字段是8位字段，其描述adaptation_field中紧随adaptation_field_length字段之后的字节数。值“0”用于将单个填充字节插入在传输流分组中。
Discontinuity_indicator字段是1位字段，其在被设置为“1”时表示对于当前传输流分组，不连续状态为真。
Random_access_indicator是1位字段。当被设置为“1”时，其表示同一PID的下一PES分组应包含PTS字段和元素流接入点。
Elementary_stream_priority_indicator是一位字段。其表示具有同一PID的分组当中，在该传输流分组的有效负荷中携带的元素流数据的优先级。
PCR_flag是一位标记。“1”的值表示adaptation_field包含PCR字段。“0”的值表示适应字段不包含任何PCR字段。
OPCR_flag是一位标记。“1”的值表示adaptation_field包含OPCR字段。“0”的值表示适应字段不包含任何OPCR字段。
Splicing_point_flag是一位标记。当设置为“1”时，其表示splice_countdown字段应存在于关联的适应字段中，描述剪接点的出现。“0”的值表示在适应字段中不存在plice_countdown字段。
Transport_private_data_flag是一位标记。“1”的值表示适应字段包含一个或更多个privat_data字节。“0”的值表示适应字段不包含任何privat_data字节。根据该实施方式，如果Transport_data_flag值为“1”，则读取private_data_byte。
Adaptation_field_extension_flag是一位字段，其当设置为“1”时表示适应字段扩展出现。“0”的值表示在适应字段中不存在适应字段扩展。
Program_clock_reference(PCR)字段是42位字段，其被编码为两部分；一部分被称为program_clock_reference_base(下一页的等式2-1)，以系统时钟频率(90kHz)乘以1/300为单位，并且是33位字段，并且另一部分被称为program_clock_reference_extension(下一页的等式2-2)，以系统时钟频率(27MHz)为单位，是9位字段。以PCR_flag表示其存在。PCR表示包含program_clock_reference_base的最后位的字节到达系统目标解码器的输入端时的期望时间。
可选原始节目参照(OPCR)字段是编码为两部分的42位字段。该两部分为基础部分和扩展部分，并且与PCR字段的两个对应部分相同地编码。通过OPCR_flag表示OPCR的存在。OPCR字段应该仅在其中存在PCR字段的传输流分组中编码。
splice_countdown是8位字段，表示可以为正或负的值。正值表示在达到剪接点之前的关联传输流分组之后的同一PID的传输流分组的剩余数目。
Transport_private_data_length  是8位字段，其表示紧随Transport_private_data_length字段之后的private_data字节的数目。private_data字节的数目不应该使得私人数据扩展超出适应字段。Transport_private_data_length字段的字段值可以为“5字节”。
private_data_byte字段将新的SVC_sync_data_byte定义为帧同步信息，将在下面进行描述。
adaptation_field_extension_length是8位字段。其表示该字段的结束之后的扩展适应字段数据的长度。
ltw_flag(legal_time_window_flag)字段是1位字段，其当被设置为“1”时表示ltw_offset字段的存在。
piecewise_rate_flag字段是1位字段，其当被设置为“1”时表示piecewise_rate字段的存在。
seamless_splice_flag字段是1位字段，其当被设置为“1”时应满足下面的条件。
ltw_valid_flag(legal_time_window_valid_flag)字段是1位字段，其当被设置为“1”时表示ltw_offset的值有效。“0”的值表示ltw_offset字段中的值未定义。
ltw_offset(legal_time_window_offset)字段是15位字段，仅当ltw_valid_flag具有“1”的值时定义其值。
piecewise_rate字段是22位字段并且是正值，其表示该PID的所有传输分组的比特速率，开始于包含该字段的分组并且结束于包含下次出现的该字段的PID的分组之前的该PID的分组。
splice_type字段是4位字段，其用于获得splice_decoding_delay和max_splice_rate。
DTS_next_au(decoding_time_stamp_next_access_unit)是编码为三部分的33位字段。其表示未剪接的或者无缝剪接的流的下一接入单元的DTS的值。
stuffing_byte字段是能够由编码器插入的等于“11111111”的固定8位值。
图8是示出了MPEG-2TS分组的适应字段中包括的帧同步信息的语法结构的图。
根据图8，帧同步信息可以在图7中所示的private_data_byte中定义为SVC_sync_data_byte。在SVC_sync_data_byte字段中定义的字段将在下面描述。
data_type字段表示对应的私人数据是否为SVC_sync_data_byte字段。
frame_num字段表示对应的TS分组的帧编号。该帧编号的信息可以为在解码视频数据中使用的帧编号，或者该信息可以用作使对应的视频数据被获知为属于特定立体图像对的帧单元的唯一标识符。结果，如果各视频流具有相等的帧编号，则接收系统识别出视频流(即使包括不同层)是构成单个立体图像对的右图像和左图像中的一个。
图9是示出了根据本发明的示例性实施方式的广播发射机的图。
图9中所示的广播发射机包括：3D图像预处理器9010，用于执行3D图像的图像处理；视频格式器9020，用于通过处理3D图像来格式化3D视频数据或者3D视频流；3D视频编码器9030，用于根据如MPEG-2方案的编码方案编码3D视频数据；SI(系统信息)处理器9040，用于生成系统信息；TP编码器9050，用于复用视频数据和系统信息并且用于编码TS分组以输出TS；以及发送单元9060，用于发送复用的广播信号。根据该实施方式，发送单元9060可以包括调制器9070和VSB编码器9080。将在下面描述构成广播发射机的元件的操作。
图10是示出了广播发射机的3D视频数据处理方法的流程图。
首先，3D图像预处理器对由多个镜头拍摄的3D图像执行所需的处理并且其输出多个3D图像或者视频数据。例如，如果通过使用立体方法提供3D广播服务，则可以输出两个视点的图像或者视频数据。
广播发射机通过使用视频格式器格式化立体视频数据(S10010)。根据该实施方式，广播发射机基于复用格式调整立体视频数据的大小并且输出调整了大小之后的数据。立体视频数据的视频格式化包括传输3D广播信号所需的各种图像处理，例如，调整大小、抽取、差值和复用。
广播发射机通过使用3D视频编码器编码立体视频数据(S10020)。根据该实施方式，广播发射机可以基于JPEG、MPEG-2、MPEG-4、H.264/AVC和H.264/MVC来编码立体视频数据。特别地，根据该实施方式的广播发射机基于与H.264/AVC兼容的H.264/SVC编码右视点视频数据和左视点视频数据这两者中的一个，即基础层的主视频流中的基础视点图像，并且其基于H.264/SVC编码右视点视频数据和左视点视频数据这两者中的另一个，即增强层的辅视频流中的扩展视点图像，以与主视频流的视频数据帧连续。这里编码之后发送的增强层的视频数据可以是从主视频流的视频数据中恢复增强层的视频数据所需要的关系数据。
广播发射机通过使用SI处理器生成包括3D视频元数据的系统信息(S10030)。根据该实施方式，3D视频元数据可以包括在系统信息的PSI/PSIP中，具体地，包括在PSI的PMT和PSIP的VCT中。3D视频元数据可以以表类型包括在PSI的PMT或者PSIP的VCT中作为3DTV服务位置描述符。
广播发射机可以将上述帧同步信息插入在TS分组头中并且其复用在3D视频编码器中编码的立体视频数据和在SI处理器中生成的系统信息以输出TS(S10040)。根据该实施方式，帧同步信息可以包括在3D视频数据中并且可以插入在3D视频TS分组的头中。
广播发射机可以使用发送单元调制并发送该输出TS(S10050)。
图11是示出了根据本发明的示例性实施方式的广播接收机的图。
图11中所示的广播接收机包括：接收单元11010，用于接收广播信号；TP解复用器(PID滤波器)11020，用于从广播信号中提取和输出系统信息和视频数据的数据流；SI处理器11030，用于解析系统信息；同步控制器11040，用于通过缓冲输入到解码器中的3D视频数据来控制同步；3D视频解码器(SVC解码器)11050，用于解码3D视频数据；以及输出格式器10060，用于格式化并且输出解码后的3D视频数据。接收单元10010可以包括调谐器和解调制器10070以及VSB解码器10080。3D视频解码器10050可以包括基础层解码器11090，用于解码基础层的视频数据；基础层图片存储器11010，用于在其中存储基础层的视频数据；增强层解码器11110，用于解码增强层的视频数据；层间预测单元11120，用于通过根据参照基础层的视频数据和增强层的视频数据的视频数据之间的关系预测图像来恢复图像；以及增强层图片存储器1130，用于在其中存储增强层的增强层的视频数据。在图11中，如果在辅助流中接收到视频数据，即，接收到两个立体视频流，则可以不提供层间预测单元11120。根据另一实施方式，接收的两个立体视频流在基础层解码器11090和增强层解码器11110中进行解码并且可以绕过层间预测单元11120输出到输出格式器11060。
图12是示出了依据本发明图11中所示的输出格式器的图。
图12中所示的输出格式器12010包括帧解复用器12020、大小调整单元12030以及12040、以及帧组合器12050。帧解复用器12020将解码出的3D视频数据按帧解复用为基础层的视频流和增强层的视频流。大小调整单元12030以及12040调整基础层的视频流和增强层的视频流的大小。帧组合器12050按照帧的顺序组合基础层的视频流和增强层的视频流以输出组合后的流。
根据该实施方式，可以接收并且解码两个立体视频流并且解码后的视频流可以输出到输出格式器12010。在该情况下，解码后的视频流可以分别输出到大小调整单元12030以及12040而不通过帧解复用器12020或者绕过帧解复用器12020。
将在图13中描述广播接收机中包括的组件的操作。
图13是示出了依据示例性实施方式的广播接收机的3D视频数据处理方法的流程图。
广播接收机通过使用接收单元接收包括具有帧同步信息的3D视频数据和系统信息的广播信号(S13010)。
广播接收机通过使用解复用器分类和输出广播信号中的3D视频数据和系统信息(S13020)。广播接收机经由PID分类3D视频数据和系统信息以进行输出。3D视频数据(特别地，基础层的基础视点视频流和增强层的扩展视点视频流)可以经由同步控制器相应地输出到基础层解码器和增强层解码器并且系统信息也可以输出到SI处理器。
根据该实施方式，帧同步信息可以包括在视频数据中。帧同步信息可以包括在基础视点视频流的TS分组以及扩展视点视频流的TS分组的头中。在该情况下，同步控制器从接收的视频TS分组的头中获取帧同步信息以控制3D视频的顺序输出。另选地，解复用器获取帧同步信息并且将获取的信息输出到同步控制器。
广播接收机通过使用SI处理器解析包括在广播信号中的系统信息以获取3D元数据(S13030)。根据该实施方式，广播接收机通过使用SI处理器接收包括在广播信号中的PSI的PMT和PSIP的VCT以获取3D视频元数据。3D视频元数据可以包括广播接收机的解复用器、解码器以及输出格式器处理3D视频数据所要求的信息。根据实施方式，3D视频元数据可以包括表示是否提供3D广播服务的信息、表示对应的视频元素属于哪个视点的视点信息、表示对应的视频元素的编码类型的流类型信息以及表示对应的视频元素的帧率的帧率信息。
广播接收机通过使用同步控制器按帧顺序输出基础层的基础视点视频流和增强层的扩展视点视频流(S13040)。根据一实施方式，广播接收机可以解析3D视频数据的TS分组仅用于获取添加到该头的帧同步信息并且其可以按照获取的帧同步信息按帧顺序将两个视频流输出到解码器。另选地，同步控制器的上述操作可以执行为包括在解复用器中。
广播接收机通过使用3D视频解码器解码3D视频数据(S13050)。这里，广播接收机可以基于获取的3D元数据执行解码。
根据一实施方式，在解码器中输入的3D视频数据包括基础层的基础视点视频流和增强层的扩展视点视频流。解码器可以使用基础层解码器解码基础层的基础视点视频流并且将解码出的图像存储在存储器中。因此，解码器可以使用增强层解码器解码增强层的扩展视点视频流并且存储解码出的扩展视点视频数据。解码器可以使用层间预测单元根据解码出的扩展视点视频数据和存储的基础视点图像预测、恢复和存储或者输出扩展视点的图像。当恢复扩展视点图像时，层间预测单元参照存储在存储器中的基础视点图像和扩展视点图像。
广播接收机通过使用输出格式器格式化和输出解码后的立体视频数据(S13060)。立体视频数据的格式化包括使用3D元数据处理接收的3D视频数据。而且，如果接收的立体视频数据的复用格式没有对应于显示装置提供的复用格式或者视频数据的输出类型不同，具体地，2D输出或者3D输出，则可以执行所需的图像处理，例如调整大小、分辨率上转换、分辨率下转换等等。
根据一实施方式，输出格式器可以接收解码后的基础视点的视频流和解码后的扩展视点的视频流。输出格式器可以通过使用帧解复用器按帧解复用接收的每层的视频流以输出解复用的视频流，并且其可以基于接收的格式和显示格式通过使用大小调整单元来进行大小调整。输出格式器可以通过使用帧组合器按帧顺序组合各层的调整了大小的视频流。
在下文将详细描述广播接收机的3D视频数据处理方法和同步控制操作。
首先，将描述在经由TVCT或者经由PMT获取3D视频元数据的情况下，广播接收机的操作。
(1)在经由TVCT接收3D元数据的情况下：
广播接收机可以通过使用TVCT的service_type字段确定虚拟频道是否提供3D广播服务。如果确定提供3D广播服务，则广播接收机通过使用3D视频元数据(服务位置描述符或者3D服务位置描述符)获取主视频流的elementary_PID信息(PIP_P)。然后，广播接收机通过使用3D视频元数据(3D服务位置描述符)获取辅视频流的elementary_PID信息(PIP_S)。广播接收机经由3D视频元数据检测用于主视频元素和副视频元素的立体显示的输出位置信息、帧率信息等等。
(a)在以2D模式观看的情况下，仅解码和显示对应于PID_P的视频流。
(b)在以3D模式观看的情况下，解码(例如SVC解码)对应于PID_P和PID_S的视频流。广播接收机根据显示装置的显示输出的特性执行调整大小、调整形状、3D格式转换等等，仅用于输出立体图像。
(2)在经由PMT接收3D图像格式信息的情况下：
广播接收机通过使用对应于各元素流的3D视频元数据(3DTV服务位置描述符)或者PMT的stream_type确定对应的流是主视频流还是辅视频流。这里，可以通过3D视频元数据(3DTV服务位置描述)的存在来确定对应的节目提供3D广播服务。如果确定出提供3D广播服务，则广播接收机获取对应于主视频流的elementary_PID信息(PIP_P)和对应于辅视频流的elementary_PID信息(PIP_S)，并且通过使用3D视频元数据确定用于主视频元素和副视频元素的立体显示的输出位置信息、帧率信息等等。然后，广播接收机通过使用program_number字段执行与经由TVCT提供的信息的映射以确定哪个虚拟频道提供对应的节目。
(a)在2D模式中观看的情况下，仅解码和显示对应于PID_P的视频流：
(b)在3D模式中观看的情况下，解码(例如SVC解码)对应于PID_P和PID_S的视频流。广播接收机执行调整大小、调整形状、3D格式转换等等以输出立体图像。
不同的实施方式可应用于格式化和输出解码后的主视频数据和辅视频数据的方法。基于显示装置的显示能力/类型，可以通过使用接收的用于空间复用格式输出(例如并排、上下以及行交错)的信息来执行大小调整，并且然后可以执行格式化。另选地，可以执行帧率转换以对应于显示装置支持的帧率。
(3)同步控制器的操作
通常，SVC解码器是基于具有被帧单元复用的基础层和增强层的视频流的单比特流设计的。这时，当经由TS分组发送两层的视频流时，不同的PID被给予待发送的各层的视频流，以使其被彼此独立地处理。由于在输入到解码器时的缓冲差异和两层之间的比特率的差异，输入到解码器中的信号实际上没有使视频流输入与帧级别对应同步。特别地，3D视频数据要求帧单元的精确同步并且需要同步控制器控制精确的同步。
广播接收器接收对应于与基础层对应的主视频流的PIP(PID_P)的TS分组和对应于与增强层对应的辅视频流对应的PID(PID_S)的TS分组。之后，广播接收机在设置在同步控制器中的缓冲器中缓冲接收到的TS分组。
因此，广播接收机获取对应于PID_P和PID_S的各TS分组的适应字段中的帧数目信息(frame_num)。这里，如果transport_private_data_flag是“1”，则读取private_data_byte并且第一字节是能够识别对应的私人数据是否为SVC_sync_data_byte的识别符并且其它四个字节是frame_num信息。该frame_num信息用作在视频解码中使用的帧编号或者作为确定对应的视频数据属于特定立体图像对的唯一帧单元的识别符。结果，如果如果不同层具有相同frame_num，则广播接收机可以确定这些不同层是构成单个立体图像对的右和左图像。
同步控制器在输出缓冲器中存储具有相同frame_num“K”的PID_P和PID_S。同步控制器将具有“K”的frame_num的PID的PID_P值的全部TS分组从缓冲器输出到视频解码器并且其将具有相同frame_num“K”的PID的PID_S值的全部传输分组输出到视频解码器。对于对应于下一TS分组的下一frame_num(frame_num＝K+1)的两层重复执行上述处理。
能够通过解复用器执行同步控制器的上述特定操作。换言之，解复用器可以通过使用如上所述的帧同步信息来顺序地输出基础层和增强层的视频流。在该情况下可以以与上述同步控制器的操作相同的方式执行解复用器的操作。
根据本发明的方法可以实现为能够在各种计算机装置中执行的程序命令以记录在计算机可读介质中。计算机可读介质可以组合或者独立地包括程序命令、数据文件以及数据结构。记录在介质中的程序命令可以被设计为专用于本发明或者为计算机软件领域中的技术人员公知。计算机可读记录介质的示例可以包括诸如硬盘、软盘和磁带的磁性介质、诸如CD-ROM和DVD的光学介质、诸如光磁软盘的光磁介质以及被特别构造为存储和执行程序命令的诸如ROM、RAM和闪存的硬件装置。程序命令的示例可以包括由编译器制作的机器代码以及通过使用解释器可由计算机执行的高级语言代码。上述硬件装置可以被构造为由一个或更多软件模块操作以执行本发明的上述操作并且反之亦然。
本领域技术人员应理解的是，在不偏离本发明的精神或范围的情况下，能够在本发明中进行各种修改和变化。因此，本发明意在涵盖落入所附权利要求及其等价物的范围内的本发明的修改和变化。
本发明的模式
已经在实施本发明的最佳模式中描述了各种实施方式。
工业实用性
如上所述，本发明的实施方式可以整体或部分地应用于数字广播系统。
广播接收器能够处理3D视频数据，从而在3D广播服务中反映3D广播服务提供商所希望的3D效果。广播接收器能够同时有效地提供3D广播服务，同时最小化对于传统2D广播服务的影响。
本领域技术人员将理解的是，在不偏离本发明的精神或范围的情况下，能够在本发明中进行各种修改和变化。因此，本发明意在涵盖落入所附权利要求及其等价物的范围内的本发明的修改和变化。

Claims (18)

1.一种广播发射机的3D视频数据处理方法，所述方法包括：
通过编码器基于SVC方案编码包括基础层的基础视点视频数据和增强层的扩展视点视频数据的3D视频数据，其中按帧顺序编码所述基础视点视频数据和所述扩展视点视频数据，其中，所述扩展视点视频数据的帧被按帧顺序布置在所述基础视点视频数据的帧之间，并且其中所述扩展视点视频数据的帧表示作为所述扩展视点视频数据的前一帧和下一帧的所述基础视点视频数据的帧；
通过系统信息处理器生成包括3D视频元数据的系统信息，其中所述3D视频元数据包括表示对应的视频元素是左视点的视频元素还是右视点的视频元素的视点信息；
通过TP编码器，将帧同步信息插入在所述3D视频数据中并且复用所述3D视频数据和系统信息以输出传输流，其中所述帧同步信息包括指定用于所述基础层的所述基础视点视频数据和所述增强层的所述扩展视点视频数据的帧的帧编号的帧编号信息，其中所述帧编号信息被用于将来自所述基础视点视频数据的帧和来自所述扩展视点视频数据的帧指定为单个立体图像对；以及
通过发送单元调制和发送所述传输流。
2.如权利要求1所述的3D视频数据处理方法，其中所述3D视频元数据包括在所述系统信息的PMT或者TVCT中。
3.如权利要求1所述的3D视频数据处理方法，其中所述3D视频元数据包括下述信息中的至少一个：表示是否提供3D广播服务的信息、表示对应的视频元素的编码类型的流类型信息、和表示对应的视频元素的帧率的帧率信息。
4.如权利要求1所述的3D视频数据处理方法，其中所述帧同步信息包括在3D视频数据的TS分组头的适应字段中。
5.一种广播发射机，所述广播发射机包括：
编码器，其基于SVC方案编码包括基础层的基础视点视频数据和增强层的扩展视点视频数据的3D视频数据，其中按帧顺序编码所述基础视点视频数据和所述扩展视点视频数据，其中，所述扩展视点视频数据的帧被按帧顺序布置在所述基础视点视频数据的帧之间，并且其中所述扩展视点视频数据的帧表示作为所述扩展视点视频数据的前一帧和下一帧的所述基础视点视频数据的帧；
系统信息处理器，其生成包括3D视频元数据的系统信息，其中所述3D视频元数据包括表示对应的视频元素是左视点的视频元素还是右视点的视频元素的视点信息；
TP编码器，其通过将帧同步信息插入在所述3D视频数据中并且复用所述3D视频数据和所述系统信息来输出传输流，其中所述帧同步信息包括指定用于所述基础层的所述基础视点视频数据和所述增强层的所述扩展视点视频数据的帧的帧编号的帧编号信息，其中所述帧编号信息被用于将来自所述基础视点视频数据的帧和来自所述扩展视点视频数据的帧指定为单个立体图像对；以及
发送单元，其调制和发送所述传输流。
6.如权利要求5所述的广播发射机，其中所述3D视频元数据包括在所述系统信息的PMT或者TVCT中。
7.如权利要求5所述的广播发射机，其中所述3D视频元数据包括下述信息中的至少一个：表示是否提供3D广播服务的信息、表示对应的视频元素的编码类型的流类型信息和表示对应的视频元素的帧率的帧率信息。
8.如权利要求5所述的广播发射机，其中所述帧同步信息包括在3D视频数据的TS分组头的适应字段中。
9.一种广播接收机的3D视频数据处理方法，所述方法包括：
通过接收单元接收包括3D视频数据和系统信息的广播信号，所述3D视频数据包括基于SVC方案的基础层的基础视点视频数据和增强层的扩展视点视频数据以及帧同步信息，其中所述基础视点视频数据和所述扩展视点视频数据按帧顺序编码，其中，所述扩展视点视频数据的帧被按帧顺序布置在所述基础视点视频数据的帧之间，并且其中所述扩展视点视频数据的帧表示作为所述扩展视点视频数据的前一帧和下一帧的所述基础视点视频数据的帧；
通过解复用器解复用所述3D视频数据和所述系统信息；
通过系统信息处理器解析所述系统信息来获取3D视频元数据，其中所述3D视频元数据包括表示对应的视频元素是左视点的视频元素还是右视点的视频元素的视点信息；
通过同步控制器，从所述3D视频数据中获取帧同步信息并且基于获取的帧同步信息按帧顺序输出所述视频数据，其中所述帧同步信息包括指定用于所述基础层的所述基础视点视频数据和所述增强层的所述扩展视点视频数据的帧的帧编号的帧编号信息，其中所述帧编号信息被用于将来自所述基础视点视频数据的帧和来自所述扩展视点视频数据的帧指定为单个立体图像对；以及
通过解码器基于所述3D视频元数据解码所述3D视频数据。
10.如权利要求9所述的3D视频数据处理方法，其中所述3D视频元数据包括在所述系统信息的PMT或者TVCT中。
11.如权利要求9所述的3D视频数据处理方法，其中所述帧同步信息包括在所述3D视频数据的TS分组头的适应字段中。
12.如权利要求9所述的3D视频数据处理方法，其中所述3D视频元数据包括下述信息中的至少一个：表示是否提供3D广播服务的信息、表示对应的视频元素的编码类型的流类型信息和表示对应的视频元素的帧率的帧率信息。
13.一种广播接收机，所述广播接收机包括：
接收单元，其接收包括3D视频数据和系统信息的广播信号，所述3D视频数据包括基于SVC方案的基础层的基础视点视频数据和增强层的扩展视点视频数据以及帧同步信息，其中所述基础视点视频数据和所述扩展视点视频数据按帧顺序编码，其中，所述扩展视点视频数据的帧被按帧顺序布置在所述基础视点视频数据的帧之间，并且其中所述扩展视点视频数据的帧表示作为所述扩展视点视频数据的前一帧和下一帧的所述基础视点视频数据的帧；
解复用器，其解复用所述3D视频数据和所述系统信息；
系统信息处理器，其通过解析所述系统信息获取3D视频元数据，其中所述3D视频元数据包括表示对应的视频元素是左视点的视频元素还是右视点的视频元素的视点信息；
同步控制器，其从所述3D视频数据中获取所述帧同步信息并且基于所获取的帧同步信息按帧顺序输出所述视频数据，其中所述帧同步信息包括指定用于所述基础层的所述基础视点视频数据和所述增强层的所述扩展视点视频数据的帧的帧编号的帧编号信息，其中所述帧编号信息被用于将来自所述基础视点视频数据的帧和来自所述扩展视点视频数据的帧指定为单个立体图像对；以及
解码器，其基于所述3D视频元数据解码所述3D视频数据。
14.如权利要求13所述的广播接收机，其中所述3D视频元数据包括在所述系统信息的PMT或者TVCT中。
15.如权利要求13所述的广播接收机，其中所述帧同步信息包括在所述3D视频数据的TS分组头的适应字段中。
16.如权利要求13所述的广播接收机，其中所述3D视频元数据包括下述信息中的至少一个：表示是否提供3D广播服务的信息、表示对应的视频元素的编码类型的流类型信息、和表示对应的视频元素的帧率的帧率信息。
17.一种广播接收机的3D视频数据处理方法，所述方法包括：
通过接收单元接收包括3D视频数据和系统信息的广播信号，所述3D视频数据包括基于SVC方案的基础层的基础视点视频数据和增强层的扩展视点视频数据以及帧同步信息，其中所述基础视点视频数据和所述扩展视点视频数据按帧顺序编码，其中，所述扩展视点视频数据的帧被按帧顺序布置在所述基础视点视频数据的帧之间，并且其中所述扩展视点视频数据的帧表示作为所述扩展视点视频数据的前一帧和下一帧的所述基础视点视频数据的帧；
通过解复用器解复用所述3D视频数据和所述系统信息；
通过系统信息处理器解析所述系统信息获取3D视频元数据，其中所述3D视频元数据包括表示对应的视频元素是左视点的视频元素还是右视点的视频元素的视点信息；
通过解复用器，从所述3D视频数据中获取所述帧同步信息并且基于所获取的帧同步信息按帧顺序输出所述视频数据，其中所述帧同步信息包括指定用于所述基础层的所述基础视点视频数据和所述增强层的所述扩展视点视频数据的帧的帧编号的帧编号信息，其中所述帧编号信息被用于将来自所述基础视点视频数据的帧和来自所述扩展视点视频数据的帧指定为单个立体图像对；以及
通过解码器基于所述3D视频元数据解码所述3D视频数据。
18.一种广播接收机，所述广播接收机包括：
接收单元，其接收包括3D视频数据和系统信息的广播信号，所述3D视频数据包括基于SVC方案的基础层的基础视点视频数据和增强层的扩展视点视频数据以及帧同步信息，其中所述基础视点视频数据和所述扩展视点视频数据按帧顺序编码，其中，所述扩展视点视频数据的帧被按帧顺序布置在所述基础视点视频数据的帧之间，并且其中所述扩展视点视频数据的帧表示作为所述扩展视点视频数据的前一帧和下一帧的所述基础视点视频数据的帧；
解复用器，其解复用所述3D视频数据和所述系统信息；
系统信息处理器，其通过解析所述系统信息获取3D视频元数据，其中所述3D视频元数据包括表示对应的视频元素是左视点的视频元素还是右视点的视频元素的视点信息；
解码器，其基于所述3D视频元数据解码所述3D视频数据，其中所述解复用器还从所述3D视频数据中获取所述帧同步信息并且基于所获取的帧同步信息按帧顺序输出所述视频数据，
其中所述帧同步信息包括指定用于所述基础层的基础视点视频数据和所述增强层的扩展视点视频数据的帧的帧编号的帧编号信息，其中所述帧编号信息被用于将来自所述基础视点视频数据的帧和来自所述扩展视点视频数据的帧指定为单个立体图像对。
CN201080026626.XA 2009-06-16 2010-03-04 广播发射机、广播接收机及其3d视频处理方法 Expired - Fee Related CN102461183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510415432.3A CN105025309A (zh) 2009-06-16 2010-03-04 广播发射机及其3d视频数据处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US18763509P 2009-06-16 2009-06-16
US61/187,635 2009-06-16
PCT/KR2010/001363 WO2010147289A1 (en) 2009-06-16 2010-03-04 Broadcast transmitter, broadcast receiver and 3d video processing method thereof

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510415432.3A Division CN105025309A (zh) 2009-06-16 2010-03-04 广播发射机及其3d视频数据处理方法

Publications (2)

Publication Number Publication Date
CN102461183A CN102461183A (zh) 2012-05-16
CN102461183B true CN102461183B (zh) 2015-08-19

Family

ID=43356568

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080026626.XA Expired - Fee Related CN102461183B (zh) 2009-06-16 2010-03-04 广播发射机、广播接收机及其3d视频处理方法
CN201510415432.3A Pending CN105025309A (zh) 2009-06-16 2010-03-04 广播发射机及其3d视频数据处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510415432.3A Pending CN105025309A (zh) 2009-06-16 2010-03-04 广播发射机及其3d视频数据处理方法

Country Status (5)

Country Link
US (2) US9088817B2 (zh)
KR (1) KR101683119B1 (zh)
CN (2) CN102461183B (zh)
CA (1) CA2765570C (zh)
WO (1) WO2010147289A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
HUE037388T2 (hu) 2009-10-20 2018-08-28 Ericsson Telefon Ab L M Kiegészítõ feldolgozási információ biztosítása
US9237366B2 (en) * 2010-04-16 2016-01-12 Google Technology Holdings LLC Method and apparatus for distribution of 3D television program materials
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
KR20120015260A (ko) * 2010-07-20 2012-02-21 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
EP2424251A3 (en) * 2010-08-23 2012-12-26 Lg Electronics Inc. Method for providing 3d video data in a 3dtv
KR101869103B1 (ko) 2011-01-26 2018-06-19 한국전자통신연구원 실시간 방송 프로그램의 기준 영상과 부가 영상간의 동기화 방법 및 이를 수행하는 송수신 시스템
US9185386B2 (en) 2011-06-01 2015-11-10 Panasonic Intellectual Property Management Co., Ltd. Video processing device, transmission device, video processing system, video processing method, transmission method, computer program and integrated circuit
US9060180B2 (en) * 2011-06-10 2015-06-16 Dolby Laboratories Licensing Corporation Drift-free, backwards compatible, layered VDR coding
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
US9001728B2 (en) * 2011-08-05 2015-04-07 Broadcom Corporation Data transmission across independent streams
EP2780860A1 (en) * 2011-11-14 2014-09-24 ST-Ericsson SA Method for managing public and private data input at a device
ITTO20120134A1 (it) * 2012-02-16 2013-08-17 Sisvel Technology Srl Metodo, apparato e sistema di impacchettamento di frame utilizzanti un nuovo formato "frame compatible" per la codifica 3d.
US8806556B2 (en) * 2012-03-11 2014-08-12 Broadcom Corporation Audio/video channel bonding by chunk
CN104584547B (zh) * 2012-06-05 2017-03-08 Lg电子株式会社 用于处理3d广播服务的广播信号的方法和装置
KR101385606B1 (ko) * 2012-08-28 2014-04-16 국민대학교산학협력단 3차원 스트리밍 방송 수신 방법 및 그 방법을 실행하는 멀티 모드 단말기
CA2890508C (en) * 2012-11-12 2017-08-15 Lg Electronics Inc. Apparatus for transreceiving signals and method for transreceiving signals
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
JP5774652B2 (ja) 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN106303673B (zh) * 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
CN107925780B (zh) * 2015-08-20 2021-03-19 Lg 电子株式会社 广播信号发送方法及广播信号接收方法
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US10291910B2 (en) 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10163029B2 (en) 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image luminance data
WO2018076354A1 (zh) * 2016-10-31 2018-05-03 华为技术有限公司 图像数据的帧同步方法、图像信号处理装置及终端
US10198862B2 (en) 2017-01-23 2019-02-05 Gopro, Inc. Methods and apparatus for providing rotated spherical viewpoints
US11563947B2 (en) 2019-12-31 2023-01-24 Tencent America LLC Signaling output picture size for reference picture resampling
JP7230981B2 (ja) * 2020-09-30 2023-03-01 ソニーグループ株式会社 受信装置および受信方法
CN116347140A (zh) * 2021-12-22 2023-06-27 京东方科技集团股份有限公司 视频同步播放方法及装置、存储介质、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1771734A (zh) * 2004-01-20 2006-05-10 学校法人大洋学园 用于视频的三维编码和/或解码的方法、介质及装置
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US8842666B2 (en) * 2005-05-13 2014-09-23 Qualcomm Incorporated Methods and apparatus for packetization of content for transmission over a network
US20090222855A1 (en) * 2005-05-24 2009-09-03 Jani Vare Method and apparatuses for hierarchical transmission/reception in digital broadcast
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
WO2007107936A2 (en) * 2006-03-23 2007-09-27 Koninklijke Philips Electronics N.V. Coding device and method for scalable encoding of movie containing fields
JP5170786B2 (ja) * 2006-10-25 2013-03-27 韓國電子通信研究院 マルチビュービデオのスケーラブルコーディングおよびデコーディング方法、ならびにコーディングおよびデコーディング装置
CN101690200B (zh) * 2007-05-04 2012-06-20 韩国电子通信研究院 用于在数字多媒体广播系统中提供高质量多媒体服务的方法和设备
US8922621B2 (en) 2007-10-19 2014-12-30 Samsung Electronics Co., Ltd. Method of recording three-dimensional image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1771734A (zh) * 2004-01-20 2006-05-10 学校法人大洋学园 用于视频的三维编码和/或解码的方法、介质及装置
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法

Also Published As

Publication number Publication date
CA2765570A1 (en) 2010-12-23
WO2010147289A1 (en) 2010-12-23
CN105025309A (zh) 2015-11-04
KR20120036848A (ko) 2012-04-18
CN102461183A (zh) 2012-05-16
CA2765570C (en) 2016-05-03
US9578302B2 (en) 2017-02-21
US20120092453A1 (en) 2012-04-19
KR101683119B1 (ko) 2016-12-06
US20150350625A1 (en) 2015-12-03
US9088817B2 (en) 2015-07-21

Similar Documents

Publication Publication Date Title
CN102461183B (zh) 广播发射机、广播接收机及其3d视频处理方法
JP6034420B2 (ja) ３次元映像の再生のための付加情報が挿入された３次元映像データストリーム生成方法及びその装置、３次元映像の再生のための付加情報が挿入された３次元映像データストリーム受信方法及びその装置
KR100970649B1 (ko) 수신 시스템 및 데이터 처리 방법
US9019343B2 (en) Image data transmission device, image data transmission method, and image data reception device
US9756311B2 (en) Broadcast transmitter, broadcast receiver and 3D video data processing method thereof
CN102415100B (zh) 广播接收机及其3d视频数据处理方法
CN102388620B (zh) 广播接收机和三维视频数据处理方法
US20130002819A1 (en) Receiving system and method of processing data
US20100208750A1 (en) Method and appartus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
WO2011136239A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR20120013307A (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US8953019B2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
WO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US20140049606A1 (en) Image data transmission device, image data transmission method, image data reception device, and image data reception method
KR20140000128A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
KR101869103B1 (ko) 실시간 방송 프로그램의 기준 영상과 부가 영상간의 동기화 방법 및 이를 수행하는 송수신 시스템
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150819

Termination date: 20190304

CF01 Termination of patent right due to non-payment of annual fee