CN102860000B - 产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备 - Google Patents
产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备 Download PDFInfo
- Publication number
- CN102860000B CN102860000B CN201180016819.1A CN201180016819A CN102860000B CN 102860000 B CN102860000 B CN 102860000B CN 201180016819 A CN201180016819 A CN 201180016819A CN 102860000 B CN102860000 B CN 102860000B
- Authority
- CN
- China
- Prior art keywords
- information
- video data
- stream
- viewpoint
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2362—Generation or processing of Service Information [SI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Abstract
提供了一种产生用于提供三维(3D)多媒体服务的数据流的方法以及用于接收所述数据流的方法和设备。所述产生方法包括:从用于提供二维(2D)多媒体服务或3D多媒体服务的节目产生包括每个视点的视频数据的至少一个基本流(ES);产生关于所述节目的节目映射表(PMT)信息,PMT信息包括关于所述至少一个ES的参考信息和用于识别和再现每个视点的视频数据的3D附加信息;通过对所述至少一个ES和PMT信息进行打包而产生打包的基本流(PES)包,并对PES包进行复用,来产生至少一个传输流(TS)。
Description
技术领域
与示例性实施例一致的设备和方法涉及用于提供三维(3D)多媒体服务的数据流的发送和接收。
背景技术
在基于运动图像专家组(MPEG)传输流(TS)的数字广播方法中,发送终端将未压缩的视频数据和未压缩的音频流插入各个基本流(ES)中,对每个ES进行复用以产生TS,并经由信道发送TS。
TS包括与ES一起的节目说明信息(PSI)。PSI典型地包括节目关联表(PAT)信息和节目映射表(PMT)信息。提供单个节目信息的PMT信息描述针对每个ES的包标识符(PID),PAT信息描述用于每条PMT信息的PID。
接收终端经由信道接收TS,并通过与在发送终端中执行的处理相反的处理来从TS提取ES。由显示装置恢复和再现包含在ES中的数字内容。
发明内容
技术问题
3D附加信息和参考信息(或3D描述符信息)被附加地插入现有技术的MPEGTS系统的PMT信息中的视频描述符信息中,并且3D附加信息和参考信息(或3D描述符信息)被识别和提取以被用于再现3D视频。
技术方案
根据示例性实施例的一方面,提供了一种产生用于提供3D多媒体服务的数据流的方法,所述方法包括:从用于提供二维(2D)多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES;产生关于所述节目的节目映射表(PMT)信息,所述PMT信息包括关于所述至少一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息;通过对经由对所述至少一个ES进行打包而产生的打包的基本流(PES)包以及所述PMT信息进行复用,来产生至少一个传输流(TS)。
有益效果
包括PMT信息的数据流被发送,其中,PMT信息包括3D附加信息和参考信息(或3D描述符信息),由于接收所述数据流的接收系统能够不管3D附加信息和参考信息(或3D描述符信息)而仅提供2D多媒体服务,因此所述接收系统保持与现有技术MPEGTS系统的兼容性,另外,所述接收系统能够提供3D多媒体服务。
此外,由于本发明可通过使用由现有技术MPEGTS系统定义的流类型信息来设置每个ES的流类型信息,因此,与现有技术MPEGTS系统的数据流结构相比,新的流类型可不被附加地指定附加比特,也不被分配附加比特。
附图说明
图1是根据示例性实施例的产生用于提供三维(3D)多媒体服务的数据流的设备的框图;
图2是根据示例性实施例的接收用于提供3D多媒体服务的数据流的设备的框图;
图3是根据示例性实施例的基于运动图像专家组(MPEG)传输流(TS)系统发送数字广播的设备的框图;
图4是根据示例性实施例的基于MPEGTS系统接收数字广播的设备的框图;
图5是根据示例性实施例的根据产生数据流的设备发送用于发送多个视频基本流(ES)的MPEGTS的设备的框图;
图6是根据示例性实施例的根据接收数据流的设备接收用于接收多个视频ES的MPEGTS的设备的框图;
图7是用于描述根据示例性实施例的3D复合格式的表;
图8是示出根据示例性实施例的形成3D视频的多个视点中的视频数据的ES的各种组合的表;
图9A示出根据示例性实施例的在节目映射表(PMT)信息的3D附加信息中的关于主ES的3D视频描述符信息中包括的关于子ES的3D视频描述符信息的示例;
图9B示出图9A的PMT信息的流结构;
图10A示出根据示例性实施例的在PMT信息的3D附加信息中被顺序包括的关于主ES的3D视频描述符信息和关于子ES的3D视频描述符信息的示例;
图10B示出图10A的PMT信息的流结构;
图11示出根据示例性实施例的使用模式转换信息的示例;
图12示出根据示例性实施例的当以不同尺寸发送左视点视频和右视点视频时的示例;
图13示出根据示例性实施例的使用宽高比信息的示例;
图14是根据示例性实施例的用于传输3D视频数据流的系统的框图,在所述系统中,实现了用于发送数据流的设备和用于接收数据流的设备;
图15是示出根据示例性实施例的产生用于提供3D多媒体服务的数据流的方法的流程图;
图16是示出根据示例性实施例的接收用于提供3D多媒体服务的数据流的方法的流程图。
最佳实施方式
根据示例性实施例的一方面,提供了一种产生用于提供3D多媒体服务的数据流的方法,所述方法包括:从用于提供二维(2D)多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES;产生关于所述节目的节目映射表(PMT)信息,所述PMT信息包括关于所述至少一个ES的参考信息和用于识别和再现每个视点的视频数据的3D附加信息;通过对所述至少一个ES和节目映射表信息进行打包而产生打包的基本流(PES)包,并对PES包进行复用,来产生至少一个传输流(TS)。
产生节目映射表信息的步骤可包括:将关于主视频数据的3D附加信息插入PMT信息的主ES的描述符信息,其中,主视频数据被插入所述至少一个ES的主ES;将关于子视频数据的3D附加信息和参考信息中的至少一个插入主ES的描述符信息,其中,子视频数据包括在所述至少一个ES中的子ES中,其中,主视频数据和子视频数据可分别是第一视点视频数据和第二视点视频数据的组合。
关于主视频数据的3D附加信息还可包括关于子ES的参考信息,所述子ES包括子ES的流类型信息和子ES的包标识符(PID)信息中的至少一个。
插入关于子视频数据的3D附加信息和参考信息中的至少一个的步骤可包括:将来自关于子ES的参考信息的子ES的流类型信息设置为由MPEG系统指定的补充视频流的值。
插入关于子视频数据的3D附加信息和参考信息中的至少一个的步骤可包括:如果所述至少一个ES中子ES的数量为二或更多,则根据每个子ES设置3D附加信息和参考信息中的至少一个。
关于主视频数据的3D附加信息可包括主视频数据的图像格式信息、主视频数据的图像格式的视点排列顺序信息、关于子ES的数量的信息中的至少一个。
关于子视频数据的3D附加信息可包括子ES的子视频数据的图像格式信息、主视频数据和子视频数据的显示顺序信息、针对小孩或成人的3D效果调整信息和指示每个视点的视频数据的子视频数据的子视频索引信息。
产生PMT信息的步骤可包括:根据所述至少一个ES,将ES信息顺序地插入PMT信息,其中,ES信息包括各ES的流类型信息、PID信息和视频流描述符信息。
产生PMT信息的步骤还可包括:将3D视频描述符信息插入PMT信息,其中,3D视频描述符信息包括关于包括在所述至少一个ES的主ES中的主视频数据的3D附加信息。
插入3D视频描述符信息的步骤可包括:将关于所述至少一个ES的数量的信息和所述至少一个ES的图像格式信息插入3D视频描述符信息。
如果所述至少一个ES的数量为1,则所述至少一个ES的图像格式信息可指示每个视点的视频数据中的主视点视频数据和子视点视频数据被复合的3D复合格式,如果所述至少一个ES的数量等于或大于2,则所述至少一个ES的图像格式信息可指示每个视点的视频数据包括主视点视频数据以及关于主视点视频数据的子视点视频数据的深度信息、关于主视点视频数据的子视点视频数据的视差信息和子视点视频数据中的至少一个。
产生PMT信息的步骤可包括:将关于对包括在子ES中的子视频数据进行编码和解码的方法的编解码信息插入关于所述至少一个ES中的子ES的ES信息。
产生PMT信息的步骤可包括:将包括3D附加信息和参考信息中的至少一个的子ES视频描述符信息插入关于所述至少一个ES中的子ES的ES信息。
插入子ES视频描述符信息的步骤可包括:将指示关于主视点视频数据的子视点视频数据的深度信息或视差信息是否与子视点视频数据一起被同时发送的信息以及3D混合格式信息插入子ES视频描述符信息。
插入子ES视频描述符信息的步骤可包括:将指示子视频数据是否是关于主视点视频数据的子视点视频数据和子视点视频数据的深度信息或视差信息中的至少一个的信息插入子ES视频描述符信息。
插入子ES视频描述符信息的步骤还可包括:如果子视点视频数据是子视点视频数据,则将子视点视频参数插入子ES视频描述符信息中,其中,子视点视频参数包括关于与子视点ES有关的主视点ES的PID信息以及指示子视频数据是左视点视频数据还是右视点视频数据的信息中的至少一个。
子视点视频参数可包括指示子视点视频数据的图像尺寸的信息,从而在再现3D多媒体服务的同时将主视点视频数据和子视点视频数据的图像尺寸调整为相同。
插入ES信息的步骤可包括:将关于所述至少一个ES中的子ES的ES信息中的流类型信息设置为MPEG系统指定的补充视频流的值。
插入子ES视频描述符信息可包括:如果子ES的数量等于或大于2,则根据每个子ES设置子ES视频描述符信息。
产生PMT信息的步骤可包括:将指示3D视频数据是否包括在所述至少一个TS中的3D通知描述符信息插入PMT信息。
3D通知描述符信息可包括:指示是否存在3D通知指示图标(用于指示3D视频数据被包括在当前ES中)的信息、指示与当前PMT信息的当前模式信息不同的模式信息是否包括在当前PMT信息之后的后续PMT信息中的2D/3D模式切换信息、指示2D模式和3D模式被切换的时间点的切换时间戳信息以及2D模式和3D模式被切换时将在屏幕上显示的消息的文本信息中的至少一个。
产生PMT信息的步骤还可包括:将2D/3D传输信息插入PMT信息,其中,2D/3D传输信息包括2D/3D模式信息和2D/3D模式切换信息中的至少一个,2D/3D模式信息指示2D视频数据、3D视频数据以及2D和3D视频数据的组合数据中的任何一个中否包括在当前ES中,2D/3D模式切换信息指示当前PMT信息的2D/3D模式信息是否在当前PMT信息之后的后续PMT信息中被切换。
产生PMT信息的步骤可包括,如果每个视点的视频数据中的主视点视频数据和子视点视频数据的尺寸和宽高比中的至少一个不同,则将宽高比描述符信息插入PMT信息,其中,宽高比描述符信息包括关于在3D再现期间调整用于显示主视点视频数据和子视点视频数据的区域的方法的修剪偏移信息。
所述方法还可包括:在将所述至少一个TS与信道同步之后,使用信息发送将所述至少一个TS。
根据另一示例性实施例的一方面,提供了一种接收用于提供3D多媒体服务的数据流的方法,所述方法包括:接收关于提供2D多媒体服务或3D多媒体服务的节目的至少一个TS;通过对所述至少一个TS进行解复用,提取关于节目的PES包和关于节目的PMT信息;从PMT信息提取关于包括节目的每个视点的视频数据的至少一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息;通过使用提取的关于通过对PES包进行解包而提取的ES中的所述至少一个ES的参考信息,恢复所述至少一个ES,并从所述至少一个ES提取每个视点的视频数据。
所述方法还可包括:通过使用3D附加信息和参考信息中的至少一个,以3D再现提取的每个视点的视频数据。
从PMT信息提取参考信息和3D附加信息的步骤可包括:从PMT信息提取关于所述至少一个ES中的主ES的参考信息和主ES的描述符信息中的关于包括在主ES中的主视频数据的3D附加信息中的至少一个;从主ES的描述符信息提取关于所述至少一个ES中的子ES的参考信息和关于包括在子ES中的子视频数据的3D附加信息中的至少一个,其中,主视频数据和子视频数据分别是第一视点视频数据和第二视点视频数据的组合。
提取关于3D附加信息和参考信息的步骤可包括,如果子ES的数量大于或等于2,则根据每个子ES提取3D附加信息和参考信息中的至少一个。
从PMT信息提取参考信息和3D附加信息的步骤可包括:根据所述至少一个ES,从PMT信息顺序地提取ES信息,其中,所述ES信息包括各ES的流类型信息以及包括参考信息(包括PID信息)和3D附加信息中的至少一个的视频流描述符信息。
从PMT信息提取参考信息和3D附加信息的步骤还可包括:从关于主视点ES的ES信息中,提取包括关于每个视点的视频数据的3D附加信息的3D视频描述符信息,其中,主视点ES包括所述至少一个ES中的每个视点的视频数据中的主视点视频数据。
从PMT信息提取参考信息和3D附加信息的步骤还可包括:从关于所述至少一个ES中的子ES的ES信息中,提取包括参考信息和3D附加信息中的至少一个的子ES视频描述符信息。
在提取ES信息的步骤中,关于所述至少一个ES中的子ES的ES信息中的流类型信息可被设置为由运动图像专家组(MPEG)系统指定的补充视频流的值。
从PMT信息提取参考信息和3D附加信息的步骤可包括:从PMT信息提取指示3D视频数据是否是包括在所述至少一个TS中的3D通知描述符信息。
从PMT信息提取3D附加信息和参考信息的步骤可包括:从PMT信息提取2D/3D模式信息和2D/3D模式切换信息中的至少一个。
从PMT信息提取3D附加信息和参考信息的步骤还可包括:从PMT信息提取指示修剪偏移信息的宽高比描述符。
再现的步骤可包括:恢复3D多媒体服务的3D视频的主视点视频数据和子视点视频数据;通过使用参考信息和3D附加信息中的至少一个将主视点视频数据和子视点视频数据的格式转换为可由3D显示装置再现的3D再现格式,来再现主视点视频数据和子视点视频数据。
再现的步骤可包括:恢复第一视点视频数据和第二视点视频数据,其中,第一视点视频数据是3D多媒体服务的3D视频的主视点视频数据和2D视频数据之一,第二视点视频数据包括3D视频的子视点视频数据以及主视点视频数据与子视点视频数据之间的差信息、深度信息和视差信息中的至少一个;通过使用参考信息和3D附加信息中的至少一个将第一视点视频数据和第二视点视频数据的格式转换为可由3D视频装置再现的3D再现格式,来再现第一视点视频数据和第二视点视频数据。
再现的步骤可包括:恢复构成3D复合格式数据的第一视点视频数据和构成主视点视频数据和子视点视频数据之间的差信息、深度信息和视差信息之一的第二视点视频数据,其中,在3D复合格式数据中,3D多媒体服务的3D视频的主视点视频数据和子视点视频数据被复合;通过使用3D附加信息将第一视点视频数据和第二视点视频数据的格式转换为可由3D显示装置再现的3D再现格式,来再现第一视点视频数据和第二视点视频数据。
恢复的步骤可包括:通过使用第一视点视频数据和第二视点视频数据来产生主视点视频数据和子视点视频数据的中间视点视频数据,再现第一视点视频数据和第二视点视频数据的步骤包括:通过使用参考信息和3D附加信息中的至少一个将第一视点视频数据、中间视点视频数据和第二视点视频数据的格式转换为3D再现格式,来再现第一视点视频数据、中间视点视频数据和第二视点视频数据。
再现的步骤可包括:恢复形成3D视频的多条2D视频数据;通过使用参考信息和3D附加信息中的至少一个,选择性地以画中画(PIP)再现模式再现所述多条2D视频数据。
所述方法还可包括:通过对提取的每个视点的视频数据进行解码和恢复,使用参考信息和3D附加信息中的至少一个,来以3D再现提取的每个视点的视频数据,其中,再现的步骤可包括:基于宽高比描述符信息中的修剪偏移信息,修剪主视点视频数据超出子视点视频数据的区域,通过使用修剪的主视点视频数据和子视点视频数据来以3D再现提取的每个视点的视频数据。
所述方法还可包括:通过使用参考信息和3D附加信息中的至少一个,来以3D再现提取的每个视点的视频数据,其中,再现的步骤可包括:基于宽高比描述符信息中的修剪偏移信息,使用各主视点视频数据来填充比主视点视频数据更小的子视点视频数据的区域来产生扩展的子视点视频数据;通过使用主视点视频数据和扩展的子视点视频数据来以3D再现提取的每个视点的视频数据。
根据另一示例性实施例的一方面,提供了一种产生用于提供3D多媒体服务的数据流的设备,所述设备包括:ES产生器,从用于提供2D多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES;PMT产生器,产生关于所述节目的PMT信息,所述PMT信息包括关于所述至少一个ES的参考信息和用于根据视点识别和再现每个视点的视频数据的3D附加信息;TS产生器,通过对所述至少一个ES和PMT信息进行打包而产生PES包,并对PES包进行复用,来产生至少一个TS;信道发送器,对所述至少一个TS进行同步并使用信道发送所述至少一个TS。
根据另一示例性实施例的一方面,提供了一种接收用于提供3D多媒体服务的数据流的设备,所述设备包括:TS接收器,接收关于提供2D多媒体服务和3D多媒体服务中的至少一个的节目的至少一个TS;TS解复用器,通过对所述至少一个TS进行解复用,提取关于节目的基本PES包和关于节目的PMT信息;PMT3D附加信息提取器,从PMT信息提取关于包括节目的每个视点的视频数据的至少一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息;ES恢复器,通过使用提取的关于通过对PES包进行解包而提取的ES中的所述至少一个ES的参考信息,恢复所述至少一个ES,并从所述至少一个ES提取每个视点的视频数据;再现器,通过使用3D附加信息和参考信息中的至少一个,对提取的每个视点的视频数据进行解码和恢复,并以3D再现恢复的每个视点的视点数据。
根据另一示例性实施例的一方面,提供了一种在其上记录有用于执行产生用于提供3D多媒体服务的数据流的方法的程序的计算机可读记录介质。
根据另一示例性实施例的一方面,提供了一种在其上记录有用于执行接收用于提供3D多媒体服务的数据流的方法的程序的计算机可读记录介质。
具体实施方式
以下,将参照附图更完整地描述示例性实施例。应理解,当诸如“中的至少一个”的表述出现在列出的元件之后时,其修饰列出的全部元件而不是修饰列出的单个元件。此外,在此使用的“单元”可被实施为硬件组件和/或由计算机或硬件处理器执行的软件组件。
图1是根据示例性实施例的产生用于提供三维(3D)多媒体服务的数据流的设备100的框图。
设备100包括基本流(ES)产生器110、节目映射表(PMT)产生器120、传输流(TS)产生器130和信道发送器140。
ES产生器110接收2D视频和3D视频中的至少一个的每个视点的视频数据,并产生包括每个视点的视频数据的至少一个ES。接收的每个视点的视频数据以及与每个视点的视频数据有关的音频数据和子数据形成节目,ES产生器110可产生关于每个视点的视频数据和音频数据的ES,以形成用于提供2D或3D多媒体服务的节目。
用于3D多媒体服务的每个视点的视频数据可包括主视点视频数据和至少一条子视频数据。子视频数据可以是子视点视频数据本身、主视点视频数据和子视点视频数据被组合的3D复合格式的视频数据、主视点视频数据和子视点视频数据之间的深度信息、视差信息或主视点视频数据和子视点视频数据之间的差信息。
ES产生器110可将每个视点的多条视频数据插入每个ES。针对一个节目的视频数据的ES可包括主ES和至少一个子ES。3D复合模式的主视点视频数据或视频数据可被插入主ES。子视频数据可被插入子ES。
PMT产生器120产生关于与ES产生器110产生的ES有关的节目的PMT信息。PMT信息可包括关于数据(诸如用于形成节目的视频数据、音频数据和子数据)的参考信息。参考信息可以是包括所述数据的TS的包标识符(PID)信息和流类型信息中的至少一个。当插入了针对一个节目的每个视点的视频数据的多个ES被产生时,PMT信息可包括根据所述多个ES的PID信息和流类型信息中的至少一个。
PMT产生器120将参考信息和3D附加信息中的至少一个插入PMT信息,其中,从至少两个视点的视频形成各个节目的3D视频的特性得到所述参考信息和3D附加信息中的至少一个。3D附加信息可被用于识别和再现根据多个视点的各个节目的每个视点的视频数据。当插入了针对一个节目的每个视点的视频数据的多个ES被产生时,可根据所述多个ES设置所述参考信息和3D附加信息中的至少一个。
可针对每个ES设置ES的流类型信息。PMT产生器120可将插入了各个视频数据的主ES和子ES的流类型信息插入参考信息。例如,当设备100基于MPEGTS系统时,可通过使用在MPEGTS系统中设置的流类型信息来设置主ES的流类型信息和子ES的流类型信息。
PMT产生器120可将3D附加信息和参考信息中的至少一个插入来自PMT信息的关于各个ES的描述符信息。PMT产生器120可产生具有以下结构的PMT信息:所述结构根据PMT信息中的主ES和子ES的3D附加信息或参考信息的位置而改变。
在根据第一示例性实施例的PMT信息中,主ES的3D附加信息包括子ES的3D附加信息和参考信息中的至少一个。
PMT产生器120可将子ES的3D附加信息和参考信息中的至少一个插入来自根据第一示例性实施例的PMT信息中的关于主ES的3D子描述符信息中。换句话说,主ES的3D附加信息或参考信息与子ES的3D附加信息或参考信息具有分层关系。
根据第二示例性实施例的PMT信息顺序地包括关于每个ES的ES信息。PMT产生器120可将3D子描述符信息插入来自根据第二示例性实施例的PMT信息的关于子ES的ES信息或关于主ES的ES信息中。换句话说,主ES的3D附加信息或参考信息与子ES的3D附加信息或参考信息具有平行关系。
例如,3D附加信息可包括关于每个视点的视频数据的信息,诸如被插入各个ES中的视频数据的视点标识信息、3D复合模式信息、视点优先级信息和编解码器信息。稍后将参照图9A和图9B以及表5和表6来描述根据第一示例性实施例的PMT信息以及相关的参考信息和3D附加信息。稍后将参照图10A和图10B以及表7至表20来描述根据第二示例性实施例的PMT信息以及相关的参考信息和3D附加信息。
PMT产生器120可将指示视频数据是否被插入TS的2D/3D模式信息、2D/3D模式切换通知信息或2D/3D通知描述符信息插入PMT信息。稍后将参照表3、表4、表21和表22以及图11来描述与关于2D/3D模式或2D/3D模式切换的3D附加信息有关的细节。
如果主视点视频数据和子视点视频数据的尺寸或宽高比不同,则PMT产生器120可将宽高比描述符信息和修剪偏移信息插入PMT信息,所述宽高比描述符信息和修剪偏移信息与调整用于在3D再现期间显示主视点视频数据和子视点视频数据的区域的方法有关。稍后将参照表23以及图12和图13来描述与关于修剪偏移或宽高比的3D附加信息有关的细节。
TS产生器130通过对从ES产生器110接收的至少一个ES进行打包来产生打包的基本流(PES)包。TS产生器130可通过对PES包和从PMT产生器120接收的PMT信息进行复用来产生TS。
信道发送器140将从TS产生器130接收的TS与信道同步,并通过该信息发送同步的TS。将在稍后参照图5描述产生单个节目、PES包和TS的处理的同时详细描述关于ES产生器110、TS产生器130和信道发送器140的操作。
图2是根据示例性实施例的接收用于提供3D多媒体服务的数据流的设备200的框图。
设备200包括TS接收器210、TS解复用器220、PMT附加信息提取器230、ES恢复器240和再现器250。
TS接收器210通过预定信道接收关于用于提供2D或3D多媒体服务的节目的TS。TS解复用器220对从TS接收器210接收的TS进行解复用,并提取关于该节目的PES包和关于该节目的PMT信息。PMT附加信息提取器230从由TS解复用器220提取的PMT信息中提取关于包括该节目中的每个视点的视频数据的TS或至少一个ES的参考信息。
ES恢复器240通过对由TS解复用器220提取的PES包进行解包来恢复ES。这里,可通过使用从PMT信息提取的关于ES的参考信息来分别恢复插入了相同类型的数据的多个ES。ES恢复器240从ES提取节目的每个视点的视频数据。类似地,ES恢复器240可通过恢复音频ES来提取音频数据。
PMT附加信息提取器230从由TS解复用器220提取的PMT信息提取关于2D或3D视频的每个视点的视频数据的3D附加信息和参考信息中的至少一个。
如果存在插入了一个节目的每个视点的视频数据的多个ES,则PMT附加信息提取器230可提取根据所述多个ES的3D附加信息和参考信息中的至少一个。
PMT附加信息提取器230可从参考信息提取关于各个ES的流类型信息。例如,如果设备200基本MPEGTS系统,则可通过使用由MPEGTS系统定义的流类型信息设置关于主ES的流类型信息和关于子ES的流类型信息。
PMT附加信息提取器230可从PMT信息中的关于各个ES的描述符信息中提取3D附加信息和参考信息中的至少一个。PMT附加信息提取器230可从具有以下结构的PMT信息提取关于主ES和子ES的3D附加信息和参考信息中的至少一个:所述结构基于PMT信息中的3D附加信息和参考信息的位置而改变。例如,可存在根据第一示例性实施例的PMT信息,其中,所述PMT信息包括在关于主ES的3D附加信息的下层中的关于子ES的3D附加信息和参考信息,可存在根据第二示例性实施例的PMT信息,其中,所述PMT信息根据多个ES顺序地包括至少一个ES中的每一个ES的3D附加信息和参考信息。
PMT附加信息提取器230可从根据第一示例性实施例的PMT信息中的关于主ES的3D子描述符信息提取关于子ES的3D附加信息和参考信息中的至少一个。
PMT附加信息提取器230可从根据第二示例性实施例的PMT信息的关于子ES的ES信息或关于主ES的ES信息提取3D子描述符信息。
例如,PMT附加信息提取器230可从3D附加信息提取关于每个视点的视频数据的信息,诸如被插入到各个ES的视频数据的视点标识信息、3D复合格式信息、视点优先级信息、每个视点的视频数据的尺寸信息和编解码器信息。PMT附加信息提取器230可从PMT信息提取指示在TS中是包括2D视频数据还是包括3D视频数据的2D/3D模式信息、2D/3D模式切换通知信息或3D通知描述符信息。
PMT附加信息提取器230可从PMT信息提取与调整用于在3D再现期间显示主视点视频数据和子视点视频数据的区域的方法有关的宽高比描述符信息和修剪偏移信息。如果主视点视频数据和子视点视频数据的尺寸或宽高比不同,则宽高比描述符信息和修剪偏移信息可被用于在使用主视点视频数据和子视点视频数据进行3D再现期间将每个视点的视频数据的尺寸调整为相同。
再现器250对由ES恢复器240提取的每个视点的视频数据进行解码和恢复,并以3D再现通过使用由PMT附加信息提取器230提取的3D附加信息和参考信息中的至少一个而恢复的3D视频图像。
再现器250可将从主ES和子ES提取的每个视点的视频数据的格式转换为将由再现器250再现的3D再现格式。例如,再现器250从主ES提取主视点视频数据,从子ES提取子视点视频数据。再现器250可将提取的主视点视频数据和子视点视频数据的格式转换为3D再现格式,以再现提取的主视点视频数据和子视点视频数据。
可选地,再现器250可从主ES提取主视点视频数据,从子ES提取子视点视频数据、深度信息、视差信息和差信息。可选地,再现器250可从主ES提取具有3D复合格式的视频数据,从子ES提取深度信息、视差信息和差信息中的至少一个。这里,再现器250可从提取的视频数据恢复主视点视频数据和子视点视频数据,将主视点视频数据和子视点视频数据的格式转换为3D再现格式,并再现主视点视频数据和子视点视频数据。
由于设备100产生的PMT信息可包括根据包括3D视频数据的多个ES的ES信息以及3D附加信息和参考信息中的至少一个,因此,3D附加信息和参考信息中的所述至少一个与3D视频数据流一起被发送和接收。因此,3D视频可被接收器精确地再现。接收器可以是机顶盒、显示装置或包括多媒体处理器的计算机。
在现有技术的MPEGTS系统中,假设关于2D视频的TS,因此在一条PMT信息中仅设置关于一个视频的描述符信息。
设备100另外将3D附加信息和参考信息(或3D描述符信息)附加地插入现有技术的MPEGTS系统的PMT信息中的视频描述符信息,因此,包括设备200的接收器可识别和提取将被用于再现3D视频的3D附加信息和参考信息(或3D描述符信息)。此外,由于符合现有技术的MPEGTS系统的接收系统不能够识别3D附加信息和参考信息(或3D描述符信息),因此所述接收系统仅读取和使用现有技术的描述符信息。
因此,设备100发送包括PMT信息的数据流,其中,PMT信息包括3D附加信息和参考信息(或3D描述符信息),由于接收所述数据流的接收系统能够不管3D附加信息和参考信息(或3D描述符信息)而仅提供2D多媒体服务,因此所述接收系统保持与现有技术MPEGTS系统的兼容性,另外,包括设备200的接收器提供3D多媒体服务。
此外,由于设备100和200可通过使用由现有技术的MPEGTS系统定义的流类型信息来设置每个ES的流类型信息,与现有技术的MPEGTS系统的数据流结构相比,新的流类型可不被附加地指定附加比特,也不被分配有附加比特。
图3是根据示例性实施例的基于MPEGTS系统发送数字广播的设备300的框图。
在设备300中,单节目编码器310产生包括视频TS和音频TS的单节目TS,复用器(MUX)380通过使用由多个单节目编码器310产生的至少一个单节目TS来产生和发送多节目TS(MPTS)。由于设备300基于使用多模式服务(MMS)模式的MPEGTS系统,因此通过对单节目TS进行复用而产生的多节目TS可被发送,从而发送多个节目。
单节目编码器310包括视频编码器320、音频编码器330、打包器340和350以及MUX360。
视频编码器320和音频编码器330分别对未压缩的视频数据和未压缩的音频数据进行编码,从而分别产生和输出视频ES和音频ES。单节目编码器310的打包器340和350分别对视频ES和音频ES进行打包,并通过插入PES头来分别产生视频PES包和音频PES包。
MUX360对视频PES包、音频PES包和各种子数据进行复用以形成第一单节目TS(SPTS1)。PMT信息可与视频PES包和音频PES包一起被复用以被包括在第一单节目TS中。PMT信息被包括在每个单节目TS中以描述每个TS的PID信息。
MUX380可将多个单节目TS(SPTS1,SPTS2等)与节目关联表(PAT)信息复用以形成一个多节目TS(MPTS)。
由节目说明信息(PSI)以及节目和系统信息协议(PSIP)产生器370产生PMT信息和PAT信息。
PAT信息和PSIP可被插入多节目TS。PAT信息描述与包括在各个多节目TS中的单节目TS有关的PMT信息的PID信息。
图4是根据示例性实施例的基于MPEGTS系统接收数字广播的设备400的框图。
设备400接收数字数据流,从数字数据流提取视频数据、音频数据和子数据。
数字TS(DTV)调谐器410基于信道选择信号(物理信道选择)调谐到观看者选择的信道的无线电频率,选择性地提取通过相应无线电波接收的信号。
信道解码器和解调器420从信道信号提取多节目TS(MPTS)。由于设备400基于使用MMS方法的MPEGTS系统,因此设备400可接收多节目TS,并将多节目TS解复用为多个单节目TS。解复用器(DEMUX)430将多节目TS分为多个单节目TS(SPTS1,SPTS2等)和PSIP。
通过观看者的节目选择信号(节目选择)而选择的第一单节目TS(SPTS1)通过单节目解码器440被解码。单节目解码器440以与单节目编码器310相反的顺序进行操作。从第一单节目TS恢复视频PES包、音频PES包和子数据。视频PES包和音频PES包分别通过解包器460和465被恢复为ES形式,视频ES和音频ES分别通过视频解码器470和音频解码器475被恢复为视频数据和音频数据。通过使用显示处理器480,视频数据可被转换为可显示的格式。
时钟恢复和音频-视频(AV)同步单元490可通过使用从第一单节目TS提取的节目时钟参考(PCR)信息和时间戳信息来同步视频数据和音频数据的再现时间。
从多节目TS(MPTS)提取的PSIP基于由用户输入的节目选择信号与节目指南数据库445进行比较,从而从节目指南数据库445中搜索与节目选择信号相应的信道和节目。找到的信道和节目可分别被输出到DTV调谐器410和DEMUX430。此外,由于同屏显示信息从节目指南数据库445被发送到显示处理器480,因此同屏显示操作可被支持。
参照图1描述的设备100产生关于一个节目的包括3D视频的每个视点的视频数据、音频数据和子数据的TS(即,单节目TS),但设备100的操作不限于一个视频。换句话说,如果多条视频数据、音频数据和子数据被输入,则设备100可产生包括多个视频的单个节目TS。
图5是根据示例性实施例的发送用于发送根据设备100的多个视频ES的MPEGTS的设备500的框图。
通过扩展设备100来提供用于支持在一个节目中包括多个视频的MPEGTS的设备500。换句话说,设备500的单节目编码器510和MUX580的操作相应于设备100的ES产生器110和TS产生器130的操作,设备500的PSI和PSIP产生器570的操作相应于设备100的PMT产生器120的操作,设备500的信道编码器和调制器590以及DTV发送器595的操作相应于设备100的信道发送器140的操作。
单节目编码器510接收3D视频的第一视频(视频1)、第二视频(视频2)和第三视频(视频3),并分别通过视频编码器520、530和540产生第一视频ES(视频ES1)、第二视频ES(视频ES2)和第三视频ES(视频ES3)。第一视频、第二视频和第三视频可分别是第一视点视频、第二视点视频和第三视点视频,或可以是第一视点视频、第二视点视频和第三视点视频中的至少一个的组合。
视频编码器520和530可独立地遵循视频编码方法。例如,可根据MPEG-2视频编码方法对第一视频和第二视频进行编码,可根据MPEG先进视频编码(AVC)/H.264视频编码方法对第三视频进行编码。
第一视频ES、第二视频ES和第三视频ES可分别通过打包器525、535和545被打包为第一视频PES包(视频PES1)、第二视频PES包(视频PES2)和第三视频PES包(视频PES3)。
单节目编码器510可接收音频,并通过音频编码器550将音频转换为音频ES(音频ES),音频ES可通过打包器555被转换为音频PES包(音频PES)。
单节目编码器510的MUX560可通过将第一至第三视频PES包和音频PES包复用在一起来输出第一单节目TS(SPTS1)。MUX560可将由单节目编码器510接收的各种类型的子数据以及由PSI和PSIP产生器570产生的PMT信息与第一至第三视频PES包和音频PES包一起插入第一单节目TS。
另一条3D视频数据可被复用到第二单节目TS(SPTS2)。PSI和PSIP产生器570可产生PAT信息,PAT信息包括在第一和第二单节目TS中包括的PMT信息的PID信息以及关于各种节目和系统信息的PSIP。MUX580可通过将第一和第二单节目TS以及PAT信息复用来输出一个多节目TS(MPTS)。
信道编码器和调制器590可根据信道对多节目TS进行编码和同步。DTV发送器595可发送分配给信道的TS。
单节目编码器510可根据独立的数字数据通信方法产生每个TS。可根据多个节目,基于相同或不同的数字数据通信方法来产生和发送多个TS。例如,先进电视系统委员会(ATSC)地面广播通信方法支持先进残留边带(E-VSB)方法,其中,E-VSB方法可通过使用与MPEG方法不同的方法来形成TS。然而,如MPEG方法中所执行的,E-VSB产生关于节目的PMT信息,并将PMT信息插入TS。因此,第一单节目TS可被发送为MPEGTS,第二单节目TS可被发送为E-VSBTS,包括关于形成每个节目的每个视点的视频数据的3D附加信息的PMT信息可被插入第一和第二单节目TS。
参照图2描述的设备200接收关于一个节目的TS,即,单节目TS,但是设备200的操作不限于一个节目。换句话说,设备可接收根据关于多个节目的节目的TS,从多个TS提取根据多个节目的PMT信息,并提取所述多个节目的视频数据、音频数据和子数据。
现在将参照图6描述支持MPEGTS的设备200,在MPEGTS中,节目包括多个视频。
图6是根据示例性实施例的接收用于根据设备200接收多个视频ES的MPEGTS的设备600的框图。
通过扩展设备200来提供用于支持MPEGTS的设备600,在所述MPEGTS中,一个节目包括多个视频。换句话说,设备600的信道解码器和解调器615、DEMUX620以及单节目解码器630的操作分别相应于设备100的TS接收器210、TS解复用器220、PMT附加信息提取器230和ES恢复器240的操作。
DTV调谐器610选择性地提取通过由观看者选择的信道的无线电波接收的信号。信道解码器和解调器615从信道信号提取多节目TS。多节目TS通过DEMUX620被分为多个单节目TS(SPTS1、SPTS2等)和PSIP。
单节目解码器630对由观看者选择的第一单节目TS(SPTS1)进行解码。第一单节目TS被解复用以恢复第一视频PES包(视频PES1)、第二视频PES包(视频PES2)、第三视频PES包(视频PES3)、音频PES包(音频PES)和子数据(数据)。第一视频PES至第三视频PES包分别通过解包器650、660和670被恢复为第一视频ES(视频ES1)、第二视频ES(视频ES2)和第三视频ES(视频ES3),第一视频ES至第三视频ES分别通过视频解码器653、663和673被恢复为第一视频、第二视频和第三视频。第一视频至第三视频可分别通过显示处理器655、665和675被转换为可显示的格式。
音频PES包通过解包器680和音频解码器683被恢复为音频数据。
时钟恢复和AV同步单元690可通过使用从第一单节目TS提取的PCR信息和时间戳信息来同步视频数据和音频数据的再现时间。
基于由用户输入的节目选择信号,关于与用户的节目选择信号相应的信道和节目的信号可从节目指南数据库635被发送到DTV调谐器610和DEMUX620。此外,同屏显示信息可从节目指南数据库635被发送到显示处理器655、665和675。
因此,设备600可提取与通过一个信道接收的3D视频的第一视频至第三视频和音频有关的一个多节目TS,对该多节目TS进行解复用,选择性地提取期望的单节目TS。此外,设备600可从提取的单节目TS选择性提取关于3D视频的第一至第三视频的视频ES,以恢复期望的视频数据。
这里,设备600可从第一单节目TS提取PMT信息,并从PMT信息提取关于节目的3D视频的3D附加信息或3D描述符信息。可通过使用3D附加信息或3D描述符信息精确地识别形成3D视频的每个视点的视频数据,来精确地再现3D视频。
被插入由设备100产生并由设备200接收的TS的有效载荷的3D视频数据包括3D视频的每个视点的视频数据。为了便于描述,包括左视点视频和右视点视频的立体图像被用作3D视频。然而,3D视频不限于立体图像,并可以是具有至少三个视点的视频。
3D视频数据可具有3D复合格式或3D混合格式,其中,在3D复合格式中,3D视频的左视点图像数据和右视点图像数据均被插入一个图像中,在3D混合格式中,左视点图像数据、右视点图像数据、深度信息、视差信息和差信息中的至少三个的组合被插入至少两个图像中。现在将参照图7和图8详细描述3D复合格式和3D混合格式。
图7是用于描述根据示例性实施例的3D复合格式的表。
3D复合格式的示例包括并排格式、顶部和底部格式、垂直线交错(verticallineinterleaved)格式、水平线交错(horizontallineinterleaved)格式、场顺序格式和帧顺序格式。
并排格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的左侧区域和右侧区域的图像格式。顶部和底部格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的顶部区域和底部区域的图像格式。
垂直线交错格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数垂直线和偶数垂直线的图像格式。水平线交错格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数水平线和偶数水平线的图像格式。
场顺序格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数场和偶数场的图像格式,帧顺序格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数帧和偶数帧的图像格式。
具有并排格式、顶部和底部格式、垂直线交错格式和水平线交错格式的3D图像具有分辨率为原始图像的一半的左视点图像和右视点图像。
当在3D复合格式中,3D视频数据被插入一个ES而不是子ES时,3D附加信息可包括指示当前3D视频数据的图像格式的类型的3D复合格式信息(1ES_format)。换句话说,基于被插入当前ES的3D视频数据的3D复合格式是并排格式、顶部和底部格式、垂直线交错格式、水平线交错格式、场顺序格式还是帧顺序格式,3D复合格式信息的值可被指定为如图7所示的3个比特。
图8是示出根据示例性实施例的在形成3D视频的多个视点中的视频数据的多个ES的各种组合的表。
当3D视频数据被插入至少两个ES时,可插入具有3D混合格式的视频数据,其中,在3D混合格式中,左视点视频数据、右视点视频数据、深度信息、祥信息或差信息被插入每个ES。
3D混合格式的类型可以是这样的格式:当存在两个ES时,左视点视频数据被插入第一ES,子视频数据被插入第二ES。在第一混合格式、第二混合格式和第三混合格式中,被插入第二ES的子视频数据可以是深度信息、视差信息或右视点视频数据。
可选地,3D混合格式的类型可以是这样的格式:当存在至少两个ES时,左视点视频数据被插入第一ES,右视点视频数据以及深度信息和视差信息中的任何一个被插入第二ES或第三ES。在第四混合格式中,右视点视频数据被插入第二ES,深度信息被插入第三ES。在第五混合格式中,深度信息被插入第二ES,右视点视频数据被插入第三ES。在第六混合格式中,右视点视频数据和深度信息被复合为一个图像的子视频数据被插入第二ES。在第七混合格式中,右视点视频数据被插入第二ES,视差信息被插入第三ES。在第八混格式中,视差信息被插入第二ES,右视点视频数据被插入第三ES。在第九混合格式中,右视点视频数据和视差信息被复合为一个图像的子视频数据被插入第二ES。
在图8中示出的3D混合格式仅是一个示例,3D混合格式的组合和顺序不限于图8。
当3D视频数据被插入至少两个ES时,3D附加信息可包括指示当前3D视频数据的图像格式的类型的3D混合格式信息(multi_ES_format)。换句话说,基于被插入当前ES的3D视频数据的3D混合格式,即,指示第一至第九混合格式中的哪一个是3D混合格式,3D混合格式信息的值可被指定为如图8所示的4比特。
以下的表1示出MPEGTS系统的PMT信息的语法。设备100和200使用TS和PMT信息,但TS的结构可在除了MPEGTS系统以外的数字通信方法中被使用。因此,被插入TS并由设备100和200使用的PMT信息不限于表1。
表1
语法 |
TS_program_map_section { |
table_id |
section_syntax_indicator |
‘0’ |
reserved |
section_length |
program_number |
reserved |
version_number |
current_next_indicator |
section_number |
last_section_number |
reserved |
PCR_PID |
reserved |
program_info_lengh |
for(i=0;i<N;i++){ |
descriptor() |
} |
for(i=0;i<N1;i++){ |
stream_type |
reserved |
elementary_PID |
reserved |
ES_info_length |
for(j=0;j<N2;j++){ |
descriptor() |
} |
} |
CRC_32 |
} |
表3的2D/3D模式信息(“2d/3dmode”)和表4的2D/3D模式切换通知信息(“noticeindicator”)可被插入PMT信息的语法的保留信息(“reserved”)。
PMT信息的语法的第一for循环是包括关于由当前PMT信息描述的节目的各种特征的信息的节目循环。表21的3D模式描述符信息(“3Dmodedescriptor()”)可被插入节目循环的描述符区(“descriptor()”)。
PMT信息的语法的第for循环是包括关于由当前PMT信息描述的ES的各种特征的信息的ES循环。表5的3D流描述符信息(“3dstreamdescriptor()”)、表21的3D模式描述符信息(“3Dmodedescriptor()”)和表22的2D/3D模式切换通知描述符信息(“3Dnoticedescriptor()”)可被插入ES循环的描述符区域(“descriptor()”)。
流类型信息(“stream_type”)指示相应ES的流类型。以下的表2指示由MPEGTS系统的ISO/IEC13818-1标准定义的流类型以及指定给每个流类型的值。
表2
在每个ES循环中的流类型信息可根据相应ES的类型被设置为表2的任何流类型。表2的流类型是由设备100和200可选择的ES的流类型的示例,可选择的流类型不限于表2。
与表1的PMT信息的语法相比,现在将参照图9A、图9B、图10A和图10B详细描述根据PMT信息中的3D附加信息的位置而分类的根据第一和第例性实施例的PMT信息的结构。
图9A示出根据示例性实施例的PMT信息900的3D附加信息中的包括在关于主ES的3D视频描述符信息中的关于子ES的3D视频描述符信息的示例。
根据第一示例性实施例的PMT信息900包括关于第一视频ES的第一ES循环(视频1ES循环)。第一ES循环910可包括关于第一视频ES的流类型信息(视频1流类型)、PID信息(视频1PID)和第一视频描述符信息(视频1描述符)915。第一视频描述符信息915可包括关于第二视频ES的第二ES循环(视频2ES循环)920和关于第三视频ES的第三ES循环(视频3ES循环)930。
第二ES循环920和第三ES循环930可分别包括以下信息:包括关于第二视频ES的2D附加信息的第二视频描述符信息(视频2描述符)925以及包括关于第三视频ES的3D附加信息的第三视频描述符信息(视频3描述符)935。
根据第一示例性实施例的PMT信息900还可包括关于音频ES的音频ES循环(音频ES循环)940。音频ES循环940可包括关于音频ES的流类型信息(音频流类型)、PID信息(音频PID)和音频描述符信息(音频描述符)945。
换句话说,表1的PMT信息的第二for循环相应于第一ES循环910。第一视频描述符信息915被插入第二for循环的描述符区,同时,第二ES循环920和第三ES循环930被插入第一视频描述符信息915的更低层。因此,第二视频描述符信息925和第三视频描述符信息935可被插入第二for循环的描述符区。换句话说,可在第一视频描述符信息915、第二视频描述符信息925和第三视频描述符信息935之间形成分层结构。
图9B示出图9A的PMT信息900的流结构。
根据第一示例性实施例的PMT信息的PMT流950包括第一视频ES(视频1ES)循环955。第一视频ES循环955包括“stream_type”字段951、“Elementary_PID”字段952、“ES_info_length”字段953和“Descriptors”字段954。相应信息被插入每个字段。第一ES描述符信息960被插入第一视频ES循环955的“Descriptors”字段954。第一ES描述符信息960包括“Descriptor_tag”字段961、“Descritor_length”字段962、“Main_Video_format”字段963、“L/Rfirst”字段964和“num_of_sub_stream”字段965。关于第一视频的图像格式的信息可被插入“Main_Video_format”字段963,3D复合格式中的左视点图像和右视点图像的视点排列顺序信息可被插入“L/Rfirst”字段964,关于子ES的数量的信息可被插入“num_of_sub_stream”字段965。在第一视频ES循环955的“Descriptor”字段954中,第二视频ES(视频2ES)循环970和第三视频ES(视频3ES)980可作为第一ES描述符信息960的下层被包括在第一ES描述符信息960之后。与“num_of_sub_stream”字段965的值相应的多个子ES循环可被包括在第一视频ES循环955的“Descriptors”字段954中,在第一ES描述符信息960之后。
第二视频ES循环970和第三视频ES循环980可分别包括“sub_stream_type”字段971和981、“sub_video_PID”字段972和982、“sub_video_For,at”字段973和983、“picture_display_order”字段974和984、“sub_view_info”字段975和985和“sub_view_index”字段976和986。
第二视频ES和第三视频ES的流类型信息可被分别插入“sub_stream_type”字段971和981、第二视频ES和第三视频ES的PID信息可被插入“sub_video_PID”字段972和982,第二视频数据和第三视频数据的图像格式信息可被插入“sub_video_Format”字段973和983。关于根据形成包括第一视频、第二视频和第三视频的3D视频的每个视点的视频数据的视点的再现顺序的信息可被插入“picture_display_order”字段974和984。用于针对小孩或成人调整3D效果的信息可被插入“sub_view_info”字段975和985,子视频中的第二视频和第三视频的索引信息可被插入“sub_view_index”字段976和986。
图10A示出根据示例性实施例的在PMT信息1000的3D附加信息中顺序包括的关于主ES的3D视频描述符信息和关于子ES的3D视频描述符信息的示例。
关于第一视频ES的第一ES循环(视频1ES循环)1010、关于第二视频ES的第二ES循环(视频2ES循环)1020、关于第三视频ES的第三ES循环(视频3ES循环)1030和关于音频ES的音频ES循环1040可被顺序地插入根据示例性实施例的PMT信息1000中。
第一ES循环1010可包括关于第一视频ES的流类型信息(视频1流类型)、PID信息(视频1PID)和第一视频描述符信息(视频1描述符)1015。
类似地,第二ES循环1020可包括关于第二视频ES的流类型信息(视频2流类型)、PID信息(视频2PID)和第二视频描述符信息(视频2描述符)1025,第三ES循环1030可包括关于第三视频ES的流类型信息(视频3流类型)、PID信息(视频3PID)和第三视频描述符信息(视频3描述符)1035。
这里,构成子ES的第二视频ES和第三视频ES的流类型信息可以是流类型中的“补充视频流”。例如,表2中的“如在ISO/IEC23002-3中定义的补充视频流”可被选为第二视频ES和第三视频ES的流类型信息。
音频ES循环1040可包括关于音频ES的流类型信息(音频流类型)、PID信息(音频PID)和音频描述符信息(音频描述符)1040。
换句话说,第一ES循环1010、第二ES循环1020和第三ES循环1030可被插入表1的PMT信息的第二for循环,各3D附加信息可被插入第一ES循环1010、第二ES循环1020和第三ES循环1030的第一视频描述符信息1015、第二视频描述符信息1025和第三视频描述符信息1035。也就是说,第一ES循环1010、第二ES循环1020和第三ES循环1030可具有平行结构。
图10B示出图10A的PMT信息1000的流结构。
根据第二示例性实施例的PMT信息的PMT流1050包括第一视频ES(视频1ES)1055,可在第一视频ES循环1055之后连续包括第二视频ES(视频2ES)循环1060和第三视频ES(视频3ES)循环1070。当存在与第一视频ES有关的多个子ES循环以形成3D视频时,子ES循环中的每一个可被插入到PMT流1050中的第一视频ES循环1055之后。
第一视频ES循环1055、第二视频ES循环1060和第三视频ES循环1070可分别包括“Stream_type”字段1051、1061和1070,“PID”字段1052、1062和1072以及“Descriptors”字段1053、1063和1073。
各视频ES的流类型信息可被插入“Streamtype”字段1051、1061和1071,各视频ES的PID信息可被插入“PID”字段1052、1062和1072。关于各视频ES的视频数据的视频特征的信息可被插入“Descriptor”字段1053、1063和1073,“Descriptor”字段1053、1063和1073可包括用于形成3D视频的关于各视频ES的特征的3D附加信息或3D描述符信息。
已参照图9A和图9B描述根据第一示例性实施例的PMT信息,并已参照图10A和图10B描述第二示例性实施例的PMT信息,但如果第一ES循环、第二ES循环和第三ES循环根据分层结构或平行结构被插入,则插入每个PMT信息的参数或信息的类型、顺序、定义和使用示例可改变。
3D附加信息可包括用于指示是2D视频数据还是3D视频数据被插入当前ES的信息。例如,以下的表3示出2D/3D模式信息(“2d/3dmode”)以下的表4示出2D/3D模式切换通知信息(“notice_indicator”)。
表3
2d/3d mode | 描述 |
01 | 2D视频 |
00 | 3D视频 |
10 | 2D/3D复合视频 |
2D/3D模式信息(“2d/3d_mode”)指示插入当前ES的视频数据是2D视频、3D视频还是2D/3D复合视频。2D/3D复合视频是2D视频和3D视频彼此混合的视频流,2D视频和3D视频可通过一个信息被一起发送或接收。设备100可将2D/3D模式信息插入PMT信息以发送指示2D视频、3D视频和2D/3D复合视频中的任何一个被插入当前视频数据的信息。设备200可基于从PMT信息提取的2D/3D模式信息来预测2D视频、3D视频和2D/3D复合视频将从通过一个信息接收的视频数据流中被提取。
表4
notice_indicator | 描述 |
1 | 切换 |
0 | 不切换 |
2D/3D模式切换通知信息(“notice_indicator”)指示当前ES中的视频数据是否从2D视频数据切换到3D视频数据。设备100可将2D/3D模式切换通知信息插入PMT信息以指示当前ES中的视频数据是否从2D视频数据切换到3D视频数据。设备200可基于从PMT信息提取的2D/3D模式切换通知信息来预测当前接收的视频数据是否在2D视频数据和3D视频数据之间切换。
设备100的PMT产生器120可将2D/3D模式信息和2D/3D模式切换通知信息插入PMT信息的保留区。设备200的PMT附加信息提取器230可从PMT信息的保留区提取2D/3D模式信息和2D/3D模式切换通知信息。设备200可通过使用2D/3D模式信息和2D/3D模式切换通知信息来确定哪个视频数据和相关附加信息将从当前ES中被解析和提取。
根据需要,2D/3D模式信息和2D/3D模式切换通知信息被选择性地插入根据第一和第二示例性实施例的PMT信息。
表5的3D流描述符信息(“3D_stream_Descriptor”)和表6的视点排列顺序信息(“LR_first”)相应于被插入根据第一示例性实施例的PMT信息中的3D附加信息。
表5
表5的3D流描述符信息(“3D_stream_Descripto”)可被插入描述符信息915和954,所述描述符信息915和954被插入以上参照图9A和图9B描述的第一视频ES循环910和955。在表5的3D流描述符信息中,for循环可相应于子ES循环,即,图9A和图9B的第二视频ES循环920和970。关于主ES的3D附加信息可被插入3D流描述符信息,关于子ES的3D附加信息可被插入子ES循环。
根据第一示例性实施例的PMT产生器120可将主视频数据的图像格式信息(Main_Vieo_format)、主视频数据的图像格式中的视点排列顺序信息(LR_first)和关于子ES的数量的信息(num_of_sub_stream)中的至少一个插入3D附加信息,作为用于根据视点识别和再现3D视频数据的信息。可根据关于子ES的数量的信息来确定插入3D流描述符信息的子ES循环的数量,3D附加信息可被插入每个子ES循环。
根据第一示例性实施例的PMT产生器120可将子ES的流类型信息(sub_tream_type)、子ES的PID信息(sub_video_PID)、子视点视频数据的图像格式信息(sub_video_Format)、主视点视频数据和子视点视频数据的显示顺序信息(picture_display_order)、用于针对小孩或成人调整3D效果的信息(sub_view_info)和指示3D视频数据中的子视点视频数据的子视点索引信息(sub_view_index)中的至少一个插入PMT信息,作为3D附加信息。
视点排列顺序信息(LR_first)可指示当前ES的3D复合格式中哪个区域是左视点图像和右视点图像。参照表6,格式排列顺序可定义图7的3D复合格式中的左视点图像和右视点图像的位置。
表6
当“LR_first”的值是0时,左视点视频数量位于并排格式图像的左区域、顶部和底部格式的上区域、垂直线交错格式的奇数线、水平线交错格式的奇数线、场顺序格式的奇数参数或帧顺序格式的奇数帧上。此外,当当前3D视频数据被插入两个ES中并且“LR_first”的值是0时,左视点视频数据可以是所述两个ES的第一ES的主视点视频数据(主媒体)。相应地,右视点视频数据可被排列在与以上描述的左视点视频数据位于每个3D复合格式的区域相反的区域中。
当“LR_first”的值是1时,右视点视频数据和左视点视频数据的排列可与当“LR_first”的值是0时的排列相反。
设备200的PMT附加信息提取器230可读取表5的3D流描述符信息,并从第一视频ES循环910和955中的描述符信息915和954中提取关于主ES的3D附加信息。此外,PMT附加信息提取器230可从3D流描述符信息中的子ES循环提取关于子ES的3D附加信息。因此,ES恢复器240可通过使用关于主ES和子ES的3D附加信息来精确地恢复3D视频数据,再现器250可再现3D视频数据。
可被插入根据以上参照图10A和图10B描述的第二示例性实施例的PMT信息的各种类型的3D附加信息或3D子描述符在表7至表20中示出。
设备100的PMT产生器120可将以下的表7的3D描述符信息(“3d_descriptor”)插入以上参照图10A和图10B描述的第一视频ES循环1010和1055中的描述符信息1015和1053。
表7
表7的3D描述符信息(“3d_descriptor”)根据关于插入了3D视频的每个视点的视频数据的ES的数量的信息(“num_of_ES”)描述关于3D视频的不同信息。当每个视点的视频数据被插入一个ES中时,3D描述符信息可描述在图7中描述的3D复合格式信息(1ES_format)和在表6中描述的视点排列顺序信息(LR_first)。可选地,当每个视点的视频数据被插入至少两个ES时,3D描述符信息可描述在图8中描述的3D混合格式信息(Multi_ES_format)。
即使仅从根据第二示例性实施例的PMT信息中解析和读取第一视点ES循环1010和1055中的描述符信息1015和1053,设备200的PMT附加信息提取器230也可不仅预测关于第一视频ES的3D附加信息,还预测插入子ES中的子视频数据的3D图像格式。
设备100的PMT产生器120可将以下的表8的补充视频流描述符信息(“Auxiliary_video_stream_descriptor()”)插入以上参照图10A和图10B描述的第二和第三视点ES循环1020、1030、1060和1070的描述符信息1025、1035、1063和1073中。
表8
补充视频流描述符信息(Auxiliary_video_stream_descriptor)可包括关于对子视频数据进行编码的方法的信息(“aux_video_codedstreamtype”)。
PMT产生器120可将3D附加信息插入“si_rbsp(descriptor_length-1)”信息。
具体地,PMT产生器120可将3D附加信息插入表9中的补充视频流描述符信息中的“si_rbsp”信息中的“si_message”的“si_payload”中,表9、表10和表11分别示出补充视频流描述符信息中的“si_rbsp”信息、“si_message”信息和“si_payload”信息。
表9
表10
表11
语法 |
si_payload(payloadType,payloadSize){ |
is_avsi=FALSE |
if(payloadType==0payloadType==1‖payloadType==2){ |
is_avsi=TURE |
generic_params() |
} |
if(payloadType==0) |
depth_params() |
el seif(payloadType==1) |
parallax_params() |
else if(payloadType==2) |
additional_view_param() |
else |
reserved_si_message(payloadType,payloadSize) |
} |
PMT产生器120将子视点视频数据(“附加视点”)项插入深度映射(“Depthmap”)和视差映射(“Parallaxmap”),作为如表12中所示的子ES的有效载荷类型信息。
表12
payloadType | 补充视频的类型 |
0 | 深度映射 |
1 | 视差映射 |
2 | Additional_view |
其它值 | 保留 |
对于当具有当前补充视频流类型的ES的有效载荷类型信息是子视点视频数据(“payloadType==2”)时使用的3D附加信息,PMT产生器120可表10的“si_payload”信息中的“generic_params()”信息的内容改变为如表13所示,并新添加表16的“additional_view_params()”信息。
首先,PMT信息120将指示当前3D视频数据是否是混合格式的信息(“hybrid_indicator”)和关于混合格式的类型的信息(“hybrid_type”)的信息插入表13的“generic_params()”信息。
表13
表14
值 | hybrid_ indicator |
0 | 未使用混合类型格式 |
1 | 使用混合类型格式 |
表15
值 | hybrid_type |
000 | 子视点图像 |
001 | 深度信息 |
010 | 子视点图像+深度信息 |
011 | 子视点图像 |
100 | 视差信息 |
101 | 子视点图像+视差信息 |
110 | 保留 |
设备200的PMT附加信息提取器230可从PMT信息中的关于子ES的子流描述符信息(“Auxiliry_video_stream_descriptor”)中提取混合格式指示符信息(“hybrid_indicator”),再现器250可基于提取的混合格式指示符信息来根据表14预测插入当前ES的3D视频数据是否是3D混合格式。
可选地,PMT附加信息提取器230可从子流描述符信息中提取混合格式类型信息(“hybrid_type”),再现器250可基于提取的混合格式类型信息来根据表15确定子ES的子视频数据的混合格式的类型。
对于当子ES类型的ES的有效载荷类型信息是子视点视频数据(“payloadType==2”)时使用的3D附加信息,PMT产生器120还可将表16的“additional_view_params()”信息插入子视频描述符信息。
表16
PMT产生器120还可将与当前子ES的子视频数据有关的另一条视频数据的PID信息(“linked_PID”)和指示子视频数据是左视点视频还是右视点视频的信息(“LR_indicator”)插入“additional_view_params()”信息中,以形成3D视频数据。
表17
值 | linked_PID |
0x0000~0x1FFF | 与子视点有关的主视点的PID的值 |
表18
值 | LR_indicator |
0 | 指示相应子视点图像是L |
1 | 指示相应子视点图像是R |
设备200的PMT附加信息提取器230可从PMT信息中的关于子ES的子流描述符信息来提取表16的子视点参数。
PMT附加信息提取器230提取子视点参数(“additional_view_params()”)中的PID信息“linked_PID”,再现器250可基于提取的PID信息“linked_PID”,检查关于插入了当前子视频数据和另一条视频数据的包或流的PID信息。PID信息“linked_PID”可根据表17指示与当前子视频数据有关的主视点视频数据。
PMT附加信息提取器230可提取子视点参数(“additional_view_params()”)中的信息(“LR_indicator”),再现器250可基于提取的信息(“LR_indicator”),确定当前子ES的子视频数据是立体视频中的左视点视频数据还是右视点视频数据。
可选地,根据表19,PMT产生器120除了可将PID信息“linked_PID”和信息“LR_indicator”插入子视点参数“additional_view_params()”中,还可将子视点视频分辨率信息(“additional_view_resolution”)插入子视点参数“additional_view_params()”中。
表19
表20
值 | additional_view_resolution |
0b00 | 1920×1080 |
0b01 | 1280×720 |
0b10 | 704×480 |
0b11 | 640×480 |
PMT附加信息提取器230可提取子视点参数“additional_view_params()”中的子视点视频分辨率信息(“additional_view_resolution”),再现器250可根据表20确定传输格式的子视点视频数据的尺寸。再现器250可比较传输格式中的主视点视频数据的尺寸和子视点视频数据的尺寸,并可在将传输格式改变为再现格式时调整主视点视频数据的尺寸和子视点视频数据的尺寸。
设备100的PMT产生器120除了可将包括关于3D视频数据的特征的信息的3D流描述符信息(“3d_streamDescriptor()”)或3D视频描述符信息(“3d_descriptor()”)插入PMT信息中,还可将表21的3D模式描述符信息(“3d_mode_descriptor()”)和表22的3D通知描述符信息(“3d_notice_descriptor()”)插入PMT信息中,作为3D附加信息。
PMT产生器120可将2D/3D模式信息(“2d/3d_mode”)和2D/3D模式切换通知信息(“notice_indicator”)插入3D模式描述符信息“3d_notice_descriptor()”)。PMT产生器120可将3D图标指示符信息(“es_icon_indicator”)、切换指示符信息(“transition_indicator”)、切换时间戳信息(“transiton_time_stamp”)和切换消息信息(“transition_message”)插入3D通知描述符信息(“3d_notice_descriptor()”)。
表21
设备100的PMT附加信息提取器230从PMT信息中的节目循环或ES循环的描述符区中提取3D模式描述符信息(“3d_mode_descriptor()”),并可提取2D/3D模式信息(“2d/3d_mode”)和2D/3D模式切换通知信息(“notice_indicator”)。设备200的再现器250可基于提取的3D模式描述符信息、2D/3D模式信息和2D/3D模式切换通知信息,确定当前节目或当前ES的视频数据的2D模式和3D模式之间的切换。
表22
设备200的PMT附加信息提取器230可从PMT信息中的节目循环或ES循环的描述符区提取3D通知描述符信息(“3d_notice_descriptor()”)。
PMT附加信息提取器230可提取3D通知描述符信息(“3d_notice_descriptor()”)中的3D图标指示符信息(“es_icon_indicator”),再现器250可基于提取的3D图标指示符信息(“es_icon_indicator”),确定3D相关图标(诸如3D通知指示符)由内容提供商提供,并以这样的方式显示3D通知指示符:3D通知指示符与机顶盒或电视(TV)的3D通知指示符不重叠。例如,当3D图标指示符信息(“es_icon_indicator”)的值是0时,可确定在视频ES中不存在3D通知图标,从而使用机顶盒或TV的3D通知指示符,当3D图标指示符信息(“es_icon_indicator”)的值是1时,可确定在视频ES中存在3D通知图标,从而可使用视频ES中的3D通知图标以及机顶盒和TV的3D通知指示符之一。
PMT附加信息提取器230可提取3D通知描述符信息(“3d_notice_descriptor()”)中的切换指示符信息(“transition_indicator”),再现器250可确定将被接收的PMT信息是否包括2D/3D模式信息,所述2D/3D模式信息指示将被接收的PMT信息的模式是否与从当前PMT信息获得的当前模式不同,即,将被接收的PMT信息的模式是否将被改变。例如,当切换指示符信息(“transition_indicator”)的值为0时,在视频ES中保持当前模式,当切换指示符信息(“transition_indicator”)的值为1时,当前模式可被切换。
当切换指示符信息指示将产生2D/3D切换(“transition_indicator==1”)时,PMT附加信息提取器230从3D通知描述符信息(“3d_notice_descriptor()”)提取切换时间戳信息(“transtition_time_stamp”),再现器250可确定产生2D/3D模式切换的时间点。切换时间戳信息可以以显示时间戳(PTS)为单位来表示。切换时间戳信息可被表示为包括当前PMT信息的画面图像的PTS值和产生2D/3D模式切换的时间点的PTS值之间的相对值,或者被表示为产生2D/3D模式切换的时间点的PTS值的绝对值。然而,切换时间戳信息除了可以以PTS为单位来表示之个,还可以以其它单位来表示,诸如以帧的数量为单位。
当切换指示符信息指示将产生2D/3D切换(“transition_indicator==1”)时,PMT附加信息提取器230从3D通知描述符信息(“3d_notice_descriptor()”)提取切换消息信息(“transition_message”)。设备200的再现器250可在基于提取的切换消息信息再现内容服务的同时,确定作为2D/3D模式切换通知指示符的视觉效果(诸如图标或文本)或听觉效果(诸如声音)。用户可通过2D/3D模式切换通知指示符识别当前模式将被切换,或2D/3D模式是否将被切换,并可预先准备改变观看模式。
图11示出根据示例性实施例的使用模式转换信息的示例。
图11中示出2D图像序列1102至3D图像序列1136中的当前视频流1100的部分,其中,当前视频流1100包括2D图像序列1102至1128和3D图像序列1130至1136。
设备100在时间点T1、T2和T3分别发送关于当前视频流1100的PMT信息1140、1150和1160。由于在时间点T1的PMT信息1140中的2D/3D模式信息(2D/3D模式)指示2D,因此当前视频数据是在2D模式下。然而,在时间点T2的PMT信息1150中的2D/3D模式信息(2D/3D模式)指示2D,但2D/3D模式切换信息(transition_time_stamp)指示时间点T3。换句话说,当前视频数据是在2D模式下,但可切换到当前视频流1100中的3D模式。
如在时间点T2的PMT信息1150中的2D/3D模式切换信息(transition_time_stamp)所指示,在时间点T3产生2D/3D模式切换,在时间点T3的PMT信息的2D/3D模式信息(2D/3D_mode)指示3D。设备200可通过使用PMT信息1140、1150和1160的2D/3D模式切换信息来确定在时间点T1、T2和T3的模式和产生2D/3D模式切换的时间点,并可根据2D/3D模式切换通知指示符信息(“transition_message”),来在预定时间点在屏幕上显示2D/3D模式切换消息,或听觉上再现2D/3D模式切换消息。
设备100可发送具有不同分辨率的主视点视频和子视点视频。例如,设备100可发送全高清(HD)级的主视点视频数据和标清(SD)级的子视点视频数据。
图12示出根据示例性实施例的当以不同尺寸发送左视点视频和右视点视频时的示例。
设备100可获得全HD级的并具有1920×1080的尺寸的左视点视频1210和右视点视频1220,并将插入了全HD级并具有1920×1080的尺寸的左视点视频1230和SD级并具有640×480的尺寸的右视点视频1240的数据流转换为作为传输格式的TS,并发送所述数据流。
设备200接收TS,设备200的ES恢复器240可恢复左视点视频数据1230和右视点视频数据1240。即使再现器250对左视点视频数据1230和右视点视频数据1240进行扩展,以将左视点视频数据1230和右视点视频数据1240的格式转换为再现格式,但由于左视点视频数据1230的宽高比为16:9并且右视点视频数据的宽高比为4:3,因此左视点视频数据1230和右视点视频数据1240的高度和宽度不相同。换句话说,全HD级并具有再现格式的左视点视频1250和被扩大到1440×1080并具有再现格式的右视点视频1260都具有相同的1080像素的长度,但具有不同的宽度,即,左视点视频1250为1920和右视点视频为1440。如果主视点视频和子视点视频的分辨率不相同,则可能在再现3D视频的同时难以产生3D效果。
图13示出根据示例性实施例的使用宽高比信息的示例。
再现器250可恢复全HD级别并具有再现格式的左视点视频1250,并恢复具有从传输格式扩大的再现格式的右视点视频。这里,如果左视点视频1250和右视点视频1260被按原样再现,则会产生右视点视频1260不被显示的左视点视频1250的区域1350和1360。
因此,对于主视点视频和子视点视频的分辨率不相同的情况,设备100包括宽高比信息作为3D附加信息。设备100的PMT产生器120可将宽高比信息(“3d_aspect_ratiodescriptor”)插入PMT信息,作为3D附加信息,并如以下的表23所示插入修剪偏移信息(“cropping_offset”)作为宽高比信息(“3d_aspect_ratio_descriptor”)。例如,关于没有被扩大的子视点视频覆盖的主视点视频中的区域的宽度的信息可被设置为修剪偏移信息(“cropping_offset”),修剪偏移信息(“cropping_offset”)可被插入PMT信息中,作为3D附加信息。
表23
设备200的PMT附加信息提取器230可从PMT信息提取宽高比信息(“3d_aspect_ratio_descriptor”),并提取宽高比信息(“3d_aspect_ratio_descriptor”)中的修剪偏移信息(“cropping_offset”)。再现器250可通过基于修剪偏移信息,修剪没有被在具有1920×1080的尺寸的左视点视频1250的中心的具有1440×1080的尺寸的右视点视频1260覆盖的左视点视频1250的区域1350和1360,来再现左视点视频和右视点视频。可选地,再现器250可通过将左视点视频1250显示在区域1350和1360中,并在由右视点视频1260覆盖的中心区域中交替地显示左视点视频1250和右视点视频1260,来在具有1440×1080的尺寸的中心区域中产生3D效果。
设备100可通过将关于包的PID信息插入PMT信息,并将以上的表1至表23的3D附加信息插入流类型信息是“video_stream_type”或“auxiliary_video_stream_type”的节目循环、ES循环以及各种保留区中,来将2D或3D视频数据转换为TS,并发送所述TS。
当符合MPEGTS方法的接收器仅支持2D视频时,在所述接收器对接收的数据流进行解析和解码的同时,根据示例性实施例的PMT信息中的3D附加信息、3D描述符信息和3D流描述符信息不能被解析和解释。因此,包括3D视频数据的包不被检测,因此所述接收器仅识别和解码按照MPEGTS方法设置的2D视频数据以及关于3D视频数据的描述符信息。因此,所述接收器可处理与由设备100产生的数据流中的2D视频相关的数据。
设备200可通过接收TS并收集包括PMT信息的PID信息的包,PMT附加信息提取器230可从PMT信息的节目循环、ES循环和各种保留区中提取3D附加信息,并将3D附加信息发送到再现器250。
此外,设备200可收集具有“video_stream_type”作为PMT信息中的流类型的包的有效载荷,从而ES恢复器240基于所述包的PID信息恢复视频数据。
此外,设备200可收集具有“Auxiliary_video_stream_type”作为流类型信息的包的有效载荷,从而ES恢复器240基于所述包的PID信息恢复子视频数据。
设备200的再现器250通过分析从主ES和子ES提取的主视频数据和子视频数据的3D复合格式或3D混合格式,恢复主视点视频和子视点视频,通过使用PMT信息中的3D附加信息,在同步互相关联的主视点视频和子视点视频的再现时间段的同时再现主视点视频和子视点视频。
现在将具体描述再现器250的操作。
当ES恢复器240提取主视点视频作为主视频数据,并提取子视点视频作为子视频数据时,再现器250可形成可由3D显示装置再现的主视点视频和子视点视频的再现格式,并输出所述主视点视频和子视点视频。
当ES恢复器240提取主视点视频作为主视频数据,并提取差图像作为子视频数据时,再现器250可通过使用主视点视频和差图像来恢复子视点视频,形成可由3D显示装置再现的主视点视频和子视点视频的再现格式,并输出所述主视点视频和子视点视频。
当ES恢复器240提取主视点视频作为主视频数据,并提取深度信息(或视差信息)和子视点视频作为一条或两条子视频数据时,再现器250可通过使用主视点视频、子视点视频和深度信息(或视差信息)来产生中间视点视频。例如,可通过使用基于差图像的渲染(DIBR)方法,基于主视点视频和深度信息来产生中间视点视频。再现器250可从主视点视频、中间视点视频和子视点视频中选择两个视点视频,形成可由3D显示装置再现的两个选择的视点视频的再现格式,并输出这两个视点视频。当在主视点视频和子视点视频之间存在大深度差或视差时,可使用中间视点视频以防止观看疲劳。
当ES恢复器240提取3D复合格式数据作为主视频数据时,再现器250可从3D复合格式数据恢复主视点视频和子视点视频,形成可由3D显示装置再现的主视点视频和子视点视频的再现格式,并输出所述主视点视频和子视点视频。
当ES恢复器240提取3D复合格式数据作为主视频数据,并提取深度信息(或视差信息)作为子视频数据时,再现器250可从3D复合格式数据再现主视点视频和子视点视频,并通过使用主视点视频、子视点视频和深度信息(或视差信息)来产生中间视点视频。例如,可通过将DIBR方法应用到主视点视频、子视点视频和深度信息(或视差信息)来产生中间视点视频。可在主视点视频、中间视点视频和子视点视频中选择两个视点视频,在输出之前可形成所述两个视点视频的再现格式,以使所述两个视点视频可由3D显示装置再现。
当ES恢复器240提取3D复合格式数据作为主视频数据,提取差信息作为子视频数据时,再现器250可基于3D复合格式数据,恢复分辨率为原始分辨率的一半的主视点视频和子视点视频。这里,再现器250可通过另外使用具有一半分辨率的主视点视频和子视点视频的差信息,恢复具有与原始分辨率相同的分辨率的主视点视频和子视点视频。再现器250可形成可由3D显示装置再现的主视点视频和子视点视频的再现格式,并输出所述主视点视频和子视点视频。
当ES恢复器240提取2D视频作为主视频数据,提取深度信息(或视差信息)作为子视频数据时,再现器250可通过使用2D视频和深度信息(或视差信息)来恢复子视点视频,形成可由3D显示装置再现的主视点视频和子视点视频的再现格式,并输出所述主视点视频和子视点视频。然而,如果与主视点视频一起形成完全3D视频的子视点视频不被恢复,则会产生遮挡现象。
当ES恢复器240提取形成多视点视频的第一视点视频作为主视频数据,提取形成多视点视频的多个其它视点视频(诸如第二视点视频和第三视点视频)作为多条子视频数据时,再现器250可形成可由3D显示装置基于第一视点视频再现的所述多个其它视点视频的再现格式,并输出所述多个其它视点视频。与立体视频不同,多点视频可提供在旋转360。时可观看的3D视频。
当ES提取器240提取形成多拍摄视频的第一视频作为主视频数据,提取多个其它视频(诸如第二视频和第三视频)作为子视频数据,再现器250可选择性地并单独地输出第一至第三视频中的每个,或者可以以画中画(PIP)方法来输出第一至第三视频。例如,与多视点视频的情况不同,可基于观看者或广播的目的,改变显示在一个场景下以各种位置和方向拍摄的视频(诸如,在棒球比赛中,在捕手的视点拍摄的第一视频、在投手的视点拍摄的第二视频和在看台的第三视频)的方法。
图14是根据示例性实施例的用于传输3D视频数据流的系统1400的框图,其中,实现设备100和设备200。
发送器的内容产生器1410可通过使用多种拍摄方法(诸如从2D的(半)手动深度提取1412、RGB+红外相机1414或立体相机1416)之一来产生关于内容的视频数据。
从内容产生器1410的视频数据中,主视频数据MAINVIDEO可被输出到视频编码器A1420,第一子视频数据SUBVIDEO1、第一深度信息DEPTH1和第一视差信息PARALLAX1中的至少一个可被输出到视频编码器B1430,第二子视频数据SUBVIDEO2、第二深度信息DEPTH2和第二视差信息PARALLAX2中的至少一个可被输出到视频编码器C1440。
视频编码器A1420、视频编码器B1430和视频编码器C1440可对接收的视频数据进行编码,并分别将主视频流MAINVIDEOSTREAM、第一子流SUBVIDEOSTREAM1和第二子流SUBVIDEOSTREAM2输出到信道1450。
主视频流MAINVIDEOSTREAM、第一子流SUBVIDEOSTREAM1和第二子流SUBVIDEOSTREAM2的TS被发送到接收器,接收器可对所述TS进行解复用,并将视频包发送到视频解码器A1460、视频解码器B1470和视频解码器C1480。
视频解码器A1460可从主视频流MAINVIDEOSTREAM恢复主视频,并输出主视频,视频解码器B1470可从第一子流SUBVIDEOSTREAM1恢复第一子视频数据SUBVIDEO1、第一深度信息DEPTH1和第一视差信息PARALLAX1中的至少一个,并输出第一子视频数据SUBVIDEO1、第一深度信息DEPTH1和第一视差信息PARALLAX1中的至少一个,视频解码器C1480可从第二子流SUBVIDEOSTREAM2恢复第二子视频数据SUBVIDEO2、第一深度信息DEPTH2和第二视差信息PARALLAX2中的至少一个,并输出二子视频数据SUBVIDEO2、第一深度信息DEPTH2和第二视差信息PARALLAX2中的至少一个。
恢复的主视频、恢复的第一子视频数据SUBVIDEO1、第一深度信息DEPTH1和第一视差信息PARALLAX1,以及恢复的第二子视频数据SUBVIDEO2、第二深度信息DEPTH2和第二视差信息PARALLAX2可被发送到3D显示装置1490,其中,每个可根据显示方法被适当地转换,并以3D被再现。例如,可由3D显示装置1490使用多种方法(诸如自动立体光栅方法1492、自动立体栅格方法1494或基于眼镜的立体系统1496)之一来以3D再现恢复的3D视频。
因此,设备100可将3D附加信息(诸如具有3D混合格式的主视频数据、第一子数据和第二子数据)插入PMT信息,并发送PMT信息。此外,设备200可从接收的数据流中的PMT信息提取3D附加信息,并确定3D附加信息(诸如具有3D混合格式的主视频数据、第一子数据和第二子数据)被插入接收的数据流的有效载荷。另外,在从有效载荷提取3D附加信息之后,设备200可使用3D附加信息恢复主视点视频和子视点视频,并使用3D显示装置以3D再现主视点视频和子视点视频。
图15是示出根据示例性实施例的产生用于提供3D多媒体服务的数据流的方法的流程图。
在操作1510,包括在用于提供2D或3D多媒体服务的节目中的每个视点的视频数据的至少一个ES被产生。关于节目中的音频数据和子数据的ES也可被产生。
在操作1520,关于节目的PMT信息被产生,其中,PMT信息包括关于所述至少一个ES的参考信息以及用于根据每个视点识别和再现视频数据的3D附加信息。3D附加信息和参考信息中的至少一个可被插入PMT信息中的关于相应ES的描述符信息。根据第一示例性实施例的PMT信息的结构,PMT信息中的关于主ES的3D附加信息可包括关于子ES的3D附加信息和参考信息中的至少一个。根据第二示例性实施例的PMT信息的结构,PMT信息可顺序地包括所述至少一个ES中的每个ES的ES信息,每条ES信息包括关于相应ES的3D附加信息和参考信息中的至少一个。
3D附加信息可包括指示当前视频包包括2D视频数据还是3D视频数据的2D/3D通知信息、用于恢复和再现3D视频的3D描述符信息、指示当前节目的当前模式和未来的2D/3D模式切换的2D/3D模式切换信息以及宽高比信息。
在操作1530,通过对所述至少一个ES和PMT信息进行打包而产生的PES包来产生TS。TS可均包括有效载荷和头。PES包的部分和PMT信息可被包括在有效载荷中。TS可通过至少一个信道被发送。
图16是示出根据示例性实施例的接收用于提供3D多媒体服务的数据流的方法的流程图。
在操作1610,关于用于提供2D或3D多媒体服务的节目的TS被接收。
在操作1620,通过对TS进行解复用,来提取关于节目的PES包和关于节目的PMT信息。
在操作1630,从PMT信息提取关于节目中的每个视点的视频数据的ES的参考信息和3D附加信息。根据第一示例性实施例的PMT信息的结构,可从PMT信息中的关于主ES的3D附加信息提取关于子ES的3D附加信息和参考信息中的至少一个。根据第二示例性实施例的PMT信息的结构,可从关于子ES的ES信息或关于主ES的ES信息提取3D子描述符信息,可从3D子描述符信息提取关于子ES的3D附加信息和参考信息。
在操作1640,通过使用提取的关于通过对PES包进行解包而提取的ES中的至少一个ES的参考信息,恢复所述至少一个ES,从所述至少一个ES提取每个视点的视频数据。
通过使用3D附加信息和参考信息恢复每个视点的视频数据,通过根据视点对每个视点的视频数据的再现时间段和再现顺序进行同步来再现每个视点的视频数据,3D多媒体服务可被提供给观看者。
根据示例性实施例的发送数据流的方法,可通过基于MPEGTS系统,使用具有现有技术的流类型,而不必添加插入了3D视频数据的ES的流类型,各种类型的3D附加信息和参考信息可与2D视频和3D视频一起被发送。例如,主ES的类型可符合MPEGTS标准或MPEG-4/AVC,子ES的流类型可符合MPEG-2标准或MPEG-4/AVC标准,或者可以是补充视频流。
由于不支持补充视频流的接收系统不能够识别子ES,因此接收系统可通过仅识别主ES将当前视频服务确定为2D视频服务。因此,即使现有技术的接收系统接收根据示例性实施例的产生数据流的方法而产生的TS,也可根据现有技术的接收系统的操作来分析视频数据,从而以2D再现所述视频数据。因此,可保持逆向兼容性。
根据示例性实施例的接收数据流的方法,当通过关于经由一个信道接收的节目的TS不仅接收到主视点视频数据和子视点视频数据,还另外接收深度信息和视差信息时,主视点视频数据和子视点视频数据以及深度信息和视差信息被恢复以不仅再现立体视频还再现多视点视频。这里,从PMT信息提取的3D附加信息和参考信息被用于精确地恢复和再现多视点视频。
示例性实施例可被编写为计算机程序并可在使用计算机可读记录介质执行程序的通用数字计算机中实现。计算机可读记录介质的示例包括存储介质,诸如磁存储介质(例如,ROM、软盘、硬盘等)和光学记录介质(例如,CD-ROM或DVD)。另外,上述设备的一个或多个单元可包括执行存储在计算机可读介质中的计算机程序的处理器或微处理器。
虽然以上已经具体地示出和描述了示例性实施例,但是本领域的普通技术人员应理解,在不脱离权利要求限定的本发明构思的精神和范围的情况下,可在形式和细节上对其进行各种改变。示例性实施例应该被视为仅是说明的目的,而非限制的目的。因此,本发明构思的范围不由示例性实施例的具体描述来限定,而是由权利要求来限定,在所述范围内的所有差别将被解释为包括在本发明构思中。
Claims (13)
1.一种产生用于提供3D多媒体服务的数据流的方法,所述方法包括:
从用于提供2D多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少两个基本流;
产生关于所述节目的节目映射表信息,其中,关于产生的至少两个基本流的参考信息和用于识别和再现每个视点的视频数据的3D附加信息被插入所述节目映射表信息;
通过对所述产生的至少两个基本流和产生的节目映射表信息进行打包而产生打包的基本流包,并对打包的基本流包进行复用,来产生至少一个传输流,
其中,产生的基本流包括主基本流和至少一个子基本流,其中,主基本流包括主视频数据,主视频数据包括第一视点的视频数据,所述至少一个子基本流包括子视频数据,子视频数据包括第二视点的视频数据,
其中,用于主基本流的3D附加信息包括关于包括在产生的基本流中的子基本流的数量的信息以及指示主视频数据和子视频数据被复合的3D复合格式的复合格式信息。
2.如权利要求1所述的方法,其中,产生节目映射表信息的步骤包括:
将关于主视频数据的3D附加信息插入节目映射表信息的主基本流的描述符信息,其中,主视频数据被插入所述产生的至少两个基本流的主基本流;
将关于子视频数据的3D附加信息和参考信息中的至少一个插入主基本流的描述符信息,其中,子视频数据包括在所述产生的至少两个基本流中的子基本流中,
其中,主视频数据和子视频数据分别是第一视点视频数据和第二视点视频数据的组合。
3.如权利要求2所述的方法,其中,关于主视频数据的3D附加信息包括主视频数据的图像格式信息、主视频数据的图像格式的视点排列顺序信息、关于与主基本流相应的子基本流的数量的信息中的至少一个,
关于子基本流的参考信息包括子基本流的流类型信息和子基本流的包标识符信息中的至少一个。
4.如权利要求1所述的方法,其中,产生节目映射表信息的步骤包括:根据所述产生的至少两个基本流,将基本流信息顺序地插入节目映射表信息,其中,基本流信息包括各基本流的流类型信息、包标识符信息和视频流描述符信息。
5.如权利要求4所述的方法,其中,产生节目映射表的步骤还包括:
将3D视频描述符信息插入节目映射表信息,其中,3D视频描述符信息包括关于主视频数据的3D附加信息,所述主视频数据包括在所述产生的至少两个基本流的主基本流中;
将包括3D附加信息的子基本流视频描述符信息插入关于所述产生的至少两个基本流中的子基本流的基本流信息。
6.一种接收用于提供3D多媒体服务的数据流的方法,所述方法包括:
接收关于提供2D多媒体服务和3D多媒体服务中的至少一个的节目的至少一个传输流,其中,在所述至少一个传输流中,关于包括节目的每个视点的视频数据的至少两个基本流的参考信息和用于识别和再现每个视点的视频数据的3D附加信息被插入关于节目的节目映射表信息;
通过对所述至少一个传输流进行解复用,提取打包的关于节目的基本流包和节目映射表信息;
从节目映射表信息提取关于包括节目的每个视点的视频数据的至少两个基本流的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息;
通过使用提取的与通过对打包的基本流包进行解包而提取的基本流中的所述至少一个基本流有关的参考信息,恢复所述至少一个基本流,并从恢复的所述至少一个基本流提取每个视点的视频数据,
其中,基本流包括主基本流和至少一个子基本流,其中,主基本流包括主视频数据,主视频数据包括第一视点的视频数据,所述至少一个子基本流包括子视频数据,子视频数据包括第二视点的视频数据,
其中,用于主基本流的3D附加信息包括关于包括在产生的基本流中的子基本流的数量的信息以及指示主视频数据和子视频数据被复合的3D复合格式的复合格式信息。
7.如权利要求6所述的方法,还包括:通过使用提取的3D附加信息以3D再现提取的每个视点的视频数据。
8.如权利要求6所述的方法,其中,从节目映射表信息提取参考信息和3D附加信息的步骤包括:
从节目映射表信息提取关于所述至少两个基本流中的主基本流的参考信息和主基本流的描述符信息中的关于包括在主基本流中的主视频数据的3D附加信息中的至少一个;
从主基本流的描述符信息提供关于所述至少两个基本流中的子基本流的参考信息和关于包括在子基本流中的子视频数据的3D附加信息中的至少一个,
其中,主视频数据和子视频数据分别是第一视点视频数据和第二视点视频数据的组合。
9.如权利要求8所述的方法,其中,关于主视点视频数据的3D附加信息包括主视频数据的图像格式信息、主视频数据的图像格式的视点排列顺序信息、关于与主基本流相应的子基本流的数量的信息中的至少一个,
关于子基本流的参考信息包括子基本流的流类型信息和子基本流的包标识符信息中的至少一个。
10.如权利要求6所述的方法,其中,从节目映射表信息提取参考信息和3D附加信息的步骤包括:根据所述至少两个基本流,从节目映射表信息顺序地提取基本流信息,其中,所述基本流信息包括各基本流的流类型信息、包标识符信息和视频流描述符信息。
11.如权利要求10所述的方法,其中,从节目映射表信息提取参考信息和3D附加信息的步骤还包括:
从关于主视点基本流的基本流信息中,提取包括关于每个视点的视频数据的3D附加信息的3D视频描述符信息,其中,主视点基本流包括所述至少两个基本流中的每个视点的视频数据中的主视点视频数据;
从关于所述至少两个基本流中的子基本流的基本流信息中,提取包括3D附加信息的子基本流视频描述符。
12.一种产生用于3D多媒体服务的数据流的设备,所述设备包括:
基本流产生器,从用于提供2D多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少两个基本流;
节目映射表产生器,产生关于所述节目的节目映射表信息,其中,关于产生的至少两个基本流的参考信息和用于识别和再现每个视点的视频数据的3D附加信息被插入所述节目映射表信息;
传输流产生器,通过对产生的至少两个基本流和产生的节目映射表信息进行打包而产生打包的基本流包,并对打包的基本流包进行复用,来产生至少一个传输流;
信道发送器,使用信道对产生至少一个传输流进行同步和发送,
其中,产生的基本流包括主基本流和至少一个子基本流,其中,主基本流包括主视频数据,主视频数据包括第一视点的视频数据,所述至少一个子基本流包括子视频数据,子视频数据包括第二视点的视频数据,
其中,用于主基本流的3D附加信息包括关于包括在产生的基本流中的子基本流的数量的信息以及指示主视频数据和子视频数据被复合的3D复合格式的复合格式信息。
13.一种接收用于提供3D多媒体服务的数据流的设备,所述设备包括:
传输流接收器,接收关于提供2D多媒体服务和3D多媒体服务中的至少一个的节目的至少一个传输流,其中,在所述至少一个传输流中,关于包括节目的每个视点的视频数据的至少两个基本流的参考信息和用于识别和再现每个视点的视频数据的3D附加信息被插入关于节目的节目映射表信息;
传输流解复用器,通过对所述至少一个传输流进行解复用,提取打包的关于节目的基本流包和节目映射表信息;
节目映射表3D附加信息提取器,从节目映射表信息提取关于包括节目的每个视点的视频数据的至少两个基本流的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息;
基本流恢复器,通过使用提取的与通过对打包的基本流包进行解包而提取的基本流中的所述至少两个基本流有关的参考信息,恢复所述至少两个基本流,并从恢复的所述至少两个基本流提取每个视点的视频数据;
再现器,通过使用3D附加信息和参考信息中的至少一个,对提取的每个视点的视频数据进行解码和恢复,并以3D再现恢复的每个视点的视点数据,
其中,产生的基本流包括主基本流和至少一个子基本流,其中,主基本流包括主视频数据,主视频数据包括第一视点的视频数据,所述至少一个子基本流包括子视频数据,子视频数据包括第二视点的视频数据,
其中,用于主基本流的3D附加信息包括关于包括在产生的基本流中的子基本流的数量的信息以及指示主视频数据和子视频数据被复合的3D复合格式的复合格式信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510222323.XA CN104822071B (zh) | 2010-01-28 | 2011-01-28 | 提供立体视频广播服务的数据流的发送方法和接收方法 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US29913210P | 2010-01-28 | 2010-01-28 | |
US61/299,132 | 2010-01-28 | ||
US31008310P | 2010-03-03 | 2010-03-03 | |
US61/310,083 | 2010-03-03 | ||
KR1020100052364A KR20110088334A (ko) | 2010-01-28 | 2010-06-03 | 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치 |
KR10-2010-0052364 | 2010-06-03 | ||
PCT/KR2011/000630 WO2011093676A2 (en) | 2010-01-28 | 2011-01-28 | Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510222323.XA Division CN104822071B (zh) | 2010-01-28 | 2011-01-28 | 提供立体视频广播服务的数据流的发送方法和接收方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102860000A CN102860000A (zh) | 2013-01-02 |
CN102860000B true CN102860000B (zh) | 2016-04-13 |
Family
ID=44926963
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510222323.XA Active CN104822071B (zh) | 2010-01-28 | 2011-01-28 | 提供立体视频广播服务的数据流的发送方法和接收方法 |
CN201180016819.1A Active CN102860000B (zh) | 2010-01-28 | 2011-01-28 | 产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510222323.XA Active CN104822071B (zh) | 2010-01-28 | 2011-01-28 | 提供立体视频广播服务的数据流的发送方法和接收方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20110181693A1 (zh) |
EP (1) | EP2517468A4 (zh) |
JP (1) | JP5785193B2 (zh) |
KR (1) | KR20110088334A (zh) |
CN (2) | CN104822071B (zh) |
MX (1) | MX2012008816A (zh) |
WO (1) | WO2011093676A2 (zh) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8400570B2 (en) * | 2008-10-09 | 2013-03-19 | Manufacturing Resources International, Inc. | System and method for displaying multiple images/videos on a single display |
KR101364027B1 (ko) * | 2008-12-18 | 2014-02-18 | 엘지전자 주식회사 | 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치 |
JP5585047B2 (ja) * | 2009-10-28 | 2014-09-10 | ソニー株式会社 | ストリーム受信装置、ストリーム受信方法、ストリーム送信装置、ストリーム送信方法及びコンピュータプログラム |
WO2011136621A2 (en) | 2010-04-30 | 2011-11-03 | Lg Electronics Inc. | An apparatus of processing an image and a method of processing thereof |
CA2844602A1 (en) * | 2011-08-09 | 2013-02-14 | Samsung Electronics Co., Ltd. | Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map |
CN103891275B (zh) * | 2011-08-31 | 2017-02-15 | Lg电子株式会社 | 数字广播信号处理方法及设备 |
WO2013055032A1 (ko) * | 2011-10-10 | 2013-04-18 | 한국전자통신연구원 | 융합형 3dtv에서 컨텐츠 스트림에 접근하는 컨텐츠 제공 장치 및 방법, 그리고 컨텐츠 재생 장치 및 방법 |
KR101965385B1 (ko) * | 2011-10-10 | 2019-04-03 | 한국전자통신연구원 | 융합형 3dtv에서 컨텐츠 스트림에 접근하는 컨텐츠 제공 장치 및 방법, 그리고 컨텐츠 재생 장치 및 방법 |
KR20130046534A (ko) | 2011-10-28 | 2013-05-08 | 삼성전자주식회사 | 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치 |
US9693033B2 (en) * | 2011-11-11 | 2017-06-27 | Saturn Licensing Llc | Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format |
CN103931200A (zh) * | 2011-11-14 | 2014-07-16 | 摩托罗拉移动有限责任公司 | Mvc立体视图与用于3dtv的左或右眼显示器的关联 |
JP2013110540A (ja) * | 2011-11-18 | 2013-06-06 | Sony Corp | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
KR101779181B1 (ko) * | 2011-11-29 | 2017-09-18 | 한국전자통신연구원 | 3d 디지털방송 수신 장치 및 방법, 그리고 영상 모드 전환 장치 및 방법 |
WO2013129158A1 (ja) * | 2012-03-01 | 2013-09-06 | ソニー株式会社 | 送信装置、送信方法および受信装置 |
KR20130102984A (ko) * | 2012-03-09 | 2013-09-23 | 한국전자통신연구원 | 방송 시스템에서의 데이터 전송 장치 및 방법 |
US9448064B2 (en) | 2012-05-24 | 2016-09-20 | Qualcomm Incorporated | Reception of affine-invariant spatial mask for active depth sensing |
JP6479473B2 (ja) * | 2012-11-26 | 2019-03-06 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 送信装置、送信方法、受信装置、受信方法および受信表示方法 |
US9998800B2 (en) * | 2013-03-12 | 2018-06-12 | Electronics And Telecommunications Research Institute | 3D broadcast service providing method and apparatus, and 3D broadcast service reproduction method and apparatus for using image of asymmetric aspect ratio |
WO2015011877A1 (ja) | 2013-07-26 | 2015-01-29 | パナソニックIpマネジメント株式会社 | 映像受信装置、付加情報表示方法および付加情報表示システム |
EP3029944B1 (en) | 2013-07-30 | 2019-03-06 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, added-information display method, and added-information display system |
WO2015033501A1 (ja) | 2013-09-04 | 2015-03-12 | パナソニックIpマネジメント株式会社 | 映像受信装置、映像認識方法および付加情報表示システム |
WO2015033500A1 (ja) | 2013-09-04 | 2015-03-12 | パナソニックIpマネジメント株式会社 | 映像受信装置、映像認識方法および付加情報表示システム |
KR101856568B1 (ko) * | 2013-09-16 | 2018-06-19 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 제어 방법 |
KR20150047225A (ko) * | 2013-10-24 | 2015-05-04 | 엘지전자 주식회사 | 파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치 |
JP6181848B2 (ja) * | 2014-02-21 | 2017-08-16 | エルジー エレクトロニクス インコーポレイティド | 3d放送信号を処理する方法及び装置 |
EP3125568A4 (en) | 2014-03-26 | 2017-03-29 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving device, video recognition method, and supplementary information display system |
EP3125567B1 (en) * | 2014-03-26 | 2019-09-04 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving device, video recognition method, and supplementary information display system |
WO2016009637A1 (ja) | 2014-07-17 | 2016-01-21 | パナソニックIpマネジメント株式会社 | 認識データ生成装置、画像認識装置および認識データ生成方法 |
US20160050440A1 (en) * | 2014-08-15 | 2016-02-18 | Ying Liu | Low-complexity depth map encoder with quad-tree partitioned compressed sensing |
JP6432047B2 (ja) | 2014-08-21 | 2018-12-05 | パナソニックIpマネジメント株式会社 | コンテンツ認識装置およびコンテンツ認識方法 |
KR102517570B1 (ko) | 2015-02-11 | 2023-04-05 | 한국전자통신연구원 | 3dtv 방송 송수신 장치 |
WO2016129899A1 (ko) * | 2015-02-11 | 2016-08-18 | 한국전자통신연구원 | 3dtv 방송 송수신 장치 |
US10319408B2 (en) | 2015-03-30 | 2019-06-11 | Manufacturing Resources International, Inc. | Monolithic display with separately controllable sections |
US10922736B2 (en) | 2015-05-15 | 2021-02-16 | Manufacturing Resources International, Inc. | Smart electronic display for restaurants |
US10269156B2 (en) | 2015-06-05 | 2019-04-23 | Manufacturing Resources International, Inc. | System and method for blending order confirmation over menu board background |
WO2016204481A1 (ko) * | 2015-06-16 | 2016-12-22 | 엘지전자 주식회사 | 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법 |
KR102519209B1 (ko) * | 2015-06-17 | 2023-04-07 | 한국전자통신연구원 | 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법 |
US10319271B2 (en) | 2016-03-22 | 2019-06-11 | Manufacturing Resources International, Inc. | Cyclic redundancy check for electronic displays |
KR102204132B1 (ko) | 2016-05-31 | 2021-01-18 | 매뉴팩처링 리소시스 인터내셔널 인코포레이티드 | 전자 디스플레이의 원격 영상 검증 시스템 및 방법 |
US10510304B2 (en) | 2016-08-10 | 2019-12-17 | Manufacturing Resources International, Inc. | Dynamic dimming LED backlight for LCD array |
US20180176468A1 (en) * | 2016-12-19 | 2018-06-21 | Qualcomm Incorporated | Preferred rendering of signalled regions-of-interest or viewports in virtual reality video |
JP7128036B2 (ja) * | 2018-06-07 | 2022-08-30 | ルネサスエレクトロニクス株式会社 | 映像信号受信装置、及び映像信号受信方法 |
CN113243112A (zh) * | 2018-12-21 | 2021-08-10 | 皇家Kpn公司 | 流式传输体积视频和非体积视频 |
US11895362B2 (en) | 2021-10-29 | 2024-02-06 | Manufacturing Resources International, Inc. | Proof of play for images displayed at electronic displays |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005114998A1 (en) * | 2004-05-21 | 2005-12-01 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving 3d stereoscopic digital broadcast signal by using 3d stereoscopic video additional data |
WO2009075418A1 (en) * | 2007-12-12 | 2009-06-18 | Electronics And Telecommunications Research Institute | Method and apparatus for stereoscopic data processing based on digital multimedia broadcasting |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5886736A (en) * | 1996-10-24 | 1999-03-23 | General Instrument Corporation | Synchronization of a stereoscopic video sequence |
KR100475060B1 (ko) * | 2002-08-07 | 2005-03-10 | 한국전자통신연구원 | 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법 |
JP4190357B2 (ja) * | 2003-06-12 | 2008-12-03 | シャープ株式会社 | 放送データ送信装置、放送データ送信方法および放送データ受信装置 |
KR100697972B1 (ko) * | 2004-11-16 | 2007-03-23 | 한국전자통신연구원 | 입체 방송 서비스를 위한 디지털 방송 송신 장치 및 그 방법 |
KR100818933B1 (ko) * | 2005-12-02 | 2008-04-04 | 한국전자통신연구원 | 디지털방송 기반 3차원 컨텐츠 서비스 제공 방법 |
KR100747598B1 (ko) * | 2005-12-09 | 2007-08-08 | 한국전자통신연구원 | 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법 |
KR101328946B1 (ko) * | 2007-03-26 | 2013-11-13 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 방송 신호 수신 장치 |
AU2009205250B2 (en) * | 2008-01-17 | 2013-02-21 | Panasonic Corporation | Recording medium on which 3D video is recorded, recording medium for recording 3D video, and reproducing device and method for reproducing 3D video |
KR101506219B1 (ko) * | 2008-03-25 | 2015-03-27 | 삼성전자주식회사 | 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체 |
CA2740139C (en) * | 2008-10-10 | 2014-05-13 | Lg Electronics Inc. | Reception system and data processing method |
JP2012516069A (ja) * | 2009-01-20 | 2012-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 3dビデオ及び3dオーバレイをビデオインタフェース上で送信し、合成する方法及びシステム |
WO2010113454A1 (ja) * | 2009-03-31 | 2010-10-07 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
DK2482563T3 (en) * | 2009-09-25 | 2017-03-27 | Panasonic Ip Man Co Ltd | RECORDING MEDIUM, REPLACEMENT DEVICE AND INTEGRATED CIRCUIT |
JP2011082666A (ja) * | 2009-10-05 | 2011-04-21 | Sony Corp | 信号伝送方法、信号送信装置及び信号受信装置 |
KR101694821B1 (ko) * | 2010-01-28 | 2017-01-11 | 삼성전자주식회사 | 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치 |
-
2010
- 2010-06-03 KR KR1020100052364A patent/KR20110088334A/ko not_active Application Discontinuation
-
2011
- 2011-01-28 WO PCT/KR2011/000630 patent/WO2011093676A2/en active Application Filing
- 2011-01-28 CN CN201510222323.XA patent/CN104822071B/zh active Active
- 2011-01-28 US US13/016,214 patent/US20110181693A1/en not_active Abandoned
- 2011-01-28 CN CN201180016819.1A patent/CN102860000B/zh active Active
- 2011-01-28 JP JP2012551094A patent/JP5785193B2/ja not_active Expired - Fee Related
- 2011-01-28 EP EP11737315.9A patent/EP2517468A4/en not_active Ceased
- 2011-01-28 MX MX2012008816A patent/MX2012008816A/es active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005114998A1 (en) * | 2004-05-21 | 2005-12-01 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving 3d stereoscopic digital broadcast signal by using 3d stereoscopic video additional data |
WO2009075418A1 (en) * | 2007-12-12 | 2009-06-18 | Electronics And Telecommunications Research Institute | Method and apparatus for stereoscopic data processing based on digital multimedia broadcasting |
Also Published As
Publication number | Publication date |
---|---|
MX2012008816A (es) | 2012-09-28 |
KR20110088334A (ko) | 2011-08-03 |
WO2011093676A2 (en) | 2011-08-04 |
JP2013518505A (ja) | 2013-05-20 |
CN102860000A (zh) | 2013-01-02 |
US20110181693A1 (en) | 2011-07-28 |
EP2517468A4 (en) | 2013-10-09 |
CN104822071A (zh) | 2015-08-05 |
CN104822071B (zh) | 2018-11-13 |
WO2011093676A3 (en) | 2011-12-01 |
JP5785193B2 (ja) | 2015-09-24 |
EP2517468A2 (en) | 2012-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102860000B (zh) | 产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备 | |
CN102835047B (zh) | 使用关于多视点视频流的链接信息发送数字广播流的方法和设备以及接收数字广播流的方法和设备 | |
CN102484731B (zh) | 用于产生和接收3维图像数据流的方法和设备 | |
CN104717479B (zh) | 广播接收机及其3d广播数据处理方法 | |
JP6181848B2 (ja) | 3d放送信号を処理する方法及び装置 | |
US8773584B2 (en) | Playback apparatus, playback method, integrated circuit, broadcast system, and broadcast method using a broadcast video and additional video | |
CN102415100B (zh) | 广播接收机及其3d视频数据处理方法 | |
US9210354B2 (en) | Method and apparatus for reception and transmission | |
CN103168473B (zh) | 数字接收机以及用于处理数字接收机中的3d 内容的方法 | |
CN103339945A (zh) | 图像数据发送装置、图像数据发送方法和图像数据接收装置 | |
CN103416069A (zh) | 发送设备、发送方法、接收设备以及接收方法 | |
CN102640503B (zh) | 产生流的方法及设备和处理流的方法及设备 | |
JP5981915B2 (ja) | 送信装置、受信再生装置、送信方法及び受信再生方法 | |
KR101977260B1 (ko) | 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치 | |
JP2013090020A (ja) | 映像出力装置および映像出力方法 | |
US20130307924A1 (en) | Method for 3dtv multiplexing and apparatus thereof | |
KR101853504B1 (ko) | 비디오 신호의 보조 데이터 공간에 동기 정보를 추가하여 영상을 동기화하는 장치 및 방법 | |
KR20150021487A (ko) | 영상송신장치, 영상송신방법 및 영상재생장치 | |
CN103843330A (zh) | 发送设备、发送方法、接收设备以及接收方法 | |
JP2012100181A (ja) | 映像出力装置、映像出力方法、受信装置および受信方法 | |
JP2013090019A (ja) | 映像出力装置および映像出力方法 | |
JP2013026653A (ja) | 映像表示装置及び映像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221205 Address after: Bantian HUAWEI headquarters office building, Longgang District, Shenzhen, Guangdong Patentee after: HUAWEI TECHNOLOGIES Co.,Ltd. Address before: Gyeonggi Do Korea Suwon Patentee before: SAMSUNG ELECTRONICS Co.,Ltd. |