CN102870421A - 图像数据发送装置和方法、图像数据接收装置和方法 - Google Patents

图像数据发送装置和方法、图像数据接收装置和方法 Download PDF

Info

Publication number
CN102870421A
CN102870421A CN2012800012440A CN201280001244A CN102870421A CN 102870421 A CN102870421 A CN 102870421A CN 2012800012440 A CN2012800012440 A CN 2012800012440A CN 201280001244 A CN201280001244 A CN 201280001244A CN 102870421 A CN102870421 A CN 102870421A
Authority
CN
China
Prior art keywords
data
view data
image data
stream
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012800012440A
Other languages
English (en)
Inventor
北里直久
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102870421A publication Critical patent/CN102870421A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

为了促进在具有有限带宽的广播(诸如地面广播)内引入3D广播。除了基础视频信号(MPEG2),还存在扩展视频信号(AVC)。基础视频信号选择性地包括2D图像数据或左眼图像数据。扩展视频信号包括右眼图像数据,其视频格式与基础视频信号中包括的图像数据的视频格式相同或不同。扩展视频信号的获取目的地是另一广播服务、VOD通信或多播通信、以及同一服务。在PMT之下,包括左眼图像数据作为包括在基础视频信号中的图像数据,并且插入控制信号(3D方法描述符),其保持指示右眼图像数据(其它图像数据)的获取目的地的信息。基础视频信号包括识别信息(3D视频识别信号),用于以帧为单位识别所包括的图像数据是2D图像数据还是左眼图像数据。

Description

图像数据发送装置和方法、图像数据接收装置和方法
技术领域
本发明涉及一种图像数据发送装置、图像数据发送方法、图像数据接收装置、以及图像数据接收方法,并具体涉及执行其中存在为了立体图像等的目的而链接的其它图像数据片的图像数据的发送的图像数据发送装置等。
背景技术
例如,在PTL 1中已经建议了使用电视频段(airwave)的立体图像数据的发送系统。在这种情况中,发送包括左眼图像数据和右眼图像数据的立体图像数据,并在电视机上执行使用双眼视差的立体图像显示。
图23示出了物体的左图像和右图像在屏幕上的显示位置、以及立体图像(3D图像)在使用双眼视差的立体图像显示上的再现位置之间的关系。例如,关于通过偏离向右侧的左图像La和偏离向左侧的右图像Ra而在屏幕上显示的物体A,如图中所示,因为左视线和右视线在屏幕面前方相交,所以立体图像的再现位置在屏幕面前方。
此外,例如,关于左图像Lb和右图像Rb显示在屏幕上的同一位置处的物体B,如图中所示,因为左视线和右视线在屏幕面上相交,所以立体图像的再现位置在屏幕面上。此外,例如,关于通过偏离向左侧的左图像Lc和偏离向右侧的右图像Rc而显示在屏幕上的物体C,因为左视线和右视线在屏幕面后方相交,所以立体图像的再现位置在屏幕面的后方。
引用列表
专利文献
PTL1:日本未审查专利申请公开No.2005-6114
发明内容
技术问题
随着3D TV的到来,正在考虑用于3D广播服务和3D IPTV服务的系统。在具有将新的3D广播添加到广播频带的灵活性的广播媒体(诸如卫星广播和有线电视)的情况下,正在通过并列(side-by-side)系统等引入3D服务,该并列系统可以转用(divert)现有发送系统和接收机功能。
在地面广播中,必须通过现有的2D接收终端接收2D广播,同时通过利用3D兼容的接收终端接收3D广播。即,必须利用现有的2D接收终端将一个节目接收为2D广播,并利用3D兼容的接收终端将所述一个节目接收为3D广播。然而,带宽是有限的,并且当前通过具有较差效率的编码系统(诸如MPEG2视频)发送广播。
因此,在上述并列系统的情况下,带宽是不够的。即,在带宽方面,难以同时发送并列系统的3D图像数据和常规的2D图像数据。因此,在地面广播的情况下,难以引入3D广播。
本发明的目的在于促进在具有有限带宽的广播(诸如地面广播)内引入3D广播。
解决问题的方案
本发明提供了一种图像数据发送装置,包括:数据发送单元,发送包括第一视频数据流的传输流,所述第一视频数据流包括第一图像数据,在所述第一图像数据中存在为了预定目的而链接的其它图像数据,其中所述传输流包括第一数据作为包括在所述第一视频数据流中的图像数据,并且包括具有指示所述其它图像数据的获取源的信息的控制信号。
在本发明中,从数据发送单元发送包括第一视频数据流的第一传输流。第一视频数据流包括第一图像数据,其中为了预定目的而链接了其它图像数据。例如,预定目的是立体图像,并且通过第一图像数据和该其它图像数据配置立体图像数据。此外,例如,预定目的是多视点图像、全景图像等。
传输流包括控制信号。控制信号包括第一数据作为包括在第一视频数据流中的图像数据,并且还具有指示该其它图像数据的获取源的信息。例如,传输流包括节目映射表作为节目特定信息,该节目特定信息指示包括在传输流中的每个基本流属于哪个节目,并且控制信号被插入在节目映射表之下。
例如,所述第一图像数据的编码系统是MPEG2video,并且所述其它图像数据的编码系统是MPEG4-AVC。与MPEG2video相比,MPEG4-AVC具有高效率,并可以降低数据量。该其它图像数据的获取源是例如同一服务、不同服务、通信VOD、通信多播等。
以这样的方式,根据本发明,所述传输流包括第一数据作为包括在所述第一视频数据流中的图像数据,并且包括具有指示所述其它图像数据的获取源的信息的控制信号。因此,接收装置可以基于控制信号识别在第一视频数据流中包括的图像数据中是否存在为了预定目的而链接的其它图像数据。此外,接收装置可以基于指示获取源的信息容易地获得该其它图像数据。因此,根据本发明,对于具有有限带宽的广播(诸如地面广播)促进了3D广播的引入。
这里,根据本发明,例如,所述其它图像数据的画面格式可以与所述第一图像数据的画面格式相同或不同,并且所述控制信号还可以具有所述第一图像数据和所述其它图像数据的画面格式信息。以这样的方式,通过具有画面格式信息的控制信号,例如可以选择与第一图像数据相同的画面格式或不同的任意画面格式作为其它图像数据的画面格式,从而增加了画面格式的选择的自由度。此外,以这样的方式,通过具有画面格式信息的控制信号,接收装置可以容易地识别第一图像数据和其它图像数据的画面格式,可以适当地执行将其它图像数据的画面格式与第一图像数据的画面格式匹配的处理。
此外,根据本发明,例如,当包括在控制信号中的获取源是同一服务时,所述传输流可以包括第二视频数据流,所述第二视频数据流包括所述其它图像数据,并且所述控制信号还可以包括指示所述第一视频数据流和所述第二视频数据流的组合的信息。在这种情况中,根据该接收装置,可以基于指示组合的信息而容易知道其它图像数据包括在第二视频数据流中,并且可以容易地从第二视频数据流获得其它图像数据。
此外,根据本发明,例如,第一视频数据流可以选择性地包括所述第一图像数据和第二图像数据,在所述第二图像数据中未链接其它图像数据,并且所述第一视频数据流可以包括识别信息,所述识别信息以帧为单位识别所包括的图像数据是所述第一图像数据还是所述第二图像数据。例如,识别信息被插入到第一视频数据流的每个画面的头部中。在这种情况中,接收装置可以基于识别信息而快速地切换处理。
本发明还提供了一种图像数据接收装置,包括:数据接收单元,接收包括视频数据流的传输流,所述视频数据流包括第一图像数据,在所述第一图像数据中存在为了预定目的而链接的其它图像数据,其中所述传输流包括第一数据作为包括在所述视频数据流中的图像数据,并且包括具有指示所述其它图像数据的获取源的信息的控制信号,所述图像数据接收装置还包括:第一数据获取单元,从所述数据接收单元接收的传输流获取所述第一图像数据,第二数据获取单元,基于包括在所述数据接收单元接收的传输流中的控制信号从所述获取源获取所述其它图像数据,以及数据处理单元,链接和处理由所述第一数据获取单元获取的第一图像数据和由所述第二数据获取单元获取的其它图像数据。
根据本发明,由数据接收单元接收包括第一图像数据的传输流。第一图像数据包括其中为了预定目的链接了其它图像数据的第一图像数据。例如,预定目的是立体图像,并且通过第一图像数据和该其它图像数据配置立体图像数据。此外,例如,预定目的是多视点图像、全景图像等。控制信号包括在传输流中。控制信号包括第一数据作为包括在视频数据流中的图像数据,并具有指示该其它图像数据的获取源的信息。
由第一数据获取单元从数据接收单元接收的传输流中获得第一图像数据。此外,由第二数据获取单元基于包括在数据接收单元接收的传输流中的控制信号而从获取源获取其它图像数据。例如,其它图像数据的获取源是同一服务、不同服务、通信VOD、通信多播等。此外,第一数据获取单元获得的第一图像数据和第二数据获取单元获得的其它图像数据通过数据处理单元链接和处理,以完成预定目的。
这里,根据本发明,例如,其它图像数据的画面格式与第一图像数据的画面格式相同或不同,并且还可以提供将第一数据获取单元获得的第一图像数据的画面格式与第二数据获取单元获得的其它图像数据的画面格式匹配的画面格式调整单元。在这种情况中,例如,即使在其它图像数据的画面格式与第一图像数据的画面格式不同的情况下,也可以匹配所述画面格式。
此外,根据本发明,例如,所述视频数据流可以选择性地包括所述第一图像数据和第二图像数据,在所述第二图像数据中未链接其它图像数据,所述视频数据流可以包括识别信息,其以帧为单位识别所包括的图像数据是所述第一图像数据还是所述第二图像数据,并且还可以包括基于包括在所述视频数据流中的识别信息控制所述第二数据获取单元和所述数据处理单元的操作的控制单元。
以这样的方式,通过基于识别信息控制第二数据获取单元和数据处理单元的操作,可以在视频数据流中包括第一图像数据的情况与包括第二图像数据的情况之间快速切换处理。此外,例如,当包括第一图像数据时,可以合适地执行处理,以获得其它图像数据,将该其它图像数据与第一图像数据链接,以及实现预定目的。
本发明的有益效果
根据本发明,促进了在具有有限带宽的广播(诸如地面广播)内引入3D广播。
附图说明
图1是示出作为本发明的实施例的图像收发系统的配置示例的框图。
图2是示出广播站中的发送数据生成单元的配置示例的框图。
图3是示出通过同一广播服务发送右眼图像数据的情况(MPEG2+n/m-HAVC)的概况的视图。
图4是示出通过同一广播服务发送右眼图像数据的情况(MPEG2+自由格式AVC)的概况的视图。
图5是示出通过通信(广播和通信的混合发送系统)发送右眼图像数据的情况的概况的视图。
图6是示出通过同一广播服务发送右眼图像数据的情况中的整个发送信息的视图。
图7是示出通过同一广播服务发送右眼图像数据的情况中的传输流TS的配置示例的视图。
图8是示出通过通信发送右眼图像数据的情况中的整个发送信息的视图。
图9是示出通过通信发送右眼图像数据的情况中的传输流TS的配置示例的视图。
图10是示出包括画面3D识别信号(Stereo_Video_Format_Signaling(立体_视频_格式_信令))的用户数据的结构示例(语法)的视图。
图11是示出画面3D识别信号(Stereo_Video_Format_Signaling)的结构示例(语法)的视图。
图12是用于描述“Stereo_Video_Format_Signaling_type”7比特字段图像数据的识别信息的视图。
图13是示出用户数据和画面3D识别信号的结构示例的主要数据规则内容(语义)的视图。
图14是示出3D系统描述符(Stereoscopic_video_descriptor(立体_视频_描述符))的结构示例(语法)的视图。
图15是示出3D系统描述符的结构示例的主要数据规则内容(语义)的视图。
图16是示出链接的画面信号描述符(combined_video_descriptor(组合的_视频_描述符))的结构示例(语法)的视图。
图17是示出链接的画面信号描述符的结构示例的主要数据规则内容(语义)的视图。
图18是用于描述指示画面格式的8比特字段的比特结构的视图。
图19是示出3D信息描述符(Stereoscopic_information_descriptor(立体_信息_描述符))的结构示例(语法)的视图。
图20是示出3D信息描述符的结构示例的主要数据规则内容(语义)的视图。
图21是示出3D系统描述符(Stereoscopic_video_descriptor)的另一结构示例(语法)的视图。
图22是示出链接的画面信号描述符(combined_video_descriptor)的另一结构示例(语法)的视图。
图23是用于描述物体的左图像和右图像在屏幕上的显示位置、与其在使用双眼视差的立体图像显示中的再现位置之间的关系的视图。
具体实施方式
下面将描述本发明的实施例(下文称为“实施例”)。这里,将以以下顺序进行说明。
1.实施例
2.修改
<1.实施例>
[图像收发系统的配置示例]
图1示出了作为实施例的图像收发系统10的配置示例。图像收发系统10由广播站100和电视机200配置。广播站100使用广播电波发送传输流。传输流包括第一视频数据流,该第一视频数据流包括图像数据。
第一视频数据流选择性地包括第一图像数据或第二图像数据作为图像数据。当图像数据是第一图像数据时,存在为了预定目的而链接的其它图像数据。根据实施例,预定目的是立体图像,第一图像数据是配置立体(3D)图像数据的一片图像数据,例如左眼图像数据,而该其它图像数据是配置立体图像数据的右眼图像数据。此外,当图像数据是第二图像数据时,不存在为了预定目的而链接的其它图像数据,并且第二图像数据是二维(2D)图像数据。
第一视频数据流包括识别信息,其以帧为单位识别所包括的图像数据是第一图像数据还是第二图像数据。识别信息例如被插入作为用户数据的第一视频数据流的每个画面的头部。
传输流包括第一图像数据作为包括在第一视频数据流中的图像数据,并且还包括控制信号,该控制信号具有指示链接到第一图像数据的其它图像数据的获取源的信息。该获取源例如是同一服务(频道)、另一广播服务、通信VOD(视频点播)、通信多播等。当获取源是同一服务时,传输流还包括第二视频数据流,其包括其它图像数据。在这种情况下,包括在如上所述的传输流中的控制信号具有指示第一视频数据流和第二视频数据流之间的组合(链接)的信息。
这里,包括在第二视频数据流中的其它图像数据的编码系统与包括在第一视频数据流中的图像数据(第一图像数据、第二图像数据)的编码系统相同或者不同。根据此实施例,包括在第一视频数据流中的图像数据的编码系统是MPEGvideo(MPEG视频),并且包括在第二视频数据流中的其它图像数据的编码系统是MPEG4-AVC。
此外,包括在第二视频数据流中的其它图像数据的画面格式与包括在第一视频数据流中的图像数据(第一图像数据、第二图像数据)的画面格式相同或不同。此外,包括在如上所述的传输流中的控制信号具有相应图像数据的画面格式信息。
电视机200接收使用广播电波从广播站100发送的上述传输流。此外,电视机200从传输流获得图像数据。如上所述,传输流选择性地包括第一图像数据或第二图像数据作为图像数据。
如上所述,第一视频数据流包括识别信息,其以帧为单位识别所包括的图像数据是第一图像数据还是第二图像数据。电视机200基于识别信息识别从传输流获得的图像数据是第一图像数据还是第二图像数据。当所获得的图像数据是第二图像数据时,电视机200基于第二图像数据执行二维图像的显示处理。
另一方面,当所获得的图像数据是第一图像数据时,电视机200基于第一图像数据执行立体图像的显示处理。如上所述,传输流包括第一图像数据作为包括在第一视频数据流中的图像数据,并且包括控制信号,该控制信号具有指示链接到第一图像数据的其它图像数据的获取源的信息。
电视机200基于获取源信息获得为了立体图像的目的而链接到第一图像数据的其它图像数据。此外,电视机200将第一图像数据与该其它图像数据链接,并基于它们执行立体图像的显示处理。例如,电视机200执行用于交替地显示左眼图像和右眼图像的处理。
此外,如上所述,控制信号具有从传输流获得的第一图像数据以及链接到第一图像数据的其它图像数据的画面格式的信息。电视机200在基于画面格式信息将其它画面格式与第一图像数据的画面格式匹配之后链接和处理第一图像数据和其它图像数据。
[发送数据生成单元的结构示例]
图2示出了广播站100中生成上述传输流的发送数据生成单元110的配置示例。发送数据生成单元110包括数据检索单元(归档单元)111、视频编码器112、音频编码器113和复用器114。
数据记录介质111a例如可拆卸地装配在数据检索单元111上。通过传输流与对应于图像数据的声音数据一起发送的预定节目的图像数据被记录在数据记录介质111a上。作为图像数据,存在配置立体图像数据的其它图像数据(例如左眼图像数据)以及二维图像数据。这里,当通过同一服务发送对应于左眼图像数据的右眼图像数据时,在数据记录介质111a上还存在右眼图像数据。
例如,通过盘形记录介质、半导体存储器等配置数据检索单元111的数据记录介质111a。数据检索单元111从数据记录介质111a检索预定节目的图像数据,并检索和输出与该图像数据关联记录的声音数据。在这种情况中,图像数据选择性地包括二维图像数据(第二图像数据)或配置立体图像数据的左眼图像数据(第一图像数据)。
视频编码器112通过使用例如MPEG2video编码从数据检索单元111输出的图像数据获得经编码的视频数据。此外,视频编码器112通过在后级上提供的流格式化器(未示出)生成包括图像数据(经编码的视频数据)的第一视频数据流(视频基本流)。
在这种情况下,在视频编码器112中,第一视频数据流具有识别信息,其以帧为单位识别图像数据是第一图像数据还是第二图像数据。识别信息例如作为用户数据被插入到第一视频数据流的每个画面的头部中。
音频编码器113通过使用MPEG-2Audio(MPEG-2音频)AAC等编码从数据检索单元111输出的声音数据而生成音频数据流(音频基本流)。复用器114通过将由视频编码器112和音频编码器113生成的各个基本流分组化(packetizing)和复用而生成传输流TS。
在复用器114中,传输流TS包括第一图像数据作为包括在第一视频数据流中的图像数据,并包括控制信号,该控制信号具有指示链接到第一图像数据的其它图像数据的获取源的信息。如上所述,其它图像数据的画面格式与第一图像数据的画面格式相同或不同。复用器114还使得控制信号具有第一图像数据和第二图像数据的画面格式信息。
这里,从数据检索单元111输出的图像数据是第一图像数据(配置立体图像数据的左眼图像数据),并且当通过同一服务发送右眼图像数据时,同时也从数据检索单元111输出右眼图像数据。在这种情况中,视频编码器112通过例如使用MPEG4-AVC编码右眼图像数据而生成第二视频数据流(视频基本流)。在复用器114中,传输流TS还包括第二视频数据流。
在这种方式中,当通过同一服务发送左眼图像数据时,复用器114使得控制信号还具有指示第一视频数据流和第二视频数据流之间的组合(链接)的信息。例如,使用组件标签(component_tag)配置该信息。
[独立画面链接3D发送系统的概况]
下面将描述如上所述使用预定广播服务发送配置立体图像数据的一片信息(例如左眼图像数据)并且发送与该片信息独立的其它图像数据(例如右眼图像数据)的系统的概况。在这种情况中,例如通过同一广播服务、另一广播服务、通信VOD、通信多播等发送右眼图像数据。
图3示出了通过同一广播服务发送右眼图像数据的情况(MPEG2+n/m-HAVC)的概况。在这种情况中,作为第一图像数据的左眼图像数据是1920×1080i画面格式,并且通过MPEG2video编码。另一方面,作为链接到第一图像数据的其它图像数据的右眼图像数据是水平方向的分辨率为n/m(例如1/2、3/4等)并且通过MPEG4-AVC编码的画面格式。
通过降低右眼图像数据在水平方向上的分辨率,可以降低数据量,从而可以节省带宽。这里,代替降低水平方向上的分辨率,也可以想到降低垂直方向上的分辨率或两个方向上的分辨率。此外,通过利用相对于MPEG2video更高效的MPEG4-AVC编码右眼图像数据,可以降低数据量,从而可以节省带宽。
在通过同一广播服务发送右眼图像数据的情况中,电视机200接收包括第一视频数据流和第二视频数据流的传输流TS,第一视频数据流包括左眼图像数据,第二视频数据流包括右眼图像数据。即,电视机200包括由数字调谐器、解复用器等构成的接收单元202,并通过接收单元202接收传输流TS。
此外,电视机200包括控制单元201、MPEG2video解码器203、MPEG4-AVC解码器204、同步单元205、缩放单元206、3D处理单元207、以及3D面板208。控制单元201控制电视机200的每个部分的操作。
解码器203通过对由接收单元202获得的包括左眼图像数据的第一视频数据流(经MPEG2video编码的数据)执行解码处理而获得左眼图像数据。解码器204通过对由接收单元202获得的包括右眼图像数据的第二视频数据流(经MPEG4-AVC编码的数据)执行解码处理而获得右眼图像数据。
同步单元205将解码器203获得的左眼图像数据和解码器204获得的右眼图像数据同步。同步单元205使用用于同步再现(例如PTS(呈现图像标记))的时间信息同步左眼图像数据和右眼图像数据。
缩放单元206执行缩放处理,用于将解码器204获得的右眼图像数据在水平方向上的分辨率与解码器203获得的左眼图像数据在水平方向上的分辨率匹配。由此,左眼图像数据和右眼图像数据的画面格式是1920×1080i。这里,缩放单元206配置画面格式调整单元。
3D处理单元207通过将解码器203获得的左眼图像数据与缩放单元206获得的右眼图像数据链接而执行立体图像的显示处理。例如,3D处理单元207交替地输出左眼图像数据和右眼图像数据,并且在3D面板208上交替地显示左眼图像和右眼图像。
这里,图3示出了包括在第一视频数据流中的图像数据是第一图像数据的情况。在包括在第一视频数据流中的图像数据是第二图像数据(二维图像数据)的情况中,不存在第二视频数据流。
例如从解码器203向电视机200的控制单元201提供识别信息,识别信息以帧为单位识别包括在第一视频数据流中的图像数据是第一图像数据还是第二图像数据。控制单元201基于识别信息控制电视机200的每个部分在二维图像显示处理状态中或在立体图像显示处理状态中。在包括在第一视频数据流中的图像数据是第一图像数据的情况中,如上所述,解码器204和缩放单元206在操作状态中,并且3D处理单元207在立体图像显示处理状态中。
另一方面,在包括在第一视频数据流中的图像数据是第二图像数据的情况中,解码器204和缩放单元206在非操作状态中,并且3D处理单元207在二维图像显示处理状态中。当3D处理单元207在二维图像显示处理状态中时,二维图像顺序地显示在3D面板208上。
此外,从接收单元202将包括在传输流TS中的控制信号提供到例如电视机200的控制单元201。如上所述,控制信号包括左眼图像数据和右眼图像数据的画面格式信息。控制单元201基于画面格式信息控制缩放单元206中的缩放处理。此外,控制信号包括关于右眼图像数据的获取源的信息。控制单元201可以基于获取源信息确定右眼图像数据的获取源是同一广播服务。
此外,图4示出了通过同一服务发送右眼图像数据的情况(MPEG2+自由格式AVC)的概况。在图4中,对应于图3的部分被赋予相同的符号,并且适当地省略其详细描述。在这种情况中,作为第一图像数据的左眼图像数据是1920×1080i的画面格式,并且通过MPEG2video编码。另一方面,作为链接到第一图像数据的其它图像数据的右眼图像数据是任意画面格式(1280×720P、720×480i等),并且通过MPEG4-AVC编码。
通过使右眼图像数据的画面格式具有低分辨率,可以降低数据量并且可以节省带宽。此外,通过利用具有比MPEG2video更高效的MPEG4-AVC编码右眼图像数据,可以降低数据量并且可以节省带宽。
在通过同一广播服务发送右眼图像数据的情况中,电视机200接收包括第一视频数据流和第二视频数据流的传输流TS,第一视频数据流包括左眼图像数据,第二视频数据流包括右眼图像数据。即,电视机200包括由数字调谐器、解复用器等构成的接收单元202,并通过接收单元202接收传输流TS。
此外,电视机200包括控制单元201、MPEG2video解码器203、MPEG4-AVC解码器204、同步单元205、上转换器211、3D处理单元207、和3D面板208。控制单元201控制电视机200的每个部分的操作。
上转换器211执行上转换处理,用于将解码器204获得的右眼图像数据的画面格式与解码器203获得的左眼图像数据的画面格式匹配。由此,左眼图像数据和右眼图像数据的画面格式是1920×1080i。这里,上转换器211配置画面格式调整单元。虽然将省略细节的说明,但图4中的接收单元200的其它部分与图3中的接收单元200相同。
此外,图5示出了通过通信(广播和通信混合发送系统)发送右眼图像数据的情况的概况。在图5中,对应于图3和4的部分被赋予相同的符号,并且适当地省略其细节的描述。在这种情况中,作为第一图像数据的左眼图像数据具有1920×1080i的画面格式,并且通过MPEG2video编码。
另一方面,通过MPEG4-AVC编码作为链接到第一图像数据的其它图像数据的右眼图像数据。此外,右眼图像数据的画面格式是水平方向的分辨率是n/m(例如1/2、3/4等)的画面格式或者任意画面格式(1280×720P、720×480i等)。
通过降低右眼图像数据在水平方向上的分辨率或者使得其画面格式具有低分辨率,可以降低数据量并且可以节约带宽。此外,通过使用比MPEG2video更高效的MPEG4-AVC编码右眼图像数据,可以降低数据量,并且可以节省带宽。
电视机200包括接收单元202,其接收包括第一视频数据流的传输流TS,第一视频数据流包括左眼图像数据。此外,因为通过通信发送右眼图像数据,所以电视机200包括通信单元221,其获取包括右眼图像数据的第二视频数据流。
此外,电视机200包括控制单元201、MPEG2video解码器203、MPEG4-AVC解码器204、同步单元205、上转换器211、3D处理单元207、以及3D面板208。控制单元201控制电视机200的每个部分的操作。
解码器203通过对接收单元202获得的包括左眼图像数据的第一视频数据流(MPEG2video编码的数据)执行解码处理而获得左眼图像数据。解码器204通过对通信单元221获得的包括右眼图像数据的第二视频数据流(MPEG4-AVC编码的数据)执行解码处理而获得右眼图像数据。
同步单元205同步解码器203获得的左眼图像数据和解码器204获得的右眼图像数据。同步单元205使用用于同步再现的时间信息(例如PTS(呈现时间标记)执行左眼图像数据和右眼图像数据的同步。
上转换器211执行上转换处理,用于将解码器204获得的右眼图像数据的画面格式与解码器203获得的左眼图像数据的画面格式匹配。由此,左眼图像数据和右眼图像数据的画面格式是1920×1080i。这里,上转换器211配置画面格式调整单元。
3D处理单元207将解码器203获得的左眼图像数据与上转换器211获得的右眼图像数据链接,并执行立体图像的显示处理。例如,3D处理单元207交替地输出左眼图像数据和右眼图像数据,并在3D显示面板208上交替地显示左眼图像和右眼图像。
这里,图5示出了包括在通过广播服务发送的第一视频数据流中的图像数据是第一图像数据的情形。在包括在第一视频数据流中的图像数据是第二图像数据(二维图像数据)的情况中,不存在第二视频数据流。
例如从解码器203向电视机200的控制单元201提供识别信息,识别信息以帧为单位识别包括在第一视频数据流中的图像数据是第一图像数据还是第二图像数据。控制单元201基于识别信息控制电视机200的每个部分在二维图像显示处理状态中或在立体图像显示处理状态中。在包括在第一视频数据流中的图像数据是第一图像数据的情况中,如上所述,通信单元221、解码器204和上转换器211在操作状态中,并且3D处理单元207在立体图像显示处理状态中。
另一方面,在包括在第一视频数据流中的图像数据是第二图像数据的情况下,通信单元221、解码器204和上转换器211在非操作状态中,并且3D处理单元207在二维显示处理状态中。当3D处理单元207在二维图像显示处理状态中时,3D处理单元207在3D面板208上顺序地显示二维图像。
此外,例如从接收单元202向电视机200的控制单元201提供包括在传输流TS中的控制信号。如上所述,控制信号包括左眼图像数据和右眼图像数据的画面格式信息。控制单元201基于画面格式信息控制上转换器211中的上转换处理。
此外,控制信号包括关于右眼图像数据的获取源的信息。控制单元201基于该获取源信息可以确定右眼图像数据的获取源是通信(通信VOD、通信多播)。控制单元201基于获取源信息控制通信单元221的操作。
这里,在上述图3至图5的概况中,包括右眼图像数据的第二视频数据流的获取源是同一广播服务或通信。虽然图中未示出,但即使在第二视频数据流的获取源是另一广播服务的情况中,概况也是相同的。在这种情况中,电视机200除了接收单元202外还包括接收包括第二视频数据流的传输流TS的接收单元,所述第二视频数据流包含右眼图像数据。
图6示出了在通过同一广播服务发送右眼图像数据的情况下的整个发送信息。这里,“基础画面信号(MPEG2)”指示包括左眼图像数据(第一图像数据)或二维图像数据(第二图像数据)的第一视频数据流。此外“扩展画面信号(AVC)”指示包括右眼图像数据的第二视频数据流。
此外,“PMT”指示包括在包括第一视频数据流和第二视频数据流的传输流TS中的节目映射表。节目映射表配置指示包括在传输流中的每个基本流所属的节目的节目特定信息。
此外,“EIT”指示包括在包括第一视频数据流和第二视频数据流的传输流TS中的事件信息表。事件信息表配置以事件为单位执行管理的服务特定信息。有关节目的信息(诸如节目名称、广播时间和日期以及广播内容)被记录在事件信息表中。
画面3D识别信号被作为用户数据而插入在基础画面信号(第一视频数据流)的每个画面的头部。画面3D识别信号配置识别信息,其识别包括在基础画面信号中的图像数据是左眼图像数据(第一图像数据)还是二维图像数据(第二图像数据)。
当包括在基础画面信号中的图像数据是二维图像数据(第二图像数据)时,画面3D识别信号指示2D画面。此外,当包括在基础画面信号中的图像数据是左眼图像数据(第一图像数据)时,画面3D识别信号指示3D独立画面链接系统的左眼图像(L画面)。
基础画面信号(第一视频数据流)和扩展画面信号(第二视频数据流)的信息包括在节目映射表下方的视频基本循环中。即,与基础画面信号(Video#1)关联地布置诸如分组标识符(PID 1)、组件标签(Component_tag1),以及流类型(Stream_type→MPEG2)的信息。此外,与基础画面信号(Video#1)关联地布置作为控制信号的3D系统描述符。
3D系统描述符是独立画面链接系统3D的事实(即,3D独立画面链接系统的左眼画面(L画面)的数据(左眼图像数据)包括在基础画面信号中的事实)记录在3D系统描述符中。此外,链接目的地信息(即,有关右眼画面(R画面)数据(右眼图像数据)的获取源的信息)记录在3D系统描述符中。这里,链接目的地(获取源)是同一服务。
此外,与扩展的基础画面信号(Video#2)关联地布置诸如分组标识符(PID2)、组件标签(Component_tag2)以及流类型(Stream_type→AVC)的信息。此外,与扩展的基础画面信号(Video#2)关联地布置作为控制信号的链接画面信号描述符。在链接画面信号描述符上记录链接目的是3D(立体图像)。
此外,在链接画面信号描述符上记录链接基础基本流组件标签(Component_tag1)的信息。该信息配置指示基础画面信号(第一视频数据流)与扩展画面信号(第二视频数据流)之间的组合的信息。此外,包括在基础画面信号中的左眼图像数据和包括在扩展画面信号中的右眼图像数据的画面格式信息(画面格式)记录在链接画面信号描述符中。
此外,除了布置在事件信息表上的诸如节目号、事件标识符(Event_id)和节目名称的信息,还布置3D信息描述符作为控制信号。3D信息描述符是独立画面链接系统3D的事实(即,3D独立画面链接系统的左眼画面(L画面)的数据(左眼图像数据)包括在基础画面信号中的事实)记录在3D信息描述符上。此外,链接目的地信息(即,有关右眼画面(R画面)数据(右眼图像数据)的获取源的信息)记录在3D系统描述符上。这里,链接目的地(获取源)是同一节目(同一是指记录在上述3D系统描述符上的同一服务)。
图7示出了在通过同一广播服务发送右眼图像数据的情况中的传输流TS的配置示例。在这种情况中,基础画面信号(MPEG2)的第一视频数据流的PES分组“Video PES1(视频PES1)”包括在传输流TS中。此外,在这种情况中,第二视频数据流(其是扩展画面信号(AVC))的PES分组“Video PES1”包括在传输流TS中。这里,在该配置示例中,为了简化绘图,省略了音频的图示。
在该配置示例中,上述画面3D识别信号插入在作为基础画面信号(MPEG2)的第一视频数据流中。如上所述,画面3D识别信号作为用户数据而插入每个画面的头部。
此外,在传输流TS中包括PMT(节目映射表)作为PSI(节目特定信息)。PSI是指示包括在传输流中的每个基本流所属的节目的信息。此外,在传输流中包括EIT(事件信息表)作为以事件为单位执行管理的SI(服务信息)。
记录有关整个节目的信息的节目描述符(Program Descriptor)位于PMI中。此外,具有有关每个基本流的信息的基本循环位于PMT中。在该配置示例中,存在视频基本循环(视频ES循环)。诸如分组标识符(PID)、组件标签(Component_tag)和流类型(Stream_Type)的信息布置在用于每个流的视频基本循环中。
在视频基本循环中与基础画面信号(Video#1)关联地布置上述3D系统描述符。此外,在视频基本循环中与扩展画面信号(Video#2)关联地布置上述链接画面信号描述符。此外,在EIT中布置上述3D信息描述符。
图8示出了通过通信发送右眼图像数据的情况中的整个发送信息。这里,“基础画面信号(MPEG2)”指示包括左眼图像数据(第一图像数据)或二维图像数据(第二图像数据)的第一视频数据流。此外,“扩展画面信号(AVC)”指示包括右眼图像数据的第二视频数据流。这里,右眼图像数据的获取源是通信VOD(VOD服务器)。
此外,“PMT”指示在包含第一视频数据流的传输流TS中所包括的节目映射表。此外,“EIT”指示在包含第一视频数据流的传输流TS中所包括的事件信息表。
画面3D识别信号作为用户数据而插入基础画面信号(第一视频数据流)的每个画面的头部。画面3D识别信号配置识别信息,其识别包括在基础画面信号中的图像数据是左眼图像数据(第一图像数据)还是二维图像数据(第二图像数据)。
当包括在基础画面信号中的图像数据是二维图像数据(第二图像数据)时,画面3D识别信号指示2D画面。此外,当包括在基础画面信号中的图像数据是左眼图像数据(第一图像数据)时,画面3D识别信号指示3D独立画面链接系统的左眼画面(L画面)。
基础画面信号(第一视频数据流)的信息包括在节目映射表之下的视频基本循环中。即,与基础画面信号(Video#1)关联地布置诸如分组标识符(PID1)、组件标签(Component_tag1)以及流类型(Stream_Type→MPEG2)的信息。此外,与基础画面信号(Video#1)关联地布置3D系统描述符作为控制信号。
3D系统描述符是独立画面链接系统3D的事实(即,3D独立画面链接系统的左眼画面(L画面)的数据(左眼图像数据)包括在基础画面信号中的事实)记录在3D系统描述符中。此外,链接目的地信息(即,有关右眼画面(R画面)数据(右眼图像数据)的获取源的信息)记录在3D系统描述符中。这里,链接目的地(获取源)是通信VOD。
此外,除了诸如节目号、事件标识符(Event_id)和节目名称的信息,还在事件信息表上布置3D信息描述符作为控制信号。3D信息描述符是独立画面链接系统3D的事实(即,3D独立画面链接系统的左眼画面(L画面)的数据(左眼图像数据)包括在基础画面信号中的事实)记录在3D信息描述符上。此外,链接目的地信息(即,有关右眼画面(R画面)数据(右眼图像数据)的获取源的信息)记录在3D系统描述符上。这里,链接目的地(获取源)是通信VOD,并且还记录其URL信息。
这里,3D信息描述符插入在事件信息表之下,并且为了以下目的将链接目的地(获取源)是通信VOD的事实以及其URL信息记录在3D信息描述符上。即,虽然也可以想到将URL信息记录在3D系统描述符上(该3D系统描述符插入在上述节目映射表之下),但因为节目映射表的容量小,所以如果记录URL信息,则存在溢出的风险。此外,还因为以节目为单位记录URL信息可认为是足够的。
此外,事件信息表还具有预先检查在视频记录时是否可以实际执行视频记录的目的。通过将3D信息描述符插入到事件信息表中,可以在3D画面视频记录检查中使用3D信息描述符。例如,可以进行如下判定:在独立画面链接系统是3D的情况中,如果链接目的地(获取源)在同一服务中,则可以进行视频记录;但如果链接目的地(获取源)是通信VOD或通信多播,则不可以进行视频记录,因为不存在通信功能。
图9示出了通过通信发送右眼图像数据的情况中的传输流TS的结构示例。在这种情况中,传输流TS中包括作为基础画面信号(MPEG2)的第一视频数据流的PES分组“视频PES1”。在这种情况中,与上述图7不同,传输流TS不包括作为扩展画面信号(AVC)的第二视频数据流的PES分组“视频PES1”。这里,在结构示例中,为了简化绘图,省略了音频的图示。
在结构示例中,上述画面3D识别信号插入到作为基础画面信号(MPEG2)的第一视频数据时间流中。如上所述,画面3D识别信号作为用户数据插入在每个画面的头部中。此外,在该结构示例中,在PMT的视频基本循环中与基础画面信号(Video#1)关联地布置上述3D系统描述符。此外,在结构示例中,在EIT中布置上述3D信息描述符。
[画面3D识别信号]
将描述被作为用户数据插入到基础画面信号(第一视频数据流)的每个画面的头部的画面3D识别信号(Stereo_Video_Format_Signaling)。图10示出了包括画面3D识别信号(Stereo_Video_Format_Signaling)的用户数据的结构示例(语法)。
“user_data_start_code(用户_数据_开始_码)”的32比特字段是用户数据的开始码,并且记录固定值“0x000001B2”。“Stereo_Video_Format_Signaling_identifier(立体_视频_格式_信令_标识符)”的32比特字段是数据标识符,并且这里,记录指示画面3D识别信号的固定值“0x4A503344”。当数据标识符是“Stereo_Video_Format_Signaling_identifier”时,布置画面3D识别信号“Stereo_Video_Format_Signaling”作为后续的数据主体。
图11示出了画面3D识别信号(Stereo_Video_Format_Signaling)的结构示例(语法)。“Stereo_Video_Format_Signaling Length(立体_视频_格式_信令_长度)”的8比特字段指示该字段及其后的字节长度,并且这里,记录固定值“3”。“Stereo_Video_Format_Signaling_type(立体_视频_格式_信令_类型)”的7比特字段是用于图像数据的识别信息。如图12中所示,“0000110”指示图像数据是3D独立画面链接系统的左眼画面(L画面)数据。此外,“0001000”指示该图像数据是二维(2D)画面数据(二维图像数据)。
这里,图13示出了上述图10和11的结构示例(语法)的主要数据规则内容(语义)。
[3D系统描述符]
将描述在PMT之下的视频基本循环中与基础画面信号(第一视频数据流)关联地布置的3D系统描述符(Stereoscopic_video_descriptor(立体_视频_描述符))。图14示出了3D系统描述符(Stereoscopic_video_descriptor)的结构示例(语法)。图15示出了结构示例的主要数据规则内容(语义)。
“descriptor_tag(描述符_标签)”的8比特字段是该描述符的标识符,并且,这里指示3D系统描述符(Stereoscopic_video_descriptor)。“descriptor_length(描述符_长度)”指示其后的数据长度(字节数)。“Stereo_Video_Format_Signaling_present_flag(立体_视频_格式_信令_存在_标记)”的1比特标记信息指示基础画面信号包括第一图像数据,在第一图像数据中存在为了预定目的而链接的其它图像数据。当标记信息是“1”时,存在有关“Stereo_Video_Format_Signaling_type”的7比特字段的信息,即存在有关其它图像数据的获取源的信息。该7比特字段与上述画面3D识别信号(Stereo_Video_Format_Signaling)中的“Stereo_Video_Format_Signaling_type”的7比特字段(参见图12)相同。
7比特字段“Stereo_Video_Format_Signaling_type”的“0000110”指示3D独立画面链接系统的左眼画面(L画面)数据。此时,存在有关“alternative_combined_signal_location_type(替代的_组合的_信号_位置_类型)”的6比特字段的信息。该信息指示链接的图像数据的获取源,即链接目的地。“1”指示链接目的地在同一服务内。“2”指示链接目的地是另一广播服务。“3”指示链接目的地是通信VOD。此外,“4”指示链接目的地是通信多播。
[链接画面信号描述符]
将描述在PMT之下的视频基本循环中与扩展画面信号(第二视频数据流)关联地布置的链接画面信号描述符(combined_video_descriptor)。图16示出了链接画面信号描述符(combined_video_descriptor)的结构示例(语法)。图17示出了该结构示例的主要数据规则内容(语义)。
“descriptor_tag(描述符_标签)”的8比特字段是该描述符的标识符,并且这里指示链接画面信号描述符(combined_video_descriptor)。“descriptor_length(描述符_长度)”指示其后的数据长度(字节数)。“combined_video_descriptor”指示链接目的。“1”指示立体图像(立体)。这里,在其它情况中,可以将“多视点图像(多视角(multi-scopic))”、“全景图像(全景)”等指示为链接目的。
“base_video_component(基础_视频_组件)”的8比特字段指示作为链接基础的视频基本流(画面ES)的组件标签(component_tag)的值。“base_video_format_type(基础_视频_格式_类型)”的8比特字段指示包括在视频基本流(画面ES)中的作为链接基础的图像数据的画面格式。“extended_video_format_type(扩展的_视频_格式_类型)”的8比特字段指示包括在视频基本流(画面ES)中的作为链接扩展的图像数据的画面格式。
指示画面格式的8比特字段例如具有图18中所示的比特配置。第七个比特指示隔行扫描或逐行扫描。例如,“0”指示隔行扫描,并且“1”指示逐行扫描。此外,第六至第四比特指示垂直方向的尺寸。例如,“1”指示480像素,“2”指示576像素,“3”指示720像素,“4”指示1080像素,并且“5”指示2160像素。
此外,第三至第0个比特指示水平方向的尺寸。例如,“1”指示720像素,“2”指示960像素,“3”指示1280像素,“4”指示1440像素,“5”指示1920像素,并且“6”指示3840像素。这里,垂直和水平像素尺寸是示例,也可以指示其他尺寸。
[3D信息描述符]
将描述布置在EIT上的3D信息描述符(Stereoscopic_information_descritor)。图19示出了3D信息描述符(Stereoscopic_information_descritor)的结构示例(语法)。图20示出了结构示例的主要数据规则内容(语义)。
“descriptor_tag(描述符标签)”的8比特字段是该描述符的标识符,并且,这里指示3D信息描述符(Stereoscopic_information_descriptor)。“descriptor_Length(描述符_长度)”指示其后的数据长度(字节数)。“Stereo_Video_Format_Signaling_type”的7比特字段是与上述3D系统描述符(Stereoscopic_video_descriptor)(参见图12)相同的信息。
7比特字段“Stereo_Video_Format_Signaling_type”的“0000110”指示3D独立画面链接系统的左眼画面(L画面)数据。此时,存在有关“alternative_combined_signal_location_type(替代的_组合的_信号_位置_类型)”的6比特字段的信息。该6比特字段是与上述3D系统描述符(Stereoscopic_video_descritor)(参见图15)相同的信息。
当“alternative_combined_signal_location_type”的6比特字段是“000010”时,链接目的地是另一广播服务。此时,存在“network_id(网络_id)”、“transport_stream_id(传输_流_id)”、“service_id(服务_id)”和“event_id(事件_id)”的每片信息。在链接的扩展视频数据流的获取源是不同的广播服务的情况下,每片信息指示广播服务的调谐信息和节目ID。
此外,当“alternative_combined_signal_location_type”的6比特字段是“000011”时,链接目的地是通信VOD。此时,存在关于“alternative_stream_url_byte(替代的_流_url_字节)”的信息。在链接的扩展数据流的获取源是通信VOD的情况下,关于“alternative_stream_url_byte”的信息指示URL的每个数据字节。这里,“alternative_signal_url_length(替代的_信号_url_长度)”的16比特字段指示有关“alternative_stream_url_byte”的信息的数据字节数。
此外,当“alternative_combined_signal_location_type”的6比特字段是“000100”时,链接目的地是通信多播。此时,存在有关“ip_version(ip_版本)”和“multicast_protocol(多播协议)”的信息。“ip_version”的1比特字段指示IP地址的版本。例如,“0”指示IPv4,并且“1”指示IPv6。“multicast_protocol”的4比特字段指示多播控制协议。例如,“0x00”指示IGMPv2,并且“0x01”指示MLDv2。
当“ip_version”的1比特字段是“0”时,存在“group_address_32(群_地址_32)”和“service_address_32(服务_地址_32)”的32比特字段,指示通信多播的IP地址。此外,当“ip_version”的1比特字段是“1”时,存在“group_address_128(群_地址_128)”和“service_address_128(服务_地址_128)”的128比特字段,指示通信多播的IP地址。
如上所述,在图1中所示的图像收发系统10中,控制信号插入到包括第一视频数据流的传输流TS中,第一视频数据流包括配置立体图像数据的左眼图像数据。控制信号具有指示在第一视频数据流中包括配置立体图像数据的左眼图像数据(第一图像数据)作为图像数据的信息(PMT的3D系统描述符和EIT的3D信息描述符)。此外,控制信号还具有指示右眼图像数据(其它图像数据)的获取源的信息(3D系统描述符的链接目的地、3D信息描述符的链接目的地)。
因此,在电视机200中,可以基于控制信号识别包括在第一视频数据流中的图像数据是配置立体图像数据的左眼图像数据(第一图像数据)。此外,在电视机200中,可以基于指示获取源的信息容易地获得右眼图像数据,并且可以执行立体图像显示。在这种情况中,右眼图像的获取源不限于同一服务,而可以是另一广播服务、通信VOD、通信多播等,并且促进了在具有有限带宽的广播(诸如地面广播)内引入3D广播。
此外,在图1中所示的图像收发系统10中,包括在第二视频数据流中的右眼图像数据的画面格式与包括在第一视频数据流中的左眼图像数据的画面格式相同或不同。此外,插入到传输流TS中的控制信号具有有关左眼图像数据和右眼图像数据的画面格式(链接画面信号描述符的基础和扩展画面格式)的信息。
因此,作为右眼图像数据的画面格式,可以选择与左眼图像数据相同的画面格式或不同的任意画面格式,从而增加了画面格式的选择自由度。即,通过使得右眼图像数据的画面格式是具有比左眼图像数据的画面格式低的分辨率的画面格式,容易地降低包括右眼图像数据的第二视频数据流的数据量,并节省了带宽。
此外,在电视机200中,通过具有画面格式信息的控制信号,可以容易地识别通过广播接收的左眼图像数据的画面格式和从获取源获得的右眼图像数据的画面格式。因此,可以针对立体图像显示合适地执行将右眼图像数据的画面格式与左眼图像数据的画面格式进行匹配的处理。
此外,在图1中所示的图像收发系统10中,当包括在控制信号中的获取源是同一服务时,传输流TS包括包含右眼图像数据作为其它图像数据的第二视频数据流。此外,插入到传输流TS中的控制信号具有指示第一视频数据流和第二视频数据流之间的组合的信息(链接画面信号描述符的链接基础ES的组件标签值)。
因此,根据电视机200,可以基于指示该组合的信息容易地确定第二视频数据流中包括与第一视频数据流中包括的左眼图像数据链接使用的右眼图像数据。此外,可以容易地从第二视频数据流获得右眼图像数据。
此外,根据图1中示出的图像收发系统10,第一视频数据流选择性地包括配置立体图像数据的左眼图像数据(第一图像数据)和二维图像数据(第二图像数据)。此外,第一视频数据流包括识别信息(画面3D识别信号),其以帧为单位识别所包括的图像数据是第一图像数据还是第二图像数据。
因此,根据电视机200,可以基于识别信息以帧为单位识别包括在第一视频数据流中的图像数据是第一图像数据还是第二图像数据。此外,电视机200可以快速且合适地在立体图像显示处理状态和二维图像显示处理状态之间切换。
<2.修改示例>
这里,根据上述实施例,在PMT之下的视频基本循环上与基础画面信号(第一视频数据流)关联地布置的3D系统描述符上没有记录画面格式信息。然而,也可以考虑在3D系统描述符上记录画面格式信息。
图21示出了在这种情况下的3D系统描述符(Stereoscopic_video_descriptor)的结构示例(语法)。在图21的结构示例中,还向图14的结构示例添加“base_video_format_type(基础_视频_格式_类型)”和“extended_video_format_type(扩展的_视频_格式_类型)”的信息。如上所述,“base_video_format_type”的8比特字段指示视频基本流(画面ES)中包括的作为链接基础的图像数据的画面格式。“extended_video_format_type”的8比特字段指示视频基本流(画面ES)中包括的作为链接的扩展的图像数据的画面格式。
在这种情况中,即使在PMT之下的视频基本循环中没有与扩展画面信号(第二视频数据流)关联的链接画面信号描述符(参见图16),电视机200也可以识别左眼图像数据和右眼图像数据的画面格式。即,即使右眼图像数据的获取源是另一广播服务、通信VOD、通信多播等,电视机200也可以容易地识别左眼图像数据和右眼图像数据的画面格式。此外,可以合适地执行为了立体图像显示而将右眼图像数据的画面格式与左眼图像数据的画面格式进行匹配的处理。
图22示出了如上所述在3D系统描述符上记录画面格式信息的情况中的链接画面信号描述符(combined_video_descriptor)的结构示例(语法)。在图22的结构示例中,从图16的结构示例中去除关于“base_video_format_type”和“extended_video_format_type”的信息。因为在3D系统描述符上记录了这种信息,所以该信息是不必要的。
此外,在上述实施例中,已经示出了如下示例:预定目的是立体图像,左眼图像数据包括在基础画面信号(第一视频数据流)中,并且右眼图像数据包括在扩展画面信号(第二视频数据流)中。自然地,即使在预定目的是多视点图像、全景图像等的情况中,也可以类似地配置本发明。
工业实用性
本发明可以应用到执行用于执行立体图像显示的图像传输的图像收发系统等中。
附图标记列表
10 图像收发系统
100 广播站
110 发送数据生成单元
111 数据检索单元
111a 数据记录介质
112 视频编码器
113 音频编码器
114 复用器
200 电视机
201 控制单元
202 接收单元
203 MPEG2video解码器
204 MPEG4-AVC解码器
205 同步单元
206 缩放单元
2073D 处理单元
2083D 面板
211 上转换器
221 通信单元

Claims (13)

1.一种图像数据发送装置,包括:
数据发送单元,发送包括第一视频数据流的传输流,所述第一视频数据流包括第一图像数据,在所述第一图像数据中存在为了预定目的而链接的其它图像数据,
其中所述传输流包括第一图像数据,作为包括在所述第一视频数据流中的图像数据,并且包括具有指示所述其它图像数据的获取源的信息的控制信号。
2.如权利要求1所述的图像数据发送装置,
其中所述其它图像数据的画面格式与所述第一图像数据的画面格式相同或不同,并且
所述控制信号还具有所述第一图像数据和所述其它图像数据的画面格式信息。
3.如权利要求1所述的图像数据发送装置,
其中所述第一图像数据和链接到所述第一图像数据的所述其它图像数据配置立体图像数据。
4.如权利要求1所述的图像数据发送装置,
其中在所述传输流中包括作为节目特定信息的节目映射表,所述节目特定信息指示包括在所述传输流中的每个基本流属于哪个节目,并且
所述控制信号插入在所述节目映射表之下。
5.如权利要求1所述的图像数据发送装置,
其中当包括在所述控制信号中的获取源是同一服务时,
所述传输流包括第二视频数据流,所述第二视频数据流包括所述其它图像数据,并且
所述控制信号还包括指示所述第一视频数据流和所述第二视频数据流的组合的信息。
6.如权利要求1所述的图像数据发送装置,
其中所述第一图像数据的编码系统是MPEG2video,并且所述其它图像数据的编码系统是MPEG4-AVC。
7.如权利要求1所述的图像数据发送装置,
其中所述第一视频数据流选择性地包括所述第一图像数据或第二图像数据,在所述第二图像数据中未链接其它图像数据,并且
所述第一视频数据流包括识别信息,所述识别信息以帧为单位识别所包括的图像数据是所述第一图像数据还是所述第二图像数据。
8.如权利要求7所述的图像数据发送装置,
其中所述识别信息插入到所述第一视频数据流的每个画面的头部。
9.一种图像数据发送方法,包括:
流生成步骤,生成包括视频数据流的传输流,所述视频数据流包括第一图像数据,在所述第一图像数据中存在为了预定目的而链接的其它图像数据;
控制信号插入步骤,在所述流生成步骤中生成的传输流中包括所述第一图像数据作为包括在所述视频数据流中的图像数据、并且插入具有指示所述其它图像数据的获取源的信息的控制信号;以及
数据发送步骤,发送所述传输流,在所述控制信号插入步骤中向所述传输流插入了所述控制信号。
10.一种图像数据接收装置,包括:
数据接收单元,接收包括视频数据流的传输流,所述视频数据流包括第一图像数据,在所述第一图像数据中存在为了预定目的而链接的其它图像数据,
其中所述传输流包括第一图像数据作为包括在所述视频数据流中的图像数据,并且包括具有指示所述其它图像数据的获取源的信息的控制信号,
所述图像数据接收装置还包括:
第一数据获取单元,从所述数据接收单元接收的传输流获取所述第一图像数据,
第二数据获取单元,基于包括在所述数据接收单元接收的传输流中的控制信号从所述获取源获取所述其它图像数据,以及
数据处理单元,链接和处理由所述第一数据获取单元获取的第一图像数据和由所述第二数据获取单元获取的所述其它图像数据。
11.如权利要求10所述的图像数据接收装置,
其中所述其它图像数据的画面格式与所述第一图像数据的画面格式相同或不同,
所述图像数据接收装置还包括:
画面格式调整单元,将由所述第一数据获取单元获得的第一图像数据的画面格式与由所述第二数据获取单元获得的其它图像数据的画面格式匹配。
12.如权利要求10所述的图像数据接收装置,
其中所述视频数据流选择性地包括所述第一图像数据和第二图像数据,在所述第二图像数据中未链接其它图像数据,
所述视频数据流包括识别信息,其以帧为单位识别所包括的图像数据是所述第一图像数据还是所述第二图像数据,
所述图像数据接收装置还包括:
控制单元,基于包括在所述视频数据流中的识别信息控制所述第二数据获取单元和所述数据处理单元的操作。
13.一种图像数据接收方法,包括:
数据接收步骤,接收包括视频数据流的传输流,所述视频数据流包括第一图像数据,在所述第一图像数据中存在为了预定目的而链接的其它图像数据,
其中所述传输流包括第一图像数据作为包括在所述视频数据流中的图像数据,并且包括具有指示所述其它图像数据的获取源的信息的控制信号,
所述图像数据接收方法还包括:
第一数据获取步骤,从在所述数据接收步骤中接收的传输流获取所述第一图像数据,
第二数据获取步骤,基于包括在所述数据接收步骤接收的传输流中的控制信号从所述获取源获取所述其它图像数据,以及
数据处理步骤,链接和处理由所述第一数据获取步骤获取的第一图像数据和由所述第二数据获取步骤获取的所述其它图像数据。
CN2012800012440A 2011-01-31 2012-01-24 图像数据发送装置和方法、图像数据接收装置和方法 Pending CN102870421A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011017598A JP2012160813A (ja) 2011-01-31 2011-01-31 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP2011-017598 2011-01-31
PCT/JP2012/051451 WO2012105376A1 (ja) 2011-01-31 2012-01-24 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Publications (1)

Publication Number Publication Date
CN102870421A true CN102870421A (zh) 2013-01-09

Family

ID=46602595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012800012440A Pending CN102870421A (zh) 2011-01-31 2012-01-24 图像数据发送装置和方法、图像数据接收装置和方法

Country Status (6)

Country Link
US (1) US20130007833A1 (zh)
EP (1) EP2536157A1 (zh)
JP (1) JP2012160813A (zh)
KR (1) KR20140000136A (zh)
CN (1) CN102870421A (zh)
WO (1) WO2012105376A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106894B1 (en) * 2012-02-07 2015-08-11 Google Inc. Detection of 3-D videos
KR20150047225A (ko) * 2013-10-24 2015-05-04 엘지전자 주식회사 파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치
CA3145818C (en) 2019-07-04 2023-12-12 Lumus Ltd. Image waveguide with symmetric beam multiplication
EP4325277A2 (en) 2020-05-24 2024-02-21 Lumus Ltd. Method of fabrication of compound light-guide optical elements
KR102564530B1 (ko) * 2022-11-15 2023-08-04 전남수 층간방화 커튼월 선형조인트

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141626A (ja) * 1997-07-16 1999-02-12 Matsushita Electric Ind Co Ltd 立体映像放送方法及び放送システム
US20080310762A1 (en) * 2007-06-12 2008-12-18 Samsung Electronics Co., Ltd. System and method for generating and regenerating 3d image files based on 2d image media standards
WO2010053246A2 (en) * 2008-11-04 2010-05-14 Electronics And Telecommunications Research Institute Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
WO2010117129A2 (en) * 2009-04-07 2010-10-14 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661518A (en) * 1994-11-03 1997-08-26 Synthonics Incorporated Methods and apparatus for the creation and transmission of 3-dimensional images
GB0000584D0 (en) * 2000-01-13 2000-03-01 Pace Micro Tech Ltd Broadcast data system and apparatus
JP2002142233A (ja) * 2000-11-01 2002-05-17 Hitoshi Ishida 立体画像を提供するための画像提供装置および画像提供方法、受信装置および受信方法、並びに立体画像を提供するための立体画像提供システムおよび立体画像提供方法。
JP2004040455A (ja) * 2002-07-03 2004-02-05 Nippon Television Network Corp 伝送再生方法、伝送方法、及びそのシステム
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2011066871A (ja) * 2009-08-21 2011-03-31 Sony Corp コンテンツ伝送方法及び表示装置
US20120320168A1 (en) * 2010-03-05 2012-12-20 Electronics And Telecommunications Research Institute Method and apparatus for transmission and reception in the provision of a plurality of transport interactive 3dtv broadcasting services

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141626A (ja) * 1997-07-16 1999-02-12 Matsushita Electric Ind Co Ltd 立体映像放送方法及び放送システム
US20080310762A1 (en) * 2007-06-12 2008-12-18 Samsung Electronics Co., Ltd. System and method for generating and regenerating 3d image files based on 2d image media standards
WO2010053246A2 (en) * 2008-11-04 2010-05-14 Electronics And Telecommunications Research Institute Apparatus and method for synchronizing stereoscopic image, and apparatus and method for providing stereoscopic image based on the same
WO2010117129A2 (en) * 2009-04-07 2010-10-14 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof

Also Published As

Publication number Publication date
EP2536157A1 (en) 2012-12-19
WO2012105376A1 (ja) 2012-08-09
JP2012160813A (ja) 2012-08-23
KR20140000136A (ko) 2014-01-02
US20130007833A1 (en) 2013-01-03

Similar Documents

Publication Publication Date Title
CN102415100B (zh) 广播接收机及其3d视频数据处理方法
US8520057B2 (en) Method and system for transmitting/receiving 3-dimensional broadcasting service
US8767045B2 (en) Apparatus and method of transmitting stereoscopic image data and apparatus and method of receiving stereoscopic image data
US9712803B2 (en) Receiving system and method of processing data
CN104717479B (zh) 广播接收机及其3d广播数据处理方法
EP2434767B1 (en) Transmission device, transmission method, reception device and reception method
US9210354B2 (en) Method and apparatus for reception and transmission
US20130002819A1 (en) Receiving system and method of processing data
KR20110101099A (ko) 복수 전송 계층 연동형 3dtv 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
CA2818930C (en) Method for providing and recognizing transmission mode in digital broadcasting
US20140157342A1 (en) Reception device, transmission device, reception method, and transmission method
CN102388620A (zh) 广播接收机和三维视频数据处理方法
US20180255272A1 (en) Transmission device, transmission method, reception device, and reception method
CN102870421A (zh) 图像数据发送装置和方法、图像数据接收装置和方法
CN102804791A (zh) 接收装置、发送装置、通信系统、接收装置控制方法和程序
CN103155574A (zh) 发射机、传送方法和接收机
CN102812713A (zh) 图像数据发送设备、图像数据发送方法、图像数据接收设备和图像数据接收方法
CN103329545A (zh) 图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法
EP2451174A2 (en) Video output device, video output method, reception device and reception method
KR20110068821A (ko) 송, 수신 장치 및 송, 수신 방법
JP2016195426A (ja) 受信装置、受信方法、および送受信方法
JP2011254277A (ja) 受信装置、受信方法、および送受信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130109