CN103222270A - 发送设备、发送方法和接收设备 - Google Patents

发送设备、发送方法和接收设备 Download PDF

Info

Publication number
CN103222270A
CN103222270A CN2012800038050A CN201280003805A CN103222270A CN 103222270 A CN103222270 A CN 103222270A CN 2012800038050 A CN2012800038050 A CN 2012800038050A CN 201280003805 A CN201280003805 A CN 201280003805A CN 103222270 A CN103222270 A CN 103222270A
Authority
CN
China
Prior art keywords
data
information
captions
page
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012800038050A
Other languages
English (en)
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103222270A publication Critical patent/CN103222270A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

在本发明中,发送视差信息,以便不阻碍传统2D兼容接收装置的接收处理。复用数据流配备包括叠加信息数据和视差信息的专用数据流。在该专用数据流中,分别向叠加信息数据和视差信息附加指示服务是单独服务的服务识别信息。在接收侧的传统2D兼容接收装置能够满意地从专用数据流仅仅获得叠加信息数据。换言之,本发明使得2D兼容接收装置能够基于该服务识别信息跳过读取视差信息,由此防止视差信息的发送变成对传统2D兼容接收装置的接收处理的阻碍。

Description

发送设备、发送方法和接收设备
技术领域
本技术涉及发送设备、发送方法和接收设备。本技术尤其涉及与构成立体图像的左眼图像数据和右眼图像数据一起发送叠加信息数据和视差信息的发送设备等。
背景技术
例如,专利文献1已经提出使用立体图像数据的电视广播的发送方案。在这个发送方案中,发送具有左眼图像数据和右眼图像数据的立体图像数据以使用双目视差显示立体图像。
图76图示在使用双目视差的立体图像显示器中对象(物体)的左图像和右图像在屏幕上的显示位置和其立体图像的再现位置之间的关系。例如,关于如图所示其左图像La和右图像Ra分别显示在屏幕上的右侧和左侧的对象A,由于左视线和右视线在屏幕表面之前相互交叉,所以其立体图像的再现位置位于屏幕表面之前。DPa表示对象A在水平方向上的视差矢量。
此外,例如,关于如图所示其左图像Lb和右图像Rb分别显示在屏幕上的相同位置上的对象B,由于左视线和右视线在屏幕表面上相互交叉,所以其立体图像的再现位置位于屏幕表面上。此外,例如,关于如图所示其左图像Lc和右图像Rc分别显示在屏幕上的左侧和右侧的对象C,由于左视线和右视线在屏幕表面之内相互交叉,所以其立体图像的再现位置位于屏幕表面之内。DPc表示对象C在水平方向上的视差矢量。
引用列表
专利文献
专利文献1:日本专利申请特开No.2005-6114
发明内容
要解决的技术问题
如上所述,在立体图像显示器中,观看者通常通过使用双目视差感知立体图像的透视。此外,预期叠加在图像上的叠加信息(诸如字幕(caption)之类)将结合不仅作为二维(2D)空间深度感觉而且作为三维深度感觉的立体图像显示来呈现。例如,在图像和字幕以叠加(覆盖)的方式显示而不是显示在按照透视最靠近的图像中的物体(对象)之前的情况下,观看者会感觉到透视差异。
由此,考虑与叠加信息的数据一起发送左眼图像和右眼图像之间的视差信息,并且接收侧提供左眼叠加信息和右眼叠加信息之间的视差。以该方式,视差信息是在能够显示立体图像的接收设备中有意义的信息。另一方面,视差信息在传统2D兼容接收设备中不是必要的。在2D兼容接收设备中,需要采用一些种类措施来防止正常接收处理被视差信息的发送中断。
本技术的目的是防止传统2D兼容接收设备的接收处理被视差信息的发送中断。此外,本技术的目的是使得3D兼容接收设备能够有效并精确地与叠加信息数据一起获得对应的视差信息。
技术方案
本技术的构思是一种发送设备,包括:
图像数据输出单元,配置为输出构成立体图像的左眼图像数据和右眼图像数据;
叠加信息数据输出单元,配置为输出要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据;
视差信息输出单元,配置为输出视差信息,用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差;以及
数据发送单元,配置为发送包括视频数据流和专用数据流的复用数据流,所述视频数据流包括图像数据,所述专用数据流包括叠加信息数据和视差信息,
其中,向专用数据流中的叠加信息数据和视差信息中的每一个添加指示单独服务的服务识别信息。
在本技术中,图像数据输出单元输出构成立体图像的左眼图像数据和右眼图像数据。叠加信息输出单元输出要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据。这里,叠加信息包括叠加在图像上的字幕、图形和文本等。视差信息输出单元输出用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差的视差信息。
数据发送单元发送复用数据流。该复用数据流包括视频数据流和专用数据流,视频数据流包括图像数据,该专用数据流包括叠加信息数据和视差信息。这里,向专用数据流中的叠加信息数据和视差信息中的每一个添加指示单独服务的服务识别信息。
以该方式,在本技术中,叠加信息数据和视差信息包括在专用数据流中,而向叠加信息数据和视差信息中添加指示单独服务的服务识别信息。因此,接收侧的传统2D兼容接收设备可以有效地基于服务识别信息从专用数据流仅仅获得叠加信息数据。也就是说,由于传统2D兼容接收设备可以基于服务识别信息跳过视差信息,所以可以防止传统2D兼容接收设备的接收处理被视差信息的发送中断。
此外,在本技术中,例如,添加到叠加信息数据的第一服务识别信息和添加到视差信息的第二服务识别信息之间可以具有唯一关系,与专用数据流对应的描述符可以被插入到复用数据流中,以及描述符可以描述与第一服务识别信息对应的识别信息并且可以不描述与第二服务识别信息对应的识别信息。
这里,例如,叠加信息数据可以是DVB字幕说明(subtitle)数据,描述符可以是字幕说明描述符,以及与第一服务识别信息对应的识别信息可以是复合页面ID。此外,作为唯一关系的示例,例如,第二服务识别信息的值可以等于第一服务识别信息的值加预定值(偏移值)。
传统2D兼容接收设备可以基于在描述符中描述的与第一服务识别信息对应的识别信息有效地从专用数据流仅仅获得叠加信息数据。也就是说,由于传统2D兼容接收设备在描述符中不具有与第二服务识别信息对应的识别信息,所以传统2D兼容接收设备跳过包括在专用数据流中的视差信息。相应地,可以防止传统2D兼容接收设备的接收处理被视差信息的发送中断。此外,3D兼容接收设备可以基于与第一服务识别信息对应的识别信息从专用数据流有效而且精确地获得叠加信息数据和对应的视差信息。
此外,在本技术中,例如,与专用数据流数据流对应的描述符可以被插入到复用数据流中,以及描述符可以描述与添加到叠加信息数据的第一服务识别信息对应的第一识别信息,并且描述与第一识别信息不同的、与添加到视差信息的第二服务识别信息对应的第二识别信息。这里,例如,叠加信息数据可以是DVB字幕说明数据,描述符可以是字幕说明描述符,第一识别信息可以是复合页面ID,而第二识别信息可以是辅助页面ID。此外,例如,叠加信息数据可以是DVB字幕说明数据,描述符可以是字幕说明描述符,而第一识别信息和第二识别信息可以是复合页面ID。
传统2D兼容接收设备可以基于在描述符中描述的与第一服务识别信息对应的第一识别信息有效地从专用数据流仅仅获得叠加信息数据。也就是说,传统2D兼容接收设备可以跳过包括在专用数据流中的视差信息。相应地,可以防止传统2D兼容接收设备的接收处理被视差信息的发送中断。此外,3D兼容接收设备可以基于与第一服务识别信息对应的第一服务识别信息和与第二服务识别信息对应的第二识别信息从专用数据流有效并且精确地获得叠加信息数据和对应的视差数据。
此外,在本技术中,例如,与专用数据流对应的描述符可以被插入到复用数据流中,以及描述符可以描述指示叠加信息数据的信息类型是与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的第一类型的第一类型信息,并且描述指示视差信息的信息类型是与第一类型不同的、与添加到专用数据流中的视差信息的第二服务识别信息相关联的第二类型的类型信息。在该情况下,由于接收侧的传统2D兼容接收设备可以参考类型信息外加服务识别信息,所以传统2D兼容接收设备可以更加安全地跳过视差信息。
此外,在本技术中,例如,与专用数据流对应的描述符可以被插入到复用数据流中,以及描述符可以描述指示与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的预定语言的第一语言信息,并且描述指示与添加到专用数据流中的视差信息的第二服务识别信息相关联的非语言的第二语言信息。例如,表示非语言的语言信息可以是ISO语言代码中表示非语言的“zxx”或者包括在ISO语言代码中从“qaa”到“qrz”的间隔中的语言代码中的任一个。在该情况下,由于接收侧的传统2D兼容接收设备可以参考语言信息外加服务识别信息,所以传统2D兼容接收设备可以更加安全地跳过视差信息。
此外,在本技术中,例如,叠加信息数据可以是DVB(数字视频广播)字幕说明数据,第一页面ID可以作为服务识别信息被分配给包括在专用数据流中的叠加信息数据的第一段,以及第二页面ID可以作为服务识别信息被分配给包括在专用数据流中的视差信息的第二段。在该情况下,例如,第二页面ID的值可以等于第一页面ID的值加预定值。相应地,关于页面ID,包括叠加信息数据的第一段可以与包括视差信息的第二段相关联。
此外,在本技术中,例如,与专用数据流对应的字幕说明描述符可以被插入到复用数据流中,以及字幕说明描述符可以描述指示与第一页面ID相关联的第一类型的第一字幕说明类型信息,并且描述指示与第一类型不同的、与第二页面ID相关联的第二类型的第二字幕说明类型信息。
此外,在本技术中,例如,与专用数据流对应的字幕说明描述符可以被插入到复用数据流中,以及字幕说明描述符可以描述指示与第一页面ID相关联的预定语言的第一语言信息,并且描述指示与第二页面ID相关联的非语言的第二语言信息。
此外,在本技术中,例如,复用数据流可以包括多个专用数据流,该多个专用数据流包括与单语言服务对应的视差信息和叠加信息数据。
此外,在本技术中,例如,复用数据流可以包括专用数据流,该专用数据流包括分别与多语言服务对应的视差信息和叠加信息数据。在该情况下,可以共享与多语言服务对应的视差信息。例如,叠加信息数据可以是DVB字幕说明数据,并且可以将与多语言服务对应的视差信息操作为辅助页面。相应地,可以有效地使用流带宽。
本技术的另一构思是一种接收设备,包括:
数据接收单元,配置为接收包括视频数据流和专用数据流的复用数据流,该视频数据流包括构成立体图像的左眼图像数据和右眼图像数据,该专用数据流包括要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据和用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差的视差信息;
第一解码单元,配置为从复用数据流提取视频数据流并且解码所提取的视频数据流;以及
第二解码单元,配置为从复用数据流提取专用数据流并且解码所提取的专用数据流,
其中,指示单独服务的服务识别信息被添加到专用数据流中的叠加信息数据和视差信息中的每一个,以及
第二解码单元基于服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。
在本技术中,数据接收单元接收包括视频数据流和专用数据流的复用数据流。该视频数据流包括构成立体图像的左眼图像数据和右眼图像数据。此外,该专用数据流包括用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差的视差信息。
第一解码单元从复用数据流提取视频数据流并且解码所提取的视频数据流。此外,第二解码单元从复用数据流提取专用数据流并且解码所提取的专用数据流。这里,指示单独服务的服务识别信息被添加到专用数据流中的叠加信息数据和视差信息中的每一个。第二解码单元基于服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。
以该方式,在本技术中,叠加信息数据和视差信息包括在专用数据流中,而向叠加信息数据和视差信息中添加指示单独服务的服务识别信息。因此,接收侧的传统2D兼容接收设备可以有效地基于服务识别信息从专用数据流仅仅获得叠加信息数据。也就是说,由于传统2D兼容接收设备可以基于服务识别信息跳过视差信息,所以可以防止传统2D兼容接收设备的接收处理被视差信息的发送中断。此外,接收侧的3D兼容接收设备可以基于服务识别信息从专用数据流有效地获得叠加信息数据和视差信息二者。
此外,在本技术中,例如,与专用数据流对应的描述符可以被插入到复用数据流中,描述符可以描述指示叠加信息数据的信息类型是与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的第一类型的第一类型信息,并且描述指示视差信息的信息类型是与第一类型不同的、与添加到专用数据流中的视差信息的第二服务识别信息相关联的第二类型的类型信息,以及第二解码单元可以基于类型信息外加服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。在该情况下,由于接收侧的传统2D兼容接收设备可以参考类型信息外加服务识别信息,所以传统2D兼容接收设备可以更加安全地跳过视差信息。
此外,在本技术中,例如,与专用数据流对应的描述符可以被插入到复用数据流中,描述符可以描述指示与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的预定语言的第一语言信息,并且描述指示与添加到专用数据流中的视差信息的第二服务识别信息相关联的非语言的第二语言信息,以及第二解码单元可以基于语言信息外加服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。在该情况下,由于接收侧的传统2D兼容接收设备可以参考语言信息外加服务识别信息,所以传统2D兼容接收设备可以更加安全地跳过视差信息。
此外,本技术的另一构思是一种接收设备,包括:
数据接收单元,配置为接收包括视频数据流和专用数据流的复用数据流,该视频数据流包括构成立体图像的左眼图像数据和右眼图像数据,该专用数据包括要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据和用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差的视差信息;
第一解码单元,配置为从复用数据流提取视频数据流并且解码所提取的视频数据流;以及
第二解码单元,配置为从复用数据流提取专用数据流并且解码所提取的专用数据流,
其中,指示单独服务的服务识别信息被添加到专用数据流中的叠加信息数据和视差信息中的每一个,
被添加到叠加信息数据的第一服务识别信息和被添加到视差信息的第二服务识别信息之间具有唯一关系,
与专用数据流对应的描述符被插入到复用数据流中,
描述符描述与第一服务识别信息对应的识别信息而不描述与第二服务识别信息对应的识别信息,以及
第二解码单元基于唯一关系和在描述符中描述的、与第一服务识别信息对应的识别信息从专用数据流获得叠加信息数据和视差信息。
在本技术中,数据接收单元接收包括视频数据流和专用数据流的复用数据流。该视频数据流包括构成立体图像的左眼图像数据和右眼图像数据。此外,该专用数据包括用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差的视差信息。
第一解码单元从复用数据流提取视频数据流并且解码所提取的视频数据流。此外,第二解码单元从复用数据流提取专用数据流并且解码所提取的专用数据流。
这里,指示单独服务的服务识别信息被添加到专用数据流中的叠加信息数据和视差信息中的每一个。在该情况下,被添加到叠加信息数据的第一服务识别信息和被添加到视差信息的第二服务识别信息之间具有唯一关系。此外,作为唯一关系的示例,例如,第二服务识别信息的值可以等于第一服务识别信息的值加预定值(偏移值)。
此外,与专用数据流对应的描述符被插入到复用数据流中。描述符描述与第一服务识别信息对应的识别信息而不描述与第二服务识别信息对应的识别信息。以该方式,由于传统2D兼容接收设备不具有与第二服务识别信息对应的识别信息,所以预期传统2D兼容接收设备跳过包括在专用数据流中的视差信息。
第二解码单元基于唯一关系和在描述符中描述的、与第一服务识别信息对应的识别信息从专用数据流获得叠加信息数据和视差信息。在该情况下,由于从在描述符中描述的识别信息直接辨认第一服务识别信息,而且描述符中描述的识别信息根据唯一关系被处理(添加偏移值等),所以可以辨认第二服务识别信息。相应地,可以有效并且精确地执行与叠加信息数据一起的视差信息的获得。
技术效果
根据本技术,能够防止传统2D兼容接收设备的接收处理被视差信息的发送中断。
附图说明
图1是图示根据实施例的图像发送/接收系统的配置的示例的框图。
图2是图示广播站中的发送数据生成单元的配置的示例的框图。
图3是图示1920×1080像素格式的图像数据的示图。
图4是用于描述作为立体图像数据(3D图像数据)发送方案的上下方案、并排方案和帧顺序方案的示图。
图5是用于描述检测右眼图像关于左眼图像的视差矢量的示例的示图。
图6是用于描述通过块匹配方案的视差矢量的获得的示图。
图7是图示在每一个像素的视差矢量的值用作每一个像素的亮度值的情况下图像的示例的示图。
图8是图示每一个块的视差矢量的示例的示图。
图9是用于描述通过发送数据生成单元的视差信息创建单元执行的缩小尺寸处理的示图。
图10是图示定义在字幕说明数据中的图像上的区域和定义在该区域中的子区域的示例的示图。
图11是图示包括在传输流TS中的、包括DSS段的字幕说明数据流的配置的示例的示图。
图12是图示传输流TS的配置的示例的示图。
图13是图示构成字幕说明数据的PCS(page_composition_segment)的结构的示图。
图14是图示segment_type的每一个值和段类型之间的对应关系的示图。
图15是用于描述表示3D字幕说明格式的信息(Component_type=0x15,0x25)的示图。
图16是用于描述插入到传输流TS中的字幕说明描述符(Subtitling_descriptor)等的示图。
图17是用于描述插入到传输流TS中的字幕说明描述符(Subtitling_descriptor)等的示图。
图18是图示提取ISO语言代码(ISO639-2代码)列表的示图。
图19是图示字幕说明数据流的流配置的示例的示图。
图20是图示字幕说明描述符(Subtitling_descriptor)的语法的示例。
图21是图示通过使用间隔时间段更新视差信息的示例和间隔时间段被固定并且等于更新时间段的情况的示图。
图22是图示通过使用间隔时间段更新视差信息的示例和在间隔时间段设置为短的情况下更新视差信息的示例的示图。
图23是图示包括DSS段的字幕说明数据流的流配置的示例的示图。
图24是图示在顺序发送DSS段的情况下更新视差信息的示例的示图。
图25是图示其中更新帧间隔表达为多个作为单位时间段的间隔持续时间的更新视差信息的示例的示图。
图26是图示其中作为字幕显示区域的两个区域包括在页面区域(Page_default的区)中的显示字幕说明的示例的示图。
图27是图示在以区域为单位的视差信息和以包括所有区域的页面为单位的视差信息作为在字幕显示时间段中顺序更新的视差信息包括在DSS段中的情况下,每一个区域和页面的视差信息曲线的示例的示图。
图28是图示每一个页面和区域的视差信息的发送结构的示图。
图29是图示DSS的语法的示例的示图(1/3)。
图30是图示DSS的语法的示例的示图(2/3)。
图31是图示DSS的语法的示例的示图(3/3)。
图32是图示DSS的主要数据定义内容(语义)的示图(1/4)。
图33是图示DSS的主要数据定义内容(语义)的示图(2/4)。
图34是图示DSS的主要数据定义内容(语义)的示图(3/4)。
图35是图示DSS的主要数据定义内容(语义)的示图(4/4)。
图36是图示在机顶盒和电视接收器是3D兼容装置的情况下广播接收的构思的示图。
图37是示意图示在机顶盒(2D兼容装置)中仅仅提取处理2D流的示图。
图38是图示在接收器是传统2D兼容装置(2D接收器)的情况下并且在接收器是3D兼容装置(3D接收器)(对于SBS)的情况下广播接收的构思的总结的示图。
图39是图示在接收器是传统2D兼容装置(2D接收器)的情况下并且在接收器是3D兼容装置(3D接收器)(对于MVC)的情况下广播接收的构思的总结的示图。
图40是用于描述3D兼容接收设备中的3D服务确定处理的示图。
图41是图示显示图像上的字幕(图形信息)和背景、近视对象和字幕的透视图的示例的示图。
图42是图示显示图像上的字幕和用于显示字幕的左眼字幕LGI和右眼字幕RGI的示例的示图。
图43是图示包括在图像发送/接收系统中的机顶盒的配置的示例的框图。
图44是图示包括在机顶盒中的位流处理单元的配置的示例(3D兼容)的框图。
图45是图示包括在机顶盒中的位流处理单元的配置的示例(2D兼容)的框图。
图46是图示包括在图像发送/接收系统中的电视接收器的配置的示例的框图。
图47是图示在存在双语服务的情况下包括包含在传输流TS中的DSS段的字幕说明数据流的配置的示例的示图。
图48是图示在存在双语服务的情况下传输流TS的配置的示例的示图。
图49是用于描述插入在传输流TS中的字幕说明描述符(Subtitling_descriptor)等的示图。
图50是图示根据第一语言服务的字幕说明数据流(PID1)的流配置的示例和根据第二语言服务的字幕说明数据流(PID2)的流配置的示例的示图。
图51是图示在存在双语服务的情况下包括包含在传输流TS中的DSS段的字幕说明数据流的配置的另一示例的示图。
图52是图示在DSS段被共享在语言服务之间的情况下传输流TS的配置的示例的示图。
图53是用于描述插入到传输流TS中的字幕说明描述符(Subtitling_descriptor)等的示图。
图54是图示在根据两种数据服务的各个段存在于一个字幕说明数据流中的情况下包括包含在传输流TS中的DSS段的字幕说明数据流的配置的示例的示图。
图55是图示在根据双语服务的各个段存在于一个字幕说明数据流中的情况下传输流TS的配置的示例的示图。
图56是用于描述插入到传输流TS中的字幕说明描述符(Subtitling_descriptor)等的示图。
图57是图示在根据双语服务的各个段存在于一个字幕说明数据流中的情况下包括包含在传输流TS中的DSS段的字幕说明数据流的配置的示例的示图。
图58是图示在根据双语服务的各个段存在于一个字幕说明数据流中的情况下传输流TS的配置的示例的示图。
图59是用于描述插入到传输流TS中的字幕说明描述符(Subtitling_descriptor)等的示图。
图60是图示在包括3D扩展段的3D_EX部分存在于PES有效载荷的情况下包括在传输流TS中的字幕说明数据流的配置的示例的示图。
图61是图示包括字幕说明数据流的传输流TS的配置的示例的图,在该字幕说明数据流中,包括3D扩展段的3D_EX部分存在于PES有效载荷中。
图62是图示字幕说明数据流的流配置的示例的示图。
图63是图示包括在传输流TS中的字幕说明数据流的配置的另一示例的示图。
图64是图示传输流TS的配置的示例的示图。
图65是图示在存在双语服务的情况下包括在传输流TS中的字幕说明数据的配置的示例的示图。
图66是图示传输流TS的配置的示例的示图。
图67是图示包括在传输流TS中的字幕说明数据流的配置的另一示例的示图。
图68是图示传输流TS的配置的示例的示图。
图69是图示包括在传输流TS中的字幕说明数据流的配置的附加示例的示图。
图70是图示传输流TS的配置的示例的示图。
图71是图示在共享3D扩展段的情况下包括在传输流TS中的字幕说明数据流的配置的示例的示图。
图72是图示传输流TS的配置的示例的示图。
图73是图示包括在图像发送/接收系统中的机顶盒的配置的另一示例的框图。
图74是图示包括在图像发送/接收系统中的电视接收器的配置的另一示例的框图。
图75是图示图像发送/接收系统的配置的另一示例的框图。
图76是用于描述在使用双目视差的立体图像显示器中对象的左图像和右图像在屏幕上的显示位置和其立体图像的再现位置之间的关系的示图。
具体实施例
下面,将描述用于实现本发明的方式(下面称为“实施例”)。此外,将以下面的顺序做出描述。
1.实施例
2.修改
<1.实施例>
[图像发送/接收系统的配置的示例]
图1图示根据实施例的图像发送/接收系统10的配置的示例。图像发送/接收系统10包括广播站100、机顶盒(STB)200和电视接收器(TV)300。
机顶盒200和电视接收器300通过HDMI(高清多媒体接口)的数字接口连接。机顶盒200和电视接收器300通过使用HDMI电缆400连接。机顶盒200配备HDMI端子202。电视接收器300配备HDMI端子302。HDMI电缆400的一端连接到机顶盒200的HDMI端子202,而HDMI电缆400的另一端连接到电视接收器300的HDMI端子302。
[广播站的描述]
广播站100在广播波上发送传输流TS作为复用数据流。广播站100包括生成传输流TS的图像数据生成单元100。传输流TS包括图像数据、音频数据、叠加信息数据、视差信息等。这里,图像数据(下面适当称为“立体图像数据”)包括构成立体图像的左眼图像数据和右眼图像数据。立体图像数据具有预定发送格式。一般地,叠加信息是字幕、图形信息、文本信息等。然而,在本实施例中,叠加信息是字幕说明(字幕)。
[发送数据生成单元的配置的示例]
图2图示广播站100中的发送数据生成单元110的配置的示例。发送数据生成单元110以可以容易地与作为现有广播标准之一的DVB(数字视频广播)协作的数据结构发送视差信息(视差矢量)。发送数据生成单元110包括提取单元111、视频编码器112和音频编码器113。此外,发送数据生成单元110包括字幕说明生成单元114、视差信息创建单元115、字幕说明处理单元116、字幕说明编码器118和复用器119。
数据提取单元111例如可拆卸地安装有数据记录介质111a。数据记录介质111a存储与包括左眼图像数据和右眼图像数据的立体图像数据相关联的音频数据和视差信息。数据提取单元111从数据记录介质111提取立体图像数据、音频数据、视差信息等并且将其输出。数据记录介质111a的示例包括盘型记录介质和半导体存储器。
记录在数据记录介质111a中的立体图像数据是预定发送方案的立体图像数据。将描述用于发送立体图像(3D图像数据)的发送方案的示例。这里,虽然下面将作为示例描述第一到第三发送方案,但是可以使用用以发送立体图像数据(3D图像数据)的任何其他发送方案。此外,这里,将作为示例描述左眼(L)图像数据和右眼(R)图像数据是具有预定分辨率(如图3所示的1920×1080像素格式)的图像数据的情况。
第一发送方案是上下方案并且是发送垂直方向的前一半中的左眼图像数据的每一行数据并且发送垂直方向的后一半中的右眼图像数据的每一行数据的方案,如图4(a)所示。在该情况下,由于左眼图像数据和右眼图像数据的行减少1/2,所以垂直分辨率关于原始信号减少1/2。
第二发送方案是并排方案并且是发送水平方向的前一半中的左眼图像数据的像素数据并且发送水平方向的后一半中的右眼图像数据的像素数据的方案,如图4(b)所示。在该情况下,左眼图像数据和右眼图像数据的每一个的水平方向像素数据减少1/2。水平分辨率关于原始信号减少1/2。
第三发送方案是帧顺序方案或者L/R无交织方案并且是通过顺序切换各个帧发送左眼图像数据和右眼图像数据的方案,如图4(c)所示。此外,该方案还包括用于常规2D格式的全帧方案或者服务兼容方案。
此外,记录在数据介质111a中的视差信息例如是构成图像的每一个像素的视差。将描述检测视差矢量的示例。这里,将描述检测右眼图像关于左眼图像数据的视差矢量的示例。如图5所示,左眼图像用作检测图像,并且右眼图像作为参考图像。在该示例中,检测在位置(xi,yi)和(xj,yj)处的视差矢量。
将作为示例描述检测在位置(xi,yi)处的视差矢量的情况。在此情况下,在左眼图像中,例如,以左上像素在位置(xi,yi)上来设置4×4、8×8或16×16像素块(视差检测块)Bi。在右眼图像中,搜索与像素块Bi匹配的像素块。
在该情况下,在右眼图像中,设置在位置(xi,yi)周围的搜索范围。使用搜索范围内的每一个像素作为顺序关注像素,顺序设置类似于上述像素块Bi的比较块(例如,4×4、8×8或者16×16比较块)。
在像素块Bi和顺序设置的比较块之间,获得各个对应像素的绝对差值的总和。这里,如图6所示,当像素块Bi的像素值是L(x,y)并且比较块Bi的像素值是R(x,y)时,像素块Bi和比较块之间的绝对差值的总和表达为Σ|L(x,y)-R(x,y)|。
当n个像素包括设置在右眼图像的搜索范围中时,最终获得n个总和S1到Sn并且选择它们中的最小总和Smin。从关于其获得最小总和Smin的比较块获得左上像素的位置(xi′,yi′)。相应地,在位置(xi,yi)处的视差矢量被检测为(xi′-xi,yi′-yi)。虽然没有详细描述,但例如将以左上像素在位置(xj,yj)的4×4,8×8,或者16×16像素块Bj设置在左眼图像中,并且通过相同的过程检测在位置(xj,yj)处的视差矢量。
返回到图2,视频编码器112对通过数据提取单元111提取的立体图像数据执行编码(诸如MPEG4-AVC、MPEG2或者VC-1之类)以生成视频数据流(视频基本流)。音频编码器113对通过数据提取单元111提取的音频数据执行编码(诸如AC3或者AAC之类)以生成音频数据流(音频基本流)。
字幕说明生成单元114生成字幕说明数据作为DVB(数字视频广播)方案的字幕数据。字幕说明数据是二维图像的字幕说明数据。字幕说明生成单元114构成叠加信息数据输出单元。
视差信息创建单元115对通过数据提取单元111提取的多个像素或者每一个像素的视差矢量(水平方向视差矢量)执行缩小尺寸处理,以生成如下所述的每层的视差信息。此外,视差信息不必一定由视差信息创建单元115生成,也可以从外部单独供应。
图7图示被提供作为每一个像素的亮度值的深度方向相对数据的示例。这里,深度方向相对数据可以通过预定转换被视为每一像素的视差矢量。在该示例中,人体部分的亮度值被设置为高。这意味着人体部分的视差矢量值大,由此意味着人体部分被感知为在立体图像显示中突出。此外,在该示例中,背景部分的亮度值设置为低。这意味着背景部分的视差矢量值小,由此意味着背景部分被感知为在立体图像显示中凹陷。
图8图示每一个块的视差矢量的示例。块对应于位于最底层的像素的上层。通过将图像(画面)区域在水平方向和垂直方向上分割为预定尺寸来构建该块。例如,通过从存在于块中的所有像素的视差矢量选择具有最大值的视差矢量,来获得每一个块的视差矢量。在该示例中,通过箭头表示每一个块的视差矢量,并且箭头的长度对应于视差矢量的量级。
图9图示通过视差信息创建单元115执行的缩小尺寸的处理的示例。首先,如图9(a)中所示,视差信息创建单元115通过使用每一个像素的视差矢量获得每一个块的带符号(signed)视差矢量。如上所述,该块对应位于位于最底层的像素的上层,并且通过将图像(画面)在水平方向和垂直方向上分割为预定尺寸进行构建。例如,通过从存在于块中的所有像素的视差矢量选择具有最小值的视差矢量或者具有最大绝对值的负视差矢量获得每一个块的视差矢量。
下面,如图9(b)所示,视差信息创建单元115通过使用每一个块的视差矢量获得每一组(块组)的视差矢量。该组对应该块的上层,并且通过将多个相邻块组合在一起而获得。在图9(b)的示例中,每一组包括由虚线框限定的四个块。例如,通过从该组的所有块的视差矢量选择具有最小值的视差矢量和具有最大绝对值的负视差矢量获得每一组的视差矢量。
下面,如图9(c)所示,视差信息创建单元115通过使用每一组的视差矢量获得每一分区的视差矢量。该分区对应该组的上层,并且通过将多个相邻组组合在一起而获得。在图9(c)的示例中,每一分区包括由虚线框限定的两个组。例如,通过从该分区的所有组的视差矢量选择具有最小值的视差矢量和具有最大绝对值的负视差矢量获得每一分区的视差矢量。
下面,如图9(d)所示,视差信息创建单元115通过使用每一分区的视差矢量获得位于最上层的整个画面(整个图像)的视差矢量。在图9(d)的示例中,整个画面包括由虚线框限定的四个分区。例如,通过从包括在整个画面的所有分区的视差矢量选择具有最小值的视差矢量或者具有最大绝对值的负视差矢量获得整个画面的视差矢量。
以该方式,视差信息创建单元115可以通过对位于最下层的每一个像素的视差矢量执行缩小尺寸处理获得每一层(诸如块、组、分区和整个画面之类)的每一个区域的视差矢量。此外,在图9所示的缩小尺寸处理的示例中,除了像素的层之外,最终还获得块、组、分区和整个图像的四层的视差矢量。然而,层的数量、分割每一个层的区域的方法和区域的数量不限于此。
返回图2,字幕说明处理单元116可以基于字幕说明生成单元114生成的字幕说明数据定义区域中的子区域。此外,字幕说明处理单元116基于视差信息创建单元115创建的视差信息设置用于在左眼图像和右眼图像中偏移叠加信息的显示位置的视差信息。可以对于每一个子区域、区域或者页面设置视差信息。
图10(a)图示定义在字幕说明数据的图像上的区域和定义在该区域中的子区域的示例。在该示例中,两个子区域SubRegion1和SubRegion2定义在具有Region_Starting位置R0的Region0。SubRegion1的水平位置x是SR1,并且SubRegion2的水平位置x是SR2。在该示例中,视差信息Dispartity1设置用于子区域SubRegion1,并且视差信息Dispartity2设置用于子区域SubRegion2。
图10(b)图示通过视差信息的在左眼图像的区域中的偏移调整的示例。视差信息Dispartity1设置用于子区域SubRegion1。因此,关于子区域SubRegion1,执行偏移调整,以使得水平位置x是SR1-Dispartity1。此外,视差信息Dispartity2设置用于子区域SubRegion2。因此,关于子区域SubRegion2,执行偏移调整,以使得水平位置x是SR2-Dispartity2。
图10(c)图示通过视差信息的在右眼图像的子区域中的偏移调整的示例。视差信息Dispartity1设置用于子区域SubRegion1。因此,关于子区域SubRegion1,执行偏移调整,以使得水平位置x与上述左眼图像相反,是SR1+Dispartity1。此外,视差信息Dispartity2设置用于子区域SubRegion2。因此,关于子区域SubRegion2,执行偏移调整,以使得水平位置x与上述左眼图像相反,是SR2+Dispartity2。
字幕说明处理单元116与字幕说明生成单元114生成的字幕说明数据一起,输出显示控制信息(诸如视差信息和上述子区域的区域信息之类)。此外,视差信息除了上述以子区域为单位设置之外,还可以以区域或者页面为单位设置。
字幕说明数据包括诸如DDS、PCS、RCS、CDS、ODS和EDS之类的段。DDS(显示定义段)规定HDTV的显示尺寸。PCS(页面合成段)规定一个页面中的区域位置。RCS(区域合成段)规定区域的尺寸或者对象的编码方式并且还规定对象的开始位置。
CDS(CLUT定义段)规定CLUT内容。ODS(对象数据段)包括已编码像素数据。EDS(显示设置段的末端)指示从DDS的段开始的字幕说明数据的末端。在该实施例中,还定义DSS(视差传信段)的段。诸如上述视差信息之类的显示控制信息被插入到DSS段中。
返回图2,字幕说明编码器118生成包括DDS、PCS、RCS、CDS、ODS、DSS和EDS的段的字幕说明数据流(专用数据流)。复用器119复用来自视频编码器112、音频编码器113和字幕说明编码器118的各个数据流,以生成传输流TS作为复用后的数据流。传输流TS包括视频数据流、音频数据流和字幕说明数据流作为PES(分组基本流)。
图11图示包括在传输流TS中的字幕说明数据流的配置的示例。PES首标布置在开头,之后是PES有效载荷,包括DDS、PCS、RCS、CDS、DS、DSS和EDS的各个段。这里,分配给DDS、PCS、RCS、CDS、DS、DSS和EDS的各个段的页面ID(=page_id1)与分配给DSS的段的页面ID(=page_id2)不同。
这里,DDS、PCS、RCS、CDS、ODS和EDS的各个段构成包括叠加信息数据(字幕说明数据)的第一段。此外,DSS段构成包括视差信息的第二段。页面ID构成服务识别信息。由于分配给第一段的页面ID和分配给第二段的页面ID被设置成相互不同,所以将第一段和第二段指示为是单独服务,由此可以被识别。
在该实施例中,分配给第二段的页面ID(=page_id2)的值等于分配给第一段的页面ID(=page_id1)的值加预定值。相应地,作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段和作为第二段的DSS段关于页面ID相互相关联。
将简短地描述图2所示的发送数据生成单元110的操作。从数据提取单元111提取的立体图像数据被供应到视频编码器112。在视频编码器112中,对立体图像数据执行诸如MPEG4-AVC、MPEG2或VC-1之类的编码,并且生成包括已编码视频数据的视频数据流(视频基本流)。向复用器119供应视频数据流。
向音频编码器113供应从数据提取单元111提取的音频数据。在音频编码器113中,对音频数据执行诸如MPEG-2音频AAC或者MPEG-4AAC之类的编码,并且生成包括已编码音频数据的音频数据流。向复用器119供应音频数据流。
在字幕说明生成单元114中,生成作为DVB字幕数据(对于2D图像)的字幕说明数据。向视差信息创建单元115和字幕说明处理单元116供应字幕说明数据。
向视差信息创建单元115供应从数据提取单元111提取的每一个像素的视差矢量。在视差信息创建单元115中,对每一个像素的视差矢量或者对多个像素的视差矢量执行缩小尺寸处理,并且生成每一个层的视差信息。向字幕说明处理单元116供应视差信息。
在字幕说明处理单元116中,例如,基于字幕说明生成单元114生成的字幕说明数据定义区域中的子区域。此外,在字幕说明处理单元116中,基于视差信息创建单元115创建的视差信息设置用于在左眼图像和右眼图像中偏移叠加信息的显示位置的视差信息。在该情况下,视差信息设置用于每一个子区域、区域或者页面。
向字幕说明编码器118供应从字幕说明处理单元116输出的显示控制信息和字幕说明数据。显示控制信息包括子区域的区域信息、视差信息等。在字幕说明编码器118中,生成字幕说明数据流。也就是说,生成包括DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段的字幕说明数据流。如上所述,DSS的段是包括显示控制信息的段。
如上所述,向复用器119供应来自视频编码器112、音频编码器113和字幕说明编码器118的各个数据流。在复用器119中,将各个数据流分组并且复用为PES分组,并且生成传输流TS为复用后的数据流。传输流TS包括视频数据流、音频数据流和字幕说明数据流(专用数据流)作为PES流。
图12图示传输流TS的配置的示例。传输流TS包括通过分组每一个基本流获得的PES分组。此外,在图12中,为了简化图示,省略与视频和音频有关的部分的图示。
在该配置示例中,包括字幕说明数据流(专用数据流)的PES分组(“字幕说明PES1”)。DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段包括在字幕说明数据流中。作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段被分配页面ID(page_id1)和作为第二段的DSS段被分配页面ID(page_id2),使得可以识别这些段。
图13图示PCS(page_composition_segment)的结构。PCS的段类型是0x10,如图14所示。在图13中,“region_horizontal_address”和“rregion_vertical_address”指示区域的开始位置。此外,关于诸如DDS、RCS和ODS之类的其他段,将省略其结构的图示。如图14所示,DDS的段类型是0x14,RCS的段类型是0x11,CDS的段类型是0x12,ODS的段类型是0x13,并且EDS的段类型是0x80。此外,如图14所示,DSS的段类型是0x15。下面将描述DSS的段的详细结构。
返回到图12,传输流TS包括PMT(节目映射表)作为PSI(节目特定信息)。PSI是包括在传输流中的每一个基本流属于哪个节目的信息描述。此外,传输流包括EIT(事件信息表)作为SI(已服务信息),用于对每一个事件执行管理。EIT描述每一个节目的元数据。
PMT包括具有与字幕说明数据流有关的信息的字幕说明基本循环(loop)。诸如字幕说明数据流的分组识别符(PID)之类的信息布置在字幕说明基本循环中。此外,描述与字幕说明数据流有关的信息的描述符也布置在字幕说明基本循环中。
字幕说明描述符(Subtitling_Descriptor)呈现为描述符。字幕说明描述符描述与作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID的值(page_id1)等于合成页面ID的值(page_id1)。
此外,与第一段对应的字幕说明类型(subtitling_type)是表示2D字幕说明的值,例如,“0x14”或“0x24”(见图15中的“component_type”)。此外,与第一段对应的ISO语言代码被设置为表示字幕说明(字幕)的语言。在图示的示例中,ISO语言代码被设置为表示英语的“eng”。
字幕说明描述符描述与作为第二段的DSS段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给DSS段的页面ID的值(page_id2)等于合成页面ID的值(page_id2)。
此外,与第二段对应的字幕说明类型(subtitling_type)是表示3D字幕说明的值,例如,“0x15”或者“0x25”(见图15中的“component_type”)。此外,与第二段对应的ISO语言代码被设置为例如表示非语言的“zxx”。
图16图示图12中所示的字幕说明描述符(Subtitling_descriptor)等的提取。此外,上面已经描述与第二段对应的ISO语言代码被设置为例如表示非语言的“zxx”。然而,类似于与第一段对应的ISO语言代码,如图17所示,可以考虑与第二段对应的ISO语言代码被设置为表示字幕说明(字幕)的语言。
此外,可以考虑包括在从SO语言代码的“qaa”到“qrz”的间隔中的语言代码中的任一个或者将语言代码“mis”或者“und”用作表示非语言的ISO语言代码。此外,为了参考,图18图示ISO语言代码(ISO 639-2代码)列表的提取。
图19图示字幕说明数据流的流配置的示例。该示例是英语“eng”的语言服务示例。与作为第一段(表示为“2D”)的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的、描述在字幕说明描述符中的合成页面ID(composition_page_id)被设置为“A1”。因此,可以看到,分配给DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID的值是“A1”。
此外,与合成页面ID=页面ID=A1相关联的、描述在字幕说明描述符中的字幕说明类型(subtitling_type)被设置为表示2D字幕说明的值。此外,与合成页面ID=页面ID=A1相关联的、描述在字幕说明描述符中的ISO语言代码被设置为表示英语的“eng”。
此外,与作为第二段的DSS段相关联的、描述在字幕说明描述符中的合成页面ID(composition_page_id)被设置为“A2”。因此,可以看到,分配给DSS段的页面ID的值是“A2”。
此外,与合成页面ID=页面ID=A2相关联的、描述在字幕说明描述符中的字幕说明类型(subtitling_type)被设置为表示3D字幕说明的值。此外,与合成页面ID=页面ID=A2相关联的、描述在字幕说明描述符中的ISO语言代码被设置为表示非语言的“zxx”。
图20图示字幕说明描述符(Subtitling_descriptor)的语法的示例。8位字段“descriptor_tag”指示描述符是字幕说明描述符。8位字段“descriptor_length”表示该字段之后的整个字节尺寸。
24位字段“ISO_639_language_code”表示ISO语言代码。表示字幕说明(字幕)的语言的代码与第一段相关联地设置,并且表示字幕说明(字幕)的非语言或者语言的代码与第二字段相关联地设置。8位字段“subtitling_type”表示字幕说明类型信息。与第一段对应的字幕说明类型(subtitling_type)被设置为“2D”,并且与第二段对应的字幕说明类型(subtitling_type)被设置为“3D”。16位字段“composition_page_id”表示合成页面ID。与第一段对应的合成页面ID被设置为等于分配给其的页面ID的值,并且与第二段对应的合成页面ID被设置为等于分配给其的页面ID的值。
[视差信息的更新]
如上所述,通过包括在字幕说明数据流中的DSS段发送视差信息。将描述视差信息的更新。
图21和图22图示使用间隔时间段的视差信息更新的示例。图21图示间隔时间段固定并且等于更新时间段的情况。也就是说,每一个更新时间段A-B、B-C、C-D、……包括一个间隔时间段。
图22对应于一般情况,并且图示在间隔时间段被设置为短时间段(例如,可以是帧时间段)的情况下更新的视差信息的示例。在该情况下,各个更新时间段中的间隔时间段的数量是M、N、P、Q和R。此外,在图21和22中,“A”表示字幕显示时间段的开始帧(开始点),并且“B”到“F”表示后续更新帧(更新点)。
当向接收侧(机顶盒200等)发送在字幕显示时间段中顺序更新的视差信息时,接收侧可以通过对关于每一个更新时间段的视差信息执行内插处理来生成并且使用任意帧间隔(例如1-帧间隔)的视差信息。
图23图示字幕说明数据流的配置的示例。图23(a)图示仅仅插入一个DSS段的示例。PES首标包括时间信息(PTS)。此外,DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段被包括作为PES有效载荷数据。它们在字幕显示时间段开始之前一起被发送。一个DSS段包括在字幕显示时间段中顺序更新的多个片段的视差信息。
此外,在字幕显示时间段中顺序更新的多个片段的视差信息可以被分割为多个分组,并且多个片段的视差信息可以被发送到接收侧(机顶盒200等)。在该情况下,DSS段在每一个更新定时都被插入到字幕说明数据流。
图23(b)图示在该情况下的字幕说明数据流的配置的示例。在该情况下,首先,时间信息PTSn被包括在PES首标中,并且DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段作为PES有效载荷数据被发送。此后,在每一个更新定时,时间信息PTSn、PTSn+1、……被包括在PES首标中,并且DDS、PCS、DSS和EDS的各个段作为PES有效载荷数据被发送。
图24图示在如上图23(b)所示地顺序发送DSS段的情况下视差信息更新的示例。此外,在图24中,“A”表示字幕显示时间段的开始帧(开始点),并且“B”到“F”表示后续更新帧(更新点)。
此外,在通过顺序发送DSS段将在字幕显示时间段中顺序更新的视差信息发送到接收侧(机顶盒200等)的情况下,接收侧也可以执行上述处理。也就是说,在该情况下,接收侧也可以通过对关于每一个更新时间段的视差信息执行内插处理来生成并使用任意帧间隔(例如,1-帧间隔)的视差信息。
图25图示上面参考图22描述的视差信息更新的示例。更新帧间隔以作为单位时间段的多个间隔持续时间(ID)来表达。例如,更新帧间隔DivisionPeriod1表达为“ID*M”,更新帧间隔Division Period2表达为“ID*N”,并且后续更新帧间隔同样地表达。在图25所示的视差信息更新的示例中,更新帧间隔不固定,并且根据视差信息曲线设置更新帧间隔。
此外,在视差信息更新的示例中,在接收侧,字幕显示时间段的开始帧(开始时间)T1_0被提供作为插入到包括视差信息的PES流的首标的PTS(呈现时间戳)。在接收侧,基于作为关于每一个更新帧间隔的信息的关于间隔持续时间的信息(关于单位时间段的信息)和关于间隔持续时间的数量的信息获得视差信息的每一个更新时间。
在该情况下,从字幕显示时间段的开始帧(开始时间)T1_0,基于下面的等式(1)顺序获得各个更新时间。在等式(1)中,interval_count表示间隔时间段的数量,并且是与图25中的M、N、P、Q、R和S对应的值。此外,在等式(1),“interval_time”是与图25中的间隔持续时间ID对应的值。
Tm_n=Tm_(n-1)+(interval_time*interval_count)…(1)
例如,在图25所示的更新示例中,以下面方式基于等式(1)获得每一个更新时间。也就是说,通过使用开始时间T1_0、间隔持续时间ID和数量M获得更新时间T1_1作为T1_1=T1_0+(ID*M)。此外,通过使用更新时间T1_1、间隔持续时间ID和数量N获得更新时间T1_2作为T1_2=T1_1+(ID*N)。每一个后续更新时间以相同的方式获得。
在图25所示的更新示例中,在接收侧,对字幕显示时间段中顺序更新的视差信息和字幕显示时间段中的任意帧间隔的视差信息执行内插处理,例如,生成并且使用1-帧间隔。例如,作为上面内插处理,通过在时间方向(帧方向)上不执行线性内插处理而是执行伴随低通滤波器(LPF)的内插处理,在内插处理之后在时间方向(帧方向)上的预定帧间隔的视差信息中的变化变得平滑。图25中的虚线表示LPF输出的示例。
图26图示字幕说明作为字幕的显示的示例。在该显示示例中,页面区域(Page_default的区)包括两个区域(Region 1和Region 2)作为字幕说明显示区域。该区域包括一个或者多个子区域。这里,假设该区域包括一个子区域,并且该区域和子区域相同。
图27图示在以区域为单位的视差信息和以页面为单位的视差信息作为在字幕显示时间段中顺序更新的视差信息包括在DSS段中的情况下,每一个区域和页面的视差信息曲线的示例。这里,页面的视差信息曲线采用两个区域的视差信息曲线的最小值。
关于Region1,存在作为开始时间T1_0和后续更新时间T1_1、T1_2、T1_3、……、T1_6的视差信息的7个片段。此外,关于Region2,存在作为开始时间T2_0和后续更新时间T2_1、T2_2、T2_3、……T2_7的视差信息的8个片段。此外,关于页面(Page_default),存在作为开始时间T0_0和后续更新时间T0_1、T0_2、T0_3、……、T0_6的视差信息的7个片段。
图28图示在图27所示的每一个页面和区域的视差信息的发送结构。首先,将描述页面层。在页面层中布置视差信息的固定值“page_default_disparity”。关于在字幕显示时间段中顺序更新的视差信息,顺序布置表示与开始时间和后续更新时间对应的间隔时间段的数量的“interval_count”和表示视差信息的“disparity_page_update”。此外,将开始时间处的“interval_count”设置为“0”。
下面,将描述区域层,关于Region1(SubRegion1),布置作为视差信息的固定值的“subregion_disparity_integer_part”和“subregion_disparity_fractional_part”。这里,“subregion_disparity_integer_part”表示视差信息的整数部分,并且“subregion_disparity_fractional_part”表示视差信息的小数部分。
关于在字幕显示时间段中顺序更新的视差信息,顺序布置表示与开始时间和后续更新时间对应的间隔时间段的数量的“interval_count”和表示视差信息的“disparity_region_update_integer_part”和“disparity_region_update_fractional_part”。这里,“disparity_region_update_integer_part”表示视差信息的整数部分,并且“disparity_region_update_fractional_part”表示视差信息的小数部分。此外,在开始时间处的“interval_count”被设置为“0”。
类似于上述Region1,关于Region2(SubRegion2),布置作为视差信息的固定值的“subregion_disparity_integer_part”和“subregion_disparity_fractional_part”。关于在字幕显示时间段中后续更新的视差信息,顺序布置表示与开始时间和后续更新时间对应的间隔时间段的数量的“interval_count”和表示视差信息的“disparity_region_update_integer_part”和“disparity_region_update_fractional_part”。
图29到图31图示DSS(Disparity_Signaling_Segment)的语法的示例。图32到图35图示DSS的主要数据定义内容(语义)。该语法包括信息的各个片段:“sync_byte”、“segment_type”、“page_id”、“segment_length"和“dss_version_number”。该“segment_type”是表示段类型的8位数据并且这里是表示DSS的值。“segment_length”是表示后续字节的数量的8位数据。
1位标志“disparity_shift_update_sequence_page_flag”指示在字幕显示时间段中顺序更新的视差信息是否呈现为以页面为单位的视差信息。“1”表示存在,并且“0”表示不存在。8位字段“page_default_disparity_shift”表示以页面为单位的固定视差信息,也就是说,在字幕显示时间段中共同使用的视差信息。当上述标志“disparity_page_update_sequence_flag”是“1”时,执行“disparity_shift_update_sequence()”的读取。
图31图示“disparity_shift_update_sequence()”的语法的示例。“disparity_page_update_sequence_length”是表示后续字节的数量的8位数据。24位字段“interval_duration[23..0]”规定间隔持续时间(见图25)作为以90KHz为单位的单位时间段。也就是说,“interval_duration[23..0]”表示利用90KHz时钟测量的间隔持续时间的24位值。
关于插入PES的首标部分的PTS的33位长度而是24位长度的原因如下。也就是说,超过24小时的时间可以由33位长度表示,但是作为字幕显示时间段中的间隔持续时间其是不必要的长度。此外,通过24位表示,可以缩小数据尺寸并且可以执行紧凑发送。此外,24位是8×3位,并且可以便于字节对齐(alignment)。
8位字段“division_period_count”表示由视差信息影响的分割时间段的数量。例如,在图25所示的更新示例的情况下,分割时间段的数量是与开始时间T1_0和后续更新时间T1_1到T1_6对应的“7”。下面的“for”循环被重复由8位字段“division_period_count”表示的次数。
8位字段“interval_count”表示间隔时间段的数量。例如,在图25所示的更新示例的情况下,其对应于M、N、P、Q、R和S。8位字段“disparity_shift_update_integer_part”表示视差信息。“interval_count”是与在开始时间处的视差信息对应的“0”(视差信息的初始值)。也就是说,当“interval_count"是“0”时,“disparity_page_update”表示开始时间处的视差信息(视差信息的初始值)。
图29的“while”循环当处理至该时间的数据长度(processed_length)没有达到段数据长度(segment_length)时被重复。在“while”循环中,布置以区域或者该区域中的子区域为单位的视差信息。这里,该区域包括一个或者多个子区域,并且该区域和子区域可能是相同的。
“region_id”的信息包括在“while”循环中。1位标志“disparity_shift_update_sequence_region_flag”是指示对于该区域中的所有子区域是否存在“disparity_shift_update_sequence()”的标志信息。2位字段“number_of_subregions_minus_1”表示等于该区域中子区域的数量减1的值。当number_of_subregions_minus_1=0时,该区域包括一个具有与该区域相同维度的子区域。
当number_of_subregions_minus_1>0时,该区域包括在水平方向上分割的多个子区域。在图30的“for”循环中,包括与子区域的数量对应的“subregion_horizontal_position”和“subregion_width”的信息。16位字段“subregion_horizontal_position”表示子区域的左部分的像素位置。该“ubregion_width”利用像素的数量表示子区域的水平宽度。
8位字段“subregion_disparity_shift_integer_part”表示以区域为单位(以子区域为单位)的固定视差信息,也就是说,在字幕显示时间段中共同使用的视差信息的整数部分。4位字段“subregion_disparity_shift_fractional_part”表示以区域为单位(以子区域为单位)的固定视差信息,也就是说,在字幕显示时间段中共同使用的视差信息的小数部分。当上面描述的“disparity_shift_update_sequence_region_flag”的标志是“1”时,执行“disparity_shift_update_sequence()”(见图31)的读取。
[广播接收的构思]
图36图示在机顶盒200和电视接收器300是3D兼容装置的情况下广播接收的构思,在该情况下,在广播站100中,子区域SR 00定义在区域Region0中,并且设置视差信息Dispartity1。这里,假设区域Region0和子区域SR00是相同区域。与立体图像数据一起,从广播站100发送字幕说明数据和显示控制信息(子区域的视差信息Dispartity1和区域信息位置)。
首先,将给出由作为3D兼容装置的机顶盒200接收的情况的描述。在该情况下,机顶盒200从字幕说明数据流读取构成字幕说明数据的各个段数据,读取包括诸如视差信息之类的显示控制信息的DSS段数据,并且使用所读取数据。在该情况下,机顶盒200可以通过分配给各个段的页面ID识别构成字幕说明数据的各个段和DSS段。
此外,在该情况下,基于与页面ID相关联的、描述在字幕说明描述符中的语言信息和字幕说明类型信息(见图12),机顶盒200可以辨认字幕说明(字幕)的语言并且可以识别该DSS段是包括诸如视差信息之类的显示控制信息的段。
也就是说,将与具有与分配给构成字幕说明数据的每一个段的页面ID相同的值的合成页面ID相关联的字幕说明类型信息“subtitling_type”设置为“2D”。另一方面,将与具有与分配给DSS段的页面ID相同的值的合成页面ID相关联的字幕说明类型信息“subtitling_type"”设置为“3D”。
此外,将与具有与分配给构成字幕说明数据的每一个段的页面ID相同的值的合成页面ID相关联的语言信息(ISO语言代码)设置为表示字幕说明(字幕)的语言。另一方面,将与具有与分配给DSS段的页面ID相同的值的合成页面ID相关联的语言信息(ISO语言代码)设置为非语言。
机顶盒200是3D兼容装置。机顶盒200以如下方式基于字幕说明类型信息和语言信息确定要被读取的段。也就是说,机顶盒200确定与字幕说明类型“2D”对应并且具有构成表示预定语言的字幕说明数据的语言信息(ISO语言代码)的每一个段,作为要读取的段。此外,机顶盒200确定与字幕说明类型“3D”对应并且具有表示非语言的语言信息(ISO语言代码)的DSS段,作为要读取的段。
机顶盒200基于字幕说明数据生成用于显示字幕说明的区域显示数据。机顶盒200通过将区域显示数据叠加在构成立体图像数据的左眼图像帧(帧0)部分和右眼图像帧(帧1)部分上来获得输出立体图像数据。
这里,机顶盒200基于视差信息偏移各个叠加的显示数据的位置。此外,机顶盒200根据立体图像数据的发送格式(并排方案、上下方案、帧顺序方案或者其中每一个示图具有全屏幕尺寸的格式方案)适当改变叠加位置、尺寸等。
机顶盒200通过例如HDMI数字接口发送上述获得的输出立体图像数据到3D兼容电视接收器300。电视接收器300对从机顶盒200接收到的立体图像数据执行3D信号处理,以生成在其上叠加字幕说明的左眼图像数据和右眼图像数据。电视接收器300在诸如LCD之类的显示面板上显示双目视差图像(左眼图像和右眼图像),以允许用户辨认立体图像。
下面,将给出通过作为3D兼容装置的电视接收器300接收的情况的描述。在该情况下,电视接收器300从字幕说明数据流读取构成字幕说明数据的各个段数据,读取包括诸如视差信息之类的显示控制信息的DSS段数据并且使用所读取数据。
在该情况下,类似于上述机顶盒200,电视接收器300可以通过分配给各个段的页面ID识别构成字幕说明数据的各个段和DSS段。此外,类似于上述机顶盒200,基于与页面ID相关联的、描述在字幕说明描述符中的语言信息和字幕说明类型信息,电视接收器300可以辨认字幕说明(字幕)的语言并且可以辨认DSS段是包括诸如视差信息之类的显示控制信息的段。
电视接收器300基于字幕说明数据生成用于显示字幕说明的区域显示数据。电视接收器300在通过对立体图像数据执行根据发送格式的处理获得的左眼图像数据和右眼图像数据上叠加区域显示数据,以生成在其上叠加字幕说明的左眼图像数据和右眼图像数据。电视接收器300在诸如LCD之类的显示面板上显示双目视差图像(左眼图像和右眼图像),以允许用户辨认立体图像。
图37图示在机顶盒200和电视接收器300是传统2D兼容装置的情况下广播接收的构思。在该情况下,如在图36的情况下,与立体图像数据一起,从广播站100发送字幕说明数据和显示控制信息(子区域的视差信息“Dispartity1”和区域信息“位置”)。
首先,将给出由作为传统2D兼容装置的机顶盒200接收的情况的描述。在该情况下,机顶盒200仅仅从字幕说明数据流读取构成字幕说明数据的各个段数据,并且使用所读取数据。在该情况下,机顶盒200可以通过分配给各个段的页面ID识别构成字幕说明数据的各个段和DSS段。
机顶盒200基于页面ID仅仅读取构成字幕说明数据的各个段数据,并且跳过DSS段的数据。在该情况下,机顶盒200可以通过参考描述在字幕说明描述符(见图12)中的语言信息和字幕说明类型信息更加安全地跳过DSS段数据。由于机顶盒200不读取DSS段数据,所以可以防止接收处理被读取中断。
如上所述,将与具有与分配给DSS段的页面ID相同的值的合成页面ID相关联的字幕说明类型信息“subtitling_type”设置为“3D”。此外,将与具有与分配给DSS段的页面ID相同的值的合成页面ID相关联的语言信息(ISO语言代码)设置为表示例如非语言。
机顶盒200是传统的2D兼容装置。因此,机顶盒200不能理解字幕说明类型信息“3D”的含义。此外,当语言信息(ISO语言代码)设置为非语言时,机顶盒200不能理解其含义或者理解其是与用户选择的语言或者由装置自动选择的语言无关的数据。由此,机顶盒200仅仅读取与字幕说明类型“2D”对应并且具有构成表示预定语言的字幕说明数据的语言信息(ISO语言代码)的每一个段的数据,并且跳过DSS段数据。
机顶盒200基于字幕说明数据生成用于显示字幕说明的区域显示数据。机顶盒200通过在对立体图像数据执行根据发送格式的处理获得的2D图像数据上叠加区域显示数据获得输出2D图像数据。
机顶盒200通过例如HDMI数字接口发送上述获得的输出2D图像数据到电视接收器300。电视接收器300根据从机顶盒200接收到的2D图像数据显示2D图像。
下面,将给出由作为2D兼容装置的电视接收器300接收的情况的描述。在该情况下,电视接收器300从字幕说明数据流仅仅读取构成字幕说明数据的各个段数据,并且使用所读取数据。在该情况下,类似于上述机顶盒200,电视接收器300基于页面ID仅仅读取构成字幕说明数据的各个段,并且跳过DSS段数据。
在该情况下,类似于上述机顶盒200,电视接收器300可以通过参考描述在字幕说明描述符中的语言信息和字幕说明类型信息(见图12)更加安全地跳过DSS数据段。由于机顶盒200不读取DSS段数据,所以可以防止接收处理被读取中断。
电视接收器300基于字幕说明数据生成用于显示字幕说明的区域显示数据。电视接收器300通过将区域显示数据叠加在已经通过对立体图像数据执行根据发送格式的处理而获得的2D图像数据上来获得2D图像数据。电视接收器300显示根据2D图像数据的2D图像。
图38图示在上述接收器(机顶盒200、电视接收器300)是传统2D兼容装置(2D接收器)的情况下并在接收器是3D兼容接收器(3D接收器)的情况下广播接收的构思。此外,在该附图中,立体图像数据(3D图像数据)发送方案是并排方案。
此外,在3D兼容(3D接收器)的情况下,可以选择3D方式或者2D方式。当用户选择3D方式时,该情况与参考图36描述的相同。当用户选择2D方式时,该情况与参考图37描述的2D兼容装置(2D接收器)的情况相同。
图39图示在上述接收器(机顶盒200,电视接收器300)是传统2D兼容装置(2D接收器)的情况下并且在接收器是3D兼容装置(3D接收器)的情况下,广播接收的其他构思。此外,在附图的示例中,通过H.264/MVC(多视图视频编码)方案发送立体图像数据(3D图像数据)。在该情况下,例如,左眼图像数据作为基础视图的图像数据发送,并且右眼图像数据作为非基础视图的图像数据发送。虽然没有详细描述,但是在该情况下,传统2D兼容装置(2D接收器)和3D兼容装置(3D接收器)的操作与图38的示例所示的那些相同。
在图2中所示的发送数据生成单元110中,包括在输出传输流TS中的字幕说明数据流包括DSS段,该DSS段除了构成用于2D显示的字幕说明数据的各个段之外还包括视差信息等(见图11)。在该情况下,分配给构成用于2D显示的字幕说明数据的各个段的页面ID的值被设置为与分配给DSS段的页面ID的值不同,以便可以识别这些段。
因此,在接收侧的传统2D兼容接收设备中,可以通过从字幕说明数据流仅仅读取构成字幕说明数据的各个段来执行接收处理。也就是说,在2D兼容接收设备中,由于不需要从字幕说明数据流读取DSS段数据,所以可以防止接收处理被读取中断。
此外,在图2所示的发送数据生成单元110中,插入到输出传输流TS中的字幕说明描述符描述与分配给各个段的页面ID相关联的语言信息和字幕说明类型信息。因此,接收侧的传统2D兼容接收设备可以通过参考字幕说明类型和语言信息更加安全地跳过DSS段数据。
此外,在图2所示的发送数据生成单元110中,由于可以发送包括在字幕显示时间段中顺序更新的视差信息的DSS段,所以可以动态控制左眼字幕和右眼字幕的显示位置。相应地,在接收侧,可以结合图像内容中的变化来动态改变提供在左眼字幕和右眼字幕之间的视差。
此外,在图2所示的发送数据生成单元110中,包括在字幕说明编码器118获得的DSS段中的每一个更新帧间隔内的帧的视差信息不是与之前视差信息的偏移值,而是其视差信息本身。因此,在接收侧,即使当内插处理出现错误时,也可以在预定延迟时间内执行从错误的恢复。
[机顶盒的描述]
返回图1,机顶盒200从广播站110接收在广播波上发送的传输流TS。传输流TS包括音频数据和包含左眼图像数据和右眼图像数据的立体图像数据。此外,传输流TS还包括用于显示字幕说明(字幕)的立体图像数据的字幕说明数据(包括显示控制信息)。
也就是说,传输流TS包括视频数据流、音频数据流和字幕说明数据流(专用数据流)作为PES流。如上述图11所示,字幕说明数据流包括构成字幕说明数据的DDS、PCS、RCS、CDS、ODS和EDS的各个段,并且还包括包含视差信息等的DSS段。分配给DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID(=page_id1)与分配给DSS段的页面ID(=page_id2)不同。
此外,字幕说明描述符被插入到与字幕说明数据流相关联的传输流TS中(见图12)。字幕说明描述符描述与上述各个页面ID相关联的语言信息和字幕说明类型信息。
也就是说,与具有与分配给构成字幕说明数据的每一个段的页面ID相同的值的合成页面ID相关联的字幕说明类型信息“subtitling_type”被设置为“2D”。另一方面,与具有与分配给DSS段的页面ID相同的值的合成页面ID相关联的字幕说明类型信息“subtitling_type”被设置为3D。
此外,与具有与分配给构成字幕说明数据的每一个段的页面ID相同值的合成页面ID相关联的语言信息(ISO语言代码)被设置为表示字幕说明(字幕)的语言。另一方面,与具有与分配给DSS段的页面ID相同值的合成页面ID相关联的语言信息(ISO语言代码)被设置为表示非语言。
机顶盒200包括位流处理单元201。当机顶盒200是3D兼容装置(3DSTB)时,位流处理单元201从传输流TS获得立体图像数据、音频数据和字幕说明数据(包括显示控制信息)。在该情况下,位流处理单元201从数据流获得构成字幕说明数据的各个段数据并且读取包括诸如视差信息之类的视差控制数据的DSS段数据。
位流处理单元201使用立体图像数据和字幕说明数据(包括显示控制数据),以生成输出立体图像数据,在输出立体图像数据中,字幕说明被叠加在左眼图像帧(帧0)部分和右眼图像帧(帧1)部分上(见图36)。在该情况下,视差可以被提供在叠加在左眼图像上的字幕说明(左眼字幕说明)和叠加在右眼图像上的字幕说明(右眼字幕说明)之间。
例如,如上所述,添加到从广播站100接收到的立体图像的字幕说明数据的显示控制信息包括视差信息,并且视差可以基于该视差信息提供在左眼字幕说明和右眼字幕说明之间。以该方式,由于视差提供在左眼字幕说明和右眼字幕说明之间,所以用户可以辨认图像前面的字幕说明(字幕)。
当服务被确定为是3D服务时,机顶盒200从字幕说明数据流获得构成字幕说明数据的各个段数据,并且获得包括诸如视差信息之类的显示控制信息的DSS段数据。通过使用字幕说明(字幕)数据和视差信息,机顶盒200执行如上所述地向背景图像附加字幕说明(字幕)的处理(叠加处理)。此外,当不能获得视差信息时,位流处理单元201根据接收器的逻辑执行向背景图像附加字幕说明(字幕)的处理(叠加处理)。
机顶盒200例如在以下情况(1)到(3)中确定服务是3D服务。
(1)对于SDT,在服务描述符的“service_type”是3D(0x1C,0x1D,0x1E=帧兼容)的情况下(见图40(a))。
(2)对于SDT或者EIT,在成分描述符的“stream_content”是MPEG4-AVC视频(0x05),并且“component_type”表示0x80~0x83的3D格式的情况下(见图40(b))。
(3)在满足上述(1)和(2)两者的情况下。
图41(a)图示在图像上显示字幕说明(字幕)的示例。在显示示例中,字幕叠加在包括背景和近视图对象的图像上。图41(b)图示表达背景、近视图对象和字幕的透视并且在最前位置辨认该字幕。
图42(a)图示在如图41(a)的图像上显示字幕说明(字幕)的示例。图42(b)图示叠加在左眼图像上的左眼字幕LGI和叠加在右眼图像上的右眼字幕RGI。图42(c)图示视差提供在左眼字幕LGI和右眼字幕RGI之间,使得该字幕在最前位置被辨认。
此外,当机顶盒200是传统2D兼容装置(2D STB)时,位流处理单元201从传输流TS获得立体图像数据、音频数据和字幕说明数据(不包括显示控制信息的位图图案数据)。该位流处理单元201使用立体图像数据和字幕说明数据以生成在其上叠加字幕说明(字幕)的2D图像数据(见图37)。
在该情况下,位流处理单元201从位数据流仅仅获得构成字幕说明数据的各个段数据。也就是说,在该情况下,由于不从字幕说明数据流读取DSS段,所以可以防止接收处理被读取中断。在该情况下,位流处理单元201基于页面ID仅仅读取构成字幕说明数据的各个段数据,并且跳过DSS段数据。
此外,在该情况下,位流处理单元201可以通过参考描述在上述字幕说明描述符中的语言信息和字幕说明类型信息更安全地跳过DSS段。由于位流处理单元201不读取DSS段数据,所以可以防止接收处理被读取中断。
[机顶盒的配置示例]
将描述机顶盒200的配置的示例。图43图示机顶盒200的配置的示例。机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206和音频信号处理电路207。此外,机顶盒200包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元(RC接收单元)215和遥控发送器(RC发送器)216。
天线端子203是被配置为输入通过接收天线(未示出)接收到的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号并且输出与用户选择的信道对应的传输流TS(位流数据)。
基于传输流TS,位流处理单元201输出音频数据和在其上叠加字幕说明的输出立体图像数据。当机顶盒200是3D兼容装置(3D STB)时,位流处理单元201从传输流TS获得立体图像数据、音频数据和字幕说明数据(包括显示控制信息)。
位流处理单元201通过在构成立体图像数据的左眼图像帧(帧0)部分和右眼图像帧(帧1)部分上叠加字幕说明来生成输出立体图像数据(见图36)。这里,基于视差信息,提供在叠加在左眼图像上的字幕说明(左眼字幕)和叠加在右眼图像上的字幕说明(右眼字幕)之间的视差。
也就是说,位流处理单元201基于字幕说明数据生成用于显示字幕说明的区域显示数据。位流处理单元201通过在构成立体图像数据的左眼图像数据帧(帧0)部分和右眼图像数据帧(帧1)部分上叠加区域显示数据来获得输出立体图像数据。这里,位流处理单元201基于视差信息偏移各个叠加的显示数据的位置。
此外,当机顶盒200是2D兼容装置(2D STB)时,位流处理单元201获得立体图像数据、音频数据和字幕说明数据(不包括显示控制信息)。位流处理单元201使用立体图像数据和字幕说明数据,以生成在其上叠加字幕说明的2D图像数据(见图37)。
也就是说,位流处理单元201基于字幕说明数据生成用于显示字幕说明的区域显示数据。位流处理单元201通过在已经对立体图像数据执行根据发送格式的处理获得的2D图像数据上叠加区域显示数据来获得输出2D图像数据。
视频信号处理单元205按照需要对已经通过位流处理单元201获得的图像数据执行图像质量调整,并且供应处理后的图像数据到HDMI发送单元206。音频信号处理电路207按照需要对已经从位流处理单元201输出的音频数据执行声音质量调整处理,并且供应处理后的音频数据到HDMI发送单元206。
HDMI发送单元206例如通过基于HDMI的通信发送未压缩的图像数据和音频数据到HDMI端子202。在该情况下,由于在HDMI TMDS信道上发送,所以图像数据和音频数据被封装并且从HDMI发送单元206输出到HDMI端子202。
CPU 211控制机顶盒200的每一个单元的操作。闪速ROM 212存储控制软件和数据。DRAM 213构成CPU 211的工作区。CPU 211在DRAM 213上部署软件或者从闪速ROM 212读取的数据,并且激活软件以控制机顶盒200的每一个单元。
RC接收单元215接收从RC发送器216发送的遥控信号(遥控代码),并且供应接收到的遥控信号到CPU 211。CPU 211基于遥控代码控制机顶盒200的每一个单元。CPU 211、闪速ROM 212和DRAM 213连接到内部总线214。
将简短地描述机顶盒200的操作。向数字调谐器204供应输入到天线端子203的电视广播信号。数字调谐器204处理电视广播信号并且输出与用户所选信道对应的传输流TS(位流数据)。
从数字调谐器204输出的传输流TS(位流数据)被供应到位流处理单元201。位流处理单元201生成要输出到电视接收器300的输出图像数据如下。
当机顶盒200是3D兼容装置(3D STB)时,从传输流TS获得立体图像数据、音频数据和字幕说明数据(包括显示控制信息)。位流处理单元201通过在构成立体图像数据的左眼图像帧(帧0)部分和右眼图像帧(帧1)部分上叠加字幕说明来生成输出立体图像数据。这里,基于视差信息,提供在叠加在左眼图像上的左眼字幕说明和叠加在右眼图像上的右眼字幕说明之间的视差。
此外,当机顶盒200是2D兼容装置时(2D STB),获得立体图像数据、音频图像数据和字幕说明数据(不包括显示控制信息)。位流处理单元201使用立体图像数据和字幕说明数据以生成在其上叠加字幕说明的2D图像数据。
通过位流处理单元201获得的输出图像数据被供应到视频信号处理电路205。视频信号处理电路205按照需要对输出图像数据执行图像质量调整处理。从视频信号处理电路205输出的处理后的图像数据被供应到HDMI发送单元206。
此外,通过位流处理电路201获得的音频数据被供应到音频信号处理电路207。音频信号处理电路207按照需要对音频数据执行声音质量调整处理。从音频信号处理电路207输出的处理后的音频数据被供应到HDMI发送单元206。通过HDMI TMDS信号从HDMI端子202向HDMI电缆400发送供应到HDMI发送单元206的图像数据和音频数据。
[位流处理单元的配置示例]
图44图示在机顶盒200是3D兼容装置(3D STB)的情况下位流处理单元201的配置的示例。位流处理单元201具有与上述图2中所示的发送数据生成单元110对应的配置。位流处理单元201包括解复用器221、视频解码器222和音频解码器229。
此外,位流处理单元201包括编码数据缓冲器223、字幕说明解码器224、像素缓冲器225、视差信息内插单元226、位置控制单元227和视频叠加单元228。这里,编码数据缓冲器223构成解码缓冲器。
解复用器221从传输流TS提取视频数据流分组和音频数据流分组,并且提供提取的分组到各个解码器用于解码。此外,解复用器221提取字幕说明数据流并且在编码数据缓冲器223中临时存储提取的字幕说明数据流。
视频解码器222执行与上述发送数据生成单元110的视频编码器112相反的处理。也就是说,视频解码器222依据解复用器221提取的视频分组重构视频数据流,执行编码处理并且获得包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据的发送格式的示例包括并排方案、上下方案、帧顺序方案和其中每一个视图占据全屏幕尺寸的视频发送格式方案。
字幕说明解码器224执行与上述发送数据生成单元110的字幕说明编码器125相反的处理。也就是说,字幕说明解码器224依据存储在编码数据缓冲器223中的字幕说明数据流的分组重构流,并且执行解码处理以获得后续段数据。也就是说,字幕说明解码器224从字幕说明数据流获得构成字幕说明数据的各个段数据,并且获得包括诸如视差信息之类的显示控制信息的DSS段数据。
基于构成字幕说明数据的各个段数据和子区域区域信息,字幕说明解码器224生成用于显示字幕说明的区域显示数据(位图数据)。这里,将透明颜色分配给位于该区域中并且不被子区域围绕的区域。像素缓冲器225临时存储显示数据。
视频叠加单元228获得输出立体图像数据Vout。在该情况下,视频叠加单元228将像素缓冲器225中存储的显示数据叠加到视频解码器222获得的左眼图像帧(帧0)部分和右眼图像帧(帧1)部分上。在该情况下,视频叠加单元228根据立体图像数据的发送方案(诸如并排方案、上下方案、帧顺序方案或者MVC方案)适当改变叠加位置、尺寸等。视频叠加单元228输出输出立体图像数据Vout到位流处理单元201的外部。
视差信息内插单元226提供字幕说明解码器224获得的视差信息到位置控制单元227。按照需要,视差信息内插单元226对要提供到位置控制单元227的视差信息执行内插处理。位置控制单元227基于视差信息偏移叠加在每一个帧上的显示信息的位置(见图36)。在该情况下,基于视差信息,位置控制单元227通过在相反的方向上偏移叠加在左眼图像帧(帧0)部分和右眼图像帧(帧1)部分上的显示数据(字幕模式数据)来提供视差。
此外,显示控制信息包括在字幕显示时间段中共同使用的视差信息。此外,显示控制信息可以包括在字幕显示时间段中顺序更新的视差信息。如上所述,在字幕显示时间段中顺序更新的视差信息包括字幕显示时间段的初始帧的视差信息和每一个后续更新帧间隔的帧的视差信息。
关于在字幕显示时间段中共同使用的视差信息,位置控制单元227在不需要改变的情况下使用视差信息。另一方面,关于在字幕显示时间段中顺序更新的视差信息,位置控制单元227按照需要使用视差信息内插单元226内插的视差信息。例如,视差信息内插单元226生成字幕显示时间段中的任意帧间隔的视差信息,例如,1-帧间隔的视差信息。
作为内插处理,视差信息内插单元226在时间方向(帧方向)上不执行线性内插处理而是执行例如伴随低通滤波器(LPF)处理的内插处理。相应地,在内插处理之后在时间方向(帧方向)上的预定帧间隔的视差信息的变化变得平滑。
此外,音频解码器229执行与上述发送数据生成单元110的音频编码器113的处理相反的处理。也就是说,音频解码器229依据解复用器221提取的音频分组重构音频基本流,并且获得输出音频数据Aout。音频解码器229输出输出音频数据Aout到位流处理单元201的外部。
将简短地描述图44所示的位流处理单元201的操作。从数字调谐器204输出的传输流TS(见图43)被供应到解复用器221。解复用器221从传输流TS提取视频数据流分组和音频数据流分组,并且供应提取的分组到各个解码器。此外,解复用器221从传输流TS提取字幕说明数据流分组并且临时存储提取的字幕说明数据流分组到编码数据缓冲器223。
视频解码器222依据解复用器221提取的视频数据分组重构视频数据流,执行解码处理并且获得包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据被供应到视频叠加单元228。
字幕说明解码器224从编码数据缓冲器223读取字幕说明数据分组并且对其进行解码。基于构成字幕说明数据的各个段数据和子区域区域信息,字幕说明解码器224生成用于显示字幕说明的区域显示数据(位图数据)。该显示数据临时存储在像素缓冲器225中。
视频叠加单元228在视频解码器222获得的立体图像数据的左眼图像帧(帧0)部分和右眼图像帧(帧1)部分上叠加存储在像素缓冲器225中的显示数据。在该情况下,根据立体图像数据的发送方案(诸如并排方案、上下方案、帧顺序方案或者MVC方案)适当改变叠加位置、尺寸等。视频叠加单元228获得的输出立体图像数据Vout被输出到位流处理单元201的外部。
此外,将字幕说明解码器224获得的视差信息通过视差信息内插单元226提供到位置控制单元227。视差信息内插单元226按照需要执行内插处理。例如,关于在字幕显示时间段中顺序更新的若干帧间隔处的视差信息,按照需要由视差信息内插单元226执行内插处理,以生成任意帧间隔(例如,1-帧间隔)的视差信息。
基于视差信息,位置控制单元227偏移通过视频叠加单元228叠加在左眼图像帧(帧0)部分和右眼图像帧(帧1)部分上的显示数据(字幕模式数据),使得它们在相反方向上。相应地,视差提供在显示在左眼图像上的左眼字幕说明和显示在右眼图像上的右眼字幕说明之间。相应地,根据立体图像的内容实现字幕说明(字幕)的3D显示。
此外,音频解码器229依据解码器221提取的音频分组重构音频基本流,执行解码处理并且获得与用于显示的以上立体图像数据Vout对应的音频数据Aout。音频数据Aout被输出到位流处理单元201的外部。
图45图示在机顶盒200是2D兼容(2D STB)的情况下位流处理单元201的配置的示例。在图45中,与图44中的那些对应的单元由相同参考标号表示,并且将省略其详细描述。在下文中,为了描述方便,将参考图44中所示的位流处理单元201称为3D兼容位流处理单元201,并且将参考图45中所示的位流处理单元201称为2D兼容位流处理单元201。
在图44所示的3D兼容位流处理单元201中,视频解码器222依据解码器221提取的视频分组重构视频数据流,执行解码处理并且获得包括左眼图像数据和右眼图像数据的立体图像数据。另一方面,在图45所示的2D兼容位流处理单元201中,视频解码器222获得立体图像数据,切去(cut out)左眼图像数据或者右眼图像数据并且按照需要执行缩放处理,以获得2D图像数据。
此外,在图44所示的3D兼容位流处理单元201中,字幕说明解码器224从解码数据缓冲器223读取字幕说明数据分组,并且对其进行解码。在该情况下,字幕说明解码器224读取构成字幕说明数据的各个段和DSS段二者。
另一方面,在图45所示的2D兼容位流处理单元201中,字幕说明解码器224仅仅读取构成包括在字幕说明数据流中的字幕说明数据的各个段数据。在该情况下,通过参考分配到各个段的各个页面ID和描述在字幕说明描述符中的语言信息和字幕说明类型信息来跳过DSS段数据。
此外,在图44所示的3D兼容位流处理单元201中,字幕说明解码器224获得来自上述字幕说明数据流的构成字幕说明数据的各个段数据,并且获得DSS段数据。
另一方面,在图45所示的2D兼容位流处理单元201中,字幕说明解码器224仅仅获得来自字幕说明数据流的构成字幕说明数据的各个段数据。基于各个段数据和子区域区域信息,字幕说明解码器224生成用于显示字幕说明的区域显示数据(位图数据),并且临时存储生成的数据在像素缓冲器225中。在此情况下,字幕说明解码器224不读取DSS段数据。因此,可以防止接收处理被读取中断。
此外,在图44所示的3D兼容位流处理单元201中,视频叠加单元228获得输出立体图像数据Vout并且输出输出立体图像数据Vout到位流处理单元201的外部。在该情况下,视频叠加单元228通过叠加存储在像素缓冲器225中的显示数据在视频解码器222获得的左眼图像帧(帧0)部分和右眼图像帧(帧1)部分上来获得输出立体图像数据Vout。基于视差信息,位置控制单元227偏移图像数据以便处于相反方向上,并且提供在左眼图像上显示的左眼字幕说明和在右眼图像上显示的右眼字幕说明之间的视差。
另一方面,在图45所示的2D兼容位流处理单元201中,视频叠加单元228通过叠加存储在像素缓冲器225中的显示数据在视频解码器222获得的2D图像数据上来获得输出2D图像数据Vout。视频叠加单元228输出输出2D图像数据Vout到位流处理单元201的外部。
将简短地描述图45中所示的2D位流处理单元201的操作。此外,由于音频系统的操作与图44所示的3D位流处理单元201的操作相同,所以将省略其描述。
从数字调谐器204输出的传输流TS(见图43)被供应到解复用器221。解复用器221从传输流TS提取音频数据流分组和音频数据流分组,并且供应提取的分组到各个解码器。此外,解复用器221从传输流TS提取字幕说明数据流分组并且临时存储提取的字幕说明数据流分组到编码数据缓冲器223中。
视频解码器222依据通过解复用器221提取的视频数据分组重构视频数据流,执行解码处理,并且获得包括左眼图像数据和右眼图像数据的立体图像数据。视频解码器222从立体图像数据切去左眼图像数据或者右眼图像数据,并且按照需要执行缩放处理,以获得2D图像数据。2D图像数据被供应到视频叠加单元228。
此外,字幕说明解码器224从编码数据缓冲器223读取字幕说明数据流并且对其进行解码。在该情况下,字幕说明解码器224仅仅读取构成字幕说明数据的各个段。在该情况下,通过参考分配到各个段的页面ID和描述在字幕说明描述符中的语言信息和字幕说明类型信息来跳过DSS段数据。
基于构成字幕说明数据的各个段数据,字幕说明解码器224生成用于显示字幕说明的区域显示数据(位图数据)。显示数据临时存储在像素缓冲器225中。视频叠加单元228通过将存储在像素缓冲器225中的显示数据(位图数据)叠加在视频解码器222获得的2D图像数据上来获得输出2D图像数据Vout。输出2D图像数据Vout被输出到位流处理单元201的外部。
在图43所示的机顶盒200中,从数字调谐器204输出的传输流TS除了立体图像数据和字幕说明数据还包括显示控制信息。显示控制信息包括诸如子区域的视差信息和区域信息之类的显示控制信息。因此,可以提供视差到左眼字幕和右眼字幕的显示位置。相应地,在字幕说明(字幕)的显示中,图像中各个对象之间的透视一致性可以保持在最优状态下。
此外,在图43所示的机顶盒200中,当3D兼容位流处理单元201的字幕说明解码器224(见图44)获得的显示控制信息包括在字幕显示时间段中顺序更新的视差信息时,可以动态控制左眼字幕说明和右眼字幕说明的显示位置。相应地,可以结合图像内容的变化动态地改变提供在左眼字幕说明和右眼字幕说明之间的视差。
此外,在图43所示的机顶盒200中,3D位流处理单元201的视差信息内插单元226(见图44)对构成在字幕显示时间段(预定数量的帧的时间段)中顺序更新的视差信息的多个帧的视差信息执行内插。在该情况下,即使当以更新帧的间隔从发送侧发送视差信息时,也可以以精细间隔(例如,每帧)控制提供在左眼字幕说明和右眼字幕说明之间的视差。
此外,在图43所示的机顶盒200中,3D位流处理单元201(见图43)的视差信息内插单元226中的内插处理可以伴随例如时间方向(帧方向)上的低通滤波器处理。因此,即使当以更新帧的间隔从发送侧发送视差信息时,也可以使得内插处理后的时间方向上的视差信息的变化平滑。相应地,能够抑制当提供在左眼字幕说明和右眼字幕说明之间的视差的偏移变得每帧间隔不连续时可能引起的不舒适感觉。
此外,在图43所示的机顶盒200中,2D位流处理单元201的字幕说明解码器224(见图45)基于分配给各个段的页面ID仅仅从字幕说明数据流读取构成字幕说明数据的各个数据段,并且使用所读取数据。也就是说,该字幕说明解码器224通过识别页面ID跳过包括在字幕说明数据流中的DSS段数据。相应地,由于2D位流处理单元201不需要从字幕说明数据流读取DSS段数据,所以可以防止接收处理被读取中断。
在该情况下,字幕说明解码器224也可以参考与分配给各个段的各个页面ID相关联地在描述符中描述的语言信息和字幕说明类型信息。在该情况下,与DSS段对应的字幕说明类型信息被设置为“2D”。此外,在该情况下,与DSS段对应的语言信息被设置为表示例如非语言。相应地,2D位流处理单元201可以更加安全地跳过DSS段数据。
此外,虽然上面未描述,但当机顶盒200是3D兼容装置时,用户可以选择2D显示方式或者3D显示方式。在此情况下,当选择3D显示方式时,位流处理单元201可以具有与上述3D兼容位流处理单元201相同的配置和操作(见图44)。另一方面,当选择2D显示方式时,位流处理单元201可以具有与上述2D兼容位流处理单元201基本相同的配置和操作(见图45)。
[电视接收器的描述]
返回图1,当是3D兼容装置时,电视接收器300接收通过HDMI电缆400从机顶盒200发送的立体图像数据。电视接收器300包括3D信号处理单元301。该3D信号处理单元301对立体图像数据执行与发送格式对应的处理(解码处理),以生成左眼图像数据和右眼图像数据。
[电视接收器的配置示例]
将描述3D兼容电视接收器300的配置示例。图46图示电视接收器300的配置示例。电视接收器300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。
此外,电视接收器300包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。此外,电视接收器300包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元(RC接收单元)325和遥控发送器(RC发送器)326。
天线端子304是配置为输入通过接收天线(未示出)接收到的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号,并且输出与用户所选信道对应的传输流TS(位流数据)。
基于传输流TS,位流处理单元306输出音频数据和在其上叠加字幕说明的输出立体图像数据。虽然未详细描述,但例如,位流处理单元201具有与上述机顶盒200的3D兼容位流处理单元201(见图44)相同的配置。关于立体图像数据,位流处理单元306合成左眼字幕说明和右眼字幕说明的显示数据,并且生成和输出叠加有字幕说明的立体图像数据。
此外,例如,当立体图像数据的发送格式是并排方案、上下方案等时,位流处理单元306执行缩放处理,以输出全分辨率左眼图像数据和右眼图像数据。此外,位流处理单元306输出与图像数据对应的音频数据。
HDMI接收单元303通过基于HDMI的通信接收通过HDMI电缆400向HDMI端子302供应的未压缩图像数据和音频数据。HDMI接收单元303具有例如HDMI 1.4a的版本,由此可以处理立体图像数据。
3D信号处理单元301对HDMI接收单元303接收到的立体图像数据执行解码处理,以生成全分辨率左眼图像数据和右眼图像数据。3D信号处理单元301执行与TMDS发送数据格式对应的解码处理。此外,3D信号处理单元301在位流处理单元306获得的全分辨率左眼图像数据和右眼图像数据上不执行任何处理。
视频/图形处理电路307基于3D信号处理单元301生成的左眼图像数据和右眼图像数据生成用于显示立体图像的图像数据。此外,视频/图形处理电路307按照需要对图像数据执行图像质量调整。
此外,关于图像数据,视频/图形处理电路307按照需要合成叠加信息数据,诸如菜单或者节目。面板驱动电路308基于从视频/图形处理电路307输出的图像数据驱动显示面板309。显示面板309包括例如LCD(液晶显示器)、PDP(等离子显示面板)等。
音频信号处理电路310对HDMI接收单元303接收或者通过位流处理单元306获得的音频数据执行必要处理,诸如D/A转换。音频放大电路311放大从音频信号处理电路310输出的音频信号,并且供应放大后的音频信号到扬声器312。
CPU 321控制电视接收器300的每一个单元的操作。闪速ROM 322存储控制软件和数据。DRAM 323构成CPU 321的工作区。CPU 321在DRAM 323上部署软件或者从闪速ROM 322读取的数据,并且激活软件以控制电视接收器300的每一个单元。
RC接收单元325接收从RC发送器326发送的遥控信号(遥控代码),并且供应接收到的遥控信号到CPU 321。CPU 321基于遥控代码控制电视接收器300的每一个单元。CPU 321、闪速ROM 322和DRAM 323连接到内部总线324。
将简短地描述图46中所示的电视接收器300的操作。HDMI接收单元303接收从通过HDMI电缆400连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。HDMI接收单元303接收到的立体图像数据被供应到3D信号处理单元301。此外,HDMI接收单元303接收到的音频数据被供应到音频信号处理电路310。
输入到天线端子304的电视广播信号被供应到数字调谐器305。数字调谐器305处理电视广播信号并且输出与用户所选信道对应的传输流TS(位流数据)。传输流TS被供应到位流处理单元306。
基于视频数据流、音频数据流、2D流和字幕说明数据流,位流处理单元306获得音频数据和叠加有字幕说明的输出立体图像数据。在该情况下,关于立体图像数据,合成左眼字幕说明和右眼字幕说明的显示数据,以生成叠加有字幕说明的输出立体图像数据(全分辨率左眼图像数据和右眼图像数据)。将该输出立体图像数据通过3D信号处理单元301供应到视频/图形处理电路307。
3D信号处理单元301对HDMI接收单元303接收到的立体图像数据执行解码处理,以生成全分辨率左眼图像数据和右眼图像数据。左眼图像数据和右眼图像数据被供应到视频/图形处理电路307。视频/图形处理电路307基于左眼图像数据和右眼图像数据生成用于显示立体图像的图像数据,并且按照需要执行叠加信息数据合成处理,诸如图像质量调整处理和OSD(屏幕上显示)处理。
视频/图形处理电路307获得的图像数据被供应到面板驱动电路308。因此,通过显示面板309显示立体图像。例如,显示面板309以时分方式交替显示与左眼图像数据对应的左眼图像和与右眼图像数据对应的右眼图像。通过佩戴例如具有以与显示面板309的显示同步地被交替打开的左眼快门和右眼快门的快门眼镜,观看者可以利用左眼仅仅观看左眼图像,并且可以利用右眼仅仅观看右眼图像,由此辨认立体图像。
此外,通过位流处理单元306获得的音频数据被供应到音频信号处理电路310。音频信号处理电路310对通过HDMI接收单元303接收或者通过位流处理单元306获得的音频数据执行必要处理,诸如D/A转换。通过音频放大电路311放大音频数据,并且向扬声器312供应放大后的音频数据。因此,从扬声器312输出与显示面板309的显示图像对应的声音。
此外,图46图示上述3D兼容电视接收器300。虽然未详细描述,但传统2D兼容电视接收器具有基本相同的配置。然而,在传统2D兼容电视接收器的情况下,位流处理单元306具有与上述图45中所示的2D兼容位流处理单元201相同的配置和操作。此外,在传统2D兼容电视接收器的情况下,3D信号处理单元301是不必要的。
此外,在3D兼容电视接收器300的情况下,用户可以选择2D显示方式或者3D显示方式。在该情况下,当选择3D显示方式时,位流处理单元306具有与上述相同的配置和操作。另一方面,当选择2D显示方式时,位流处理单元306具有与上述图44中所示的2D兼容位流处理单元201相同的配置和操作。
<2.修改>
此外,在上述实施例中,已经图示其中呈现英语“eng”的仅仅一种语言服务的情况的示例(见图19)。然而,不用说,本技术还可以类似地应用于多语言服务。
[不共享多个PES、语言服务之间的DSS段]
图47图示在存在双语服务的情况下包括在传输流TS中的字幕说明数据流的配置的示例。在此示例中,存在双语服务,这双语服务其第一种语言服务是英语“eng”和其第二语言服务是德语“ger”。
在该配置示例中,传输流TS包括与第一语言服务对应的字幕说明数据流PID1和与第二语言服务对应的字幕说明数据流PID2。各个字幕说明数据流中的每一个具有与在上述图11中图示的字幕说明数据流相同的配置。
也就是说,在字幕说明数据流PID1中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段的PES有效载荷。
这里,DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段构成包括英语“eng”字幕说明(字幕)数据的第一段。此外,DSS段构成包括视差信息的第二段。
页面ID构成服务识别信息。分配给第一段的页面ID被设置为与分配给第二段的页面ID不同。也就是说,分配给第一段的页面ID(=page_id1_1)和分配给第二段的页面ID(=page_id1_2)被设置为不同,从而可以识别它们。相应地,第一段和第二段可以被指示为单独服务,从而它们可以被识别。
此外,这里,分配给第二段的页面ID(=page_id1_2)的值被设置为等于分配给第一段的页面ID(=page_id1_1)的值加预定值。相应地,作为第二段的DSS段通过页面ID与作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联。
此外,在字幕说明数据流PID2中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段的PES有效载荷。这里,DDS、PCS、RCS、CDS、ODS和EDS的各个段构成包括德语“ger”字幕说明(字幕)数据的第一段。此外,DSS段构成包括视差信息的第二段。
页面ID构成服务识别信息。分配给第一段的页面ID被设置为与分配给第二段的页面ID不同。也就是说,分配给第一段的页面ID(=page_id2_1)和分配给第二段的页面ID(=page_id2_2)被设置为不同,使得可以识别它们。相应地,第一段和第二段被指示为单独服务,使得它们可以被识别。
此外,这里,分配给第二段的页面ID(=page_id2_2)的值被设置为等于分配给第一段的页面ID(=page_id2_1)的值加预定值。相应地,作为第二段的DSS段通过页面ID与作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联。
图48图示在存在上述双语服务的情况下,传输流TS的配置的示例。此外,如上述图12中,在该附图中,为了简化图示的目的,省略与视频和音频有关的部分的图示。
在该配置示例中,包括字幕说明数据流PID1的PES分组“字幕说明PES1”。DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段包括在字幕说明数据流PID1中。作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段被分配页面ID“page_id1_1”,并且作为第二段的DSS段被分配“page_id1_2”,使得它们可以被识别。
此外,在该配置示例中,包括字幕说明数据流PID2的PES分组“字幕说明PES2”。DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段包括在字幕说明数据流PID2中。作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段被分配页面ID“page_id2_1”,并且作为第二段的DSS段被分配“page_id2_2”,使得它们可以被识别。
PMT包括具有与字幕说明数据流有关的信息的字幕说明基本循环。诸如与字幕说明数据流PID1对应的分组识别符(PID)之类的信息被布置在字幕说明基本循环中。此外,诸如与字幕说明数据流PID2对应的分组识别符(PID)之类的信息被布置在字幕说明基本循环中。
与字幕说明数据流PID1对应的字幕说明描述符描述与作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给字幕说明数据流PID1的DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID的值(page_id1_1)被设置为等于合成页面ID的值(page_id1_1)。
此外,与第一段对应的字幕说明类型(subtitling_type)是表示2D字幕说明的值,例如,“0x14”或者“0x24”(见图15中的“component_type”)。此外,与第一段对应的ISO语言代码被设置为表示字幕说明(字幕)的语言。在图示的示例中,ISO语言被设置为表示英语的“eng”。
此外,与字幕说明数据流PID1对应的字幕说明描述符描述与作为第二段的DSS段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID。分配给字幕说明数据流PID1的DSS段的页面ID的值(page_id1_2)被设置为等于合成页面ID的值(page_id1_2)。
此外,与第二段对应的字幕说明类型(subtitling_type)是表示3D字幕说明的值,例如,“0x15”或“0x25”(见图15中的“component_type”)。此外,与第二段对应的ISO语言代码被设置为例如表示非语言的“zxx”或者表示英语的“eng”。
此外,与字幕说明数据流PID2对应的字幕说明描述符描述与作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给字幕说明数据流PID2的DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID的值(page_id2_1)被设置为等于合成页面ID的值(page_id2_1)。
此外,与第一段对应的字幕说明类型(subtitling_type)是表示2D字幕说明的值,例如,“0x14”或者“0x24”(见图15中的“component_type”)。此外,与第一段对应的ISO语言代码被设置为表示字幕说明(字幕)的语言。在图示的示例中,ISO语言被设置为表示德语的“ger”。
此外,与字幕说明数据流PID2对应的字幕说明描述符描述与作为第二段的DSS段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID。分配给字幕说明数据流PID2的DSS段的页面ID的值(page_id2_2)被设置为等于合成页面ID的值(page_id2_2)。
此外,与第二段对应的字幕说明类型(subtitling_type)是表示3D字幕说明的值,例如,“0x15”或“0x25”(见图15中的“component_type”)。此外,与第二段对应的ISO语言代码被设置为例如表示非语言的“zxx”或者表示德语的“ger”。
图49图示与图48中所示的各个字幕说明数据流对应的字幕说明描述符(Subtitling_descriptor)等的提取。此外,可以考虑,包括在从ISO语言代码的“qaa”到“qrz”的间隔中的语言代码的任一个或者语言代码“mis”或“und”用作表示非语言的ISO语言代码(见图18)。
图50图示根据第一语言服务的字幕说明数据流PID1的流配置的示例和根据第二语言服务的字幕说明数据流PID2的流配置的示例。
首先,将描述字幕说明数据流PID1。在与作为第一段(表示为“2D”)的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的字幕说明描述符中描述的合成页面ID(composition_page_id)被设置为“A1”。因此,可以看出,分配给DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID的值是“A1”。
此外,在与合成页面ID=页面ID=A1相关联的字幕说明描述符中描述的字幕说明类型(subtitling_type)被设置为表示2D字幕说明的值。此外,在与合成页面ID=页面ID=A1相关联的字幕说明描述符中描述的ISO语言代码被设置为表示英语的“eng”。
此外,在与作为第二段的DSS段相关联的字幕说明描述符中描述的合成页面ID(composition_page_id)被设置为“A2”。因此,可以看出,分配给DSS段的页面ID的值是“A2”。
此外,在与合成页面ID=页面ID=A2相关联的字幕说明描述符中描述的字幕说明类型(subtitling_type)被设置为表示3D字幕说明的值。此外,在与合成页面ID=页面ID=A2相关联的字幕说明描述符中描述的ISO语言代码被设置为表示非语言的“zxx”。
下面,将描述字幕说明数据流PID2。在与作为第一段(表示为“2D”)的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的字幕说明描述符中描述的合成页面ID(composition_page_id)被设置为“B1”。因此,可以看到,分配给DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID的值是“B1”。
此外,在与合成页面ID=页面ID=B1相关联的字幕说明描述符中描述的字幕说明类型(subtitling_type)被设置为表示2D字幕说明的值。此外,在与合成页面ID=页面ID=B1相关联的字幕说明描述符中描述的ISO语言代码被设置为表示德语的“ger”。
此外,在与作为第二段的DSS段相关联的字幕说明描述符中描述的合成页面ID(composition_page_id)被设置为“B2”。因此,可以看出,分配给DSS段的页面ID的值是“B2”。
此外,在与合成页面ID=页面ID=B2相关联的字幕说明描述符中描述的字幕说明类型(subtitling_type)被设置为表示3D字幕说明的值。此外,在与合成页面ID=页面ID=B2相关联的字幕说明描述符中描述的ISO语言代码被设置为表示非语言的“zxx”。
当传输流TS包括根据如上所述多语言的字幕说明数据流时,接收设备根据用户选择或者自动选择的语言服务提取并且解码字幕说明数据流。在该情况下,基于页面ID,传统2D兼容接收设备仅仅读取包括在字幕说明数据流中的DDS、PCS、RCS、CDS、ODS和EDS的各个段并且跳过DSS段。在该情况下,在与分配给DSS段的页面ID相关联的字幕说明描述符中描述的语言信息被设置为表示非语言。相应地,DSS段被辨认为不与所选语言对应,使得可以更安全地跳过DSS段。
[共享多个PES、语言服务之间的DSS段]
在上述图47中所示的字幕说明数据流的配置示例中,已经图示不在语言服务之间共享DSS段的情况。也就是说,在图47所示的字幕说明数据流的配置示例中,DSS段被操作为合成页面(composition_page)。然而,还可以考虑,在语言服务之间共享DSS段。在该情况下,DSS段被操作为辅助页面(ancillary_page)。
图51图示在存在双语服务的情况下包括在传输流TS的字幕说明数据流的配置的示例。如图46中图示的示例,存在作为第一语言服务的英语“eng”和作为第二语言服务的德语“ger”的双语服务。
在该配置示例中,传输流TS包括与第一语言服务对应的字幕说明数据流PID1和与第二语言服务对应的字幕说明数据流PID2。除了分配给DSS段的页面ID被设置为与描述在字幕说明描述符中的辅助页面ID(ancillary_page_id)相同的值之外,每一个字幕说明数据流具有与上述图47中所示的字幕说明数据流相同的配置。
也就是说,关于字幕说明数据流PID1,具有与合成页面ID“composition_page_id”相同的值的页面ID“page_id1_1”被分配给DDS、PCS、RCS、CDS、ODS和EDS的各个段。另一方面,具有与辅助页面ID“ancillary_page_id”相同的值的页面ID“page_id_ancillary”被分配给DSS段。
同样,关于字幕说明数据流PID2,具有与合成页面ID“composition_page_id”相同的值的页面ID“page_id2_1”被分配给DDS、PCS、RCS、CDS、ODS和EDS的各个段。另一方面,具有与辅助页面ID“ancillary_page_id”相同的值的页面ID“page_id_ancillary”被分配给DSS段。
此外,在图51中图示的字幕说明数据流的配置示例中,具有与辅助页面ID“page_id_ancillary”相同的值的页面ID被分配给包括在每一个字幕说明数据流中的DSS段,并且可以被操作为辅助页面“ancillary_page”。然而,在该配置示例中,由于其被分割为两个字幕说明数据流(PES流),所以拷贝的DSS段物理地存在于每一个字幕说明数据流中。
图52图示在如上所述语言服务之间共享DSS段的情况下传输流TS的配置的示例。此外,如上述图48中,在该附图中,为了简化图示,与视频和音频相关的部分的图示被省略。
在该配置示例中,包括字幕说明数据流PID1的PES分组“字幕说明PES1”。DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段包括在字幕说明数据流PID1中。作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段被分配页面ID“page_id1_1”。此外,作为第二段的DSS段被分配页面ID“page_id_ancillary”,使得其可以从DDS、PCS、RCS、CDS、ODS和EDS的各个段被识别,并且被操作为辅助页面。
此外,在该配置示例中,包括字幕说明数据流PID2的PES分组“字幕说明PES2”。DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段包括在字幕说明数据流PID2中。页面ID“page_id2_1”被分配到作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段。此外,作为第二段的DSS段被分配页面ID“page_id_ancillary”,使得其可以从DDS、PCS、RCS、CDS、ODS和EDS的各个段被识别,并且被操作为辅助页面。
在与字幕说明数据流PID1对应的字幕说明描述符中,以如下方式设置合成页面ID“composition_page_id”和辅助页面ID“ancillary_page_id”。也就是说,合成页面ID和辅助页面ID被设置为与作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的相同值“page_id1_1”。另一方面,合成页面ID和辅助页面ID被设置为与作为第二段的DSS段相关联的不同值。也就是说,合成页面ID被设置为“page_id1_2”,并且辅助页面ID被设置为"page_id_ancillary”。
同样,在与字幕说明数据流PID2对应的字幕说明描述符中,以如下方式设置合成页面ID“composition_page_id”和辅助页面ID“ancillary_page_id”。也就是说,合成页面ID和辅助页面ID被设置为与作为第一段的DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的相同值“page_id2_1”。另一方面,合成页面ID和辅助页面ID被设置为与作为第二段的DSS段相关联的不同值。也就是说,合成页面ID被设置为“page_id2_2”,并且辅助页面ID被设置为“page_id_ancillary”。
此外,虽然未详细描述,但图52中图示的传输流TS的配置示例的其他特征与图48中图示的配置示例中的那些相同。图53图示与图52所示的各个字幕说明数据流对应的字幕说明描述符(subtitling_descriptor)等的提取。此外,可以考虑,包括在从ISO语言代码的“qaa”到“qrz”的间隔中的语言代码的任一个或者语言代码“mis”或“und”被用作表示非语言的ISO语言代码(见图18)。
[不共享1PES、语言服务之间的DSS段]
在上述图47中所示的字幕说明数据流的配置示例中,已经图示存在包括与单语言服务对应的DDS、PCS、RCS、CDS、ODS和EDS的各个段和DSS段的两个字幕说明数据流。然而,还可以考虑,在一个字幕说明数据流中包括与各个语言服务对应的DDS、PCS、RCS、CDS、ODS和EDS的各个段和DSS段。
图54图示在一个字幕说明数据流中存在根据双语服务的各个段的情况下包括在传输流TS的字幕说明数据流的配置的示例。如图47中图示的示例,在该示例中,存在作为第一语言服务的英语“eng”和作为第二语言服务的德语“ger”的双语服务。在该配置示例中,传输流TS包括一个字幕说明数据流PID1。字幕说明数据流PID1具有与上述图11中图示的字幕说明数据流相同的配置。
也就是说,在字幕说明数据流PID1中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS、ODS、DDS和EDS的各个段的PES有效载荷。在该情况下,DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段的每一个在数量上是两个。例如,在两个后续段中,第一个段是根据第一语言服务的段,而后一个段是根据第二语言服务的段。
分配给根据第一语言服务的DDS、PCS、RCS、CDS、ODS和ESS的各个段的页面ID(=page_id1_1)被设置为与分配给根据第一语言服务的DSS段的页面ID(=page_id1_2)不同,使得它们可以被识别。此外,“page_id1_2”的值等于“page_id1_1”的值加预定值。相应地,在第一语言服务中,DSS段通过页面ID与DDS、PCS、RCS、CDS和ODS的各个段相关联。
同样,分配给根据第二语言服务的DDS、PCS、RCS、CDS、ODS和DSS的各个段的页面ID(=page_id2_1)被设置为与分配给根据第二语言服务的DSS段的页面ID(=page_id2_2)不同,使得它们可以被识别。此外,“page_id2_2”的值等于“page_id2_1”的值加预定值。相应地,在第二语言服务中,DSS段通过页面ID与DDS、PCS、RCS、CDS和ODS的各个段相关联。
此外,在该情况下,分配给根据第一语言服务的各个段的页面ID的值被设置为与分配给根据第二语言服务的各个段的页面ID的值不同。相应地,基于页面ID,根据第一语言服务或者第二语言服务的段可以被选择性地提取和解码。
图55图示在上述根据双语服务的各个段存在于一个字幕说明数据流中的情况下传输流TS的配置的示例。此外,如上述图48,在该附图中,为了简化图示,省略与视频和音频有关的部分。
在该配置示例中,包括字幕说明数据流PID1的“字幕说明PES1”的PES分组。DDS、PCS、RCS、CDS、ODS和DSS的各个段(数量分别是两个)包括在字幕说明数据流PID1中。
根据第一语言服务的DDS、PCS、RCS、CDS和ODS的各个段和EDS段被分配页面ID“page_id1_1”并且根据第一语言服务的DSS段被分配页面ID“page_id1_2”,使得它们可以被识别。同样,根据第二语言服务的DDS、PCS、RCS、CDS和ODS的各个段被分配页面ID“page_id2_1”并且根据第二语言服务的DSS段被分配页面ID“page_id2_2”,使得它们可以被识别。
PMT包括具有与字幕说明数据流有关的信息的字幕说明基本循环。诸如与字幕说明数据流PID1对应的分组识别符(PID)之类的信息被布置在字幕说明基本循环中。
与字幕说明数据流PID1对应的字幕说明描述符描述与第一语言服务的各个段相关联的以下信息。也就是说,与根据第一语言服务的DDS、PCS、RCS、CDS和ODS的各个段相关联地描述ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给根据第一语言服务的DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID的值(page_id1_1)被设置为等于合成页面ID的值(page_id1_1)。
此外,与根据第一语言服务的DDS、PCS、RCS、CDS和ODS的各个段对应的字幕说明类型(subtitling_type)被设置为表示2D字幕说明的值,例如“0x14"或“0x24”(见图15中的“component_type”)。此外,与根据第一语言服务的DDS、PCS、RCS、CDS和ODS的各个段对应的ISO语言被设置为表示字幕说明(字幕)的语言。在图示的示例中,ISO语言代码被设置为表示英语的“eng”。
此外,与字幕说明数据流PID1对应的字幕说明描述符描述与根据第一语言服务的DSS段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给根据第一语言服务的DSS段的页面ID的值(page_id1_2)被设置为等于合成页面ID的值(page_id1_2)。
此外,与根据第一语言服务的DSS段对应的字幕说明类型(subtitling_type)被设置为表示3D字幕说明的值,例如“0x15”或“0x25”(见图15中的“component_type”)。此外,与根据第一语言服务的DSS段对应的ISO语言代码被设置为例如表示非语言的“zxx”或者表示英语的“eng”。
同样,与字幕说明数据流PID1对应的字幕说明描述符描述与第二语言服务的各个段相关联的以下信息。也就是说,与根据第二语言服务的DDS、PCS、RCS、CDS和ODS的各个段相关联地描述ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给根据第二语言服务的DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID的值(page_id2_1)被设置为等于合成页面ID的值(page_id1_1)。
此外,与根据第二语言服务的DDS、PCS、RCS、CDS和ODS的各个段对应的字幕说明类型(subtitling_type)被设置为表示2D字幕说明的值,例如“0x14”或“0x24”(见图15中的“component_type”)。此外,与根据第二语言服务的DDS、PCS、RCS、CDS和ODS的各个段对应的ISO语言被设置为表示字幕说明(字幕)的语言。在图示的示例中,ISO语言代码被设置为表示德语的“ger”。
此外,与字幕说明数据流PID1对应的字幕说明描述符描述与根据第二语言服务的DSS段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给根据第二语言服务的DSS段的页面ID的值(page_id2_2)被设置为等于合成页面ID的值(page_id2_2)。
此外,与根据第二语言服务的DSS段对应的字幕说明类型(subtitling_type)被设置为表示3D字幕说明的值,例如“0x15”或“0x25”(见图15中的“component_type”)。此外,与根据第二语言服务的DSS段对应的ISO语言代码被设置为表示非语言的“zxx”或者表示英语的“eng”。
图56图示与图55图示的字幕说明数据流PID1对应的字幕说明描述符(Subtitling_descriptor)等的提取。此外,可以考虑,包括在从ISO语言代码的“qaa”到“qrz”的间隔中的语言代码的任一个用作表示非语言的ISO语言代码。
当传输流TS包括字幕说明数据流,该字幕说明数据流包括上述根据多语言服务的各个段时,接收设备根据用户选择或者自动选择的语言服务提取并且解码段。在该情况下,基于页面ID,传统2D兼容接收设备仅仅读取包括在字幕说明数据流中的DDS、PCS、RCS、CDS、ODS和EDS的各个段,并且跳过DSS段。在该情况下,与分配给DSS段的页面ID相关联地描述在字幕说明描述符中的语言信息被设置为表示非语言。相应地,DSS被辨认为不与所选语言对应,使得可以更加安全地跳过DSS段。
[共享1PES、语言服务之间的DSS段]
在上述图54中所示的字幕说明数据流的配置示例中,已经图示在语言服务之间不共享DSS段的情况。也就是说,在图54所示的字幕说明数据流的配置示例中,根据每一种语言服务的DSS段被操作为合成页面(composition_page)。然而,还可以考虑,在语言服务之间共享DSS段。在该情况下,DSS段被操作为辅助页面(ancillary_page)。
图57图示在根据双语服务的各个段存在于一个字幕说明数据流的情况下包括在传输流TS的字幕说明数据流的配置的另一示例。如图54中图示的示例,存在作为第一语言服务的英语“eng”和作为第二语言服务的德语“ger”的双语服务。
在该配置示例中,传输流TS包括一个字幕说明数据流PID1。除了分配给DSS段的页面ID被设置为与描述在字幕说明描述符中的辅助页面ID(ancillary_page_id)相同的值之外,字幕说明数据流PID1具有与上述图47中所示的字幕说明数据流相同的配置。此外,在该情况下,由于在两种语言之间共享DSS段,所以DSS段在数量上仅仅是一个。
也就是说,在字幕说明数据流PID1中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段的PES有效载荷。在该情况下,DDS、PCS、RCS、CDS和ODS的各个段中的每一个在数量上是两个。例如,在两个后续段中,第一个段是根据第一语言服务的段,而后一个段是根据第二语言服务的段。
页面ID“page_id1_1”被分配给根据第一语言服务的DDS、PCS、RCS、CDS、ODS和EDS的各个段。此外,页面ID“page_id2_1”被分配给根据第二语言服务的DDS、PCS、RCS、CDS和ODS的各个段。另外,具有与辅助页面ID“ancillary_page_id”相同的值的页面ID“page_id_ancillary”被分配给在语言服务之间共享的DSS段。
图58图示在上述根据双语服务的各个段存在于一个字幕说明数据流的情况下传输流TS的配置的示例。此外,如上述图55,在该附图中,为了简化图示,与视频和音频有关的部分的图示被省略。
在该配置示例中,包括字幕说明数据流PID1的PES分组“字幕说明PES1”。DDS、PCS、RCS、CDS、和ODS的各个段(在数量上分别是两个)包括在字幕说明数据流PID1中。由于在双语服务之间共享DSS段,所以DSS段在数量上仅仅是一个。
根据第一语言服务的DDS、PCS、RCS、CDS和ODS的各个段和EDS段被分配页面ID“page_id1_1”,并且根据第二语言服务的DDS、PCS、RCS、CDS和ODS段的各个段被分配页面ID“page_id2_1”。此外,共享的DSS段被分配页面ID“page_id_ancillary”,使得其可以从DDS、PCS、RCS、CDS、ODS和EDS的各个段识别,并且被操作为辅助页面。
PMT包括具有与字幕说明数据流有关的信息的字幕说明基本循环。诸如与字幕说明数据流PID1对应的分组识别符(PID)之类的信息被布置在字幕说明基本循环中。
在与字幕说明数据流PID1对应的字幕说明描述符中,合成页面ID“composition_page_id”和辅助页面ID“ancillary_page_id”以下面的方式与第一语言服务的各个段相关联地设置。也就是说,合成页面ID和辅助页面ID被设置为与DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的相同值“page_id1_1”。另一方面,合成页面ID和辅助页面ID被设置为与DSS段相关联的不同值。也就是说,合成页面ID被设置为“page_id1_1′,并且辅助页面ID被设置为“page_id_ancillary”。
同样,在与字幕说明数据流PID1对应的字幕说明描述符中,合成页面ID“composition_page_id"和辅助页面ID“ancillary_page_id”以下面的方式与第二语言服务的各个段相关联地设置。也就是说,合成页面ID和辅助页面ID被设置为与DDS、PCS、RCS、CDS、ODS和EDS的各个段相关联的相同值“page_id1_1”。另一方面,合成页面ID和辅助页面ID被设置为与DSS段相关联的不同值。也就是说,合成页面ID被设置为“page_id2_1′,并且辅助页面ID被设置为“page_id_ancillary”。
此外,虽然未详细描述,但图58中图示的传输流TS的配置示例的其他特征与图55中图示的配置示例中的那些相同。图59图示与图58中图示的各个字幕说明数据流对应的字幕说明描述符等的提取。此外,可以考虑,包括在从ISO语言代码的“qaa”到“qrz”的间隔中的语言代码的任一个或者语言代码“mis”或者“und”被用作表示非语言的ISO语言代码(见图18)。
如上所述,DSS段在各个语言服务之间被共享,使得可以有效地使用PES流的带宽。
[包括3D_EX部分的配置]
此外,已经描述字幕说明数据流包括DSS段外加DDS、PCS、RCS、CDS、ODS和EDS的各个段(见图11、47、51、54和57)。然而,还可以考虑,DSS段部分不但包括DSS段而且包括根据字幕说明(字幕)显示的3D扩展的其他段。
图60图示在该情况下包括在传输流TS中的字幕说明数据流PID1的配置的示例。PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS、ODS和EDS的各个段和3D_EX部分的PES有效载荷。3D_EX部分包括根据3D扩展的所有段。该3D_EX部分可以包括例如仅仅DSS段或者包括DDS、PCS、DSS和EDS的、多达DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段。
这里,分配给除去3D_EX部分之外的DDS、PCS、RCS、CDS、ODS和EDS的各个段的页面ID(=page_id1)(下文适当称为“2D段”)与分配给包括在3D_EX部分中的各个段的页面ID(=page_id2)(下文适当称为“3D扩展段”)不同。2D段构成包括叠加信息数据(字幕说明数据)的第一段。此外,3D扩展(3D_EX)段构成包括视差信息的第二段。由于分配给2D段的页面ID和分配给3D扩展段的页面ID被设置为相互不同,所以2D段和3D扩展段被指示为是单独服务,由此可以被识别。
在该情况下,分配给3D扩展段(第二段)的页面ID(=page_id2)的值等于分配给2D段(第一段)的页面ID(=page_id1)的值加预定值。相应地,可以看到,3D扩展段通过页面ID与2D段相关联。
图61图示在包括3D扩展段的3D_EX部分存在于字幕说明数据流PID1的PES有效载荷的情况下传输流TS的配置的示例。传输流TS包括通过分组每一个基本流获得的PES分组。此外,在图61中,为了简化图示的目的,省略与视频和音频有关的部分的图示。
在该配置示例中,包括字幕说明数据流PID1的PES分组“字幕说明PES1”。页面ID“page_id1”被分配给除去3D_EX部分之外的DDS、PCS、RCS、CDS、ODS和EDS的各个段,也就是2D段(第一段)。此外,页面ID“page_id2”被分配给包括在3D_EX部分中的3D扩展段(第二段)。
PMT包括具有与字幕说明数据流有关的字幕说明基本循环。诸如字幕说明数据流的分组识别符(PID)之类的信息被布置在字幕说明基本循环中。此外,描述与字幕说明数据流有关的信息的描述符被布置在字幕说明基本循环中。
字幕说明描述符(Subtitling_Descriptor)被呈现为描述符。字幕说明描述符描述与2D段(第一段)相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给2D段的页面ID的值(page_id1)等于合成页面ID的值(page_id1)。
此外,与2D段对应的字幕说明类型(subtitling_type)是表示2D字幕说明的值,例如,“0x14”或“0x24”(见图15中的“component_type”)。此外,与2D段对应的ISO语言代码被设置为表示字幕说明(字幕)的语言。在图示的示例中,ISO语言代码被设置为表示英语的“eng”。
此外,字幕说明描述符描述与3D段(第二段)相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给3D段的页面ID的值(page_id2)等于合成页面ID的值(page_id2)。
此外,与3D扩展段对应的字幕说明类型(subtitling_type)是表示3D字幕说明的值,例如,“0x15”或“0x25”(见图15中的“component_type”)。此外,与3D扩展段对应的ISO语言代码被设置为例如表示非语言的“zxx”或者表示英语的“eng”。此外,可以考虑,包括在从ISO语言代码的“qaa”到“qrz”的间隔中的语言代码的任一个或者语言代码“mis”或者“und”用作表示非语言的ISO语言代码(见图18)。
图62图示字幕说明数据流的流配置的示例。在与表示为2D的2D段(第一段)相关联的字幕说明描述符中描述的合成页面ID(composition_page_id)被设置为“A1”。可以看到,分配给2D段的页面ID的值是“A1”。此外,在与合成页面ID=page ID=A1相关联的字幕说明描述符中描述的字幕说明类型(subtitling_type)被设置为表示2D字幕说明的值。此外,在与合成页面ID=page ID=A1相关联的字幕说明描述符中描述的ISO语言代码被设置为表示英语的“eng”。
另一方面,在与表示为“3D_EX”的3D扩展段(第二段)相关联的字幕说明描述符中描述的复合页面ID(composition_page_id)被设置为“A2”。因此,可以看到,分配给3D扩展段的页面ID的值是“A2”。此外,在与合成页面ID=page ID=A2相关联的字幕说明描述符中描述的字幕说明类型(subtitling_type)被设置为表示3D字幕说明的值。此外,在与合成页面ID=page ID=A2相关联的字幕说明描述符中描述的ISO语言代码被设置为表示非语言的“zxx”。
上述图60到图62的示例对应于上述图11的示例。虽然未详细描述,但还可以考虑,在图47、51、54和57的各个示例中DSS段由3D_EX部分取代。此外,包括在3D_EX部分中的段不需要总是恒定,并且例如可以以任意定时改变。
[仅登记2D段的合成页面ID(单语言服务)]
图63图示包括在传输流TS的字幕说明数据流的配置的另一示例。PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS、ODS和EDS的各个段和3D_EX部分的PES有效载荷。如上述图60的配置示例,3D_EX部分例如可以包括仅仅DSS段或者包括DDS、PCS、DSS和EDS的各个段的、多达DDS、PCS、RCS、CDS、ODS、DSS和EDS的各个段,在该示例中,包括DDS、PCS、DSS和EDS的各个段。
这里,分配给除了3D_EX部分之外的DDS、PCS、RCS、CDS、ODS和EDS的各个段(下面适当称为“2D”段)的页面ID(=CP1)与分配给包括在3D_EX部分中的各个段(下面适当称为“3D扩展段”)的页面ID(=CP1′)不同。2D段构成包括叠加信息数据(字幕说明数据)的第一段。此外,3D扩展(3D_EX)段构成包括视差信息的第二段。由于分配给2D段的页面ID和分配给3D扩展段的页面ID被设置为相互不同,2D段和3D扩展段被指示为单独服务,由此可以被识别。
此外,这里,CP1和CP1′被配置为在它们之间具有唯一关系。也就是说,基于该唯一关系,CP1′可以依据与CP1对应的合成页面ID(composition_page_id)唯一地获得。作为唯一关系的示例,CP1′等于CP1加固定值(偏移值)。例如,当CP1=0x0XXX并且固定值=0x8000时,CP1′=0x8XXX。以该方式,由于CP1和CP1′具有唯一关系,所以3D扩展段通过页面ID与2D段相关联。
图64图示包括上述图63的字幕说明数据流PID1的传输流TS的配置的示例。传输流TS包括通过分组每一个基本流获得的PES分组。此外,在图64中,为了简化图示,与视频和音频相关的部分的图示被省略。
在该配置示例中,包括字幕说明数据流PID1的PES分组“字幕说明PES1”。页面ID“CP1=0x0XXX”被分配给除了3D_EX部分之外的DDS、PCS、RCS、CDS、ODS和EDS的各个段,也就是说,2D段(第一段)。此外,页面ID“CP1′=0x8XXX”被分配给包括在3D_EX部分中的3D扩展段(第二段)。
传输流TS包括PMT(节目映射表)作为PSI(节目特定信息)。PSI是描述包括在传输流中的每一个基本流属于哪个节目的信息。此外,传输流包括EIT(事件信息表)作为SI(服务信息),用于执行对每一个事件的管理。EIT描述每一个节目的元数据。
PMT包括具有与字幕说明数据流有关的信息的字幕说明基本循环。诸如字幕说明数据流的分组识别符(PID)之类的信息布置在字幕说明基本循环中。此外,描述与字幕说明数据流有关的信息的描述符也被布置在字幕说明基本循环中。
与字幕说明数据流PID1对应的字幕说明描述符(Subtitling_Descriptor)呈现为描述符。字幕说明描述符描述与2D段(第一段)相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给2D段的页面ID的值(0x0XXX)等于合成页面ID的值(0x0XXX)。
此外,与2D段对应的字幕说明类型(subtitling_type)是表示2D字幕说明的值,例如,“0x14”或者“0x24”(见图15中的“component_type”)。此外,与2D段对应的ISO语言代码被设置为表示字幕说明(字幕)的语言。在图示的示例中,ISO语言被设置为表示英语的“eng”。
此外,不像图12中所示的传输流TS的配置示例,字幕说明描述符不描述与3D段(第二段)对应的合成页面ID(composition_page_id)等。
当字幕说明数据流PID被配置为如图63所示并且如图64所示对应的字幕说明描述符仅仅描述与2D段对应的合成页面ID等时,实现以下效果。
也就是说,基于字幕说明描述符中描述的合成页面ID,传统2D兼容接收设备可以从字幕说明数据流PID1仅仅读取和解码2D段,以获得字幕说明数据。也就是说,由于传统2D兼容接收设备在描述符中不具有与3D扩展段对应的合成页面ID,传统2D兼容接收设备跳过包括在字幕说明数据流PID1中的3D扩展段。相应地,可以防止传统2D兼容接收设备的接收处理被包括视差信息的3D扩展段的发送中断。
此外,基于在字幕说明描述符中描述的唯一关系和合成页面ID,3D兼容接收设备可以从字幕说明数据流PID1读取和解码2D段和3D扩展段二者,以有效获得字幕说明数据和视差信息。也就是说,3D兼容接收设备可以从描述在字幕说明描述符中的合成页面ID知道2D段的页面ID,并且可以从字幕说明数据流PID1读取2D段。此外,3D兼容接收设备可以基于唯一关系从合成页面ID知道3D扩展段的页面ID,并且可以从字幕说明数据流PID1读取3D扩展段。
[仅仅登记2D段的合成页面ID(多语言服务)]
在上述图63所示的配置示例中,已经图示呈现英语“eng”的仅仅一种语言服务的情况的示例。相同的配置还可以应用于多语言服务的情况。图65图示在存在双语服务的情况下包括在传输流TS中的字幕说明数据流的配置的示例。在该示例中,存在作为第一种语言服务的英语“eng”和第二种语言服务的德语“ger”的双语服务。
在该配置示例中,传输流TS包括与第一种语言服务对应的字幕说明数据流PID1和与第二种语言服务对应的字幕说明数据流PID2。各个字幕说明数据流的每一个具有与上述图63中所示的字幕说明数据流相同的配置。
也就是说,在字幕说明数据流PID1中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS、ODS和EDS的各个段和3D_EX部分的PES有效载荷。3D_EX部分包括DDS、PCS、DSS和EDS的各个段(3D扩展段)。这里,分配给2D段的页面ID(=CP1)被设置为与分配给3D扩展段的页面ID(=CP1′)不同。由于分配给2D段的页面ID和分配给3D扩展段的页面ID被设置为相互不同,所以2D段和3D扩展段被指示为单独服务,由此可以被识别。
此外,这里,CP1和CP1′被配置为在它们之间具有唯一关系。也就是说,基于该唯一关系,CP1′可以依据与CP1对应的合成页面ID(composition_page_id)唯一地获得。作为唯一关系的示例,在该示例中,CP1′等于CP1加固定值(偏移值)。例如,当CP1=0x0XXX并且固定值=0x8000时,CP1′=0x8XXX。以该方式,由于CP1和CP1′具有唯一关系,3D扩展段通过页面ID与2D段相关联。
此外,在字幕说明数据流PID2中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS、ODS和EDS的各个段和3D_EX部分的PES有效载荷。3D_EX部分包括DDS、PCS、DSS和EDS的各个段(3D扩展段)。这里,分配给2D段的页面ID(=CP1)被设置为与分配给3D段的页面ID(=CP2′)不同。由于分配给2D段的页面ID和分配给3D段的页面ID被设置为相互不同,所以2D段和3D扩展段被指示为单独服务,由此可以被识别。
此外,这里,CP2和CP2′被设置为在它们之间具有唯一关系。也就是说,基于该唯一关系,CP2′可以从与CP2对应的合成页面ID(composition_page_id)唯一地获得。作为唯一关系的示例,在该示例中,CP2′等于CP2加固定值(偏移值)。例如,当CP2=0x0YYY并且固定值=0x8000时,CP2′=0x8YYY。以该方式,由于CP2和CP2具有唯一关系,所以3D扩展段通过页面ID与2D段相关联。
图66图示包括上述图65的字幕说明数据流PID1和PID2的传输流TS的配置的示例。传输流TS包括通过分组每一个基本流获得的PES分组。此外,在图66中,为了简化图示,与视频和音频相关的部分的图示被省略。
在该配置示例中,包括字幕说明数据流PID1的PES分组“字幕说明PES1”。页面ID“CP1=0x0XXX”被分配给除了3D_EX部分之外的DDS、PCS、RCS、CDS、ODS和EDS的各个段,也就是说,2D段。此外,页面ID“CP1′=0x8XXX”被分配给包括在3D_EX部分中的3D扩展段(第二段)。相应地,在字幕说明数据流PID1中,2D段和3D扩展段可以通过页面ID识别。
此外,在该配置示例中,包括字幕说明数据流PID2的PES分组“字幕说明PES2”。页面ID“CP2=0x0YYY”被分配给除了3D_EX部分之外的DDS、PCS、RCS、CDS、ODS和EDS的各个段,也就是说,2D段。此外,页面ID“CP2′=0x8YYY”被分配给包括在3D_EX部分中的3D扩展段。相应地,在字幕说明数据流PID2中,2D段和3D扩展段可以通过页面ID识别。
传输流TS包括PMT(节目映射表)作为PSI(节目特定信息)。PSI是描述包括在传输流中的每一个基本流属于哪个节目的信息。此外,传输流包括EIT(事件信息表)作为SI(服务信息),用于执行对每一个事件的管理。EIT描述每一个节目的元数据。
PMT包括具有与字幕说明数据流有关的信息的字幕说明基本循环。诸如字幕说明数据流的分组识别符(PID)之类的信息布置在字幕说明基本循环中。此外,描述与字幕说明数据流有关的信息的描述符还被布置在字幕说明基本循环中。
与字幕说明数据流PID1对应的字幕说明描述符(Subtitling_Descriptor)呈现为描述符。字幕说明描述符描述与2D段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给2D段的页面ID的值(0x0XXX)等于合成页面ID的值(0x0XXX)。
此外,与2D段对应的字幕说明类型(subtitling_type)是表示2D字幕说明的值,例如,“0x14”或者“0x24”(见图15中的“component_type”)。此外,与2D段对应的ISO语言代码被设置为表示字幕说明(字幕)的语言。在图示的示例中,ISO语言代码被设置为表示英语的“eng”。此外,字幕说明描述符不描述与3D扩展段对应的合成页面ID等。
与字幕说明数据流PID2对应的字幕说明描述符(Subtitling_Descriptor)呈现为描述符。字幕说明描述符描述与2D段相关联的ISO语言代码(ISO_639_language_code)、字幕说明类型(subtitling_type)和合成页面ID(composition_page_id)。分配给2D段的页面ID的值(0x0YYY)等于合成页面ID的值(0x0YYY)。
此外,与2D段对应的字幕说明类型(subtitling_type)是表示2D字幕说明的值,例如,“0x14”或者“0x24”(见图15中的“component_type”)。此外,与2D段对应的ISO语言代码被设置为表示字幕说明(字幕)的语言。在图示的示例中,ISO语言代码被设置为表示德语的“ger”。此外,字幕说明描述符不描述与3D扩展段对应的合成页面ID等。
当传输流TS包括上述根据多语言的字幕说明数据流时,接收设备根据用户选择或者自动选择的语言服务提取并且解码字幕说明数据流。在该情况下,如上述单一语言服务的示例中描述(见图63和64),可以在传统2D兼容接收设备和3D兼容接收设备中实现预定效果。
[通过辅助页面ID识别3D扩展段(2PES)]
图67图示包括在传输流TS中的字幕说明数据流的配置的另一个示例。在该示例中,存在作为第一语言服务的英语“eng”和作为第二语言服务的德语“ger”的双语服务。在该配置示例中,传输流TS包括与第一语言服务对应的字幕说明数据流PID1和与第二语言服务对应的字幕说明数据流PID2。
也就是说,在字幕说明数据流PID1中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS和ODS的各个段和3D_EX部分的PES有效载荷。3D_EX部分包括DSS和EDS的各个段(3D扩展段)。这里,分配给2D段的页面ID(=CP1)与分配给3D扩展段的页面ID(=AP1)被设置为不同。由于分配给2D段的页面ID和分配给3D扩展段的页面ID被设置为相互不同,所以2D段和3D扩展段被指示为是单独服务,由此可以被识别。这里,2D段操作为合成页面,并且3D段操作为辅助页面。
此外,在字幕说明数据流PID2中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS和ODS的各个段和3D_EX部分的PES有效载荷。3D_EX部分包括DSS和EDS的各个段(3D扩展段)。这里,分配给2D段的页面ID(=CP2)与分配给3D扩展段的页面ID(=AP2)被设置为不同。由于分配给2D段的页面ID和分配给3D扩展段的页面ID被设置为相互不同,所以2D段和3D扩展段被指示为是单独服务,由此可以被识别。这里,2D段操作为合成页面,并且3D段操作为辅助页面。
此外,在该示例中,两个段DSS和EDS包括在3D_EX部分中。然而,包括在3D_EX部分中的段的组合不限于此。例如,3D_EX部分可以包括例如三个段ODS、DSS和EDS或者四个段CDS、ODS、DSS和EDS。
图68图示包括上述图64的字幕说明数据流PID1和PID2的传输流TS的配置的示例。传输流TS包括通过分组每一个基本流获得的PES分组。此外,在图68中,为了简化图示,与视频和音频相关的部分的图示被省略。
在该配置示例中,包括字幕说明数据流PID1的PES分组“字幕说明PES1”。页面ID“CP1”被分配给除了3D_EX部分之外的DDS、PCS、RCS、CDS和ODS的各个段,也就是2D段。此外,页面ID“AP1”被分配给包括在3D_EX部分中的3D扩展段。相应地,在字幕说明数据流PID1中,2D段和3D扩展段可以通过页面ID识别。
此外,在该配置示例中,包括字幕说明数据流PID2的PES分组“字幕说明PES2”。页面ID“CP2”被分配给除了3D_EX部分之外的DDS、PCS、RCS、CDS和ODS的各个段,也就是2D段。此外,页面ID“AP2”被分配给包括在3D_EX部分中的3D扩展段。相应地,在字幕说明数据流PID2中,2D段和3D扩展段可以通过页面ID识别。
PMT包括具有与字幕说明数据流有关的字幕说明基本循环。诸如字幕说明数据流的分组识别符(PID)之类的信息被布置在字幕说明基本循环中。此外,描述与字幕说明数据流有关的信息的描述符被布置在字幕说明基本循环中。
与字幕说明数据流PID1对应的字幕说明描述符(Subtitling_Descriptor)呈现为描述符。在字幕说明描述符中,合成页面ID“composition_page_id”和辅助页面“ancillary_page_id”以下面的方式设置。
也就是说,合成页面ID和辅助页面ID被设置为与2D段相关联的相同值“CP1”。相应地,2D段操作为合成页面,并且分配给2D段的页面ID被设置为与合成页面ID相同的值“CP1”。另一方面,合成页面ID和辅助页面ID被设置为与3D扩展段相关联的不同值。也就是说,合成页面ID被设置为“CP1”,而辅助页面ID被设置为“AP1”。相应地,3D扩展段操作为辅助页面,并且分配给3D扩展段的页面ID被设置为与辅助页面ID相同的值“AP1”。
与字幕说明数据流PID2对应的字幕说明描述符(Subtitling_Descriptor)呈现为描述符。在字幕说明描述符中,合成页面ID“composition_page_id”和辅助页面“ancillary_page_id”以下面的方式设置。
也就是说,合成页面ID和辅助页面ID被设置为与2D段相关联的相同值“CP2”。相应地,2D段操作为合成页面,并且分配给2D段的页面ID被设置为与合成页面ID相同的值“CP2”。另一方面,合成页面ID和辅助页面ID被设置为与3D扩展段相关联的不同值。也就是说,合成页面ID被设置为“CP2”,而辅助页面ID被设置为“AP2”。相应地,3D扩展段操作为辅助页面,并且分配给3D扩展段的页面ID被设置为与辅助页面ID相同的值“AP2”。
当字幕说明数据流PID1和PID2被配置为如图67所示并且如图68所示对应的字幕说明描述符描述合成页面ID、辅助页面ID等时,实现以下效果。
也就是说,基于字幕说明描述符中描述的合成页面ID,传统2D兼容接收设备可以从字幕说明数据流PID1和PID2仅仅读取和解码2D段,以获得字幕说明数据。也就是说,传统2D兼容接收设备可以跳过包括在字幕说明数据流PID1和PID2中的3D扩展段。相应地,可以防止传统2D兼容接收设备的接收处理由包括视差信息的3D扩展段的发送中断。
此外,基于描述在字幕说明描述符中的合成页面ID和辅助页面ID,3D兼容接收设备可以从字幕说明数据流PID1和PID2读取和解码2D段和3D扩展段二者,以有效获得字幕说明数据和视差信息。也就是说,3D兼容接收设备可以从描述在字幕说明描述符中的合成页面ID知道2D段的页面ID,并且可以从字幕说明数据流读取2D段。此外,3D兼容接收设备可以从描述在字幕说明描述符中的辅助页面ID知道3D扩展段的页面ID,并且可以从字幕说明数据流读取3D扩展段。
此外,在图67和68所示的配置示例中,已经图示作为多语言服务之一的双语服务的示例。虽然未详细描述,但在单语言服务的情况下也可以应用相同的配置(见图67和68中的字幕说明数据流PID1和字幕说明数据流PID2部分)。
[通过辅助页面ID识别3D扩展段(1PES)]
在图67和68的配置示例中,传输流TS包括与第一语言服务对应的字幕说明数据流PID1和与第二语言服务对应的字幕说明数据流PID2。然而,还可以考虑,与双语服务对应的各个段包括在一个字幕说明数据流中。
图69图示在该情况下包括在传输流TS中的字幕说明数据流的配置的示例。如图67所示的示例,在该示例中,存在作为第一语言服务的英语“eng”和作为第二语言服务的德语“ger”的双语服务。在该配置示例中,传输流TS包括一个字幕说明数据流PID1。
也就是说,在字幕说明数据流PID1中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS和ODS的各个段(2D段)和3D_EX部分的PES有效载荷。3D_EX部分包括DSS和EDS的各个段(3D扩展段)。
在该情况下,构成2D段的各个段的每一个在数量上是两个。例如,在两个后续段中,第一个段是根据第一语言服务的段,而后一个段是根据第二语言服务的段。此外,构成3D扩展段的各个段的每一个在数量上是两个。例如,在两个后续段中,第一个段是根据第一语言服务的段,而后一个段是根据第二语言服务的段。
这里,分配给根据第一语言服务的2D段的页面ID(=CP1)被设置为与分配给根据第一语言服务的3D扩展段的页面ID(=AP1)不同。由于分配给2D段的页面ID和分配给3D扩展段的页面ID被设置为相互不同,所以2D段和3D扩展段被指示为是单独服务,由此可以被识别。这里,2D段操作为合成页面,并且3D段操作为辅助页面。
同样,分配给根据第二语言服务的2D段的页面ID(=CP2)被设置为与分配给根据第二语言服务的3D扩展段的页面ID(=AP2)不同。由于分配给2D段的页面ID和分配给3D扩展段的页面ID被设置为相互不同,所以2D段和3D扩展段被指示为是单独服务,由此可以被识别。这里,2D段操作为合成页面,并且3D段操作为辅助页面。
此外,在该示例中,两个段DSS和EDS包括在3D_EX部分中。然而,包括在3D_EX部分中的段的组合不限于此。例如,3D_EX部分可以包括例如三个段ODS、DSS和EDS或者四个段CDS、ODS、DSS和EDS。
图70图示包括上述图69的字幕说明数据流PID1的传输数据流TS的配置的示例。传输流TS包括通过分组每一个基本流获得的PES分组。此外,在图70中,为了简化图示,与视频和音频相关的部分的图示被省略。
在该配置示例中,包括字幕说明数据流PID1的PES分组“字幕说明PES1”。页面ID“CP1”被分配给根据第一语言服务的、除了3D_EX部分之外的DDS、PCS、RCS、CDS和ODS的各个段,也就是2D段。此外,页面ID“AP1”被分配给根据第一语言服务的、包括在3D_EX部分中的3D扩展段。同样,页面ID“CP2”被分配给根据第二语言服务的、除了3D_EX部分之外的DDS、PCS、RCS、CDS和ODS的各个段,也就是2D段。此外,页面ID“AP2”被分配给根据第二语言服务的、包括在3D_EX部分中的3D扩展段。
相应地,在字幕说明数据流PID1中,根据第一语言服务的各个段和根据第二语言服务的各个段可以通过页面ID识别。此外,在字幕说明数据流PID1中,根据第一语言服务的2D段和3D扩展段通过页面ID识别。此外,在字幕说明数据流PID1中,根据第二语言服务的2D段和3D扩展段通过页面ID识别。
PMT包括具有与字幕说明数据流有关的信息的字幕说明基本循环。诸如字幕说明数据流的分组识别符(PID)之类的信息被布置在字幕说明基本循环中。此外,描述与字幕说明数据流有关的信息的描述符也被布置在字幕说明基本循环中。
在与字幕说明数据流PID1对应的字幕说明描述符中,以如下方式与第一语言服务的各个段相关联地设置合成页面ID“composition_page_id”和辅助页面ID“ancillary_page_id”。也就是说,合成页面ID和辅助页面ID被设置为与2D段相关联的相同值。另一方面,合成页面ID和辅助页面ID被设置为与3D扩展段相关联的不同值。也就是说,合成页面ID被设置为“CP1”,并且辅助页面ID被设置为“AP1”。
同样,在与字幕说明数据流PID1对应的字幕说明描述符中,以如下方式与第二语言服务的各个段相关联地设置合成页面ID“composition_page_id”和辅助页面ID“ancillary_page_id”。也就是说,合成页面ID和辅助页面ID被设置为与2D段相关联的相同值“CP2”。另一方面,合成页面ID和辅助页面ID被设置为与3D扩展段相关联的不同值。也就是说,合成页面ID被设置为“CP2”,并且辅助页面ID被设置为“AP2”。
如图67和68所述,当字幕说明数据流PID被设置为如图69所示并且如图70所示对应的字幕说明描述符描述合成页面ID、辅助页面ID等时,可以在传统2D兼容接收设备和3D兼容接收设备中实现预定效果。
[通过辅助页面ID识别3D扩展段(共享)(1PES)]
在上述图69中所述的字幕说明数据流的配置示例中,已经图示3D扩展段共存于各个语言服务中的情况。然而,也可以考虑,在语言服务之间共享3D扩展段。
图71图示在共享3D扩展段的情况下包括在传输流TS中的字幕说明数据流的配置的示例。如图69中图示的示例,在该示例中,存在作为第一语言服务的英语“eng”和作为第二语言服务的德语“ger”的双语服务。在该配置示例中,传输流TS包括一个字幕说明数据流PID1。
也就是说,在字幕说明数据流PID1中,PES首标布置在开头,之后是包括DDS、PCS、RCS、CDS和ODS的各个段(2D段)和3D_EX部分的PES有效载荷。3D_EX部分包括DDS和EDS的各个段(3D扩展段)。
在该情况下,构成2D段的各个段的每一个在数量上是两个。例如,在两个后续段中,第一个段是根据第一语言服务的段,而后一个段是根据第二语言服务的段。此外,构成3D扩展段的各个段的每一个在数量仅仅是一个,这是因为在各个语言服务之间对其共享。
这里,分配给根据第一语言服务的2D段的页面ID(=CP1)被设置为与分配给3D扩展段的页面ID(=AP1)不同。同样,分配给根据第二语言服务的2D段的页面ID(=CP2)被设置为与分配给3D扩展段的页面ID(=AP1)不同。这里,每一种语言服务的2D段操作为合成页面,并且共享的3D段操作为辅助页面。
此外,在该示例中,两个段DSS和EDS包括在3D_EX部分中。然而,包括在3D_EX部分中的段的组合不限于此。例如,3D_EX部分可以包括例如三个段ODS、DSS和EDS或者四个段CDS、ODS、DSS和EDS。
图72图示包括上述图71的字幕说明数据流PID1的传输数据流TS的配置的示例。传输流TS包括通过分组每一个基本流获得的PES分组。此外,在图72中,为了简化图示,与视频和音频相关的部分的图示被省略。
在该配置示例中,包括字幕说明数据流PID1的PES分组“字幕说明PES1”。页面ID“CP1”被分配给根据第一语言服务的除了3D_EX部分之外的DDS、PCS、RCS、CDS和ODS的各个段,也就是2D段。此外,页面ID“CP2”被分配给根据第二语言服务的除了3D_EX部分之外的DDS、PCS、RCS、CDS和ODS的各个段,也就是2D段。此外,页面ID“AP1”被分配给包括在根据3D_EX部分中的共享3D扩展段。
相应地,在字幕说明数据流PID1中,根据第一语言服务的各个段和根据第二语言服务的各个段可以通过页面ID识别。此外,在字幕说明数据流PID1中,根据第一语言服务的2D段和3D扩展段通过页面ID识别。此外,在字幕说明数据流PID1中,根据第二语言服务的2D段和3D扩展段通过页面ID识别。
PMT包括具有与字幕说明数据流有关的字幕说明基本循环。诸如字幕说明数据流的分组识别符(PID)之类的信息被布置在字幕说明基本循环中。此外,描述与字幕说明数据流有关的信息的描述符也被布置在字幕说明基本循环中。
在与字幕说明数据流PID1对应的字幕说明描述符中,以如下方式与第一语言服务的各个段相关联地设置合成页面ID“composition_page_id”和辅助页面ID“ancillary_page_id”。也就是说,合成页面ID和辅助页面ID被设置为与2D段相关联的相同值“CP1”。另一方面,合成页面ID和辅助页面ID被设置为与3D扩展段相关联的不同值。也就是说,合成页面ID被设置为“CP1”,并且辅助页面ID被设置为“AP1”。
同样,在与字幕说明数据流PID1对应的字幕说明描述符中,以如下方式与第二语言的各个段相关联地设置合成页面ID“composition_page_id”和辅助页面ID“ancillary_page_id”。也就是说,合成页面ID和辅助页面ID被设置为与2D段相关联的相同值“CP2”。另一方面,合成页面ID和辅助页面ID被设置为与3D扩展段相关联的不同值。也就是说,合成页面ID被设置为“CP2”,并且辅助页面ID被设置为“AP2”。
如图67和68所述,当字幕说明数据流PID被设置为如图71所示并且如图72所示对应的字幕说明描述符描述合成页面ID、辅助页面ID等时,可以在传统2D兼容接收设备和3D兼容接收设备中实现预定效果。
另外,图43图示机顶盒200配备与数字调谐器204连接的天线输入端203。然而,接收通过电缆发送的RF信号的机顶盒也可以以同样的方式配置。在该情况下,提供电缆端来替代天线端子。
此外,因特网和家庭网络直接或者通过路由器连接到的机顶盒也可以以同样的方式配置。在该情况下,上述传输流TS从因特网和家庭网络直接或者通过路由器发送到机顶盒。
图73图示在那种情况下机顶盒200A的配置的示例。在图73中,与图43中的那些对应的单元由相同的参考标号表示。机顶盒200A包括与网络接口209连接的网络端208。传输流TS从网络接口209输出然后供应到位流处理单元201。虽然未详细描述,但机顶盒200A的其他单元具有与图43所示的机顶盒200的对应单元相同的配置和操作。
此外,图46图示电视接收器300配备有连接到数字调谐器204的天线输入端304。然而,接收通过从电缆发送的RF信号的电视接收器也可以以同样的方式配置。在该情况下,提供电缆端来替代天线端子304。
此外,因特网和家庭网络直接或者通过路由器连接到的电视接收器也可以以同样的方式配置。在该情况下,上述传输流TS从因特网和家庭网络直接或者通过路由器发送到机顶盒。
图74图示在那种情况下电视接收器300A的配置的示例。在图74中,与图46中的那些对应的单元由相同的参考标号表示。电视接收器300A包括与网络接口314连接的网络端313。传输流TS从网络接口314输出然后供应到位流处理单元306。虽然未详细描述,电视接收器300A的其他单元具有与图46所示的电视接收器300的对应单元相同的配置和操作。
此外,在上述实施例中,图像发送/接收系统10图示为包括广播站100、机顶盒200和电视接收器300。然而,如图46所示,电视接收器包括位流处理单元306,其以与机顶盒200中的位流处理单元201相同的方式起作用。因此,如图75所示,图像发送/接收系统10A可以被设计为包括广播站100和电视接收器300。
此外,在上述实施例中,机顶盒200和电视接收器300图示为通过HDMI数字接口连接。然而,即使当机顶盒200和电视接收器300通过等效于HDMI数字接口的任何其他数字接口(包括无线接口以及有线接口)连接时,也可以类似地应用本技术。
此外,在上述实施例中,字幕说明(字幕)被处理为叠加信息。然而,即使当诸如图形信息和文本信息之类的其他类型的信息被处理为叠加信息时,并且即使当分割为基本流和附加流并且编码以与相关联的方式被输出的那些与音频流相关联地处理时,也可以类似地应用本技术。
此外,本技术可以具有以下配置。
(1)一种发送设备,包括:
图像数据输出单元,配置为输出构成立体图像的左眼图像数据和右眼图像数据;
叠加信息数据输出单元,配置为输出要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据;
视差信息输出单元,配置为输出视差信息,用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差;以及
数据发送单元,配置为发送包括视频数据流和专用数据流的复用数据流,所述视频数据流包括图像数据,所述专用数据流包括叠加信息数据和视差信息,
其中,向专用数据流中的叠加信息数据和视差信息中的每一个添加指示单独服务的服务识别信息。
(2)根据(1)所述的发送设备,其中
添加到叠加信息数据的第一服务识别信息和添加到视差信息的第二服务识别信息之间具有唯一关系,
与专用数据流对应的描述符被插入到复用数据流中,以及
描述符描述与第一服务识别信息对应的识别信息而不描述与第二服务识别信息对应的识别信息。
(3)根据(2)所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,
描述符是字幕说明描述符,以及
与第一服务识别信息对应的识别信息是复合页面ID。
(4)根据(1)所述的发送设备,其中
与专用数据流对应的描述符被插入到复用数据流中,以及
描述符描述与添加到叠加信息数据的第一服务识别信息对应的第一识别信息,并且描述与第一识别信息不同的、与添加到视差信息的第二服务识别信息对应的第二识别信息。
(5)根据(4)所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,
描述符是字幕说明描述符,以及
第一识别信息是复合页面ID并且第二识别信息是辅助页面ID。
(6)根据(4)所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,
描述符是字幕说明描述符,以及
第一识别信息和第二识别信息是复合页面ID。
(7)根据(1)和(4)到(6)中任一项所述的发送设备,其中
与专用数据流对应的描述符被插入到复用数据流中,以及
描述符描述指示叠加信息数据的信息类型是与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的第一类型的第一类型信息,并且描述指示视差信息的信息类型是与第一类型不同的、与添加到专用数据流中的视差信息的第二服务识别信息相关联的第二类型的类型信息。
(8)根据(1)和(4)到(7)中任一项所述的发送设备,其中
与专用数据流对应的描述符被插入到复用数据流中,以及
描述符描述指示与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的预定语言的第一语言信息,并且描述指示与添加到专用数据流中的视差信息的第二服务识别信息相关联的非语言的第二语言信息。
(9)根据(1)到(8)中任一项所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,
第一页面ID作为服务识别信息被分配给包括在专用数据流中的叠加信息数据的第一段,以及
第二页面ID作为服务识别信息被分配给包括在专用数据流中的视差信息的第二段。
(10)根据(9)所述的发送设备,其中,第二页面ID的值等于第一页面ID的值加预定值。
(11)根据(9)或(10)所述的发送设备,其中
与专用数据流对应的字幕说明描述符被插入到复用数据流中,以及
字幕说明描述符描述指示与第一页面ID相关联的第一类型的第一字幕说明类型信息,并且描述指示与第一类型不同的、与第二页面ID相关联的第二类型的第二字幕说明类型信息。
(12)根据(9)到(11)中任一项所述的发送设备,其中
与专用数据流对应的字幕说明描述符被插入到复用数据流中,以及
字幕说明描述符描述指示与第一页面ID相关联的预定语言的第一语言信息,并且描述指示与第二页面ID相关联的非语言的第二语言信息。
(13)根据(1)到(12)中任一项所述的发送设备,其中,复用数据流包括多个专用数据流,该多个专用数据流包括与单语言服务对应的视差信息和叠加信息数据。
(14)根据(1)到(12)中任一项所述的发送设备,其中,复用数据流包括专用数据流,该专用数据流包括分别与多语言服务对应的视差信息和叠加信息数据。
(15)根据(14)所述的发送设备,其中,共享与多语言服务对应的视差信息。
(16)根据(15)所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,以及
将与多语言服务对应的视差信息操作为辅助页面。
(17)一种发送方法,包括以下步骤:
输出构成立体图像的左眼图像数据和右眼图像数据;
输出要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据;
输出视差信息,用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差;以及
发送包括视频数据流和专用数据流的复用数据流,该视频数据流包括图像数据,该专用数据流包括叠加信息数据和视差信息,
其中,向专用数据流中的叠加信息数据和视差信息中的每一个添加指示单独服务的服务识别信息。
(18)一种接收设备,包括:
数据接收单元,配置为接收包括视频数据流和专用数据流的复用数据流,该视频数据流包括构成立体图像的左眼图像数据和右眼图像数据,该专用数据流包括要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据和用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差的视差信息;
第一解码单元,配置为从复用数据流提取视频数据流并且解码所提取的视频数据流;以及
第二解码单元,配置为从复用数据流提取专用数据流并且解码所提取的专用数据流,
其中,指示单独服务的服务识别信息被添加到专用数据流中的叠加信息数据和视差信息中的每一个,以及
第二解码单元基于服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。
(19)根据(18)所述的接收设备,其中
与专用数据流对应的描述符被插入到复用数据流中,
描述符描述指示叠加信息数据的信息类型是与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的第一类型的第一类型信息,并且描述指示视差信息的信息类型是与第一类型不同的、与添加到专用数据流中的视差信息的第二服务识别信息相关联的第二类型的类型信息,以及
第二解码单元基于类型信息外加服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。
(20)根据(18)或(19)所述的接收设备,其中
与专用数据流对应的描述符被插入到复用数据流中,
描述符描述指示与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的预定语言的第一语言信息,并且描述指示与添加到专用数据流中的视差信息的第二服务识别信息相关联的非语言的第二语言信息,以及
第二解码单元基于语言信息外加服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。
(21)一种接收设备,包括:
数据接收单元,配置为接收包括视频数据流和专用数据流的复用数据流,该视频数据流包括构成立体图像的左眼图像数据和右眼图像数据,该专用数据包括要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据和用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差的视差信息;
第一解码单元,配置为从复用数据流提取视频数据流并且解码所提取的视频数据流;以及
第二解码单元,配置为从复用数据流提取专用数据流并且解码所提取的专用数据流,
其中,指示单独服务的服务识别信息被添加到专用数据流中的叠加信息数据和视差信息中的每一个,
被添加到叠加信息数据的第一服务识别信息和被添加到视差信息的第二服务识别信息之间具有唯一关系,
与专用数据流对应的描述符被插入到复用数据流中,
描述符描述与第一服务识别信息对应的识别信息而不描述与第二服务识别信息对应的识别信息,以及
第二解码单元基于唯一关系和在描述符中描述的、与第一服务识别信息对应的识别信息从专用数据流获得叠加信息数据和视差信息。
本技术的主要特征是分配各个对应页面ID给2D段(DDS、PCS、RCS、CDS、ODS、EDS等)和3D扩展段(DSS等),由此使得能够仅仅由一个PES流发送这些段,同时保持2D兼容性(见图11和19)。此外,在多语言服务之间,分配与各个段对应的页面ID,由此保持兼容性(见图47和50)。
此外,2D段和3D扩展段被设置为在它们之间具有唯一关系,并且字幕说明描述符被设置为仅仅描述添加到2D段中的合成页面ID,使得传统2D兼容接收设备和3D兼容接收设备的接收处理能够被适当执行(见图63和64)。此外,2D段被操作为合成页面,并且3D扩展段被操作为辅助页面,使得传统2D兼容接收设备和3D兼容接收设备的接收处理能够被适当执行(见图67和68)。
参考标号列表
10、10A  图像发送/接收系统
100  广播站
111  数据提取单元
112  视频解码器
113  音频解码器
114  字幕说明生成单元
115  视差信息创建单元
116  字幕说明处理单元
118  字幕说明编码器
119  复用器
200、200A  机顶盒(STB)
201  视频流处理单元
202  HDMI端
203  天线端子
204  数字调谐器
205  视频信号处理电路
206  HDMI发送单元
207  音频信号处理电路
208  网络端
209  网络接口
211  CPU
215  遥控接收单元
216  遥控发送单元
221  解复用器
222  视频解码器
223  编码数据缓冲器
224  字幕说明解码器
225  像素缓冲器
226  视差信息内插单元
227  位置控制单元
228  视频叠加单元
229  音频解码器
300、300A  电视接收器(TV)
301  3D信号处理单元
302  HDMI端子
303  HDMI接收单元
304  天线端子
305  数字调谐器
306  视频流处理单元
307  视频/图形处理电路
308  面板驱动电路
309  显示面板
310  音频信号处理电路
311  音频放大电路
312  扬声器

Claims (21)

1.一种发送设备,包括:
图像数据输出单元,配置为输出构成立体图像的左眼图像数据和右眼图像数据;
叠加信息数据输出单元,配置为输出要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据;
视差信息输出单元,配置为输出视差信息,用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差;以及
数据发送单元,配置为发送包括视频数据流和专用数据流的复用数据流,所述视频数据流包括图像数据,所述专用数据流包括叠加信息数据和视差信息,
其中,向专用数据流中的叠加信息数据和视差信息中的每一个添加指示单独服务的服务识别信息。
2.根据权利要求1所述的发送设备,其中
添加到叠加信息数据的第一服务识别信息和添加到视差信息的第二服务识别信息之间具有唯一关系,
与专用数据流对应的描述符被插入到复用数据流中,以及
描述符描述与第一服务识别信息对应的识别信息而不描述与第二服务识别信息对应的识别信息。
3.根据权利要求2所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,
描述符是字幕说明描述符,以及
与第一服务识别信息对应的识别信息是复合页面ID。
4.根据权利要求1所述的发送设备,其中
与专用数据流对应的描述符被插入到复用数据流中,以及
描述符描述与添加到叠加信息数据的第一服务识别信息对应的第一识别信息,并且描述与第一识别信息不同的、与添加到视差信息的第二服务识别信息对应的第二识别信息。
5.根据权利要求4所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,
描述符是字幕说明描述符,以及
第一识别信息是复合页面ID并且第二识别信息是辅助页面ID。
6.根据权利要求4所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,
描述符是字幕说明描述符,以及
第一识别信息和第二识别信息是复合页面ID。
7.根据权利要求1所述的发送设备,其中
与专用数据流对应的描述符被插入到复用数据流中,以及
描述符描述指示叠加信息数据的信息类型是与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的第一类型的第一类型信息,并且描述指示视差信息的信息类型是与第一类型不同的、与添加到专用数据流中的视差信息的第二服务识别信息相关联的第二类型的类型信息。
8.根据权利要求1所述的发送设备,其中
与专用数据流对应的描述符被插入到复用数据流中,以及
描述符描述指示与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的预定语言的第一语言信息,并且描述指示与添加到专用数据流中的视差信息的第二服务识别信息相关联的非语言的第二语言信息。
9.根据权利要求1所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,
第一页面ID作为服务识别信息被分配给包括在专用数据流中的叠加信息数据的第一段,以及
第二页面ID作为服务识别信息被分配给包括在专用数据流中的视差信息的第二段。
10.根据权利要求9所述的发送设备,其中,第二页面ID的值等于第一页面ID的值加预定值。
11.根据权利要求9所述的发送设备,其中
与专用数据流对应的字幕说明描述符被插入到复用数据流中,以及
字幕说明描述符描述指示与第一页面ID相关联的第一类型的第一字幕说明类型信息,并且描述指示与第一类型不同的、与第二页面ID相关联的第二类型的第二字幕说明类型信息。
12.根据权利要求9所述的发送设备,其中
与专用数据流对应的字幕说明描述符被插入到复用数据流中,以及
字幕说明描述符描述指示与第一页面ID相关联的预定语言的第一语言信息,并且描述指示与第二页面ID相关联的非语言的第二语言信息。
13.根据权利要求1所述的发送设备,其中,复用数据流包括多个专用数据流,该多个专用数据流包括与单语言服务对应的视差信息和叠加信息数据。
14.根据权利要求1所述的发送设备,其中,复用数据流包括专用数据流,该专用数据流包括分别与多语言服务对应的视差信息和叠加信息数据。
15.根据权利要求14所述的发送设备,其中,共享与多语言服务对应的视差信息。
16.根据权利要求15所述的发送设备,其中
叠加信息数据是DVB字幕说明数据,以及
将与多语言服务对应的视差信息操作为辅助页面。
17.一种发送方法,包括以下步骤:
输出构成立体图像的左眼图像数据和右眼图像数据;
输出要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据;
输出视差信息,用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差;以及
发送包括视频数据流和专用数据流的复用数据流,该视频数据流包括图像数据,该专用数据流包括叠加信息数据和视差信息,
其中,向专用数据流中的叠加信息数据和视差信息中的每一个添加指示单独服务的服务识别信息。
18.一种接收设备,包括:
数据接收单元,配置为接收包括视频数据流和专用数据流的复用数据流,该视频数据流包括构成立体图像的左眼图像数据和右眼图像数据,该专用数据流包括要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据和用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差的视差信息;
第一解码单元,配置为从复用数据流提取视频数据流并且解码所提取的视频数据流;以及
第二解码单元,配置为从复用数据流提取专用数据流并且解码所提取的专用数据流,
其中,指示单独服务的服务识别信息被添加到专用数据流中的叠加信息数据和视差信息中的每一个,以及
第二解码单元基于服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。
19.根据权利要求18所述的接收设备,其中
与专用数据流对应的描述符被插入到复用数据流中,
描述符描述指示叠加信息数据的信息类型是与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的第一类型的第一类型信息,并且描述指示视差信息的信息类型是与第一类型不同的、与添加到专用数据流中的视差信息的第二服务识别信息相关联的第二类型的类型信息,以及
第二解码单元基于类型信息外加服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。
20.根据权利要求18所述的接收设备,其中
与专用数据流对应的描述符被插入到复用数据流中,
描述符描述指示与添加到专用数据流中的叠加信息数据的第一服务识别信息相关联的预定语言的第一语言信息,并且描述指示与添加到专用数据流中的视差信息的第二服务识别信息相关联的非语言的第二语言信息,以及
第二解码单元基于语言信息外加服务识别信息从专用数据流获得叠加信息数据或者叠加信息数据和视差信息。
21.一种接收设备,包括:
数据接收单元,配置为接收包括视频数据流和专用数据流的复用数据流,该视频数据流包括构成立体图像的左眼图像数据和右眼图像数据,该专用数据包括要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息数据和用于通过偏移要通过左眼图像数据和右眼图像数据叠加在图像上的叠加信息来提供视差的视差信息;
第一解码单元,配置为从复用数据流提取视频数据流并且解码所提取的视频数据流;以及
第二解码单元,配置为从复用数据流提取专用数据流并且解码所提取的专用数据流,
其中,指示单独服务的服务识别信息被添加到专用数据流中的叠加信息数据和视差信息中的每一个,
被添加到叠加信息数据的第一服务识别信息和被添加到视差信息的第二服务识别信息之间具有唯一关系,
与专用数据流对应的描述符被插入到复用数据流中,
描述符描述与第一服务识别信息对应的识别信息而不描述与第二服务识别信息对应的识别信息,以及
第二解码单元基于唯一关系和在描述符中描述的、与第一服务识别信息对应的识别信息从专用数据流获得叠加信息数据和视差信息。
CN2012800038050A 2011-09-01 2012-08-16 发送设备、发送方法和接收设备 Pending CN103222270A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-191141 2011-09-01
JP2011191141 2011-09-01
JP2011-203833 2011-09-16
JP2011203833A JP2013066075A (ja) 2011-09-01 2011-09-16 送信装置、送信方法および受信装置
PCT/JP2012/070863 WO2013031549A1 (ja) 2011-09-01 2012-08-16 送信装置、送信方法および受信装置

Publications (1)

Publication Number Publication Date
CN103222270A true CN103222270A (zh) 2013-07-24

Family

ID=47756043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012800038050A Pending CN103222270A (zh) 2011-09-01 2012-08-16 发送设备、发送方法和接收设备

Country Status (6)

Country Link
US (1) US20130222542A1 (zh)
EP (1) EP2621177A4 (zh)
JP (1) JP2013066075A (zh)
KR (1) KR20140052911A (zh)
CN (1) CN103222270A (zh)
WO (1) WO2013031549A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155866A (zh) * 2016-05-31 2019-01-04 索尼公司 发送装置、发送方法、接收装置和接收方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481911B2 (en) 2015-08-18 2022-10-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2018070255A1 (ja) 2016-10-11 2018-04-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
HUE060571T2 (hu) * 2016-11-22 2023-03-28 Saturn Licensing Llc Átviteli eszköz, átviteli eljárás, vevõkészülék és vételi eljárás
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
KR102551131B1 (ko) * 2018-09-13 2023-07-03 엘지디스플레이 주식회사 표시 장치 및 표시 장치를 포함하는 헤드 마운트 장치
CN113886612A (zh) * 2020-11-18 2022-01-04 北京字跳网络技术有限公司 一种多媒体浏览方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157025A1 (en) * 2008-12-02 2010-06-24 Lg Electronics Inc. 3D caption display method and 3D display apparatus for implementing the same
CN101933337A (zh) * 2009-02-19 2010-12-29 松下电器产业株式会社 记录介质、再现装置、集成电路
WO2011001857A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011030180A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20110037833A1 (en) * 2009-08-17 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for processing signal for three-dimensional reproduction of additional data
WO2011059290A2 (en) * 2009-11-13 2011-05-19 Samsung Electronics Co., Ltd. Method and apparatus for generating multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information, and method and apparatus for receiving multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information
US20110134210A1 (en) * 2009-06-29 2011-06-09 Sony Corporation Stereoscopic image data transmitter and stereoscopic image data receiver
CN102165784A (zh) * 2009-06-29 2011-08-24 索尼公司 立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置
CN102172034A (zh) * 2009-06-29 2011-08-31 索尼公司 图像数据发送设备、控制方法和程序

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
EP1875440B1 (en) * 2005-04-19 2008-12-03 Koninklijke Philips Electronics N.V. Depth perception
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US8422766B2 (en) * 2008-06-24 2013-04-16 Thomson Licensing System and method for depth extraction of images with motion compensation
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
EP2389767A4 (en) * 2009-01-20 2013-09-25 Lg Electronics Inc 3D SUBTITLE DISPLAY METHOD AND 3D SUBTITLE DISPLAY DEVICE FOR USING THIS METHOD
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
EP2537347B1 (en) * 2010-02-15 2019-06-05 InterDigital Madison Patent Holdings Apparatus and method for processing video content
CN105163105B (zh) * 2010-05-30 2018-03-27 Lg电子株式会社 处理和接收用于3维字幕的数字广播信号的方法和装置
EP2594079B1 (en) * 2010-07-12 2018-03-21 Koninklijke Philips N.V. Auxiliary data in 3d video broadcast
US8896664B2 (en) * 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service
JP2012099986A (ja) * 2010-10-29 2012-05-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012100102A (ja) * 2010-11-02 2012-05-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012120143A (ja) * 2010-11-10 2012-06-21 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US9628769B2 (en) * 2011-02-15 2017-04-18 Thomson Licensing Dtv Apparatus and method for generating a disparity map in a receiving device
JP2013021415A (ja) * 2011-07-07 2013-01-31 Sony Corp 送信装置、送信方法および受信装置
JP2013026696A (ja) * 2011-07-15 2013-02-04 Sony Corp 送信装置、送信方法および受信装置
JP2013051660A (ja) * 2011-08-04 2013-03-14 Sony Corp 送信装置、送信方法および受信装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157025A1 (en) * 2008-12-02 2010-06-24 Lg Electronics Inc. 3D caption display method and 3D display apparatus for implementing the same
CN101933337A (zh) * 2009-02-19 2010-12-29 松下电器产业株式会社 记录介质、再现装置、集成电路
WO2011001857A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011030180A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20110134210A1 (en) * 2009-06-29 2011-06-09 Sony Corporation Stereoscopic image data transmitter and stereoscopic image data receiver
CN102165784A (zh) * 2009-06-29 2011-08-24 索尼公司 立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置
CN102172034A (zh) * 2009-06-29 2011-08-31 索尼公司 图像数据发送设备、控制方法和程序
US20110037833A1 (en) * 2009-08-17 2011-02-17 Samsung Electronics Co., Ltd. Method and apparatus for processing signal for three-dimensional reproduction of additional data
WO2011059290A2 (en) * 2009-11-13 2011-05-19 Samsung Electronics Co., Ltd. Method and apparatus for generating multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information, and method and apparatus for receiving multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155866A (zh) * 2016-05-31 2019-01-04 索尼公司 发送装置、发送方法、接收装置和接收方法

Also Published As

Publication number Publication date
JP2013066075A (ja) 2013-04-11
EP2621177A1 (en) 2013-07-31
US20130222542A1 (en) 2013-08-29
KR20140052911A (ko) 2014-05-07
WO2013031549A1 (ja) 2013-03-07
EP2621177A4 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
CN103222270A (zh) 发送设备、发送方法和接收设备
CN102342113B (zh) 立体图像数据传输装置和立体图像数据接收装置
KR101819736B1 (ko) 3d 비디오 방송에서의 보조 데이터
CN102342112B (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN102883172A (zh) 接收装置、接收方法和发送接收方法
CN102244795A (zh) 发送和接收立体图像数据的设备和方法
CN103416069A (zh) 发送设备、发送方法、接收设备以及接收方法
CN103597823A (zh) 发送装置、发送方法和接收器装置
WO2012060198A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CN103155574A (zh) 发射机、传送方法和接收机
WO2013018490A1 (ja) 送信装置、送信方法および受信装置
KR20130090318A (ko) 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법, 입체화상 데이터 수신 장치 및 입체화상 데이터 수신 방법
CN102771130A (zh) 三维图像数据发送设备、三维图像数据发送方法、三维图像数据接收设备和三维图像数据接收方法
CN102771131A (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN103168476A (zh) 发送器、发送方法以及接收器
CN103404153A (zh) 发送装置、发送方法以及接收装置
CN103053166A (zh) 立体图像数据发送设备、立体图像数据发送方法和立体图像数据接收设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130724