CN102959952A - 数字接收器以及在数字接收器中处理字幕数据的方法 - Google Patents

数字接收器以及在数字接收器中处理字幕数据的方法 Download PDF

Info

Publication number
CN102959952A
CN102959952A CN201180031454XA CN201180031454A CN102959952A CN 102959952 A CN102959952 A CN 102959952A CN 201180031454X A CN201180031454X A CN 201180031454XA CN 201180031454 A CN201180031454 A CN 201180031454A CN 102959952 A CN102959952 A CN 102959952A
Authority
CN
China
Prior art keywords
service
caption
command code
window
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180031454XA
Other languages
English (en)
Other versions
CN102959952B (zh
Inventor
徐琮烈
N·楠哈库马尔
T·劳德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN201610333511.4A priority Critical patent/CN105812771B/zh
Publication of CN102959952A publication Critical patent/CN102959952A/zh
Application granted granted Critical
Publication of CN102959952B publication Critical patent/CN102959952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种提供3D字幕数据的数字接收器和用于在本发明的数字接收器中处理3D字幕数据的方法。根据本发明的一个方面的用于发送用于3D服务的广播信号的方法包括下述步骤：编码包括3D字幕服务的3D视频ES；生成用于信令包括编码后的3D视频ES的3D视频服务的信令信息；以及发送包括3D视频服务和信令信息的数字广播信号，其中，所述3D字幕服务包括用于生成左字幕数据的第一命令代码以及指示字幕窗口的视差值的第二命令代码，并且基于第一命令代码和第二命令代码生成右字幕数据。

Description

数字接收器以及在数字接收器中处理字幕数据的方法
技术领域
本发明涉及一种数字接收器和在数字接收器中处理字幕数据的方法，并且更具体地，涉及一种提供三维（3D）字幕数据的数字接收器和在数字接收器中处理3D字幕数据的方法。
背景技术
三维（3D）图像允许用户使用立体视觉的原理体验3D效果，该立体视觉的原理通过分离大约65mm的两眼的不同视点（即，由于两眼之间的距离导致的双眼视差）提供立体感觉。3D图像被提供为利用左眼和右眼观看对应的平面图像，从而允许用户体验3D和立体效果。
尽管数字广播目前已经相当普遍，但是从模拟广播时代到目前为止，现有的广播服务还是二维（2D）服务。
然而，从具体应用领域开始，对于提供比平面的2D服务更真实且立体的3D（或立体）图像的3D服务的兴趣近来正在增加，并且因此，对于3D服务以及相关的服务的研究逐渐增加。
对于能够提供3D服务的数字接收器的兴趣和研究也在增加。
然而，传统的数字接收器仅提供2D字幕数据并且即使当内容为3D时也将内容的字幕数据作为2D字幕数据来处理，使得用户不能够满意地观看字幕，因此不能够给用户提供舒服的感觉。
发明内容
本发明用于克服上述问题，并且本发明的目的在于提供一种能够提供3D字幕数据同时保持与老式装置的兼容性的数字接收器。
本发明的另一目的在于当提供多个3D字幕数据时适当地控制多个字幕数据中的全部或每一个。
本发明的另一目的在于当3D字幕数据的视差信息已经改变时，防止用户由于与3D字幕数据的改变相关的处理而感觉到眩晕。
本发明提供了一种用于提供3D字幕数据的数字接收器及其处理方法。
本发明的一个方面的一种用于发送用于三维3D服务的广播信号的方法，包括编码3D视频基本码流ES，该3D视频基本码流ES包括3D字幕服务；生成用于信令包括编码后的3D视频ES的3D视频服务的信令信息；以及发送包括3D视频服务和信令信息的数字广播信号，其中，3D字幕服务包括用于生成左字幕数据的第一命令代码以及指示字幕窗口的视差值的第二命令代码，并且基于第一命令代码和第二命令代码生成右字幕数据。
第二命令代码可以包括指示是否不管接收器中的窗口ID而将同一视差值应用于所有当前解码窗口的标志。
根据标志的值，由第二命令代码指示的视差值可以应用于所有字幕窗口或者应用于在第二命令代码中指示的特定窗口ID的字幕窗口。
可以从3D视频ES的补充增强信息SEI消息或图片头中的一个提取3D字幕服务数据。
根据本发明的另一方面的用于处理用于三维（3D）服务的广播信号的方法包括：接收包括编码3D服务和用于编码3D服务的信令信息的数字广播信号；从3D服务提取3D视频基本码流ES；从提取的3D视频ES提取用于3D字幕服务的数据；以及使用提取的3D字幕服务数据提供3D字幕服务，其中，提取的3D字幕服务包括用于生成左字幕数据的第一命令代码和指示字幕窗口的视差值的第二命令代码，并且基于第一命令代码和第二命令代码生成右字幕数据。
第二命令代码可以包括指示是否不管接收器中的窗口ID而将同一视差值应用于所有当前解码窗口的标志。
根据标志的值，由第二命令代码指示的视差值可以应用于所有字幕窗口或者应用于在第二命令代码中指示的特定窗口ID的字幕窗口。
可以从3D视频ES的补充增强信息SEI消息或图片头中的一个提取3D字幕服务数据。
3D字幕服务数据可以进一步包括第三命令代码，该第三命令代码用于执行下述控制，该控制用于允许在已经过去了对应于帧计数的数目的帧之后将对应的字幕窗口定位在对应于不同视差的深度。
对应于第三命令代码的值可以在每帧或者预定帧时段的间隔逐渐地改变视差。
根据本发明的另一方面的用于处理用于三维（3D）服务的广播信号的方法，包括：接收数字广播信号，该数字广播信号包括编码3D服务和用于编码3D服务的信令信息；从3D服务提供3D视频基本码流ES；从提取的3D视频ES提取用于3D字幕服务的数据；以及使用提取的3D字幕服务数据提供3D字幕服务，其中，提取的3D字幕服务包括用于生成左字幕数据的第一命令代码、指示字幕窗口的视差值的第二命令代码以及用于执行下述控制的第三命令代码，该控制用于允许在已经过去了对应于帧计数的数目的帧之后将对应的字幕窗口定位在对应于不同视差的深度，并且基于第一命令代码和第二命令代码生成右字幕数据。
根据本发明的另一方面的用于处理三维（3D）服务的广播信号的方法，包括：接收数字广播信号，该数字广播信号包括3D服务和用于编码3D服务的信令信息；从3D服务提取3D视频基本码流ES；从提取的3D视频ES提取用于3D字幕服务的数据；使用用于生成左字幕数据的第一命令代码确定字幕窗口的坐标，该第一命令代码包括在提取的3D字幕服务数据中；根据第二命令代码确定字幕窗口的视差值，该第二命令代码指示字幕窗口的视差值；使用视差和视频ES的水平大小信息确定将叠加在右字幕数据上的对应的字幕窗口的坐标；以图像格式存储字幕数据；将左字幕数据和左视频图片以及右字幕数据和右视频图片混合；以及根据显示格式对混合图像进行交错并且输出交错后的图像。
根据本发明的另一方面的用于处理三维（3D）服务的数字接收器，包括接收单元，该接收单元被构造为接收数字广播信号，该数字广播信号包括3D服务和用于3D服务的信令信息；解复用器，该解复用器被构造为将数字广播信号解复用为3D服务和信令信息；解码器，该解码器被构造为从3D服务提取并且解码3D视频基本码流ES并且从提取的3D视频ES提取并输出3D字幕数据；字幕数据处理器，该字幕数据处理器被构造为对提取的3D字幕数据进行解码；图形处理器，该图形处理器被构造为基于解码3D字幕数据对左视点图像和右视点图像进行处理和存储；混合器，该混合器被构造为将3D视频数据和3D字幕数据进行混合；3D格式化器，该3D格式化器被构造为根据显示格式对混合数据进行交错和输出；以及显示单元，该显示单元被构造为输出交错后的3D服务数据。
3D字幕数据可以包括用于生成左字幕数据的第一命令代码、指示字幕窗口的视差值的第二命令代码和用于执行下述控制的第三命令代码，该控制用于允许在已经过去了对应于帧计数的数目的帧之后将字幕窗口定位在对应于不同视差的深度，并且可以基于第一命令代码和第二命令代码生成右字幕数据。
第二命令代码可以包括指示是否不管窗口ID而将同一视差值应用于所有当前解码字幕窗口的标志，并且数字接收器可以根据标志的值将由第二命令代码指示的视差值应用于所有字幕窗口或者应用于在第二命令代码中指示的特定窗口ID的字幕窗口。
本发明具有各种优点。
首先，能够给数字接收器提供3D字幕数据同时保持与老式装置的兼容性。
其次，当提供多个3D字幕数据时，能够完全或个别地控制多个3D字幕数据。
第三，即使当3D字幕数据的视差信息快速地变化时，也能够执行处理以防止用户感觉到眩晕。
附图说明
图1示出了根据本发明的示例性数字接收器；
图2和图3示出了根据本发明的用于立体显示的字幕；
图4示出了根据本发明的数字接收器中的3D字幕数据的示例性处理过程；
图5示出了根据本发明的用于视差编码的示例性代码集映射；
图6示出了根据本发明的用于视差编码的示例性命令代码；
图7示出了根据本发明的示例性使用场景；
图8示出了根据本发明的用于字幕窗口的深度的平滑改变的示例性代码集映射；
图9和图10示出了根据本发明的用于字幕窗口的深度的平滑改变的示例性命令代码；以及
图11示出了根据本发明的数字接收器中的3D字幕数据的另一示例性处理过程。
具体实施方式
将在下面参考附图详细描述根据本发明的图像处理设备和方法的各种实施方式。
本发明涉及一种数字接收器和数字接收器的处理字幕数据的方法，并且更具体地，涉及一种提供三维（3D）字幕数据的数字接收器和在数字接收器中处理3D字幕数据的方法。
本公开在下述方面描述了本发明的各种实施方式。首先，3D字幕数据被提供给数字接收器同时保持了与老式装置的向后兼容性。其次，当提供多个3D字幕数据时，适当地控制该多个字幕数据的全部或每一个。第三，当提供的3D字幕数据的视差信息改变时，执行视差信息的处理使得用户由于视差信息的处理而不会感觉到晕眩。具体地，如果在视差信息剧烈改变时立即应用视差信息，则剧烈改变的视差会使得用户感觉到不舒服，从而导致用户在3D观看期间感觉到不舒服。
将在下面参考附图顺序地描述本发明的上述方面。
为了本发明的更好的理解并且便于说明，数字接收器可以示例为包括用于3D服务处理的组件的数字电视接收器。数字电视接收器可以是接收设备，其包括用于3D服务处理的组件的机顶盒和用于输出由机顶盒处理后的3D服务的数字单元。数字电视接收器还可以被提供为集成的处理模块的形式。数字接收器也可以包括接收、处理和/或提供3D服务的任何装置，例如个人数字助理（PDA）、移动电话或智能电话。数字接收器也可以是仅3D接收器和用于2D和3D的接收器中的一种。
显示3D图像的方法包括考虑2个视点的立体图像显示方法和考虑3个或更多视点的多视点图像显示方法。传统的单视点图像显示方法也被称为单视场图像显示方法。
立体图像显示方法使用通过使用两个相机（即，左相机和右相机）捕获同一对象获取的一对图像。多视点图像显示方法使用通过使用3个或更多具有预定距离或角度的相机捕获同一对象获取的3个或更多图像。
虽然在下面参考立体图像显示方法作为示例来描述本发明，但是本发明的精神也可以根据相同或类似原理应用于多视点图像显示方法。
立体图像的传输格式被分类为单视频流格式和多视频流格式。
单视频流格式包括并排、上下、交错、帧顺序、棋盘和立体影片格式并且多视频流格式包括全左/右、全左/半右和2D视频/深度格式。
立体图像或多视点图像可以在通过各种图像压缩编码方案（例如，活动图像专家组（MPEG））进行压缩和编码之后进行发送。
例如，并排、上下、交错、帧顺序或棋盘格式的立体图像可以在通过H.264/高级视频编码（AVC）方案进行压缩和编码之后进行发送。这里，接收系统可以通过以H.264/AVC编码方案的相反方式对立体图像进行解码来获得3D图像。
全左/半右视点图像中的左视点图像或者多视点图像中的一个图像是基层图像并且剩余的图像被指派为增强层图像。基层图像可以在使用与单视场图像相同的方案编码之后进行发送。另一方面，增强层图像可以在仅编码基层与增强层图像之间的相关信息之后进行发送。例如，可以使用JPEG、MPEG-1、MPEG-2、MPEG-4、H.264/AVC等等作为基层图像的压缩编码方案。H.264/多视点视频编码（MVC）可以用作上层图像的压缩编码方案。这里，虽然立体图像被分配为基层图像和增强层图像，但是多视点图像被分配为基层图像和多个增强层图像。用于将多视点图像划分为基层图像和一个或多个增强层图像的基准可以根据相机的位置来确定或者根据相机的布置方案来确定。这样的划分基准也可以在没有特定标准或规则的情况下任意地确定。
这样的3D图像显示类型被宽泛地分类为立体类型、体型和全息型。例如，采用这样的立体技术的3D图像显示装置将深度信息添加到2D图像并且允许用户通过这样的深度信息感觉3D生动性和真实性。
3D图像观看类型被宽泛地分类为眼镜类型和无眼镜类型。
眼镜类型被分类为被动式和主动式。被动式使用偏振光滤光片以允许用户分别地观看左眼图像和右眼图像。被动式还包括允许用户分别用两个眼睛使用绿色和红色眼镜观看3D图像。另一方面，主动式使用随时间顺序地打开左眼镜和右眼镜来分离左眼图像和右眼图像的液晶快门分离左视点图像和右视点图像。在主动式中，按时间划分的画面以预定时间间隔重复并且与时段同步的电子快门安装在用户佩戴用于观看3D图像的眼镜上。这样的主动式也称为时间分割式或快门眼镜式。
典型的无眼镜类型包括其中其上垂直地布置柱状透镜阵列的柱状透镜板安装在显示面板的前方的柱状透镜类型和其中具有周期性狭缝的屏障层设置在显示面板的顶部的视差屏障类型。然而，为了解释的方便起见，下面参考眼镜类型作为示例来描述本发明。
图1示出了根据本发明的示例性数字接收器。
如图1中所示，根据本发明的数字接收器包括接收单元110、解调器（或解调部）120、解复用器（解复用部）130、信令信息处理器（或SI处理部）140、音频/视频（A/V）解码器150、字幕数据处理器160、图形引擎170、屏上显示（OSD）处理器180、混合器185、3D输出格式化器190和控制器195。
下面描述数字接收器的组件的基本操作并且将在下面描述的每个实施方式中更详细地描述本发明。
接收单元110通过RF信道从内容源接收包括3D图像数据和用于3D图像数据的字幕数据的数字广播信号。
解调器120使用对应于在发送侧已经应用于数字广播信号的调制方案的解调方案解调接收到的数字广播信号。
解复用器130将解调后的数字广播信号解复用为音频数据、视频数据和信令信息。这里，解复用器130可以使用分组标识符（PID）对解调后的数字广播信号进行解复用以将解调后的数字广播信号解复用为音频数据、视频数据和信令信息。解复用器130将解复用后的音频和视频信号输出到A/V解码器150并且将信令信息输出到信令信息处理器140。
信令信息处理器140对从解复用器130接收的信令信息进行处理并且将处理后的信令信息提供给要求处理后的信令信息的每个组件。这里，虽然信令信息可以包括诸如数字视频广播服务信息（DVB-SI）、节目专用信息（PSI）和节目和系统信息协议（PSIP）信息的系统信息（SI），但是为了说明的方便起见，参考PSI/PSIP信息作为示例来进行下面的描述。信令信息处理器140可以在内部或外部包括数据库（DB），其临时地存储处理后的信令信息。将在下面描述的每个实施方式中更详细地描述信令信息。
信令信息处理器140确定是否存在指示对应的内容是2D图像还是3D图像的信令信息。在确定存在信令信息的情况下，信令信息处理器140读取信令信息并且将信令信息发送给控制器195。信令信息处理器140解析用于3D字幕服务的节目映射表（PMT）和/或事件信息表（EIT）并且从解析的PMT和/或EIT提取用于字幕服务的描述符并且将提取的描述符传递给视频解码器（和/或控制器）使得在视频解码器（和/或控制器）处适当地处理用于3D服务的字幕服务。
A/V解码器150接收和解码解复用后的音频/视频数据。这里，A/V解码器150可以例如基于由信令信息处理器140处理的信令信息对数据进行解码。
在下面，省略音频数据处理的描述，并且首先，将更详细地描述与本发明相关的视频数据处理。视频信号（即，3D视频ES）包括头&扩展部分，其包括用于视频数据处理的信息项目；以及包括实际视频数据的部分。
与此相关地，根据本发明的视频解码器可以例如基于从PMT和/或EIT提取的字幕服务描述符识别并且处理通过对应的字幕服务信道接收的字幕数据。
A/V解码器150包括处理头&扩展部分的头&扩展单元154和视频数据处理器152。
与本发明相关地，头&扩展单元154提取字幕数据并且将提取的字幕数据提供给字幕数据处理器160。这里，根据本发明，字幕数据包括例如3D字幕数据。
字幕数据处理器160对从头&扩展单元154提取并且提供的字幕数据进行解码。这里，字幕数据处理器160可以例如基于由信令信息处理器140处理的信令信息对字幕数据进行解码。
图形引擎170以3D格式生成提供由字幕数据处理器160解码的每个字幕数据项目所要求的处理等等的控制信号并且通过OSD处理器180生成根据本发明的包括3D字幕数据的OSD数据。图形引擎170和OSD处理器180生成用于左眼图像和右眼图像的全分辨率字幕图像并且将生成的字幕图像存储在缓冲器或存储器（未示出）中。
视频数据处理器152从3D视频ES提取并解码实际视频数据。
解码后的3D视频ES的每个数据项目经由对应的组件在混合器185处适当地混合。
3D输出格式化器190对在混合器185处混合的3D视频信号和包括用于3D视频信号的3D字幕数据的OSD数据格式化并且输出为3D输出格式。这里，3D输出格式化器190可以仅在解码后的图像数据为3D图像数据时才激活。即，当解码后的图像数据为2D图像数据时，3D输出格式化器190被去激活，即，3D输出格式化器190输出输入图像数据而没有进行任何特殊处理。即，这里，图像数据可以绕过3D输出格式化器190。3D输出格式化器190例如在图像数据的输入过程中根据3D显示的3D格式类型（例如，并排或上下）对输入图像数据进行调整大小等等。
3D输出格式化器190执行从解码后的输入视频格式转换为输出格式所要求的处理。
与此相关地，可以在A/V解码器150与3D输出格式化器190之间执行用于伪影消除、锐度增强、对比度增强、去交错、帧率转换和/或其它类型的质量增强模块的视频处理模块（3D输出格式化器执行从输入（解码）视频格式转换到原生3D显示格式所要求的处理，可以在A/V解码器150与3D输出格式化器190之间存在例如伪影消除、锐度、对比度增强、去交错、帧率转换和其它类型的质量增强模块的视频处理模块）。
控制器195执行数字接收器的整体控制并且还可以基于由信令信息处理器140处理的信令信息控制A/V解码器150、控制器195、字幕数据处理器160、图形引擎170、OSD处理器180和3D输出格式化器190以允许3D字幕数据与3D服务一起适当地进行处理。将在下面更详细地描述这样的详细控制。
关于数字接收器中提供3D字幕数据，本发明定义了用于使用左眼和右眼图像的偏移的立体3DTV的字幕数据命令代码同时保持了与老式数字接收器的字幕数据处理方法的向后兼容性并且还提出了与所定义的字幕数据命令代码关联的处理方法。特别地，在本发明中，当同一深度应用于同一画面中的多个窗口时，能够使用单个命令指定所有窗口的深度。
在下面的描述中，为了说明的方便起见，将通过主要描述用于3D服务的3D字幕数据的处理和提供来描述本发明。即，将省略对于与本发明关联的3D服务的内容的详细描述，即3D服务的识别、处理等等的详细描述，并且将仅描述必要的描述。
图2和图3示出了根据本发明的用于立体显示的字幕。
图2和图3的示例示出了具有3D定位特征的2D字幕。具体地，图2（a）和图2（b）示出了如何定位2D字幕以创建3D字幕并且更三维地示出了3D字幕。
图2（a）和图2（b）还分别示出了左视频面（主面）和右视频面（副面）。
当字幕文本定位在作为主面的左视频面上（如图2（a）中所示）时，字幕文本被定位在作为副面的右视频面上的对应于用于字幕窗口的视差值的位置，如图2（b）中所示。
最终，图2（a）和图2（b）的面被组合以提供3D字幕。
参考图3，屏幕面310位于x-y面上，该x-y面具有对应于零视差的z轴值0（z=0），并且视频对象#1（320）和视频对象#2（330）分别具有负视差和正视差。
还存在具有比视频对象#1更负的负视差的字幕窗口340。字幕窗口340的负视差具有从下面描述的视差参数获得的深度值。
下面描述根据本发明的数字接收器中的3D字幕数据的示例性处理过程。
图4示出了根据本发明的数字接收器中的3D字幕数据的示例性处理过程。
视频解码器接收3D视频基本码流（ES）（S402）。这里，假设3D视频ES已经被解码为例如上下格式。在该情况下，左视点图像数据可以位于下并且右视点图像数据可以位于上。
视频解码器检测3D视频ES的图片头（或者补充增强信息（SEI）消息）中包括的字幕数据并且将检测到的字幕数据提供给字幕数据处理器并且字幕数据处理器然后对接收到的字幕数据进行解码（S404）。
图形引擎和/或OSD处理器使用DefineWindow命令确定字幕窗口的x-y坐标（S406）。这里，确定的x-y坐标可以与例如左视点图像数据关联。
图形引擎和/或OSD处理器通过SetDepthPos命令确定用于对应的字幕窗口的视差值（S408）。这可以称为起始视差。
图形引擎和/或OSD处理器提取aw_flag并且如果提取的aw_flg为1，则不管视窗ID字段如何而将同一视差值应用于所有当前检测到的窗口。另一方面，图形引擎和/或OSD处理器提取aw_flag并且如果提取的aw_flag为0，则将视差值仅应用于由窗口ID字段指定的字幕窗口（S410）。
图形引擎和/或OSD处理器使用视差和视频ES的水平大小确定将叠加在右视点图像数据上的对应的字幕窗口的x-y坐标（S412）。这里，将更详细地描述如何确定坐标。
图形引擎和/或OSD处理器将通过解码诸如笔命令和文本命令的其它命令获取的字幕数据存储为图像格式（S414）。这里，同一图像用于左视频图片和右视频图片。然而，左视频图片和右视频图片的坐标可以由于视差而不同。
数字接收器通过混合器混合左字幕和左视频图片。在该过程中，当3D视频ES的左视点图像数据是半分辨率图像数据时，对左字幕执行垂直大小调整（S416）。通过这样的混合获得的图像在下面称为左输出图像。
数字接收器通过混合器混合右字幕和右视频图片（S418）。在该过程中，由于3D视频ES的右视点图像为半分辨率，因此以与左字幕相同的方式对右字幕执行垂直大小调整。通过这样的混合获得的图像在下面被称为右输出图像。
在立体视频显示输出过程中，3D输出格式化器根据显示类型适当地交错左输出图像和右输出图像并且输出获得的图像（S420）。例如，当显示类型是要求被动眼镜的水平线交错类型时，3D输出格式化器在屏幕上逐行地交替地输出左输出图像和右输出图像。
与上述实施方式相关地，在下面详细地定义并描述用于3D服务和用于3D服务的3D字幕数据的处理的元数据（例如，与左视点图像和右视点图像之间的视差关联的元数据）。
可以根据在相关标准中描述的典型方法来对文本（字符）数据进行编码。
可以使用诸如基于锚位置的方法的典型方法来对用于左视点图像的3DTV隐藏字幕的X-Y坐标进行编码。
接收器可以使用典型方法显示左视点图像的隐藏字幕数据。
接收器可以然后沿着深度轴在画面面的前侧或后侧（即，前面或后面）显示右视点图像的字幕。
根据所提出的方法，使用给出的视差（偏移）值确定右视点图像上的隐藏字幕的位置。
编码方案用于发送视差信息。这里，视差信息可以与现有的2D隐藏字幕编码方案的扩展相关联。
这里描述的视差可以应用于由视差命令代码中的窗口ID指定的字幕窗口中显示的任何隐藏字幕数据。当对于具有预定视差值的窗口接收到新的视差值时，字幕窗口仅沿着深度轴移动。
下面描述根据图像的显示分辨率（1920像素宽）确定的视差值。当接收器根据显示分辨率在更窄或更宽的区域中显示图像时，根据适当的值对用于显示字幕的像素偏移进行缩放。例如，当将要显示的图像的分辨率为640像素宽时，应用于右图像字幕的偏移为D×640/1920，其中D是在隐藏字幕数据串中接收的视差。
将在下面描述根据本发明定义的元数据。
图5示出了根据本发明的用于视差编码的示例性代码集映射，并且图6示出了根据本发明的用于视差编码的示例性命令代码。
为了更好地理解本发明并且为了说明的方便起见，例如可以使用在图5中所示的相关标准的C0集（3字节控制代码）中的未使用的代码中的一个来将根据本发明定义的元数据（即，命令代码）定义为新代码。然而，本发明不限于该示例。
下面将参考图6更详细地描述根据本发明的用于视差编码的命令代码。
用于视差编码的命令代码总共为3字节。即，图6的命令代码定义了例如描述字幕窗口的深度位置的SetDepthPos（0x19）和相关数据（数据1和数据2）。
这里，命令类型可以是窗口并且格式可以是深度代码的格式。另外，深度代码包括窗口ID和视差参数。
如图6中所示，数据1的最高有效字节（MSB）可以是aw_flag字段。这里，当aw_flag字段具有值1时，aw_flag字段表示由下面描述的dp_sign和dp指定的视差参数被应用于所有字幕窗口，并且当aw_flag字段具有值0时，aw_flag字段表示视差参数仅应用于由窗口ID指定的窗口。
窗口ID表示唯一窗口标识符。每个画面可以存在最多8个窗口并且窗口ID的值可以表示0至7中的一个。
视差参数（dp_sign，dp）按像素指定左图像和右图像中的隐藏字幕窗口之间的视差（偏移）值。可以针对1920像素宽的显示图像分辨率来指定（描述）视差参数。
SetDepthPos指定窗口的深度位置和深度位置所应用于的窗口ID（SetDepthPos指定窗口的深度位置和该深度位置应用于的窗口ID）。窗口ID需要指示（或定位）已经由DefineWindow命令创建的窗口（窗口ID需要定位已经由DefineWindow命令创建的窗口）。深度位置由与左图像和右图像上的字幕窗口之间的移位关联的视差参数来确定（深度位置由作为左图像和右图像之间上的字幕窗口之间的移位的视差参数来确定）。SetDepthPos是3字节命令代码以携带视差信息（SetDepthPos是3字节命令代码以携带视差信息）。代码0x19（用于SetDepthPos的代码）表示接下来的指定字幕窗口的视差的两个字节（代码0x19（用于SetDepthPos的代码）表示接下来的指定字幕窗口的视差的两个字节）。
老式装置将SetDepthPos命令处理为未定义的3字节代码。因此，老式装置将忽略SetDepthPos命令与接下来的两个字节。
图7示出了根据本发明的示例性使用场景。
图7的表主要分为根据本发明的使用场景的3D字幕数据的编码值和在显示系统（即，在数字接收器）中显示的值。
编码值包括两种类型的值，即编码视差值（N）和锚水平位置（A）。
在数字接收器中显示的值包括显示的视频宽度（W）、用于显示字幕的描述（偏移）值、左图像中的字幕窗口的水平位置和右图像中的对应的字幕窗口的水平位置。
在使用场景中，例如假设左图像是主视点图像并且右图像是副视点图像。
表中的所有数字可以表示例如像素。
根据相关标准，水平位置表示字幕窗口的最左像素。
字幕窗口的水平位置和显示的偏移可以基于显示的左图像和右图像的分辨率而不是空间压缩分辨率来获得。
下面描述根据本发明的字幕深度的平滑变化的处理方法。
上面和下面的描述与支持提供有帧的数目、结束视差和初始视差的字幕窗口的深度轴的变化的机制相关。
初始视差值可以由上述SetDepthPos命令来指定。
这里，ChangeDepthPos指定在字幕深度发生平滑变化过程中的结束视差值和帧的数目（ChangeDepthPos将指定发生字幕深度的平滑变化的过程中的结束视差值和帧计数的数目）。
图8示出了根据本发明的用于字幕窗口的深度的平滑改变的示例性代码集映射。
虽然图8的代码集映射与图5中所示的视差编码的代码集映射在某些方面类似，但是二者存在不同。
如下面所描述的，在图8的示例中，至少两个命令代码SetDepthPos和ChangeDepthPos用于根据本发明的字幕窗口的深度的平滑变化，并且两个命令代码的不同之处在于第一个命令代码SetDepthPos在“C0”中使用并且第二个命令代码ChangeDepthPos在“C2”中使用。
在该方面，下面描述代码空间、命令代码等等。
图9和图10示出了根据本发明的用于字幕窗口的深度的平滑改变的示例性命令代码。
基本上，ChangeDepthPos命令代码指定了字幕窗口的深度位置。这里，命令类型可以是窗口并且格式可以是ChangeDepthPos（窗口ID、结束视差值和帧的数目）的格式。
下面是参数的详细描述。
ChangeDepthPos命令代码可以包括总共4个字节。命令代码（或命令编码）可以包括EXT1+ChangeDepthPos+<data1>+<data2>+<data3>。这里，在图10的示例中，ChangeDepthPos被定义为0x19，而在图9的示例中，ChangeDepthPos被定义为0x18。两个命令代码之间的差异与是否与本发明关联地使用aw_flag相关。
由于aw_flag和窗口ID与前面的图中所示的类似，因此省略图9中的aw_flag和窗口ID的详细描述。
参考图9和图10，结束视差值（dp_sign，dp）按像素指定在由帧计数指定的数目的帧之后的左图像和右图像中的隐藏字幕窗口之间的最终视差（偏移）值。针对1920像素宽的显示图像分辨率指定（或描述）该视差参数。
帧计数（fc）可以表示在视差从窗口的初始视差值平滑变化到结束视差值的过程中的帧的数目（帧计数（fc）可以表示在视差从窗口的初始视差值平滑变化到结束视差值的过程中的帧的数目）。
下面描述用于上述过程中的字幕窗口的平滑（或逐渐）变化的ChangeDepthPos命令代码。
ChangeDepthPos通过指定变化持续时间和目标视差值来指定窗口的深度位置的平滑变化（ChangeDepthPos通过指定变化持续时间和目标视差值来指定窗口的深度位置的平滑变化）。ChangeDepthPos还指定这样的平滑变化所应用到的窗口的窗口ID。窗口ID表示已经由DefineWindow命令创建的窗口（窗口ID需要定位已经由DefineWindow命令创建的窗口）。窗口的初始深度位置由在SetDepthPos命令中指定的视差值来确定（窗口的初始深度位置由在SetDepthPos命令中指定的视差值来确定）。窗口将使用结束视差值和帧计数沿着z轴移动（窗口将使用结束视差值和帧计数沿着z轴移动）。接收器将调整由帧计数指定的数目的帧之后的窗口ID的视差使得窗口的最终视差为结束视差值（接收器将调整窗口ID的视差使得在由帧计数指定的数目的帧之后，窗口的最终视差为结束视差值）。
老式装置将4字节ChangeDepthPos命令处理为未定义的4字节代码。因此，老式装置将忽略ChangeDepthPos命令与下面的三个字节。
这里，注意的是，ChangeDepthPos能够指定针对最多255个帧的深度的变化。如果需要在超过255个帧的持续时间中进行深度变化，则这可以使用多对SetDepthPos和ChangeDepthPos命令来信令（注意的是，ChangeDepthPos能够指定针对最多255个帧的深度的变化。如果深度变化要求超过255个帧的持续时间，则这可以使用多对SetDepthPos和ChangeDepthPos命令来信令）。
当数字接收器不能够平滑地改变深度时，数字接收器可以忽略例如SetDepthPos命令。
字幕的编写者（或作者）将需要将第二SetDepthPos命令插入在帧数目（fc）之后以便于通知接收器窗口的最终深度的有限能力。
下面描述上述实施方式的使用场景。
例如，用于具有有限能力的接收器的简单的弹出字幕的命令序列如下。
a）移除除了一个显示窗口之外的所有窗口的DeleteWindow命令。
b）定义隐藏窗口的DefineWindow命令。
c）定制隐藏窗口的SetWindowAttributes命令。
d）Pen Commands&Caption Text命令。
e）清除显示的窗口的ClearWindows命令。
f）定义隐藏窗口的深度位置的SetDepthPos命令。
g）定义隐藏窗口与显示窗口之间的切换的ToggleWindows命令。
h）SetDepthPos命令
i）Pen Commands&Caption Text命令
j）SetDepthPos命令
k）Pen Commands&Caption Text命令
可以顺序地使用这些和其它命令。
下面是根据本发明的具有用于字幕窗口的深度的平滑变化的命令的简单的弹出字幕的命令序列。该命令序列可以用于具有改进的性能的接收器。
a）DeleteWindow命令
b）DefineWindow命令
c）SetWindowAttributes命令
d）Pen Commands&Caption Text命令
e）ClearWindows命令
f）SetDepthPos命令（如果aw_flag值为1则将深度值应用于所有窗口）
g）定义深度位置的平滑变化的ChangeDepthPos命令（如果aw_flag值为1则将深度值应用于所有窗口）
h）ToggleWindows命令
i）SetDepthPos命令
j）Pen Commands&Caption Text命令
k）ChangeDepthPos命令
l）SetDepthPos命令
m）Pen Commands&Caption Text命令
n）ChangeDepthPos命令
可以顺序地使用这些和其它命令
图11示出了根据本发明的数字接收器中的3D字幕数据的另一示例性处理过程。
图11的过程可以是上述图4接下来的过程。因此，对于之前的过程的细节，可以参考上面关于图4的描述，并且这里将省略详细的描述。
当图形引擎和/或OSD处理器已经接收到ChangeDepthPos命令时，起始视差值用作对应于初始显示对应的3D字幕时的时间点的视差值（S1102）。这里，3D字幕可以使用窗口ID使得可以根据aw_flag应用不同的窗口。
图形引擎和/或OSD处理器允许字幕窗口定位在对应于已经过去了对应于帧计数的数目的帧之后的结束视差的深度（S1104）。
当在步骤S1104的实施过程中在显示中发生帧率转换时，图形引擎和/或OSD处理器考虑原始帧率和最终的输出帧率适当地校正帧计数值。即，如果在显示过程中，原始帧率为30并且输出帧率为240，则在显示过程中在对应于8×（帧计数）的数目的帧之后应用结束视差（S1106）。
如果在步骤S1104的实施过程中，初始显示字幕窗口的时间点为“A”，则图形引擎和/或OSD处理器允许“A+(fram_count)/original_frame_rate”之后的字幕窗口的视差具有结束视差值。这里，在“A”与“A+(fram_count)/original_flame_rate”之间的时间间隔中，接收器执行用于字幕窗口视差的平滑过渡的处理以防止字幕窗口中的快速变化（S1108）。
当在步骤S1108的实施过程中，图形引擎和/或OSD处理器在每帧改变视差时，在每帧发生与(end_disparity-start_disparity)/(frame_count)相同的改变量。因此，当这样的实施是接收器的性能的负担时，图形引擎和/或OSD处理器按t帧逐渐地改变视差。
在上述过程中，如果aw_flag值为1，则不管窗口ID字段如何都将该过程应用于在当前服务中定义的所有窗口。如果aw_flag值为0，则仅对由窗口ID字段指定的字幕窗口执行上述过程。
下面描述根据本发明的数字接收器的性能相关的上述实施方式。
当解码器为理想的解码器时，解码器可以将SDP命令解释为与用于右眼图像的DFn命令相关的偏移。如果视差值劣化或不正确，则偏移可以限于实际屏幕显示空间（该解码器将SDP命令解释为与用于右眼图像的DFn命令相关的偏移。如果视差值劣化或不正确，则偏移将限于实际屏幕显示空间）。
该解码器可以通过针对由该命令定义的数目的帧中的每一个将右图像移动当前窗口视差值和结束视差值之间的差的分段来解释CDP命令。如果结束视差值劣化或不正确，最终的偏移可以限于实际屏幕显示空间（该解码器可以通过针对由该命令定义的数目的帧中的每一个将右图像移动当前窗口视差值和结束视差值之间的差的分数来解释CDP命令。如果结束视差值劣化或不正确，最终的偏移可以限于实际屏幕显示空间）。
上述命令的窗口ID应用于深度命令并且不重置用于其它命令的当前窗口值（上述命令的窗口ID应用于深度命令并且不重置用于其它命令的当前窗口值）。
CDP命令的运动将开始显示或者切换窗口命令以使得窗口可见。如果窗口已经可见，则该动作将立即开始（CDP命令的运动将开始显示或者切换窗口命令以使得窗口可见。如果窗口已经可见，则该动作将立即开始）。
如果在之前的CDP命令完成之前发出了新的CDP命令，则解码器将仅计算朝向修改后的结束视差值的新的分段移动（如果在之前的CDP命令完成之前发出了新的CDP命令，则解码器将仅计算朝向修改后的结束视差值的新的分段移动）。
清除窗口命令对于字幕窗口的位置或移动没有影响。删除或隐藏窗口命令将移动相对于结束视差值的偏移（清除窗口命令对于字幕窗口的位置或移动没有影响。删除或隐藏窗口命令将移动对于结束视差值的偏移）。
下面描述静态字幕窗口。该字幕解码器没有动态地移动字幕窗口。SDP命令无效并且利用理想的解码器来处理（该字幕解码器不能够动态地移动字幕窗口。SDP命令无效并且在理想解码器中进行处理）。
解码器没有连续地移动字幕窗口并且因此，略微不同地处理CDP命令（由于解码器没有连续地移动字幕窗口，因此略微不同地处理CDP命令）。解码器可以在“帧数目”的时段中执行延迟动作（解码器将在“帧数目”的时段中执行延迟动作）。之后，对应的字幕窗口将改变到结束视差值（之后，对应的字幕窗口将移动到结束视差值）。如上所述，结束视差值受到显示空间的限制（如上，结束视差值受到显示空间的限制）。
另一方面，仅2D解码器不能够处理SDP或CDP命令。即，解码器仅能够处理与字幕相关的2D图像和简单的命令。因此，SDP和CDP命令被忽略（该解码器不能够处理SDP或CDP命令。在该情况下，解码器仅处理标准命令，如同图像是标准2D图像一样。SDP和CDP命令被忽略）。
已经在上面描述了用于实施本发明的各种实施方式。
如上述描述中显而易见地，根据本发明的数字接收器能够提供3D字幕数据同时保持与老式装置的兼容性。此外，当提供多个3D字幕数据时，数字接收器能够完全或个别地控制该多个3D字幕数据。即使当3D字幕数据的视差信息快速地变化时，数字接收器也能够执行处理以防止用户感觉到眩晕。
涉及提供3D服务的数字广播系统的本发明能够完全或部分地应用于数字广播系统。

Claims (15)

1.一种用于发送用于三维3D服务的广播信号的方法，所述方法包括：
编码3D视频基本码流ES，所述3D视频ES包括3D字幕服务；
生成用于信令传送包括编码后的3D视频ES的3D视频服务的信令信息；以及
发送包括所述3D视频服务和所述信令信息的数字广播信号，
其中，所述3D字幕服务包括用于生成左字幕数据的第一命令代码以及指示字幕窗口的视差值的第二命令代码，并且基于所述第一命令代码和所述第二命令代码生成右字幕数据。
2.根据权利要求1所述的方法，其中，所述第二命令代码包括指示是否不管接收器中的窗口ID而将同一视差值应用于所有当前解码窗口的标志。
3.根据权利要求2所述的方法，其中，根据所述标志的值，将由所述第二命令代码指示的所述视差值应用于所有字幕窗口或者应用于在所述第二命令代码中指示的特定窗口ID的字幕窗口。
4.根据权利要求3所述的方法，其中，从所述3D视频ES的补充增强信息S EI消息或图片头中的一个提取所述3D字幕服务数据。
5.一种用于处理用于三维3D服务的广播信号的方法，所述方法包括：
接收包括编码后的3D服务和用于所述编码后的3D服务的信令信息的数字广播信号；
从3D服务提取3D视频基本码流ES；
从提取的3D视频ES提取用于3D字幕服务的数据；以及
使用提取的3D字幕服务数据提供3D字幕服务，
其中，所述提取的3D字幕服务包括用于生成左字幕数据的第一命令代码和指示字幕窗口的视差值的第二命令代码，并且基于所述第一命令代码和所述第二命令代码生成右字幕数据。
6.根据权利要求5所述的方法，其中，所述第二命令代码包括指示是否不管窗口ID而将同一视差值应用于所有当前解码字幕窗口的标志。
7.根据权利要求6所述的方法，其中，根据所述标志的值，将由所述第二命令代码指示的所述视差值应用于所有字幕窗口或者应用于在所述第二命令代码中指示的特定窗口ID的字幕窗口。
8.根据权利要求7所述的方法，其中，从所述3D视频ES的补充增强信息SEI消息或图片头中的一个提取所述3D字幕服务数据。
9.根据权利要求8所述的方法，其中，所述3D字幕服务数据进一步包括第三命令代码，所述第三命令代码用于执行下述控制，所述控制用于允许在已经过去了对应于帧计数的数量个帧之后将对应的字幕窗口定位在对应于不同视差的深度。
10.根据权利要求9所述的方法，其中，对应于所述第三命令代码的值按每帧或者预定帧时段逐渐地改变视差。
11.一种用于处理用于三维3D服务的广播信号的方法，所述方法包括：
接收数字广播信号，所述数字广播信号包括编码后的3D服务和用于所述编码后的3D服务的信令信息；
从3D服务提取3D视频基本码流ES；
从提取的3D视频ES提取用于3D字幕服务的数据；以及
使用提取的3D字幕服务数据提供3D字幕服务，
其中，提取的3D字幕服务包括用于生成左字幕数据的第一命令代码、指示字幕窗口的视差值的第二命令代码以及用于执行下述控制的第三命令代码，所述控制用于允许在已经过去了对应于帧计数的数量个帧之后将对应的字幕窗口定位在对应于不同视差的深度，并且基于所述第一命令代码和所述第二命令代码生成右字幕数据。
12.一种用于处理用于三维3D服务的广播信号的方法，所述方法包括：
接收数字广播信号，所述数字广播信号包括3D服务和用于编码后的3D服务的信令信息；
从3D服务提取3D视频基本码流ES；
从提取的3D视频ES提取用于3D字幕服务的数据；
使用用于生成左字幕数据的第一命令代码确定字幕窗口的坐标，所述第一命令代码包括在提取的3D字幕服务数据中；
根据第二命令代码确定字幕窗口的视差值，所述第二命令代码指示所述字幕窗口的视差值；
使用视差和视频ES的水平大小信息确定将叠加在右字幕数据上的对应的字幕窗口的坐标；
以图像格式存储字幕数据；
将左字幕数据和左视频图片以及右字幕数据和右视频图片混合；以及
根据显示格式对混合图像进行交错并且输出交错后的图像。
13.一种用于处理三维3D服务的数字接收器，所述数字接收器包括：
接收单元，所述接收单元被构造为接收数字广播信号，所述数字广播信号包括所述3D服务和用于所述3D服务的信令信息；
解复用器，所述解复用器被构造为将所述数字广播信号解复用为所述3D服务和所述信令信息；
解码器，所述解码器被构造为从所述3D服务提取并且解码3D视频基本码流ES并且从提取的3D视频ES提取并输出3D字幕数据；
字幕数据处理器，所述字幕数据处理器被构造为对提取的3D字幕数据进行解码；
图形处理器，所述图形处理器被构造为基于解码后的3D字幕数据对左视点图像和右视点图像的字幕图像进行处理和存储；
混合器，所述混合器被构造为将3D视频数据和3D字幕数据进行混合；
3D格式化器，所述3D格式化器被构造为根据显示格式对混合数据进行交错和输出；以及
显示单元，所述显示单元被构造为输出交错后的3D服务数据。
14.根据权利要求13所述的数字接收器，其中，所述3D字幕数据包括：
用于生成左字幕数据的第一命令代码；
指示字幕窗口的视差值的第二命令代码；以及
用于执行下述控制的第三命令代码，所述控制用于允许在已经过去了对应于帧计数的数量个帧之后将所述字幕窗口定位在对应于不同视差的深度，并且
其中，基于所述第一命令代码和所述第二命令代码生成右字幕数据。
15.根据权利要求14所述的数字接收器，其中，所述第二命令代码包括指示是否不管窗口ID而将同一视差值应用于所有当前解码字幕窗口的标志，并且所述数字接收器根据所述标志的值将由所述第二命令代码指示的视差值应用于所有字幕窗口或者应用于在所述第二命令代码中指示的特定窗口ID的字幕窗口。
CN201180031454.XA 2010-06-27 2011-06-27 数字接收器以及在数字接收器中处理字幕数据的方法 Active CN102959952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610333511.4A CN105812771B (zh) 2010-06-27 2011-06-27 数字接收器以及在数字接收器中处理字幕数据的方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US35893510P 2010-06-27 2010-06-27
US61/358,935 2010-06-27
US201061425739P 2010-12-21 2010-12-21
US61/425,739 2010-12-21
PCT/KR2011/004683 WO2012002690A2 (ko) 2010-06-27 2011-06-27 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610333511.4A Division CN105812771B (zh) 2010-06-27 2011-06-27 数字接收器以及在数字接收器中处理字幕数据的方法

Publications (2)

Publication Number Publication Date
CN102959952A true CN102959952A (zh) 2013-03-06
CN102959952B CN102959952B (zh) 2016-07-06

Family

ID=45402535

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180031454.XA Active CN102959952B (zh) 2010-06-27 2011-06-27 数字接收器以及在数字接收器中处理字幕数据的方法
CN201610333511.4A Expired - Fee Related CN105812771B (zh) 2010-06-27 2011-06-27 数字接收器以及在数字接收器中处理字幕数据的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610333511.4A Expired - Fee Related CN105812771B (zh) 2010-06-27 2011-06-27 数字接收器以及在数字接收器中处理字幕数据的方法

Country Status (5)

Country Link
US (2) US9258544B2 (zh)
KR (1) KR101797495B1 (zh)
CN (2) CN102959952B (zh)
CA (1) CA2802668C (zh)
WO (1) WO2012002690A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105474631A (zh) * 2013-08-20 2016-04-06 索尼公司 再现装置、再现方法以及记录介质
CN108293142A (zh) * 2016-09-14 2018-07-17 索尼公司 发送装置、发送方法、接收装置和接收方法
CN109644282A (zh) * 2016-08-24 2019-04-16 高通股份有限公司 用于媒体数据流式处理的补充增强信息轨迹的系统级发信
CN113271418A (zh) * 2021-06-03 2021-08-17 重庆电子工程职业学院 一种动态三维立体悬浮字幕的制作方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878913B2 (en) * 2010-03-12 2014-11-04 Sony Corporation Extended command stream for closed caption disparity
CA2807186C (en) * 2010-08-17 2017-03-14 Lg Electronics Inc. Apparatus and method for receiving digital broadcasting signal
US20140240472A1 (en) * 2011-10-11 2014-08-28 Panasonic Corporation 3d subtitle process device and 3d subtitle process method
EP2834973A1 (en) * 2012-04-04 2015-02-11 Naxos Finance SA System for generating and receiving a stereoscopic-2d backward compatible video stream, and method thereof
CN105531992A (zh) 2013-09-06 2016-04-27 Lg电子株式会社 用于在数字广播系统中发送和接收用于高动态范围呈现的超高清晰度广播信号的方法和装置
KR102014800B1 (ko) * 2015-07-06 2019-08-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN111406412B (zh) 2017-04-11 2021-09-03 杜比实验室特许公司 分层的增强型娱乐体验
US11218685B2 (en) 2018-03-28 2022-01-04 Nokia Technologies Oy Method, an apparatus and a computer program product for virtual reality
KR102600762B1 (ko) * 2019-08-27 2023-11-13 한국전자통신연구원 Atsc 3.0 기반의 방송 콘텐츠 전송 장치 및 방법과, 방송 콘텐츠 수신 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078678A2 (en) * 2007-12-18 2009-06-25 Electronics And Telecommunications Research Institute Stereoscopic content service system and method
US20090257452A1 (en) * 2008-04-15 2009-10-15 Samsung Electronics Co., Ltd. Method and apparatus for providing and receiving three-dimensional digital contents
WO2010010499A1 (en) * 2008-07-25 2010-01-28 Koninklijke Philips Electronics N.V. 3d display handling of subtitles
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
CN101711483A (zh) * 2007-06-07 2010-05-19 升级芯片技术公司 用于立体图像编码数据文件的格式
WO2010064784A2 (ko) * 2008-12-02 2010-06-10 (주)엘지전자 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100212134B1 (ko) 1996-05-03 1999-08-02 윤종용 시청자 선택형 자막표시의 소프트 스크롤 방법
US7096428B2 (en) 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
KR101018320B1 (ko) 2003-02-11 2011-03-04 엔디에스 리미티드 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법
KR101178302B1 (ko) 2004-04-01 2012-09-07 구글 인코포레이티드 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐
CN1328905C (zh) * 2004-06-29 2007-07-25 乐金电子（沈阳）有限公司 电视机的字幕错误修正装置及其方法
KR20110053160A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
WO2011123178A1 (en) * 2010-04-01 2011-10-06 Thomson Licensing Subtitles in three-dimensional (3d) presentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
CN101711483A (zh) * 2007-06-07 2010-05-19 升级芯片技术公司 用于立体图像编码数据文件的格式
WO2009078678A2 (en) * 2007-12-18 2009-06-25 Electronics And Telecommunications Research Institute Stereoscopic content service system and method
WO2009078678A3 (en) * 2007-12-18 2009-09-03 Electronics And Telecommunications Research Institute Stereoscopic content service system and method
US20090257452A1 (en) * 2008-04-15 2009-10-15 Samsung Electronics Co., Ltd. Method and apparatus for providing and receiving three-dimensional digital contents
WO2010010499A1 (en) * 2008-07-25 2010-01-28 Koninklijke Philips Electronics N.V. 3d display handling of subtitles
WO2010064784A2 (ko) * 2008-12-02 2010-06-10 (주)엘지전자 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105474631A (zh) * 2013-08-20 2016-04-06 索尼公司 再现装置、再现方法以及记录介质
CN109644282A (zh) * 2016-08-24 2019-04-16 高通股份有限公司 用于媒体数据流式处理的补充增强信息轨迹的系统级发信
CN108293142A (zh) * 2016-09-14 2018-07-17 索尼公司 发送装置、发送方法、接收装置和接收方法
CN108293142B (zh) * 2016-09-14 2021-11-02 索尼公司 发送装置、发送方法、接收装置和接收方法
CN113271418A (zh) * 2021-06-03 2021-08-17 重庆电子工程职业学院 一种动态三维立体悬浮字幕的制作方法及系统
CN113271418B (zh) * 2021-06-03 2023-02-10 重庆电子工程职业学院 一种动态三维立体悬浮字幕的制作方法及系统

Also Published As

Publication number Publication date
CN105812771A (zh) 2016-07-27
CN102959952B (zh) 2016-07-06
US20130088571A1 (en) 2013-04-11
KR20130088741A (ko) 2013-08-08
WO2012002690A2 (ko) 2012-01-05
US9258544B2 (en) 2016-02-09
US9578305B2 (en) 2017-02-21
CN105812771B (zh) 2017-12-08
CA2802668C (en) 2016-03-29
KR101797495B1 (ko) 2017-11-15
CA2802668A1 (en) 2012-01-05
US20160119604A1 (en) 2016-04-28
WO2012002690A3 (ko) 2012-04-26

Similar Documents

Publication Publication Date Title
CN102959952B (zh) 数字接收器以及在数字接收器中处理字幕数据的方法
KR100970649B1 (ko) 수신 시스템 및 데이터 처리 방법
CA2760100C (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
CN102918847B (zh) 显示图像的方法和设备
US20110279646A1 (en) Broadcast receiver and video data processing method thereof
KR20110139189A (ko) 3ｄ 비디오 신호 처리 방법 및 이와 같은 기능을 수행하는 디지털 방송 수신기
KR101899821B1 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
KR20140040151A (ko) 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
CN102484729A (zh) 广播发送器、广播接收器及其3d视频数据处理方法
KR20120095865A (ko) 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
JP2011249945A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20120257019A1 (en) Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method
KR20140054076A (ko) 디지털 방송 신호 처리 방법 및 장치
TW201320712A (zh) 送訊裝置、送訊方法及收訊裝置
KR20100112940A (ko) 데이터 처리방법 및 수신 시스템
JP2012199897A (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR101733488B1 (ko) 3차원 영상 표시 방법 및 그에 따른 3차원 영상 표시 장치
KR101742993B1 (ko) 디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법
KR101556149B1 (ko) 수신 시스템 및 데이터 처리 방법
KR101662077B1 (ko) 방송프로그램 정보 제공 방법 및 그 방법을 채용한 디지털 방송 수신기
KR20110139419A (ko) 3차원 영상 표시 방법 및 그에 따른 영상 표시 장치
WO2013172142A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR20120021593A (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 동작 방법 및 그 방법을 채용한 디스플레이 기기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant