CN102273209B - 3d字幕信号发送方法和3d字幕显示方法 - Google Patents

3d字幕信号发送方法和3d字幕显示方法 Download PDF

Info

Publication number
CN102273209B
CN102273209B CN200980154062.5A CN200980154062A CN102273209B CN 102273209 B CN102273209 B CN 102273209B CN 200980154062 A CN200980154062 A CN 200980154062A CN 102273209 B CN102273209 B CN 102273209B
Authority
CN
China
Prior art keywords
captions
configuration information
caption
window
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980154062.5A
Other languages
English (en)
Other versions
CN102273209A (zh
Inventor
徐琮烈
金庆镐
金镇泌
李俊徽
宋在炯
洪昊泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN201410356859.6A priority Critical patent/CN104113749B/zh
Publication of CN102273209A publication Critical patent/CN102273209A/zh
Application granted granted Critical
Publication of CN102273209B publication Critical patent/CN102273209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Abstract

本发明涉及3D字幕信号发送方法和字幕显示方法，这些方法使得可以在3D显示装置中以三维方式显示字幕文本，以与3D图像匹配。本发明的3D字幕信号发送方法包括：生成3D字幕框设置信息和字幕文本，以在3D图像内显示3D字幕；将该3D字幕框设置信息和和该字幕文本插入到视频图片报头区中，以编码并发送该图像信号。而且，本发明的字幕显示方法包括：接收包括3D图像信号的广播信号；获取该广播信号中包括的3D字幕框设置信息和字幕文本；以及基于该3D字幕框设置信息和该字幕文本生成并显示在3D字幕框内设有3D字幕文本的字幕图像。

Description

3D字幕信号发送方法和3D字幕显示方法
技术领域
本发明涉及显示装置的图像显示方法，更具体地说，涉及用于显示封闭字幕(closed captions)的方法。
背景技术
封闭字幕广播是用于分离发送文本数据的广播业务，该文本数据没有与电视图像集成，以允许电视接收器选择性地将文本显示为字幕。在基于NTSC标准的模拟TV广播中，在垂直消隐间隔(VBI)的第一场和第二场中的每一个的第21行处，作为模拟波形按每次两个字节发送字幕数据，使得接收器可以在其画面上显示字幕数据。同时，在ATSC型数字电视广播中，可以在图片报头的extension_and_user_data()结构内，每次两个字节地插入封闭字幕数据，作为一类用户数据，并且可以在PSIP(参见“ATSC Digital Television Standard Part 4-MPEG-2 Video System Characteristics(A/53，Part 4：2007)，with Amendment No.1”和“Digital Television(DTV)ClosedCaptioning，CEA-708-B”)的事件信息表(EIT)中限定有关再现封闭字幕的控制信息。接收器可以根据CEA-708-B标准来解释通过图片报头接收到的字幕数据，并且根据由发送器侧做出的限定或规定来显示封闭字幕，同时累积该字幕数据的字节对。
下面，参照图1至5，对符合CEA-708-B标准的DTV封闭字幕(DTVCC)进行简短描述。
DTVCC数据根据特定类型的数据通信协议发送。图1示出了DTVCC的协议栈。该协议栈包括五个层，即，传输层、分组层、业务层、编码层以及解释层。
传输层是将DTVCC数据插入至DTV视频子系统并通过接收器提取的部分，其遵循ATSC A/53标准和ISO/IEC 13818的限定。具体地说，DTVCC数据被每次两个字节地划分并且通过DTV流的图片用户数据来发送，并且通过PMP和/或PSIP的EIT发送用于信令的描述符。
图2例示了通过图片用户数据发送的封闭字幕数据cc_data()的语法。“process_cc_data_flag”是表示封闭字幕数据cc_data()是否需要处理的标志。即，如果该标志被设置为“1”，则该封闭字幕数据应当进行解析和处理，而如果该标志被设置为“0”，则可以不理会该封闭字幕数据。“cc_count”字段表示随后字幕数据结构的数量，并且可以具有0至31的值。针对cc_count的特定数量个字幕数据结构，通过一对字段“cc_data_1”和“cc_data_2”来发送16比特字幕数据。当“cc_valid”字段被设置为1时，其表示随后的2字节字幕对有效，而当“cc_valid”字段被设置为0时，其表示随后的2字节字幕对无效。“cc_type”字段例如表示在CEA-708-B标准中限定的随后两个字节字幕数据的类型。例如，如果“cc_type”字段具有值10，则其表示2字节封闭字幕数据是封闭字幕数据，而如果“cc_type”字段具有值11，则其表示新封闭字幕数据的开始。
返回参照图1，在将DTVCC数据在传输层中编码之前，根据特定规则将该DTVCC数据打包成字幕频道。分组层根据字幕频道分组来限定。图3示出了字幕频道分组的结构。N字节字幕频道分组包括1字节分组报头和(n-1)字节分组报头。字幕报头包括序列号和分组大小数据。该序列号是通过在0至3的范围内循环而确定的3字节数据，以便确定是否已经丢包。
DTVCC字幕频道可以划分成称作“业务”的逻辑子信道集。根据时分复用方案将业务数据插入到字幕频道数据流中。业务层针对封闭字幕数据频道业务的数量、业务类型、业务属性等来限定报头。可以将6个标准业务和最多57个扩展业务添加至字幕频道数据流，由此，可以提供总计63个业务。图4示出了针对每一个业务的业务块的结构。业务块包括业务块报头和业务块数据。业务块报头包括业务号和业务块大小数据。如果业务的数量为6个或更少，则业务块报头具有一个字节，而如果业务的数量超出6个，则业务块报头具有两个字节。
返回参照图1，编码层描述了针对封闭字幕业务怎样编码数据。即，编码层限定代码空间控制的分配、字幕命令，以及用于字幕字符和符号的数字代码。图5示出了根据CEA-708-B标准的代码空间的构成。该代码空间包括两个代码本，每一个代码本都具有256个位置，这些位置被划分成四个代码组：CL、GL、CR以及GR。CL组包括从00h至1Fh的32个代码，其映射了C0代码集(各种控制代码)和C2代码集(各种扩展控制代码)。GL组包括从20h至7Fh的96个代码，其映射了G0代码集(字符集)和G2代码集(扩展控制代码1)。CR组包括从80h至9Fh的32个代码，其映射了C1代码集(字幕控制代码)和C3代码集(扩展控制代码2)。GR组包括从A0h至FFh的96个代码，其映射了G1代码集(拉丁字符)和G3代码集(要在未来/图标扩展集中使用的字符)。
四个代码组(CL、GL、CR以及GR)的基本代码是图5中上部处的C0、C1、G0以及G1代码集的字符、控制代码以及命令。图5中下部处的C2、C3、G2以及G3代码集利用C0代码集的“EXT1”代码(10h)来近似。即，通过在代码空间内一代码或符号前面添加“EXT1”代码，可以引用扩展的C2、C3、G2以及G3代码集。换句话说，为了引用C2、C3、G2以及G3代码集中存在的字符，必须使用两个字节(即，“EXT1”+基本代码)。
解释层限定怎样利用DTVCC图形用户接口(即，编码层的代码集)来编码字幕数据，以及在解码时怎样解释字幕数据。解释层处理字幕画面、窗口、笔、文本以及显示同步。
根据通过这些协议实现的封闭字幕广播，可以提供演员的台词(即，语音、对话)、歌曲的歌词、电影台词翻译、在线TV指南、紧急广播以及各种其它分子业务(molecularservices)。近来，随着封闭字幕广播在听力削弱或综合业务的媒体访问权方面有限制地变为强制性的，预期封闭字幕广播在其使用方面将得到扩展。
同时，电视技术的发展已经达到了实现用于显示立体图像(或三维(3D)图像)的装置的水平，并且具体来说，立体型3D电视机的全面商业化在提交本发明的申请时即将来临。在立体3D显示系统中，利用如同人双眼一样隔开大约65毫米的两个图像传感器拍摄两个图像，这两个图像接着作为广播信号发送给接收器。接着，接收器允许这两个图像被输入到人(即，用户)的左眼和右眼，由此模仿双目视差，以实现深度透视或立体视图。
按这种方式，当要在立体型3D电视机中实现封闭字幕时，希望以立体样式显示字幕文本。接收器本身基于字幕文本呈现3D字幕图像，但针对大量连续输入字幕文本实时限定3D属性(例如，字幕文本的厚度和立方(实心)色，字幕文本显示区的颜色和透明度等)并对其进行3D呈现的方案可能过度增加了接收器的计算负担。如果预先设置了要不加区别地应用至字幕文本的3D属性并且根据固定3D属性来对字幕文本进行3D呈现，则该计算负担可以稍微减小，但3D字幕的美感可能极大地劣化，从而使用户对其感到疲倦，这显著抑制了封闭字幕的效用和吸引力。
因而，需要一种用于高度保持字幕图像的美感和吸引力、同时以立方效果显示封闭字幕以使其和在3D电视机上显示的3D图像相一致(相协调)的方法。
发明内容
因此，本发明的一个目的是，提供一种用于发送三维(3D)字幕信号的方法，其能够以三维方式显示字幕文本，使得其与3D显示装置中的3D图像相协调。
本发明的另一目的是，提供一种用于显示3D字幕的方法，其能够以三维方式显示字幕文本，使得其与3D显示装置中的3D图像相协调。
根据本发明，2D字幕窗口被概念性地扩展到3D字幕文本框中，并且用于实现3D封闭字幕的3D字幕文本在3D字幕文本框中以三维方式显示。为此，在本发明中，限定了3D字幕文本框参数、文本框样式参数，以及用于3D文本的样式参数。另外，本发明提出了一种用于接收、解码以及应用3D字幕文本框参数、文本框的样式参数，以及3D文本的样式参数的方法。
具体地说，根据用于发送3D字幕信号的方法，生成3D字幕框配置信息和字幕文本，以在3D图像内显示3D字幕，并将所述3D字幕配置信息和所述字幕文本插入到视频图片报头区以编码所述图像信号，并发送经编码的图像信号。
可以对信息添加3D文本配置信息，其在被编码之后发送。
在考虑到与现有标准相兼容的情况下，将所述3D字幕框配置信息与2D窗口配置信息一起发送，以补充所述2D窗口配置信息。
所述3D字幕框配置信息可以包括2D窗口限定信息、补充所述2D窗口限定信息的3D文本框限定信息、2D窗口属性配置信息，以及补充所述2D窗口属性配置信息的3D文本框属性配置信息。
所述3D字幕框配置信息可以插入到广播信号的图片报头区中。另选的是，所述3D字幕框配置信息可以被包括在描述符中并且经由NEIT或PSIP的PMT发送。
在3D字幕显示方法中，接收包括3D图像信号的广播信号，并获取所述广播信号中包括的3D字幕框配置信息和字幕文本。接着，基于所述3D字幕框配置信息和所述字幕文本来生成包括设置在3D字幕框中的3D字幕文本的字幕图像，接着显示该字幕图像。在这种情况下，所述字幕图像可以与3D广播图像混合以被显示。
在本发明的描述中，所述3D字幕框指用于显示3D字幕文本的立方空间。该立方空间不是仅限于准确规则框，而可以具有向其侧部应用歪斜的变形框形状。另外，3D字幕文本可以从所述3D字幕框的外周表面的一部分起部分地突出。术语“框”不应被限制性解释，而应当被包括性解释为，不管是否在使用诸如“框架”、“立方空间”、“立方部分”等的实质术语，除了平面以外还具有立方空间的含义。
在电视接收器中，可以利用立方效果来显示封闭字幕，使得其与3D图像相协调，而不会严重增加3D呈现所需的计算负担。因此，可以显著增加封闭字幕的效用和吸引力。另外，因为通过补充包括参数来实现现有字幕信号发送/接收方法，所以可以保证与现有标准的兼容性。
附图说明
根据下面给出的详细描述和附图，将更全面理解本发明，附图仅用于例示，而不构成对本发明的限制，并且贯穿所有图使用相同标号来指定相同或相似的组成部分，在图中：
图1例示了符合CEA-708-B标准的数字电视(DTV)封闭字幕(DTVCC)的协议栈；
图2例示了根据ATSC A/53标准的通过图片用户数据发送的封闭字幕数据cc_data()的语法；
图3示出了符合CEA-708-B标准的字幕频道分组的结构；
图4示出了符合CEA-708-B标准的业务块的结构；
图5示出了符合CEA-708-B标准的代码空间的构成；
图6例示了根据本发明一示范性实施方式的示出用于实现3D封闭字幕的3D字幕文本框的位置和大小的坐标系；
图7例示了3D字幕文本框的顶点之间的相对坐标；
图8例示了水平和垂直方向上的锚点ID；
图9例示了z方向上的锚点ID；
图10例示了根据CEA-708-B标准的限定窗口命令的编码格式；
图11例示了根据本发明一示范性实施方式的、为补充限定窗口命令以便实现3D字幕文本框而附加地引入的限定3D框命令的编码格式的示例；
图12例示了根据CEA-708-B标准的设置窗口属性命令的编码格式；
图13例示了根据本发明一示范性实施方式的、为补充设置窗口属性命令以实现3D字幕文本框而附加地引入的设置3D框属性命令的编码格式的一示例；
图14例示了根据CEA-708-B标准的设置笔色命令的编码格式；
图15例示了根据本发明一示范性实施方式的、为补充设置笔色命令以实现3D文本而附加地引入的设置3D笔色命令的编码格式；
图16例示了根据本发明一示范性实施方式的、在代码空间中的限定3D框命令、设置3D框属性命令以及设置3D笔色命令的位置；
图17是根据本发明一示范性实施方式的广播发送系统的示意性框图；
图18例示了用于在图17的系统中发送封闭字幕数据的用户数据比特流的语法；
图19例示了在根据H.264/AVC标准编码一对立体图像的修改例中适于发送封闭字幕数据的SEIRBSP净荷比特流的语法；
图20例示了事件信息表(EIT)中包括的字幕业务描述符的语法；
图21是根据本发明第二示范性实施方式的电视接收器的示意性框图；以及
图22是例示在图21所示电视接收器中提取封闭字幕信息并且显示3D封闭字幕的处理的流程图。
具体实施方式
在描述本发明的示范性实施方式之前，下面，首先对本发明中使用的、与3D字幕有关的术语和参数的概念和限定进行说明。
如上所述，2D封闭字幕基于符合CEA-708-B标准的窗口显示，其中CEA-708-B标准构成ATSC数字电视标准的一部分。在本发明中，符合CEA-708-B标准的窗口通过应用沿垂直于显示器的画面平面的方向延伸的附加基准轴(即，z轴)而概念性地扩展为3D字幕文本框。因此，在本发明中，用于实现3D封闭字幕的3D字幕文本在3D字幕文本框内以三维方式显示。
图6例示了根据本发明一示范性实施方式的、示出用于实现3D封闭字幕的3D字幕文本框的位置和大小的坐标系。
在本发明的一示范性实施方式中，各个点用显示基准平面前面的空间内的矩形坐标来表达。该显示基准平面可以是用作显示3D图像的基准的虚拟平面。然而，显示装置的画面平面可以是显示基准平面。在根据该矩形坐标显示一位置时，原点可以是显示基准平面左上角上的点或显示基准平面上的点。这里，当观看者注视画面时，x轴向右延伸，y轴向下延伸，而z轴向前延伸。应注意，这个坐标系不同于沿坐标轴方向的普通几何矩形坐标。
3D字幕文本框的水平宽度被表示为列计数，3D字幕文本框的高度被表示为行计数，而前后方向上的厚度被表示为z尺寸。
3D字幕文本框的、指向观看者的平面(即，沿z轴方向的平面)被称作顶表面，而与该顶表面相接触的上/下和左/右平面被称作侧表面。
图7例示了3D字幕文本框的顶点之间的相对坐标。当3D字幕文本框的左后侧上角处的顶点P0的坐标为(x_org，y_org，z_org)时，点P0前侧处的顶点P1的坐标为(x_org+水平歪斜因子，y_org+垂直歪斜因子，z_org+z尺寸)，而位于顶点P0的对角方向的顶点P2的坐标为(x_org+行计数+水平歪斜因子，y_org+列计数+垂直歪斜因子，z_org+z尺寸)。
根据CEA-708-B标准，可以存在多达八个字幕窗口，以显示针对每一个业务的字幕文本。在本发明一示范性实施方式中，用于显示3D字幕文本的3D字幕文本框通过空间地扩展窗口来限定，因而如同现有字幕窗口一样，针对每一个业务可以存在多达八个窗口。在包括权利要求书覆盖的本发明一示范性实施方式中，在与3D字幕有关的上下文中的“窗口”应当解释成具有和“3D字幕文本框”一样的含义，而“窗口ID”应当解释成具有和“3D字幕框ID”一样的含义。
同时，根据构成ATSC数字电视标准的一部分的CEA-708-B，锚点可以限定为在指定画面上各窗口的位置和改变字体大小时收缩和增长(即，缩小和扩大)窗口的基准点。这些锚点可以通过锚点ID来显示。图8示出了符合CEA-708-B标准的锚点ID。例如，锚点0表示窗口左上端的顶点，而锚点8表示窗口左下端的顶点。在本发明一示范性实施方式中，在限定3D字幕及其相关系统的信令结构时，在保持垂直和水平方向上的如上所述根据CEA-708-B标准的现有锚点限定方案的同时，附加地限定z轴方向上的锚点ID，以便最大化与ATSC数字电视标准的兼容性。图9示出了z轴方向上的锚点ID。如图所示，针对面对3D字幕文本框的上平面的底部上存在的点，将z轴方向上的锚点ID(ANCHOR Z-POINT)设置为0，而针对平行于底表面和顶表面并且与3D字幕文本框相交的平面上存在的点，将z轴方向上的锚点ID(ANCHORZ-POINT)设置为1，而针对3D字幕文本框的顶表面上存在的点，将z轴方向上的锚点ID(ANCHOR Z-POINT)设置为2。因此，在本发明该示范性实施方式中，可以通过两个锚点ID(即，如图8所示的平坦锚点ID和如图9所示的z方向锚点ID)来区分锚点。
生成和解释命令
为了平滑地显示基于窗口的字幕文本，CEA-708-B标准允许通过限定窗口命令来限定窗口，并且通过设置窗口属性命令来限定窗口的诸如颜色等的属性。另外，该标准允许通过设置笔色属性命令来限定字体大小和字体属性。
在本发明一示范性实施方式中，在限定发送侧以限定3D字幕文本框时，仅向由限定窗口命令限定的窗口提供最小附加信息，以最小化要发送的信息量，同时最大化与现有标准的兼容性。具体地说，在本发明一示范性实施方式中，除了限定窗口命令以外，还通过限定3D框命令来提供附加参数，以允许限定3D字幕文本框。另外，在本发明一示范性实施方式中，除了设置窗口属性命令以外，还通过设置3D框属性命令来提供附加参数，以允许设置3D字幕文本框的属性。另外，在本发明一示范性实施方式中，除了设置笔色属性命令以外，还通过设置3D笔色命令来提供附加参数，以允许设置3D文本的立方属性。
图10例示了根据CEA-708-B标准的限定窗口命令的编码格式。该限定窗口命令包括总计7个字节，其中包括1字节命令代码和6字节参数。“窗口ID”字段表示具有从0至7的值的窗口标识符。在图10所示的编码格式中，根据“窗口ID”字段的值，第一字节命令代码具有值“0x98”至“0x9F”，并且在代码空间中简称为DF0(限定窗口0)至DF7(限定窗口7)。
“优先级”字段表示窗口的显示优先级，具有从0至7的值。该优先级随着数字变小而更高，并且具有更高优先级的窗口在画面上按在具有更低优先级的窗口上交叠的方式来显示。
“锚点(ap)”字段是在指定画面上窗口的位置和改变字体大小时用作基准点的窗口锚点的ID。
当“相对定位(rp)”标志被设置为1时，它表示“垂直锚点(av)”和“水平锚点(ah)”字段被显示为相对坐标(即，百分数)，而非物理画面坐标。
“垂直锚点(av)”字段是当显示一窗口时在画面上该窗口的锚点的垂直位置。
“水平锚点(ah)”字段是当显示一窗口时在画面上该窗口的锚点的水平位置。
“行计数(rc)”字段是窗口内文本行的数量。
“列计数(cc)”字段是窗口内文本列的数量。
当“行锁定(r1)”标志被设置为1时，它表示窗口中包括的字幕文本行的数量固定，而当“行锁定(r1)”标志被设置为0时，它表示当用户选择小字体时允许接收器在窗口内添加行。
当“列锁定(c1)”标志被设置为1时，它表示窗口中包括的字幕文本行的数量固定，而当“列锁定(c1)”标志被设置为0时，它表示当用户选择小字体时允许接收器在窗口内添加列。
当“可见(v)”标志被设置为1时，它表示窗口一经生成就要在画面上显示，而当“可见(v)”标志被设置为1时，它表示在生成窗口之后不立即显示该窗口。
“窗口样式ID(ws)”字段表示在生成窗口时七个预设窗口属性样式中的、要用于该窗口的一个窗口属性样式。该窗口属性样式可以通过设置窗口属性命令(下面要进行描述)来改变。
“笔样式ID(ps)”字段表示在生成窗口时七个预置笔属性样式中的、要用于该窗口的一个笔属性样式。这个笔属性样式可以通过设置笔属性命令(下面要进行描述)来改变。
图11例示了根据本发明一示范性实施方式的、为补充图10的限定窗口命令以便实现3D字幕文本框而附加地引入的限定3D框命令的编码格式的示例。
在本示范性实施方式中，限定3D框命令包括总计四个字节，其中包括1字节命令代码和3字节参数，并且可以简称为“D3B”。如上所述，限定3D框命令是用于向利用限定窗口命令限定的窗口提供3D特征的命令语言，其提供有关对应字幕文本框的3D锚点ID信息、锚点的z轴方向位置、以及3D字幕文本框的z轴方向大小。通过限定窗口命令限定的2D特征反映在3D字幕文本框的顶表面的特征上。
“z锚点ID”字段表示在指定3D字幕文本框的位置和改变字体大小时用作收缩和增长(或缩小和扩大)3D字幕文本框的基准点的锚点的z轴方向ID。“z锚点ID”字段(其与限定窗口命令中的“锚点(ap)”字段一起被解码)表示收缩和增长3D字幕文本框的基准点。如图9所示，“z锚点ID”字段具有值0、1或2。
“z锚点方位”字段表示3D字幕文本框的锚点的z坐标。这个“z锚点方位”字段与图10中的限定窗口命令中的“垂直锚点(av)”和“水平锚点(ah)”字段一起被解码，以在3D字幕文本框的锚点的空间中指示该3D字幕文本框的位置。在一示范性实施方式中，这个字段具有范围从-128至127变动的值，并且“z锚点方位”字段的大小当在3D显示器中物理输出时通过下面示出的等式1来计算。
[等式1]
“3D框z尺寸”字段表示3D字幕文本框在z轴方向上的尺寸。这个字段与限定窗口命令中的“行计数(rc)”和“列计数(cc)”一起表示3D字幕文本框的3D尺寸。“3D框z尺寸”的值(其是相对的)具有从0至128的值，并且通过利用这个值，表示在z轴方向上实际上物理呈现的3D字幕文本框的实际尺寸值。例如，如果可以通过显示装置表达的物理深度的范围的尺寸(即，显示单元可以表达的物理z尺寸的绝对尺寸)为K，则3D字幕文本框的实际尺寸在被输出时通过下面示出的等式2来计算。
[等式2]
图12例示了根据CEA-708-B标准的设置窗口属性命令的编码格式。该设置窗口属性命令包括总计5个字节，其中包括1字节命令和4字节参数。第一字节的命令代码具有值“0x18”，并且在代码空间中简称为SWA。
“调整”字段规定要在窗口中写入的文本的对齐格式(左对齐、居中对齐、右对齐、两端对齐)。
“打印方向”字段规定按哪一个方向在窗口内写入文本。
“滚动方向”字段规定当到达字幕行末端时按哪一个方向滚动文本。
当“自动换行(ww)”字段被设置为1时，它表示能够进行文字转移(word transfer)，而当它被设置为0时，它表示文字转移无效。
“显示效果”字段规定在显示或隐藏窗口时生成的效果，具有值0、1或2。当这个字段被设置为0时，实现骤变(SNAP)效果，以使如果隐藏窗口，则该窗口消失，而接着在显示该窗口时，该窗口弹出。当这个字段被设置为1时，实现渐隐(FADE)效果，以使窗口消失，接着按由“效果速度”字段(下面要进行描述)确定的速度显现。当这个字段被设置为2时，实现横扫(WIPE)效果，以使该窗口被删除，接着沿由“效果方向(ed)”字段确定的方向，按由“效果速度”字段确定的速度显现。
“效果方向(ed)”字段具有范围从0至3变动的值，并且表示多个方向(即，从左至右、从右至左、从上至下以及从下至上)中的、表达WIPE效果的一个方向。
“效果速度”字段表示按0.5秒钟表达FADE效果和WIPE效果的速度。
“填充颜色(fc)”字段表示窗口的顶表面(即，3D文本)的颜色，并且针对RGB中的每一个，具有范围从0至3变动的值。
“填充不透明度(fo)”字段表示窗口的透明度。这个字段具有范围从0至3变动的值，并且根据其值表示“实心”、“闪光(即，透明/实心交替显示)”、“半透明”以及“透明”。
“边框类型(bt)”字段具有范围从0至5变动的值，并且根据其值表示“无”、“凸起”、“凹下”、“均匀”、“左侧阴影”以及“右侧阴影”中的一种。
“边框颜色(bc)”字段表示窗口左角的颜色并且具有范围从0至3变动的值。当根据本发明一示范性实施方式将窗口表达为3D字幕文本框时，这个字段可以不加理会。同时，在一修改例中，“边框颜色(bc)”字段可以代替“边颜色(bc)”字段(下面要进行描述)而被解释。
图13例示了根据本发明一示范性实施方式的、为补充设置窗口属性命令以实现3D字幕文本框而附加地引入的设置3D框属性命令的编码格式的一示例。
在本示范性实施方式中，设置3D框属性命令包括总计5个字节，其中包括1字节命令代码和4字节参数，并且可以简称为“S3B”。设置3D框属性命令是用于通过针对利用限定窗口命令和限定3D框命令所限定的3D字幕文本框而补充设置窗口属性命令来限定立方(三维)样式的命令，并且通知有关3D字幕文本框的水平和垂直歪斜信息和关于侧表面的颜色和透明度。
“顶部样式”字段指定3D文本的顶表面的样式，并且可以具有与不均匀平面、环绕等相对应的值。
“侧面颜色”字段表示3D字幕文本框的侧表面的颜色，并且针对RGB中的每一个具有范围从0至3变动的值。因此，“侧面颜色”字段可以表达总共64种颜色。
“侧面不透明度”字段表示3D字幕文本框的侧表面的透明度。这个字段具有范围从0至3变动的值，并且根据其值表示“实心”、“闪光”、“半透明”以及“透明”。当“侧面不透明度”字段表示“实心”时，在实心3D字幕文本框的顶表面上显示2D文本，并且不显示该文本的侧表面。在这种情况下，通过设置窗口属性命令给出字幕文本框的顶表面的属性，而通过设置3D框属性给出侧表面的属性。当“侧面不透明度”字段表示“半透明”时，3D字幕文本框的侧表面被显示成半透明。3D字幕文本框内的3D文本的侧表面可以透过该透明表面被看到，并且在这种情况下，字符的侧表面的颜色可以用3D字幕文本框的透明表面的颜色来滤色。当“侧面不透明度”字段表示“透明”时，显示3D文本，并且在这种情况下，还可以清晰地显示字符的侧表面。“侧面不透明度”字段可以针对3D文本的顶表面与“填充不透明度(fo)”值互相配合。
同时，“水平歪斜因子”字段表示水平歪斜(即，倾斜值)，而“垂直歪斜因子”字段表示垂直倾斜值。
图14例示了根据CEA-708-B标准的设置笔色命令的编码格式。设置窗口属性命令包括总计4个字节，其中包括1字节命令代码和3字节参数。第一字节的命令代码具有值“0x91”，并且在代码空间中简称为SPC。
“fg颜色”字段表示文本的前表面的颜色，并且具有范围从0至3变动的值。
“fg不透明度(fo)”字段表示文本的前表面的透明度。这个字段具有范围从0至3变动的值，并且根据其值表示“实心”、“闪光”、“半透明”以及“透明”。
“bg颜色”字段表示文本的背景颜色，并且具有范围从0至3变动的值。
“bg不透明度(bo)”字段表示文本的背景的透明度。这个字段具有范围从0至3变动的值，并且根据其值表示“实心”、“闪光”、“半透明”以及“透明”。
“边缘颜色”字段表示文本的边缘的颜色，并且具有范围从0至3变动的值。在本发明一示范性实施方式中，当将文本表达为3D文本时，这个字段可以不加理会。
图15例示了根据本发明一示范性实施方式的、为补充图14中的设置笔色命令以实现3D文本而附加地引入的设置3D笔色命令的编码格式。在本示范性实施方式中，设置3D笔色命令包括总计两个字节，其中包括1字节命令代码和1字节参数，并且可以在代码空间中简称为“S3P”。设置3D笔色命令连同设置笔色命令一起限定3D文本的颜色，并且通知3D文本的侧表面的透明度和颜色。
“侧面不透明度(so)”字段表示3D文本的侧表面的透明度。这个字段具有范围从0至3变动的值，并且根据其值表示“实心”、“闪光”、“半透明”以及“透明”。
“侧面颜色”字段表示3D文本的侧表面的颜色，并且具有范围从0至3变动的值。
图16例示了根据本发明一示范性实施方式的、在代码空间中的限定3D框命令、设置3D框属性命令以及设置3D笔色命令的位置。
在如图5所示的符合CEA-708-B标准的代码空间中，在C1区中设置字幕控制代码。如果除了这个代码集以外还需要附加命令，则可以使用C2区或C3区的保留空间。C2区的代码集包括从“0x00”至“0x1F”的32个代码，并且可以利用“0x10”(即，N“EXT1”代码)作为前缀来寻址。在C2区的代码集中，分配从“0x00”至“0x07”的代码，以用作1字节代码(即，不存在附加字节)，可以将从“0x08”至“0x0F”的代码用作2字节代码(即，1个字节是附加字节)，分配从“0x10”至“0x17”的代码，以用作3字节代码(即，2个字节是附加字节)，而分配从“0x18”至“0x1F”的代码，以用作4字节代码(即，3个字节是附加字节)。同时，C3区的代码集包括从“0x80”至“0x9F”的32个代码，并且可以通过利用“0x10”(即，“EXT1”代码)作为前缀来寻址。在C3区的代码集中，分配从“0x80”至“0x87”的代码，以用作5字节代码(即，4个字节是附加字节)，分配从“0x88”至“0x8F”的代码，以用作6字节代码(即，5个字节是附加字节)，而分配从“0x90”至“0x9F”的代码，以用作可变字幕代码。
在如上所述的示范性实施方式中，限定3D框(D3B)命令包括总计不包括前缀(即，“EXT1”代码)的四个字节，因而，它可以被映射至从“0x18”至“0x1F”的代码中的一个代码以加以使用。优选的是，限定3D框命令被映射至“0x18”的位置并被使用。
同时，设置3D框属性(S3B)命令是5字节命令，因而，它可以被映射至从“0x80”至“0x87”的代码中的一个代码并被使用。优选的是，设置3D属性(S3B)命令被映射至“0x80”的位置并被使用。
同时，设置3D笔色(S3P)命令是2字节命令，因而，它可以被映射至从“0x08”至“0x0F”的代码中的一个代码并被使用。优选的是，设置3D笔色(S3B)命令被映射至“0x08”的位置并被使用。
广播系统和电视接收器
图17是根据本发明一示范性实施方式的广播发送系统的示意性框图。所示系统包括：双目镜摄像机110、预处理单元102、节目解码单元104、控制器112、传输复用单元120、频道编码和调制单元122以及发送器124。
双目镜摄像机100包括两个透镜和对应图像拾取装置，并且针对前景拍摄一对二维(2D)图像。如同人眼一样，两个透镜和图像拾取装置被设置成具有65毫米(mm)的距离，由此，摄像机100获取具有双目视差的两个二维(2D)图像。在下面的描述中，在构成一对立体图像的两个二维2D图像当中，通过左侧透镜获取的图像被称作左侧图像，而通过右侧透镜的获取的图像被称作右侧图像。
预处理单元102去除可以在通过摄像机100获取的左侧原始图像处存在的噪声，修正该图像，并且解决亮度分量的不平衡现象。该图像可以存储在存储单元中或在通过预处理单元102执行预处理之前或之后被编辑，由此，在通过摄像机100拍摄图像与通过节目编码单元104执行的编码之间可能存在显著时间差。
在节目编码单元104中，话音编码单元106接收来自安装在实际图像拍摄点的适当位置处的多个麦克风(未示出)的话音信号，并且根据预定标准(例如，AC-3标准)编码所接收话音信号，以生成音频基本流(ES)。
图像编码单元108根据特定标准编码摄像机100获取的图像，并且通过去除时间和空间冗余来压缩所编码图像，生成视频基本流(ES)。图像编码单元108接收来自用户数据插入单元116的用户数据，将该用户数据包括在图片报头区中，并对该用户数据进行编码。用户数据包括封闭字幕数据，并且该封闭字幕数据包括用于控制字幕文本显示的控制代码和字幕文本。具体来说，根据本发明一示范性实施方式中，这些控制代码可以不仅包括2D字幕控制代码(如限定窗口(DFx)命令、设置窗口属性(SWA)命令、设置笔色(SPC)命令等)，而且包括命令，即，限定3D框(D3B)命令、设置3D框属性(S3B)命令、设置3D笔色(S3P)命令等，以通过补充这些代码来实现3D字幕。
在一示范性实施方式中，图像编码单元108根据ISO/IEC 13838-2的MPEG-2标准和A/53Part 4的ATSC数字电视标准来编码图像信号。然而，在不限于此的情况下，图像编码单元108可以根据ISO/IEC JTC1/SC29/WG11所起草的H.264/AVC标准和ITU-T SG16Q.6的联合视频组(JVT)或其它方案来编码图像。
分组生成单元110接收分别来自话音编码单元106和图像编码单元108的音频ES和视频ES，并且打包各个流，以生成打包的基本流(PES)。
控制器112包括字幕数据生成单元114、用户数据插入单元116以及PSI/PSIP生成单元118。控制器112控制系统的总体操作，并且生成用户数据、节目说明信息(PSI)以及编码图像信号所需的节目和系统信息协议(PSIP)数据。
字幕数据生成单元114通过网络或记录介质从外部工作站接收时间编码字幕数据，将所接收数据打包成如图3所示的字幕频道分组，并输出打包的字幕频道分组。而且，字幕数据生成单元114生成要用于生成字幕业务描述符的字幕业务信息。
用户数据插入单元116向图像编码单元108提供要在图像编码单元108编码图像信号中按顺序级、GOP级或图片级插入的扩展数据和用户数据。具体来说，用户数据插入单元116从字幕数据生成单元114向图像编码单元108提供字幕频道分组，作为一类用户数据，使得图像编码单元108可以通过将字幕频道分组包括在图片报头中来编码图像信号。在发送左侧图像和右侧图像以实现立体3D图像时，可以将这两个图像中的一个图像指定为基本视图，并可以将另一剩余图像指定为扩展视图，并且优选的是，基于基本视图生成字幕频道分组并发送所生成的字幕频道分组。
PSI/PSIP生成单元118生成节目说明信息(PSI)以及节目与系统信息协议(PSIP)数据。用于描述字幕业务信息的字幕业务描述符被包括在PSIP的节目映射表(PMT)中或事件信息表(EIT)中。字幕业务描述符(用于提供有关封闭字幕的信令信息的描述符)向接收器提供诸如封闭字幕类型(即，NTSC类型21行封闭字幕业务或数字TV封闭字幕业务)、字幕语言等的信息。
传输复用单元120复用PES和PSI/PSIP信息并且添加报头以生成传输流(ST)。同时，图1的系统经由地波发送单一频道，但例如经由有线网络或卫星网络发送广播信号的系统可以附加地具有用于复用多个频道的广播信号的发送复用器，以生成多节目TS。频道编码和调制单元122针对TS执行纠错编码，使得接收器可以检测可能因传输信道中的噪声而造成的差错，并且修正这样的差错。另外，频道编码和调制单元122根据该系统所采用的调制方案(例如，8-VSB调制方案)调制纠错编码TS。发送单元124例如经由天线根据信道特征发送调制广播信号。
下面，参照图18和19，对图17的系统用于发送封闭字幕信息的信号数据的结构进行详细描述。
根据ISO/IEC 13838-2的MPEG-2标准和A/53Part 4的ATSC数字电视标准，用于限定扩展数据或用户数据的extension_and_user_data()结构可以被插入至视频序列、GOP或图片级的报头。优选的是，包括封闭字幕数据，作为可以按图片级(即，在视频ES中)在图片报头之后设置的extension_and_user_data()内的用户数据(即，图片用户数据)，并发送该封闭字幕数据。
图18中的第一表示出图片扩展和用户数据的语法。与语法标题相对应的extension_and_user_data(2)的括弧中的“2”表示该语法处于图片级。如在“do_while”句子的执行条件中所示，在图片报头内显现下一个的比特是extension_start_code或user_data_start_code，后面的比特流具有extension_and_user_data(2)结构。因此，该接收器将在extension_start_code或the_user_data_start_code之后的比特流识别为extension_data(2)或user_data()。
如图18所示，图片用户数据(user_data())包括“user_data start_code”和“user_data_identifier”字段，并且这些字段后面是user_structure()。“user_data_start_code”的值根据ISO/IEC 13818-2标准被确定为0x000001B2。“user data_identifier”字段是表示user_structure()的语法和含义的32比特代码，其根据ISO/IEC 13838-1标准的限定被确定为“format_identifier”的值，并且如在本发明中的ATSC_user_data()的情况下，其可以被确定为“0x47413934”的值。
user_structure()是通过字段“user_data_identifier”限定的可变数据结构，并且包括如图7中的第三表示出的“user_data_type_code”和user_data_type_structure()。“user_data_type_code”是表示ATSC用户数据的类型的8比特值。当“user_data_type_code”具有值“0x03”时，它表示封闭字幕数据。该封闭字幕数据cc_data的语法如图2所示。
按这个方式，根据本发明一示范性实施方式，构成一对立体图像的两个2D图像根据MPEG-2标准编码，并且封闭字幕数据被包括为视频ES的图片报头中的用户数据。然而，在这种情况下，该图像可以根据任何其它编码方案(例如，ISO/IECJTC 1/SC29/WG11所起草的H.265/AVC标准和ITU-T SG16的联合视频组(JVT))来编码。当根据H.264/AVC标准来编码图像时，可以将封闭字幕数据包括在补充增强信息(SEI)区中并进行发送。
图19例示了适于在根据H.265/AVC标准编码一对立体图像的修改例中发送封闭字幕数据的SEI RBSP净荷比特流的语法。
在如图19所示语法中，“itu_t_t35_country_code”是在ITU-T T35的附件A中限定的8比特国家代码，而韩国的“itu_t_t35_country_code”具有值“0x61”。“itu_t_t35_country_code”是具有值“0x0031”的16比特代码。“user_identifier”是32比特代码，其可以表示user_structure的语法结构是通过ATSC A/53利用值“0x47413934”来限定的。在这种情况下，user_structure()可以按和在ATSC数字电视标准(即，A/53Part 4Section 6.2.3)中所限定的相同的方式来使用。因而，封闭字幕数据可以通过利用图18的第三表和图2的封闭字幕语法中的用户数据语法来显示。
同时，描述在在图片用户数据内被编码之后发送的字幕业务的类型和属性的字幕业务信息与字幕数据分开发送至接收器。在本示范性实施方式中，字幕业务信息是根据ATSC A/65标准生成的，被包括在字幕业务描述符中，并且经由MPEG-2传输流的事件信息表(EIT)来发送。
图20例示了根据本示范性实施方式的包括在EIT中的字幕业务描述符的语法。一般来说，该字幕业务描述符是用于提供有关封闭字幕的信令信息的描述符，其被用于发送诸如封闭字幕的类型(即，NTSC类型21行封闭字幕业务或数字TV封闭字幕业务)、字幕语言等的信息。
“descriptor_tag”字段是表示描述符的类型的8比特字段，其在字幕业务描述符的情况下具有值“0x86”。“descriptor_length”字段是表示在描述符内这个字段之后的字节的数量的计数值。“number_of_services”字段是表示EIT事件中存在的封闭字幕业务的数量的、从1至16范围内的5比特整数。
“for”循环内重复的每一个处理限定9600bps的封闭字幕流内作为单一子流存在的单一封闭字幕业务。每一个重复处理都提供一业务的语言、属性以及相关字幕业务数量。“language”字段是表示与封闭字幕业务有关的语言的3比特语言代码，具有根据ISO 639.2/B标准的3字符代码值。当“digital_cc”字段清零时，“language”字段没有任何含义。当“digital_cc”字段被设置为1时，其表示提供数字TV封闭字幕业务，而当“digital_cc”字段清零时，其表示提供NTSC 21行封闭字幕业务。“line21_field”字段不受用户支配，因而，不考虑它是设置为1还是清零。“caption_service_number”字段是标识与“for”循环中的当前重复处理内限定的字符和属性有关的封闭字幕流内的字幕业务数量的、范围从0至63内的6比特整数值。这个字段仅仅在“digital_cc”字段表示数字TV封闭字幕业务时限定。例如，如果“caption_service_number”字段为0，则其表示主字幕业务，而如果“caption_service_number”为1，则其表示辅字幕业务。“easy_reader”字段是逻辑标志。当“easy_reader”字段被设置为1时，其表示封闭字幕业务已经被调节以使容易根据初学者的需要来读取。如果这个字段清零，则其表示没有调节封闭字幕业务。“easy_reader”字段在“digital_cc”字段清零时没有任何含义。“wide_aspect_ratio”字段是逻辑字段。当“wide_aspect_ratio”字段被设置为1时，其表示封闭字幕业务已经被格式调整为按16∶9的画面比率显示。当“wide_aspect_ratio”字段清零时，其表示封闭字幕业务已经被格式调整为按4∶3的画面比率显示。如果“digital_cc”字段清零，则这个字段没有任何含义。
尽管未示出，但字幕业务描述符可以附加地包括用于支持3D字幕的参数(下面，称为“3D字幕相关信息”)。3D字幕相关信息例如可以是要用于基于基本视图中的字幕显示方位来确定扩展视图中的字幕显示方位的水平视差数据。
图21是根据本发明一示范性实施方式的电视接收器的示意性框图。根据本示范性实施方式的电视接收器自适应以接收天波广播信号来再现图像。
调谐器200从经由天线(未示出)输入的多个广播信号当中选择由用户选定的特定频道的广播信号，并输出该广播信号。解调和频道解码单元202解调来自调谐器200的广播信号并且针对解调信号执行纠错解码，以输出传输流(TS)。传输解复用单元204解复用TS，以分离视频ES和音频ES，并且提取PSI/PSIP信息。
话音解码单元208解码音频ES，以输出数字音频比特流。该音频比特流通过数字模拟转换器(未示出)转换成模拟音频信号，通过放大器(未示出)放大，接着经由扬声器(未示出)输出。图像解码单元210解析该视频ES，以提取扩展/用户数据和MPEG-2视频比特流，并且从扩展/用户数据提供字幕数据cc_data()，接着将所提取字幕数据cc_data()提供给字幕解码单元216。图像解码单元210从扩展/用户数据提取封闭字幕数据cc_data()，并将所提取字幕数据cc_data()提供给字幕解码单元216。图像解码单元210解码MPEG-2视频比特流，以输出用于实现立体3D图像的左侧和右侧图像信号。话音解码单元208和图像解码单元210的解码处理可以基于分组ID(PID)来执行，并由PSI/PSIP处理单元214来检查(或查明)。
PSI/PSIP处理单元214接收来自传输解复用单元204的PSI/PSIP信息，解析所接收PSI/PSIP信息，并将所解析的信息存储在存储器(未示出)或寄存器中，以允许基于所存储信息再现广播。描述字幕业务的类型和属性的字幕业务信息按字幕业务描述符的形式包括在接收器接收的PSIP的EIT中。PSI/PSIP处理单元214提取字幕业务信息，以允许字幕解码单元216在解码字幕数据时利用该字幕业务信息。然而，在一修改例中，字幕业务信息可以被图形引擎218利用，而不是被字幕解码单元216利用，或者被字幕解码单元216和图形引擎218两者利用。
字幕解码单元216从PSI/PSIP处理单元214接收字幕业务信息，并且还从图像解码单元210接收字幕数据cc_data()。字幕解码单元216基于来自PSI/PSIP处理单元214的字幕业务信息释放字幕数据cc_data()的分组，以恢复分组数据，并且恢复针对每一个业务的业务块数据。接着，字幕解码单元216根据基于图16的代码空间部署的代码本来解码并解释业务块数据。具体来说，根据本发明一示范性实施方式，字幕解码单元216解码限定窗口命令、限定3D框命令、设置窗口属性命令、设置3D框属性命令、设置笔色命令以及设置3D笔色命令，同时顺序地解码业务块数据。字幕解码单元216向图形引擎218提供所解码3D字幕框信息和字幕文本信息。在一修改例中，字幕解码单元216可以向图形引擎218提供这些命令的全部参数或一部分参数，使得图形引擎218可以利用所提供的参数。
图形引擎218从字幕解码单元216接收3D字幕框和字幕文本信息，并且基于该信息执行3D呈现，以生成采用OSD信号的形式的、针对基本视图和扩展视图的字幕位图。这里，基本视图可以是左侧图像，而扩展视图可以是右侧图像。3D呈现操作可以利用现有3D呈现方案或将来可以提出的方案中的一种或者通过混合地利用这些方案来执行。3D呈现操作可以由本发明所属领域的技术人员基于本发明的描述而容易地实现，因而，省略了其详细描述。
混合器220将从图形引擎218传递来的左侧和右侧封闭字幕OSD图像信号混合至从图像解码单元210传递来的左侧和右侧广播图像信号。比较帧时间与映射交叠左侧和右侧图像信号的字幕位图的格式调整器222对时间上一致的左侧和右侧图像进行格式调整，以使它们成对显示。因此，3D封闭字幕被恢复并输出至画面平面224上的经格式调整的3D图像。
下面，参照图22，对在图21所示电视接收器中提取封闭字幕信息并且显示3D封闭字幕的处理进行描述。
首先，PSI/PSIP处理单元214解析PSIP以基于分组ID(PID)和表ID来提取主引导表(MGT)(″PID″＝′0x1FFB′，″table_ID″＝′0xC7′)，并且从MGT获取有关事件信息表(EIT)的PID信息。接下来，PSI/PSIP处理单元214读取具有所获取PID的TP，以提取EIT(″table_ID″＝′0xC7′)。接着，PSI/PSIP处理单元214解析该EIT以参照EIT中的每一个事件，检测如图20所示的字幕业务描述符。
随后，图像解码单元210解析视频ES，以提取报头和扩展/用户数据，并解码图片报头内的extension_and_user_data(2)，以提取图片用户数据user_data()(步骤S250)。同时，在根据H.264/AVC标准编码视频ES的修改例中，解码补充增强信息(SEI)区。即，图像解码单元210解析AVC NAL单元，以提取“nal_unit_type”值为“6”的SEI数据，并且读取“payloadType”值为“4”的user_data_registered_itu_t_t35()。
此后，图像解码单元210从图片用户数据user_data()检测具有“user_data_identifier”值“‘0x47413934”的ATSC_user_data()。
随后，图像解码单元210从图片用户数据user_data()检测“user_data_identifier”值为“0x47413934”的ATSC_user_data()。此后，图像解码单元210从ATSC_user_data()提取“user_data_type_code”值为“‘0x04”的user_data_type_structure()。接着，图像编码单元210从use_data_type_structure()提取cc_data()，并向字幕解码单元216提供通过cc_data()接收到的字幕数据的一对字节(cc_data1和cc_data2)(S252)。
累计通过cc_data()接收到的字幕数据的字节对的字幕解码单元216基于从PSI/PSIP处理单元214传递来的字幕业务信息解码并解释该字幕数据。具体来说，根据本发明一示范性实施方式，字幕解码单元216解码限定窗口命令、限定3D框命令、设置窗口属性命令、设置3D框属性命令、设置笔色命令以及设置3D笔色命令，同时顺序地解码业务块数据(S254)。
图形引擎418从字幕解码单元216接收3D字幕框和字幕文本信息，并基于该信息执行3D呈现，以生成针对基本视图和扩展视图的字幕位图(S256)。所生成字幕位图图像被与广播图像信号相混合，进行格式调整，接着被输出(S258)。
这样对本发明进行了描述，显见的是，可以按许多方式对其进行改变。尽管出于例示的目的，对本发明的特定实施方式进行了公开，但本领域技术人员应当明白，在不脱离本发明的范围的情况下，各种修改例、增加例以及替换例都是可以的。因此，本发明的实施方式不限于上述实施方式，而是通过下面的权利要求书连同其等同物的全部范围来限定。
工业应用
如迄今为止所述，在电视接收器中，封闭字幕可以以立方效果来显示，以使其与3D图像相协调，而不会严重增加3D呈现所需的计算负担。因此，可以显著增加封闭字幕的效用和吸引力。另外，因为现有字幕信号发送/接收方法通过补充包括一参数来实现，所以可以保证与现有标准的兼容性。
本发明可以应用于具有3D图像显示能力并且需要具有封闭字幕显示功能的任何显示装置。具体来说，本发明可以特别有用于与格式类型无关的立体显示装置，如双模式显示器、时间序列模式显示器等。

Claims (10)

1.一种用于发送三维（3D）字幕信号的方法，该方法包括以下步骤：
准备用于显示3D图像的3D图像信号；
生成基于代码空间的3D字幕数据，其中所述3D字幕数据包括3D字幕框配置信息和字幕文本，其中所述3D字幕数据在图片用户数据内被格式调整，并且其中所述图片用户数据按顺序级、图片组GOP级和图片数据级中的任何一个来插入，以在所述3D图像内显示3D字幕；以及
将所述3D字幕框配置信息和所述字幕文本插入到视频图片报头区中以编码所述图像信号，并且发送经编码的图像信号，使得基于所述3D字幕框配置信息和所述字幕文本在3D显示装置中生成包括设置在3D字幕框中的3D字幕文本的字幕图像，
其中，所述代码空间包括基本代码集和扩展代码集，并且
其中，所述3D字幕框配置信息在至少一个扩展代码集中被传递，并且所述至少一个扩展代码集通过使用在基本代码集中的“EXT1”代码来近似。
2.根据权利要求1所述的方法，其中，所述3D字幕框配置信息与2D窗口配置信息一起生成，并被编码。
3.根据权利要求2所述的方法，其中，所述3D字幕框配置信息包括2D窗口限定信息、补充所述2D窗口限定信息的3D文本框配置信息、2D窗口属性配置信息，以及补充所述2D窗口属性配置信息的3D文本框属性配置信息。
4.根据权利要求1所述的方法，其中，所述3D字幕框配置信息被插入到广播信号的图片报头区中。
5.一种用于在3D显示装置中显示三维（3D）字幕的方法，该方法包括以下步骤：
接收包括3D图像信号和基于代码空间的3D字幕数据的广播信号，其中所述3D字幕数据在图片用户数据内被格式调整，并且其中所述图片用户数据按顺序级、图片组GOP级和图片数据级中的任何一个来插入；
从所述3D字幕数据获取3D字幕框配置信息和字幕文本；以及
基于所述3D字幕框配置信息和所述字幕文本来生成包括设置在3D字幕框中的3D字幕文本的字幕图像，并显示所述字幕图像，
其中，所述代码空间包括基本代码集和扩展代码集，并且
其中，所述3D字幕框配置信息在至少一个扩展代码集中被传递，并且所述至少一个扩展代码集通过使用在基本代码集中的“EXT1”代码来近似。
6.根据权利要求5所述的方法，其中，在所述显示所述字幕图像的步骤中，所述字幕图像被与3D广播图像混合，进行格式调整，接着被显示。
7.根据权利要求5所述的方法，其中，在所述获取3D字幕框配置信息和字幕文本的步骤中，还接收3D文本配置信息，并且基于所述3D字幕框配置信息、所述3D文本配置信息以及所述字幕文本来生成所述字幕图像。
8.根据权利要求5所述的方法，其中，在所述获取3D字幕框配置信息和字幕文本的步骤中，与2D窗口配置信息一起接收所述3D字幕框配置信息。
9.根据权利要求8所述的方法，其中，所述3D字幕框配置信息包括2D窗口限定信息、补充所述2D窗口限定信息的3D文本框配置信息、2D窗口属性配置信息，以及补充所述2D窗口属性配置信息的3D文本框属性配置信息。
10.根据权利要求5所述的方法，其中，所述3D字幕框配置信息是从所述广播信号的图片报头区中提取的。
CN200980154062.5A 2009-01-08 2009-09-23 3d字幕信号发送方法和3d字幕显示方法 Active CN102273209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410356859.6A CN104113749B (zh) 2009-01-08 2009-09-23 3d字幕信号发送方法和3d字幕显示方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14316609P 2009-01-08 2009-01-08
US61/143,166 2009-01-08
PCT/KR2009/005436 WO2010079880A1 (ko) 2009-01-08 2009-09-23 3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410356859.6A Division CN104113749B (zh) 2009-01-08 2009-09-23 3d字幕信号发送方法和3d字幕显示方法

Publications (2)

Publication Number Publication Date
CN102273209A CN102273209A (zh) 2011-12-07
CN102273209B true CN102273209B (zh) 2014-08-20

Family

ID=42316629

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980154062.5A Active CN102273209B (zh) 2009-01-08 2009-09-23 3d字幕信号发送方法和3d字幕显示方法
CN201410356859.6A Active CN104113749B (zh) 2009-01-08 2009-09-23 3d字幕信号发送方法和3d字幕显示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410356859.6A Active CN104113749B (zh) 2009-01-08 2009-09-23 3d字幕信号发送方法和3d字幕显示方法

Country Status (5)

Country Link
US (3) US8704874B2 (zh)
KR (1) KR101622691B1 (zh)
CN (2) CN102273209B (zh)
CA (1) CA2749064C (zh)
WO (1) WO2010079880A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
KR20110053160A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
AU2009243439A1 (en) * 2009-11-30 2011-06-16 Canon Kabushiki Kaisha Robust image alignment for distributed multi-view imaging systems
US20110149020A1 (en) * 2009-12-17 2011-06-23 Ilya Klebanov Method and system for video post-processing based on 3d data
CN102812711B (zh) * 2010-02-25 2016-11-02 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
US8839338B2 (en) * 2012-03-28 2014-09-16 Sony Corporation Service usage reporting data transport
US8730301B2 (en) 2010-03-12 2014-05-20 Sony Corporation Service linkage to caption disparity data transport
US8760498B2 (en) 2011-03-14 2014-06-24 Sony Corporation Disparity data transport in standard caption service
US9456204B2 (en) * 2010-03-16 2016-09-27 Universal Electronics Inc. System and method for facilitating configuration of a controlling device via a 3D sync signal
KR101435594B1 (ko) * 2010-05-31 2014-08-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
KR20120016980A (ko) * 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
CN102137264B (zh) * 2010-08-25 2013-03-13 华为技术有限公司 一种三维电视中图形文本显示的控制方法及设备、系统
TW201234833A (en) * 2010-10-25 2012-08-16 Panasonic Corp Encoding method, display apparatus, and decoding method
US20130033569A1 (en) * 2011-08-03 2013-02-07 General Instrument Corporation Combining a three-dimensional message with three-dimensional video content
CA2810853A1 (en) * 2011-08-04 2013-02-07 Sony Corporation Transmitting apparatus, transmitting method, and receiving apparatus
JP2013051660A (ja) * 2011-08-04 2013-03-14 Sony Corp 送信装置、送信方法および受信装置
CN103067678A (zh) * 2011-10-20 2013-04-24 四川长虹电器股份有限公司 一种电视机字幕显示方法及装置
SG11201500229YA (en) * 2012-08-15 2015-03-30 Sony Corp Broadband delivery of personalization information for advanced tv services
KR20150051637A (ko) * 2013-11-05 2015-05-13 (주)휴맥스 디스플레이 창 크기 또는 위치 조정 방법, 장치 및 시스템
CN105657395A (zh) * 2015-08-17 2016-06-08 乐视致新电子科技（天津）有限公司 一种3d视频的字幕播放方法及装置
WO2017047540A1 (ja) * 2015-09-16 2017-03-23 ソニー株式会社 送信装置、送信方法、再生装置および再生方法
CN106600527A (zh) * 2016-12-19 2017-04-26 广东威创视讯科技股份有限公司 一种图像嵌入自适应颜色文字的方法及装置
KR20210132227A (ko) 2017-08-01 2021-11-03 지멘스 에너지, 인코포레이티드 향상된 가이드 파 서모그래피 검사 시스템들 및 이를 사용하는 방법들
CN109116077B (zh) * 2018-07-09 2020-09-08 深圳市鼎阳科技股份有限公司 一种波形映射方法、装置及计算机可读存储介质
CN110971951B (zh) * 2018-09-29 2021-09-21 阿里巴巴（中国）有限公司 弹幕展示方法及装置
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果
WO2021054380A1 (ja) * 2019-09-20 2021-03-25 日本放送協会 符号化装置、復号装置、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351280B1 (en) * 1998-11-20 2002-02-26 Massachusetts Institute Of Technology Autostereoscopic display system
CN1960451A (zh) * 2005-11-02 2007-05-09 三星电子株式会社 广播接收机、广播发射机、广播系统及其控制方法
CN101124572A (zh) * 2004-09-24 2008-02-13 微软公司 文件系统外壳
WO2008115222A1 (en) * 2007-03-16 2008-09-25 Thomson Licensing System and method for combining text with three-dimensional content

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965379B2 (en) 2001-05-08 2005-11-15 Koninklijke Philips Electronics N.V. N-view synthesis from monocular video of certain broadcast and stored mass media content
JPWO2003092303A1 (ja) * 2002-04-25 2005-09-08 シャープ株式会社 マルチメディア情報生成装置およびマルチメディア情報再生装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
WO2005081643A2 (en) * 2004-02-26 2005-09-09 Lg Electronics Inc. Recording medium and method and apparatus for reproducing and recording text subtitle streams
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
JP4730120B2 (ja) 2005-02-28 2011-07-20 日本ビクター株式会社 映像データ処理装置、映像再生装置、映像データ処理方法、映像再生方法、これらの方法をコンピュータによって実行するためのプログラム並びに記録媒体
JP4311570B2 (ja) * 2005-07-01 2009-08-12 株式会社ソニー・コンピュータエンタテインメント 再生装置、ビデオ復号装置および同期再生方法
US20070118399A1 (en) * 2005-11-22 2007-05-24 Avinash Gopal B System and method for integrated learning and understanding of healthcare informatics
CN100591140C (zh) * 2006-04-30 2010-02-17 神州亿品科技有限公司 一种在视频中显示字幕的方法
KR20080036329A (ko) 2006-10-23 2008-04-28 엘지전자 주식회사 캡션 디스플레이 장치 및 방법
US20080129864A1 (en) * 2006-12-01 2008-06-05 General Instrument Corporation Distribution of Closed Captioning From a Server to a Client Over a Home Network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351280B1 (en) * 1998-11-20 2002-02-26 Massachusetts Institute Of Technology Autostereoscopic display system
CN101124572A (zh) * 2004-09-24 2008-02-13 微软公司 文件系统外壳
CN1960451A (zh) * 2005-11-02 2007-05-09 三星电子株式会社 广播接收机、广播发射机、广播系统及其控制方法
WO2008115222A1 (en) * 2007-03-16 2008-09-25 Thomson Licensing System and method for combining text with three-dimensional content

Also Published As

Publication number Publication date
WO2010079880A1 (ko) 2010-07-15
US20110279644A1 (en) 2011-11-17
CN104113749A (zh) 2014-10-22
KR20110118624A (ko) 2011-10-31
CA2749064C (en) 2015-02-17
CN102273209A (zh) 2011-12-07
US9699439B2 (en) 2017-07-04
CA2749064A1 (en) 2010-07-15
CN104113749B (zh) 2016-10-26
KR101622691B1 (ko) 2016-05-19
US8902287B2 (en) 2014-12-02
US20140250454A1 (en) 2014-09-04
US8704874B2 (en) 2014-04-22
US20150109412A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
CN102273209B (zh) 3d字幕信号发送方法和3d字幕显示方法
JP5721733B2 (ja) ビデオ付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びその装置、並びに受信方法及びその装置
KR101622688B1 (ko) 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
CN104065950B (zh) 3d字幕显示方法和设备以及发送3d字幕的方法和设备
CN104811685B (zh) 3d图像信号处理方法和用于实现该方法的图像显示器
RU2510081C2 (ru) Способ и устройство для обработки сигнала для трехмерного воспроизведения дополнительных данных
CN104333746B (zh) 广播接收机及其3d字幕数据处理方法
CN104301705B (zh) 广播接收机和三维视频数据处理方法
CN102883172A (zh) 接收装置、接收方法和发送接收方法
CN102640506A (zh) 生成3d视频信号
CN102292993A (zh) 三维字幕显示方法以及用于实现该方法的三维显示装置
CN103597823A (zh) 发送装置、发送方法和接收器装置
CN103222270A (zh) 发送设备、发送方法和接收设备
KR101846857B1 (ko) 3차원 비디오 전송을 위한 자막들에 있어서의 개선
JP2013026643A (ja) 受信装置、受信方法および送受信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant