CN102939748B - 用于产生用于具有字幕的数字广播的广播比特流的方法和设备以及用于接收用于具有字幕的数字广播的广播比特流的方法和设备 - Google Patents

用于产生用于具有字幕的数字广播的广播比特流的方法和设备以及用于接收用于具有字幕的数字广播的广播比特流的方法和设备 Download PDF

Info

Publication number
CN102939748B
CN102939748B CN201180029524.8A CN201180029524A CN102939748B CN 102939748 B CN102939748 B CN 102939748B CN 201180029524 A CN201180029524 A CN 201180029524A CN 102939748 B CN102939748 B CN 102939748B
Authority
CN
China
Prior art keywords
captions
caption
information
video
play amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180029524.8A
Other languages
English (en)
Other versions
CN102939748A (zh
Inventor
赵锋济
金容台
张庸硕
李大钟
金载承
徐周希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102939748A publication Critical patent/CN102939748A/zh
Application granted granted Critical
Publication of CN102939748B publication Critical patent/CN102939748B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6433Digital Storage Media - Command and Control Protocol [DSM-CC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/025Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame

Abstract

一种产生用于数字字幕广播的广播比特流的方法,所述方法包括:接收视频数据,其中,在所述视频数据中,包括2维(2D)视频和3D视频中的至少一个的视频被编码;确定将与所述视频一起再现的字幕数据和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将所述字幕数据再现为3D字幕的偏移量的转换速度的信息;通过对所述视频数据、字幕数据和3D字幕转换信息进行复用来输出用于数字广播的比特流。

Description

用于产生用于具有字幕的数字广播的广播比特流的方法和设备以及用于接收用于具有字幕的数字广播的广播比特流的方法和设备
技术领域
本发明涉及用于发送和接收提供2维(2D)或3D内容的数字广播内容的方法和设备。
背景技术
数字广播传输系统可在通过广播节目提供视频内容和音频内容的同时提供将显示在视频屏幕上的字幕服务。数字广播接收系统可通过对所接收的视频数据进行解码以重构视频内容并组合使用通过字幕服务接收的字幕数据而产生的字幕来再现显示字幕的视频屏幕。
对于伴有真实感和3D效果的3维(3D)内容的需求增加。此外,用于准备用3D再现的广播的内容或节目已出现。支持3D视频的数字广播接收系统能够通过接收用于3D广播的内容来再现3D视频。根据由于3D视频广播内容的供给而导致的再现广播内容的方法的改变,数字广播接收系统的附加功能也需要改变。
发明内容
技术问题
本发明提供这样一种方法,该方法使用通过数字广播流的2D字幕数据来提供用于实现3D字幕的3维(3D)字幕信息,从而通过使用3D字幕信息来实现3D字幕。
技术解决方案
根据本发明的一方面,提供一种产生用于数字字幕广播的广播比特流的方法,该方法包括:接收视频数据,其中,在所述视频数据中,包括2维(2D)视频和3D视频中的至少一个的视频被编码;确定将与所述视频一起再现的字幕数据和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将所述字幕数据再现为3D字幕的偏移量的转换速度的信息;通过对所述视频数据、字幕数据和3D字幕转换信息进行复用来输出用于数字广播的比特流。
有益效果
基于根据本发明产生的数字广播比特流,可通过使用比特流的服务块、字幕窗口命令、和节表区中的间隔中至少一个来发送和接收根据实施例的3维(3D)字幕转换信息、3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息。
此外,因为防止2D字幕再现状态和3D字幕再现状态快速改变,字幕大小可与字幕深度的改变成比例地改变,并且可通过在彼此重叠的多个字幕窗口之间分配3D字幕优先级来设置再现次序,所以可提供对于电视(TV)观众而言具有视觉上自然的外观的3D广播节目。
附图说明
图1是根据实施例的用于产生用于数字字幕广播的数字广播比特流的设备的框图;
图2A和图2B是根据实施例的用于接收用于数字字幕广播的数字广播比特流的设备的框图;
图3示出DTV比特流的数字电视隐藏式字幕(DTV-CC)数据的结构;
图4示出字幕通道的协议模型;
图5示出根据CEA-708的DTV-CC代码集表;
图6示出节目映射表(PMT)区或事件信息表(EIT)区中的字幕服务描述符的语法;
图7显示视频偏移量和字幕窗口偏移量的曲线图;
图8示出对象与字幕窗口之间的深度被翻转的现象;
图9示出用于传输根据实施例的3维(3D)字幕偏移量信息的服务块;
图10示出根据实施例的3D字幕偏移量命令;
图11和图12分别示出根据实施例的3D字幕服务块和通过使用根据实施例的3D字幕偏移量命令来确定3D字幕窗口的实施例;
图13是根据实施例的用于通过使用3D字幕偏移量信息来将字幕数据再现为3D字幕的视频解码系统的框图;
图14是示出根据实施例的通过使用3D字幕偏移量信息来再现字幕的方法的流程图;
图15示出根据实施例的字幕偏移量转换速度命令;
图16是根据实施例的使用字幕偏移量转换速度信息的3D字幕的偏移量改变曲线图;
图17示出根据实施例的使用字幕偏移量转换速度信息的3D字幕处理屏幕;
图18是根据另一实施例的使用字幕偏移量转换速度信息的3D字幕的偏移量改变曲线图;
图19示出字幕的根据字幕深度改变的大小改变;
图20示出根据实施例的3D字幕大小转换命令;
图21示出根据实施例的用于另外设置3D字幕大小转换信息的字幕偏移量转换速度命令;
图22示出根据实施例的在用于传输两个基本流的系统中2DDTV-CC信息和3DDTV-CC信息被分别包括在所述两个基本流中的情况;
图23和图24是用于描述当根据实施例配置的两个或更多个字幕窗口彼此碰撞时再现字幕窗口的方法的示图;
图25是示出根据实施例的产生用于数字字幕广播的数字广播比特流的方法的流程图;和
图26是示出根据实施例的接收用于数字字幕广播的数字广播比特流的方法的流程图。
最优模式
一种产生用于数字字幕广播的广播比特流的方法,该方法包括:接收视频数据,其中,在所述视频数据中,包括2维(2D)视频和3D视频中的至少一个的视频被编码;确定将与所述视频一起再现的字幕数据和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将字幕数据再现为3D字幕的偏移量的转换速度的信息;通过对所述视频数据、字幕数据和3D字幕转换信息进行复用来输出用于数字广播的比特流。
输出比特流的步骤包括:将字幕数据插入到数字广播比特流的用户数据区、字幕服务数据区和节表区中的至少一个中;将3D字幕转换信息插入到比特流的字幕服务块、字幕窗口命令和节表区中。
一种接收用于数字字幕广播的广播比特流的方法,该方法包括:接收比特流,其中,所述比特流包括2维(2D)视频和3D视频中的至少一个的编码视频数据;通过对所接收的比特流进行解复用和解析来从所述比特流提取编码视频数据、将与视频一起再现的字幕数据、和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将字幕数据再现为3D字幕的偏移量的转换速度的信息;基于3D字幕转换信息来确定字幕数据在视频屏幕上的再现形式。
所述方法还可包括:通过对所述编码视频数据进行解码来重构2D视频和3D视频中的至少一个的视频;根据基于3D字幕转换信息而确定的字幕数据的再现形式,在视频屏幕上将字幕数据再现为3D字幕。
一种用于产生用于数字字幕广播的广播比特流的设备,该设备包括:视频数据输入单元,用于接收视频数据,其中,在所述视频数据中,包括2维(2D)视频和3D视频中的至少一个的视频被视频编码处理器编码;3D字幕转换信息确定器,用于确定将与所述视频一起再现的字幕数据和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将字幕数据再现为3D字幕的偏移量的转换速度的信息;比特流输出单元,用于通过对所述视频数据、字幕数据和3D字幕转换信息进行复用来输出用于数字广播的比特流。
一种用于接收用于数字字幕广播的广播比特流的设备,该设备包括:比特流接收器,用于接收比特流,其中,所述比特流包括2维(2D)视频和3D视频中的至少一个的编码视频数据;提取器,用于通过对所接收的比特流进行解复用和解析来从所述比特流提取编码视频数据、将与视频一起再现的字幕数据、和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将字幕数据再现为3D字幕的偏移量的转换速度的信息;字幕确定器,用于基于3D字幕转换信息来确定字幕数据在视频屏幕上的再现形式。
所述设备还可包括:视频重构器,用于通过与视频解码处理器互锁来对所述编码视频数据进行解码,以重构所述2D视频和所述3D视频中的至少一个视频;再现器,用于根据基于3D字幕转换信息而确定的字幕数据的再现形式来在视频屏幕上将字幕数据再现为3D字幕。
一种计算机可读记录介质在其上记录用于在操作处理器中运行产生数字广播比特流的方法的程序。一种计算机可读记录介质在其上记录用于在操作处理器中运行接收数字广播比特流的方法的程序。
具体实施方式
以下,将参照图1至图26来描述用于产生用于提供2D视频或3D视频的数字广播的数字广播比特流(包括根据本发明的实施例的用于再现3维(3D)字幕的字幕信息)的方法和设备以及用于接收数字广播比特流的方法和设备。此外,将描述根据实施例的用于通过使用字幕信息来再现3D字幕的方法和设备。
图1是根据实施例的用于产生用于数字字幕广播的数字广播比特流的设备100的框图。
根据实施例的设备100包括视频数据输入单元110、3D字幕转换信息确定器120和比特流输出单元130。
根据实施例的设备100产生包括视频数据、字幕数据和根据实施例的3D字幕转换信息的比特流,其中,所述3D字幕转换信息包括平稳地将字幕数据再现为3D字幕所需的各条信息。根据实施例的设备100可根据高级电视系统委员会(ATSC)标准来可选择地产生用于地面数字电视(DTV)广播系统的比特流。
根据实施例的视频数据输入单元110从视频编码处理器接收视频数据,其中,在所述视频数据中视频被编码。根据实施例的设备100接收视频数据,以便提供2D视频广播服务或3D视频广播服务,其中,在所述视频数据中,包括2D视频和3D视频中的至少一个的视频被编码。
根据实施例的3D字幕转换信息确定器120确定将与视频数据一起再现的字幕数据和3D字幕转换信息,其中,所述3D字幕转换信息包括用于将字幕数据再现为3D字幕的信息。根据实施例的3D字幕信息可包括关于用于将字幕数据再现为3D字幕的偏移量的转换速度的信息。
根据实施例的3D字幕转换信息确定器120可确定根据CEA-608或CEA-708的数字电视隐藏式字幕(DTV-CC)数据。
根据实施例的比特流输出单元130接收并复用从视频数据输入单元110输出的视频数据和从3D字幕转换信息确定器120输出的字幕数据及3D字幕转换信息,以输出比特流。
根据实施例的比特流输出单元130可根据基于MPEG-2传输流(TS)的系统来形成包括视频数据、字幕数据和3D字幕转换信息的比特流。
视频数据可通过被插入到数字广播比特流的视频流的图片数据区中来被传输。字幕数据可通过被包括在视频流的用户数据区、字幕服务数据区和节表区中的至少一个中来被发送。
根据实施例的比特流输出单元130可将3D字幕转换信息插入到比特流的字幕服务块、字幕窗口命令和节表区中的至少一个中。
根据实施例的比特流输出单元130可对比特流进行复用,以按照传输流的形式发送比特流。
以下,将描述3D字幕转换信息确定器120确定根据实施例的3D字幕转换信息和比特流输出单元130发送根据实施例的3D字幕转换信息的方法。
根据实施例的3D字幕转换信息确定器120可将3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息中的至少一个确定为3D字幕转换信息,其中,所述3D字幕传输信息通知3D字幕转换信息被发送。
根据实施例的3D字幕偏移量信息指示将字幕数据再现为3D字幕所需的字幕偏移量,并且字幕偏移量可指示主视图字幕窗口和子视图字幕窗口的偏移量。根据实施例的主视图字幕窗口和子视图字幕窗口的偏移量可包括主视图字幕窗口和子视图字幕窗口之间的深度、视差(disparity)和双目视差中的至少一个。可替换地,主视图字幕窗口和子视图字幕窗口的偏移量可包括从零平面到主视图字幕或子视图字幕的深度、视差和双目视差中的至少一个。
根据实施例的比特流输出单元130可产生包括3D字幕偏移量信息的3D字幕服务块,并可将3D字幕服务块插入到数字广播比特流的视频流的用户数据区中。根据实施例的比特流输出单元130发送包括字幕服务块和3D字幕服务块的比特流,因此,可将3D字幕偏移量信息与当前字幕服务块中所包括的字幕数据一起发送。
根据实施例的比特流输出单元130可基于字幕窗口命令的格式来确定用于设置3D字幕偏移量信息的3D字幕偏移量命令。根据实施例的3D字幕偏移量命令可指定用于每个字幕服务的3D字幕偏移量信息。
根据实施例的比特流输出单元130可将基于CEA-708的字幕窗口命令插入到比特流的字幕服务数据区中。字幕服务数据区可包括在字幕服务块中。如上所述,因为字幕服务数据区是数字广播比特流的视频流的用户数据区的组件,所以根据实施例的3D字幕偏移量命令可被插入到数字广播比特流的视频流的字幕服务数据区中。因此,根据实施例的3D字幕偏移量命令可与字幕服务块中的字幕数据一起被传输。
根据实施例的比特流输出单元130可将3D字幕偏移量信息插入到节表区的节目映射表(PMT)区和事件信息表(EIT)区中的至少一个表区中的字幕服务描述符的保留区中。可替换地,根据实施例的比特流输出单元130可产生包括3D字幕偏移量信息的描述符,并可将所产生的描述符插入到节表区的PMT区或EIT区中的至少一个的描述符区中。根据实施例的比特流输出单元130通过对节表和视频流进行复用来产生比特流,并发送该比特流,以使得3D字幕偏移量信息与视频流的视频数据、节表或视频流中所包括的字幕数据一起被发送。
根据实施例的字幕偏移量转换速度信息可包括目标偏移量信息和字幕转换节段信息,以防止3D字幕的字幕偏移量的快速转换,其中,所述目标偏移量信息指示3D字幕窗口的目标偏移量,所述字幕转换节段信息指示字幕偏移量被转换的节段。
根据实施例的比特流输出单元130可基于字幕窗口命令的格式来确定用于设置字幕偏移量转换速度信息的字幕偏移量转换速度命令。根据实施例的字幕偏移量转换速度命令可设置用于当前字幕服务的每个字幕窗口的字幕偏移量转换速度信息。
根据实施例的比特流输出单元130通过将字幕偏移量转换速度命令插入到数字广播比特流的视频流的字幕服务数据区中来发送比特流,因此,字幕偏移量转换速度信息可与当前字幕服务块的字幕数据一起被发送。
根据实施例的字幕偏移量转换速度信息可包括以下信息中的至少一个:指示当前帧与后一帧的字幕窗口之间的偏移量变化的信息、指示偏移量变化的方向的信息、目标偏移量信息、以及指示发生字幕转换的字幕窗口的字幕转换窗口标识信息。
根据实施例的关于用于3D字幕的偏移量变化的信息可指示当前帧与后一帧的偏移量之间的差。根据实施例的用于3D字幕的字幕转换节段信息可指示从开始字幕转换的帧到完成字幕转换的帧的帧数。
根据实施例的3D字幕转换信息确定器120可确定包括用于调整3D字幕的大小的信息的3D字幕大小转换信息,以在转换字幕偏移量之后再现字幕数据。根据实施例的3D字幕大小转换信息可指示改变3D字幕的大小的比率。根据实施例的3D字幕的大小可包括字幕窗口大小和字幕字体大小中的至少一个。
根据实施例的比特流输出单元130可基于字幕窗口命令的格式来确定用于设置3D字幕大小转换信息的3D字幕大小转换命令。根据实施例的3D字幕大小转换命令可设置用于当前字幕服务的每个字幕窗口的3D字幕大小转换信息。
根据实施例的比特流输出单元130通过将3D字幕大小转换命令插入到数字广播比特流的视频流的字幕服务数据区中来发送比特流,因此,3D字幕大小转换信息可与当前字幕服务块的字幕数据一起被发送。
根据实施例的比特流输出单元130可修改根据实施例的字幕偏移量转换速度命令,以使得字幕偏移量转换速度命令进一步设置3D字幕大小转换信息。
根据实施例的比特流输出单元130可将指示3D字幕转换信息通过比特流被发送的3D字幕传输信息插入到节表区的PMT区和EIT区中的至少一个表区中的字幕服务描述符中。
换句话讲,根据实施例的3D字幕传输信息可指示3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息中的至少一个是否通过比特流被发送。
根据实施例的比特流输出单元130可产生3D字幕传输描述符,并将3D字幕传输描述符插入到PMT区和EIT区中的至少一个表区的描述符区中,其中,所述3D字幕传输描述符包括指示3D字幕转换信息和字幕数据中的至少一个被发送的3D字幕传输信息。
可替换地,根据实施例的比特流输出单元130可将3D字幕服务块传输信息和3D字幕窗口命令传输信息中的至少一个插入并发送到PMT区和EIT区中的至少一个表区的字幕服务描述符中,其中,所述3D字幕服务块传输信息指示3D字幕服务块被发送,所述3D字幕窗口命令传输信息指示3D字幕窗口命令被发送。
当两个视频基本流被发送时,根据实施例的比特流输出单元130可将3D视频的主视图视频数据和子视图视频数据分别插入到主视频基本流和子视频基本流中。根据实施例的比特流输出单元130可将根据实施例的3D字幕转换信息和3D字幕传输信息插入到主视频基本流和子视频基本流中的至少一个中。
这里,当3D视频的主视图视频数据和子视图视频数据被分别插入到主视频基本流和子视频基本流中时,根据实施例的比特流输出单元130可将3D字幕转换信息和3D字幕传输信息插入到用于2D字幕系统的子视频基本流中,其中,所述2D字幕系统不支持3D字幕。
图2A和图2B是根据实施例的用于接收用于数字字幕广播的数字广播比特流的设备200和270的框图。
根据实施例的用于接收包括数字字幕广播的字幕信息的数字广播比特流的设备200和270包括比特流接收器210、提取器220和字幕确定器230。
根据实施例的设备200和270接收包括视频数据、字幕数据和根据实施例的3D字幕转换信息的比特流,其中,所述3D字幕转换信息包括平稳地将字幕数据再现为3D字幕所需的各条信息。根据实施例的设备200和270可以可选择地接收用于根据ATSC方法的地面DTV广播系统的比特流。
根据实施例的比特流接收器210接收包括2D视频和3D视频中的至少一个的编码视频数据的比特流。根据实施例的比特流接收器210可接收传输流形式的比特流。
根据实施例的提取器220对所接收的比特流进行解复用和解析,并从该比特流提取编码视频数据、将与视频一起再现的字幕数据、和3D字幕转换信息。根据实施例的3D字幕转换信息可对应于以上参照图1所述的设备100所确定的3D字幕转换信息。
根据实施例的提取器220可从数字广播比特流的用户数据区、字幕服务数据区和节表区中的至少一个提取字幕数据。
根据实施例的提取器220可从比特流的字幕服务块、字幕窗口命令和节表区中的至少一个提取3D字幕转换信息。根据实施例的提取器220可提取以下信息中的至少一个作为3D字幕转换信息:3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息,其中,所述3D字幕传输信息指示3D字幕转换信息被发送。
根据实施例的字幕确定器230基于提取器220所提取的3D字幕转换信息来确定3D字幕在视频屏幕上的再现形式。根据实施例的字幕确定器230可通过使用从比特流提取的字幕数据重构字符、图标等来确定3D字幕。
此外,连同根据实施例的设备270的比特流接收器210、提取器220和字幕确定器230一起,根据实施例的设备270还可包括视频重构器240和再现器250。因为设备270包括设备200的所有组件,所以设备270可执行设备200的所有操作。
根据实施例的视频重构器240接收提取器220所提取的编码视频数据,通过与视频解码处理器合作来对编码视频数据进行解码,并可重构2D视频和3D视频中的至少一个视频。在3D视频中,主视图视频和至少一个子视图视频可被重构。
根据实施例的再现器250接收视频重构器240重构的视频和提取器220提取的字幕数据,并可通过根据字幕确定器230确定的再现形式对重构的视频和字幕数据进行组合,来在视频屏幕上再现3D字幕。
根据实施例的再现形式可包括字幕窗口的位置和大小、字幕字体的大小以及字幕的3D字幕优先级。确定字幕窗口的位置和大小的操作可包括确定主视图字幕窗口和子视图字幕窗口的位置和大小的操作。
根据实施例的字幕确定器230可基于3D字幕转换信息来确定字幕窗口的位置和大小以及字幕字体的大小。
根据实施例的再现器250可通过将重构的视频的主视图视频和子视图视频分别与主视图字幕和子视图字幕进行组合来再现主视图屏幕和子视图屏幕,其中,在主视图屏幕中,主视图字幕和主视图视频被组合,在子视图屏幕中,子视图字幕和子视图视频被组合。
根据实施例的提取器220可从数字广播比特流的视频流的用户数据区提取3D字幕服务块。根据实施例的提取器220可从3D字幕服务块提取3D字幕偏移量信息。
根据实施例的提取器220可从比特流的字幕服务数据区提取3D字幕偏移量命令。根据实施例的字幕确定器230可基于3D字幕偏移量命令来读取用于每个字幕服务的3D字幕偏移量信息。
此外,根据实施例的提取器220可从节表区的PMT区和EIT区中的至少一个表区中的字幕服务描述符的保留区提取3D字幕偏移量信息。可替换地,根据实施例的提取器220可从节表区的PMT区和EIT区中的至少一个描述符区提取包括3D字幕偏移量信息的描述符,并可从该描述符提取3D字幕偏移量信息。
根据实施例的字幕确定器230可读取3D字幕窗口的偏移量,并基于提取器220所提取的根据实施例的3D字幕偏移量信息来确定主视图字幕窗口和子视图字幕窗口的位置。根据实施例的字幕确定器230可读取以下信息作为3D字幕窗口的偏移量:主视图字幕窗口与子视图字幕窗口之间的深度、视差和双目视差中的至少一个、或者零平面到主视图字幕或子视图字幕之间的深度、视差和双目视差中的至少一个。
根据实施例的提取器220可从比特流的字幕服务数据区提取包括目标偏移量信息和字幕转换节段信息的字幕偏移量转换速度信息。
根据实施例的字幕确定器230可基于字幕偏移量转换速度信息来确定用于每帧的字幕窗口的偏移量,并确定主视图字幕窗口和子视图字幕窗口的位置。
根据实施例的提取器220可从数字广播比特流的视频流的字幕服务数据区提取字幕偏移量转换速度命令。根据实施例的字幕确定器230可基于字幕偏移量转换速度命令来读取字幕偏移量转换速度信息。
根据实施例的提取器220可从字幕偏移量转换速度信息提取以下信息中的至少一个:指示当前帧与后一帧的字幕窗口之间的偏移量变化的信息、指示偏移量变化的方向的信息、目标偏移量信息、以及字幕转换窗口标识信息,其中,所述字幕转换窗口标识信息指示发生字幕转换的字幕窗口。
根据实施例的用于确定字幕数据的再现形式的字幕确定器230可通过基于指示偏移量变化的信息确定当前帧与后一帧的偏移量之间的差,以确定用于每帧的偏移量。此外,根据实施例的字幕确定器230可基于字幕转换节段信息来确定从开始字幕转换的帧到完成字幕转换的帧的帧数。根据实施例的字幕确定器230可基于目标偏移量和帧数来确定用于每帧的字幕窗口的偏移量。此外,根据实施例的字幕确定器230可基于所确定的用于每帧的字幕窗口的偏移量来确定主视图字幕窗口和子视图字幕窗口的位置。
根据实施例的提取器220可从比特流的字幕服务数据区提取3D字幕大小转换信息。
根据实施例的字幕确定器230可基于3D字幕大小转换信息来确定3D字幕的大小。确定所述大小的步骤可包括确定字幕窗口的大小和确定3D字幕的字体大小中的至少一个。这里,根据实施例的字幕确定器230可基于3D字幕大小转换信息来读取改变字幕数据的大小的比率,并可基于所读取的比率来确定3D字幕的大小。
根据实施例的提取器220可从数字广播比特流的视频流的字幕服务数据区提取3D字幕大小转换命令。这里,根据实施例的字幕确定器230可基于3D字幕大小转换命令来读取3D字幕大小转换信息,并基于3D字幕大小转换信息来确定3D字幕的大小。
根据实施例的提取器220可从根据实施例的字幕偏移量转换速度命令读取3D字幕大小转换信息,并基于3D字幕大小转换信息来确定3D字幕的大小。
根据实施例的提取器220可从节表区的PMT区和EIT区中的至少一个表区中的字幕服务描述符提取3D字幕传输信息,其中,所述3D字幕传输信息指示3D字幕转换信息通过比特流被发送。
根据实施例的提取器220基于3D字幕传输信息来确定3D字幕转换信息被插入到所接收的比特流中。因此,根据实施例的提取器220基于3D字幕传输信息来确定3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息被插入到比特流中并提取对应信息。
此外,根据实施例的提取器220可从节表区的PMT区和EIT区中的至少一个表区的描述符区提取指示3D字幕信息被发送的3D字幕传输信息。
根据实施例的提取器220可从节表区的PMT区和EIT区中的至少一个表区提取指示3D字幕服务块被发送的3D字幕服务传输信息。
此外,根据实施例的提取器220可从节表区的PMT区和EIT区中的至少一个表区提取指示3D字幕窗口命令被发送的3D字幕窗口命令传输信息。
当基于3D字幕传输信息确定3D字幕转换信息包括在比特流中时,根据实施例的提取器220可从字幕服务块、字幕窗口命令和节表区中的至少一个提取3D字幕转换信息。
根据实施例的提取器220可分别从比特流的主基本流和子基本流提取3D视频中的主视图视频数据和子视图视频数据。
根据实施例的提取器220可从主基本流和子基本流中的至少一个提取3D字幕传输信息,基于3D字幕传输信息来确定包括3D字幕转换信息的基本流,并从所确定的基本流提取3D字幕转换信息。
可替换地,根据实施例的提取器220可仅从子基本流提取3D字幕传输信息。当基于根据实施例的3D字幕传输信息,读取到3D字幕转换信息包括在子基本流中时,可从子基本流提取3D字幕转换信息。另一方面,当基于根据实施例的3D字幕传输信息,读取到3D字幕转换信息不包括在子基本流中时,不针对主基本流检测3D字幕转换信息,并且不执行再现3D字幕的操作。
当从主基本流和子基本流两者提取3D字幕传输信息时,根据实施例的提取器220可基于主视图视频数据和子视图视频数据的再现优先级来确定包括3D字幕转换信息的基本流,并从对应的基本流提取3D字幕转换信息。
根据实施例的字幕可被布置在视频屏幕上的字幕窗口内。当设备270再现用于显示字幕的多个字幕窗口时,字幕窗口可彼此重叠。
因此,根据实施例的字幕确定器230可基于字幕窗口的偏移量来确定字幕窗口的3D字幕优先级和再现位置。根据另一实施例的字幕确定器230可将较高的3D字幕优先级和偏移量分配给具有2D字幕优先级的字幕窗口,以确定字幕窗口的再现位置。
根据实施例的再现器250可基于字幕数据来确定字幕,并在基于字幕窗口的偏移量或3D字幕优先级而确定的再现位置处在多个字幕窗口中显示该字幕。
当根据CEA-608的字幕数据被提取时,根据实施例的提取器220可从3D字幕服务块、以及PMT区和EIT区中的至少一个表区中的字幕服务描述符的保留区之一提取根据服务块的3D字幕偏移量信息。可替换地,当根据CEA-708的字幕数据被提取时,根据实施例的提取器220可从3D字幕服务块、以及PMT区和EIT区中的至少一个表区中的字幕服务描述符的保留区之一提取3D字幕偏移量信息。
图3示出DTV比特流300的DTV-CC数据的结构。
DTV比特流300是通过对视频流310、音频流320和控制信号330进行复用而形成的DTV系统信号,其中,控制信号330包括PMT区380和EIT区390。
通过视频流310的用户数据比特340发送字幕(DTV-CC)传输通道350。通过字幕(DTV-CC)传输通道350发送根据CEA-608(EIA-608-A)的国家电视系统委员会(NTSC)字幕数据360以及包括根据CEA-708的字幕服务数据371和373的DTV-CC字幕通道370。
字幕相关数据可包括在视频流310的用户数据比特340、PMT380和EIT390中。例如,字幕服务数据1371到字幕服务数据n373包括根据CEA-708(EIA-608-A)的字幕文本数据和字幕窗口命令。例如,可分别通过PMT380和EIT390发送字幕通道服务目录信息385和395。字幕通道服务目录385和395描述字幕服务的类型和性质。
图4示出字幕通道的协议模型400。
基于字幕通道的协议模型400来配置字幕数据通道,并且字幕传输的层次结构可被描述。
字幕通道数据具有包括5层(即,传输层410、封包层420、服务层430、编码层440和解释层450)的层次结构。
传输层410的DTV信号数据415对应于图3的DTV比特流300的传输流的形式,并且视频流310、音频流320和PMT区380或EIT区390被复用并通过DTV信号数据415被发送。
通过封包层420的DTV-CC数据包425以包的形式发送字幕通道数据。
服务层430的DTV-CC服务块431、433和435包括字幕服务头以及DTV-CC服务数据441、443和445。字幕服务头包括关于字幕数据通道服务的数量、服务类型和服务性质的信息。
在编码层440中,DTV-CC服务数据441、443和445描述字幕数据如何被表示。针对代码集区控制、字幕窗口命令、字幕字符和字幕符号来分配代码值。在代码层440中分配的代码值由图5的DTV-CC代码集表定义。
解释层450描述DTV-CC的图形用户界面。通过使用字幕数据以及字幕窗口命令451、452、453、454、455和456来描述处理字幕数据的方法。例如,解释层450描述产生用于显示字幕的字幕窗口的方法和当用斜体字显示字幕时发送用于防止字符重叠的间隔的方法。
图5示出根据CEA-708的DTV-CC代码集表。
DTV-CC代码集表分为四个代码组,即,CL组、CR组、GL组和GR组。CL组包括C0组510和C2组530,GL组包括G0组550和G2组570,CR组包括C1组520和C3组540,GR组包括G1组560和G3组580。
CL组和CR组是用于分配控制代码的区域,GL组和GR组是用于分配字符和图标的区域。
美国信息交换标准代码(ASCII)控制代码的子集代码被分配给CL组和CR组中的C0组510,并且字幕控制代码被分配给C1组520。C2组530是将被分配各种控制代码的保留区,C3组540也是用于控制代码集的保留区。
图6示出PMT区或EIT区中的字幕服务描述符的语法。
当通过数字广播提供字幕服务时,通过字幕传输通道发送字幕数据,并且通过PMT区或EIT区发送字幕服务描述符。
字幕服务描述符描述用于每个字幕服务的字幕信息,诸如字幕类型(“cc_type”)620和语言代码(“language”)610。
例如,当“cc_type”620的值为1时,提供根据CEA-708的DTV-CC服务,当它为0时,提供NTSCCC服务。
图7是视频偏移量和字幕窗口偏移量的曲线图。
当视频深度710根据时间改变时,字幕窗口的深度也根据视频深度710而改变。然而,当基于视频深度710的增减,字幕窗口的深度按照字幕窗口的深度在时间t1快速地从第一深度750增大到第二深度760、然后在时间t2快速地降至第三深度770那样快速地改变时,TV用户可能在字幕窗口的深度快速改变时的从时间t1到t2的一段预定时间期间,在视觉上感到不协调甚至更糟地变得疲倦,因此,可能不便于观看TV。
图8示出对象820与字幕窗口810之间的深度在3D字幕中被翻转的现象。
如果当在DTV的屏幕800上再现3D视频时,同时再现对象820和字幕窗口810,则字幕窗口810需要比对象820更朝向TV用户850突出。然而,如果从屏幕800的零平面805到对象820的深度825大于从零平面805到字幕窗口810的深度815,则因为在节段830中发生深度翻转现象,所以TV用户850可能在视觉上感到不协调,其中,在节段830中,对象820和字幕窗口810对于TV用户850而言看似重叠。
根据实施例的设备100可通过将3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息确定为3D字幕转换信息来产生包括字幕数据和3D字幕转换信息的比特流。
根据实施例的设备270可从所接收的比特流提取3D字幕转换信息和字幕数据,其中,所述3D字幕转换信息包括3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息。根据实施例的设备200和270可通过使用3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息来确定用于3D字幕的字幕窗口的位置和大小。
设备270可基于所确定的字幕窗口的位置和大小来再现3D字幕中的字幕数据。
以下,参照图9至图24来描述被执行以提供用于提供字幕服务的数字广播服务的以下操作:根据实施例的设备100确定3D字幕转换信息并将3D字幕转换信息与字幕数据一起发送的操作、根据实施例的设备200和270与字幕数据一起地接收3D字幕转换信息的操作、以及设备270通过使用字幕数据和3D字幕转换信息来再现3D字幕的操作。
具体地讲,参照图9至图14来描述使用3D字幕偏移量信息的实施例,参照图15至图18来描述使用3D字幕大小转换信息的实施例,并参照图19至图21来描述使用3D字幕大小转换信息的实施例。
为了便于描述,主要描述根据实施例的设备100及根据实施例的设备200和270使用隐藏式字幕作为字幕格式的实施例。然而,3D字幕转换信息在根据实施例的设备100以及根据实施例的设备200和270中的使用和操作原理不限于隐藏式字幕。
根据实施例的3D字幕偏移量信息的字幕偏移量可包括再现3D字幕中的字幕数据所需的主视图字幕与子视图字幕之间的深度、视差和双目视差中的至少一个。可替换地,字幕偏移量可包括从零平面到主视图字幕或子视图字幕的深度、视差和双目视差中的至少一个。
根据实施例的设备100可确定3D字幕偏移量信息是服务块、字幕窗口命令和字幕服务描述符中的至少一个的形式。
图9示出用于发送根据实施例的3D字幕偏移量信息的服务块。
根据实施例的设备100可产生包括3D字幕偏移量信息的3D字幕服务块937。根据实施例的设备100可将3D字幕服务块937插入到DTV信号数据915的用户数据区中。
除了图4的协议模型400之外,DTV-CC数据的协议模型900还包括由根据实施例的设备100所产生的3D字幕服务块937。3D字幕服务块937可与包括2D字幕数据的DTV-CC服务块431、433和435一起通过DTV-CC数据包925和DTV信号数据915来发送。
表1显示可由根据实施例的设备100产生的DTV-CC字幕服务的示例。
【表1】
根据实施例的设备100可产生多个字幕服务块的形式的DTV-CC数据。包括根据CEA-608的2D字幕数据“CC1”、“CC2”、“CC3”和“CC4”的字幕服务块以及包括根据CEA-708的字幕服务“Serviece1”、…….、“Service5”、“Service6”的字幕服务块可被传输。
此外,根据实施例的设备100可按照服务块“3D_service”的形式发送包括根据实施例的3D字幕转换信息的3D字幕服务块937。根据实施例的设备100可将3D字幕服务块937分配给字幕服务块之中的具有7到63的扩展服务号的预备字幕服务块之一。
设备200和270可通过对所接收的DTV信号数据915进行解复用来从用户数据区提取DTV-CC服务块431、433和435以及3D字幕服务块937。设备270可通过选择DTV-CC服务块431、433和435之一来提取字幕数据,并再现字幕。
根据实施例的设备200和270基于3D字幕服务块937的3D字幕偏移量信息来读取字幕的偏移量(诸如深度、视差或双目视差),并将该偏移量分配给DTV-CC服务块431、433和435之中的被选择再现的字幕服务块的2D字幕数据,从而确定主视图字幕窗口和子视图字幕窗口的位置。
因为一般2D广播接收器不能识别根据实施例的3D字幕服务块,所以一般2D广播接收器不能读取根据实施例的3D字幕转换信息。因此,一般2D广播接收器可通过使用另一字幕服务块的2D字幕数据,同时忽略根据实施例的3D字幕服务块来再现2D字幕。因此,即使当根据实施例的设备100以及根据实施例的设备200和270通过广播比特流发送和接收根据实施例的3D字幕转换信息时,在一般2D广播接收器中也仍保证再现2D字幕的功能,因此,可保证关于一般2D字幕系统的较低兼容性。
根据实施例的设备100可通过比特流的字幕服务数据来发送基于CEA-708的字幕窗口命令。根据实施例的设备100可基于字幕窗口命令的格式来确定用于设置3D字幕偏移量信息的3D字幕偏移量命令。根据实施例的3D字幕偏移量命令可被配置为对每个字幕服务分配3D字幕偏移量信息。
根据实施例的设备100可通过使用以上参照图5所述的DTV-CC代码集表中的C0组510的EXT1代码来确定3D字幕偏移量命令。
图10示出根据实施例的3D字幕偏移量命令。
根据实施例的设备100可定义根据实施例的3D字幕偏移量命令“SetBaseDepth”。3D字幕偏移量命令“SetBaseDepth”的命令代码可被定义为“EXT1+0x08+<data>”格式的2字节代码。
3D字幕偏移量命令“SetBaseDepth”的命令格式可以是“SetBaseDepth(BaseOffsetSign,BaseOffset)”。3D字幕偏移量命令“SetBaseDepth”的参数可包括指示基本偏移量符号的参数“bos”和指示基本偏移量的参数“bof”。
参数“bos”可指示主视图字幕窗口与子视图字幕窗口之间的双目视差是负(-)方向还是正(+)方向。
参数“bof”可指示主视图字幕窗口与子视图字幕窗口之间的偏移量或间隔。
因此,通过根据实施例的3D字幕偏移量命令“SetBaseDepth”,无论字幕数据的类型如何,都可提供主视图字幕窗口与子视图字幕窗口之间的偏移量。根据实施例的3D字幕偏移量命令“SetBaseDepth”的发送周期可基于帧率来设置。例如,如果以一个周期的帧率中的包括预定数量的连续帧的帧段(framesection)发送3D字幕偏移量命令“SetBaseDepth”,则可将相同偏移量应用于该帧段中的所有帧。可替换地,3D字幕偏移量命令“SetBaseDepth”的发送周期可被设置为一个周期的帧率中可能的最长帧段。
设备200和270可从比特流中的字幕服务数据区提取3D字幕偏移量命令。设备200和270可基于3D字幕偏移量命令来读取当前字幕服务的3D字幕偏移量信息。设备200和270可通过使用3D字幕偏移量命令来读取主视图字幕窗口与子视图字幕窗口之间的偏移量方向和偏移量,并确定用于3D字幕的主视图字幕窗口与子视图字幕窗口的位置。
此外,根据实施例的设备100可确定3D字幕传输信息,将3D字幕传输信息插入并传输到PMT区和EIT区中的至少一个表区中的字幕服务描述符中。
根据实施例的3D字幕传输信息可包括3D字幕服务块传输信息和3D字幕窗口命令传输信息,其中,所述3D字幕服务块传输信息指示3D字幕服务块被发送,所述3D字幕窗口命令传输信息指示3D字幕窗口命令被发送。
根据实施例的设备100可确定3D字幕服务块传输信息和3D字幕窗口命令传输信息中的至少一个信息,并将所述至少一个信息插入到图6中所示的第一保留区650、第二保留区660和第三保留区670中。
例如,根据实施例的设备100可将3D字幕服务传输信息“flag_3D”插入到字幕服务描述符的第一保留区650中。如果当前比特流仅包括2D字幕数据,则“flag_3D”的值可被设置为0,如果当前比特流包括3D字幕数据或3D字幕服务块,则“flag_3D”的值可被设置为1。
例如,根据实施例的设备100可将3D字幕窗口命令传输信息“3D_708_CC”插入到字幕服务描述符的第三保留区670中。如果当前CEA-708字幕流包括3D字幕窗口命令,则“3D_708_CC”的值可被设置为0,如果当前CEA-708字幕流不包括3D字幕窗口命令,则“3D_708_CC”的值可被设置为1。
因此,设备200和270可从PMT区或EIT区中的字幕服务描述符的第一保留区650提取3D字幕服务块传输信息,以读取当前比特流是否包括3D字幕服务块,并基于读取结果来确定是否提取并解释3D字幕服务块。
此外,设备200和270可从字幕服务描述符的第三保留区670提取3D字幕窗口命令传输信息,以确定当前CEA-708字幕流是否包括3D字幕窗口命令,并基于读取结果来确定是否提取并解释3D字幕窗口命令。
因此,设备200和270可预先检查3D字幕信息的存在,并通过从PMT区而不是数字广播流的视频流提取3D字幕传输信息来确定是否再现3D字幕。
图11和图12分别示出根据实施例的3D字幕服务块和通过使用3D字幕偏移量命令来确定3D字幕窗口的实施例。
当根据实施例的设备200和270从当前比特流提取了3D字幕服务块“3D_service”1130时,可从“3D_service”1130读取基本偏移量信息1150。
根据实施例的“3D_service”1130的发送周期可被任意设置。例如,可通过将按照帧率的包括预定数量的连续帧的帧段用作周期来接收“3D_service”1130。
无论CEA-608字幕数据1110的类型或CEA-708字幕数据1120的类型,根据实施例的设备200和270都可产生字幕窗口1140。此外,根据实施例的设备200和270可通过将基本偏移量信息1150应用于字幕窗口1140来确定主视图字幕窗口与子视图字幕窗口的位置,以确定3D字幕窗口1160。
当接收到CEA-708字幕数据1210时,根据实施例的设备200和270可产生CEA-708字幕数据1210的字幕窗口1220,并分析3D字幕窗口命令1230以读取用于当前字幕服务的每个字幕窗口的偏移量信息。换句话讲,根据实施例的设备200和270可从3D字幕窗口命令1230读取用于当前字幕服务的字幕窗口1220的偏移量信息。
根据实施例的设备200和270可基于用于当前字幕服务的字幕窗口1220的偏移量信息来确定3D字幕窗口1240的主视图字幕窗口与子视图字幕窗口的位置。
图13是根据实施例的用于通过使用3D字幕偏移量信息来将字幕数据再现为3D字幕的视频解码系统1300的框图。
根据实施例的视频解码系统1300可对应于设备270。根据实施例的视频解码系统1300可在接收到MPEG-2传输流时重构并再现视频。
所接收的MPEG-2传输流通过MPEG解复用器(MPEGdemux)1310被解复用为视频流、PMT信息和EIT信息。
视频流可被发送到视频解析器1320,并且视频解析器1320可对该视频流进行解析以提取基于MPEG-2编码的视频数据和用户数据。所提取的用户数据可被发送到DTV-CC解码器1360。
从MPEG-2传输流提取的PMT信息和EIT信息被分别存储在PMT缓冲器1330和EIT缓冲器1335中。用户处理器1340可通过从PMT信息和EIT信息读取3D字幕服务块传输信息“flag_3D”和3D字幕窗口命令传输信息“3D_708_CC”来确定3D字幕服务块或3D字幕窗口命令是否包括在当前比特流中。DTV-CC解码器1360可从视频解析器1320提取的用户数据提取CEA-608字幕数据1362、CEA-708字幕数据1364和3D字幕信息服务块“3D_service”1366。
MPEG-2视频解码器1350可通过对基于MPEG-2编码的视频数据进行解码来重构节目视频,并将该节目视频输出到视频组合器1370。具体地讲,3D视频的主视图视频和子视图视频可被重构。
此外,用户处理器1340可从各节表提取各条附加信息,并且用户图形处理器1380可通过使用所述附加信息来产生图形用户界面(GUI)屏幕,并将该GUI屏幕输出到视频组合器1370。
视频组合器1370可通过使用CEA-608字幕数据1362或CEA-708字幕数据1364和3D字幕服务块来确定用于在视频屏幕上显示字幕的字幕窗口的位置,并通过使用CEA-608字幕数据1362或CEA-708字幕数据1364来产生字幕,并在字幕窗口中显示该字幕。
具体地讲,可基于“3D_service”1366的3D字幕转换信息来确定CEA-608字幕数据1362或CEA-708字幕数据1364的再现形式。因此,可基于3D字幕转换信息来确定用于显示字幕的主视图字幕窗口和子视图字幕窗口的位置以及字幕的字体大小。
视频组合器1370可将主视图字幕窗口与子视图字幕窗口分别与主视图视频和子视图视频进行组合。可替换地,视频组合器1370可将GUI屏幕与视频进行组合。
视频重构器1390可接收视频组合器1370输出的视频画面,恢复并输出视频序列,其中,在所述视频画面中,字幕、视频和GUI屏幕被组合。当3D视频序列与3D字幕一起被重构时,3D字幕可随3D视频的再现而被再现。
图14是示出根据实施例的通过使用3D字幕偏移量信息来再现字幕的方法的流程图1400。
在操作1410中,设备200和270可从字幕服务描述符“caption_service_descriptor”提取3D字幕信息。例如,可从字幕服务描述符提取根据实施例的3D字幕服务块传输信息“flag_3D”和3D字幕窗口命令传输信息“3D_708_CC”。
首先,在操作1420中,设备200和270可基于3D字幕服务块传输信息“flag_3D”来确定3D字幕服务块“3D_service”是否包括在当前比特流中。如果确定3D字幕服务块“3D_service”不包括在当前比特流中,则执行操作1430,以使得通过使用字幕数据来产生2D字幕。
如果确定3D字幕服务块“3D_service”包括在当前比特流中,则在操作1430中,设备200和270可基于3D字幕窗口命令传输信息“3D_708_CC”来确定3D字幕窗口命令是否包括在当前字幕服务数据中。如果确定3D字幕窗口命令不包括在当前字幕服务数据中,则执行操作1450。
在操作1450中,设备200和270可通过读取3D字幕服务块“3D_service”的3D字幕偏移量信息确定显示字幕的主视图字幕窗口和子视图字幕窗口的位置来产生3D字幕。
如果在操作1440中确定3D字幕窗口命令包括在当前字幕服务数据中,则执行操作1460,以确定CEA-608字幕数据在字幕数据中是否被激活。
如果确定CEA-608字幕数据被激活,则在操作1470中,设备200和270可通过读取3D字幕服务块“3D_service”的3D字幕偏移量信息来确定用于显示3D字幕的主视图字幕窗口和子视图字幕窗口的位置。
如果确定CEA-608字幕数据没有被激活,则在操作1480中,可对CEA-708字幕窗口命令进行分析,并将该命令应用于CEA-708字幕数据。换句话讲,可从CEA-708字幕服务数据提取3D字幕偏移量命令和CEA-708字幕数据,并可通过将3D字幕偏移量应用于CEA-708字幕数据来产生3D字幕。
此外,根据实施例的设备100可通过节表区的PMT区或EIT区中的字幕服务描述符的保留区传输3D字幕偏移量信息,而不是通过字幕服务块或字幕窗口命令传输3D字幕偏移量信息。以下表2显示包括可插入到字幕服务描述符的第三保留区670中的3D字幕偏移量信息的语法。
【表2】
语法
If(caption_service_number==3D_service){
base_offset_sign
base_offset
}
reserved
换句话讲,基本偏移量符号信息“base_offset_sign”和基本偏移量值“base_offset”可被设置为3D字幕偏移量信息。
此外,根据实施例的设备100可产生包括表2的3D字幕偏移量信息的单独描述符,并通过节表区的PMT区或EIT区的描述符区发送3D字幕偏移量信息。
因此,设备200和270可通过从PMT区或EIT区的字幕服务描述符的第一保留区650提取3D字幕服务块传输信息,或者从PMT区或EIT区的描述符区提取包括3D字幕偏移量信息的描述符来读取当前比特流是否包括3D字幕服务块,并确定是否提取并解释该3D字幕服务块。
此外,当基于从字幕服务描述符的第一保留区650提取的3D字幕服务块传输信息,读取到当前比特流包括3D字幕服务块时,设备200和270可从用于字幕服务(其中,字幕服务标识号“caption_service_number”为“3D_service”)的第三保留区670提取基本偏移量符号信息“base_offset_sign”和基本偏移量值“base_offset”,并读取用于3D字幕的字幕窗口的偏移量方向和偏移量值。
因此,设备200和270可通过从PMT区或EIT区,而不是从数字广播流的视频流提取3D字幕信息来检查3D字幕的存在,并读取3D字幕偏移量信息。
根据实施例的字幕偏移量转换速度信息可包括以下信息中的至少一个:指示当前帧与后一帧的字幕窗口之间的偏移量变化的信息、指示偏移量变化的方向的信息、目标偏移量信息、以及指示发生字幕转换的字幕窗口的字幕转换窗口标识信息。根据实施例的关于用于3D字幕的偏移量变化的信息可指示当前帧与后一帧中的字幕的偏移量之间的差。根据实施例的设备100可将字幕偏移量转换速度信息确定为字幕窗口命令的形式。
根据实施例的设备100可确定用于设置字幕偏移量转换速度信息的字幕偏移量转换速度命令。
例如,字幕偏移量转换速度命令可被分配给C2组530的3字节代码区,其中,该代码区是以上参照图5所述的DTV-CC代码集表中的控制代码的保留区。根据实施例的字幕偏移量转换速度命令可设置用于当前字幕服务的每个字幕窗口的字幕偏移量转换速度信息。
图15示出根据实施例的字幕偏移量转换速度命令“DisparityStep”。
根据实施例的字幕偏移量转换速度命令“DisparityStep”的命令格式可以是“DisparityStep(Window_id,Targetdisparitysign,Stepsize,Targetdisparity)”。根据实施例的字幕偏移量转换速度命令“DisparityStep”的参数可包括用于标识字幕窗口的参数“Window_id”、指示字幕窗口的目标偏移量方向的参数“Targetdisparitysign”、指示当前帧与后一帧的字幕窗口的偏移量之间的偏移量变化的参数“Stepsize”、以及指示字幕窗口的目标偏移量的参数“Targetdisparity”。
根据实施例的字幕偏移量转换速度命令“DisparityStep”的命令代码可被分配为DTV-CC代码集表的扩展代码区之中的代码0x12。
参数“Window_id”指示字幕窗口的固有标识符,并可被分配3个比特(id0、id1和id2)。
因为参数“Targetdisparitysign”指示目标偏移量方向是负(-)方向还是正(+)方向,所以一个比特可被分配给参数“Targetdisparitysign”。
参数“Targetdisparity”是字幕窗口的目标偏移量,并且当随着字幕偏移量增加或减小而达到目标偏移量时,偏移量不再改变。8个比特(dis0、dis1、dis2、dis3、dis4、dis5、dis6和dis7)可被分配给参数“Targetdisparity”。
参数“Stepsize”可将被添加到当前帧的字幕窗口的偏移量以确定后一帧的字幕窗口的偏移量的偏移量变化指示为当前帧与后一帧的字幕窗口之间的偏移量变化。4个比特(st0、st1、st2和st3)可被分配给参数“Stepsize”。
图16是根据实施例的使用字幕偏移量转换速度信息的3D字幕的偏移量改变曲线图。
以上参照图15所述的字幕偏移量转换速度命令“DisparityStep”可设置当前帧与后一帧的字幕窗口之间的偏移量的偏移量变化和目标偏移量。
例如,第一字幕偏移量转换速度命令“DisparityStep”可在时间1610将目标偏移量方向设置为“+”,将偏移量变化设置为“1”,并将目标偏移量设置为“10”。根据第一字幕偏移量转换速度命令“DisparityStep”,字幕窗口的偏移量可每帧增加“1”,直到该字幕窗口的偏移量达到“10”为止。
当偏移量在时间1620达到“10”时,偏移量不根据第一字幕偏移量转换速度命令“DisparityStep”而改变。因此,可产生第二字幕偏移量转换速度命令“DisparityStep”。第二字幕偏移量转换速度命令“DisparityStep”可将目标偏移量方向设置为“+”,将偏移量变化设置为“2”,并将目标偏移量设置为“30”。根据第二字幕偏移量转换速度命令“DisparityStep”,字幕窗口的偏移量可每帧增加“2”,直到该字幕窗口的偏移量达到“30”为止。
当偏移量在时间1630达到“30”时,偏移量不根据第二字幕偏移量转换速度命令“DisparityStep”而改变,并产生第三字幕偏移量转换速度命令“DisparityStep”。第三字幕偏移量转换速度命令“DisparityStep”可将目标偏移量方向设置为“-”,将偏移量变化设置为“2”,并将目标偏移量设置为“10”。根据第三字幕偏移量转换速度信息“DisparityStep”,字幕窗口的偏移量可每帧减小“2”,直到该字幕窗口的偏移量达到“10”为止。
当偏移量在时间1640达到“10”时,偏移量不根据第三字幕偏移量转换速度命令“DisparityStep”而改变,并产生第四字幕偏移量转换速度命令“DisparityStep”。第四字幕偏移量转换速度命令“DisparityStep”可将目标偏移量方向设置为“-”,将偏移量变化设置为“1”,并将目标偏移量设置为“0”。
当随着偏移量根据第四字幕偏移量转换速度命令“DisparityStep”每帧减小“1”,偏移量在时间1650达到“0”时,可阻止偏移量根据第四字幕偏移量转换速度命令“DisparityStep”被转换。
因此,因为如曲线1600所示的,偏移量根据帧或时间而逐渐地改变,所以基于根据实施例的字幕偏移量转换速度命令“DisparityStep”,可平稳地执行2D字幕与3D字幕之间的转换。
基于根据实施例的字幕偏移量转换速度命令“DisparityStep”来改变字幕窗口的偏移量的处理可遵循如下所示的语法。
【表3】
根据‘DisparityStep’的处理
For(j=0;j<window count;j++){
While(disparity[j][i]<target disparity[j]){
disparity[j][i+1]=disparity[j][i]+step;
i++;
}
}
字幕偏移量转换速度命令“DisparityStep”可设置用于每个字幕窗口的偏移量。在表3中,j表示字幕窗口的标识号,i表示帧根据时间的标识号。可通过将偏移量变化“step”添加到当前第i帧的字幕窗口的偏移量“disparity[j][i]”来确定后面第(i+1)帧的字幕窗口的偏移量“disparity[j][i+1]”。连续帧的偏移量可如下改变,即,对第j字幕窗口设置目标偏移量“targetdisparity[j]”,并增大当前第i帧的字幕窗口的偏移量“disparity[j][i]”,直到达到目标偏移量“targetdisparity[j]”为止。基于根据实施例的字幕偏移量转换速度命令“DisparityStep”来改变字幕窗口的偏移量的处理在图17中以图示的形式被显示。
图17示出根据实施例的使用字幕偏移量转换速度信息的3D字幕处理屏幕。
左视图字幕窗口1710、1730、1750和1770可分别被布置在第i左视图帧1701、第(i+1)左视图帧1703、第(i+2)左视图帧1705和第(i+3)左视图帧1707上。
基于根据实施例的字幕偏移量转换速度命令“DisparityStep”的偏移量变化“Step”,作为偏移量变化“Step”的一半的“Step/2”可被加到从2D字幕窗口的中心起的左视图字幕窗口的偏移量和右视图字幕窗口的偏移量中的每一个。
根据从第i左视图帧1701到第(i+3)左视图帧1707的顺序,可从具有偏移量0的左视图字幕窗口1710开始将左视图字幕窗口1730、1750和1770的偏移量1735、1755和1775增加“Step/2”。
根据实施例的设备100可确定用于设置字幕偏移量转换速度信息的字幕偏移量转换速度命令“DisparityStep”,并将字幕偏移量转换速度命令“DisparityStep”插入并传输到数字广播比特流的视频流的字幕服务数据区中。
设备200和270可通过对所接收的数字广播比特流进行解析来从视频流的字幕服务数据区读取字幕偏移量转换速度命令“DisparityStep”,基于字幕偏移量转换速度命令“DisparityStep”来确定偏移量被转换的字幕窗口,并可通过读取字幕窗口的目标偏移量方向和偏移量变化来改变字幕窗口的偏移量,直到偏移量达到目标偏移量为止。
此外,根据实施例的设备100可确定指示3D字幕窗口的目标偏移量的目标偏移量信息和用于设置字幕转换节段信息的字幕偏移量转换速度命令,其中,字幕转换节段信息指示字幕深度被转换的节段。根据实施例的用于3D字幕的字幕转换节段信息可指示从开始字幕转换的帧到完成字幕转换的帧的帧数。
根据另一实施例的字幕偏移量转换速度命令“SmoothTransition”的命令格式可以是“SmoothTransition(Targetdisparity,AppliedFrameNumber)”。根据实施例的字幕偏移量转换速度命令“SmoothTransition”的参数可包括指示字幕窗口的目标偏移量的参数“Targetdisparity”和指示从开始字幕转换的帧到完成字幕转换的帧的帧的帧数的参数“AppliedFrameNumber”。
设备200和270可从视频流的字幕服务数据区读取字幕偏移量转换速度命令“SmoothTransition”,并从字幕偏移量转换速度命令“SmoothTransition”读取参数“Targetdisparity”和“AppliedFrameNumber”。
设备200和270可基于参数“Targetdisparity”来确定将从当前字幕窗口改变的目标偏移量,并可基于参数“AppliedFrameNumber”来确定发生字幕窗口的偏移量转换的连续帧的总数。因此,设备200和270可基于目标偏移量和发生偏移量转换的连续帧的总数来确定帧之间的偏移量变化,以使得在发生偏移量转换的连续帧期间,当前帧的字幕窗口的偏移量平稳地改变到目标偏移量。
图18是根据另一实施例的使用字幕偏移量转换速度信息的3D字幕的偏移量改变曲线图。
曲线1810和1820分别显示视频的偏移量和字幕窗口的偏移量。节段T1、T2、T3和T4和T5分别是第一帧、第二帧、第三帧、第四帧和第五帧被再现的节段。曲线1810和1820示出:随着视频的偏移量根据帧的顺序增减,字幕窗口的偏移量增大。
例如,设备200和270可基于帧段T1中的字幕偏移量转换速度命令“SmoothTransition(10,4)”来执行字幕转换。
当字幕窗口的初始偏移量在帧段T1中为2时,字幕窗口的偏移量可在“4”帧期间增大,直到目标偏移量“10”为止。设备200和270可根据以下关系表达式1来确定帧之间的偏移量变化。
【关系表达式1】
帧之间的偏移量变化=(目标偏移量-初始偏移量)/字幕偏移量转换期间的帧数
因此,设备200和270可将偏移量变化确定为2(=(10-2)/4),并且每一帧将字幕窗口的偏移量增加2,直到偏移量从第一帧改变到第二帧并到达第五帧为止。在字幕窗口的偏移量在第五帧中达到10之后,设备200和270可保持字幕窗口的偏移量,而不进一步改变偏移量。
因此,根据第一帧至第五帧的字幕窗口的偏移量改变曲线1830,字幕窗口的偏移量可被平稳地转换。
确定帧之间的偏移量变化的等式(其中,当基于根据关系表达式1的线性函数来确定发生字幕转换的帧之间的偏移量变化时,对于每一帧段,帧之间的偏移量变化被相等地确定)仅仅是根据实施例的字幕偏移量转换速度命令“SmoothTransition”的实施例。因此,设备200和270可基于根据实施例的字幕偏移量转换速度命令“SmoothTransition”来确定偏移量变化在帧之间不相等。
帧之间的偏移量变化的大小可根据字幕偏移量转换速度命令“SmoothTransition(10,4)”而被设置为实数,字幕窗口的偏移量转换可用更少的参数设置,并且发生字幕转换的帧段可被精确地分配。
图19示出字幕根据该字幕的深度改变的大小改变。
当第一字幕1900的深度增大到第二字幕1910的深度时,第二字幕1910被绘制为比第一字幕1900更接近用户,因此第二字幕1910自然看起来更大。
例如,当在当前2D字幕窗口1925显示在当前2D视频1920上时字幕的深度增大时,仅支持2D字幕的广播流接收系统没有任何改变地再现2D视频和2D字幕窗口1935。
然而,当左视图字幕窗口1945和右视图字幕窗口1943没有任何大小调整地以与当前2D字幕窗口1925相同的大小显示在支持3D字幕的广播流接收系统中的3D视频1940上时,TV用户可在视觉上感到不协调。因此,当字幕的深度增大时,与当前2D字幕窗口1925相比,设备200和270可增大左视图字幕窗口1955和右视图字幕窗口1953的大小,并增大字幕的字体大小。
因此,根据实施例的设备100可确定3D字幕大小转换信息,其中,所述3D字幕大小转换信息包括用于调整字幕窗口的大小和字幕字体的大小的信息。根据实施例的字幕大小转换信息可指示改变字幕数据的大小的比率。
根据实施例的设备100可确定用于设置3D字幕大小转换信息的3D字幕大小转换命令。设备200和270可从所接收的比特流的字幕服务数据区提取3D字幕大小转换命令,并与字幕的深度的改变成比例地增大或减小字幕窗口的大小和字幕的字体大小。
根据实施例的设备100可确定3D字幕大小转换命令,并将该3D字幕大小转换命令插入到数字广播比特流的字幕服务数据区中,以便通过DTV比特流将3D字幕大小转换信息与字幕数据一起传输。根据实施例的3D字幕大小转换命令可设置用于当前字幕服务的每个字幕窗口的3D字幕大小转换信息。
图20示出根据实施例的3D字幕大小转换命令。
根据实施例的3D字幕大小转换命令“SetFontSize”的命令格式可以是“SetFontSize(Window_id,FontScaleFactor)”。根据实施例的3D字幕大小转换命令“SetFontSize”的参数可包括用于标识字幕窗口的参数“Window_id”和指示改变字幕数据的大小的比率的参数“FontScaleFactor”。
根据实施例的3D字幕大小转换命令“SetFontSize”的命令代码可被分配给DTV-CC代码集表的扩展代码区中的代码0x11。
参数“Window_id”指示字幕窗口的固有标识符,并可被分配3个比特(id0、id1和id2)。
参数“FontScaleFactor”可指示字幕窗口和字体相对于视频的偏移量变化的大小增减比。参数“FontScaleFactor”可被分配13个比特(sf、sf1、sf2、sf3、sf4、sf5、sf6、sf7、sf8、sf9、sf10、sf11和sf12)。
设备200和270可对所接收的数字广播比特流进行解析,并从视频流的字幕服务数据区提取3D字体大小转换命令“SetFontSize”。设备200和270可基于3D字幕大小转换命令“SetFontSize”来确定发生偏移量转换的字幕窗口,并通过读取字幕窗口和字体相对于视频的偏移量变化的大小增减比来调整字幕窗口和字体的大小。例如,字幕的字体大小可根据以下关系表达式2来确定。
【关系表达式2】
字体大小=锚(Anchor)字体大小-视频偏移量变化*锚字体大小*(字体大小增减比/100)
这里,如果视频的深度增大到更接近TV用户,则视频偏移量变化具有负(-)值,因此,字体大小与锚字体大小相比增大。因此,随着视频深度增大,字幕的字体大小可增大。
根据实施例的设备100可包括用于将3D字幕大小转换信息设置为根据实施例的字幕偏移量转换速度命令的参数。
图21示出根据实施例的用于另外设置3D字幕大小转换信息的字幕偏移量转换速度命令“DisparityStep”。
图21中所示的字幕偏移量转换速度命令“DisparityStep”将8比特的参数“FontScaleFactor”另外地包括到以上参照图15所述的根据实施例的字幕偏移量转换速度命令“DisparityStep”的命令格式“DisparityStep(Window_id,Targetdisparitysign,Stepsize,Targetdisparity)”。参数“FontScaleFactor”可表示当前字体大小与先前字体大小相比的增减比。
根据实施例的设备200和270可在基于图21的字幕偏移量转换速度命令“DisparityStep”来读取偏移量将改变的字幕窗口、3D字幕的偏移量转换方向和偏移量变化、以及目标偏移量的同时,读取字幕窗口和字体的大小的增减比。因此,根据实施例的设备200和270可在根据偏移量转换方向使字幕窗口和字体的大小与偏移量变化成比例地增减的同时转换预定字幕窗口的偏移量。
根据实施例的设备100可将3D字幕传输信息插入到节表区的PMT区和EIT区中的至少一个表区中的字幕服务描述符“caption_service_descriptor”中。根据实施例的3D字幕传输信息可指示3D字幕数据、3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息中的至少一个是否通过DTV比特流被发送。根据实施例的3D字幕传输信息可通过以标志的形式被插入到以上参照图6所述的字幕服务描述符的保留区650、660和670中来与字幕数据一起被发送。表4是插入有根据实施例的3D字幕传输信息的字幕服务描述符“caption_service_descriptor”的语法。
【表4】
语法
caption_service_descriptor(){
descriptor_tag
descriptor_length
reserved
number_of_services
for(i=0;i<number_of_services;i++){
language
cc_type
reserved
if(cc_type==line21){
reserved
line21_field
}
else
caption_service_number
easy_reader
wide_aspect_ratio
korean_code
3d_cc_enable
reserved
}
}
参数“3d_cc_enable”是根据实施例的3D字幕传输信息的示例。当“3d_cc_enable”的值为0时,3D字幕信息可包括在当前比特流中,当“3d_cc_enable”的值为1时,3D字幕信息可不包括在当前比特流中。
关于根据实施例的3D字幕传输信息被插入的位置的信息可被插入到5比特的保留区中。
根据实施例的设备200和270可通过提取根据实施例的参数“3d_cc_enable”来确定关于当前比特流的字幕再现模式。根据实施例的字幕再现模式可被确定为四种模式中的任意一种。
在第一字幕再现模式下,3D字幕信息包括在当前比特流中,并且当再现3D视频时再现3D字幕。
在第二字幕再现模式下,3D字幕信息不包括在当前比特流中,但是当再现3D视频时,可强行将偏移量添加到字幕数据,以使得用3D再现字幕,或者可再现指示不支持3D字幕的短语。
在第三字幕再现模式下,3D字幕信息包括在当前比特流中,但是再现2D视频,基于用户选择或预定设置,将字幕数据再现为3D或2D字幕。
此外,在第四字幕再现模式下,3D字幕信息包括在当前比特流中,但是再现2D视频,用2D再现字幕数据。
因此,根据实施例的设备200和270可提取根据实施例的参数“3d_cc_enable”,以将当前比特流的字幕再现模式确定为第一字幕再现模式至第四字幕再现模式中的任意一种,并基于所确定的字幕再现模式来准备字幕再现状态。
可替换地,根据实施例的设备100可产生包括3D字幕传输信息的3D字幕传输描述符,并将该3D字幕传输描述符插入到PMT区和EIT区中的至少一个表区的描述符区中。表5是根据实施例的3D字幕传输描述符“3d_cc_descriptor”的语法。
【表5】
语法
3d_cc_descriptor(){
descriptor_tag
descriptor_length
3d_cc_enable
Reserved
}
参数“3d_cc_enable”可以是指示3D字幕数据、3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息中的至少一个是否包括在当前比特流中的标志。
根据实施例的设备200和270可从PMT区和EIT区中的至少一个中的字幕服务描述符提取3D字幕传输信息,其中,所述3D字幕传输信息指示3D字幕转换信息通过当前比特流被发送。当基于3D字幕传输信息确定3D字幕信息包括在当前比特流中时,根据实施例的设备200和270可从字幕服务块、字幕窗口命令和节表区中的至少一个提取3D字幕信息。
根据实施例的设备200和270可基于3D字幕传输信息来确定3D字幕传输信息被插入到所接收的DTV比特流中。因此,根据实施例的提取器220可基于3D字幕传输信息来提取确认3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息中的至少一个被插入到DTV比特流中的信息。
根据实施例的设备200和270可从PMT区和EIT区之一中的字幕服务描述符提取指示3D字幕信息被发送的3D字幕传输信息。可替换地,根据实施例的设备200和270可从PMT区和EIT区之一中的描述符区提取指示3D字幕信息被发送的3D字幕传输信息。
图22示出根据实施例的在用于发送两个基本流的系统中2DDTV-CC信息和3DDTV-CC信息分别包括在所述两个基本流中的情况。
根据实施例的设备100可通过对两个视频基本流2210和2250进行复用来发送一个数字广播流2200,以便传输3D视频数据,其中,所述两个视频基本流2210和2250分别包括主视图视频流2220和子视图视频流2260。这里,可以不针对每一个视频基本流2210和2250发送3D字幕信息,但是指示3D字幕信息是否包括在当前流中的3D字幕传输信息2240和2280可被插入到每一个视频基本流2210和2250中。
例如,包括3D字幕信息2270的视频基本流2250可将3D字幕传输信息2280(即,“3d_cc_enable”)设置为“ON”,以指示3D字幕信息2270包括在视频基本流2250中。因为其余视频基本流2210包括字幕数据2230,而不包括3D字幕信息,所以3D字幕传输信息2240(即,“3d_cc_enable”)可被设置为“OFF”,以指示3D字幕信息不包括在视频基本流2210中。这里,根据实施例的设备200和270可从视频基本流2210和2250提取3D字幕传输信息2240和2280,并从3D字幕传输信息2280被设置为“ON”的视频基本流2250提取3D字幕信息2270。
根据实施例的设备200和270可接收数字广播比特流,其中,在所述数字广播比特流中,3D字幕信息包括在两个视频基本流这二者中。这里,当所述两个视频基本流具有关于主基本流和子基本流的关系时,根据实施例的设备200和270可通过从主基本流提取3D字幕信息来确定3D字幕。
然而,当所述两个视频基本流不具有关于主基本流和子基本流的关系时,可通过从任意选择的视频基本流提取3D字幕信息来确定3D字幕。
即使当接收到包括3D视频和3D字幕信息的广播流时,仅支持2D视频和2D字幕的2D广播流接收系统也不能读取3D视频和3D字幕信息。对于与这样的2D广播流接收系统的较低兼容性,根据实施例的设备100可通过将主视图视频数据和字幕数据包括在两个视频基本流之中的主基本流中并将子视图视频数据和3D字幕信息包括在子基本流中来传输所述两个视频基本流。
在这种情况下,因为2D广播流接收系统不能访问所述两个视频基本流中的子基本流并且仅对主基本流进行解析和解码,所以2D广播流接收系统可读取并再现主视图视频数据和字幕数据。
根据实施例的设备200和270可对所述两个视频基本流之中的主基本流进行解析以读取主视图视频数据和字幕数据,并对子基本流进行解析以读取子视图视频数据和3D字幕信息。
因此,3D视频可被再现为主视图视频,并且子视图视频被恢复。此外,通过使用从主基本流提取的字幕数据来确定字幕内容,并且通过使用从子基本流提取的3D字幕信息来确定主视图字幕窗口和子视图字幕窗口的位置和大小以及字体大小。因此,根据实施例的设备270组合主视图视频和主视图字幕窗口,并且还组合子视图视频和子视图字幕窗口,以形成3D视频序列,从而将3D字幕与3D视频一起再现。
图23和图24是用于描述当根据实施例配置的两个或更多个字幕窗口彼此碰撞时再现字幕窗口的方法的示图。
当2D字幕窗口彼此重叠时,2D字幕优先级被分配给2D字幕窗口,以指定将被看到的2D字幕窗口。
根据实施例的设备270可产生多个字幕窗口,并且还可针对用于3D字幕再现的一个字幕窗口产生应用不同偏移量的主视图字幕窗口和子视图字幕窗口。因此,与2D字幕优先级无关地,可在多个3D字幕窗口之间产生遮挡区。
因此,与针对2D字幕窗口的2D字幕优先级无关地,根据实施例的设备270可基于被分配给用于3D字幕再现的字幕窗口的偏移量来确定重叠字幕窗口之间的3D字幕优先级。
换句话讲,例如,因为第一字幕窗口2320的2D字幕优先级2323低于第二字幕窗口2330的2D字幕优先级2333,但是从视频零平面2310到第一字幕窗口2320的第一偏移量2325高于从视频零平面2310到第二字幕窗口2330的第二偏移量2335,所以第一字幕窗口2320可覆盖第二字幕窗口2330。
根据实施例的设备270可确定字幕窗口的3D字幕优先级,以便克服3D字幕的遮挡现象。
根据确定3D字幕优先级的第一种方法,根据实施例的设备270可忽略第一字幕窗口2320和第二字幕窗口2330的2D字幕优先级2323和2333,并基于第一字幕窗口2320和第二字幕窗口2330的第一偏移量和第二偏移量来确定重叠字幕窗口之间的3D字幕优先级。换句话讲,与第二字幕窗口2330相比,可对第一字幕窗口2320确定高3D字幕优先级2327。
根据确定3D字幕优先级的第二种方法,根据实施例的设备270可基于第一字幕窗口2320和第二字幕窗口2330的2D字幕优先级2323和2333来确定第一字幕窗口2320和第二字幕窗口2330的3D字幕优先级。换句话讲,即使当因为第一字幕窗口2320的第一偏移量2325高于第二字幕窗口2330的第二偏移量2335,所以第一字幕窗口2320覆盖第二字幕窗口2330时,第二字幕窗口2330的2D字幕优先级2333也在第一字幕窗口2320的2D字幕优先级2323的前面,因此,与第一字幕窗口2320相比,根据实施例的设备270可将高3D字幕优先级2443分配给第二字幕窗口2330。
此外,根据实施例的设备270可通过重新将比第一字幕窗口2320的第一偏移量2325高的偏移量2445分配给第二字幕窗口2330来确定第二字幕窗口2440的新位置,以便防止被分配高3D字幕优先级2443的第二字幕窗口2330被具有相对低的3D字幕优先级的第一字幕窗口2320覆盖。
根据第二种方法,可使用分配给原始字幕窗口的2D字幕优先级,但是可改变最初计划的3D字幕的偏移量。另一方面,根据第一种方法,可保持最初计划的3D字幕的偏移量,但是可忽略原始字幕窗口的2D字幕优先级。
已基于隐藏式字幕以及根据实施例的用于隐藏式字幕的3D再现的3D字幕转换信息的发送和接收描述了设备100和200的操作原理。然而,这些操作原理仅仅是使用设备100和200的示例,使用所述操作原理的数字广播系统不限于隐藏式字幕系统。
图25是示出根据实施例的产生用于数字字幕广播的数字广播比特流的方法的流程图。
在操作2510中,输入视频数据,其中,在所述视频数据中,包括2D视频和3D视频中的至少一个的视频被编码。
在操作2520中,确定字幕数据和包括字幕偏移量转换速度信息的3D字幕转换信息。根据实施例的3D字幕转换信息可包括3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息。
根据实施例的3D字幕偏移量信息可指示主视图字幕窗口与子视图字幕窗口的深度、视差或双目视差的偏移量。
根据实施例的字幕偏移量转换速度信息可包括关于当前帧与后一帧的字幕窗口之间的偏移量变化和偏移量方向以及目标偏移量的信息。
此外,根据实施例的字幕偏移量转换速度信息可包括关于目标偏移量和发生字幕转换的帧的数量的信息。
根据实施例的3D字幕大小转换信息可包括关于改变字幕窗口和字幕字体的大小的比率的信息。
根据实施例的3D字幕传输信息可指示3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息中的至少一个是否通过当前比特流被发送。
在操作2530中,随着视频数据、字幕数据和3D字幕转换信息被复用,输出用于数字广播的比特流。字幕数据可被插入到比特流的用户数据区的字幕服务数据区和节表区中的至少一个中,并且3D字幕转换信息可被插入到比特流的字幕服务块、字幕窗口命令和节表区中的至少一个中。
可产生包括根据实施例的3D字幕偏移量信息的3D字幕服务块,并可在服务层中将该3D字幕服务块与字幕数据一起传输。根据实施例的字幕数据可包括CEA-608隐藏式字幕数据和CEA-708隐藏式字幕数据中的至少一个。
可确定根据实施例的用于设置3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息的3D字幕窗口命令,并可将3D字幕窗口命令插入到比特流的字幕服务数据区中,并通过比特流传输所述3D字幕窗口命令。3D字幕窗口命令可针对当前字幕服务的每个字幕窗口设置用于3D字幕的各条信息。
根据实施例的3D字幕转换信息(诸如3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息)可通过被插入到节表区的PMT区或EIT区中的字幕服务描述符的描述符区或保留区中而被传输。
图26是示出根据实施例的接收用于数字字幕广播的数字广播比特流的方法的流程图。
在操作2610中,接收包括视频数据的比特流,其中,在所述视频数据中,2D视频和3D视频中的至少一个被编码。
在操作2620中,对所接收的比特流进行解复用和解析,并可从该比特流提取编码视频数据、字幕数据和包括字幕偏移量转换速度信息的3D字幕转换信息。
可从数字广播比特流的用户数据区的字幕服务数据区和节表区中的至少一个提取字幕数据,并且可从比特流的字幕服务块、字幕窗口命令和节表区中的至少一个提取3D字幕转换信息。
可通过根据实施例的3D字幕服务块,与另一服务块的字幕数据一起接收3D字幕偏移量信息。包括CEA-608隐藏式字幕数据和CEA-708隐藏式字幕数据中的至少一个的字幕数据可被接收。
可从比特流的字幕服务数据区提取根据实施例的用于设置3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息的3D字幕窗口命令。因为3D字幕窗口命令针对当前字幕服务的每个字幕窗口提供用于3D字幕的各条信息,所以可根据3D字幕窗口命令来确定3D字幕窗口的位置、大小和字体大小。
可从节表区的PMT区或EIT区的字幕服务描述符的保留区的描述符区提取根据实施例的3D字幕转换信息(诸如3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息)。
基于根据实施例的3D字幕传输信息来确定3D字幕数据、3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息中的至少一个是否包括在当前比特流中,如果包括,则可提取3D字幕信息。
在操作2630中,可基于3D字幕转换信息来确定字幕在视频屏幕上的再现形式。
可基于根据实施例提取的3D字幕偏移量信息、字幕偏移量转换速度信息和3D字幕大小转换信息来确定发生3D字幕转换的字幕窗口和该字幕窗口的位置和大小以及字体大小。
基于根据实施例的字幕偏移量转换速度信息来确定当前帧与后一帧的字幕窗口之间的偏移量变化,因此,可确定用于每帧的字幕窗口的位置。
可基于根据实施例的3D字幕大小转换信息来确定字幕大小与深度变化成比例的增减比,因此,可确定字幕窗口和字体的大小。
视频数据可被解码以被重构为2D或3D视频,并且字幕数据可根据基于3D字幕转换信息确定的再现形式在视频屏幕上被再现为3D字幕。根据实施例的再现形式可包括主视图字幕窗口和子视图字幕窗口的位置和大小、字幕字体的大小、以及字幕窗口的3D字幕优先级。
主视图字幕和子视图字幕被分别组合到重构的3D视频的主视图视频和子视图视频中,并且在主视图屏幕和子视图屏幕被再现的同时,3D字幕可与3D视频一起被再现,其中,在主视图屏幕中,主视图字幕和主视图视频被组合,在子视图屏幕中,子视图字幕和子视图视频被组合。
当多个字幕窗口被产生时,基于字幕窗口的原始2D字幕优先级来确定3D字幕优先级,因此,可确定字幕窗口的再现位置。可替换地,可基于字幕窗口的偏移量来确定3D字幕优先级,因此,可确定字幕窗口的再现位置。
根据实施例的设备100以及设备200和270可通过使用根据一般通信标准的服务块、字幕窗口命令或节表区中的间隔来发送和接收根据实施例的以下信息中的至少一个:3D字幕转换信息、3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息以及3D字幕传输信息。
因此,即使当一般广播接收系统不能解释根据实施例新近分配或定义的3D字幕转换信息、3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息中的至少一个时,所述一般广播接收系统也能通过仅解释根据一般通信标准的服务块、字幕窗口命令或节表区来接收数字广播,因此,可保证对针对一般广播系统的兼容性的较低要求。
此外,因为可基于根据实施例的3D字幕转换信息来防止2D字幕再现状态和3D字幕再现状态被快速地切换,可与字幕深度的改变成比例地调整字幕大小,并且可通过在彼此重叠的多个字幕窗口之间分配3D字幕优先级来设置再现顺序,所以可提供对于TV观众视觉上表现自然的3D广播节目。
在以上描述中,已参照图1至图26和表1至表5描述了使用3D字幕转换信息、3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息的各种示例。然而,上述示例仅仅是用于描述本发明的原理的实施例,因此,3D字幕转换信息、3D字幕偏移量信息、字幕偏移量转换速度信息、3D字幕大小转换信息和3D字幕传输信息不限于图1至图26和表1至表5中所示的那些信息。
本领域的普通技术人员将理解,本发明的实施例中所述的框图从概念上指示用于实现本发明的原理的电路。类似地,对于本领域的普通技术人员将显而易见的是,预定的流程图、流向图、状态差异图和伪码被充分表达在计算机可读记录介质中,并指示被计算机或处理器执行的各种处理(即使没有明确显示该计算机或处理器)。因此,本发明的实施例可被编写为计算机程序,并可被实现在使用计算机可读记录介质执行程序的通用数字计算机中。计算机可读记录介质的示例包括磁性存储介质(例如,ROM、软盘、硬盘等)、光学记录介质(例如,CD-ROM或DVD)等。
不仅可通过将用于运行软件的硬件与合适软件相链接来使用该硬件提供示图中所示的各种元件的功能,而且还可通过使用专用硬件来提供示图中所示的各种元件的功能。当所述功能由处理器提供时,可通过单个专用处理器、单个公共处理器或多个单独的处理器(其中,一些处理器被共享)来提供所述功能。此外,术语“处理器”或“控制器”不应被解释为排他地指示用于运行软件的硬件,而是可无限地且隐含地包括数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。
在权利要求中,被表现为用于执行特定功能的单元的元件包括执行该特定功能的预定方法,并可包括用于执行该特定功能的电路元件的组合、或者预定形式(包括被组合为用于运行用于执行该特定功能的软件的合适电路的固件或微码)的软件。
在本说明书中,“实施例”和其它修改表达形式意味着特定特征、结构和特性包括在本发明的至少一个实施例中。因此,本说明书中的表达“实施例”和其它修改示例可以不表示同一实施例。
在本说明书中,表达“A和B中的至少一个”用于包括以下选择:仅A、仅B、或者A和B两者。此外,表达“A至C中的至少一个”可用于包括以下选择:仅A、仅B、仅C、仅A和B、仅B和C、或者A至C全部。本领域的普通技术人员将能够用更多元素清楚地解释类似的表达。
以上描述了本发明的实施例。
尽管已参照本发明的优选实施例具体显示并描述了本发明,但是本领域的普通技术人员将理解,在不脱离如由所附权利要求限定的本发明的精神和范围的情况下,可在本发明中进行形式和细节上的各种改变。应该仅以描述性意义、而非出于限制的目的来考虑优选实施例。因此,本发明的范围不是由本发明的具体实施方式限定,而是由所附权利要求限定,并且该范围内的所有差异都将被解读为包括在本发明中。

Claims (13)

1.一种产生用于数字字幕广播的广播比特流的方法,所述方法包括:
接收视频数据,其中,在所述视频数据中,包括2维(2D)视频和3D视频中的至少一个的视频被编码;
确定将与所述视频一起再现的字幕数据和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将所述字幕数据再现为3D字幕的偏移量的转换速度的字幕偏移量转换速度信息,其中,字幕偏移量转换速度信息包括指示当前帧与后一帧的字幕窗口之间的偏移量变化的信息;和
通过对所述视频数据、字幕数据和3D字幕转换信息进行复用来输出用于数字广播的比特流。
2.根据权利要求1所述的方法,其中,确定所述3D字幕转换信息的步骤包括:确定3D字幕偏移量信息,其中,所述3D字幕偏移量信息包括将所述字幕数据再现为3D字幕所需的主视图字幕与子视图字幕之间的深度、视差和双目视差中的至少一个,并且
输出所述比特流的步骤包括:
产生包括所述3D字幕偏移量信息的3D字幕服务块;和
将所述3D字幕服务块插入到所述比特流的视频流中的用户数据区中。
3.根据权利要求1所述的方法,其中,确定所述3D字幕转换信息的步骤包括:确定字幕偏移量转换速度信息,以防止所述字幕偏移量的快速转换,其中,所述字幕偏移量转换速度信息还包括指示字幕窗口的目标偏移量的目标偏移量信息和指示字幕偏移量被转换的节段的字幕转换节段信息,并且
输出所述比特流的步骤包括:
基于字幕窗口命令的格式来确定用于设置所述字幕偏移量转换速度信息的字幕偏移量转换速度命令;
将所述字幕偏移量转换速度命令插入到视频流的字幕服务数据区中,
其中,所述字幕转换节段信息指示从开始字幕转换的帧到完成字幕转换的帧的帧数。
4.根据权利要求1所述的方法,其中,确定所述3D字幕转换信息的步骤包括:确定3D字幕大小转换信息,其中,所述3D字幕大小转换信息用于调整所述3D字幕的大小,以在转换所述字幕数据的字幕偏移量之后再现所述字幕数据,并且
输出所述比特流的步骤包括:
基于字幕窗口命令的格式来确定用于设置所述3D字幕大小转换信息的3D字幕大小转换命令;和
将所述3D字幕大小转换命令插入到视频流的字幕服务数据区中,
其中,所述3D字幕大小转换信息指示转换所述3D字幕的大小的比率。
5.根据权利要求1所述的方法,其中,输出所述比特流的步骤包括:将3D字幕传输信息插入到节表区的节目映射表(PMT)区和事件信息表(EIT)区中的至少一个表区中的字幕服务描述符中,其中,所述3D字幕传输信息指示所述3D字幕转换信息通过所述比特流被传输。
6.一种接收用于数字字幕广播的广播比特流的方法,所述方法包括:
接收比特流,其中,所述比特流包括2维(2D)视频和3D视频中的至少一个的编码视频数据;
通过对所接收的比特流进行解复用和解析来从所述比特流提取所述编码视频数据、将与视频一起再现的字幕数据、和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将所述字幕数据再现为3D字幕的偏移量的转换速度的字幕偏移量转换速度信息,其中,字幕偏移量转换速度信息包括指示当前帧与后一帧的字幕窗口之间的偏移量变化的信息;和
基于所述3D字幕转换信息来确定所述字幕数据在视频屏幕上的再现形式。
7.根据权利要求6所述的方法,还包括:
通过对所述编码视频数据进行解码来重构所述2D视频和所述3D视频中的至少一个的视频;和
根据基于所述3D字幕转换信息确定的字幕数据的再现形式,在视频屏幕上将所述字幕数据再现为3D字幕。
8.根据权利要求6所述的方法,其中,提取的步骤包括:
从所述比特流的视频流的用户数据区提取3D字幕服务块;和
从所述3D字幕服务块提取3D字幕偏移量信息,其中,所述3D字幕偏移量信息包括将所述比特流的字幕数据再现为3D字幕所需的主视图字幕与子视图字幕之间的深度、视差和双目视差中的至少一个,并且
确定所述再现形式的步骤包括基于所述3D字幕偏移量信息来确定主视图字幕窗口和子视图字幕窗口的位置。
9.根据权利要求6所述的方法,其中,提取的步骤包括:从所述比特流的视频流的字幕服务数据区提取字幕偏移量转换速度命令,并且
确定所述再现形式的步骤包括:
基于所述字幕偏移量转换速度命令,从所述比特流的字幕服务数据区读取字幕偏移量转换速度信息,其中,所述字幕偏移量转换速度信息还包括指示3D字幕窗口的目标偏移量的目标偏移量信息和指示字幕偏移量被转换的节段的字幕转换节段信息;
基于所述字幕偏移量转换速度信息来确定用于每帧的主视图字幕窗口和子视图字幕窗口的偏移量;
基于所述字幕转换节段信息来确定从开始字幕转换的帧到完成字幕转换的帧的帧数;和
基于针对每帧确定的偏移量和所述帧数来确定所述主视图字幕窗口和所述子视图字幕窗口的位置。
10.根据权利要求6所述的方法,其中,提取的步骤包括从所述比特流的视频流的字幕服务数据区提取3D字幕大小转换命令,并且
确定的步骤包括:
基于所述3D字幕大小转换命令来读取用于调整所述3D字幕的大小的3D字幕大小转换信息;
基于所述3D字幕大小转换信息来确定转换所述字幕数据的大小的比率;和
基于所确定的比率来确定字幕窗口和字幕字体中的至少一个的大小。
11.根据权利要求6所述的方法,其中,提取的步骤包括:
从节表区的节目映射表(PMT)区和事件信息表(EIT)区中的至少一个表区中的字幕服务描述符提取3D字幕传输信息,其中,所述3D字幕传输信息指示所述3D字幕转换信息通过所述比特流被传输,并且
当基于所述3D字幕传输信息确定所述3D字幕转换信息包括在所述比特流中时,从字幕服务块、字幕窗口命令和节表区中的至少一个提取所述3D字幕转换信息。
12.一种用于产生用于数字字幕广播的广播比特流的设备,所述设备包括:
视频数据输入单元,用于接收视频数据,其中,在所述视频数据中,包括2维(2D)视频和3D视频中的至少一个的视频被视频编码处理器编码;
3D字幕转换信息确定器,用于确定将与所述视频一起再现的字幕数据和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将所述字幕数据再现为3D字幕的偏移量的转换速度的字幕偏移量转换速度信息,其中,字幕偏移量转换速度信息包括指示当前帧与后一帧的字幕窗口之间的偏移量变化的信息;和
比特流输出单元,用于通过对所述视频数据、字幕数据和3D字幕转换信息进行复用来输出用于数字广播的比特流。
13.一种用于接收用于数字字幕广播的广播比特流的设备,所述设备包括:
比特流接收器,用于接收比特流,其中,所述比特流包括2维(2D)视频和3D视频中的至少一个的编码视频数据;
提取器,用于通过对所接收的比特流进行解复用和解析来从所述比特流提取所述编码视频数据、将与视频一起再现的字幕数据、和3D字幕转换信息,其中,所述3D字幕转换信息包括关于用于将所述字幕数据再现为3D字幕的偏移量的转换速度的字幕偏移量转换速度信息,其中,字幕偏移量转换速度信息包括指示当前帧与后一帧的字幕窗口之间的偏移量变化的信息;和
字幕确定器,用于基于所述3D字幕转换信息来确定所述字幕数据在视频屏幕上的再现形式。
CN201180029524.8A 2010-04-14 2011-04-14 用于产生用于具有字幕的数字广播的广播比特流的方法和设备以及用于接收用于具有字幕的数字广播的广播比特流的方法和设备 Expired - Fee Related CN102939748B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US32401110P 2010-04-14 2010-04-14
US61/324,011 2010-04-14
US35372510P 2010-06-11 2010-06-11
US61/353,725 2010-06-11
PCT/KR2011/002668 WO2011129631A2 (ko) 2010-04-14 2011-04-14 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
CN102939748A CN102939748A (zh) 2013-02-20
CN102939748B true CN102939748B (zh) 2015-12-16

Family

ID=44799188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180029524.8A Expired - Fee Related CN102939748B (zh) 2010-04-14 2011-04-14 用于产生用于具有字幕的数字广播的广播比特流的方法和设备以及用于接收用于具有字幕的数字广播的广播比特流的方法和设备

Country Status (7)

Country Link
US (1) US9313442B2 (zh)
EP (1) EP2547101A4 (zh)
JP (1) JP5960679B2 (zh)
KR (1) KR20110115103A (zh)
CN (1) CN102939748B (zh)
BR (1) BR112012026194A2 (zh)
WO (1) WO2011129631A2 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8839338B2 (en) 2012-03-28 2014-09-16 Sony Corporation Service usage reporting data transport
CN107911684B (zh) * 2010-06-02 2020-06-23 麦克赛尔株式会社 接收装置和接收方法
US8234411B2 (en) * 2010-09-02 2012-07-31 Comcast Cable Communications, Llc Providing enhanced content
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
JP5664356B2 (ja) * 2011-03-09 2015-02-04 富士通株式会社 生成装置および生成方法
US9571872B2 (en) * 2011-06-15 2017-02-14 Echostar Technologies L.L.C. Systems and methods for processing timed text in video programming
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
US9860574B2 (en) 2014-02-23 2018-01-02 Lg Electronics Inc. Method and apparatus for transceiving broadcast signal
JP6331670B2 (ja) * 2014-05-12 2018-05-30 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
US10419718B2 (en) 2014-07-11 2019-09-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
KR20170007333A (ko) 2014-07-11 2017-01-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016017961A1 (ko) 2014-07-29 2016-02-04 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016036012A1 (ko) * 2014-09-04 2016-03-10 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
JP6724791B2 (ja) * 2014-12-19 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016159636A1 (ko) * 2015-03-30 2016-10-06 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
EP3285492B1 (en) * 2015-04-13 2021-06-02 Sony Corporation Reproduction device and reproduction method
CN105657395A (zh) * 2015-08-17 2016-06-08 乐视致新电子科技(天津)有限公司 一种3d视频的字幕播放方法及装置
WO2017043836A1 (ko) * 2015-09-09 2017-03-16 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP6760296B2 (ja) * 2015-09-16 2020-09-23 ソニー株式会社 送信装置、送信方法、再生装置および再生方法
WO2019112398A1 (ko) * 2017-12-08 2019-06-13 주식회사 에어코드 컴패니언 스크린 서비스를 이용한 수화 방송 서비스 제공 방법 및 그 시스템
CN108965983A (zh) * 2018-09-03 2018-12-07 深圳Tcl数字技术有限公司 可隐藏字幕数据解析方法、智能电视、存储介质及装置
US11778280B1 (en) 2022-05-17 2023-10-03 Microsoft Technology Licensing, Llc Geolocation-specific subtitle generation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
WO2010010499A1 (en) * 2008-07-25 2010-01-28 Koninklijke Philips Electronics N.V. 3d display handling of subtitles
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004201004A (ja) 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 3次元映像表示装置、プログラム、及び記録媒体
KR100796278B1 (ko) * 2006-07-06 2008-01-21 주식회사 한국스테노 멀티형 수화 자막 수신장치 및 방법
KR20090004722A (ko) * 2007-07-06 2009-01-12 엘지전자 주식회사 방송 수신기 및 데이터 처리 방법
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
CN102067591B (zh) 2008-06-26 2014-03-19 松下电器产业株式会社 再现装置、记录装置、再现方法及记录方法
AU2009275052B2 (en) 2008-07-24 2014-05-29 Panasonic Corporation Playback device capable of stereoscopic playback, playback method, and program
EP2356820B1 (en) * 2008-12-02 2017-07-19 LG Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
JP2010250562A (ja) * 2009-04-15 2010-11-04 Sony Corp データ構造、記録媒体、再生装置および再生方法、並びにプログラム
JP5407957B2 (ja) 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5521486B2 (ja) 2009-06-29 2014-06-11 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP2011029849A (ja) * 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
CN102598676B (zh) * 2009-11-06 2015-06-03 索尼美国公司 立体叠加层偏移创建和编辑
CN101954606B (zh) 2010-08-13 2012-05-23 扬州华宇管件有限公司 一种大口径弯头机械加工夹具

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
WO2010010499A1 (en) * 2008-07-25 2010-01-28 Koninklijke Philips Electronics N.V. 3d display handling of subtitles

Also Published As

Publication number Publication date
BR112012026194A2 (pt) 2017-07-18
WO2011129631A2 (ko) 2011-10-20
WO2011129631A3 (ko) 2011-12-15
CN102939748A (zh) 2013-02-20
US20130027514A1 (en) 2013-01-31
US9313442B2 (en) 2016-04-12
JP2013527678A (ja) 2013-06-27
EP2547101A2 (en) 2013-01-16
KR20110115103A (ko) 2011-10-20
EP2547101A4 (en) 2013-12-18
JP5960679B2 (ja) 2016-08-02

Similar Documents

Publication Publication Date Title
CN102939748B (zh) 用于产生用于具有字幕的数字广播的广播比特流的方法和设备以及用于接收用于具有字幕的数字广播的广播比特流的方法和设备
RU2510081C2 (ru) Способ и устройство для обработки сигнала для трехмерного воспроизведения дополнительных данных
CN102835047B (zh) 使用关于多视点视频流的链接信息发送数字广播流的方法和设备以及接收数字广播流的方法和设备
CN104811685B (zh) 3d图像信号处理方法和用于实现该方法的图像显示器
US8902287B2 (en) 3D caption signal transmission method and 3D caption display method
JP5575659B2 (ja) ビデオ再生のための三次元モード選択メカニズム
JP5721733B2 (ja) ビデオ付加再生情報の三次元再生のためのマルチメディア・ストリーム生成方法及びその装置、並びに受信方法及びその装置
CN101156443B (zh) 鲁棒模式的交错播送快速信道改变
JP2020099045A (ja) 3dビデオ上に3dグラフィックスをオーバレイするための方法及び装置
CN102883172A (zh) 接收装置、接收方法和发送接收方法
CN103155577A (zh) 显示装置和信号处理装置及其方法
CN102860000A (zh) 产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备
CN103026713A (zh) 3d视频广播中的辅助数据
CN103125123A (zh) 再现装置、再现方法、集成电路、广播系统及广播方法
EP2374280A1 (en) Combining 3d video and auxiliary data
CN102292994A (zh) 用于在视频接口上发送以及用于合成3d视频与3d覆盖的方法和系统
CN102640506A (zh) 生成3d视频信号
US20200084516A1 (en) Device and method for processing high-definition 360-degree vr image
US20130209063A1 (en) Digital receiver and content processing method in digital receiver
CN103370942A (zh) 发送设备、发送方法以及接收设备
CN102572467A (zh) 影像输出装置、影像输出方法、接收装置和接收方法
JP2013026643A (ja) 受信装置、受信方法および送受信方法
EP2320667A1 (en) Combining 3D video auxiliary data
JP2013026644A (ja) 受信装置、受信方法および送受信方法
GB2488746A (en) Transmission of 3D subtitles in a three dimensional video system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151216