CN102948164A - 用于提供具有三维字幕的数字广播服务的方法和设备 - Google Patents

用于提供具有三维字幕的数字广播服务的方法和设备 Download PDF

Info

Publication number
CN102948164A
CN102948164A CN2011800296880A CN201180029688A CN102948164A CN 102948164 A CN102948164 A CN 102948164A CN 2011800296880 A CN2011800296880 A CN 2011800296880A CN 201180029688 A CN201180029688 A CN 201180029688A CN 102948164 A CN102948164 A CN 102948164A
Authority
CN
China
Prior art keywords
captions
data
information
viewpoint
caption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800296880A
Other languages
English (en)
Other versions
CN102948164B (zh
Inventor
李大钟
张庸硕
赵锋济
金载承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102948164A publication Critical patent/CN102948164A/zh
Application granted granted Critical
Publication of CN102948164B publication Critical patent/CN102948164B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种用于发送和接收用于提供包括字幕服务的数字广播服务的广播流的方法和设备。发送数据流的方法包括:生成包括基本视点字幕数据和附加视点字幕数据的字幕流,以在再现视频数据的视频屏幕上再现三维(3D)字幕;基于基本视点字幕数据确定用于在视频屏幕上形成3D字幕的3D字幕再现信息;以及通过复用包括视频数据的视频流、3D字幕再现信息和字幕流来输出数据流。

Description

用于提供具有三维字幕的数字广播服务的方法和设备
技术领域
与示例性实施例一致的方法和设备涉及发送和接收用于提供数字广播服务的广播流,更具体地说,涉及发送和接收包括字幕数据以在视频屏幕上再现三维(3D)字幕的广播流。
背景技术
数字广播系统可以经由广播节目在视频屏幕上与视频内容和音频内容一同提供字幕服务。
接收提供数字广播服务的广播流的数据广播接收器通过对接收到的视频数据进行解码来恢复和再现视频内容。此外,数字广播接收器可以通过使用与视频数据一同通过广播流接收的字幕数据来生成字幕,并且将视频内容与字幕合成,以便一同显示在视频屏幕上。
对具有真实感和3D效果的3D内容的需求正在增加。此外,以3D形式再现的广播内容或广播节目的量正在增加。支持3D视频的数字广播接收系统可以通过接收3D广播内容来再现3D视频。3D视频广播内容的供应导致了需要根据广播内容的再现方法的改变来改变数字广播接收系统的附加功能。
发明内容
技术问题
一个或多个示例性实施例提供了一种用于发送数字广播服务的方法和设备以及一种用于接收数字广播服务的方法和设备,所述方法和设备发送和接收形成3D字幕的基本视点字幕数据和附加视点字幕数据,以及用于以3D形式再现字幕的3D字幕再现信息。
解决问题的方案
根据示例性实施例的一方面,提供一种发送用于提供数字广播服务的数据流的方法,所述方法包括:生成包括基本视点字幕数据和附加视点字幕数据的字幕流,以在再现视频数据的视频屏幕上再现3D字幕;基于基本视点字幕数据确定用于在视频屏幕上形成3D字幕的3D字幕再现信息;以及通过复用包括视频数据的视频流、3D字幕再现信息和字幕流来输出数据流。
附图说明
图1是根据示例性实施例的用于发送视频数据流的设备的框图;
图2是根据示例性实施例的用于接收视频数据流的设备的框图;
图3示出根据示例性实施例的节目映射表(program map table)(PMT)分段的语法以及用于字幕的一般再现的字幕描述符(descriptor)的语法;
图4和图5示出根据示例性实施例的字幕描述符与字幕数据之间的链接;
图6示出根据示例性实施例的字幕片段的语法和片段类型信息的语义;
图7示出根据示例性实施例的包括3D字幕再现信息的3D字幕描述符的语法以及3D字幕再现信息的语义;
图8示出根据示例性实施例的通过使用基本视点字幕数据和基本视点字幕与附加视点字幕之间的距离信息形成的3D字幕;
图9示出根据示例性实施例的数据流的结构,其中,所述数据流包括:根据各视点的字幕数据以及关于根据各视点的字幕数据的3D字幕再现信息;
图10是示出根据示例性实施例的发送视频数据流的方法的流程图;以及
图11是示出根据示例性实施例的接收视频数据流的方法的流程图。
具体实施方式
根据示例性实施例的一方面,提供一种发送用于提供数字广播服务的数据流的方法,所述方法包括:生成包括基本视点字幕数据和附加视点字幕数据的字幕流,以在再现视频数据的视频屏幕上再现3D字幕;基于基本视点字幕数据确定用于在视频屏幕上形成3D字幕的3D字幕再现信息;以及通过复用包括视频数据的视频流、3D字幕再现信息和字幕流来输出数据流。
3D字幕再现信息可以包括关于基本视点字幕数据的页面标识信息,以及被用来基于基本视点字幕数据形成3D字幕的指示3D字幕的形式的3D字幕类型信息。3D字幕再现信息还可以包括关于对应于基本视点字幕数据的附加视点字幕数据的页面标识信息、以及关于在视频屏幕上的基本视点字幕与附加视点字幕之间的距离的信息中的至少一个,其中,所述附加视点字幕数据与基本视点字幕数据一同形成3D字幕。
根据另一示例性实施例的一方面,提供一种接收提供数字广播服务的数据流的方法,所述方法包括:通过对接收到的数据流进行解复用来提取包括视频数据的视频流、3D字幕再现信息和字幕流;从视频流提取3D视频的基本视点视频数据和附加视点视频数据;以及从字幕流提取基本视点字幕数据和附加视点字幕数据,以在再现视频数据的视频屏幕上以3D形式再现3D字幕。
所述方法还可以包括基于基本视点字幕数据和3D字幕再现信息合成并再现基本视点视频数据、附加视点视频数据和3D字幕。
根据另一示例性实施例的一方面,提供一种发送用于提供数字广播服务的数据流的设备,所述设备包括:字幕流生成器,生成包括基本视点字幕数据和附加视点字幕数据的字幕流,以在再现视频数据的视频屏幕上再现3D字幕;3D字幕再现信息确定器,基于基本视点字幕数据确定用于在视频屏幕上形成3D字幕的3D字幕再现信息;以及输出单元,通过复用包括视频数据的视频流、3D字幕再现信息和字幕流来输出数据流。
根据另一示例性实施例的一方面,提供一种接收提供数字广播服务的数据流的设备,所述设备包括:接收器,通过对接收到的数据流进行解复用来提取包括视频数据的视频流、3维(3D)字幕再现信息和字幕流;视频数据提取器,从视频流提取3D视频的基本视点视频数据和附加视点视频数据;字幕数据提取器,从字幕流提取基本视点字幕数据和附加视点字幕数据,从而在再现视频数据的视频屏幕上再现3D字幕。
所述设备还可以包括再现器,所述再现器基于基本视点字幕数据和3D字幕再现信息合成并再现基本视点视频数据、附加视点视频数据和3D字幕。
根据另一示例性实施例的一方面,提供一种计算机可读记录介质,其中,所述计算机可读记录介质具有在其上记录的用于执行至少一个上述方法的程序。
通过参考附图对示例性实施例进行详细描述将使得上述方面和其它方面变得更加显而易见。
发明的模式
在下文中,将参考图1到图11描述一种用于发送提供为了以3D形式再现字幕数据所需的附加信息的视频数据流从而以3D形式再现字幕的方法和设备,以及一种用于接收用于通过使用经由接收到的数据流与视频数据一起提供的字幕数据以及用于以3D形式再现字幕的附加信息以3D形式再现字幕的视频数据流的方法和设备。本文中描述的实施例仅仅是示例性的,并且不希望限制发明构思。
图1是根据示例性实施例的用于发送视频数据流的设备100的框图。
设备100包括:字幕流生成器110、3D字幕再现信息确定器120和输出单元130。
可以通过使用自处理器或控制设备,或者安装到设备100或连接到外部装置的中央处理器或中央控制设备来操作字幕流生成器110、3D字幕再现信息确定器120和输出单元130中的至少一个。
设备100可以发送包括视频数据、音频数据和附加数据的广播流,从而提供数字广播服务。根据实施例的设备100可以将包括3D视频数据的视频数据流作为广播流来发送以提供数字广播服务,其中,所述数字广播服务提供3D视频服务。
设备100可以根据构成数字广播标准的数字视频广播(DVB)方法来生成并输出视频数据流。设备100可以通过使用由DVB方法使用的字幕来提供字幕服务。
为了提供字幕服务(其中,文本、标志和其它图形元素在视频屏幕上被再现),设备100可以发送字幕数据,其中,在所述字幕数据中,文本、标志、其它图形元素和字幕元素被编码。
设备100可以发送包括字幕数据的字幕流。字幕流可以是基本流或传输包的数据区域。
页面被用作形成预定字幕服务的字幕对象的集合的单位。一个页面可以由至少一个区域形成,并且每个区域可以是对象所在的矩形区域。字幕的文本对象、标志对象和其它图形对象可以位于一个区域中,并且所述区域可以包括多个对象。一个字幕服务可以被连续地显示在至少一个页面上。
被插入到字幕流中的字幕数据可以被分成至少一个字幕片段。包括在每个字幕片段中的字幕数据可以不仅包括字幕对象的对象数据,而且包括字幕元素,诸如区域信息、区域结构和颜色查找表(CLUT)信息。
设备100可以提供用于在提供3D视频广播服务的视频屏幕上以3D形式再现字幕的3D字幕服务。
字幕流生成器110可以生成包括基本视点字幕数据和附加视点字幕数据的字幕流,以在再现视频数据的视频屏幕上以3D形式再现字幕。
3D字幕再现信息确定器120可以确定构成视频再现装置基于基本视点字幕数据在视频屏幕上形成3D字幕所需的附加信息的3D字幕再现信息。
字幕流生成器110可以生成一个字幕流来包括基本视点字幕数据和附加视点字幕数据两者。或者,字幕流生成器110可以分别生成包括基本视点字幕数据的第一字幕流和包括附加视点字幕数据的第二字幕流中的每一个。
对于3D字幕,可以形成包括基本视点字幕数据的第一字幕页面,并且可以形成包括附加视点字幕数据的第二字幕页面。
3D字幕再现信息可以包括关于基本视点字幕数据的页面标识信息。例如,关于基本视点字幕数据的页面标识信息可以指示要与3D字幕中的左视点视频数据合成的基本视点字幕数据的页面,并且可以对应于基本视点字幕数据。
3D字幕再现信息可以包括指示3D字幕的形式的3D字幕类型信息,其被用于基于基本视点字幕数据来形成3D字幕。例如,3D字幕类型信息可以指示两种字幕类型。第一字幕类型可以使用基本视点字幕数据和关于基本视点字幕与附加视点字幕之间的距离的信息来指示3D字幕的形式。第二字幕类型可以使用基本视点字幕数据和附加视点字幕数据来指示3D字幕的形式。
3D字幕再现信息可以包括关于附加视点字幕数据的页面标识信息,以及关于在视频屏幕上的基本视点字幕与附加视点字幕之间的距离的信息中的至少一个,其中,所述附加视点字幕数据对应于基本视点字幕数据并与基本视点字幕数据一同形成3D字幕。
关于基本视点字幕与附加视点字幕之间的距离的信息可以包括:关于基本视点字幕与附加视点字幕之间的距离的方向的信息,以及关于基本视点字幕与附加视点字幕之间的位置差的信息。位置差信息可以指示深度差、双眼象差和偏移中的至少一个。
3D字幕再现信息确定器120可以将3D字幕再现信息插入到节目映射表(PMT)分段的描述符区域中。
根据3D字幕再现信息中的3D字幕类型信息,3D字幕再现信息确定器120可以选择性地将关于附加视点字幕信息的页面标识信息和关于基本视点字幕与附加视点字幕之间的距离的信息的其中之一包括到3D字幕再现信息。
例如,如果当前3D字幕类型是第一字幕类型,那么由于附加视点字幕数据不会被分开检测,因此3D字幕再现信息不会包括关于附加视点字幕信息的页面标识信息。另一方面,如果当前3D字幕类型是第二字幕类型,那么由于基本视点字幕数据和附加视点字幕数据是分开发送的,因此3D字幕再现信息不会包括距离信息。
在3D字幕再现信息确定器120中,3D字幕再现信息可以包括关于附加视点字幕数据的页面标识信息和距离信息两者,而不考虑3D字幕类型信息。
根据示例性实施例,设备100和视频再现装置可以发送和接收指示第一字幕类型和第二字幕类型中的再现优先级的明确信息。
例如,设备100可以输出关于附加视点字幕数据的页面标识信息和距离信息中具有更高优先级的再现信息。
或者,如果设备100将关于附加视点字幕数据的页面标识信息和距离信息两者都发送,那么确定具有再现优先级的字幕类型的方法可以在设备100与视频再现装置之间被预定,使得关于附加视点字幕数据的页面标识信息和距离信息的其中之一可以由视频再现装置基于当前3D字幕类型信息或基于视频再现装置的能力来使用。
输出单元130可以将3D字幕再现信息插入到PMT分段,并输出包括PMT分段、字幕流和音频流的传输流(TS)包。
PMT分段可以包括包标识(PID)信息,其指示包括字幕数据的打包的基本流(PES)包。由于可以发送至少一个字幕流,因此根据字幕流的数量,PMT分段可以包括至少一段PID信息。
输出单元130可以通过对字幕流和音频流进行打包来生成PES包,并通过复用PES包和PMT分段来生成TS包。输出单元130可以经由预定信道输出和发送TS包。
因此,设备100可以将用于形成将与3D视频一起再现的3D字幕的基本视点字幕数据和附加视点字幕数据分开发送,以将3D字幕与由DVB系统提供的3D视频服务一同形成。此外,设备100可以发送指示相应的附加视点字幕数据的附加信息或指示基本视点字幕与附加视点字幕之间的距离的附加信息,以基于基本视点字幕数据形成3D字幕。
图2是根据示例性实施例的用于接收视频数据流的设备200的框图。
设备200包括:接收器210、视频数据提取器220、字幕数据提取器230、3D字幕再现信息提取器240和再现器250。
可以通过使用自处理器或控制设备,或者安装到设备200或连接到外部装置的中央处理器或中央控制设备来操作接收器210、视频数据提取器220和字幕数据提取器230中的至少一个。
设备200可以接收提供数字广播服务的广播流,并从广播流提取视频数据、音频数据和附加数据。设备200可以通过使用提取的视频数据、音频数据和附加数据来再现广播介质。
设备200可以接收提供3D视频服务的广播流,并通过提取3D视频数据来再现3D视频。
设备200可以接收由DVB系统发布的视频数据流。设备200可以接收为DVB字幕服务提供的字幕。
设备200可以接收其中文本、标志、其它图形对象和字幕元素被编码的字幕数据,通过将字幕数据与视频数据合成来形成视频屏幕,并在视频屏幕上再现文本、标志和其它图形对象。
设备200可以从接收到的广播流中的字幕流提取字幕数据。
设备200可以读取字幕对象的集合,其中,所述字幕对象的集合针对字幕数据的每一页面形成预定字幕服务。设备200可以从字幕页面检测对象(诸如字幕的文本对象、标志对象和其它图形对象),并检测至少一个对象区域的位置。设备200可以将至少一个对象置于每个对象区域中,并将至少一个对象区域置于每个字幕页面中。
设备200可以通过使用至少一个页面来在连续页面上再现一个字幕服务。
设备200可以从字幕流读取被分成至少一个字幕片段的字幕数据。可以从每个字幕片段提取字幕对象和字幕元素的对象数据,诸如区域信息、区域结构和CLUT信息。
通过接收用于3D视频广播服务的广播流,设备200可以在再现3D视频的视频屏幕上实现3D字幕服务。
接收器210可以接收用于3D视频广播服务的广播流的TS包。接收器210可以对TS包进行解复用,以提取包括视频数据的视频流、PMT分段和字幕流。
视频数据提取器220可以从视频流提取3D视频的基本视点视频数据和附加视点视频数据。
字幕数据提取器230可以从字幕流提取用于形成3D字幕的基本视点字幕数据和附加视点字幕数据。3D字幕是基于基本视点字幕数据和附加视点字幕数据形成的,并且3D字幕可以在再现3D视频的视频屏幕上再现。
字幕流可以以基本流或PES包的数据区域的比特流形式来接收。因此,字幕数据可以从PES包数据或基本流提取。
3D字幕再现信息确定器240可以从PMT分段提取3D字幕再现信息,以用于基于基本视点字幕数据在视频屏幕上形成3D字幕。
接收器210可以经由预定信道接收TS包,对接收的TS包进行解复用,以及重排PES包和PMT分段。
PMT分段可以包括指示包括视频数据的视频流的PES包的PID信息、以及包括字幕数据的字幕流的PES包。
视频数据提取器220可以检测包括视频流的PES包,并基于PMT分段的PID信息来重新构建视频流。
字幕数据提取器230可以检测包括字幕流的PES包,并基于PMT分段的PID信息来重排字幕流。
3D字幕再现信息提取器240可以从PMT分段提取3D字幕再现信息。
再现器250还可以基于基本视点字幕数据和3D字幕再现信息来合成并再现基本视点视频数据、附加视点视频数据和3D字幕。
再现器250可以分别形成用于基于基本视点字幕数据来显示基本视点字幕对象的第一页面和形成用于基于附加视点字幕数据来显示附加视点字幕对象的第二页面。
字幕数据提取器230可以从一个字幕流提取基本视点字幕数据和附加视点字幕数据两者。或者,字幕数据提取器230可以从第一字幕流提取由第一页面识别的基本视点字幕数据,并且从第二字幕流提取由第二页面识别的附加视点字幕数据。
3D字幕再现信息提取器240可以从3D字幕再现信息提取关于基本视点字幕数据的页面标识信息。3D字幕再现信息提取器240可以基于关于基本视点字幕数据的页面标识信息来从PES包检测基本视点字幕数据或者从接收到的流中检测字幕流。
3D字幕再现信息提取器240可以从3D字幕再现信息提取3D字幕类型信息。基于3D字幕类型信息,3D字幕再现信息提取器240可以确定基于基本视点字幕数据的3D字幕的形式。
3D字幕类型信息对应于从如图1所示的设备100接收的3D字幕类型信息。因此,基于3D字幕类型信息,3D字幕再现信息提取器240可以将当前3D字幕确定为第一字幕类型和第二字幕类型的其中之一。
字幕数据提取器230可以基于3D字幕再现信息来提取基本视点字幕数据。此外,3D字幕再现信息提取器240可以提取用于确定对应于基本视点字幕的附加视点字幕的附加信息,从而形成3D字幕。
3D字幕再现信息提取器240可以将关于对应于基本视点字幕数据的附加视点字幕数据的页面标识信息和关于在视频屏幕上的基本视点字幕与附加视点字幕之间的距离的信息的其中之一检测为用于确定附加视点字幕的附加信息。
3D字幕再现信息提取器240可以从距离信息检测关于基本视点字幕与附加视点字幕之间的距离的方向的信息、以及指示基本视点字幕与附加视点字幕之间的深度差、双眼象差和偏移中的至少一个的位置差信息。
3D字幕再现信息提取器240可以基于3D字幕类型信息选择性地提取关于附加视点字幕数据的页面标识信息和距离信息的其中之一。
例如,如果基于3D字幕类型信息读出当前3D字幕是第一字幕类型,那么3D字幕再现信息提取器240可以从3D字幕再现信息选择性地提取距离信息。
如果基于3D字幕类型信息读出当前3D字幕是第二字幕类型,那么3D字幕再现信息提取器240可以从3D字幕再现信息提取关于附加视点字幕数据的页面标识信息。
3D字幕再现信息提取器240可以从3D字幕再现信息检测出关于附加视点字幕数据的页面标识信息和距离信息两者。
如果第一字幕类型和第二字幕类型两者都被实现,那么设备100和设备200可以发送和接收指定要被首先使用的字幕类型的再现优先级信息。
或者,要被首先使用的字幕类型可以在设备100与设备200之间被预定。或者,基于视频能力,设备200可以首先使用预定字幕类型。
3D字幕再现信息提取器240可以从3D字幕再现信息提取对应于首先使用的字幕类型的附加信息,并基于附加信息来确定附加视点字幕数据。
3D字幕再现信息提取器240可以从PMT分段检测3D字幕再现信息。3D字幕再现信息提取器240可以从PMT分段的描述符区域提取3D字幕描述符,并从3D字幕描述符检测关于基本视点字幕数据的页面标识信息、字幕类型信息和用于确定附加视点字幕的附加信息。
再现器250可以通过将基本视点字幕数据与基本视点视频数据合成来形成基本视点视频屏幕,并且通过将附加视点字幕数据与附加视点视频数据合成来形成附加视点视频屏幕。
具体地说,再现器250可以将附加视点视频数据与基于3D字幕再现信息确定的附加视点字幕数据合成。
例如,如果3D字幕再现信息提取器240基于3D字幕类型信息确定当前3D字幕是第一字幕类型,那么再现器250可以通过使用3D字幕再现信息中的距离信息来确定附加视点字幕数据的位置。通过将基本视点字幕数据置于附加视点视频屏幕上的附加视点字幕数据的位置中,再现器250可以形成与附加视点字幕合成的附加视点视频屏幕。
例如,如果3D字幕再现信息提取器240基于3D字幕类型信息确定当前3D字幕是第二字幕类型,那么,基于3D字幕再现信息中的关于附加视点字幕数据的页面标识信息,再现器250可以确定并提取与基本视点字幕数据对应的附加视点字幕数据。通过将提取的附加视点字幕数据与附加视点视频数据合成,再现器250可以形成附加视点视频屏幕。
通过交替地再现合成有基本视点字幕的基本视点视频屏幕和合成有附加视点字幕的附加视点视频屏幕,再现器250可以实现提供3D字幕服务的3D视频服务。
因此,设备200可以接收基于DVB方法提供3D视频服务的广播流,以分别接收基本视点字幕数据和附加视点字幕数据,用于与3D视频数据一同形成3D字幕。
此外,设备200可以接收指示对应于基本视点字幕数据的附加视点字幕数据的附加信息或者指示基本视点字幕与附加视点字幕之间的距离的附加信息,以确定对应的基本视点字幕数据和附加视点字幕数据。
设备200可以将基本视点视频数据与基本视点字幕数据合成以再现3D视频,并将附加视点视频数据与附加视点字幕数据合成,从而在再现3D视频的同时,再现3D字幕。
在下文中,将参考图3到图9描述根据示例性实施例的包括3D字幕数据的数据结构和根据示例性实施例的3D字幕再现信息的语法。
DVB字幕流的基本数据块是字幕片段。字幕片段经由PES包来发送,并且PES包经由TS包来发送。经由一个PES包发送的字幕片段的数量可以由PES包的最大长度来限制。
字幕流可以经由通过相同的PID信息识别的TS包来发送。
一个字幕流可以包括多个字幕服务,但是每个字幕服务所需要的所有字幕数据段都可以经由一个字幕流来发送。
经由一个字幕流发送的多个字幕服务可以是针对一个节目的不同语言的字幕服务,或者针对不同节目的字幕服务。
字幕页面可以包括字幕片段。页面标识信息可以被分配给字幕流中的每个字幕片段。每个字幕片段可以包括关于一个字幕服务的预定数据,或者由至少一个字幕服务共享的公共数据。
因此,字幕页面可以被分类为合成页面和辅助页面。合成页面对应于包括对应字幕服务的字幕数据的字幕片段。辅助页面对应于包括字幕服务的公共数据的字幕片段,其中,所述字幕服务被包括在当前字幕流中。
PMT分段的描述符区域可以包括字幕描述符。每个字幕服务的字幕描述符发送解码对应字幕服务所需的关于字幕片段的页面标识信息。关于字幕片段的页面标识信息可以与关于由字幕流发送的字幕数据的页面标识信息相链接。
字幕描述符发送每个字幕服务的合成页面的标识信息“composition-page_id”和辅助页面的标识信息“ancillary-page_id”。例如,用于发送以多种语言的字幕中的公共标志的片段数据可以通过使用关于辅助页面的页面标识信息来发送。
此外,根据所包括的字幕服务的字幕数据,字幕片段可以被分类为分辨率片段、页面合成片段、区域合成片段、CLUT定义片段、对象数据片段和显示设置片段的结束。
换句话说,通过使用字幕片段,可以发送和接收关于对应字幕服务的分辨率信息、关于包括形成字幕页面的至少一个区域的列表的字幕页面的合成信息、所述至少一个区域的空间位置、关于字幕页面的部分超时信息和页面状态、关于区域合成的信息、关于使用CLUT的区域属性(诸如:区域的长度和宽度、背景颜色和深度)的信息、关于包括在区域中的对象和对象的位置的列表的信息、关于预定CLUT的信息、关于图形对象或文本对象的信息、以及通知字幕片段的结束的信息。
首先,将参考图3到图6描述发送DVB字幕的数据结构和包括关于字幕的信息的PMT分段的语法。
图3示出根据示例性实施例的PMT分段300的语法以及用于字幕的一般再现的字幕描述符的语法。
如图1所示的设备100可以发送通过打包和复用包括视频数据、音频数据和附加数据的流来生成的TS包,从而通过广播流来发送经由广播服务提供的视频、音频和附加信息。
根据DVB方法的PMT分段300包含关于包括在当前广播流中的视频流、音频流和其它流的信息。设备100将PMT分段300与PES包复用,以生成用于提供数字广播服务的TS包。
为了提供根据DVB方法的字幕服务,诸如对象数据和区域信息的字幕元素可以被包括在其它流中的字幕流中并与其一起发送。根据DVB方法的PMT分段300可以包括关于字幕流的信息。
例如,关于每个流的信息可以通过PMT分段300中的for循环310来发送。“stream_type”字段320可以包括关于预定流的流类型信息。
例如,当由基本流标识符“elementary_PID”指示的当前基本流是字幕流时,“stream_type”字段320的值为“0x06”,并且“descriptor()”区域330可以包括“subtitling_descriptor()”描述符340,所述“subtitling_descriptor()”描述符340包括关于当前字幕流的信息。
关于包括在当前字幕流中的至少一个字幕服务的信息可以根据字幕服务通过“subtitling_descriptor()”描述符340的for循环来发送。
“ISO_639_language_code”字段360指示由当前字幕服务提供的字幕的语言码。“ancillary_page_id”字段380指示关于辅助页面的标识信息,所述辅助页面不仅包含当前字幕服务,而且包含用于通过当前字幕流提供的字幕服务的公共信息。
一个字幕服务可以对应于一个字幕页面。“composition_page_id”字段370指示关于当前字幕服务的合成页面标识信息,并且可以发出用于提供当前字幕服务的预定字幕数据的信号。因此,包括在当前字幕流中的至少一段字幕数据可以基于“composition_page_id”字段370来识别。
包括在字幕流中的字幕数据被以页面的形式被包含,并且可以基于固有页面标识信息来识别。例如,如图2所示的设备200从字幕流的字幕数据中检测具有对应于关于PMT分段300的“composition_page_id”字段370的合成页面标识信息的页面标识信息的字幕数据。
图4和图5示出根据示例性实施例的字幕描述符与字幕数据之间的链接。
参考图4,PMT分段410可包括字幕描述符,其中,所述字幕描述符包括关于字幕流的字幕相关信息。在PMT分段410中的字幕描述符420包括关于包括在相同字幕流中的至少一个字幕服务的信息。
根据字幕描述符420,字幕数据由PES包450来发送,其中,PES包450具有流标识信息“PID”值X。此外,字幕描述符420可以包括根据字幕页面的关于字幕服务的信息430和440。
根据字幕服务,字幕描述符420可以包括字幕语言信息“language”、合成页面标识信息“composition-page_id”和辅助页面标识信息“ancillary-page_id”。
因此,通过使用在PMT分段410中的字幕描述符420,设备200可以通过从接收到的数据流检测具有流标识信息值X的PES包450来提取字幕流。
或者,通过使用在PMT分段410中的字幕描述符420,设备200可以检测包括在合成页面中的第一字幕数据460(其中,字幕语言是“spanish”并且合成页面标识信息值为1),或者可以检测包括在合成页面中的第二字幕数据470(其中,字幕语言是“italian”并且字幕页面标识信息值为2)。
或者,基于字幕描述符420中的辅助页面标识信息,设备200可以检测辅助页面480,其中,页面标识信息值为3并且相同字幕流中的字幕服务的公共信息被包括。
参考图5,在PMT分段510中的第一字幕描述符520和第二字幕描述符530包括关于在不同字幕流中包括的字幕服务的信息。PMT分段510发送分别包括流标识信息X和Y的第一字幕描述符520和第二字幕描述符530。
因此,基于PMT分段510的第一字幕描述符520,设备200从当前接收到的数据流提取具有流标识信息值X的第一字幕流540。此外,基于第二字幕描述符530,设备200可以从当前接收到的数据流检测具有流标识信息值Y的第二字幕流560。
通过使用PMT分段510的第一字幕描述符520,设备200可以从第一字幕流540检测第一字幕数据550,在第一字幕数据550中,字幕语言是“spanish”并且字幕页面标识信息值是1。
此外,通过使用PMT分段510的第二字幕描述符530,设备200可以从第二字幕流560检测第二字幕数据570,在第二字幕数据570中,字幕语言是“italian”并且字幕页面标识信息值是1。
图6示出字幕片段的语法600和片段类型信息的语义640。
关于字幕服务的字幕数据以字幕片段的形式被发送。根据字幕片段的语法600,“page_id”字段620指示关于对应于所述字幕片段的字幕页面的标识信息。“segment_type”字段610指示字幕片段的片段类型。“segment_data_field()”字段630包括形成字幕页面的字幕数据。
设备200可以通过比较“composition-page_id”字段和“page_id”字段620来检测具有“page_id”字段620的字幕片段,其中,所述“page_id”字段620具有与PMT分段的字幕描述符的“composition-page_id”字段相同的值。
设备200可以基于提取的字幕数据来确定对象,诸如:字幕在视频屏幕上的位置、字幕文本或标志。
根据语义640,字幕片段类型可以被确定为页面合成片段、区域合成片段、CLUT定义片段、对象数据片段、显示定义片段和显示设置片段的结束的其中之一。
例如,基于字幕片段的字幕片段类型信息,设备200可以确定当前字幕片段是页面合成片段、区域合成片段、CLUT定义片段、对象数据片段、显示定义片段和显示设置片段的结束的其中之一。因此,设备200可以从“segment_data_field()”字段630提取页面合成数据、区域合成数据、CLUT定义数据、对象数据、显示定义数据和显示设置片段数据的结束。
因此,为了选择性地再现西班牙语字幕,基于PMT分段410或510的字幕描述符,设备200可以获得字幕页面460或550包括西班牙语字幕数据的信息,其中,字幕页面460或550被包括在具有流标识信息值X的字幕流450和540中,并且具有页面标识信息值1。因此,设备200可以从具有流标识信息值X的字幕流450或540检测具有页面标识信息值1的字幕页面460或550,从而获得西班牙语字幕数据并选择性地再现想要的字幕服务。
在下文中,将参考图7到图11描述根据示例性实施例的用于基于DVB字幕提供3D字幕服务的3D字幕的数据结构和3D字幕描述符的语法。
图7示出根据示例性实施例的包括3D字幕再现信息的3D字幕描述符的语法700、以及3D字幕再现信息的语义770和780。
如图1所示的设备100可以以PMT分段的描述符的形式发送3D字幕再现信息。3D字幕描述符“Subtitle_3DI_descriptor”可以通过使用for循环710包括关于每个字幕页面的3D字幕再现信息。
例如,3D字幕描述符“Subtitle_3DI_descriptor”包括每个字幕页面的“3d_composition_page_id”字段720、“profile”字段730、“corr_page_id”字段740、“default_direction”字段750和“default_offset”字段760,作为用于当前3D字幕服务的3D字幕再现信息。
“3d_composition_page_id”字段720指示关于合成页面的标识信息,其中,所述合成页面包括形成3D字幕的基本视点字幕的字幕数据。
“profile”字段730指示关于当前3D字幕的3D字幕类型信息。根据“profile”字段730的语法770,当前3D字幕可以被确定为第一字幕类型或第二字幕类型,其中,第一字幕类型基于基本视点字幕数据(1字幕)和关于根据视点的字幕之间的距离(偏移)的信息来形成,第二字幕类型基于基本视点字幕数据和附加视点字幕数据(2字幕)来形成。
“corr_page_id”字段740指示关于包括附加视点字幕数据的合成页面的标识信息,其中,所述附加视点字幕数据被链接到当前基本视点字幕,以用于形成3D字幕。
“default_direction”字段750可以提供关于形成3D字幕所需的基本视点字幕与附加视点字幕之间的距离的信息。
“default_direction”字段750指示为了形成3D字幕,随着基本视点字幕和附加视点字幕分别在基本视点视频屏幕和附加视点视频屏幕上后退或接近,3D效果的改变方向。根据“default_direction”字段750的语义780,所述方向可以是正方向或负方向,其中,在正方向中,3D效果产生使得字幕从观看者向后退,在负方向中,3D效果产生使得字幕接近观看者。
此外,“default_offset”字段760指示在视频屏幕上基本视点字幕与附加视点字幕之间的位置差,以用于形成3D字幕。
图8示出根据示例性实施例的通过使用基本视点字幕数据和关于基本视点字幕与附加视点字幕之间的距离的信息810形成的3D字幕。
如图2所示的设备200可以从PMT分段提取基本视点字幕与附加视点字幕之间的距离信息810。
设备200可以从字幕流820获得区域835的位置信息830(x,y),其中,在区域835中,基本视点字幕的文本“This is a subtitle application”的文本数据被显示。
此外,基于距离信息810,设备200可以获得3D字幕的3D效果的方向是负的并且根据视点的字幕的位置差是“Z”的信息。
通过使用位置信息830、文本数据和距离信息810,设备200可以形成基本视点字幕再现屏幕840和附加视点字幕再现屏幕870。
详细地说,为了获得在负方向上的3D效果(其中,3D字幕向观看者突出),设备200将左视点视频屏幕上的左视点字幕区域从最初位置(x,y)向右移动位置差Z,并将右视点视频屏幕上的右视点字幕区域从最初位置(x,y)向左移动位置差Z。
因此,设备200可以在基本视点字幕再现屏幕840的位置850(x+Z,y)处显示文本“This is a subtitle application”的区域860。
此外,设备200可以在附加视点字幕再现屏幕870的位置880(x-Z,y)处显示文本“This is a subtitle application”的区域890。
设备200可以基于PMT分段的3D字幕描述符中的字幕类型信息将当前字幕确定为根据第一字幕类型的3D字幕,然后,在不必从3D字幕描述符检测关于附加视点字幕的页面标识信息的情况下,通过仅仅提取距离信息810来再现根据第一字幕类型的3D字幕。
或者,如果从PMT分段的3D字幕描述符仅提取了距离信息810,而不管字幕类型信息如何,那么设备200可以通过使用距离信息810来再现根据第一字幕类型的3D字幕。
或者,如果从PMT分段的3D字幕描述符检测了距离信息810和关于附加视点字幕的页面标识信息两者,而不管字幕类型信息如何,那么设备200可以通过首先使用距离信息810来再现根据第一字幕类型的3D字幕。
图9示出根据示例性实施例的数据流的结构,其中,所述数据流包括:根据各视点的字幕数据以及关于根据各视点的字幕数据的3D字幕再现信息。
基于关于PMT分段910的基本流的信息920中的“stream_type”922和“elementary_PID”924,如图2所示的设备200可以检测PES包930,其中,所述PES包930包括私有数据并具有基本流标识信息值值X。
设备200可以从关于PMT分段910的PES包930的描述符区域926中检测“subtitling_descriptor()”描述符340。基于“subtitling_descriptor()”描述符340中的字幕服务信息960,设备200可以从PES包930提取包括合成页面的字幕数据940,其中,字幕语言是“english”并且页面标识信息值是1。
此外,设备200可以从关于PMT分段910的PES包930的描述符区域926中检测3D字幕描述符“Subtitle_3DI_descriptor”700。
基于字幕描述符“subtitling_descriptor”700的3D字幕再现信息970中的合成页面标识信息“3d_composition_page_id”,设备200可以从PES包930提取包括在合成页面中的基本视点字幕数据940,其中,字幕语言是“english”并且页面标识信息值是1。
此外,基于字幕描述符“subtitling_descriptor”700的3D字幕再现信息970的相关页面标识信息“corr_page_id”,设备200可以从PES包930提取包括在合成页面中的附加视点字幕数据950,其中,页面标识信息值是2。
设备200可以基于PMT分段的3D字幕描述符中的字幕类型信息确定当前字幕为根据第二字幕类型的3D字幕,并且,在不必从3D字幕描述符检测距离信息810的情况下,通过仅仅提取关于附加视点字幕的页面标识信息来再现根据第二字幕类型的3D字幕。
或者,如果从PMT分段的3D字幕描述符仅提取了关于附加视点的页面标识信息,而不管字幕类型信息如何,那么设备200可以通过使用关于附加视点字幕的页面标识信息来再现根据第二字幕类型的3D字幕。
或者,如果从PMT分段的3D字幕描述符检测了距离信息810和关于附加视点字幕的页面标识信息两者,那么设备200可以通过首先使用关于附加视点字幕的页面标识信息来再现根据第二字幕类型的3D字幕。
如参考图5所述,如果通过不同的流接收到了基本视点字幕数据和附加视点字幕数据,那么从PMT分段的3D字幕描述符,设备200不仅可以检测关于附加视点字幕的页面标识信息,而且可以检测关于附加视点字幕的流标识信息。这里,通过使用流标识信息和关于附加视点字幕的页面标识信息,设备200可以检测包含附加视点字幕数据的字幕流,并从所述字幕流检测包含附加视点字幕数据的页面。
图10是示出根据示例性实施例的发送视频数据流的方法的流程图。根据示例性实施例的方法生成用于发送字幕数据与视频数据的视频数据流,以提供包括字幕服务与视频服务的数字广播服务。
在操作1010中,可以生成包括基本视点字幕数据和附加视点字幕数据的字幕流,以在再现视频数据的视频屏幕上以3D形式再现字幕。
可以生成包括基本视点字幕数据和附加视点字幕数据两者的字幕流。或者,包括基本视点字幕数据的第一字幕流和包括附加视点字幕数据的第二字幕流均可被生成。
字幕数据可以通过至少一个字幕页面来识别,基本视点字幕数据和附加视点字幕数据可以通过不同的字幕页面来识别。
在操作1020中,用于在视频屏幕上形成3D字幕的3D字幕再现信息可以基于基本视点字幕数据来确定。
3D字幕再现信息可以包括关于基本视点字幕数据的页面标识信息、3D字幕类型信息、关于附加视点字幕数据的页面标识信息和关于基本视点字幕与附加视点字幕之间的距离的信息中的至少一种信息。
3D字幕再现信息可以以PMT分段的描述符形式来发送。
在操作1030中,可以通过复用包括视频数据的视频流、字幕流和包括3D字幕再现信息的PMT分段来输出TS包。
图11是示出根据示例性实施例的接收视频数据流的方法的流程图。根据示例性实施例的方法接收提供数字广播服务的视频数据流。视频数据流包括用于提供字幕服务与视频服务的视频数据和字幕数据两者。
在操作1110中,包括视频数据、字幕流和PMT分段的视频流可以通过对用于提供数字广播服务的TS包进行解复用来提取。
在操作1120中,3D视频的基本视点视频数据和附加视点视频数据可以从视频流提取。
在操作1130中,基本视点字幕数据和附加视点字幕数据可以从字幕流提取,以便在视频屏幕上以3D形式再现字幕。
基本视点字幕数据和附加视点字幕数据两者可以从一个字幕流提取。或者,可以从不同的字幕流提取形成第一页面的基本视点字幕数据和形成第二页面的附加视点字幕数据。
在操作1140中,用于在视频屏幕上形成3D字幕的3D字幕再现信息可以基于基本视点字幕数据来从PMT分段提取。
由于根据示例性实施例,基本视点字幕数据和附加视点字幕数据通过不同的字幕页面来识别,因此,基于3D字幕再现信息中的字幕页面标识信息,可以从字幕流检测基本视点字幕数据和附加视点字幕数据。
根据示例性实施例,关于基本视点字幕数据的页面标识信息、3D字幕类型信息、关于附加视点字幕数据的页面标识信息、以及关于根据视点的字幕之间的距离的信息的其中至少一个可以从3D字幕再现信息检测到。
根据示例性实施例,可以从PMT分段的描述符区域提取3D字幕再现信息。
在操作1150中,基于基本视点字幕数据和3D字幕再现信息,可以合成并再现基本视点视频数据、附加视点视频数据和3D字幕。
如果基于3D字幕类型信息确定当前3D字幕类型为第一字幕类型,那么,通过使用3D字幕再现信息中的距离信息,基本视点字幕数据可以与附加视点视频数据合成,使得基本视点字幕数据被置于附加视点字幕数据的位置处。
如果基于3D字幕类型信息确定当前3D字幕类型为第二字幕类型,那么,可以基于3D字幕再现信息中的关于附加视点字幕数据的页面标识信息来检测对应于基本视点字幕数据的附加视点字幕数据,并且附加视点字幕数据可以与附加视点视频数据合成。
因此,如图1所示的设备100可以包括用于形成在包括3D视频数据的视频数据流中的3D字幕的基本视点字幕数据和附加视点字幕数据,并且将其发送,以提供根据DVB方法的3D视频服务。
此外,根据DVB方法,设备100可以将指示对应于基本视点字幕数据的附加视点字幕数据的附加信息或者指示基本视点字幕与附加视点字幕之间的距离的附加信息插入到3D视频数据流中,并将其发送。
因此,如图2所示的设备200可以根据DVB方法通过接收视频数据流来提取3D视频数据,并提取用于形成3D字幕的基本视点字幕数据和附加视点字幕数据中的每一个。
此外,设备200可以根据DVB方法从3D视频数据流提取指示对应于基本视点字幕数据的附加视点字幕数据的附加信息或者指示基本视点字幕与附加视点字幕之间的距离的附加信息。
通过使用提取的附加信息,设备200可以通过合成基本视点字幕数据和基本视点视频数据来形成基本视点视频屏幕,并通过合成附加视点字幕数据和附加视点视频数据来形成附加视点视频屏幕,并且,设备200通过交替地再现基本视点视频屏幕和附加视点视频屏幕来实现提供3D字幕服务的3D视频服务。
此外,设备100可以以与基本视点字幕数据相同的数据形式提供附加视点视频数据,同时根据DVB方法以可以被插入到PMT分段中的描述符形式来提供3D字幕再现信息。因此,即使当3D视频在其它视频再现装置中不能被再现或者不支持3D字幕再现方法的其它视频再现装置接收到由设备100发送的视频数据流时,也可以保证更低的兼容性,以通过解析和提取所述其它视频再现装置所需的信息来再现视频。
本领域普通技术人员应当可以解释:在上文的示例性实施例中描述的框图概念性地示出用于实现发明构思的电路。类似地,对于本领域普通技术人员来说显而易见的是:即使没有明确地示出计算机或处理器,但是预定流程图、流图、状态转换图和伪代码基本上以计算机可读记录介质来表达并且指示由计算机或处理器执行的各种处理。因此,示例性实施例可以被写成计算机程序,并且可以在使用计算机可读记录介质来执行这些程序的通用数字计算机中实现。计算机可读记录介质的例子包括:磁存储介质(例如,ROM、软盘、硬盘等)、光记录介质(例如,CD-ROM或DVD)等。
在图中示出的各种元件的功能不仅可以通过使用与适当的软件相关联的用于执行软件的硬件来提供,而且可以使用专用硬件来提供。当由处理器来提供功能时,功能可以由单独的专用处理器、单独的公共处理器或多个单独的处理器来提供,其中某些处理器被共享。此外,术语“处理器”或“控制器”不应当被解释为仅仅指示用于执行软件的硬件,其可以无限制地并暗含地包括数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。
在权利要求中,表示为用于执行特定功能的单元的元件包括执行特定功能的预定方法,并且可以包括用于执行特定功能的电路元件的组合、或以预定形式存在的软件,其中,所述预定形式包括组合为用于执行软件以执行所述特定功能的适当的电路的固件或微码。
在本说明书中,“实施例”和其它变型表述意味着特定特征、结构和特性被包括在至少一个示例性实施例中。因此,在本说明书中的表述“实施例”和其它变型示例可以不指示相同的实施例。
在本说明书中,表述“A和B中的至少一个”被用来包括以下情况:只选A、只选B,或A和B都选。此外,表述“A到C中的至少一个”可以被用来包括以下情况:只选A、只选B、只选C、只选A和B、只选B和C,或A到C都选。本领域的普通技术人员应当能够清晰地解释具有更多元素的类似表达。
尽管本发明构思已经参考其上述示例性实施例被特别地示出并且进行了描述,但是本领域普通技术人员应该理解,在不脱离由权利要求所限定的本发明构思的精神和范围的情况下,可以对其进行形式和细节上的各种改变。上述示例性实施例应当仅以描述的目的来考虑,而不是出于限制的目的。因此,本发明构思的范围并不由示例性实施例的详细描述来限定,并且在所述范围内的所有不同将被构建为被包括在本发明构思中。

Claims (15)

1.一种发送用于提供数字广播服务的数据流的方法,所述方法包括:
生成包括基本视点字幕数据和附加视点字幕数据的字幕流,以在再现视频数据的视频屏幕上再现三维(3D)字幕;
基于基本视点字幕数据确定用于在视频屏幕上形成3D字幕的3D字幕再现信息;以及
通过复用包括视频数据的视频流、3D字幕再现信息和字幕流来输出数据流。
2.如权利要求1所述的方法,其中,如果视频流还包括节目映射表(PMT),那么确定3D字幕再现信息包括将3D字幕再现信息插入到PMT的描述符区域中。
3.如权利要求1所述的方法,其中,如果字幕数据通过字幕页面来识别,并且基本视点字幕数据和附加视点字幕数据通过不同的字幕页面来识别,那么3D字幕再现信息包括以下项中的至少一个:关于基本视点字幕数据的页面标识信息、指示用于基于基本视点字幕数据来形成3D字幕的3D字幕的形式的3D字幕类型信息、与基本视点字幕数据一同形成3D字幕的关于对应于基本视点字幕数据的附加视点字幕数据的页面标识信息、以及关于在视频屏幕上的基本视点字幕与附加视点字幕之间的距离的信息。
4.如权利要求3所述的方法,其中,关于基本视点字幕与附加视点字幕之间的距离的信息包括:关于基本视点字幕与附加视点字幕之间的距离的方向的信息、以及指示基本视点字幕与附加视点字幕之间的深度差、双眼象差和偏移中的至少一个的位置差信息,并且,其中,3D字幕类型信息指示通过使用基本视点字幕数据和距离信息来形成3D字幕的第一字幕类型和通过使用基本视点字幕数据和附加视点字幕数据来形成3D字幕的第二字幕类型的其中之一。
5.一种接收提供数字广播服务的数据流的方法,所述方法包括:
通过对接收到的数据流进行解复用来提取包括视频数据的视频流、三维(3D)字幕再现信息和字幕流;
从视频流提取3D视频的基本视点视频数据和附加视点视频数据;以及
从字幕流提取基本视点字幕数据和附加视点字幕数据,以在再现视频数据的视频屏幕上再现3D字幕。
6.如权利要求5所述的方法,还包括基于基本视点字幕数据和3D字幕再现信息合成并再现基本视点视频数据、附加视点视频数据和3D字幕。
7.如权利要求5所述的方法,其中,提取3D字幕再现信息包括:
从包括在视频流中的节目映射表(PMT)提取3D字幕再现信息;以及
从PMT的描述符区域提取3D字幕再现信息。
8.如权利要求5所述的方法,其中,提取3D字幕再现信息包括从3D字幕再现信息检测关于基本视点字幕数据的页面标识信息、以及指示用来基于基本视点字幕数据形成3D字幕的3D字幕的形式的3D字幕类型信息,
其中,形成第一页面的基本视点字幕数据被从字幕流的第一字幕流提取,形成第二页面的附加视点字幕数据被从字幕流的第二字幕流提取。
9.如权利要求8所述的方法,其中,提取3D字幕再现信息还包括:
从3D字幕再现信息检测关于与基本视点字幕数据一同形成3D字幕的对应于基本视点字幕数据的附加视点字幕数据的页面标识信息、以及关于基本视点字幕与附加视点字幕之间的距离的信息中的至少一个;以及
从基本视点字幕与附加视点字幕之间的距离信息检测关于基本视点字幕与附加视点字幕之间的距离的方向的信息、以及关于指示基本视点字幕与附加视点字幕之间的深度差、双眼象差和偏移的其中之一的位置差的信息。
10.如权利要求9所述的方法,还包括:
通过使用基本视点字幕数据和距离信息来确定当前3D字幕类型为形成3D字幕的第一字幕类型;
将基本视点字幕数据与基本视点视频数据合成;以及
通过使用距离信息,将基本视点字幕数据与附加视点视频数据合成,使得基本视点字幕数据被置于附加视点字幕数据的位置处。
11.如权利要求9所述的方法,还包括:
通过使用基本视点字幕数据和附加视点字幕数据来确定当前3D字幕类型为形成3D字幕的第二字幕类型;
将基本视点字幕数据与基本视点视频数据合成;以及
基于3D字幕再现信息中的关于附加视点字幕数据的页面标识信息检测对应于基本视点字幕数据的附加视点字幕数据,并且,将附加视点字幕数据与附加视点视频数据合成。
12.一种发送用于提供数字广播服务的数据流的设备,所述设备包括:
字幕流生成器,生成包括基本视点字幕数据和附加视点字幕数据的字幕流,以在再现视频数据的视频屏幕上再现三维(3D)字幕;
3D字幕再现信息确定器,基于基本视点字幕数据确定用于在视频屏幕上形成3D字幕的3D字幕再现信息;以及
输出单元,通过复用包括视频数据的视频流、3D字幕再现信息和字幕流来输出数据流。
13.一种接收用于提供数字广播服务的数据流的设备,所述设备包括:
接收器,通过对接收到的数据流进行解复用来提取包括视频数据的视频流、三维(3D)字幕再现信息和字幕流;
视频数据提取器,从视频流提取3D视频的基本视点视频数据和附加视点视频数据;
字幕数据提取器,从字幕流提取基本视点字幕数据和附加视点字幕数据,使得在再现视频数据的视频屏幕上再现3D字幕;以及
3D字幕再现信息提取器,从包括在视频流中的节目映射表(PMT)提取3D字幕再现信息。
14.一种记录有用于执行权利要求1的方法的程序的计算机可读记录介质。
15.一种记录有用于执行权利要求5的方法的程序的计算机可读记录介质。
CN201180029688.0A 2010-06-18 2011-06-17 用于提供具有三维字幕的数字广播服务的方法和设备 Expired - Fee Related CN102948164B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US35610310P 2010-06-18 2010-06-18
US61/356,103 2010-06-18
KR10-2011-0050192 2011-05-26
KR1020110050192A KR20110138151A (ko) 2010-06-18 2011-05-26 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
PCT/KR2011/004442 WO2011159128A2 (en) 2010-06-18 2011-06-17 Method and apparatus for providing digital broadcasting service with 3-dimensional subtitle

Publications (2)

Publication Number Publication Date
CN102948164A true CN102948164A (zh) 2013-02-27
CN102948164B CN102948164B (zh) 2016-10-12

Family

ID=45504186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180029688.0A Expired - Fee Related CN102948164B (zh) 2010-06-18 2011-06-17 用于提供具有三维字幕的数字广播服务的方法和设备

Country Status (7)

Country Link
US (1) US9137515B2 (zh)
EP (1) EP2583452A4 (zh)
JP (1) JP6049612B2 (zh)
KR (1) KR20110138151A (zh)
CN (1) CN102948164B (zh)
BR (1) BR112012032120A2 (zh)
WO (1) WO2011159128A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155866A (zh) * 2016-05-31 2019-01-04 索尼公司 发送装置、发送方法、接收装置和接收方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9097903B2 (en) * 2009-06-16 2015-08-04 Lg Electronics Inc. 3D display device and selective image display method thereof
CN102907111A (zh) * 2010-06-02 2013-01-30 日立民用电子株式会社 接收装置、显示控制方法、发送装置和发送方法
JP5991596B2 (ja) * 2011-06-01 2016-09-14 パナソニックIpマネジメント株式会社 映像処理装置、送信装置、映像処理システム、映像処理方法、送信方法、コンピュータプログラム及び集積回路
CN103609106A (zh) * 2012-01-18 2014-02-26 松下电器产业株式会社 发送装置、影像显示装置、发送方法、影像处理方法、影像处理程序以及集成电路
EP2827586B1 (en) * 2012-03-14 2019-05-08 Panasonic Corporation Receiver apparatus, broadcast/communication-cooperation system, and broadcast/communication-cooperation method
US9762889B2 (en) 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
WO2016006971A1 (ko) * 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
EP3169072A4 (en) 2014-07-11 2017-11-15 LG Electronics Inc. -1- Method and device for transmitting and receiving broadcast signal
US10368144B2 (en) * 2014-07-29 2019-07-30 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
CN104683785B (zh) * 2015-02-06 2017-02-22 四川长虹电器股份有限公司 基于裸眼3d技术的实时插播3d文字的方法
CN107431835B (zh) 2015-04-13 2020-09-11 索尼公司 发送装置、发送方法、再现装置以及再现方法
US20180276007A1 (en) * 2017-03-22 2018-09-27 Rohde & Schwarz Gmbh & Co. Kg Method for monitoring information to be displayed on a screen, device and system
US10958890B2 (en) * 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050169607A1 (en) * 2004-02-03 2005-08-04 Yoo Jea Y. Recording medium and recording and reproducing methods and apparatuses
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
CN101578887A (zh) * 2006-12-08 2009-11-11 韩国电子通信研究院 用于传送/接收基于非实时的数字真实广播的系统及其方法
US20090324202A1 (en) * 2008-06-26 2009-12-31 Panasonic Corporation Recording medium, playback apparatus, recording apparatus, playback method, recording method, and program
WO2010064853A2 (en) * 2008-12-02 2010-06-10 Lg Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1173031A1 (en) 2000-07-14 2002-01-16 Deutsche Thomson-Brandt Gmbh Method and device for recording sub-titles
EP1173032B1 (en) * 2000-07-14 2015-06-24 Thomson Licensing Method and device for recording sub-titles
JP2002335497A (ja) * 2001-05-10 2002-11-22 Toshiba Corp サブピクチャ表示倍率変換方法及び装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
KR20040099058A (ko) 2003-05-17 2004-11-26 삼성전자주식회사 서브타이틀 처리 방법, 그 재생 장치 및 그 정보저장매체
DE602005023285D1 (de) * 2004-03-26 2010-10-14 Lg Electronics Inc Speichermedium,verfahren, und gerät zum wiedergeben von untertiteldatenströmen
US8473475B2 (en) * 2004-09-15 2013-06-25 Samsung Electronics Co., Ltd. Information storage medium for storing metadata supporting multiple languages, and systems and methods of processing metadata
KR100782835B1 (ko) * 2005-01-29 2007-12-06 삼성전자주식회사 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치
JP4665933B2 (ja) * 2006-07-04 2011-04-06 セイコーエプソン株式会社 文書編集支援装置、プログラムおよび記憶媒体
WO2008114595A1 (ja) * 2007-03-22 2008-09-25 Mitsubishi Electric Corporation 映像再生装置および映像再生方法
US20110225523A1 (en) * 2008-11-24 2011-09-15 Koninklijke Philips Electronics N.V. Extending 2d graphics in a 3d gui
KR101659026B1 (ko) * 2008-12-02 2016-09-23 엘지전자 주식회사 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
CN102273209B (zh) * 2009-01-08 2014-08-20 Lg电子株式会社 3d字幕信号发送方法和3d字幕显示方法
US8269821B2 (en) * 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
EP2371140B1 (en) * 2009-02-12 2017-03-01 LG Electronics Inc. Broadcast receiver and 3d subtitle data processing method thereof
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
JP5369952B2 (ja) * 2009-07-10 2013-12-18 ソニー株式会社 情報処理装置および情報処理方法
JP2011029849A (ja) * 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
US9215444B2 (en) * 2010-01-11 2015-12-15 Lg Electronics Inc. Broadcasting receiver and method for displaying 3D images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050169607A1 (en) * 2004-02-03 2005-08-04 Yoo Jea Y. Recording medium and recording and reproducing methods and apparatuses
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
CN101578887A (zh) * 2006-12-08 2009-11-11 韩国电子通信研究院 用于传送/接收基于非实时的数字真实广播的系统及其方法
US20090324202A1 (en) * 2008-06-26 2009-12-31 Panasonic Corporation Recording medium, playback apparatus, recording apparatus, playback method, recording method, and program
WO2010064853A2 (en) * 2008-12-02 2010-06-10 Lg Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155866A (zh) * 2016-05-31 2019-01-04 索尼公司 发送装置、发送方法、接收装置和接收方法

Also Published As

Publication number Publication date
JP6049612B2 (ja) 2016-12-21
BR112012032120A2 (pt) 2016-11-16
CN102948164B (zh) 2016-10-12
KR20110138151A (ko) 2011-12-26
US9137515B2 (en) 2015-09-15
WO2011159128A2 (en) 2011-12-22
WO2011159128A3 (en) 2012-03-15
EP2583452A2 (en) 2013-04-24
US20110310224A1 (en) 2011-12-22
EP2583452A4 (en) 2013-11-20
JP2013534097A (ja) 2013-08-29

Similar Documents

Publication Publication Date Title
CN102948164A (zh) 用于提供具有三维字幕的数字广播服务的方法和设备
EP2717566B1 (en) Content processing apparatus for processing high resolution content and method thereof
CN102318355B (zh) 播放设备和播放方法
US20110234754A1 (en) Combining 3d video and auxiliary data
US10014029B2 (en) Video processing apparatus and method
JP2010250562A (ja) データ構造、記録媒体、再生装置および再生方法、並びにプログラム
CN102150424A (zh) 根据自由视角av服务的文件生成方法
WO2010119814A1 (ja) データ構造、記録媒体、再生装置および再生方法、並びにプログラム
WO2017145721A1 (ja) 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2010252055A (ja) データ構造、記録媒体、再生装置および再生方法、並びにプログラム
JP4985890B2 (ja) 再生装置および再生方法、並びに記録方法
KR20120018078A (ko) 영상 기록 재생 장치, 영상 기록 재생 방법, 및 기록매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161012

CF01 Termination of patent right due to non-payment of annual fee