CN103339946B - 用于接收多视图三维广播信号的接收设备和方法 - Google Patents
用于接收多视图三维广播信号的接收设备和方法 Download PDFInfo
- Publication number
- CN103339946B CN103339946B CN201180066735.9A CN201180066735A CN103339946B CN 103339946 B CN103339946 B CN 103339946B CN 201180066735 A CN201180066735 A CN 201180066735A CN 103339946 B CN103339946 B CN 103339946B
- Authority
- CN
- China
- Prior art keywords
- view
- broadcast image
- information
- multi views
- caption data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及用于接收多视图三维广播信号的接收设备和方法。根据本发明的一种实施方式,用于处理多视图三维广播信号的方法包括以下步骤:接收广播信号,广播信号包括针对多个视图的三维广播图像,并且包括用于以信号传送所述三维广播图像的信令数据;根据用于以信号传送针对多视图的字幕数据的多视图字幕描述符来解析对特定的视图的三维广播图像进行标识的、包括在所述信令数据中的三维广播图像视图信息;解析多视图字幕流分组标识符信息,其中,多视图字幕流分组标识符信息指定了对针对特定视图的所述三维广播图像的字幕数据进行发送的广播流的分组标识符,所述三维广播图像被所述三维广播图像视图信息所标识;并解析对发送针对特定视图的三维广播图像的字幕数据的段进行标识的多视图字幕段标识符信息,所述字幕数据被包括在被所述多视图字幕流分组标识符信息所标识的广播流中;将由所述多视图字幕段标识符信息所标识的段的字幕数据应用至具有与所述三维广播图像视图信息相同的值的特定视图的三维广播图像;并且输出针对多个视图的三维广播图像,所述三维广播图像包括应用了所述字幕数据的特定的视图的三维广播图像。
Description
技术领域
本发明涉及用于接收多视图3D(三维)广播信号的方法和设备。
更具体地说,本发明涉及用于在提供多视图3D图像连同3D广播图像的广播接收环境中处理针对各个视图的字幕、标题和/或OSD(屏上显示)的方法和设备。
背景技术
随着大量地提供三维电视(3DTV),不仅正在积极地进行经由存储介质提供三维(3D)图像内容,而且正在积极地进行经由数字广播传输3D图像内容。
一般来说,三维(3D)图像通过使用人双眼的立体视觉的原理来提供立体效果。人类(或个人)通过双眼之间的视差来感觉透视图,换言之,由个人的双眼产生的双目视差被隔开大约65mm的距离。因此,3D图像可以通过提供图像实现以及与左眼和右眼二者相关联的要观看的平面图像来提供立体效果和透视图。
用于显示这样的3D图像的方法包括立体方法(stereoscopic method)、体积方法(volumetric method)、全息方法(holographic method)等。在立体方法的情况下,提供要由左眼观看的左视图图像以及要由右眼观看的右视图图像,并且左眼和右眼分别通过偏光眼镜或通过显示设备来观看左视图图像和右视图图像,由此使观看者能够确认3D效果。
同时,应该通过广播接收器向观看者提供3D广播图像,以最好地匹配它的制造者(或设计者)的意图。但是,在广播接收器中,取决于观看广播的观看者的位置或取决于广播图像以外的诸如字幕和/或标题这样的显示内容,3D图像可以向观看者示出为与制造者期望的内容不同的3D图像
发明内容
技术目标
为了解决上述问题,由本发明实现的技术目标是允许观看3D广播图像的观看者使用广播接收器来观看如广播接收器的制造者所期望的3D图像,而与观看者正在观看广播的位置无关。
由本发明实现的另一技术目标是防止与3D图像一起显示的OSD、字幕和/或标题在3D图像中导致失真。
技术方案
为了实现上述技术目标,根据本发明的一种示例性实施方式的用于处理多视图三维(3D)广播图像的方法可以包括以下步骤:接收广播信号的步骤,其中,所述广播信号包括针对多个视图的3D广播图像,并且其中,所述广播信号包括用于以信号传送所述3D广播图像的信令数据;根据用于以信号传送针对多视图的字幕数据的多视图字幕描述符来解析对特定的视图的3D广播图像进行标识的3D广播图像视图信息的步骤,其中,所述3D广播图像视图信息被包括在所述信令数据中;解析多视图字幕流分组标识符信息,其中,所述多视图字幕流分组标识符信息指定了对针对特定视图的所述3D广播图像的字幕数据进行发送的广播流的分组标识符,所述3D广播图像被所述3D广播图像视图信息所标识;并解析对发送针对特定视图的3D广播图像的字幕数据的段进行标识的多视图字幕段标识符信息,所述字幕数据被包括在被所述多视图字幕流分组标识符所标识的广播流中;将由所述多视图字幕段标识符信息所标识的段的字幕数据应用至具有与所述3D广播图像视图信息相同的值的特定视图的3D广播图像的步骤;以及输出针对多个视图的3D广播图像的步骤,所述3D广播图像包括应用了所述字幕数据的特定的视图的3D广播图像。
优选地,该方法还可以包括以下步骤:解析多视图字幕属性信息的步骤,所述多视图字幕属性信息指示应用至特定视图的3D广播图像的字幕数据的特性,多视图字幕特性信息被包括在所述多视图字幕描述符中,并且,这里,所述多视图字幕特性信息对包括以下各项特性中的至少任何一个进行指示:被添加到针对二维(2D)广播图像的字幕数据的被应用至所述3D广播图像的字幕数据的特性,由此被使用;被应用至对所述2D广播图像的一部分字幕数据进行替换的所述3D广播图像的字幕数据的特性,由此被使用;以及被应用至对所述2D广播图像的所述字幕数据进行替换的所述3D广播图像的字幕数据的特性,由此被使用。
优选地,多视图字幕描述符可以被包括在节目映射表(PMT)、虚拟频道表(VCT)或服务描述表(SDT)中。
优选地,该方法还可以包括:解析最大视差信息和最小视差信息的步骤,所述最大视差信息指示针对各个视图的3D广播图像的最大视差值,所述最小视差信息指示针对各个视图的3D广播图像的最小视差值,所述最大视差信息和所述最小视差信息被包括在针对所述多个视图的所述3D广播图像中。
优选地,该方法还可以包括:计算用于在针对各个视图的所述3D广播图像中显示OSD(屏上显示)的OSD视差值的步骤。
优选地,通过在视差值中选择对针对各个视图的所述3D广播图像的最小视差信息进行指示的最小视差值来计算所述OSD视差值。
另外,根据本发明的另一示例性实施方式,多视图3D广播接收器可以包括执行上述方法的设备。
发明效果
根据本发明,可以通过广播网络向观看者提供具有其制造者期望的立体效果的多视图3D图像服务。
根据本发明,可以与观看者的定位(或位置)或3D图像的视点无关地将OSD、字幕和/或标题连同3D图像一起显示,而不会产生任何3D图像的失真。
附图说明
图1例示了根据本发明的示例性实施方式的针对在多视图3D图像广播中的OSD、字幕和/或标题服务的元数据。
图2例示了根据本发明的示例性实施方式的在多视图3D图像中实现视频/图形(OSD)/字幕/标题输出的框。
图3例示了根据本发明的示例性实施方式的用于在多视图3D图像中实现视频/图形(OSD)/字幕/标题输出的元数据。
图4例示了根据本发明的示例性实施方式的构成多视图3D服务的要素。
图5例示了根据本发明的示例性实施方式的示出了单个3DTV显示情况的平面图。
图6例示了根据本发明的示例性实施方式的示出多视图3DTV显示情况的平面图。
图7例示了根据本发明的示例性实施方式的在当存在多个观看者时的情况中的多视图3DTV显示情况的平面图。
图8例示了根据本发明的示例性实施方式的包括在Multiview_descriptor中的详细信息。
图9例示了根据本发明的示例性实施方式的Multiview_service_descriptor。
图10例示了根据本发明的示例性实施方式的Multiview_element_descriptor。
图11例示了根据本发明的示例性实施方式的Multiview_subtitle_descriptor。
图12例示了根据本发明的示例性实施方式的Multiview_caption_descriptor。
图13例示了根据本发明的一种示例性实施方式的在单用户模式中的OSD显示控制。
图14例示了根据本发明的另一示例性实施方式的在单用户模式中的OSD显示控制。
图15例示了根据本发明的示例性实施方式的在单用户模式中的字幕/标题显示控制。
图16例示了根据本发明的示例性实施方式的在多用户模式中的OSD显示控制。
图17例示了根据本发明的示例性实施方式的在多用户模式中的字幕/标题显示控制。
图18例示了根据本发明的示例性实施方式的多视图3D图像接收器。
图19例示了根据本发明的示例性实施方式的示出了针对多个视图的用于接收3D广播图像的方法的流程图。
具体实施方式
现在将参照附图和在附图中给出的细节详细地描述本发明的优选实施方式。但是,本发明不仅仅限于本文所描述的优选实施方式。
尽管在本发明中所使用的术语是从通常已知和使用的术语中选择,但本领域的任何技术人员可以按照他或她的判断、根据惯例或由于新术语的出现来改变在本发明的描述中所提到的某些术语。另外,在某些情况下,在本发明的描述中提到的某些术语已经由申请人按照他或她的判断进行了选择。并且,在这些情况下,在本文所提出的说明书的相关部分中描述具体的含义。因此,在本发明的描述中使用的术语不仅需要通过本文所使用的术语的纯粹的名称来简单地理解,还需要基于本发明的描述的整体内容通过存在于各个术语中的实际的含义来理解。
3D图像展示方法包括立体图像方法和多视图图像方法(或多视图方法),立体图像方法考虑两个透视图(或视点),多视图图像方法考虑三个或更多个透视图(或视点)。相反,相关技术的单个视图图像类型可以被称为单视场方法。
立体图像方法使用一对左视图图像和右视图图像,该对左视图图像和右视图图像通过以左侧相机和右侧相机拍摄同一对象而获得,其中,两个相机彼此间隔开预定的距离。多视图图像使用一组至少3个图像,该组图像通过以至少3个不同的相机进行拍摄来获得,至少3个不同的相机或者彼此间隔开预定的距离或者以不同的角度放置。
以下将要描述的多视图3D图像可以通过在作为来自多个视点的3D图像提供至观看者的上述3个或更多个图像中选择包括在各个视图(或视点)的3D图像中的两个图像来提供至观看者。这被称为3D图像服务并将在下文中用于具有与多视图服务相同的含义。
图1例示了根据本发明的示例性实施方式的针对在多视图3D图像广播中的OSD、字幕和/或标题服务的元数据。
参照图1,根据本发明的示例性实施方式的针对在多视图3D图像广播中的OSD、字幕和/或标题服务的元数据可以包括3D视图的数目要素、视图ID要素、深度范围要素、左相机ID要素、右相机ID要素和/或标题/字幕位置以及视差要素。
3D的数目根据节目级别提供并表示由3D图像节目正在提供的3D视图的数目。
视图ID要素被设置在3D视图(或视点)单元中并代表各3D视图各自的唯一标识符。
深度范围要素视图要素被设置在3D视图(或视点)单元中并指示在从各个3D视图提供的3D立体图像之间的最小视差和最大视差。另选地,该要素指示各个3D视图的深度预算。根据本发明的示例性实施方式,视差可以被定义为表示在包括在3D图像中的左视图图像和右视图图像的每一个中代表同一点的像素的水平位置的差异。例如,随着视差值变得更大,3D对象的位置似乎更加远离观看者,并且随着视差值变得更小,3D对象的位置似乎更加靠近观看者。
左相机ID要素被设置在3D视图(或视点)单元中并表示相机的标识符(ID),该相机在创建3D视图的处理期间获得与左视图图像相对应的数据。该要素的目的是准确地指出相机的位置,并且为了准确地指出各个相机的精确的物理位置,该要素可以单独地发送针对相应的相机的固有参数和外赋参数。
右相机ID要素被设置在3D视图(或视点)单元中并表示相机的标识符(ID),该相机在创建3D视图的处理期间获得与右视图图像相对应的数据。该要素的目的是准确地指出相机的位置,并且为了准确地指出各个相机的精确的物理位置,该要素可以单独地发送针对相应的相机的固有参数和外赋参数。
标题/字幕位置以及视差要素可以设置在3D视图(3D图像视图)单元中,并且该要素可以具有针对各个3D图像视图的另一标题/字幕的位置和视差(深度)值。
根据广播服务(ATSC或DVB),可以将图1中示出的元数据组处理为针对相关的段数据(section data)的适当格式。
图2例示了根据本发明的示例性实施方式的在多视图3D图像中实现视频/图形(OSD)/字幕/标题输出的框。
根据本发明的示例性实施方式的多视图3D图像的实现可以通过以下过程执行,这些过程包括:视频源(2110、2120、2130、2140)、字幕/标题源(2200)、OSD源(2300)、最小视差信息(2410、2420、2430)、字幕/标题视差信息(2510、2520、2530)、3D图像格式化器(2610、2620、2630)和/或特定的视图图像(2710、2720、2730)。
视频源(2110、2120、2130、2140)代表由拍摄(或录制)3D图像的相机获得的视频。对于多视图3D图像,需要对从多个相机获得的图像进行组合的过程。
不同于视频图像,字幕/标题源(2200)可以被配置为图像或文本格式。例如,字幕可以被配置为图像,并且由于针对字幕自身的深度差别的要求不是非常重要,所以通过提供针对字幕自身的视差信息,可以通过按照与左/右视图图像的视差值相对应的位置间隔显示同一字幕而获得3D效果。这类似地应用于可以由文本构成的标题。
由于OSD源(2300)是从广播接收器生成并显示的,所以OSD源(2300)一般可以被配置为针对参考标准的源,其中,参考标准由广播接收器的制造者(或设计者)确定。为了在提供3D图像的同时显示OSD,应该考虑3D图像内的深度相关性。
最小视差信息(2410、2420、2430)根据要显示哪一个OSD来执行确定深度范围的功能。例如,在特定的视图的3D图像中,在具有3D效果的深度的范围内,OSD可以被设置为显示得比似乎最接近观看者的3D效果似乎更靠近观看者。
根据针对各个视图应该显示哪个字幕/标题,字幕/标题视差信息(2510、2520、2530)可以用作对深度水平进行指示的信息。
对于3D图像,3D图像格式化器(2610、2620、2630)执行格式化OSD的功能,这是基于视频源和最小视差信息,并且/或者执行格式化字幕/标题的功能,这是基于字幕/标题视差信息。
特定的视图图像(2710、2720、2730)分别指示从3D图像格式化器(2610、2620、2630)格式化为针对各个视图的3D图像的图像。例如,当假设视频0(2110)、视频1(2120)、视频2(2130)、视频3(2140)对应于按照数字顺序从相邻(或邻近)的相机录制的视频源,通过格式化视频0和视频1连同字幕/标题和/或OSD,可以生成针对被称为视图0的第一视图的3D图像。此外,通过格式化视频1和视频2连同字幕/标题和/或OSD,可以生成针对被称为视图1的第二视图的3D图像。并且,同样地,通过格式化视频2和视频3连同字幕/标题和/或OSD,可以生成针对被称为视图2的第三视图的3D图像。
图3例示了根据本发明的示例性实施方式的用于在多视图3D图像中实现视频/图形(OSD)/字幕/标题输出的元数据。
通过将图3的元数据应用于实现图2中所示出的3D图像的处理,下面将详细地描述图3的元数据。
在图2中,生成针对3个不同的视图的3D图像。这通过被称为3D视图的数目的要素来表达。并且,通过将数值3指定给相对应的要素,可以以信号通知对针对3个不同的视图的3D图像的存在进行指示的信息。
将针对表达为具有视图ID0的视图的3D图像表达为图2的视图0(2710),并且针对该视图的3D图像具有最小视差值(3D效果表达为似乎最接近观看者)min_disp0和最大视差值(3D效果表达为似乎最远离观看者)max_disp0。另外,针对字幕/标题,将数值视差0应用至各个字幕/标题窗口。从视频0(2110)获得构成了视图0(2710)的左视图图像,并且从视频1(2120)获得右视图图像。
将针对表达为具有视图ID1的视图的3D图像表达为图2的视图1(2720),并且针对该视图的3D图像具有最小视差值(3D效果表达为似乎最接近观看者)min_disp1和最大视差值(3D效果表达为似乎最远离观看者)max_disp1。另外,针对字幕/标题,将数值视差1应用至各个字幕/标题窗口。从视频1(2120)获得构成了视图1(2720)的左视图图像,并且从视频2(2130)获得右视图图像。
将针对表达为具有视图ID2的视图的3D图像表达为图2的视图2(2730),并且针对该视图的3D图像具有最小视差值(3D效果表达为似乎最接近观看者)min_disp2和最大视差值(3D效果表达为似乎最远离观看者)max_disp2。另外,针对字幕/标题,将数值视差2应用至各个字幕/标题窗口。从视频2(2130)获得构成了视图2(2730)的左视图图像,并且从视频3(2140)获得右视图图像。
图4例示了根据本发明的示例性实施方式的构成多视图3D服务的要素。
根据本发明的示例性实施方式,多视图3D服务可以包括二维(2D)视频流1(4110;VES1)、字幕/标题1(4120)、2D视频流2(4210;VES2)、视频分量信息(4220)、字幕/标题2(4230)、OSD深度范围(4240)、字幕/标题视差(4250)、相机视图流0(4310;VES0)、相机视图流3(4320;VES3)、多视图视频分量信息(4330)、字幕/标题3(4340)和/或多视图OSD/字幕/标题深度信息(4350)。
2D传统视频服务可以包括2D视频流1(4110;VES1)和/或字幕/标题1(4120)。
2D视频流1(4110;VES1)代表与2D服务兼容的流。更具体地说,2D视频流1对应于也可以由常规的2D广播接收器观看的视频要素。
字幕/标题1(4120)对应于与2D视频流关联(或链接)的字幕/标题流,并且该流可以由2D广播接收器正常地解码。
3D立体视频服务可以包括上述的2D视频流2(4210;VES2)、视频分量信息(4220)、字幕/标题2(4230)、OSD深度范围(4240)以及字幕/标题视差(4250)。
2D视频流2(4210;VES2)对应于与VES1流一起构成了3D立体视频服务的另一视频流。例如,VES1可以用作3D立体图像的左视图图像,并且VES2可以用作3D立体图像的右视图图像,并且反之亦然。
视频分量信息(4220)通知两个视频流(VES1、VES2)的配置信息,这两个视频流(VES1、VES2)构成了3D立体视频服务。例如,视频分量信息(4220)可以包括对VES1和VES2的哪一个对应于左视图图像或右视图图像进行通知的信息以及将VES1和VES2中的任何一个标识为主图像或子图像的信息。
字幕/标题2(4230)对应于可以针对3D立体视频服务另外提供的字幕/标题数据。
OSD深度范围(4240)提供由VES1和VES2构成的立体图像的深度范围信息。这对应于当在广播接收器中实现诸如OSD等这样的图形功能时可以涉及到的信息。例如,广播接收器可以调整OSD的显示深度,使得在上述深度范围以外可以显示OSD,由此防止OSD与3D图像的对象相冲突。
字幕/标题视差(4250)对应于在3D广播服务中用于指定针对字幕/标题数据的3D坐标的信息。更具体地说,字幕/标题视差(4250)可以包括对在由3D广播服务提供的字幕/标题的左视图图像/右视图图像中的水平定位(或位置)差别进行指示的视差值。这样的视差信息可以被添加到字幕/标题1(4120)以实现立体字幕。
多视图3D视频服务可以包括3D立体视频服务、相机视图流0(4310;VES0)、相机视图流3(4320;VES3)、多视图视频分量信息(4330)、字幕/标题3(4340)和/或多视图OSD/字幕/标题深度信息(4350)。
相机视图流0(4310;VES0)和相机视图流3(4320;VES3)对应于与VES1和VES2流一起构成了3D多视图视频服务的视频流。这里,多视图3D视频服务可以被认为是多个立体服务的组的概念。使用两个视频流的每一个作为左/右视频流,各个视图的3D视频分别对应于立体服务。
多视图视频分量信息(4330)包括与配置多视图服务的各个视频的组合相关的信息以及与各个视图的3D图像相关的信息。例如,接收器可以使用该信息来确定多视图3D图像的配置信息并可以控制多视图3D图像的输出。
在多视图3D图像中可以存在针对各个视图的3D图像的其它字幕/标题数据,并且这样的数据可以添加到字幕/标题3(4340)。
多视图OSD/字幕/标题深度信息(4350)可以针对各个视图在3D图像单元中指定针对字幕/标题窗口的视差信息,并且多视图的3D图像可以共享相同的窗口视差。而且,为了输出3D OSD,在3D图像单元中针对各个视图设置有深度范围信息。
图5例示了根据本发明的示例性实施方式的示出了单个3DTV显示情况的平面图。
在具有3个显示视图的多视图3D图像的情况下,单个3DTV显示接收设备可以通过单个3D显示帧选择并观看不同的3D视图(例如,针对同一内容的不同的视角)。由于接收设备每次仅可以显示一个视图,所以用户在观看3D图像的同时可以通过使用诸如遥控器方向键、屏幕触摸或其它传感器这样的用户接口(UI)来选择并观看想要观看的视图的3D图像。在图中,用户正在观看视图ID1,并且用户能够通过使用上述方法来观看视图ID0或视图ID3。
图6例示了根据本发明的示例性实施方式的示出多视图3DTV显示情况的平面图。
图6对应于示出了一个观看者根据观看角度或位置观看不同视图的3D图像的情况的图,其中,从上面观察(或鸟瞰)相应的情况。在用户位于显示器的左侧的情况下,可以观看视图ID0的图像,在用户位于显示器的前面的情况下,可以观看视图ID1的图像,并且在用户位于显示器的右侧的情况下,可以观看视图ID2的图像。
图7例示了根据本发明的示例性实施方式的在当存在多个观看者时的情况中的多视图3DTV显示情况的平面图。
图7对应于示出了3个观看者根据观看角度或位置各自观看不同的3D视图的情况的图,其中,从上面观察(或鸟瞰)相应的情况。在图7中,位于显示器的左侧的用户0观看与视图ID0对应的图像,并且位于中央的用户1观看与视图ID1对应的图像。另外,位于显示器的右侧的用户2观看与视图ID2对应的图像。针对各个位置的视图ID可以任意地改变,因此将不仅仅限于本文所提出的示例。
图8例示了根据本发明的示例性实施方式的包括在Multiview_descriptor中的详细信息。
Multiview_descriptor可以包括与各个3D视图相关的信息或被包括在PMT内的多视图3D图像节目中的全部多视图3D图像服务的共同特性。该描述符对应于节目或服务级别的描述符。因此,当同时接收多个流并同时全部显示接收到的流时,该描述符会是有用的,并且即使仅知道一个流信息,该描述符也能够识别出对应的流属于哪个3D视图。在虚拟频道表或服务映射表中可以使用Multiview_descriptor,以在节目级别处以信号发送多视图3D图像。
Multiview_descriptor可以包括descriptor_tag字段、descriptor_length字段、num_3D_views字段、camera_arrangement_type字段、supported_angle_of_view_type字段、supported_angle_of_view字段、Camera_to_object_distance字段、3D_view_ID字段、3D_view_priority字段、left_PID字段、right_PID字段、left_cam_ID字段、right_cam_ID字段、left_cam_position字段、right_cam_position字段、min_disparity字段和/或max_disparity字段。
descriptor_tag字段是8比特字段,其标识描述符类型。根据本发明的实施方式,Multiview_descriptor的值为0xTBD。
descriptor_length字段对应于8比特计数器,其指示在descriptor_length字段之后的字节的数目。
num_3D_views字段是8比特字段,其表示由多视图3D图像节目提供的3D视图的总数。
camera_arrangement_type字段是2比特字段,其代表在对应的多视图节目中的多个相机的设置类型。当相应的值等于“00”时,该类型可以对应于圆形收敛类型(Circular convergent type),当字段值等于“01”时,该类型可以对应于线性收敛类型(Linear Convergent type),当字段值等于“10”时,该类型可以对应于线性平行类型(Linear Parallel type),并且当字段值等于“11”时,该类型可以对应于任何其它类型。
supported_angle_of_view_type字段是1比特字段,其指示supported_angle_of_view字段的表现形式。当该字段的值等于0时,以角为单位指示supported_angle_of_view,并且当该字段的值等于1时,以距离为单位指示supported_angle_of_view。
supported_angle_of_view字段是8比特字段,其指示由对应的多视图3D图像节目提供的3D立体图像所覆盖的全部观看角度或者在位于相机布置的左端和右端各处的相机之间的距离信息。在后者的情况下,通过将该字段的值和camera_to_object_distance的值组合可以计算全部观看角度。这里,当上述supported_angle_of_view_type的值等于“0”时,这可以指示观看角度,并且当对应的字段的值等于“1”时,这可以指示在位于相机布置的每一端处的相机的中心点之间的距离。
Camera_to_object_distance字段是8比特字段,其表示在基于多视图相机布置的中心所形成的图像的图像平面和所记录(拍摄)的对象之间的距离。在线性收敛类型相机布置或线性平行类型相机布置的情况下,该字段指示在与形成了多相机布置的中央相机相对应的图像的图像平面和所记录的对象之间的距离。在圆形收敛类型相机布置中,所有相机以相同的距离与对象间隔开。
下面的字段对应于可以针对多视图图像服务的各个视图通过for-loop来提供的信息。
3D_view_ID字段对应于在3D视图单元中所提供的8比特字段,其代表使各个3D视图能在各个级别处被标识的唯一的标识符。
3D_view_priority字段对应于在3D视图单元中所提供的8比特字段,其代表各个视图的优先级。3D_view_priority字段可以在由多视图3D图像服务提供的视图的数目(num_3D_views)大于可以由接收设备显示的视图的数目时提供与在多个视图中按照较高的优先级显示哪个视图相关的信息。
left_PID字段对应于在3D视图单元中提供的13比特字段,其代表包括在对应的3D视图中的左视图图像的PID。
right_PID字段对应于在3D视图单元中提供的13比特字段,其代表包括在对应的3D视图中的右视图图像的PID。
left_cam_ID字段对应于在3D视图单元中提供的8比特字段,其代表在创建相对应的3D视图的处理期间获得与左视图图像相对应的基本流数据的相机的标识符(ID)。该值可以与针对对应于左视图图像的视频要素流的component_tag值相同。
right_cam_ID字段对应于在3D视图单元中提供的8比特字段,其代表在创建相对应的3D视图的处理期间获得与右视图图像相对应的基本流数据的相机的标识符(ID)。该值可以与针对对应于右视图图像的视频要素流的component_tag值相同。
left_cam_position字段对应于在3D视图单元中提供的8比特字段,其代表已获得了与左视图图像相对应的数据的相机的位置(或定位),并且还代表针对相机布置的中心点的距离或角度。
right_cam_position字段对应于在3D视图单元中提供的8比特字段,其代表已获得了与右视图图像相对应的数据的相机的位置(或定位),并且还代表针对相机布置的中心点的距离或角度。就此而言,负数(-)表示朝向中心点的左侧放置相机,并且正数(+)表示朝向中心点的右侧放置相机。如果根据各个camera_arrangement_type,相机布置对应于线性收敛类型和线性平行类型,则可以由距离值来表达距相对应的相机布置的中心的相对位置。如果相机布置对应于圆形收敛类型,则可以由距相机布置的中心的距离值来表达相对应的相机布置的相对位置。如上所述,当用于相机布置的相机的数目对应于奇数时,可以基于位于相机布置的正中心处的相机来表达right_cam_position字段。
min_disparity字段对应于在3D视图单元中提供的8比特字段,其代表各个3D视图的深度预算(深度范围)。更具体地说,该字段代表由相对应的3D视图提供的最小视差值。
max_disparity字段对应于在3D视图单元中提供的8比特字段,其代表各个3D视图的深度预算(深度范围)。更具体地说,该字段代表由相对应的3D视图提供的最大视差值。
图9例示了根据本发明的示例性实施方式的Multiview_service_descriptor。
Multiview_service_descriptor可以以信号通知在PMT的节目级别中的多视图3D图像节目的全部服务的公共特性。
Multiview_service_descriptor可以包括descriptor_tag字段、descriptor_length字段、num_3D_views字段、camera_arrangement_type字段、supported_angle_of_view_type字段、supported_angle_of_view字段和/或camera_to_object_distance字段。
各个字段的详细描述可以被上面提供的Multiview_descriptor的描述替代。
图10例示了根据本发明的示例性实施方式的Multiview_element_descriptor。
Multiview_element_descriptor包括与各个要素流的元数据相关的信息和/或与有关的视图的3D图像相关的信息,其各自被包括在PMT要素级别中的多视图3D图像节目中。
Multiview_element_descriptor可以包括descriptor_tag字段、descriptor_length字段、camera_ID字段、camera_position字段、number_3D_views字段、3D_view_ID字段、3D_view_priority字段、left_right_view字段、other_camera_ID字段、min_disparity字段和/或max_disparity字段。
camera_ID是8比特字段,其对应于对用于获得对应的要素流的数据的相机进行标识的标识符(ID)。camera_ID可以用作用于与节目/服务级别的left_cam_ID和right_cam_ID执行映射的字段。camera_ID可以被指定为与component_tag值相同的值。
camera_position是8比特字段,其代表用于获得相应的要素流的数据的相机的位置值。基于位于相机布置的正中心处的相机,负数(-)指示左边,并且正数(+)指示右边。如果相机沿周长设置,则由基于位于布置的正中心处的相机的相对角度值来指示camera_position,并且如果相机沿水平线设置,则由基于位于布置的中心处的相机的相对位置值指示camera_position。当相机的数目等于偶数时,参考点成为布置的相机的中心点。
number_3D_views是3比特字段,其指示包括在对应的要素流中的3D视图的数目。针对各个要素流,该字段可以给出不同的值。例如,当在图4(b)中示出的示例中camera_id等于1时,相机被包括在视图ID0和视图ID1的两个3D视图中。在该点处,number_3D_views的值等于2。
3D_view_ID对应于8比特字段,其指示相应的要素流所属于的3D视图的标识符。因而,可以知道对应的要素流被包括在哪个3D视图中。
3D_view_priority对应于8比特字段,其可以指示对应的要素流所属于的3D视图的优先级。如在图6中所描述的,当可以由接收设备显示的视图的数目是受限的时,该值可以用于确定以更高的优先级显示哪个视图。
left_right_view字段对应于1比特字段,其指示对应的要素流在对应的要素流所属于的当前的3D视图内是被包括在左视图图像中还是右视图图像中。当该字段的值等于“0”时,这指示要素流被包括在左视图图像中,并且当该字段的值等于“1”时,这指示要素流被包括在右视图图像中。
other_camera_ID字段对应于8比特字段,其指示这样的相机的标识符,即,该相机用于获得与当前要素流形成一对的要素流的数据以生成相应的视图。由于该值执行对另一要素流进行标识的作用,所以该值可以被替换为与PID或相机位置相对应的值。
min_disparity和max_disparity各自对应于8比特字段,其代表各个3D视图的深度预算(深度范围)。更具体地说,这些字段可以表示由各个3D视图提供的立体图像的最小视差和最大视差。当诸如OSD这样的图形要素通过使用这些值而输出到3D图像的各个视图时,可以参考该值以确定3D坐标。例如,通过解析特定的视图的min_disparity值,广播接收器可以确定设置,使得可以将小于该值的视差值应用至OSD显示,并且通过解析特定的视图的max_disparity值,广播接收器可以确定设置,使得可以将大于该值的视差值应用至OSD显示。根据本发明的另一示例性实施方式,当试图在针对各视图的3D图像中保持OSD的相同的显示深度时,针对各个视图的3D图像的min_disparity值被解析,并且在这些值中,比最小的min_disparity值更小的视差值可以被应用于OSD显示。另外,针对各个视图的3D图像的max_disparity值被解析,并且在这些值中,比最大的max_disparity值更大的视差值可以被应用于OSD显示。
图11例示了根据本发明的示例性实施方式的Multiview_subtitle_descriptor。
根据本发明的示例性实施方式的Multiview_subtitle_descriptor可以被包括在PMT、VCT和/或SDT中,并且可以用于针对在节目级别或服务级别中的各个视图的3D图像的与字幕相关的信令信息。
Multiview_subtitle_descriptor可以包括descriptor_tag字段、descriptor_length字段、num_3D_views字段、3D_view_ID字段、3D_view_priority字段、multiview_subtitle_type字段、new_subtitle_stream_PID字段和/或new_subtitle_segment_type字段。
multiview_subtitle_type通知要应用于特定的视图的3D图像的字幕流的特性。例如,根据该字段的值,对应的字段可以被定义为具有以下意义。但是,本发明将不仅限于此。
当multiview_subtitle_type被设置为“000”时,传统字幕被重新使用,或者使用与应用于2D图像的字幕流相同的数据。例如,可以使用与相同的页、区域有关的字幕数据。而且,可以直接使用视差信息,视差信息被应用至3D图像,与具有最高优先级的视图(例如,3D_view_priority值为0的视图的3D图像)相对应。
当multiview_subtitle_type被设置为“001”时,这可以指示可以使用附加的字幕。例如,可以直接使用基本上在2D图像中使用的字幕位图数据以及应用了针对与3D_view_priority=0(立体)相对应的视图的3D图像的字幕的视差(或深度)。但是,可以另外地应用与包括在PES分组中的字幕有关的数据段,其中,PES分组具有new_subtitle_stream_PID值和/或new_subtitle_segment_type。例如,这指示可以使用针对新的区域/添加的区域的字幕数据以及针对添加的对象的字幕数据。
当multiview_subtitle_type被设置为“010”时,这可以指示视差数据将被针对各个视图的3D图像所提供的字幕数据替代。例如,这可以指示可以直接使用在2D图像中所使用的字幕位图数据。但是,这还指示这里应用了除了针对另一视图的3D图像的深度以外的深度。这时,可以应用被包括在PES分组中的深度数据,其中,PES分组具有new_subtitle_stream_PID值和/或new_subtitle_segment_type。
当multiview_subtitle_type被设置为“011”时,这可以指示应该替换与字幕有关的全部数据。例如,从常规的字幕位图开始并一直到视差数据的全部数据可以被新的数据替代。
new_subtitle_stream_PID指定应用至针对特定的视图的3D图像的字幕流的PID(分组标识符)值。可以以PES段的形式传输诸如页、区域、对象等这样的构成了字幕的信息,并且可以指定针对相应的信息的唯一的PID值。因此,通过使用该字段,可以以信号通知应用至对应的视图的3D图像的特定的字幕流。
new_subtitle_segment_type对应于可以对被应用至针对特定的视图的3D图像的字幕段进行标识的标识符。当在特定的视图的3D图像中添加或替换字幕时,segment_type可以被替换为具有与该字段相同的值的字幕段。
可以被包括在Multiview_subtitle_descriptor中的其它字段的描述可以被替换为对具有相同字段名称的上述字段的描述。
可以如下面所描述的执行用于对与多视图3D广播接收器的各个视图有关的多视图3D广播图像和字幕进行解码的过程。
接收器执行对2D字幕的解码。接收器解析针对各个视图的3D图像的multiview_subtitle_type字段。
当multiview_subtitle_type等于“000”时,接收器可以向对应的3D图像应用PID值为0x1A00的字幕流。
当multiview_subtitle_type等于“001”时,在具有在new_subtitle_stream_PID中所指示的PID值的流中,连同PID值为0x1A00的字幕流,添加与new_subtitle_segment_type值相对应的字幕数据。
当multiview_subtitle_type等于“010”时,在PID值为0x1A00的字幕段中,仅有指示了视差值的段被替换为在new_subtitle_stream_PID的new_subtitle_segment_type中所指示的数据。
当multiview_subtitle_type等于“011”时,常规的字幕流被忽视,并且具有在new_subtitle_stream_PID和new_subtitle_segment_type中所指示的PID值的流作为字幕数据被应用。
接收器将3D图像连同如上所述被处理的字幕数据格式化,并输出经格式化的数据。在该处理期间,可以使用与字幕有关的上述信息。
图12例示了根据本发明的示例性实施方式的Multiview_caption_descriptor。
根据本发明的示例性实施方式的Multiview_caption_descriptor可以被包括在PMT、VCT和/或SDT中,并且可以执行这样的功能:在节目级别或服务级别中以信号通知与针对各个视图的3D图像的字幕有关的信息。
Multiview_caption_descriptor可以包括descriptor_tag字段、descriptor_length字段、num_3D_views字段、3D_view_ID字段、3D_view_priority字段和/或caption_service_number字段。
caption_service_number通知3D标题的service_number值,该3D标题被应用至针对特定的视图的3D图像。接收器将与匹配于该字段的service_number相对应的标题数据应用至相对应的视图的3D图像。
在Multiview_caption_descriptor中,当没有针对特定的3D_view_ID指示caption_service_number时,接收器可以默认地在对应的视图的3D图像上使用被应用至3D_view_priority值为0的3D视图的caption_service_number。
可以被包括在Multiview_caption_descriptor中的其它字段的描述可以被替换为具有相同的字段名称的上述字段的描述。
图13例示了根据本发明的一种示例性实施方式的在单用户模式中的OSD显示控制。
图13中所示出的OSD显示控制可以应用于根据用户的位置(或定位)提供不同视图的3D图像的情况。
图13中所示出的OSD显示控制示出了当OSD的显示与用户的位置无关地维持预定的深度的情况。
接收器解析针对各视图的3D图像的min_disparity值。在min_disparity值中,接收器选择具有最小视差值的min_disparity,并使用所选择的值作为针对OSD显示的视差值。根据本发明的另一示例性实施方式,如所使用的,可以创建在上述视差值中小于最小视差值的针对OSD显示的视差值。如上所述所确定的用于显示OSD的视差值可以共同地应用于各个视图的3D图像,使得即使当用户改变他(或她)的位置(或定位)时OSD深度也可以设置为保持不变。
例如,如图所示,第一视图(3D视图ID=0)的3D图像、第二视图(3D视图ID=1)的3D图像和第三视图(3D视图ID=2)的3D图像各自的深度范围彼此不同,因为由第一视图(3D视图ID=0)的3D图像的深度范围所指示的min_disparity值是最小值(包括被显示为似乎最接近用户的3D效果的视图的3D图像),基于第一视图(3D视图ID=0)的3D图像的min_disparity值来确定OSD的视差值,并且通过使用该值可以显示OSD。
图14例示了根据本发明的另一示例性实施方式的在单用户模式中的OSD显示控制。
图14中所示出的OSD显示控制可以应用于与用户的位置(或定位)无关地提供针对同一视图的3D图像的情况。
该情况可以发生在当基于用户设置来选择多视图3D图像的显示以对应于固定的视图模式时。更具体地说,这对应于当与用户的位置(或定位)无关地显示同一视图的3D图像时的情况。在该情况下,根据相应的视图的min_disparity值,可以针对OSD的显示设置小于参考值的视差值。
例如,如图所示,与观看者的位置无关地显示第二视图(3D视图ID=1)的3D图像。因此,通过应用第二视图的3D图像的min_disparity值,可以将OSD连同第二视图的3D图像一起输出。
图15例示了根据本发明的示例性实施方式的在单用户模式下的字幕/标题显示控制。
图15中示出的字幕/标题显示控制可以应用于根据用户的位置(或定位)提供另一视图的3D图像的情况。
在单用户模式中,字幕/标题的显示深度最好是恒定的,与用户的位置无关。但是,针对特定的视图的3D图像,不可避免地会出现当应该显示具有与另一视图的3D图像的深度不同的深度的字幕/标题时的情形。在该情况下,多视图字幕描述符和/或多视图标题描述符也可以以信号通知针对特定的视图的字幕/标题应该具有与另一视图的3D图像的深度不同的深度。
接收器输出特定的视图的3D图像,该特定的视图的3D图像被设置为根据用户的位置示出(或显示),并且可以应用针对各个视图的3D图像不同地限定的字幕/标题深度。字幕/标题应用制造者针对相应的点所期望的深度。这时,可以应用针对各个视图的3D图像所提供的多视图字幕描述符或多视图标题描述符的信息,以显示字幕/标题。
例如,如图所示,尽管第一视图(3D视图ID=0)的3D图像和第二视图(3D视图ID=1)的3D图像各自具有不同的深度范围,但制造者想要应用相同的字幕/标题。因此,可以完全相同地应用针对两个视图的字幕/标题视差(深度)值。然而,相反地,由于第三视图的3D图像对应于当期望以不同的深度显示字幕/标题时的情况,所以可以应用针对相应的视图的3D图像的字幕/标题视差(深度)值。
图16例示了根据本发明的示例性实施方式的在多用户模式中的OSD显示控制。
在图16中所示出的OSD显示控制中,由于各个观看者通过应用针对各个视图的OSD显示深度来观看不同的视图的3D图像,所以可以向各个观看者提供正在从不同的深度输出的OSD。
在多用户模式的情况下,由于针对各个观看者需要单独的OSD控制,所以OSD深度可以根据由各个观看者观看的各3D图像的特性而变化。
接收器解析针对各个视图的3D图像的min_disparity值,使得能够对各个视图的3D图像的OSD显示应用比解析的min_disparity值更小的视差值。
图17例示了根据本发明的示例性实施方式的在多用户模式中的字幕/标题显示控制。
由于各个观看者正在观看不同的视图的3D图像,所以图17中示出的字幕/标题显示控制可以针对各个视图应用字幕/标题显示深度,以允许向各个观看者提供从不同的深度输出的字幕/标题。
在多用户模式的情况下,由于针对各个观看者需要单独的字幕/标题控制,所以字幕/标题深度可以根据由各个观看者观看的各3D图像的特性而变化。
接收器应用与字幕/标题相关的信息,该信息被包括在针对各个视图的3D图像的多视图字幕描述符或多视图标题描述符中。
例如,如图所示,这对应于这样的情况:当属于第一视图(3D视图ID=0)的3D图像的字幕/标题的视差值被设置为与属于第二视图(3D视图ID=1)的3D图像的字幕/标题的视差值不同,从而被传递至相应的描述符时。尽管第三视图的3D图像的深度范围不同于第二视图的3D图像的深度范围,但由于字幕/标题的视差值被同样地应用并因此以信号进行通知,所以从相同的深度向用户显示并提供字幕/标题。
图18例示了根据本发明的示例性实施方式的多视图3D图像接收器。
根据本发明的示例性实施方式的广播信号接收设备可以包括调谐器和解调器(18010)、解复用器(18020)、信令数据处理器(18030)、多视图信息处理器(18040)、多个视频解码器(18050、18052、18054)、多个选择器(18060、18062、18064)、针对多视图的3D视频渲染单元(18070、18072、18074)、字幕/标题处理单元(18080)、OSD处理单元(18090)、多个最小视差提取单元(18100、18102、18104)、多个OSD视差计算单元(18110、18112、18114)、多个数据组合单元(18120、18122、18124)、多个格式化器(18130、18132、18134)和/或多视图输出控制单元(18140)。
调谐器和解调器(18010)可以调谐接收到的广播信号,并在执行对调谐的广播信号的解调后,调谐器和解调器(18010)可以向解复用器(18020)输出解调的广播信号。在该情况下,调谐器(18010)可以执行残留边带(VSB)解调或正交频分复用(OFDM)解调。
解复用器(18020)可以从信令数据提取视频流PID,并可以基于通过用户接口(UI)选择的针对3D视图的PID通过使用对应的视频流PID从解码的广播信号中提取视频流或元数据分量,由此将所提取的信息输出到多个视频解码器(18050、18052、18054)。这时,可以将基本视频分量输入到基本视频解码器(18050),并且多视图视频分量或元数据分量可以输入到第二视频解码器(18052、18054)。
信令数据处理器(18030)可以从由解复用器(18020)输出的信号解析信令数据,并可以接着输出经解析的信令数据。在该情况下,信令数据可以包括PSI、PSIP、DVD-SI等。可以将信令数据的一部分输入到视频解码器(18050、18052、18054)并使用,并且可以将信令数据的另一部分输入到多视图信息处理器(18040)并使用。此时,信令数据可以包括与通过用户接口(32090)选择的3D视图相关的信息。
在从信令数据处理器(18030)输入的信令数据中,多视图信息处理器(18040)解析与针对通过用户接口(32090)所选择的视图的多视图3D图像服务相关的信息。这样解析的信息被输入到视频解码器(18050、18052、18054)或选择器(18060、18062、18064),由此被用作用于生成多视图3D图像服务的信息。多视图信息处理器(18040)可以执行对与多视图3D图像相关的针对字幕、标题和/或OSD的上述描述符或信令信息进行解析的功能。
多个视频解码器(18050、18052、18054)对从解复用器(18020)输入的分量进行解码。这时,基本视频解码器可以对基本视频分量进行解码,并且第二视频解码器(18052、18054)可以对多视图视频分量或元数据分量进行解码。当执行解码时,多个视频解码器(18050、18052、18054)可以使用从信令处理器(18030)或多视图信息处理器(18040)输入的信息。
在从多个视频解码器(18050、18052、18054)输出的多个图像信号中,多个选择器(18060、18062、18064)可以针对各个视图选择与左视图图像和右视图图像相对应的两个视频信号。更具体地说,这对应于将接收信号的3D视图映射到接收设备的视图的操作。这时,针对各视图与左视图图像和右视图图像相对应的两个视频信号的选择可以基于由用户接口(32090)所选择的3D视图来进行选择。另外,可以使用从多视图信息处理器(18040)输出的多视图3D图像服务的信息。
针对多视图的3D视频渲染单元(18070、18072、18074)各自执行对针对多个视图的多组视频数据进行渲染的功能。
字幕/标题处理单元(18080)处理与字幕/标题相关的信息。例如,字幕/标题处理单元(18080)提取针对各个视图的字幕/标题的视差,并且将所提取的信息传递给后面的处理框,使得所提取的信息可以与相应视图的3D图像相组合。
OSD处理单元(18090)处理与OSD相关的信息。例如,OSD处理单元(18090)提取针对各个视图的max_disparity值和/或min_disparity值,由此将所提取的值传递给后面的处理框。
多个最小视差提取单元(18100、18102、18104)提取各个视图的min_disparity值。
多个字幕/标题视差提取单元(18110、18112、18114)提取针对各个视图的字幕/标题的视差值。
多个数据组合单元(18120、18122、18124)各自执行将min_disparity值和字幕/标题的视差值进行组合的功能,其中,min_disparity值针对与各个视图和OSD有关的3D视频的显示而提取,字幕/标题的视差值针对字幕/标题显示而提取。
多个格式化器(18130、18132、18134)使用min_disparity值并且使用字幕/标题的视差值以执行对针对各个视图的3D图像进行格式化的功能,其中,min_disparity值针对与各个视图和OSD有关的3D视频的显示而提取,字幕/标题的视差值针对字幕/标题显示而提取。
多视图输出控制单元(18140)控制针对各个视图的格式化的3D图像,以执行将格式化的3D图像显示为多视图图像的功能。
图19例示了根据本发明的示例性实施方式的示出了针对多个视图的用于接收3D广播图像的方法的流程图。
根据本发明的示例性实施方式的3D广播接收器接收广播信号,广播信号包括针对多个视图的3D广播图像以及用于以信号传送3D广播图像的信令数据(s19010)。
3D广播接收器根据用于以信号传送针对多视图的字幕数据的多视图字幕描述符来解析对特定的视图的3D广播图像进行标识的3D广播图像视图信息,其中,3D广播图像视图信息被包括在信令数据中,解析多视图字幕流分组标识符信息,多视图字幕流分组标识符信息指定了对针对特定视图的3D广播图像的字幕数据进行发送的广播流的分组标识符,其中,3D广播图像被3D广播图像视图信息所标识,并解析对发送针对特定视图的3D广播图像的字幕数据的段进行标识的多视图字幕段标识符信息,其中,字幕数据被包括在被多视图字幕流分组标识符所标识的广播流中(s19020)。
3D广播接收器将由多视图字幕段标识符信息标识的段的字幕数据应用于特定视图的3D广播图像,特定视图的3D广播图像具有与3D广播图像视图信息相同的值(s19030)。
3D广播接收器输出针对多视图的3D广播图像,其中,3D广播图像包括应用了字幕数据的特定的视图的3D广播图像(s19040)。
根据本发明,可以与观看者的观看位置或观看环境无关地提供最佳地适合3D内容制造者(或设计者)的意图的3D图像。
另外,根据本发明,连同3D图像一起显示的OSD、字幕和/或标题不造成3D图像的失真。
而且,根据本发明,通过使用PSI、PSIP和/或DVB SI系统,可以发送与针对3D广播服务而另外地发送的视频数据有关的信令以及与相应的数据相关的信息。
此外,通过针对附加的数据(辅视频)以信号传送分辨率信息、编解码器信息、当执行调整大小时与所推荐的滤波技术相关的信息等,本文提供了可以允许接收器提供更高质量的3D服务的方法。
根据本发明的方法发明可以实现为可以全部由多种计算机装置执行的程序命令格式,从而被记录(或写入)计算机可读介质中。计算机可读介质可以包括单独的或组合的程序命令、数据文件、数据结构等。在介质中写入的程序命令可以针对本发明特别地设计和配置,或者可以对计算机软件领域中的任何技术人员公开,以进行使用。计算机可读介质的示例可以包括:诸如硬盘、软盘和磁带这样的磁性介质;诸如CD-ROM和DVD这样的光学介质;诸如软光盘这样的磁光介质;以及诸如ROM、RAM和闪存这样的特别设计为存储并执行程序命令的硬件。程序命令的示例可以包括由编译器创建的机器语言代码以及可以通过使用解释器来执行的高级语言代码。上述硬件设备可以被配置为作为用于执行本发明的操作的至少一个或更多个软件模块来进行操作,并且这样的配置还可以反转。
如上所述,尽管已经参照有限的实施方式和附图描述了本发明,但对本领域技术人员明显的是,在不偏离本发明的精神或范围的情况下可以对本发明做出各种修改和变形。因而,本发明旨在覆盖落入所附权利要求及其等同物的范围内的本发明的修改和变型。
用于实现本发明的方式
已经详细地描述了用于实现本发明的最佳方式。
工业适用性
如上所述,本发明可以应用于接收并处理多视图3D广播图像服务的系统。
Claims (12)
1.一种3D广播接收器,该3D广播接收器包括:
调谐器,所述调谐器接收广播信号,其中,所述广播信号包括分别针对多个视图的3D广播图像,并且其中,所述广播信号包括用于以信号传送所述3D广播图像的信令数据;
信令数据处理单元,所述信令数据处理单元:根据用于以信号传送分别针对多个视图的字幕数据的多视图字幕描述符来解析对特定的视图的3D广播图像进行标识的3D广播图像视图信息,所述3D广播图像视图信息被包括在所述信令数据中;解析多视图字幕流分组标识符信息,所述多视图字幕流分组标识符信息指定了对针对特定视图的所述3D广播图像的字幕数据进行发送的广播流的分组标识符,所述3D广播图像被所述3D广播图像视图信息所标识;并解析多视图字幕段标识符信息,该多视图字幕段标识符信息对发送针对特定视图的3D广播图像的字幕数据的段进行标识,所述字幕数据被包括在被所述多视图字幕流分组标识符所标识的广播流中;
3D广播信息处理单元,所述3D广播信息处理单元将由所述多视图字幕段标识符信息所标识的段的字幕数据应用至具有与所述3D广播图像视图信息相同的值的特定视图的3D广播图像;以及
3D图像格式化器,所述3D图像格式化器输出分别针对多个视图的3D广播图像,所述3D广播图像包括施加了所述字幕数据的特定视图的3D广播图像。
2.根据权利要求1所述的3D广播接收器,其中,所述信令数据处理单元解析多视图字幕属性信息,所述多视图字幕属性信息指示应用至特定视图的3D广播图像的字幕数据的特性,多视图字幕特性信息被包括在所述多视图字幕描述符中,并且
其中,所述多视图字幕特性信息对包括以下各项特性中的至少任何一个特性进行指示:
被添加到针对2D广播图像的字幕数据的被应用至所述3D广播图像的字幕数据的特性,由此被使用;对所述2D广播图像的一部分字幕数据进行替换的被应用至所述3D广播图像的字幕数据的特性,由此被使用;以及对所述2D广播图像的所述字幕数据进行替换的被应用至所述3D广播图像的字幕数据的特性,由此被使用。
3.根据权利要求1所述的3D广播接收器,其中,所述多视图字幕描述符被包括在节目映射表(PMT)、虚拟频道表(VCT)或服务描述表(SDT)中。
4.根据权利要求1所述的3D广播接收器,其中,所述信令数据处理单元解析最大视差信息和最小视差信息,所述最大视差信息指示分别针对各个视图的3D广播图像的最大视差值,所述最小视差信息指示分别针对各个视图的3D广播图像的最小视差值,所述最大视差信息和所述最小视差信息被包括在分别针对所述多个视图的所述3D广播图像中。
5.根据权利要求4所述的3D广播接收器,其中,所述3D广播信息处理单元计算用于在分别针对各个视图的所述3D广播图像中显示屏上显示OSD的OSD视差值。
6.根据权利要求5所述的3D广播接收器,其中,通过在视差值中选择对分别针对各个视图的所述3D广播图像的最小视差信息进行指示的最小视差值来计算所述OSD视差值。
7.一种用于处理多视图3D广播图像的方法,该方法包括:
接收广播信号的步骤,其中,所述广播信号包括分别针对多个视图的3D广播图像,并且其中,所述广播信号包括用于以信号传送所述3D广播图像的信令数据;
根据用于以信号传送分别针对多个视图的字幕数据的多视图字幕描述符来解析对特定的视图的3D广播图像进行标识的3D广播图像视图信息的步骤,所述3D广播图像视图信息被包括在所述信令数据中;解析多视图字幕流分组标识符信息,所述多视图字幕流分组标识符信息指定了对针对特定视图的所述3D广播图像的字幕数据进行发送的广播流的分组标识符,所述3D广播图像被所述3D广播图像视图信息所标识;并解析多视图字幕段标识符信息,该多视图字幕段标识符信息对发送针对特定视图的3D广播图像的字幕数据的段进行标识,所述字幕数据被包括在被所述多视图字幕流分组标识符所标识的广播流中;
将由所述多视图字幕段标识符信息所标识的段的字幕数据应用至具有与所述3D广播图像视图信息相同的值的特定视图的3D广播图像的步骤;以及
输出分别针对多个视图的3D广播图像的步骤,所述3D广播图像包括应用了所述字幕数据的特定视图的3D广播图像。
8.根据权利要求7所述的方法,该方法还包括:
解析多视图字幕属性信息的步骤,所述多视图字幕属性信息指示应用至特定视图的3D广播图像的字幕数据的特性,所述多视图字幕特性信息被包括在所述多视图字幕描述符中,并且
其中,所述多视图字幕特性信息对包括以下各项特性中的至少任何一个特性进行指示:被添加到针对2D广播图像的字幕数据的被应用至所述3D广播图像的字幕数据的特性,由此被使用;对所述2D广播图像的一部分字幕数据进行替换的被应用至所述3D广播图像的字幕数据的特性,由此被使用;以及对所述2D广播图像的所述字幕数据进行替换的被应用至所述3D广播图像的字幕数据的特性,由此被使用。
9.根据权利要求7所述的方法,其中,所述多视图字幕描述符被包括在节目映射表(PMT)、虚拟频道表(VCT)或服务描述表(SDT)中。
10.根据权利要求7所述的方法,该方法还包括:
解析最大视差信息和最小视差信息的步骤,所述最大视差信息指示分别针对各个视图的3D广播图像的最大视差值,所述最小视差信息指示分别针对各个视图的3D广播图像的最小视差值,所述最大视差信息和所述最小视差信息被包括在分别针对所述多个视图的所述3D广播图像中。
11.根据权利要求10所述的方法,该方法还包括:
计算用于在分别针对各个视图的所述3D广播图像中显示屏上显示OSD的OSD视差值的步骤。
12.根据权利要求11所述的方法,其中,通过在视差值中选择对分别针对各个视图的所述3D广播图像的最小视差信息进行指示的最小视差值来计算所述OSD视差值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510484426.3A CN105120370A (zh) | 2010-12-03 | 2011-12-02 | 3d广播接收器和用于接收3d广播信号的方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US41925610P | 2010-12-03 | 2010-12-03 | |
US61/419,256 | 2010-12-03 | ||
PCT/KR2011/009315 WO2012074328A2 (ko) | 2010-12-03 | 2011-12-02 | 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510484426.3A Division CN105120370A (zh) | 2010-12-03 | 2011-12-02 | 3d广播接收器和用于接收3d广播信号的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103339946A CN103339946A (zh) | 2013-10-02 |
CN103339946B true CN103339946B (zh) | 2015-10-07 |
Family
ID=46172427
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180066735.9A Expired - Fee Related CN103339946B (zh) | 2010-12-03 | 2011-12-02 | 用于接收多视图三维广播信号的接收设备和方法 |
CN201510484426.3A Pending CN105120370A (zh) | 2010-12-03 | 2011-12-02 | 3d广播接收器和用于接收3d广播信号的方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510484426.3A Pending CN105120370A (zh) | 2010-12-03 | 2011-12-02 | 3d广播接收器和用于接收3d广播信号的方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9712804B2 (zh) |
KR (1) | KR101899821B1 (zh) |
CN (2) | CN103339946B (zh) |
CA (1) | CA2819141C (zh) |
DE (1) | DE112011103739B4 (zh) |
GB (1) | GB2500330A (zh) |
WO (1) | WO2012074328A2 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130321572A1 (en) * | 2012-05-31 | 2013-12-05 | Cheng-Tsai Ho | Method and apparatus for referring to disparity range setting to separate at least a portion of 3d image data from auxiliary graphical data in disparity domain |
CA2881141C (en) * | 2012-08-10 | 2017-09-19 | Lg Electronics Inc. | Method and apparatus for transceiving image component for 3d image |
KR20140120000A (ko) * | 2013-04-01 | 2014-10-13 | 한국전자통신연구원 | 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법 |
US10009592B2 (en) | 2013-07-02 | 2018-06-26 | Lg Electronics Inc. | Method and apparatus for processing 3-dimensional image including additional object in system providing multi-view image |
US9930382B2 (en) | 2014-02-10 | 2018-03-27 | Lg Electronics Inc. | Method and apparatus for transmitting/receiving broadcast signal for 3-dimensional (3D) broadcast service |
WO2015167200A1 (ko) * | 2014-04-30 | 2015-11-05 | 엘지전자 주식회사 | 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법 |
KR102519209B1 (ko) * | 2015-06-17 | 2023-04-07 | 한국전자통신연구원 | 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법 |
US20170091896A1 (en) * | 2015-09-30 | 2017-03-30 | Samsung Display Co., Ltd. | Independent multi-source display device |
US11310532B2 (en) | 2017-02-24 | 2022-04-19 | Interdigital Vc Holdings, Inc. | Method and device for reconstructing image data from decoded image data |
JP7086587B2 (ja) * | 2017-02-24 | 2022-06-20 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 復号された画像データから画像データを再構成する方法および装置 |
CN106954095A (zh) * | 2017-04-17 | 2017-07-14 | 腾讯科技(深圳)有限公司 | 一种多媒体文件的播放方法及装置 |
WO2018230809A1 (ko) * | 2017-06-15 | 2018-12-20 | 엘지전자 주식회사 | 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6104425A (en) * | 1996-02-29 | 2000-08-15 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for transmitting television signals, method and apparatus for receiving television signals, and method and apparatus for transmitting/receiving television signals |
CN101902582A (zh) * | 2010-07-09 | 2010-12-01 | 清华大学 | 一种立体视频字幕添加方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7825987B2 (en) * | 2003-10-03 | 2010-11-02 | Canon Kabushiki Kaisha | Information processor, TV system, control method and program |
JP5213064B2 (ja) * | 2006-03-29 | 2013-06-19 | トムソン ライセンシング | マルチビュービデオ符号化方法及びその装置 |
MX2011002553A (es) * | 2008-09-18 | 2011-04-04 | Panasonic Corp | Dispositivo de reproduccion de video estereoscopico y dispositivo de presentacion visual de video estereoscopico. |
JP5577348B2 (ja) | 2008-12-01 | 2014-08-20 | アイマックス コーポレイション | 内容順応情報を有する3次元動画提示方法及びシステム |
US8947504B2 (en) * | 2009-01-28 | 2015-02-03 | Lg Electronics Inc. | Broadcast receiver and video data processing method thereof |
CN104333746B (zh) * | 2009-02-12 | 2017-04-12 | Lg电子株式会社 | 广播接收机及其3d字幕数据处理方法 |
WO2010095381A1 (ja) * | 2009-02-20 | 2010-08-26 | パナソニック株式会社 | 記録媒体、再生装置、集積回路 |
JPWO2010122775A1 (ja) * | 2009-04-21 | 2012-10-25 | パナソニック株式会社 | 映像処理装置及び映像処理方法 |
US8290338B2 (en) * | 2009-05-27 | 2012-10-16 | Panasonic Corporation | Recording medium, playback device, encoding device, integrated circuit, and playback output device |
EP2446636A1 (en) * | 2009-06-24 | 2012-05-02 | Dolby Laboratories Licensing Corporation | Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data |
JP2011216937A (ja) * | 2010-03-31 | 2011-10-27 | Hitachi Consumer Electronics Co Ltd | 立体画像表示装置 |
-
2011
- 2011-12-02 CN CN201180066735.9A patent/CN103339946B/zh not_active Expired - Fee Related
- 2011-12-02 CN CN201510484426.3A patent/CN105120370A/zh active Pending
- 2011-12-02 WO PCT/KR2011/009315 patent/WO2012074328A2/ko active Application Filing
- 2011-12-02 CA CA2819141A patent/CA2819141C/en not_active Expired - Fee Related
- 2011-12-02 GB GB1310173.8A patent/GB2500330A/en not_active Withdrawn
- 2011-12-02 US US13/990,648 patent/US9712804B2/en not_active Expired - Fee Related
- 2011-12-02 KR KR1020137013355A patent/KR101899821B1/ko active IP Right Grant
- 2011-12-02 DE DE112011103739.2T patent/DE112011103739B4/de not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6104425A (en) * | 1996-02-29 | 2000-08-15 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for transmitting television signals, method and apparatus for receiving television signals, and method and apparatus for transmitting/receiving television signals |
CN101902582A (zh) * | 2010-07-09 | 2010-12-01 | 清华大学 | 一种立体视频字幕添加方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105120370A (zh) | 2015-12-02 |
CN103339946A (zh) | 2013-10-02 |
CA2819141A1 (en) | 2012-06-07 |
CA2819141C (en) | 2017-06-20 |
US9712804B2 (en) | 2017-07-18 |
WO2012074328A3 (ko) | 2012-07-26 |
KR101899821B1 (ko) | 2018-11-02 |
DE112011103739B4 (de) | 2020-02-06 |
GB201310173D0 (en) | 2013-07-24 |
GB2500330A (en) | 2013-09-18 |
WO2012074328A2 (ko) | 2012-06-07 |
KR20130136478A (ko) | 2013-12-12 |
US20130250052A1 (en) | 2013-09-26 |
DE112011103739T5 (de) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103339946B (zh) | 用于接收多视图三维广播信号的接收设备和方法 | |
CN104506839B (zh) | 处理三维视频信号的方法和执行该方法的数字广播接收机 | |
KR100970649B1 (ko) | 수신 시스템 및 데이터 처리 방법 | |
CN102474638B (zh) | 组合3d视频与辅助数据 | |
KR101819736B1 (ko) | 3d 비디오 방송에서의 보조 데이터 | |
CN102388620B (zh) | 广播接收机和三维视频数据处理方法 | |
KR101329065B1 (ko) | 영상 시스템에서 영상 데이터 제공 장치 및 방법 | |
JP2013546220A (ja) | ディスプレイ装置および信号処理装置並びにその方法 | |
JP2011249945A (ja) | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 | |
CN103202025B (zh) | 用于接收数字广播信号的设备和方法 | |
JP2013066075A (ja) | 送信装置、送信方法および受信装置 | |
US10009592B2 (en) | Method and apparatus for processing 3-dimensional image including additional object in system providing multi-view image | |
RU2589870C2 (ru) | Передача данных 3d-изображения | |
TW201320712A (zh) | 送訊裝置、送訊方法及收訊裝置 | |
EP2600621A1 (en) | Transmission device, transmission method, and receiving device | |
CN104769943A (zh) | 在多视图3dtv服务中处理边缘违反现象的方法和装置 | |
CN103404153A (zh) | 发送装置、发送方法以及接收装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151007 Termination date: 20211202 |
|
CF01 | Termination of patent right due to non-payment of annual fee |