CN102224737B - 组合三维视频和辅助数据 - Google Patents

组合三维视频和辅助数据 Download PDF

Info

Publication number
CN102224737B
CN102224737B CN200980146875.XA CN200980146875A CN102224737B CN 102224737 B CN102224737 B CN 102224737B CN 200980146875 A CN200980146875 A CN 200980146875A CN 102224737 B CN102224737 B CN 102224737B
Authority
CN
China
Prior art keywords
3d
depth
beholder
vision signal
auxiliary
Prior art date
Application number
CN200980146875.XA
Other languages
English (en)
Other versions
CN102224737A (zh
Inventor
P·S·牛顿
F·斯卡洛里
Original Assignee
皇家飞利浦电子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP08169774 priority Critical
Priority to EP08169774.0 priority
Priority to EP09173467.3 priority
Priority to EP09173467A priority patent/EP2320667A1/en
Application filed by 皇家飞利浦电子股份有限公司 filed Critical 皇家飞利浦电子股份有限公司
Priority to PCT/IB2009/055208 priority patent/WO2010058368A1/en
Publication of CN102224737A publication Critical patent/CN102224737A/zh
Application granted granted Critical
Publication of CN102224737B publication Critical patent/CN102224737B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Abstract

一种三维(3D)视频信号(21)包括表示要为观看者的左眼显示的左图像的第一主数据流(22)以及表示要为观看者的右眼显示的右图像的第二主数据流,以用于呈现展示标称深度范围的3D视频数据。为了使得能够在标称深度范围中的一辅助深度处在3D视频数据上叠加辅助图像数据,在该信号中包括辅数据流(23)。在叠加期间,替代相应的主数据流,为一只眼睛显示该辅数据流,以用于呈现展示距观看者比辅助深度更远的修改后的深度范围的3D视频数据。

Description

组合三维视频和辅助数据

技术领域

[0001] 本发明涉及一种提供三维(3D)视频信号的方法,该方法包括:通过包括表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流,来生成3D视频信号,用于呈现(render)展现标称深度范围的3D视频数据。

[0002] 本发明还涉及一种用于处理3D视频信号的方法、3D源设备、3D处理设备、3D视频信号、记录载体以及计算机程序产品。

[0003] 本发明涉及在3D显示设备上结合诸如字幕、徽标或另外的3D图像数据之类的辅助数据来呈现3D视频数据的领域。

背景技术

[0004] 用于生成2D视频数据的设备是已知的,例如,视频服务器、广播装置、或制作设备。当前正在提出用于提供三维(3D)视频数据的3D增强的设备。类似地,正在提出用于呈现3D视频数据的3D处理设备,如光盘(例如,蓝光盘,BD)的播放器、或机顶盒,其呈现所接收的数字视频信号。该处理设备耦接到像电视机或监视器那样的显示设备。视频数据可以经由适当的接口(优选地,高速数字接口,如HDMI)被传送到3D显示器。3D显示器还可以与3D处理设备(例如,具有接收部分和存储部分的电视(TV))集成。

[0005] 对于3D内容,诸如3D电影或TV广播,可以与图像数据组合地显示附加的辅助数据,例如字幕、徽标、比赛比分、针对财经新闻或其它通告或新闻的行情显示(tickertape)ο

[0006] 文档W02008/115222描述了一种用于将文本与3D内容组合的系统。该系统与在3D内容中最接近的深度值相同的级别上插入文本。3D内容的一个实例是二维图像和相关联的深度图。在此情况下,调整所插入的文本的深度值以匹配给定深度图的最接近的深度值。3D内容的另一实例是多个二维图像和相关联的深度图。在此情况下,连续地调整所插入的文本的深度值以匹配给定深度图的最接近的深度值。3D内容的又一实例是具有右眼视图和左眼视图的立体视觉内容。在此情况下,移动左眼视图和右眼视图之一中的文本以匹配立体视觉图像中最接近的视差值。结果,该系统产生了与3D内容组合的文本,其中该文本不防碍3D内容中的3D效果。

发明内容

[0007] 文档W02008/115222描述了在图像数据的最靠近部分的前面显示辅助图形数据。当辅助数据需要与具有大深度范围的3D视频数据组合时,会出现问题。将辅助图像数据定位于在深度范围中所选择的辅助深度处将导致冲突或伪像,同时接近观看者定位辅助图像数据可能是不舒服的或者可能引起观看者的视觉疲劳。

[0008] 本发明的目的是提供一种以更便利的方式组合辅助数据和3D视频内容的系统。

[0009] 为此目的,根据本发明的第一方面,如在开头段落中描述的方法包括:为了使得能够在标称深度范围中的辅助深度处在3D视频数据上叠加辅助图像数据,包括要为一只眼睛显示的、替代相应的主数据流的辅数据流,以用于呈现展示距观看者比辅助深度更远的修改后的深度范围的3D视频数据。

[0010] 为此目的,根据本发明的第二方面,一种处理3D视频信号的方法包括:从3D视频信号中取回表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流,以用于呈现展示标称深度范围的3D视频;从30视频信号中取回要为一只眼睛显示的、替代相应的主数据流的辅数据流,以用于呈现展示距观看者比辅助深度更远的修改后的深度范围的3D视频;提供辅助数据,并基于辅数据流在比辅助深度更接近观看者的深度处在3D视频数据上叠加辅助图像数据。

[0011] 为此目的,根据本发明的又一方面,一种用于提供3D视频信号的3D源设备,包括处理装置(means),该处理装置用于通过以下来生成3D视频信号:包括表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流,以用于呈现展示标称深度范围的3D视频数据;为了使得能够在标称深度范围中的辅助深度处在3D视频数据上叠加辅助图像数据,包括要为一只眼睛显示的、替代相应的主数据流的辅数据流,以用于呈现展示距观看者比辅助深度更远的修改后的深度范围的3D视频数据。

[0012] 为此目的,根据本发明的再一方面,一种用于接收3D视频信号的3D处理设备,包括:接收装置,用于接收3D视频信号;以及处理装置,用于从3D视频信号中取回表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流,以用于呈现展示标称深度范围的3D视频;从30视频信号中取回要为一只眼睛显示的、替代相应的主数据流的辅数据流,以用于呈现展示距观看者比辅助深度更远的修改后的深度范围的3D视频;提供辅助数据;并且基于该辅数据流在比辅助深度更接近观看者的深度处在3D视频数据上叠加辅助图像数据。

[0013] 为此目的,根据本发明的再一方面,一种3D视频信号,包括表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流,以用于呈现展示标称深度范围的3D视频数据;并且为了使得能够在标称深度范围中的辅助深度处在3D视频数据上叠加辅助图像数据,包括要为一只眼睛显示的、替代相应的主数据流的辅数据流,以用于呈现展示距观看者比辅助深度更远的修改后的深度范围的3D视频数据。

[0014] 为此目的,根据本发明的其它方面,一种记录载体承载上述3D视频信号、以及计算机程序,当所述计算机程序在处理器上运行时执行上述方法的相应步骤。

[0015] 所述手段具有以下效果:辅助图像数据被感知为在被向后移动的背景视频的前面。为了使得能够在合适的深度处叠加辅助图像数据,使得所选择的深度范围在辅助深度处自由开始并且延伸为更接近观看者。修改通常使用所选择的深度范围的3D视频数据以便距观看者比辅助深度更远。至此,生成辅流,在3D视频信号中包括该辅流、并且从3D视频信号中取回该辅流,并且替代主流显示该辅流。该辅流包括相同的3D视频,但是处于减少的或移动的深度范围。替代相应的主数据流为一只眼睛显示的辅流可以与用于另一只眼睛的其它主流一起被显示。替代地,可以包括两个辅流以代替两个主流。有利地,在叠加辅助数据期间,对于相同的3D视频内容,观看者现在感知到修改的深度范围。具体地,避免了任何接近的视频数据遮挡辅助数据、以及在辅助数据边界处的干扰效应。在辅助数据被定位为比一较近的对象更远但仍将被显示时,将出现这样的干扰效应。

[0016] 另一优点是不要求该辅助数据在源设备处可用而是可以在处理设备处被动态地提供,该处理设备通过在适当深度处(即,在所述辅助深度处或在所述辅助深度之前)定位辅助数据同时选择辅流进行显示来生成组合的3D视频信号。

[0017] 在实施例中,该方法包括:提供3D视频信号的时间片段(time segments),使得能够进行辅助图像数据的所述叠加;以及仅在所述时间片段期间包括所述辅数据流。为了示出动态辅助数据(如,菜单)或所生成的辅助图形对象(如,游戏角色),可以基于所述时间片段来选择3D视频数据的合适部分。有利地,该系统允许3D视频的作者设置所述时间片段并且由此选择性地允许在呈现设备处叠加任何辅助数据。

[0018] 在实施例中,该方法包括:在3D视频信号中包括以下至少一项:

[0019]-指示所述辅流的出现的叠加标志;

[0020]-控制数据,用于控制辅助图像数据的叠加以及在叠加期间呈现所述辅流;

[0021]-指示所述辅助深度的深度指示符。

[0022] 有利地,所述叠加标志指示所述辅流对接收3D设备的可用性。这样的设备现在可以叠加辅助图像数据,例如,叠加可以被延迟直到出现所述流为止、或者在辅流结束时被暂停。

[0023] 有利地,所述控制数据直接控制所述叠加,并且在叠加的同时显示所述辅流。因此,使得3D视频信号的创作者或发送者能够控制所述叠加和所述修改后的深度背景视频。

[0024] 有利地,所述深度指示符指示高达特定深度值的深度范围将是自由用于叠加的,这是因为所述辅流的效果是:通过向后移动(离开观看者)适配了 3D视频。因此,使得深度范围对于沿深度方向在经移动的三维视频的前面定位所述辅助数据是自由的。由于深度指示符具体地指示辅助深度,3D视频的作者控制实际的叠加。

[0025] 在实施例中,所述辅流依赖于对应的主数据流和其它主流中的至少一个被编码。

[0026] 有利地,降低了必须经由3D视频信号传送的编码数据的量。附加的辅流与对应的主流具有高度对应性,这是由于只有接近的对象需要被向后移动。而且,其它主流的信息可以被用于依赖性地编码所述辅流。

[0027] 在所附权利要求中给出了根据本发明的方法、3D设备和信号的另外的优选实施例,通过引用将所附权利要求的公开并入于此。

附图说明

[0028] 本发明的这些和其它方面将根据以示例方式在以下的描述中描述的实施例以及附图而清楚明白,并且将参考以示例方式在以下的描述中描述的实施例以及附图被进一步阐明,在附图中:

[0029] 图1示出了用于显示3D图像数据的系统,

[0030] 图2示出了包括辅视频数据流的3D视频信号,

[0031] 图3示出了包括3D叠加标志的数据结构,以及

[0032] 图4示出了对播放项目的附加条目。

[0033] 在附图中,与已经描述的元素对应的元素具有相同的参考标号。

具体实施方式

[0034] 图1示出了用于显示三维(3D)图像数据(诸如,视频、图形或其它视觉信息)的系统。3D源设备40向3D处理设备50传送3D视频信号41,3D处理设备50耦接到用于传送3D显示信号56的3D显示设备60。3D处理设备具有用于接收3D视频信号的输入单元51。例如,该设备可以包括光盘单元58,光盘单元58耦接到该输入单元,用于从光学记录载体54 (如,DVD或蓝光盘)取回3D视频信息。替代地,该设备可以包括用于耦接到网络45 (例如,互联网或广播网络)的网络接口单元59,这样的处理设备通常被称为机顶盒。可以从远程媒体服务器(例如,源设备40)取回3D视频信号。该处理设备还可以是卫星接收机或媒体播放器。

[0035] 3D源设备具有用于在3D视频数据30中进行处理的处理单元42。3D视频数据可以从存储装置、从3D照相机等得到。通过处理器42如下地生成3D视频信号41。在3D视频信号中包括表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流。主数据流通常用于呈现展示标称深度范围的3D视频数据。另外,如下地使得能够在标称深度范围中的辅助深度处在3D视频数据上叠加辅助图像数据。生成并且还在3D视频信号中包括要为一只眼睛显示的、替代相应的主数据流的辅数据流,以用于呈现展示距观看者比辅助深度更远的修改后的深度范围的3D视频数据。

[0036] 通过修改3D视频数据中对象的深度来生成辅流,例如,通过修改视差、通过处理来自不同照相机的3D源素材、或者通过基于具有深度图的源素材来生成附加的流数据。同样,已知生成用于具有所要求的深度范围的立体视觉显示的数据流。

[0037] 在对于一只眼睛进行叠加期间,安排显示该辅流替代相应的主数据流,同时对于另一只眼睛显示其它主流。例如,结合来自辅流的右图像显示原始的左图像。替代地,可以生成并在3D视频信号中包括两个辅流。

[0038] 3D源设备可以是服务器、广播装置、记录设备、或者用于制造记录载体(如,蓝光盘)的制作和/或生产系统。蓝光盘支持用于内容创作者的交互式平台。其支持两层图形叠加以及两组可编程环境,以供作者从中选择。对于3D立体视觉视频,存在许多格式。从蓝光盘协会的网站,例如在 http://www.blu-raydisc.com/Assets/DownloadabIefiIe/2b_bdrom_aud1visualappIicat1n_0305-l2955-15269.pdf 可得到的关于视听应用格式的论文中可以得到更多关于蓝光盘格式的信息。可以包括辅助数据,以便在各个再现阶段处(例如,在播放器中或者在3D显示器中)添加。光学记录载体的生产过程还包括以下步骤:导出轨道中标记的物理图案,其体现包括主数据流和辅数据流的3D视频信号;以及随后对记录载体材料进行塑形以在至少一个存储层上提供标记的轨道。

[0039] 3D处理设备具有耦接到输入单元51的处理单元52,其用于处理3D信息来生成要经由输出接口单元55传送到显示设备的3D显示信号56,例如依照HDMI标准的显示信号,参见在 http: //hdm1.0rg/manufacturer/specificat1n, aspx 处可得至Il白勺“High Definit1nMultimedia Interface; Specificat1n Vers1n 1.3a of Nov 10 2006”。处理单兀 52 被布置来生成在3D显示信号56中包括的图像数据以供在显示设备60上显示。

[0040] 接收单元51、58、59接收3D视频信号。3D视频信号包括包含如上面定义的主数据流和辅数据流的3D视频数据。处理器52被布置来从3D视频信号中取回表示左图像的第一主数据流和表示右图像的第二主数据流、以及辅数据流,如上面与3D源设备一起描述的。处理器被布置来生成不具有辅助数据的常用显示信号、以及3D视频的显示信号,同时通过显示用于一只眼睛的、替代相应的主数据流的辅数据流来叠加辅助数据,以用于呈现展示修改后的深度范围的3D视频。修改后的深度范围比辅助深度距观看者更远。

[0041] 处理设备具有辅助处理单元53,其用于提供在3D显示器上要与3D视频数据组合的辅助数据。辅助数据可以是要在本地(即,在处理设备中)与3D视频内容组合的任何附加图形图像数据,诸如,字幕、广播方的徽标、菜单或系统消息、错误代码、新闻快讯、行情显示、另一 3D流(如,实况报道)等。辅助数据可以被包括在3D视频信号中,或者可以经由分离的通道来提供,或者可以在本地生成。在下面的文本中,通常字幕将被用作对每种类型的辅助数据的指示。

[0042] 最后,处理器52将辅助数据和相应的第一数据流与第二数据流组合,以用于在比辅助深度更接近观看者的深度处将辅助图像数据叠加在3D视频数据上。同样,将3D视频流和辅助数据组合是已知的,例如从所述W02008/115222中已知。

[0043] 3D显示设备60用于显示3D图像数据。该设备具有用于接收从处理设备50传送而来的3D视频信号56的输入接口单元61,所述3D显示信号56包括3D视频数据和辅助数据。所传送的3D视频数据在处理单元62中被处理以便在3D显示器63(例如,双IXD或双凸透镜IXD)上显示。显示设备60可以是任何类型的立体视觉显示器,也被称为3D显示器,并且具有由箭头64指示的显示深度范围。

[0044] 替代地,在显示设备的实施例中执行用于提供和定位辅助数据的处理。经由显示信号56传送3D视频数据、以及可选的辅助数据。辅助数据(例如,菜单)也可以在本地在显示设备中生成。处理单元62现在执行将辅助数据与3D视频数据组合在3D显示器上的功能。处理单元62可以被布置用于处理设备的如上所述的对应功能。在另一实施例中,处理设备和显示设备被集成在单个设备中,其中单组处理装置执行所述功能。

[0045] 图1还示出了记录载体54作为3D视频信号的载体。该记录载体是盘形的,并且具有轨道和中央孔。由一系列物理上可检测的标记构成的轨道依据在信息层上构成基本平行的轨道的螺旋图案或同心圆图案的圈而被布置。该记录载体可以是光学可读的,称为光盘,例如⑶、DVD或BD (蓝光盘)。由沿着轨道的光学可检测的标记(例如,凹坑和平台)在信息层上表示信息。轨道结构还包括用于指示信息单元(通常被称为信息块)的位置的位置信息,例如首部(header)和地址。记录载体54以像DVD或BD格式那样的预定义的记录格式,载有表示数字编码的3D视频数据(其例如根据MPEG2或MPEG4编码系统编码)的信息。通过轨道中的标记编码如上所述的3D视频信号,其包括所述辅数据流以及如下面所定义的另外的附加控制数据。

[0046] 提出了提供3D视频数据的附加的辅流以便向动态的辅助数据提供背景,使得例如实时生成的图形可以在辅助深度之前被合成到该视频背景。例如,可以通过使用交织机制在存储介质上将主流和辅流交织为两种类型的视频,来将辅流包括在3D视频信号中。

[0047] 在实施例中,3D视频信号包括指示辅助深度的深度指示符。例如,对于每帧或画面组(G0P),将该指示符添加到3D视频信号。该指示符可以包括单字节的数据,由此,该值指示基于该辅数据流的立体视觉视频背景的左视图和右视图之间的最接近视差。替代地,该深度值可以指示任何图形叠加的视差,使得如果播放器合成实时生成的图形,则其应以如在元数据中指示的视差来定位该图形。提供该指示符使得3D视频的创作者能够来控制在基于该辅流的移动的背景视频前面、任何辅助数据可以被定位于的深度。现在描述包括深度指示符的几种方式。

[0048] 该处理设备要配备有所谓的“Z”合成器,其可以在立体视觉视频上叠加立体视觉图形。例如,在处理单元52中包括该“Z”合成器。该“Z”合成器解释辅助3D控制数据,并据此确定在3D空间中所述辅助数据在所述视频上面的定位,同时应用附加的辅流。在实际实施例中,在3D内容上叠加字幕或菜单,同时临时地显示辅流而代替主流。

[0049] 在实施例中,在根据预定义的标准传输格式(例如MPEG4)的用户数据消息中包括用于基于该辅流的视频背景的深度指示符,所述用户数据消息例如为H.264编码的流的信令基本流信息(SEI)消息。该方法具有以下优点:其与依赖于H.264/AVC编码标准的所有系统兼容(参见例如 ITU-T H.264 和 IS0/IEC MPEG-4 AVC,即 IS0/IEC 14496-10 标准)。新的编码器/解码器可以实现该新的SEI消息并且解码该辅流,而现有的编码器/解码器将简单地忽略它们。

[0050] 在3D视频信号的实施例中,视频流中的控制数据分组包括3D辅助控制数据。该控制数据可以包括用于提供3D视频信号的、使得能够进行辅助图像数据的所述叠加的时间片段的数据结构。该控制数据现在指示仅在所述时间片段期间包括所述辅数据流。实际上,例如,对于弹出式菜单和Java图形,该叠加将与同一时刻在背景中示出的视频内容在前后内容上有关(contextually linked)。因此,以下假设是安全的,即,弹出式菜单或交互式BD-java图形叠加将主要出现在电影的某些片段期间。为了提供所述片段,蓝光盘标准中的入口标志(entry-mark)和多角度机制可以被扩展以便在电影的某一片段期间提供两种类型的视频背景,在所述片段期间立体图形可以被叠加在背景中的视频内容上。一种类型的片段将包含由左右视图构成的正常立体视频内容。另一类型将由具有变更的左和/或右视图的立体视频(即所述辅流)构成。在制作期间适当地准备改变的左和/或右视图,使得立体视频变得更适于在顶部上叠加立体图形。以此方式,内容作者可以在制作处理期间对视频的出现、以及视频与图形的叠加施加完全的控制,因此可以确保在立体图形叠加在立体视频背景上面时不出现伪像。

[0051] 在另一实施例中,根据预定义的视频存储格式(例如BD格式)来格式化3D视频信号。预定义的视频格式定义可播放的视频项目,即所谓的根据播放项目数据结构的播放项目。播放项目数据结构被提供有指示符,其指示可播放的视频项目包括用于在所述播放项目期间使得能够进行叠加的辅数据流。

[0052] 在实施例中,3D辅助控制数据包括指示辅流的出现的叠加标志(marker)。所述标志可以指示所述辅流的起始时间、结束时间、持续时间和/或位置。替代地,可以在3D视频信号中包括用于控制辅助图像数据的叠加的、以及在叠加期间呈现该辅流的控制数据。例如,可以包括用于在预定时间显示菜单的指令,或者取决于各种事件而控制生成辅助数据的应用程序,诸如Java应用。

[0053] 记录载体(如,蓝光盘)上的3D视频信号中的另一数据结构是入口点图。该图指示允许呈现在该入口点处起始的视频的入口点。可以通过添加辅助控制数据(例如指示该辅流在特定入口点处的出现)和/或深度指示符(例如,到下一入口点之前一直有效)来扩展入口点图数据结构。

[0054] 替代地,辅助3D控制数据被提供为基于XML的描述,在MPEG-2传输流的数据轮播中传输该描述。也在该MPEG传输流中传送的交互式TV应用在使用辅流的同时,可以使用该基于XML的描述来确定如何将辅助图形合成到立体视觉视频上。替代地,可以将辅助3D控制数据提供为对播放列表的扩展。

[0055] 对于上面的辅助3D控制数据,处理器52和辅助处理单元53被布置用于依赖于相应的控制数据来进行所述叠加。具体地,检测3D视频信号的包括所述辅数据流的时间片段,检测3D视频信号中指示该辅流的出现的叠加标志,检测3D视频信号中用于控制辅助图像数据的叠加的控制数据,以及/或者检测指示辅助深度的深度指示符。根据所述所检测到的3D辅助控制数据来执行叠加。

[0056] 在实施例中,依赖于对应的主数据流和/或另一主流,来编码该辅流。同样,对与可用数据流具有强对应性的视频数据流进行依赖性编码是已知的。例如,可以仅编码与对应主流的差异。由于仅仅需要移动接近的对象来适配视差(即,减小视差以便向后移动所述对象),这样的差异将是小的。在特定实施例中,辅流的经编码的数据还可以包括移动数据,其指示相对于对应的主流的移动量。注意,另一主流还可以被用于所述依赖性编码。实际上,所述辅流还可以使用该另一流来提供在所移动的对象周围的数据,这是因为该另一流将包含由于所述视差移动而被去遮挡的视频数据。对于这样的依赖性编码的辅流,处理器52具有解码器520,其用于依赖于对应的主数据流和/或另一主流来解码该辅流。

[0057] 在实施例中,蓝光盘标准被扩展有将两个Clip AV流文件链接的新机制,所述新机制是具有蓝光盘交互式图形规范中弹出式菜单的Epoch起始和合成超时的、传输流中包含音频和视频表现所需的所有基本流的片段。另外,蓝光盘A/V格式的BD-Java应用编程界面(API)被扩展有信令,使得在到达包含其间BD-java应用可以在视频顶部绘制图形的那部分视频内容的某一片段时可以通知BD-Java应用。

[0058] 图2示出了包括辅视频数据流的3D视频信号。沿着时间轴T示意性地示出3D视频信号21。该信号包含由用于左视图的基本流和用于右视图数据的附加流构成的传输流(在此文档中被称为主流)。该主流包含正常的立体视频内容。

[0059] 3D视频信号还包含如上所述的包含立体视频内容的辅流23,其具体地被适配于提供(accommodate)沿深度方向的一些空间以便允许在没有任何质量损失的情况下叠加立体图形。在叠加模式下,在所适配的背景视频上在所述深度空间中叠加任何辅助数据。

[0060] 在图中,有两种类型的片段:第一类型的片段24,其包含表示正常的立体视频内容的正常传输流。第二类型的片段27具有以交织方式在该信号中包括的主流22和辅流23这两者。交织使得接收设备(如,光盘播放器)能够再现主流或辅流,而无需跳转到该盘的不同部分。而且,一个或多个音频流和其它辅助数据流可以被包括在3D视频信号中(未示出),并且可以在正常模式下或在基于辅流的叠加模式下用于再现。

[0061] 该图进一步示出了起始标志25和结束标志26,例如,相应流的分组首部中的指示符比特或标记。起始标志25指示具有用于所适配的背景视频的所述辅流的片段27的起始,而结束标志26指示片段27的结束、或者正常片段24的起始。

[0062] 为了在实际系统(例如,BD系统)中实现本发明,需要以下四个步骤。如下地改变盘数据格式以便提供所述片段类型。将3D视频内容的部分命名为Epoch。在交互式图形合成的Epoch起始和合成超时表示时间戳(PTS)值之间,该盘包含立体视频的被交织在盘上的所述主流和辅流。适配该辅流,使得在投影(project1n)的前面创建空间以允许叠加立体图形。具有主流和辅流的视频信号的片段应满足如在BD系统下定义的、关于多角度片段的编码和盘分配的相同约束。

[0063] 其次,改变盘数据格式以具有元数据,其向播放器指示在包含用于弹出式菜单的立体图形的交互式合成期间当弹出式菜单有效时应解码和表现盘上的与交织流不同的流。为了使得这能够进行,该格式应被适配为包含所述标志25、26。

[0064] 图3示出了包括3D叠加标志的数据结构。该图示出了表格31,其定义基于BD系统中播放列表的用于3D视频信号中标记的语法,被称为PlaylistMark。PlayListMark的语义如下。length为被编码为32比特无符号整数Uimbsf)的32比特字段,其指示紧接在该长度字段之后并且直至PlayListMarkO结束的PlayListMark O字节的数目。number_of_PlayList_marks是16比特无符号整数,其给出在PlayListMarkO中存储的Mark (标记)条目的数目。PL_mark_id值由在从零起始的PL_mark_id的for循环(for_loop)中描述的阶数来定义。mark_type是8比特字段(bslbf ),其指示Mark的类型。ref_to_PlayItem_id是16比特字段,其指示用于Mark被置于其上的PlayItem (播放项目)的Playltem_id值。在 PlayList (播放列表)文件的 PlayList ()中给出 Playltem_id 值。mark_time_stamp 是32比特字段,其包含指示该标记所置于的点的时间戳。mark_time_stamp应指向从由ref_to_PlayItem_id所引用的PlayItem的IN_time到0UT_time的时间间隔中的、以45kHz时钟为单位测量的表现时间(presentat1n-time)。如果entry_ES_PID被设置为OxFFFF,则Mark是指向对于由PlayList使用的所有基本流公同的时间线的指针。切[栗entry_ES_PID未被设置为OxFFFF,则该字段指示包含基本流(Mark对其进行指向)的传输分组的PID的值。durat1n (持续时间)是以45kHz时钟为单位测量的。

[0065] 在BD系统中预先定义mark_type(标记_类型)的各个值。现在为如上所述的所述起始标志和结束标志25、26定义附加的mark_type,并将其包括在表格中,其指示何时Java应用可以将立体图形叠加在立体视频背景的上面。所述标志可以替代地为用于指示一片段的入口标记(entry-mark),而片段本身指示是可叠加的类型。

[0066] 可以定义新的标记类型(mark type),其指示3D叠加功能,例如,“立体图形叠加标记”或BD系统中的特定ClipMark(剪辑标记),其中ClipMark传统地是剪辑信息文件(与A/V内容的片段相关联的元数据)中的保留字段。特定ClipMark现在被包括用于指示该Clip是可叠加的类型的目的。另外,盘格式可以在索引表格中指定:标题是交互式标题。此外,在盘上的格式包含BD-java应用的情况下,BD-J标题回放类型可以被定义为是交互式标题。

[0067] 此外,BD格式播放列表结构可以被扩展来指示:电影的某一片段包含被适配用于立体图形叠加的特定立体视频内容。BD格式播放列表结构定义所需的元数据,使得播放器可以识别视频内容的某些片段(也被称为播放项目)。播放项目承载在该电影内容片段期间应当被解码和表现什么基本流的信息。播放项目还指示参数使得播放器可以无缝地解码并表现音频和视频内容的连续片段。播放项目数据被扩展为具有is_stereo_overlay条目,其向播放器指示在该播放项目期间存在立体视频的所述交织的主流和辅流。

[0068] 图4示出了播放项目的附加条目。该图示出了表格32,其定义用于BD系统中播放项目的3D视频信号中依赖性视图部分的语法,被称为SS_dependent_view_block。该表格是被扩展为具有is_stereo_overlay_entry的播放项目的部分的实例。如果播放项目被扩展,则包括以下元素。Clip_informat1n_file_name:在立体视觉图形叠加被激活时用于被播放项目使用的剪辑(视频片段)的Clip信息文件的名称。Clip_coded_identifier:该条目将具有如ISO 646中定义的编码的值“M2TS”。ref_to_STC_id:用于该剪辑中该序列(sequence)的Clip信息文件中系统时间时钟参考的指示符。

[0069] 此外,传统地意图保持关于多角度视频的信息的附加结构(例如,多剪辑条目(mult1-clip-entries)结构)可以承载关于用于立体视频的剪辑(视频和音频内容的片段)在具有和不具有图形叠加时的标识信息。

[0070] 在可叠加类型中,指示可播放的视频项目包括用于使得能够进行叠加的辅数据流的该指示符可以替代播放项目中的多角度(mult1-angle)信息。

[0071] 播放项目然后将支持多角度或多立体(mult1-stereo)。通过在播放项目中复制该多剪辑结构可以消除(lift)该限制,使得其包含用于多角度的条目和用于多立体的条目这两者。关于所允许的角度的量的限制可以被施加以确保:约束保留在BD系统中关于盘上的交织片段的量和大小而定义的限制内。

[0072] 第三,BD-Java API被扩展,使得其向盘上的Java应用提供叠加功能。该功能使得该应用能够在回放期间到达视频中包含立体视频的辅流的位置时登记并接收事件。这通过新定义的播放列表标志或通过在播放器自动地从一个剪辑向另一个剪辑改变回放时生成的事件来进行。第一种方法是优选的,这是因为其可以被用来在特定片段的起始之前通知该应用,使得该应用可以通过分配绘制立体图形叠加所需的资源来作出准备。新标记类型(如前所述的,或者类似的指示符)提供立体图形叠加标记和控制,其允许该应用选择要播放哪个特定立体视频片段。该功能类似于多角度视频的当前控制。可以添加其它的控制参数,以便允许Java应用向播放器通知:其希望开始或已经结束了绘制立体图形叠加,使得播放器可以自动地将回放切换回“正常的”立体视频内容。该控制或方法可以例如被称为POP-upStereoGraphics控制。其具有ON和OFF状态。当处于ON状态时,播放器应解码并表现包含特别准备的立体视频内容的那些视频剪辑。当处于OFF状态时,播放器解码并表现正常的立体视频剪辑。

[0073] 第四,播放器被适配为使得:当播放器遇到包含iS_Stere0_0Verlay条目的播放项目结构时,在弹出式菜单被激活的情况下或者在Java应用已经通过相关的新定义的API指示其希望叠加立体图形的情况下,播放器自动地切换到包含用于图形叠加的立体视频的该剪辑。

[0074] 尽管已经主要通过基于蓝光盘系统的实施例解释了本发明,但是本发明也适用于任何3D信号、传输和存储格式,例如被格式化为经由互联网分发。可以以包括硬件、软件、固件和它们的任何组合的任何适当形式来实现本发明。本发明可以任选地被实现为方法(例如制作或显示设置中的方法)、或者至少部分地作为在一个和多个数据处理器和/和数字信号处理器上运行的计算机软件。

[0075] 将理解,为了清楚,上面说明已经参考不同的功能单元和处理器描述了本发明的实施例。然而,本发明不限于所述实施例,而是在于所描述的每个新颖特征和特征组合。可以使用任何适当的在不同功能单元和处理器之间的功能分配。例如,被图示为由分离单元、处理器或控制器执行的功能可以由相同的处理器和控制器执行。因此,对特定功能单元的引用仅将被视为对用于提供所描述的功能的适当装置的引用,而不是指示严格的逻辑或物理结构或组织。

[0076] 此外,尽管被单独地列出,多个装置、元件或方法步骤可以由例如单个单元或处理器实现。另外,尽管各单独特征可以被包括在不同权利要求中,但是它们可以被有利地组合,并且包括在不同权利要求中不暗示特征组合不是可行的和/或有利的。而且,特征包括在一种类型的权利要求中不暗示限于该类型,而是指示根据需要该特征可以等效地应用于其它权利要求类型。此外,特征在权利要求中的顺序不暗示特征必须据此起作用的任何特定顺序,具体地,各个步骤在方法权利要求中的顺序不暗示步骤必须以此顺序执行。相反,步骤可以以任何适当顺序执行。另外,单数的引用不排除多个。因此,对于“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的参考标号仅仅被提供作为阐明性的实例,不应被解释为以任何方式限制权利要求的范围。词“包括”不排除那些列出的元素或步骤之外的其它元素或步骤的出现。

Claims (12)

1.一种提供三维(3D)视频信号的方法,该3D视频信号根据用于从3D源设备向3D处理设备传送3D视频数据的格式而被格式化, 该方法包括通过以下来生成3D视频信号: 包括表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流,以用于呈现3D视频数据,所述左图像当被显示给观看者的左眼时以及所述右图像当被显示给观看者的右眼时展现标称深度范围, 其特征在于所述方法包括 包括要为一只眼睛显示的、替代主数据流中相应的至少一个的辅数据流,以用于在标称深度范围内呈现展示距观看者比辅助深度更远的修改后的深度范围的修改的3D视频数据,以使得能够在辅助深度或者更靠近观看者的深度上在修改的3D视频数据上叠加辅助图像数据。
2.如权利要求1所述的方法,其中,该方法包括: 提供3D视频信号的时间片段,以使得能够进行辅助图像数据的所述叠加;以及 仅在所述时间片段期间包括所述辅数据流。
3.如权利要求1所述的方法,其中,该方法包括在3D视频信号中包括以下至少一项: 指示所述辅数据流的出现的叠加标志; 控制数据,用于控制辅助图像数据的叠加以及在叠加期间呈现所述辅数据流; 指示所述辅助深度的深度指示符。
4.如权利要求1所述的方法,其中,依赖于以下至少一项来编码该辅数据流: 主数据流中的第一主数据流; 主数据流中的第二主数据流。
5.如权利要求1所述的方法,其中,根据预定义的视频存储格式来格式化3D视频信号,该预定义的视频格式包括具有播放项目数据结构的可播放的视频项目,播放项目数据结构被提供有指示符,其指示可播放的视频项目包括用于使得能够进行叠加的辅数据流。
6.如权利要求1所述的方法,其中,该方法包括制造记录载体的步骤,所述记录载体被提供有表示3D视频信号的标记的轨道。
7.—种处理3D视频信号的方法,该3D视频信号根据用于从3D源设备向3D处理设备传送3D视频数据的格式而被格式化,该方法包括: 从3D视频信号中取回表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流,以用于呈现该3D视频数据,所述左图像当被显示给观看者的左眼时以及所述右图像当被显示给观看者的右眼时展现标称深度范围; 其特征在于 从3D视频信号中取回要为一只眼睛显示的、替代主数据流中相应的至少一个的辅数据流,以用于在标称深度范围内呈现展示距观看者比辅助深度更远的修改后的深度范围的修改的3D视频数据, 提供辅助数据;以及 基于该辅数据流在所述辅助深度或者更接近观看者的深度处在修改的3D视频数据上叠加辅助图像数据。
8.一种用于提供3D视频信号(41)的3D源设备(40),该3D视频信号根据用于从3D源设备向3D处理设备传送3D视频数据的格式而被格式化, 该3D源设备包括处理装置(42),其通过以下生成3D视频信号: 包括表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流,以用于呈现3D视频数据,所述左图像当被显示给观看者的左眼时以及所述右图像当被显示给观看者的右眼时展现标称深度范围, 其特征在于所述处理装置(42)进一步被安排用于 包括要为一只眼睛显示的、替代主数据流中相应的至少一个的辅数据流,以用于在标称深度范围内呈现展示距观看者比辅助深度更远的修改后的深度范围的修改的3D视频数据,以使得能够在辅助深度或者更靠近观看者的深度上在修改的3D视频数据上叠加辅助图像数据。
9.一种用于处理3D视频信号的3D处理设备(50),该3D视频信号根据用于从3D源设备向3D处理设备传送3D视频数据的格式而被格式化,该设备包括: 接收装置(51,58,59),用于接收3D视频信号;以及 处理装置(52,53),用于 从3D视频信号中取回表示要为观看者的左眼显示的左图像的第一主数据流以及表示要为观看者的右眼显示的右图像的第二主数据流,以用于呈现3D视频数据,所述左图像当被显示给观看者的左眼时以及所述右图像当被显示给观看者的右眼时展现标称深度范围; 其特征在于所述处理装置(52,53 )被安排用于 从3D视频信号中取回要为一只眼睛显示的、替代主数据流中相应的至少一个的辅数据流,以用于呈现修改的3D视频数据,所述左图像当被显示给观看者的左眼时以及所述右图像当被显示给观看者的右眼时在标称深度范围内展示距观看者比辅助深度更远的修改后的深度范围; 提供辅助数据;以及 基于该辅数据流在辅助深度或者更接近观看者的深度处在修改的3D视频数据上叠加辅助图像数据。
10.如权利要求9所述的设备,其中,所述处理装置(52,53)被布置来依赖于以下至少一项进行所述置加: 检测3D视频信号的包括所述辅数据流的时间片段; 检测3D视频信号中指示该辅数据流的出现的叠加标志; 检测3D视频信号中用于控制辅助图像数据的叠加的控制数据; 检测指示辅助深度的深度指示符。
11.如权利要求9所述的设备,其中,所述设备包括用于依赖于以下至少一项解码该辅数据流的装置(520): 主数据流中的第一主数据流; 主数据流中的第二主数据流。
12.如权利要求9所述的设备,其中,该设备包括以下至少一项: 用于读取记录载体以接收3D视频信号的装置(58);用于结合3D视频数据显示辅助数据的3D显示装置(63)。
CN200980146875.XA 2008-11-24 2009-11-20 组合三维视频和辅助数据 CN102224737B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP08169774 2008-11-24
EP08169774.0 2008-11-24
EP09173467.3 2009-10-20
EP09173467A EP2320667A1 (en) 2009-10-20 2009-10-20 Combining 3D video auxiliary data
PCT/IB2009/055208 WO2010058368A1 (en) 2008-11-24 2009-11-20 Combining 3d video and auxiliary data

Publications (2)

Publication Number Publication Date
CN102224737A CN102224737A (zh) 2011-10-19
CN102224737B true CN102224737B (zh) 2014-12-03

Family

ID=41727564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980146875.XA CN102224737B (zh) 2008-11-24 2009-11-20 组合三维视频和辅助数据

Country Status (7)

Country Link
US (1) US20110234754A1 (zh)
EP (1) EP2374280A1 (zh)
JP (1) JP5859309B2 (zh)
KR (1) KR20110097879A (zh)
CN (1) CN102224737B (zh)
TW (1) TWI505691B (zh)
WO (1) WO2010058368A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US20110157322A1 (en) 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8854531B2 (en) 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
JP2011216937A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 立体画像表示装置
US20110316972A1 (en) * 2010-06-29 2011-12-29 Broadcom Corporation Displaying graphics with three dimensional video
EP2408211A1 (en) * 2010-07-12 2012-01-18 Koninklijke Philips Electronics N.V. Auxiliary data in 3D video broadcast
US9986220B2 (en) 2010-07-12 2018-05-29 Koninklijke Philips N.V. Auxiliary data in 3D video broadcast
JP2012023648A (ja) * 2010-07-16 2012-02-02 Sony Corp 再生装置、再生方法、およびプログラム
KR101676830B1 (ko) * 2010-08-16 2016-11-17 삼성전자주식회사 영상 처리 장치 및 방법
KR20120042313A (ko) * 2010-10-25 2012-05-03 삼성전자주식회사 입체영상표시장치 및 그 영상표시방법
GB2485532A (en) * 2010-11-12 2012-05-23 Sony Corp Three dimensional (3D) image duration-related metadata encoding of apparent minimum observer distances (disparity)
TWI491244B (zh) * 2010-11-23 2015-07-01 Mstar Semiconductor Inc 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3d 영상처리장치 및 그 입체감 조정방법
WO2013176315A1 (ko) * 2012-05-24 2013-11-28 엘지전자 주식회사 디지털 신호 처리 장치 및 방법
CN103875241B (zh) * 2012-07-25 2017-06-13 统一有限责任两合公司 用于在传输数字图像时间序列时处理干扰的方法和设备
US20140055564A1 (en) 2012-08-23 2014-02-27 Eunhyung Cho Apparatus and method for processing digital signal
WO2014167450A1 (en) * 2013-04-10 2014-10-16 Koninklijke Philips N.V. Reconstructed image data visualization
US9760779B2 (en) * 2014-03-20 2017-09-12 Sony Corporation Generating trajectory data for video data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display
CN101180658A (zh) * 2005-04-19 2008-05-14 皇家飞利浦电子股份有限公司 深度感

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392689B1 (en) * 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
TWI260591B (en) * 2002-10-14 2006-08-21 Samsung Electronics Co Ltd Information storage medium with structure for multi-angle data, and recording and reproducing apparatus therefor
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
JP2004274125K1 (zh) * 2003-03-05 2004-09-30
US20040233233A1 (en) * 2003-05-21 2004-11-25 Salkind Carole T. System and method for embedding interactive items in video and playing same in an interactive environment
US8000580B2 (en) * 2004-11-12 2011-08-16 Panasonic Corporation Recording medium, playback apparatus and method, recording method, and computer-readable program
GB0329312D0 (en) * 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
EP2289452A3 (en) * 2005-06-06 2015-12-30 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
JP4645356B2 (ja) * 2005-08-16 2011-03-09 ソニー株式会社 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置
CN101243694B (zh) * 2005-08-19 2010-12-22 皇家飞利浦电子股份有限公司 立体显示装置
KR101320379B1 (ko) * 2005-10-20 2013-10-22 인튜어티브 서지컬 인코포레이티드 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
WO2008083500A1 (en) * 2007-01-11 2008-07-17 360 Replays Ltd. Method and system for generating a replay video
CA2680724C (en) * 2007-03-16 2016-01-26 Thomson Licensing System and method for combining text with three-dimensional content
US8208013B2 (en) * 2007-03-23 2012-06-26 Honeywell International Inc. User-adjustable three-dimensional display system and method
US7933166B2 (en) * 2007-04-09 2011-04-26 Schlumberger Technology Corporation Autonomous depth control for wellbore equipment
KR20080114169A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 3차원 영상 표시방법 및 이를 적용한 영상기기
US20090079830A1 (en) * 2007-07-27 2009-03-26 Frank Edughom Ekpar Robust framework for enhancing navigation, surveillance, tele-presence and interactivity
WO2009083863A1 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
KR101315081B1 (ko) * 2008-07-25 2013-10-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 서브타이틀들의 3d 디스플레이 처리
JP4748234B2 (ja) * 2009-03-05 2011-08-17 富士ゼロックス株式会社 画像処理装置および画像形成装置
US8369693B2 (en) * 2009-03-27 2013-02-05 Dell Products L.P. Visual information storage methods and systems
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101180658A (zh) * 2005-04-19 2008-05-14 皇家飞利浦电子股份有限公司 深度感
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display

Also Published As

Publication number Publication date
EP2374280A1 (en) 2011-10-12
TW201026018A (en) 2010-07-01
US20110234754A1 (en) 2011-09-29
TWI505691B (zh) 2015-10-21
WO2010058368A1 (en) 2010-05-27
CN102224737A (zh) 2011-10-19
JP2012510197A (ja) 2012-04-26
JP5859309B2 (ja) 2016-02-10
KR20110097879A (ko) 2011-08-31

Similar Documents

Publication Publication Date Title
US10158841B2 (en) Method and device for overlaying 3D graphics over 3D video
US10419740B2 (en) Switching between 3D and 2D video
US9338428B2 (en) 3D mode selection mechanism for video playback
US8467664B2 (en) Recording medium, playback device, and integrated circuit
JP5596830B2 (ja) 旧来のフォーマットとの互換を維持しつつも、記録内容を編集することができる記録媒体、記録装置
JP4923162B2 (ja) 受信装置、受信方法
US8520056B2 (en) Recording medium, playback device, and integrated circuit
CN102172033B (zh) 再生装置、记录方法、记录介质再生系统
RU2554465C2 (ru) Комбинирование 3d видео и вспомогательных данных
EP2434769B1 (en) Recording method and playback method
US8705935B2 (en) Recording medium, playback device, integrated circuit
JP4588119B1 (ja) 再生装置、集積回路
DK2230844T3 (en) Registration medium, which 3d video is registered, registration medium for registering 3d video and replacement device and method of representing 3d video
ES2537073T3 (es) Dispositivo de reproducción, método de reproducción y programa para reproducción estereoscópica
US8270807B2 (en) Recording medium, playback device, and integrated circuit
CN102106153B (zh) 字幕的3d显示处理
US8396906B2 (en) Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
EP2360935A1 (en) Reproduction device, recording medium, and integrated circuit
WO2011080907A1 (ja) 表示装置と方法、記録媒体、送信装置と方法、及び再生装置と方法
US8538234B2 (en) Display device and method, transmission device and method, and reception device and method
US20110013888A1 (en) Information recording medium and playback device for playing back 3d images
US8737811B2 (en) Playback device, integrated circuit, playback method, and program
JP4915459B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20100161686A1 (en) Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
US20100303444A1 (en) Recording medium, playback device, encoding device, integrated circuit, and playback output device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141203

Termination date: 20161120