CN102257825B - 用于在3d视频上覆盖3d图形的方法和设备 - Google Patents

用于在3d视频上覆盖3d图形的方法和设备 Download PDF

Info

Publication number
CN102257825B
CN102257825B CN200980151022.5A CN200980151022A CN102257825B CN 102257825 B CN102257825 B CN 102257825B CN 200980151022 A CN200980151022 A CN 200980151022A CN 102257825 B CN102257825 B CN 102257825B
Authority
CN
China
Prior art keywords
video
frame
information
video information
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980151022.5A
Other languages
English (en)
Other versions
CN102257825A (zh
Inventor
P.S.牛顿
M.J.M.库弗斯
D.D.R.J.博利奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Leia Inc
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41718987&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102257825(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102257825A publication Critical patent/CN102257825A/zh
Application granted granted Critical
Publication of CN102257825B publication Critical patent/CN102257825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals

Abstract

解码和输出适于三维[3D]显示的视频信息的方法，该视频信息包括适于在2D显示器上显示的编码的主视频信息以及用于允许三维[3D]显示的编码的附加视频信息，该方法包括：接收或生成将被覆盖在视频信息上的三维[3D]覆盖信息；在第一缓冲器中缓冲将被覆盖在主视频信息上的覆盖信息的第一部分；在第二缓冲器中缓冲将被覆盖在附加视频信息上的覆盖信息的第二部分；解码主视频信息和附加视频信息，并且作为一系列时间交错的视频帧，生成或是主视频帧或是附加视频帧的每一个输出视频帧；确定将被输出的视频帧的类型或是主视频帧或是附加视频帧；按照所确定的帧的类型，将覆盖信息的第一部分或第二部分覆盖在将被输出的视频帧上；输出视频帧和覆盖的信息。

Description

用于在3D视频上覆盖3D图形的方法和设备
技术领域
本发明涉及解码和输出适于三维[3D]显示的视频信息的方法，该视频信息包括适于在2D显示器上显示的编码的主视频信息以及用于允许三维[3D]显示的编码的附加视频信息，3D覆盖信息被覆盖在该视频信息上。
本发明进一步涉及用于解码和输出适于三维[3D]显示的视频信息的设备，该视频信息包括适于在2D显示器上显示的编码的主视频信息以及用于允许三维[3D]显示的编码的附加视频信息，该设备适合于将3D覆盖信息覆盖在该视频信息上。
本发明涉及利用回放设备的3D视频信息和3D覆盖信息的回放的领域，该信息将被显示在3D启用的显示器上。
背景技术
用于再现视频数据的设备是众所周知的，例如用于再现数字视频信号的如同DVD播放器、BD播放器或机顶盒之类的视频播放器是众所周知的。再现设备通常被用作源设备，其将被耦合到如同电视机之类的显示设备。经由如同HDMI之类的合适接口从源设备传送图像数据。
至于编码的视频信息流，例如，这可以依照称为立体感（stereoscopic）的格式，其中左和右（L+R）图像被编码。作为选择，编码的视频信息流可以包括2D图片和附加图片（L+D），即所谓的深度图（depth map），如在Oliver Sheer-“3D Video Communication”, Wiley, 2005，第29-34页中所述的。深度图传送关于2D图像中的对象的深度的信息。深度图中的灰度值指示2D图像中的相关像素的深度。立体显示器能够通过使用深度图中的深度值以及通过计算所需的像素变换来计算立体效果（stereo）所需的附加视图。2D视频+深度图可以通过添加闭塞与透明度信息（occlusion and transparency information）（DOT）来扩展。
当前，在3D系统中，用于将经由HDMI接口传送到3D显示器的输出视频数据的已知解决方案是进行时间交错，其中与左侧或2D信息相对应的帧和右侧或DOT帧进行交错。
众多周知的是：对于2D视频系统，如同用于视频内容和回放设备的分布的应用格式支持在视频之上的覆盖（或）实时生成的图形。覆盖图形例如由播放器设备为屏幕上显示（SD）菜单而在内部生成，或被接收，例如字幕或其他图形。
然而，将已知的覆盖模型扩展到3D系统产生增加用于实时生成的覆盖图形的绘图例程的性能要求的问题。
发明内容
本发明的目的是提供用于解码和输出适于3D系统的视频信息和覆盖信息的方法。
为此，根据本发明的第一方面，在开头段落中所述的方法中，该方法进一步包括：接收或生成将被覆盖在视频信息上的三维[3D]覆盖信息；在第一缓冲器中缓冲将被覆盖在主视频信息上的覆盖信息的第一部分；在第二缓冲器中缓冲将被覆盖在附加视频信息上的覆盖信息的第二部分；解码主视频信息和附加视频信息，并作为一系列时间交错的视频帧，生成或是主视频帧或是附加视频帧的每一个输出视频帧；确定将被输出的视频帧的类型或是主视频帧或是附加视频帧；按照所确定的帧的类型，将覆盖信息的第一或第二部分覆盖在将被输出的视频帧上，输出视频帧和覆盖的信息。
为此，根据本发明的第二方面，在开头段落中所述的设备包括：用于接收将被覆盖在视频信息上的三维[3D]覆盖信息的输入装置或用于生成将被覆盖在视频信息上的三维[3D]覆盖信息的生成装置；解码器，用于解码主视频信息和附加视频信息，该解码器进一步适合于作为一系列时间交错的视频帧而生成或是主视频帧或是附加视频帧的每一个输出视频帧；用于接收或生成将被覆盖在视频信息上的三维[3D]覆盖信息的装置；图形处理单元，其包括用于缓冲将被覆盖在主视频信息上的覆盖信息的第一部分的第一缓冲器以及用于缓冲将被覆盖在附加视频信息上的覆盖信息的第二部分的第二缓冲器，该图形处理单元进一步包括用于确定将被输出的视频帧的类型或是主视频帧或是附加视频帧的控制器；混合器，用于按照所确定的帧的类型将覆盖信息的第一或第二部分覆盖在将被输出的视频帧上；输出装置，用于输出视频帧和覆盖的信息。
本发明也基于以下认识。由于3D视频输出在每一个帧的两个不同的视频流之间切换，所以3D覆盖图形不能再简单地与在输出对应于与右侧或DOT帧进行交错的左侧或2D信息的帧的系统中输出的3D视频进行复合。例如，在时间T，视频输出能够包含2D帧，并且在时间T+1，视频输出包含用于时间T上的帧的伴随深度信息。需要与时间T上的视频相复合的图形（2D图形）大大地不同于需要与时间T+1上的视频相复合的图形（深度图形或R图形）。存在于2D视频播放器设备中的图形单元对于帧精确更新每一帧中具有这些不同图形的其图形平面而言是不够快的。根据本发明的解决方案是在图形单元中实施两个缓冲器。每一个缓冲器被分配给输出视频流之一。例如，对于2D+深度（绘）图而言，一个缓冲器能够被分配用于2D帧上的图形覆盖，并且一个缓冲器能够被分配用于深度帧上的图形覆盖。对于L+R来说，类似地，一个缓冲器能够用于L帧上的图形覆盖，并且一个缓冲器能够被分配用于R帧上的覆盖。这个解决方案的优点在于：慢图形从帧精确覆盖引擎中去耦，因此显著地减少处理要求。
有利地，该图形控制单元进一步包括控制器，该控制器适合于以生成覆盖帧的帧频率将第一覆盖帧的部分拷贝到第一缓冲器中或将第二覆盖帧的部分拷贝到第二缓冲器中。当播放器设备处理2D+DOT深度流时，这允许通过拷贝被缓冲的帧中的相关区域来快速生成闭塞数据（occlusion data）。
附图说明
本发明的这些和其他方面从下面的说明中通过示例并参考附图所描述的实施例中将是显然的，并且本发明的这些和其他方面进一步参考这些实施例来阐述，其中：
图1示意地显示用于接收和显示3D视频信息的系统，在其部分中可以实施本发明；
图2示意地显示已知的2D视频播放器的图形处理单元；
图3示意地显示在已知的蓝光（Blu-Ray）（BD）系统中的视频平面的组成；
图4示意地显示根据本发明的图形处理单元。
在附图中，与已描述的元素相对应的元素具有相同的参考数字。
具体实施方式
在图1中显示其中可以实施本发明的用于3D视频信息的回放的系统1。该系统包括经由接口12通信的播放器设备10和显示设备11。播放器设备10包括负责接收和预处理待显示的编码的视频信息流的前端单元12以及用于解码、处理和生成将被提供到输出14的视频流的处理单元。显示设备包括用于再现接收中的3D视图的再现单元。
至于编码的视频信息流，例如，这可以依照称为立体感的格式，其中左与右（L+R）图像被编码。作为选择，编码的视频信息流可以包括2D图片和附加图片（L+D），即所谓的深度图，如在Oliver Sheer-“3D Video Communication”, Wiley, 2005，第29-34页中所述的。深度图传送有关2D图像中的对象的深度的信息。深度图中的灰度值指示2D图像中的相关像素的深度。立体显示器能够通过使用深度图中的深度值以及通过计算所需的像素变换来计算立体效果所需的附加视图。2D视频+深度图可以通过添加闭塞与透明度信息（DOT）来扩展。在优选实施例中，使用灵活数据格式（flexible data format），该格式包括立体信息和深度图、添加闭塞与透明度，如在此参照包括的EP08305420.5（律师案卷PH010082）中所述的。
至于显示设备11，这能够是显示设备，其利用可控眼镜来分别地控制显示给左与右眼的图像，或者在优选实施例中，使用所谓的自动立体（autostereoscopic）显示器。能在2D与3D显示之间切换的许多自动立体设备是已知的，其中一种设备描述在US6,069,650中。显示设备包括具有主动可切换的液晶柱状透镜的LCD显示器。在自动立体显示器中，再现单元16内的处理将经由接口12从播放器设备10接收的解码的视频信息转换成多个视图，并将这些视图映射到显示面板17的子像素上。适当注意，再现单元16可以驻留在播放器设备10内，在这种情况下，多个视图经由接口进行发送。
至于播放器设备10，这可以适合于从光盘、诸如闪存之类的另一存储介质中读取视频流，或经由诸如因特网连接之类的有线或无线网络来接收视频信息。Blu-Ray™播放器的一个已知示例是由索尼公司（Sony Corporation）销售的PlayStation™ 3。
在BD系统的情况中，进一步的细节能够在由蓝光光盘协会发布的公开可用的技术白皮书“Blu-ray Disc Format General August 2004”和“Blu-ray Disc 1.C Physical Format Specifications for BD-ROM November, 2005”（ http://www.bluraydisc.com ）中找到。
在下面，在提到BD应用格式时，我们特别指的是在美国申请第2006-0110111（律师案卷NL021359）中以及在由蓝光光盘协会发布的白皮书“Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005”中公开的应用格式。
众多周知的是：BD系统也提供具有网络连接性的完全可编程的应用环境，从而允许内容供应商创建交互式内容。这种模式基于JavaTM()3平台并且被称为“BD-J”。BD-J定义作为ETSI TS 101 812公开可用的Digital Video Broadcasting (DVB)-Multimedia Home Platform (MHP) Specification 1.0（数字视频广播（DVB）-多媒体家庭平台（MHP）规范1.0）的子集。
图2阐明已知的2D视频播放器、即蓝光播放器的图形处理单元（处理单元13的一部分）。该图形处理单元配备有两个读缓冲器（1304和1305）、两个预加载缓冲器（1302和1303）以及两个转换器（1306和1307）。第二读缓冲器（1305）允许即使在主MPEG流正在被解码的同时也将Out-of-Mux音频流提供给解码器。预加载缓冲器对Text subtitle（文本字幕）、Interactive Graphic（交互式图形）和音效（在按钮选择或激活时呈现）进行缓存。预加载缓冲器1303在电影回放开始之前存储数据，并且即使在主MPEG流正在被解码的同时也提供数据用于呈现。
在数据输入与缓冲器之间的这个转换器1301选择适当的缓冲器从读缓冲器或预加载缓冲器中的任何一个接收分组数据。在开始主电影放映之前，音效数据（如果其存在的话）、文本字幕数据（如果其存在的话）以及交互式图形（如果预加载的交互式图形存在的话）被预加载，并通过转换器分别地被发送到每一个缓冲器。利用转换器1301，将主MPEG流发送到基本读缓冲器（1304），并将Out-of-Mux流发送到辅助读缓冲器（1305）。
图3示意性显示已知的蓝光（BD）系统中的视频平面的组成。
如所示的，存在用于在视频平面（3）上进行复合的图形的两个独立的全图形平面（32，33）。一个图形平面（32）被分配用于加字幕应用（演示图形或文本字幕），并且另一个平面被分配给交互式应用（33）（HDMV或BD-J模式交互性图形）。
返回到图3，主视频平面（1310）以及呈现（演示）平面（1309）和图形平面（1308）利用相应的解码器来提供，并且这三个平面被覆盖层1311覆盖并被输出。
图4示意地阐明根据本发明的图形处理单元（13）。这个特定的示例构成BD系统中的已知图形处理单元的改进，但是在这里描述的概念直接可应用于视频播放器中的所有图形处理单元，这是因为用于各种类型的视频播放器的解码器模型是类似的。
为清晰起见，将讨论一个图形平面在主视频平面上的覆盖，但是该概念直接可应用于覆盖一个以上的图形平面。
对于3D视频，除了在正常的蓝光电影中被存储并被发送到显示器的2D视频之外，还需要额外的信息。对于立体3D，需要将左视图和右视图二者发送到立体显示器。显示器随后使用某种技术来确保：只有观看者的左眼看到左图，并且只有右眼看到右图。实现此的常用技术是快门眼镜或偏振眼镜。
自动立体显示器需要不同的接口格式：2D+深度视频格式。除了2D视频之外，还使用附加视频流来发送深度信息。显示器在再现阶段中组合视频流，并计算结果的3D图片。
对于两种3D技术来说，需要以某种取决于显示类型的接口格式向显示器发送两个视频流。一种可能的接口格式是将两个时间交错的视频中的帧发送到显示器。这意味着：在时间T，发送第一视频流（左侧或2D）中的帧，并且在时间T+1，发送第二视频流（右侧或深度）中的帧。
如同在上面提到的蓝光格式之类的应用格式支持在视频之上的覆盖图形。覆盖图形例如用于显示字幕或创建选择菜单。蓝光覆盖图形从盘（呈现图形和交互式图形）中读取或实时生成（BD-J图形，OSD显示以及基于文本的字幕）。
以时间顺序接口格式输出视频极大地影响用于实时生成的覆盖图形的绘图例程的性能要求，尤其是BD-J图形的绘图例程的性能要求。这是因为由于视频输出在每一帧在两个不同的视频流之间切换，所以图形平面不能再简单地与视频输出进行复合。作为一个示例，在时间T，视频平面能够包含2D视图，并且在时间T+1，视频平面包含用于时间T上的帧的伴随深度信息。需要与时间T上的视频进行复合的BD-J图形（2D图形）大大地不同于需要与时间T+1上的视频进行复合的BD-J图形（深度图形）。
对于利用每一帧中的这些不同的图形来帧精确地更新其图形平面而言，图形处理单元、特别地BD-J绘图是不够快的。根据本发明的解决方案是在该图形单元中实施两个缓冲器。每一个缓冲器被分配给输出视频流之一。例如，对于2D+深度图而言，一个缓冲器能够被分配用于2D帧上的图形覆盖，并且一个缓冲器能够被分配用于深度帧上的图形覆盖。对于L+R来说，类似地，一个缓冲器能够用于L帧上的图形覆盖，并且一个缓冲器能够被分配用于R帧上的覆盖。这个解决方案的优点是：慢图形从帧精确覆盖引擎中去耦，因此显著地减少处理要求。
在图4中，Java应用41在Java虚拟机上运行，以生成覆盖信息并将其发送到图形处理单元（API）。注意，覆盖信息的源并不是重要的，这样的用于图形平面的覆盖信息可以是来自盘的其他图形或OSD（On Screen display）（屏幕上显示）信息。图形处理单元包括两个缓冲器42和43。每一个缓冲器与控制器（45）通信，该控制器优选地包括帧精确区域拷贝器。定时信息从绘图应用（41）并且从视频解码器（47）发送到图形处理单元。基于接收到的定时信息，帧精确区域拷贝器随后能够根据什么视频帧当前正被解码到视频输出平面上（这通过视频源中的时间信息而获悉）而将正确的缓冲器复合到图形输出平面上。通过这样做，帧精确区域拷贝器保证：混合器将正确的BD-J图形复合在当前输出的视频帧上（对于2D+深度而言，这意味着：在解码2D视频帧时，2D图形缓冲器被拷贝到图形平面上，并且在解码深度帧时，深度DOT图形缓冲器被拷贝到图形平面上）。对于L+R图形来说，这保证：L实时图形被覆盖在L帧上，并且R实时图形被覆盖在R帧上。
将注意，本发明可以使用可编程组件在硬件和/或软件中进行实施。用于实施本发明的方法具有与参考图1所阐述的再现系统相对应的处理步骤。虽然本发明已主要利用使用光学记录载体或因特网的实施例进行解释了，但是本发明也适于任何的图形处理环境，如同制作软件或广播设备。进一步的应用包括3D个人计算机[PC]用户界面或3D媒体中心PC、3D移动播放器以及3D移动电话。
注意，在这个文件中，词“包括”并不排除除了所列举的那些元素或步骤之外的其他元素或步骤的存在，并且在元素之前的词“一”或“一个”并不排除多个这样的元素的存在，任何的参考符号并不限制这些权利要求的范围，本发明可以借助于硬件和软件二者来实施，并且若干“装置”或“单元”可以利用同一项硬件或软件来表示，而且处理器可以有可能与硬件部件协作来实现一个或多个单元的功能。进一步，本发明并不限于这些实施例，而在于上述的每一个新颖特征或特征的组合。

Claims (10)

1.一种解码和输出适于三维[3D]显示的视频信息的方法，该视频信息包括适于在2D显示器上显示的编码的主视频信息和用于允许三维[3D]显示的编码的附加视频信息，
该方法包括：
- 接收或生成将被覆盖在视频信息上的三维[3D]覆盖信息；
- 通过在用于生成覆盖帧的帧频率上将第一覆盖帧的部分拷贝到第一缓冲器中和将第二覆盖帧的部分拷贝到第二缓冲器中而在第一缓冲器中缓冲将被覆盖在主视频信息上的所述覆盖信息的第一部分以及在第二缓冲器中缓冲将被覆盖在附加视频信息上的所述覆盖信息的第二部分；
- 解码主视频信息和附加视频信息，并作为一系列时间交错的视频帧，生成或是主视频帧或是附加视频帧的每一个输出视频帧；
- 确定将被输出的视频帧的类型或是主视频帧或是附加视频帧；
- 通过从缓冲的第一或第二覆盖帧中拷贝相关区域而按照所确定的帧的类型，将所述覆盖信息的第一或第二部分覆盖在将被输出的视频帧上，
- 通过将所述覆盖信息的所述第一部分覆盖在所述主视频信息上并且将所述覆盖信息的所述第二部分覆盖在所述附加视频信息上来输出视频帧和覆盖的信息，其中主视频信息是左视频帧，而附加视频信息是右视频帧。
2.根据权利要求1的方法，其中覆盖信息是实时图形。
3.根据权利要求2的方法，其中实时图形利用在Java虚拟机上运行的Java应用来生成。
4.根据权利要求2的方法，其中定时信息用于依照所确定的帧的类型来控制在将被输出的视频帧上覆盖信息的第一或第二部分的覆盖。
5.根据权利要求1的方法，其中附加视频信息包括关于视频信息的深度信息。
6.一种用于解码和输出适于三维[3D]显示的视频信息的设备，该视频信息包括适于在2D显示器上显示的编码的主视频信息和用于允许三维[3D]显示的编码的附加视频信息，
该设备包括：
- 用于接收将被覆盖在视频信息上的三维[3D]覆盖信息的输入装置，或用于生成将被覆盖在视频信息上的三维[3D]覆盖信息的生成装置，
- 解码器，用于解码主视频信息和附加视频信息，该解码器进一步适合于作为一系列时间交错的视频帧来生成或是主视频帧或是附加视频帧的每一个输出视频帧；
- 图形处理单元，包括通过在用于生成覆盖帧的帧频率上将第一覆盖帧的部分拷贝到第一缓冲器中和将第二覆盖帧的部分拷贝到第二缓冲器中而用于缓冲将被覆盖在主视频信息上的所述覆盖信息的第一部分的第一缓冲器以及用于缓冲将被覆盖在附加视频信息上的所述覆盖信息的第二部分的第二缓冲器，
该图形处理单元进一步包括用于确定将被输出的视频帧的类型或是主视频帧或是附加视频帧的控制器，其中该控制器进一步适合于在用于生成覆盖帧的帧频率上将第一覆盖帧的部分拷贝到第一缓冲器中或将第二覆盖帧的部分拷贝到第二缓冲器中；
- 混合器，用于通过从缓冲的第一或第二覆盖帧中拷贝相关区域而按照所确定的帧的类型将所述覆盖信息的第一或第二部分覆盖在将被输出的视频帧上；
- 输出装置，用于通过将所述覆盖信息的所述第一部分覆盖在所述主视频信息上并且将所述覆盖信息的所述第二部分覆盖在所述附加视频信息上来输出视频帧和覆盖的信息，其中主视频信息是左视频帧，而附加视频信息是右视频帧。
7.根据权利要求6的设备，其中覆盖信息是实时图形。
8.根据权利要求7的设备，其中实时图形利用在Java虚拟机上运行的Java应用来生成。
9.根据权利要求8的设备，其中定时信息用于依照所确定的帧的类型来控制在将被输出的视频帧上覆盖信息的第一或第二部分的覆盖。
10.根据权利要求6的设备，其中附加视频信息包括关于视频信息的深度信息。
CN200980151022.5A 2008-12-19 2009-12-14 用于在3d视频上覆盖3d图形的方法和设备 Active CN102257825B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08172411 2008-12-19
EP08172411.4 2008-12-19
PCT/IB2009/055726 WO2010070567A1 (en) 2008-12-19 2009-12-14 Method and device for overlaying 3d graphics over 3d video

Publications (2)

Publication Number Publication Date
CN102257825A CN102257825A (zh) 2011-11-23
CN102257825B true CN102257825B (zh) 2016-11-16

Family

ID=41718987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980151022.5A Active CN102257825B (zh) 2008-12-19 2009-12-14 用于在3d视频上覆盖3d图形的方法和设备

Country Status (14)

Country Link
US (3) US20110249757A1 (zh)
EP (1) EP2380357B2 (zh)
JP (4) JP2012513056A (zh)
KR (1) KR20110106371A (zh)
CN (1) CN102257825B (zh)
AU (1) AU2009329113B2 (zh)
BR (1) BRPI0917764B1 (zh)
CA (1) CA2747106C (zh)
ES (1) ES2640869T3 (zh)
MX (1) MX2011006496A (zh)
MY (1) MY158823A (zh)
RU (1) RU2537800C2 (zh)
TW (1) TWI520566B (zh)
WO (1) WO2010070567A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0917764B1 (pt) 2008-12-19 2021-03-16 Koninklijke Philips N.V. método de decodificação e envio de informação de vídeo adequado para apresentação tridimensional [3d] e dispositivo para decodificação e envio de informação de vídeo adequado para monitor tridimensional [3d]
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
US9215435B2 (en) 2009-06-24 2015-12-15 Dolby Laboratories Licensing Corp. Method for embedding subtitles and/or graphic overlays in a 3D or multi-view video data
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8724696B2 (en) * 2010-09-23 2014-05-13 Vmware, Inc. System and method for transmitting video and user interface elements
US8693687B2 (en) * 2010-10-03 2014-04-08 Himax Media Solutions, Inc. Method and apparatus of processing three-dimensional video content
IT1403450B1 (it) * 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
TWI467516B (zh) * 2011-04-26 2015-01-01 Univ Nat Cheng Kung 色彩特徵擷取方法
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
CN104871533A (zh) 2012-12-24 2015-08-26 汤姆逊许可公司 用于显示立体影像的装置和方法
WO2014108741A1 (en) * 2013-01-09 2014-07-17 Freescale Semiconductor, Inc. A method and apparatus for adaptive graphics compression and display buffer switching
CN105247849B (zh) * 2013-05-31 2018-12-25 佳能株式会社 摄像系统、摄像设备及其控制方法
TWI512678B (zh) * 2013-10-02 2015-12-11 Univ Nat Cheng Kung 非暫態儲存媒體
WO2016192060A1 (en) * 2015-06-03 2016-12-08 Intel Corporation Low power video composition using a stream out buffer
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
US11461953B2 (en) 2019-12-27 2022-10-04 Wipro Limited Method and device for rendering object detection graphics on image frames
CN117201834A (zh) * 2023-09-11 2023-12-08 南京天创电子技术有限公司 基于目标检测的实时双光谱融合视频流显示方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0777393A2 (de) * 1995-12-05 1997-06-04 ViDiSys Video- und Digital-Systeme GmbH & Co. KG Verfahren und Vorrichtung zur Überlagerung von Stereo-Videobildern

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335029A (ja) * 1993-05-25 1994-12-02 Sony Corp 立体映像表示装置及び立体視の輻輳角の調整方法
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
EP0931420A4 (en) * 1996-10-11 2002-06-26 Sarnoff Corp METHOD AND DEVICE FOR CODING AND DECODING STEREOSCOPIC VIDEO SIGNALS
GB9623682D0 (en) 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
EP2259585B1 (en) 1996-12-04 2013-10-16 Panasonic Corporation Optical disk for high resolution and three dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
RU2157056C2 (ru) * 1998-02-03 2000-09-27 Логутко Альберт Леонидович Способ объемного телевидения
US6549201B1 (en) * 1999-11-23 2003-04-15 Center For Advanced Science And Technology Incubation, Ltd. Method for constructing a 3D polygonal surface from a 2D silhouette by using computer, apparatus thereof and storage medium
JP2001186515A (ja) * 1999-12-22 2001-07-06 Sanyo Electric Co Ltd 複数チャンネル信号の復号装置
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US20030103062A1 (en) 2001-11-30 2003-06-05 Ruen-Rone Lee Apparatus and method for controlling a stereo 3D display using overlay mechanism
KR100454194B1 (ko) * 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
JP2006509319A (ja) 2002-12-10 2006-03-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 記録担体上のリアルタイム情報の編集
CN100521752C (zh) * 2003-04-28 2009-07-29 松下电器产业株式会社 记录介质和方法、再现装置和方法、程序和集成电路
WO2004107765A1 (ja) 2003-05-28 2004-12-09 Sanyo Electric Co., Ltd. 立体映像表示装置及びテキストデータ処理装置及びプログラム及び記憶媒体
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP2005039398A (ja) * 2003-07-17 2005-02-10 Funai Electric Co Ltd テレビ受信装置
US7529467B2 (en) 2004-02-28 2009-05-05 Samsung Electronics Co., Ltd. Storage medium recording text-based subtitle stream, reproducing apparatus and reproducing method for reproducing text-based subtitle stream recorded on the storage medium
CN101044755A (zh) * 2004-10-19 2007-09-26 皇家飞利浦电子股份有限公司 动画颤动补偿
JP4717728B2 (ja) * 2005-08-29 2011-07-06 キヤノン株式会社 ステレオ表示装置及びその制御方法
US7773864B2 (en) * 2005-08-29 2010-08-10 Sony Corporation Slicing interactive graphic data in disc authoring
US9986258B2 (en) * 2006-03-31 2018-05-29 Koninklijke Philips N.V. Efficient encoding of multiple views
KR101377736B1 (ko) * 2006-10-11 2014-03-24 코닌클리케 필립스 엔.브이. 3차원 그래픽 데이터의 생성
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
CN101415126A (zh) * 2007-10-18 2009-04-22 深圳Tcl新技术有限公司 一种产生三维图像效果的方法及数字视频装置
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
AU2009275052B2 (en) * 2008-07-24 2014-05-29 Panasonic Corporation Playback device capable of stereoscopic playback, playback method, and program
EP2352153A4 (en) † 2008-09-30 2017-04-26 Panasonic Intellectual Property Management Co., Ltd. Recording medium on which 3d images have been recorded, playback apparatus for reproducing 3d images, and system lsi
BRPI0917764B1 (pt) 2008-12-19 2021-03-16 Koninklijke Philips N.V. método de decodificação e envio de informação de vídeo adequado para apresentação tridimensional [3d] e dispositivo para decodificação e envio de informação de vídeo adequado para monitor tridimensional [3d]
JP2011086515A (ja) 2009-10-16 2011-04-28 Konica Minolta Opto Inc Ｌｅｄ照明装置及びリフレクタ
BR112012010500A2 (pt) * 2010-09-03 2016-03-15 Panasonic Corp dispositivo de processamento de vídeo, método de processamento de vídeo, programa computacional, e método de distribuição

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0777393A2 (de) * 1995-12-05 1997-06-04 ViDiSys Video- und Digital-Systeme GmbH & Co. KG Verfahren und Vorrichtung zur Überlagerung von Stereo-Videobildern

Also Published As

Publication number Publication date
MY158823A (en) 2016-11-15
JP2017022714A (ja) 2017-01-26
CN102257825A (zh) 2011-11-23
TW201043000A (en) 2010-12-01
JP2020099045A (ja) 2020-06-25
KR20110106371A (ko) 2011-09-28
JP2012513056A (ja) 2012-06-07
TWI520566B (zh) 2016-02-01
EP2380357A1 (en) 2011-10-26
US10158841B2 (en) 2018-12-18
RU2011129788A (ru) 2013-01-27
CA2747106A1 (en) 2010-06-24
AU2009329113B2 (en) 2015-01-22
BRPI0917764A2 (pt) 2016-02-23
RU2537800C2 (ru) 2015-01-10
WO2010070567A1 (en) 2010-06-24
US20180176537A1 (en) 2018-06-21
ES2640869T3 (es) 2017-11-07
US20110249757A1 (en) 2011-10-13
US20160353081A1 (en) 2016-12-01
EP2380357B2 (en) 2020-03-18
CA2747106C (en) 2017-07-04
JP6846130B2 (ja) 2021-03-24
MX2011006496A (es) 2011-07-13
JP2015111833A (ja) 2015-06-18
EP2380357B1 (en) 2017-07-26
US9918069B2 (en) 2018-03-13
BRPI0917764B1 (pt) 2021-03-16
AU2009329113A1 (en) 2011-08-11

Similar Documents

Publication Publication Date Title
CN102257825B (zh) 用于在3d视频上覆盖3d图形的方法和设备
US11277600B2 (en) Switching between 3D video and 2D video
RU2506708C2 (ru) Механизм выбора режима 3d для воспроизведения видео
JP5697989B2 (ja) グラフィックスオブジェクトを重ね合わせるための画像プロセッサ
US20110293240A1 (en) Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
JP2011508557A5 (zh)
US20110292176A1 (en) Method and apparatus for processing video image
JP2012527814A (ja) ３ｄトリックプレイのためのエントリー・ポイント
KR101537615B1 (ko) 기록매체, 데이터 기록/재생 방법 및 데이터 기록/재생 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Eindhoven, Netherlands

Patentee after: KONINKLIJKE PHILIPS N.V.

Address before: Eindhoven, Netherlands

Patentee before: KONINKLIJKE PHILIPS ELECTRONICS N.V.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20231228

Address after: California, USA

Patentee after: LEIA Inc.

Address before: Eindhoven, Netherlands

Patentee before: KONINKLIJKE PHILIPS N.V.

TR01 Transfer of patent right