CN102318351A - 图形图像处理方法和设备 - Google Patents

图形图像处理方法和设备 Download PDF

Info

Publication number
CN102318351A
CN102318351A CN2010800080133A CN201080008013A CN102318351A CN 102318351 A CN102318351 A CN 102318351A CN 2010800080133 A CN2010800080133 A CN 2010800080133A CN 201080008013 A CN201080008013 A CN 201080008013A CN 102318351 A CN102318351 A CN 102318351A
Authority
CN
China
Prior art keywords
information
drawing object
graph image
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800080133A
Other languages
English (en)
Other versions
CN102318351B (zh
Inventor
郑吉洙
朴成煜
李大钟
全惠暎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020090014542A external-priority patent/KR101539232B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102318351A publication Critical patent/CN102318351A/zh
Application granted granted Critical
Publication of CN102318351B publication Critical patent/CN102318351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Abstract

提供了一种处理图形流的方法和设备，所述方法包括：使用三维(3D)能力信息来确定能够通过根据图形对象分配不同深度值将图形图像再现为3D图像，还是能够通过对图形图像分配相同深度值将图形图像再现为3D图像。

Description

图形图像处理方法和设备
技术领域
以下描述涉及一种用于处理图形图像的方法和设备，更具体地讲，涉及一种处理图形图像以按照三维(3D)图像输出包括字幕、菜单等的图形图像。
背景技术
随着数字技术的发展，三维(3D)图像技术应经变得广泛可用。3D图像技术涉及表达更真实的图像，这可以通过将关于深度的信息分配给2D图像来实现。3D图像技术可应用于各种领域，诸如通信领域、计算机游戏领域、医疗领域、广播领域等。3D图像技术为用户提供真实感，从而他或她好像观看现实生活中的图像。
因为人的双眼在水平方向上彼此分开一定距离，所以左眼观看的2D图像和右眼观看的2D图像不同。这种不同被称为双眼视差。大脑将不同的2D图像组合以产生具有远近感和存在感的3D图像。使用双眼视差产生3D图像的方法包括佩戴眼镜的方法和使用包括柱状透镜、视差屏障或视差照明的设备的方法。
发明内容
技术问题
本发明提供了一种处理图形图像的方法和设备，所述方法和设备以三维(3D)图像输出诸如字幕或菜单的图形图像。
有益效果
根据本发明，提供了一种处理图形图像的方法和设备，所述方法和设备能够以3D输出诸如字幕或菜单的图形图像。
最佳方式
在一个总体方面，提供了一种处理图形流的方法，所述方法包括：通过对图形流进行解码来产生图形对象；通过对图形流进行解码来产生二维(2D)组成信息和颜色信息；使用关于图形流的元数据从2D组成信息产生三维(3D)组成信息；以及使用3D组成信息和颜色信息将图形对象输出到屏幕。
所述方法还可包括：从再现设备中的播放器设置寄存器提取3D能力信息；以及使用3D能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D再现图形图像，其中，产生3D组成信息的步骤包括：响应于使用3D能力信息确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像；使用元数据获得根据图形对象的位置移动值；使用位置移动值将包括在2D组成信息中的对象位置值转换为从对象位置值向左和/或向右分离预定距离的值；以及产生用于产生左眼图形图像的左眼组成信息和用于产生右眼图形图像的右眼组成信息，左眼组成信息和右眼组成信息中的每一个包括转换的对象位置值。
获得位置移动值的步骤可包括：从元数据提取将被应用于每个图形对象的对象深度值；以及使用对象深度值获得每个图形对象的位置移动值。
产生3D组成信息的步骤可包括：通过将包括在元数据中的洞补偿信息添加到左眼组成信息和右眼组成信息中的每一个，来产生3D组成信息。
洞补偿信息可包括洞区域识别信息和将被插入到洞区域中的洞图形对象中的至少一个。输出图形对象的步骤可包括：使用3D组成信息，通过在改变的位置中布置每个图形对象并在洞区域中布置洞图形对象，来产生左眼图形图像和右眼图形图像中的每一个。产生3D组成信息的步骤可包括：从元数据提取图形图像产生标准信息，所述图形图像产生标准信息指示左眼视频图像、右眼视频图像和2D视频图像中的哪一个视频图像被用于准备图形流。
响应于基于左眼视频图像来准备图形流，产生3D组成信息的步骤可包括：使用元数据获得每个图形对象的位置移动值；使用位置移动值将包括在2D组成信息中的对象位置值向左和/或向右改变预定的距离；以及产生用于产生包括改变的对象位置值的右眼图形图像的右眼组成信息。
响应于基于右眼视频图像准备图形流，产生3D组成信息的步骤可包括：使用元数据获得每个图形对象的位置移动值；使用位置移动值将包括在2D组成信息中的对象位置值向左和/或向右改变预定的距离；以及产生用于产生包括改变的对象位置值的左眼图形图像的左眼组成信息。
所述方法还可包括：从用于执行所述方法的再现设备中的播放器设置寄存器提取3D能力信息；以及使用3D能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像，其中，响应于使用3D能力信息确定能够通过对图形图像分配相同深度值以3D形式再现图形图像，产生3D组成信息的步骤包括：使用元数据获得用于输出所有图形对象的图形图像的位置移动值；使用图形图像的位置移动值将包括在2D组成信息中的对象位置值向左和/或向右改变预定的距离；以及产生包括改变的对象位置值的3D组成信息。
输出图形对象的步骤可包括：使用3D组成信息在向左和/或向右的改变的位置交替地输出图形图像。
在另一方面，提供了一种处理图形流的设备，所述设备包括：图形处理器，被配置为通过对图形流进行解码来产生图形对象、二维(2D)组成信息和颜色信息；深度处理器，被配置为使用关于图形流的元数据从2D组成信息产生三维(3D)组成信息；以及图形图像输出单元，被配置为使用3D组成信息和颜色信息将图形对象输出到屏幕。
在另一方面，提供了一种计算机可读存储介质，所述存储介质包括：图形流；以及关于图形流的元数据，其中，图形流包括图形对象、二维(2D)组成信息和颜色信息，并且元数据包括图形对象识别信息、图形对象的深度值和位置移动值中的一个以及洞补偿信息，元数据被用于从2D组成信息产生用于以三维(3D)形式输出图形对象的3D组成信息。
在另一方面，提供了一种存储有用于使处理器执行处理图形流的方法的程序指令的计算机可读存储介质，所述方法包括：通过对图形流进行解码来产生图形对象；通过对图形流进行解码来产生二维(2D)组成信息和颜色信息；使用关于图形流的元数据从2D组成信息产生三维(3D)组成信息；以及使用3D组成信息和颜色信息将图形对象输出到屏幕。
在另一方面，提供了一种存储有用于使处理器执行处理图形流的方法的程序指令的计算机可读存储介质，所述方法包括：使用三维(3D)能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像。
在另一方面，提供了一种计算机可读存储介质，所述存储介质包括：图形流；以及用于以三维(3D)图形图像再现图形流的关于图形流的元数据，其中，元数据包括关于图形对象的深度信息和关于图形图像的深度信息，关于图形对象的深度信息包括图形对象标识符、图形对象的深度值和位置移动值中的一个以及洞补偿信息。
在另一方面，提供了一种处理图形流的方法，所述方法包括：使用三维(3D)能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像。
在另一方面，提供了一种处理图形流的设备，所述设备包括：图形解码器；被配置为使用三维(3D)能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像。
附图说明
图1是示出图形流的元数据的示例的示图。
图2是示出再现设备的示例的示图。
图3是示出构成图2的再现设备的存储器的播放器设置寄存器的示例的示图。
图4是示出用于处理图形流的设备的示例的示图。
图5是示出用于处理图形流的设备的另一示例的示图。
图6是示出用于处理图形流的设备的另一示例的示图。
图7A到图7C是示出当包括在元数据中的图形图像产生标准信息被使用时产生的组成信息的示例的示图。
图8是示出处理图形流的方法的示例的流程图。
图9是示出处理图形流的方法的另一示例的流程图。
具体实施方式
以下，将参照附图更全面地描述本发明，在附图中示出本发明的示例性实施例。
图1示出图形流的元数据的示例。
参照图1，元数据包括关于图形流的信息。为了将三维(3D)效果给予二维(2D)图像，将深度给予2D图像。当人观看屏幕时，投射到屏幕上的图像形成在双眼的后面，并且形成在双眼的后面的图像的两点之间的距离被称为视差。视差分为正视差、零视差和负视差。正视差表示当图像形成在屏幕的内部时的视差，其中，该视差小于或等于双眼之间的距离。随着视差的值增加，获得好像比屏幕位于更深的图像的3D效果。
当图像在屏幕上以2D形成时，视差为0。当视差为0时，用户不能感受3D效果。负视差表示当图像从屏幕突出时的视差，当视线交叉时产生负视差，从而用户感受好像从屏幕突出的对象的3D效果。
可使用图形流来再现视频流。例如，图形流可包括呈现图形流、交互图形流和通过程序元素(如JAVA
Figure BPA00001422680200051
)显示的图形叠加中的至少一个，其中，呈现图形流用于提供字幕，交互图形流用于提供包括按钮等的菜单以与用户交互。当以3D图像形式再现视频流时，也可以以3D形式再现使用视频流再现的图形流。根据这里的各种示例，包括用于以3D形式再现图形流的信息的数据被描述为不用于图形流的流。例如，该数据可以是关于图形流的元数据。
例如，关于图形流的元数据可包括对象输出时间信息以及关于图形对象的深度信息，其中，对象输出时间信息指示输出包括在图形流中的图形对象的时间。图形对象可指示包括在通过图形流显示的图形图像中的按钮或字幕。例如，对象输出时间信息指示输出菜单或字幕(即，图形对象)所花费的时间。可以以交互组成段(ICS)、呈现组成段(PCS)或对话呈现段(DPS)的呈现时间戳(PTS)值来指示对象输出时间信息。通过图形流显示的图形图像可包括指示菜单、按钮、字幕等的一个或多个图像对象。
如果在通过图形流显示的图形图像中包括多个图形对象，则可将不同的深度值分配给所述多个图形对象，或者可将相同的深度值分配给包括所述多个图形对象的图形图像。在这里的各种示例中，用于将不同的深度值分配给包括在图形图像中的图形对象的信息被称为关于图形对象的深度信息，用于将相同的深度值分配给包括图形对象的图形图像的信息称为关于图形图像的深度信息。
关于图形流的元数据可包括关于图形对象的深度信息和关于图形图像的深度信息中的至少一个。
关于图形对象的深度信息可包括识别图形对象的对象标识符、将被应用于图形对象的深度值或位置移动值、以及洞补偿信息(hole compensationinformation)。对象标识符是可用于在通过对图形流解码产生的图形对象中识别特定图形对象的信息。
深度值或位置移动值是可分配给由对象标识符识别的图形对象的深度值或用于基于深度值移动图形对象在屏幕中的位置的值。
洞补偿信息是用于补偿在原始对象位置产生的洞的信息。当图形对象的位置根据位置移动值被改变以向图形对象提供3D效果时，会创建洞。例如，洞补偿信息可包括用于识别洞区域的洞区域识别信息以及指示用于填充识别的洞区域的颜色的类型的颜色参考信息。作为另一示例，洞补偿信息可包括关于将被插入到洞区域中的图像等的信息，而不是颜色参考信息。为了指示将被插入到洞区域中的图像等，洞补偿信息可包括用于指示将被插入到洞区域中的洞对象以及洞对象的位置或输出时间的洞组成信息。
关于图形流的元数据可包括图形图像产生标准信息。为了将2D图像再现为3D图像，从2D图像产生根据深度值分别向左和向右倾斜一定距离的左眼图像和右眼图像。在本示例中，左眼图像和右眼图像可被交替输出到屏幕上。当针对2D图像产生图形流时不存在问题，但是，当针对左眼图像或右眼图像产生图形流时，图像处理设备(未示出)可能仅通过使用针对左眼图像产生的图形流来产生右眼图像，或者可能仅通过使用针对右眼图像产生的图形流来产生左眼图像。因此，元数据可向图像设备通知是针对2D图像、左眼图像还是右眼图像产生图形流。因此，元数据可包括图形图像产生标准信息，图形图像产生标准信息包括指示图形流是用于产生左眼图形图像、右眼图形图像、还是平面图形图像的信息。
图2示出再现设备的示例。参照图2，再现设备200包括第一读取缓冲器210、第二读取缓冲器220、第一视频解码器230、第二视频解码器240、图形解码器250、左眼视频屏幕缓冲器260、右眼视频屏幕缓冲器270、左眼图形图像缓冲器280、右眼图形图像缓冲器290以及开关500。
第一读取缓冲器210可从插入到再现设备200中的介质(诸如盘)读取视频流和图形流。例如，图形流可包括呈现图形流、交互图形流和图形叠加中的至少一个。如果关于图形流的元数据与视频流和图形流复用，则第一读取缓冲器210还可从介质读取并存储关于图形流的元数据。作为另一示例，如果关于图形流的元数据没有与视频流和图形流复用，而是作为单独流存储在介质中，则第二读取缓冲器220可从介质读取元数据，并将元数据预加载到再现设备200的存储器中。
第一视频解码器230和第二视频解码器240中的每个可对立体视频流解码。例如，第一视频解码器230可对左眼视频流解码，第二视频解码器240可对右眼视频流解码。左眼视频屏幕缓冲器260可存储通过对左眼视频流解码产生的左眼视频屏幕，右眼视频屏幕缓冲器270可存储通过对右眼视频流解码产生的右眼视频屏幕。
图形解码器250可通过解释元数据来对图形流解码。例如，图形解码器250可从元数据提取关于图形对象的深度信息、关于图形图像的深度信息等。图形解码器250是从元数据提取关于图形对象的深度信息，还是提取关于图形图像的深度信息，这可基于再现设备200如何以3D形式再现图形流。
虽然图2中没有示出，但是再现设备200可包括存储器，诸如寄存器。存储器可存储指示再现设备200是否能够以3D形式再现图形流的信息。作为另一示例，存储器可存储指示再现设备200如何以3D形式再现图形流的标志。以下，在各种示例中，标志被称为3D能力信息。
3D能力信息可包括这样的标志，该标志指示再现设备200是通过根据图形对象分配不同的深度值来以3D形式再现图形流，还是通过将相同的深度值分配给图形图像来以3D形式再现图形流。
如果再现设备200不具有以3D形式再现图形流的功能，则图形解码器250可以以2D形式再现图形流。在本示例中，图形解码器250通过在左眼图形图像缓冲器280和右眼图形图像缓冲器290上产生相同的图形图像，或者通过仅在左眼图形图像缓冲器280和右眼图形图像缓冲器290之一上产生图形图像，来以2D形式再现图形图像。
如果再现设备200能够以3D形式再现图形流，则再现设备200可确定介质(诸如盘)是否包括左眼图形流和右眼图形流二者。例如，如果盘仅包括一个图形流，而该图形流没有被划分为左眼图形流和右眼图形流，则图形解码器250可从元数据提取关于图形图像的深度信息，并可使用提取的深度信息和图形流来产生具有提取的深度信息的深度的图形图像。在本示例中，图形解码器250可使用关于图形图像的深度信息来获得与将被应用到整个图形图像的深度值相应的位置移动值，并可将左眼图形图像和右眼图形图像分别绘制在左眼图形图像缓冲器280和右眼图形图像缓冲器290上，其中，通过将图形图像映射在根据位置移动值移动到左侧和/或右侧的位置来获得左眼图形图像和右眼图形图像。产生的图形图像应该在整体上具有相同的深度值。
如果再现设备200能够以3D形式再现图形流，并且左眼图形流和右眼图形流二者被包括在介质中，即，当介质包括立体图形流时，则图形解码器250可通过从存储器提取3D能力信息来确定再现设备200如何以3D形式再现图形流。在本示例中，图形解码器250可使用包括在3D能力信息中的标志，来确定再现设备200是能够通过根据包括在图形图像中的图形对象分配不同的深度值来以3D形式再现图形流，还是能够通过将相同的深度值分配给图形图像来以3D形式再现图形流。
如果3D能力信息包括指示再现设备200能够通过根据图形对象应用不同的深度值来以3D形式再现图形流的标志，则图形解码器250可从元数据提取关于图形对象的深度信息，使用提取的深度信息对左眼图形流和右眼图形流解码，并以具有根据图形对象应用的不同的深度值的形式来产生左眼图形图像和右眼图形图像。在本示例中，图形解码器250可从关于图形图像的深度信息提取对象标识符、将被应用到每个识别的图形对象的深度值和/或位置移动值，并可通过将每个图形对象映射在根据位置移动值向左和向右移动的位置来分别在左眼图形图像缓冲器280和右眼图形图像缓冲器290上产生左眼图形图像和右眼图形图像。
如果3D能力信息包括指示再现设备200能够通过将相同的深度值分配给图形图像来以3D形式再现图形流的标志，则图形解码器250可从元数据提取关于图形图像的深度信息，通过使用提取的深度信息获得用于将相同的深度值分配给图形图像的位置移动值，并通过将图形图像映射在根据位置移动值向左和向右移动的位置来分别在左眼图形图像缓冲器280和右眼图形图像缓冲器290上产生左眼图形图像和右眼图形图像。
开关300可交替地和连续地输出存储在左眼视频屏幕缓冲器260和右眼视频屏幕缓冲器270中的左眼视频屏幕和右眼视频屏幕。作为另一示例，开关300可交替地和顺序地输出存储在左眼图形图像缓冲器280和右眼图形图像缓冲器290中的左眼图形图像和右眼图形图像。
在图2中，再现设备200包括两个图形图像缓冲器，即，左眼图形图像缓冲器280和右眼图形图像缓冲器290。作为另一示例，再现设备200可只包括一个图形图像缓冲器。例如，如果再现设备200不具有以3D形式再现图形流的功能，则再现设备200可只包括一个图形图像缓冲器。在本示例中，图形解码器250可在图形图像缓冲器上绘制图形图像，从而以2D形式再现图形图像。
作为另一示例，即使再现设备200具有以3D形式再现图形流的功能，再现设备200也可只包括一个图形图像缓冲器。如果只包括一个图形图像缓冲器，则再现设备200通过将相同的深度值分配给图形图像来以3D形式再现图形图像。在本示例中，图形解码器250可通过使用关于图形图像的深度信息来获得用于向左和向右移动图形图像的位置移动值，并根据位置移动值在图形图像缓冲器的向左和向右移动的位置交替地产生图形图像。这里，通过再现设备200再现的图形图像被分配有相同的深度值。
这样，再现设备可通过使用存储在再现设备的播放器设置寄存器中的3D能力信息，来确定是通过将相同的深度值应用于图形图像来以3D形式再现图形流，还是通过根据包括在图形图像中的多个图形对象应用不同的深度值来以3D形式再现图形流。
图3示出构成图2的再现设备200的存储器的播放器设置寄存器的示例。
例如，再现设备200的存储器可包括播放器设置寄存器和重放状态寄存器。重放状态寄存器可以是这样的寄存器，在该寄存器中，存储的值基于再现设备200的再现状态而改变。播放器设置寄存器可以是这样的寄存器，在该寄存器中，内容不通过盘中的导航命令或应用程序接口(API)命令而改变，并且播放器设置寄存器可存储当再现设备200被发布时设置的值。
播放器设置寄存器可存储指示再现设备200是否能够以3D形式再现图形流的信息。此外，播放器设置寄存器可存储指示再现设备200如何以3D形式再现图形流的3D能力信息。
参照图3，例如，播放器设置寄存器的32比特中的2比特(例如，b0和b1)可存储3D能力信息。3D能力信息可包括指示如何以3D形式再现图形流的标志。3D能力信息可包括指示如何根据图形流，即，根据交互图形流和呈现图形流中的每个来以3D形式再现每个图形流的标志。
3D能力信息可包括指示再现设备200能够通过根据包括在图形图像中的图形对象分配不同的深度值来以3D形式再现图形流的标志。3D能力信息可包括指示再现设备200能够通过将相同的深度值分配给图形图像来以3D形式再现图形流的标志。
如果3D能力信息包括指示再现设备200能够通过将相同的深度值分配给图形图像来以3D形式再现图形流的标志，则再现设备200可从元数据提取关于图形图像的深度信息，并使用提取的深度信息来再现图形图像。
如果3D能力信息包括指示再现设备200能够通过根据图形对象分配不同的深度值来以3D形式再现图形流的标志，则图形解码器250可从元数据提取关于图形对象的深度信息，并使用提取的深度信息来以3D形式再现图形图像。图形解码器250可使用包括在关于图形对象的深度信息中的对象标识符来识别包括在图形流中的每个图形对象，并可使用分配给每个识别的图形对象的深度值或位置移动值来获得将每个图形对象映射在左眼图形图像和右眼图形图像上的位置。深度值或位置移动值可基于图形对象而不同。图形解码器250可通过区分移动图形对象的位置来产生左眼图形图像和右眼图形图像，并交替地输出左眼图形图像和右眼图形图像。在本示例中，通过再现设备200再现的图形图像可基于包括在图形图像中的图形对象被分配有不同的深度值。
这样，再现设备的播放器设置寄存器可包括以下信息中的至少一个：指示再现设备是否支持以3D形式再现图形流的信息；包括指示如何以3D形式再现图形流的标志的3D能力信息。
图4示出用于处理图形流的设备的示例。
参照图4，所述设备包括图形解码器410、左眼图形图像缓冲器420、右眼图形图像缓冲器430和颜色查找表(CLUT)440。图形解码器410包括编码数据缓冲器411、图形处理器412、对象缓冲器413、编码深度缓冲器414、深度处理器415、组成缓冲器416和图形控制器417。
例如，将被解码的图形流可被记录在编码数据缓冲器411中。图形处理器412可对记录在编码数据缓冲器411中的图形流解码，以产生至少一个2D图形对象、2D组成信息和颜色信息。
图形处理器412可将用于图像的图形对象(诸如按钮或字幕)发送到对象缓冲器413。在图4的示例中，对象缓冲器413存储两个图形对象，即，笑脸图和正方形。
图形处理器412可将2D组成信息和颜色信息发送到组成缓冲器416。例如，2D组成信息可以是在将图形对象以2D形式布置在屏幕上时使用的信息，并且可用于控制图形对象的屏幕输出。
关于图形流的元数据可被包括在编码深度缓冲器414中。
在一些示例中，播放器设置寄存器可被包括在图4的设备中，并且播放器设置寄存器可存储指示所述设备如何以3D形式再现图形流的3D能力信息。所述设备可使用3D能力信息来确定是可通过对整个图形图像分配相同的深度值来以3D形式再现图形流，还是可通过基于包括在图形图像中的多个图形对象分配不同的深度值来以3D形式再现图形流。
如果所述设备使用3D能力信息确定可通过根据图形对象应用不同的深度值来以3D形式再现图形流，则所述设备可通过从元数据提取关于图形对象的对象输出时间信息和深度信息来以3D形式再现图形流。
深度处理器415可从存储在编码深度缓冲器414中的元数据提取并解释关于图形流的深度信息。例如，关于图形对象的深度信息可包括对象标识符以及将被分配给由对象标识符识别的图像对象的深度值或位置移动值。深度处理器415可使用包括在关于图形对象的深度信息中的对象标识符来识别包括在图形流中的图形对象。
深度处理器415可使用包括在深度信息中的位置移动值将包括在2D组成信息中的识别的图形对象的位置值向左或向右改变预定距离。如果在元数据中包括深度值，而不是位置移动值，则深度处理器415可使用深度值获得用于将图形对象映射在左眼图形图像和右眼图形图像中的位置，并可使用用于映射图形对象的位置和图形对象的原始位置之间的差获得图形对象的位置移动值。
深度处理器415可产生左眼组成信息，在左眼组成信息中，图形对象的位置值从原始位置向左或向右改变预定距离。此外，深度处理器415可产生右眼组成信息，在右眼组成信息中，图形对象的位置值从原始位置向左或向右改变预定距离。在各种示例中，左眼组成信息和右眼组成信息可用于在屏幕上布置左眼图形图像和右眼图形图像。
深度处理器415可从元数据提取并解释洞补偿信息，以填充随着图形对象的位置改变而产生的洞区域。在图4中，假设洞补偿信息包括用于识别洞区域的洞区域识别信息和指示将被用于填充洞区域的颜色的颜色参考信息。深度处理器415可通过将洞补偿信息插入到左眼组成信息和右眼组成信息中的每个来产生3D组成信息。3D组成信息可用于在屏幕上以3D形式布置图形对象并且包括洞补偿信息，在所述屏幕中，2D组成信息中的图形对象的位置值被改变。深度处理器415将产生的3D组成信息存储在组成缓冲器416中。
图形控制器417可使用包括在元数据中的对象输出时间信息来检测用于输出图形对象的呈现时间戳(PTS)。如果PTS指示到达输出图形对象的时间，则图形控制器417可使用存储在组成缓冲器416中的3D组成信息来读取存储在对象缓冲器413中的图形对象，并可把将被输出到屏幕上的图像发送并布置到左眼图形图像缓冲器420和右眼图形图像缓冲器430。
图形控制器417可通过将颜色信息发送到CLUT 440在屏幕上形成图形对象。这里，图形控制器417通过使用洞补偿信息，利用由颜色参考信息指示的颜色来填充洞区域。
这样，可使用关于图形对象的2D组成信息来产生3D组成信息，并且可使用3D组成信息以3D形式将图形对象输出到屏幕上。
图5示出用于处理图形流的设备的另一示例。
参照图5，所述设备包括图形解码器510、左眼图形图像缓冲器520、右眼图形图像缓冲器530和CLUT 540。图形解码器510包括编码数据缓冲器511、图形处理器512、对象缓冲器513、编码深度缓冲器514、深度处理器515、组成缓冲器516、图形控制器517和闭塞(occlusion)缓冲器518。
除了图形解码器510还包括闭塞缓冲器518以外，图5的设备与图4的设备相同。因为图5的设备的其他部件与图4的设备的其他部件执行相同功能，所以为了简明，会省略其进一步描述。
参照图5，所述设备的播放器设置寄存器可包括指示设备是否能够以3D形式再现图形流的信息和/或指示如何以3D形式再现图形流的3D能力信息。所述设备可确定是可通过对整个图形图像应用相同的深度值来以3D形式再现图形流，还是可通过根据包括在图形图像中的多个图形对象分配不同的深度值来以3D形式再现图形流。
如果所述设备确定可通过根据图形对象应用不同的深度值来以3D形式再现图形流，则所述设备可从关于图形流的元数据提取关于图形对象的对象输出时间信息和深度信息。
与图4的设备不同，图5的设备可使用包括洞对象和洞组成信息作为洞补偿信息的元数据。
图形处理器512可通过对记录在编码数据缓冲器511中的图形流解码，来产生至少一个图形对象、2D组成信息和颜色信息。图形处理器512可将2D组成信息和颜色信息发送到组成缓冲器516，并可将图形对象发送到对象缓冲器513。
深度处理器515可从元数据提取并解释洞补偿信息，以填充随着图形对象的位置改变而产生的洞区域。如这里所描述的，图5的洞补偿信息可包括洞对象和洞区域信息。深度处理器515可将解码的洞对象发送到闭塞缓冲器518。
深度处理器515可通过解释元数据，来获得对象标识符和将被分配给识别的图形对象的深度值/位置移动值。深度处理器515可使用深度值/位置移动值改变在由图形处理器512解码的2D组成信息中的图形对象的位置。深度处理器515可产生均包括2D组成信息和洞区域识别信息的左眼组成信息和右眼组成信息，在所述2D组成信息中，图形对象的位置被改变。
如果PTS指示到达以3D形式输出图形对象的时间，则为了显示左眼图像和右眼图像，图形控制器517可从对象缓冲器513和闭塞缓冲器518分别读取图形对象和洞对象，并可通过将左眼组成信息和右眼组成信息应用于图形对象和洞对象来布置图形对象和洞对象。图形控制器517可通过应用经由CLUT 540分配的颜色来输出图形对象和洞对象。
图6示出用于处理图形流的设备的另一示例。
参照图6，所述设备包括图形解码器610、图形图像缓冲器620、CLUT 630和开关640。图形解码器610包括编码数据缓冲器611、图形处理器612、对象缓冲器613、编码深度缓冲器614、深度处理器615、组成缓冲器616和图形控制器617。
图6的设备的播放器设置寄存器可包括指示设备是否能够以3D形式再现图形流的信息和/或指示如何以3D形式再现图形流的3D能力信息。所述设备可使用3D能力信息确定是可通过对整个图形图像分配相同的深度值来以3D形式再现图形流，还是可通过根据包括在图形图像中的多个图形对象分配不同的深度值来以3D形式再现图形流。
在本示例中，图6的设备只包括一个图形图像缓冲器620。存储在所述设备的播放器设置寄存器中的3D能力信息可包括指示所述设备能够通过对整个图形图像应用相同的深度值来以3D形式再现图形流的标志。
与图4或图5的设备不同，图6的设备通过从元数据提取关于图形图像的深度信息，而不是从元数据提取关于图形对象的深度信息，来以3D形式再现图形流。如这里所描述的，关于图形图像的深度信息可以是用于将相同的深度值分配给图形对象被输出到的整个屏幕的信息。在本示例中，元数据可包括关于图形对象的深度信息和关于图形图像的深度信息二者。然而，因为在图6的设备中只有一个图形图像缓冲器，所以图6的设备不能如同图4或图5的设备那样产生并在图形图像缓冲器中存储左眼图形图像和右眼图形图像中的每个。相反，图6的设备可从元数据提取关于图形图像的深度信息，可获得与将被应用于图形图像的深度值相应的位置移动值，并可根据位置移动值将图形图像交替地分散到从一个图形平面向左和向右分开的位置，从而以3D形式再现图形图像。
图形处理器612可通过对记录在编码数据缓冲器611中的图形流解码来产生图形对象、2D组成信息和颜色信息。图形处理器612可将2D组成信息和颜色信息发送到组成缓冲器616，并可将图形对象发送到对象缓冲器613。
因为图6的设备只包括一个图形图像缓冲器620，所以深度处理器615可提取关于图形图像的深度信息，而不是提取关于图形对象的深度信息，并可将提取的深度信息发送到组成缓冲器616。关于图形图像的深度信息在图6中被指示为“主移动(深度)”(Master Shift(Depth))。深度处理器615可使用包括在关于图形图像的深度信息中的图形图像的深度值或图形图像的位置移动值，获得用于将图形图像向左和/或向右移动从而以3D形式再现图形图像的移动距离。
深度处理器615可产生2D组成信息以及包括关于图形图像的深度信息和颜色信息的3D组成信息，并可将2D组成信息以及3D组成信息存储在组成缓冲器616中。
如果PTS指示到达以3D形式输出图形对象的时间，则图形控制器617可从对象缓冲器613读取图形对象，通过将组成信息应用于图形对象在图形图像缓冲器620中布置图形对象，并将经由CLUT 540分配的颜色应用于图形对象。
图形控制器617可将通过使用关于图形图像的深度信息获得的图形图像移动值发送到开关640。开关640可将图形图像交替地分散到根据图形图像移动值在屏幕上向左和向右移动的位置，以交替地输出左眼图形图像和右眼图形图像。
例如，当显示装置以基于一只眼睛至少60Hz的帧率显示图像时，观看者可感觉到图像被无停顿地连续再现。因为通过组合经由左眼和右眼接收的图像来产生3D图像，所以显示装置可以以至少120Hz的帧率来输出图像，从而观看者感觉到3D图像被连续再现。这表示当左眼图像和右眼图像以1/120秒为单位连续显示时，观看者感觉到3D图像。因此，开关640可以以1/120秒为单位输出左眼图形图像和右眼图形图像，从而以3D形式再现图形图像。
图7A到图7C示出当包括在元数据中的图形图像产生标准信息被使用时产生的组成信息的示例。
在这里的描述中，假设基于视频图像来产生图形流，在所述视频图像中，通过深度值或位置移动值产生左眼图形图像和右眼图形图像。然而，可仅基于左眼(或右眼)视频图像来产生关于图形图像的元数据，即，可产生关于左眼图形图像的元数据。
在图7A到图7C中，图形图像产生标准信息还包括在元数据中(图形图像产生标准信息指示图形流是针对左眼视频图像产生的左眼图形流，是针对右眼视频图像产生的右眼图形流，还是基于2D视频图像被准备)，并且基于包括在元数据中的图形图像产生标准信息来产生组成信息。
在图7A中，基于2D视频图像流的中心来准备图形流。与图4的深度处理器415相似，深度处理器可通过根据图形对象应用位置移动值或深度值来产生左眼组成信息和右眼组成信息，并可将左眼组成信息和右眼组成信息存储在组成缓存器中。
在图7B中，基于左眼视频图像来准备图形流。在这个示例中，由于关于包括在图形流中的图形对象的2D组成信息与左眼组成信息相同，所以深度处理器仅产生右眼组成信息。深度处理器可通过根据图形对象应用深度值/位置移动值来产生右眼组成信息，并将产生的右眼组成信息与由图形处理器解码的左眼组成信息一起存储在组成缓存器中。
在图7C中，基于右眼视频图像来准备图形流。在这个示例中，由于关于包括在图形流中的图形对象的2D组成信息与右眼组成信息相同，所以深度处理器仅产生左眼组成信息。深度处理器可通过根据图形对象应用深度值/位置移动值来产生左眼组成信息，并将产生的左眼组成信息与由图形处理器解码的右眼组成信息一起存储在组成缓存器中。
图8示出处理图形流的方法的示例。
参照图8，在810中，用于处理图形流的设备通过对图形流解码来产生图形对象、2D组成信息和颜色信息。
在820中，所述设备使用关于图形流的元数据来从2D组成信息产生3D组成信息。因此，所述设备可使用元数据来获得图形对象的位置移动值，并产生包括位置值的左眼组成信息和右眼组成信息，其中，通过使用位置移动值将包括在2D组成信息中的对象位置值向左和向右改变预定的距离来获得所述位置值。另外，所述设备可通过将包括在元数据中的洞组成信息插入到左眼组成信息和右眼组成信息的每一个中来产生3D组成信息。
在830中，所述设备使用3D组成信息和颜色信息以3D形式输出图形对象。
图9示出处理图形流的方法的另一示例。
参照图9，在910中，用于处理图形流的设备从播放器设置寄存器提取3D能力信息。3D能力信息可指示所述设备如何以3D形式再现图形流。3D能力信息可包括以下标志中的一个：指示所述设备能够通过根据图形对象分配不同深度值来以3D形式再现图形流的标志；指示所述设备能够通过对整个图形图像分配相同深度值来以3D形式再现图形流的标志。
在920，所述设备确定3D能力信息是否包括指示所述设备能够通过根据图形对象分配不同深度值来以3D形式再现图形流的标志。
如果确定3D能力信息包括指示所述设备能够通过根据图形对象分配不同深度值来以3D形式再现图形流的标志，则在930中，所述设备从元数据提取深度信息。另外，在930中，所述设备使用对象标识符、深度值或位置移动值以及包括在深度信息中的洞补偿信息来产生左眼图形图像和右眼图形图像，并交替地输出左眼图形图像和右眼图形图像，从而以3D形式再现图形流，其中，所述左眼图形图像和右眼图形图像根据图形对象分配不同深度值。
如果在920确定3D能力信息不包括指示所述设备能够通过根据图形对象分配不同深度值来以3D形式再现图形流的标志，即，当3D能力信息包括指示所述设备能够通过对整个图形图像分配相同深度值来以3D形式再现图形流的标志时，则在940中，所述设备从元数据提取关于图形图像的深度信息，并通过使用提取的深度信息将相同的深度值分配给图形图像来以3D形式再现图形流。
虽然已经参照本发明的优选实施例具体显示和描述了本发明，但是本领域的普通技术人员应理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对其作出形式和细节上的各种改变。优选实施例应被理解为仅用于描述的目的，而不是用于限制的目的。因此，本发明的范围不是由本发明的详细描述所限定，而是由权利要求所限定，并且该范围内的所有区别应被解释为包括在本发明中。

Claims (48)

1.一种处理图形流的方法，所述方法包括：
通过对图形流进行解码来产生图形对象；
通过对图形流进行解码来产生二维(2D)组成信息和颜色信息；
使用关于图形流的元数据从2D组成信息产生三维(3D)组成信息；以及
使用3D组成信息和颜色信息将图形对象输出到屏幕。
2.如权利要求1所述的方法，还包括：
从再现设备中的播放器设置寄存器提取3D能力信息；以及
使用3D能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像，
其中，产生3D组成信息的步骤包括：
响应于使用3D能力信息确定能够通过根据图形对象分配不同深度值被3D形式再现图形图像，使用元数据获得根据图形对象的位置移动值；
使用位置移动值将包括在2D组成信息中的对象位置值转换为从对象位置值向左和/或向右分离预定距离的值；以及
产生用于产生左眼图形图像的左眼组成信息和用于产生右眼图形图像的右眼组成信息，左眼组成信息和右眼组成信息中的每一个包括转换的对象位置值。
3.如权利要求2所述的方法，其中，获得位置移动值的步骤包括：
从元数据提取将被应用于每个图形对象的对象深度值；以及
使用对象深度值获得每个图形对象的位置移动值。
4.如权利要求2所述的方法，其中，产生3D组成信息的步骤包括：通过将包括在元数据中的洞补偿信息添加到左眼组成信息和右眼组成信息中的每一个，来产生3D组成信息。
5.如权利要求4所述的方法，其中，洞补偿信息包括洞区域识别信息和颜色参考信息。
6.如权利要求5所述的方法，其中，输出图形对象的步骤包括：使用3D组成信息，通过在改变的位置中布置每个图形对象并将由颜色参考信息指示的颜色应用于洞区域，来产生左眼图形图像和右眼图形图像中的每一个。
7.如权利要求4所述的方法，其中，洞补偿信息包括洞区域识别信息和将被插入到洞区域中的洞图形对象中的至少一个。
8.如权利要求7所述的方法，其中，输出图形对象的步骤包括：使用3D组成信息，通过在改变的位置中布置每个图形对象并在洞区域中布置洞图形对象，来产生左眼图形图像和右眼图形图像中的每一个。
9.如权利要求1所述的方法，其中，产生3D组成信息的步骤包括：从元数据提取图形图像产生标准信息，所述图形图像产生标准信息指示左眼视频图像、右眼视频图像和2D视频图像中的哪一个视频图像被用于准备图形流。
10.如权利要求9所述的方法，其中，响应于基于左眼视频图像准备图形流，产生3D组成信息的步骤包括：
使用元数据获得每个图形对象的位置移动值；
使用位置移动值将包括在2D组成信息中的对象位置值向左和/或向右改变预定的距离；以及
产生用于产生包括改变的对象位置值的右眼图形图像的右眼组成信息。
11.如权利要求10所述的方法，其中，响应于基于右眼视频图像准备图形流，产生3D组成信息的步骤包括：
使用元数据获得每个图形对象的位置移动值；
使用位置移动值将包括在2D组成信息中的对象位置值向左和/或向右改变预定的距离；以及
产生用于产生包括改变的对象位置值的左眼图形图像的左眼组成信息。
12.如权利要求1所述的方法，还包括：
从用于执行所述方法的再现设备中的播放器设置寄存器提取3D能力信息；以及
使用3D能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像，
其中，响应于使用3D能力信息确定能够通过对图形图像分配相同深度值以3D形式再现图形图像，产生3D组成信息的步骤包括：
使用元数据获得用于输出所有图形对象的图形图像的位置移动值；
使用图形图像的位置移动值将包括在2D组成信息中的对象位置值向左和/或向右改变预定的距离；以及
产生包括改变的对象位置值的3D组成信息。
13.如权利要求12所述的方法，其中，输出图形对象的步骤包括：使用3D组成信息在向左和/或向右的改变的位置交替地输出图形图像。
14.一种处理图形流的设备，所述设备包括：
图形处理器，被配置为通过对图形流进行解码来产生图形对象、二维(2D)组成信息和颜色信息；
深度处理器，被配置为使用关于图形流的元数据从2D组成信息产生三维(3D)组成信息；以及
图形图像输出单元，被配置为使用3D组成信息和颜色信息将图形对象输出到屏幕。
15.如权利要求14所述的设备，还包括用于存储3D能力信息的播放器设置寄存器，
其中，深度处理器还被配置为使用3D能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像，并且
响应于使用3D能力信息确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，深度处理器还被配置为使用元数据获得根据每个图形对象的位置移动值，使用位置移动值将包括在2D组成信息中的对象位置值改变为从对象位置值向左和/或向右分离预定的距离的值，并产生用于产生左眼图形图像的左眼组成信息和用于产生右眼图形图像的右眼组成信息，左眼组成信息和右眼组成信息中的每一个包括改变的对象位置值。
16.如权利要求15所述的设备，其中，深度处理器还被配置为从元数据提取将被应用于每个图形对象的对象深度值，并使用对象深度值获得每个图形对象的位置移动值。
17.如权利要求15所述的设备，其中，深度处理器还被配置为通过将包括在元数据中的洞补偿信息添加到左眼组成信息和右眼组成信息中的每一个，来产生3D组成信息。
18.如权利要求17所述的设备，其中，洞补偿信息包括洞区域识别信息和颜色参考信息。
19.如权利要求18所述的设备，其中，图形图像输出单元还被配置为通过在改变的位置中布置每个图形对象并将由颜色参考信息指示的颜色应用于洞区域，来产生左眼图形图像和右眼图形图像中的每一个。
20.如权利要求17所述的设备，其中，洞补偿信息包括洞区域识别信息和将被插入到洞区域中的洞图形对象中的至少一个。
21.如权利要求20所述的设备，其中，图形图像输出单元还被配置为通过在改变的位置中布置每个图形对象并在洞区域中布置洞图形对象，来产生左眼图形图像和右眼图形图像中的每一个。
22.如权利要求14所述的设备，其中，深度处理器还被配置为从元数据提取图形图像产生标准信息，所述图形图像产生标准信息指示左眼视频图像、右眼视频图像和2D视频图像中的哪一个视频图像被用于准备图形流。
23.如权利要求22所述的设备，其中，响应于基于左眼视频图像准备图形流，深度处理器还被配置为使用元数据获得每个图形对象的位置移动值，使用位置移动值将包括在2D组成信息中的对象位置值向左和/或向右改变预定的距离，并产生用于产生包括改变的对象位置值的右眼图形图像的右眼组成信息。
24.如权利要求23所述的设备，其中，响应于基于右眼视频图像来准备图形流，深度处理器还被配置为使用元数据获得每个图形对象的位置移动值，使用位置移动值将包括在2D组成信息中的对象位置值向左和/或向右改变预定的距离，并产生用于产生包括改变的对象位置值的左眼图形图像的左眼组成信息。
25.如权利要求14所述的设备，还包括用于存储3D能力信息的播放器设置寄存器，
其中，深度处理器还被配置为使用3D能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像，并且
响应于使用3D能力信息确定能够通过对图形图像分配相同深度值以3D形式再现图形图像，深度处理器还被配置为使用元数据获得用于输出所有图形对象的图形图像的位置移动值，使用图形图像的位置移动值将包括在2D组成信息中的对象位置值向左和/或向右改变预定的距离，并产生包括改变的对象位置值的3D组成信息。
26.如权利要求25所述的设备，其中，图形图像输出单元还被配置为使用3D组成信息在向左和/或向右的改变的位置交替地输出图形图像。
27.一种计算机可读存储介质，包括：
图形流；以及
关于图形流的元数据，
其中，图形流包括图形对象、二维(2D)组成信息和颜色信息，并且
元数据包括图形对象识别信息、图形对象的深度值和位置移动值中的一个以及洞补偿信息，元数据被用于从2D组成信息产生用于以三维(3D)形式输出图形对象的3D组成信息。
28.一种计算机可读存储介质，所述计算机可读存储介质存储有用于使处理器执行处理图形流的方法的程序指令，所述方法包括：
通过对图形流进行解码来产生图形对象；
通过对图形流进行解码来产生二维(2D)组成信息和颜色信息；
使用关于图形流的元数据从2D组成信息产生三维(3D)组成信息；以及
使用3D组成信息和颜色信息将图形对象输出到屏幕。
29.一种计算机可读存储介质，所述计算机可读存储介质存储有用于使处理器执行处理图形流的方法的程序指令，所述方法包括：
使用三维(3D)能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像。
30.一种计算机可读存储介质，包括：
图形流；以及
用于以三维(3D)图形图像再现图形流的关于图形流的元数据，
其中，元数据包括关于图形对象的深度信息和关于图形图像的深度信息，以及
关于图形对象的深度信息包括图形对象标识符、图形对象的深度值和位置移动值中的一个以及洞补偿信息。
31.一种处理图形流的方法，所述方法包括：使用三维(3D)能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像。
32.如权利要求31所述的方法，还包括：在所述确定步骤之前，确定将被解码的图形流是否是立体图形流，
其中，当将被解码的图形流是立体图形流时，确定是否能够以3D形式再现图形图像的步骤被执行。
33.如权利要求31所述的方法，其中，3D能力信息存储在再现设备的播放器设置寄存器中，所述方法还包括：在所述确定步骤之前，从播放器设置寄存器提取3D能力信息。
34.如权利要求33所述的方法，还包括：
响应于使用3D能力信息确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，从关于图形流的元数据提取关于图形对象的深度信息；以及
使用关于图形对象的深度信息以3D形式再现图形流。
35.如权利要求34所述的方法，其中，关于图形对象的深度信息包括将被应用于由图形对象标识符识别的每个图形对象的深度值和位置移动值中的一个以及图形对象标识符，并且
使用关于图形对象的深度信息以3D形式再现图形流的步骤包括：通过使用位置移动值将每个图形对象向左和/或向右移动来获得用于映射每个图形对象的位置，并通过在获得的位置中布置每个图形对像来产生左眼图形图像和右眼图形图像。
36.如权利要求35所述的方法，还包括：响应于关于图形对象的深度信息包括将被应用于每个图形对象的深度值，将深度值改变为位置移动值。
37.如权利要求35所述的方法，其中，关于图形对象的深度信息还包括洞补偿信息，并且
产生左眼图形图像和右眼图形图像的步骤包括：使用洞补偿信息来填充通过改变每个图形对象的位置而产生的洞区域。
38.如权利要求33所述的方法，还包括：
响应于使用3D能力信息确定能够通过对图形图像分配相同深度值以3D形式再现图形图像，从关于图形流的元数据提取关于图形图像的深度信息；以及
使用关于图形图像的深度信息以3D形式再现图形流。
39.如权利要求38所述的方法，其中，以3D形式再现图形流的步骤包括：
使用关于图形图像的深度信息获得用于移动图形图像的位置移动值；以及
通过使用位置移动值将图形图像向左和/或向右移动来获得用于映射图形图像的位置，并通过在获得的位置中布置图形图像来产生左眼图形图像和右眼图形图像。
40.一种处理图形流的设备，包括：图形解码器，被配置为使用三维(3D)能力信息来确定能够通过根据图形对象分配不同深度值被3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像。
41.如权利要求40所述的设备，其中，图形解码器还被配置为确定将被解码的图形流是否是立体图形流，如果将被解码的图形流是立体图形流，则图形解码器被配置为使用3D能力信息来确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，还是能够通过对图形图像分配相同深度值以3D形式再现图形图像。
42.如权利要求40所述的设备，还包括：播放器设置寄存器，被配置为存储3D能力信息，其中，图形解码器从播放器设置寄存器提取3D能力信息。
43.如权利要求42所述的设备，其中，响应于使用3D能力信息确定能够通过根据图形对象分配不同深度值以3D形式再现图形图像，图形解码器还被配置为从关于图形流的元数据提取关于图形对象的深度信息，并使用关于图形对象的深度信息以3D形式再现图形流。
44.如权利要求43所述的设备，其中，关于图形对象的深度信息包括将被应用于由图形对象标识符识别的每个图形对象的深度值和位置移动值中的一个以及图形对象标识符，并且
图形解码器还被配置为通过使用位置移动值将每个图形对象向左和/或向右来获得用于映射每个图形对象的位置，并通过在获得的位置中布置每个图形对像来产生左眼图形图像和右眼图形图像。
45.如权利要求44所述的设备，其中，响应于关于图形对象的深度信息包括将被应用于每个图形对象的深度值，图形解码器还被配置为将深度值改变为位置移动值。
46.如权利要求44所述的设备，其中，关于图形对象的深度信息还包括洞补偿信息，并且
图形解码器还被配置为使用洞补偿信息来填充通过改变每个图形对象的位置而产生的洞区域。
47.如权利要求42所述的设备，其中，响应于使用3D能力信息确定能够通过对图形图像分配相同深度值以3D形式再现图形图像，图形解码器还被配置为从关于图形流的元数据提取关于图形图像的深度信息，并使用关于图形图像的深度信息以3D形式再现图形流。
48.如权利要求47所述的设备，其中，图形解码器还被配置为使用关于图形图像的深度信息获得用于移动图形图像的位置移动值，通过使用位置移动值将图形图像向左和/或向右移动来获得用于映射图形图像的位置，并通过在获得的位置中布置图形图像来产生左眼图形图像和右眼图形图像。
CN201080008013.3A 2009-02-17 2010-02-16 图形图像处理方法和设备 Active CN102318351B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2009-0013152 2009-02-17
KR20090013152 2009-02-17
KR10-2009-0014542 2009-02-20
KR1020090014542A KR101539232B1 (ko) 2009-02-20 2009-02-20 3차원 그래픽 생성 방법 및 장치
PCT/KR2010/000931 WO2010095838A2 (ko) 2009-02-17 2010-02-16 그래픽 화면 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
CN102318351A true CN102318351A (zh) 2012-01-11
CN102318351B CN102318351B (zh) 2016-06-15

Family

ID=42634309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080008013.3A Active CN102318351B (zh) 2009-02-17 2010-02-16 图形图像处理方法和设备

Country Status (7)

Country Link
US (2) US8497858B2 (zh)
EP (1) EP2400767A4 (zh)
JP (1) JP5789518B2 (zh)
CN (1) CN102318351B (zh)
BR (1) BRPI1008575A2 (zh)
MY (1) MY152817A (zh)
WO (1) WO2010095838A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
CN104823125A (zh) * 2012-10-19 2015-08-05 微软技术许可有限责任公司 基于用户和设备移动的显示补偿

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102318351B (zh) 2009-02-17 2016-06-15 三星电子株式会社 图形图像处理方法和设备
KR101659576B1 (ko) 2009-02-17 2016-09-30 삼성전자주식회사 영상 처리 방법 및 장치
KR20120017228A (ko) * 2010-08-18 2012-02-28 엘지전자 주식회사 이동 단말기 및 상기 이동 단말기의 영상 표시 방법
JP5915158B2 (ja) * 2011-12-22 2016-05-11 ソニー株式会社 タイムコード表示装置及びタイムコード表示方法
CN106664448A (zh) 2014-07-11 2017-05-10 Lg 电子株式会社 用于发送和接收广播信号的方法和设备
WO2016006971A1 (ko) * 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016017961A1 (ko) * 2014-07-29 2016-02-04 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016036012A1 (ko) * 2014-09-04 2016-03-10 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016060415A1 (ko) * 2014-10-12 2016-04-21 엘지전자 주식회사 Xml 서브타이틀의 트릭 플레이를 위한 방송 신호 송수신 방법 및 장치
US20230086037A1 (en) * 2021-09-17 2023-03-23 Lucid Software, Inc. Graphical diagram comparison

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1679056A (zh) * 2002-08-27 2005-10-05 夏普株式会社 可用最佳的重放模式重放内容的内容重放装置
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display
WO2008044191A2 (en) * 2006-10-11 2008-04-17 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
CN101321218A (zh) * 2007-06-07 2008-12-10 夏普株式会社 显示系统和图像处理装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09139957A (ja) 1995-11-14 1997-05-27 Mitsubishi Electric Corp グラフィック表示装置
JPH11113028A (ja) 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
KR100560507B1 (ko) * 1997-12-05 2006-03-15 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 개선된 영상 변환 및 부호화 기술
US6717578B1 (en) * 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
JP4610799B2 (ja) 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
KR100436904B1 (ko) 2002-09-06 2004-06-23 강호석 2차원이미지에 대한 입체영상생성방법
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
JP2005229384A (ja) 2004-02-13 2005-08-25 Nippon Hoso Kyokai <Nhk> マルチメディア情報配受信システム、マルチメディア情報配信装置およびマルチメディア情報受信装置
US7697750B2 (en) * 2004-12-06 2010-04-13 John Castle Simmons Specially coherent optics
JP2006191357A (ja) 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP4638784B2 (ja) 2005-07-19 2011-02-23 オリンパスイメージング株式会社 画像出力装置及びプログラム
JP2007115293A (ja) * 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
DE102006030990A1 (de) 2005-11-14 2007-05-16 Univ Muenster Wilhelms Verfahren und Anordnung zum monoskopischen Darstellen wenigstens eines Bereiches eines Bildes auf einer autostereoskopischen Anzeigevorrichtung
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
WO2007148219A2 (en) * 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
JP5132690B2 (ja) 2007-03-16 2013-01-30 トムソン ライセンシング テキストを３次元コンテンツと合成するシステム及び方法
WO2010089995A1 (ja) * 2009-02-04 2010-08-12 パナソニック株式会社 記録媒体、再生装置、及び集積回路
CN102318351B (zh) 2009-02-17 2016-06-15 三星电子株式会社 图形图像处理方法和设备
WO2010095381A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1679056A (zh) * 2002-08-27 2005-10-05 夏普株式会社 可用最佳的重放模式重放内容的内容重放装置
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display
WO2008044191A2 (en) * 2006-10-11 2008-04-17 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
CN101321218A (zh) * 2007-06-07 2008-12-10 夏普株式会社 显示系统和图像处理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
CN103390164B (zh) * 2012-05-10 2017-03-29 南京理工大学 基于深度图像的对象检测方法及其实现装置
CN104823125A (zh) * 2012-10-19 2015-08-05 微软技术许可有限责任公司 基于用户和设备移动的显示补偿
US9922399B2 (en) 2012-10-19 2018-03-20 Microsoft Technology Licensing, Llc User and device movement based display compensation with corrective action for displaying content on a device
CN104823125B (zh) * 2012-10-19 2018-11-16 微软技术许可有限责任公司 基于用户和设备移动的显示补偿

Also Published As

Publication number Publication date
WO2010095838A2 (ko) 2010-08-26
WO2010095838A3 (ko) 2010-11-18
BRPI1008575A2 (pt) 2016-03-08
MY152817A (en) 2014-11-28
US20130286008A1 (en) 2013-10-31
JP2012518323A (ja) 2012-08-09
US9035942B2 (en) 2015-05-19
US8497858B2 (en) 2013-07-30
EP2400767A2 (en) 2011-12-28
JP5789518B2 (ja) 2015-10-07
US20110298797A1 (en) 2011-12-08
EP2400767A4 (en) 2012-09-05
CN102318351B (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN102318351A (zh) 图形图像处理方法和设备
JP5820276B2 (ja) ３ｄ画像及びグラフィカル・データの結合
US9357231B2 (en) Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
KR101634569B1 (ko) 3ｄ 이미지 데이터의 전송
KR101749893B1 (ko) 다목적 ３―ｄ 화상 포맷
ES2435669T3 (es) Gestión de subtítulos en visualización en 3D
JP5553310B2 (ja) 立体的なレンダリングのための画像エンコード方法
KR101659576B1 (ko) 영상 처리 방법 및 장치
EP2235685B1 (en) Image processor for overlaying a graphics object
JP5809064B2 (ja) ３ｄ画像データの転送
KR20110113186A (ko) 비디오 인터페이스를 통해 송신하고 ３ｄ 비디오 및 ３ｄ 오버레이들을 합성하기 위한 방법 및 시스템
CN102549507A (zh) 选择视点用于在3d视频中生成附加视图
KR20100002031A (ko) 3차원 비디오 영상 처리 방법 및 장치
KR101314601B1 (ko) 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및 콘텐츠 표출 방법
KR20100128233A (ko) 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant