CN102450025A - 图像处理方法和设备 - Google Patents

Abstract

公开一种图像处理方法，包括：从视频流提取指示三维视频图像的视频深度信息；通过使用视频深度信息，调整与三维视频图像同步的将被再现的图形图像的深度值。

Description

图像处理方法和设备

技术领域

本发明涉及一种用于处理图像的方法和设备，更具体地说，涉及一种使用三维(3D)视频图像的深度值来调整将与3D图像一起再现的图形屏幕的深度值的用于处理图像的方法和设备。

背景技术

随着数字技术的发展，在三维(3D)图像中再现视频图像的技术的使用变得越来越广泛。

3D视频图像可与附加地与视频图像一起提供的图形元素(诸如菜单或字幕)一起显示。与3D视频图像一起再现的图形元素可以以二维(2D)或3D再现。

图1A和图1B是用于说明当视频图像和图形元素以3D再现时视频图像和图形元素的深度值的示图。视频图像可包括一个或多个对象。在图1A和图1B中，对象包括在视频图像中。

当从屏幕100的突出(protrusion)被称为深度值时，参照图1A，包括在视频图像中的对象的深度值110大于图形元素的深度值120，从而所述对象看上去比图形元素从屏幕100更加突出。在这种情况下，观看屏幕100的观看者识别出菜单(即，图形元素)布置地比包括在视频图像中的对象更向内。图形元素布置地比包括在视频图像中的对象更向内，从而对象被图形元素部分地隐藏。在这种情况下，观看者识别出对象和图形元素不自然地被再现。

参照图1B，图形元素的深度值120保持不变，与图形元素一起再现的包括在视频图像中的对象的深度值110变化。一般来说，图形元素的深度值120具有固定值或关于特定时间而变化。同时，与具有固定深度值的图形元素一起再现的包括在视频图像中的对象的深度值110变化。

假设左帧和右帧的包括在视频图像中的对象的深度值110不同，而左帧和右帧的图形元素的深度值120相同。左帧的包括在视频图像中的对象的深度值110与左帧的图形元素的深度值120的差大于右帧的对象的深度值110与右帧的图形元素的深度值120的差。当左帧和右帧被顺序地再现时，左帧和右帧的包括在视频图像中的对象的深度值110与图形元素的深度值120的差也变化。由于包括在视频图像中的对象的深度值110与图形元素的深度值120的差，观看者会感觉失去方向感。

发明内容

技术问题

本发明提供一种用于处理图像的方法和设备，所述方法和设备使用视频图像的深度值来调整图形屏幕的深度值以允许观看者识别出视频图像和图形屏幕的自然再现。

本发明还提供一种由于处理图像的方法和设备，所述方法和设备通过提供视频图像被布置得比图形屏幕更向内的三维(3D)效果来一起再现视频图像和图形屏幕。

技术方案

根据本发明的一方面，提供了一种图像处理方法，包括：从视频流提取指示3D视频图像的深度的视频深度信息；通过使用视频深度信息，调整与3D视频图像同步的图形屏幕的深度值。

视频深度信息可包括：3D视频图像的深度值或与3D视频图像的深度值对应的像素移动距离值，其中，深度值从输出视频图像的屏幕的内部到屏幕的外部而增加，其中，调整图形屏幕的深度值的步骤包括：将图形屏幕的深度值调整为等于或大于3D视频图像的深度值。

如果3D视频图像包括多个对象，并且视频深度信息包括关于所述多个对象中的两个或更多个对象的深度信息，则调整图形屏幕的深度值的步骤包括：将图形屏幕的深度值调整为等于或大于所述两个或更多个对象中的具有最大深度值的对象的深度值。

视频流可包括多个作为解码单元的访问单元，其中，提取视频深度信息的步骤包括：从多个访问单元中的每个提取视频深度信息。

调整图形屏幕的深度值的步骤可包括：使用提取的视频深度信息调整与提取了视频深度信息的多个访问单元同步的图形屏幕的深度值。

提取视频深度信息的步骤可包括：从包括在多个访问单元的补充增强信息(SEI)中的用户数据SEI消息提取视频深度信息。

视频流可包括一个或多个图片组(GOP)，GOP包括多个作为解码单元的访问单元，其中，提取视频深度信息的步骤包括：从包括在一个或多个GOP中的多个访问单元之一提取视频深度信息。

提取视频深度信息的步骤可包括：从包括在多个访问单元之一的SEI中的用户数据SEI消息提取视频深度信息。

视频深度信息可包括3D视频图像的深度值的数量或对应的像素移动距离值的数量，其中，调整图形屏幕的深度值的步骤包括：当包括在一个或多个GOP中的多个访问单元根据包括在视频深度信息中的数量被划分成组时，通过使用包括在视频深度信息中的3D视频图像的多个深度值之一或对应的多个像素移动距离值之一，来调整与包括在每个组中的多个访问单元同步的图形屏幕的深度值。

根据本发明的另一方面，提供了一种图像处理设备，包括：视频解码器，用于解码视频流和生成左眼图像和右眼图像；图形解码器，用于解码图形流和生成图形屏幕；视频深度信息提取单元，用于从视频流提取指示3D视频图像的深度的视频深度信息；图形屏幕深度值调整单元，用于通过使用视频深度信息，来调整在与3D视频图像同步之后被再现的图形屏幕的深度值。

根据本发明的另一方面，提供了一种记录有用于执行图像处理方法的程序的非暂时性计算机可读记录介质，所述图像处理方法包括：从视频流提取指示3D视频图像的深度的视频深度信息；通过使用视频深度信息，调整与3D视频图像同步的图形屏幕的深度值。

有益效果

根据本发明，视频图像的深度值用于调整图形屏幕的深度值，并同时再现具有调整的深度值的图形屏幕和视频图像。

根据本发明，通过提供视频图像被布置得比图形屏幕更向内的3D效果，来同时再现视频图像和图形屏幕。

附图说明

通过参照附图详细地描述本发明的示例性实施例，本发明的上述和其它特点和优点将变得更加清楚，其中：

图1A和图1B是用于说明当视频图像和图形元素被三维(3D)地再现时视频图像和图形元素的深度值的示图；

图2是根据本发明实施例的视频流的框图；

图3是根据本发明另一实施例的视频流的框图；

图4是根据本发明另一实施例的视频流的框图；

图5A和图5B是根据本发明实施例的呈现包括在补充增强信息(SEI)消息中的视频深度信息的语法的表格；

图6是根据本发明实施例的图像处理设备的框图；

图7是示出根据本发明实施例的图像处理方法的流程图。

最佳实施方式

在下文，将参照示出本发明示例性实施例的附图更充分地描述本发明。

诸如“中的至少一个”的表述当在一列元素之前时修饰整列元素，而非修饰列中的单个元素。

图2是示出视频流200的示例的框图。

参照图2，视频流200包括一个或多个访问单元(AU)210。AU 210是用于访问图片单元中的比特序列内的信息的网络抽象层(NAL)单元的集合。也就是说，AU与编码/解码单元中的编码图片(即，帧的图片)对应。

视频流200包括用于每个AU 210视频深度信息220。视频深度信息220是指示从视频流200生成的三维(3D)视频图像的深度的信息。

因为人的双眼在水平方向上相互之间隔开预定距离，由左眼和右眼观看到的二维(2D)图像不同。大脑结合不同的2D图像以生成具有透视性和明显性的显示的3D图像。因此，为了将2D视频图像再现为3D图像，从2D图像生成关于2D图像的两个不同图像，一个被左眼观看(左眼图像)，另一个被右眼观看(左眼图像)，左眼图像和右眼图像被交替地再现。

通过以预定的距离向左或向右移动包括在2D图像中的像素来生成左眼图像和右眼图像。为了从2D图像再现左眼图像和右眼图像而将像素移动的距离根据将从2D图像生成的3D图像的深度而变化。这样的距离可以在2D图像中的预定像素的位置与左眼图像和右眼图像的点之间，其中，所述预定像素在移动预定距离之后被映射到所述点。术语“深度信息”可被用于指示图像的深度。视频深度信息可包括深度值或与深度值对应的像素的移动距离值。

在一个总体方面，图像被布置地离观看者越近，图像的深度值变得越大。根据说明性示例，深度值可具有从0到255的256个值中的一个。图像在屏幕内部形成得离观看屏幕的观看者越远，深度值变得越小，并因此深度值接近0。图像从屏幕突出得离观看者越近，深度值变得越大，并因此深度值接近255。

说明性示例可包括视频深度信息220，视频深度信息220指示将从包括在视频流200中的每个AU 210再现3D视频图像的深度。

虽然未在图2中示出，但是每个AU 210可包括补充增强信息(SEI)，所述补充增强信息(SEI)可包括用户数据SEI消息。视频深度信息220可包括在SEI消息中，所述SEI消息包括在AU 210中。这将参照图4更加详细地描述。

图像处理设备(未示出)可从视频流200的每个AU 210提取视频深度信息220，并可使用提取的视频深度信息220来调整图形屏幕的深度值。

通过对图形流进行解码来生成图形屏幕。图形流可包括呈现图形流或提供字幕的文本字幕流、提供由按钮等形成的菜单以与用户交互的交互图形流或通过诸如Java的程序元素显示的图形重叠中的一个或组合。

图像处理设备可使用提取的视频深度信息220，来调整将与提取了视频深度信息220的AU 210同步的图形屏幕的深度值。例如，图形屏幕可和与AU 210对应的3D图像一起被再现，且图像处理设备可使用提取的视频深度信息220，来调整与提取了视频深度信息220的AU 210同步之后再现的图形屏幕的深度值。图像处理设备可使用包括在视频深度信息220中的深度值或与深度值对应的像素的移动距离值，来将图形屏幕的深度值调整为等于或大于3D视频图像的深度值。在此情况下，图形屏幕比3D视频图形更突出，因此图形屏幕在更靠近观看者的位置被输出。

一帧或图片可包括一个对象或多个对象。在这种情况下，视频深度信息220可包括关于多个对象中的一个或全部或多个对象的两个或更多个的深度信息。图像处理设备可使用包括在视频深度信息220中的对象的深度信息中的关于一个对象的深度信息来调整图形屏幕的深度值。

如果包括在视频深度信息220中的对象的深度信息包括对象的深度值，则图像处理设备可将图形屏幕的深度值调整为大于所述多个对象之一的最大深度值。

如果视频深度信息220包括每个对象的像素的移动距离值，而不是对象的深度值，则图像处理设备可获得与像素的移动距离值对应的深度值。图像处理设备还可识别所述多个对象中的具有最大深度值的一个对象，并将图形屏幕的深度值调整为大于识别的对象的最大深度值。

如上面的描述，根据说明性示例，用于调整与视频图像一起再现的图形屏幕的深度值的视频深度信息220可包括在每个AU 210中。

图3是示出视频流300的示例的框图。参照图3，视频流300可包括一个或多个图片组(GOP)，图片组包括一系列图片的集合。视频流300还可包括用于每个GOP的GOP头310。GOP是从I图片到下一I图片的一系列图片的集束，并还可包括P图片和B图片(未示出)。如上面的描述，一张图片与一个AU对应。

在一个说明性方面，GOP头310可包括包括在GOP(如视频流300)中的多个AU的视频深度信息330。如上面的描述，视频深度信息330包括3D视频图像的深度值或与3D视频图像的深度值对应的像素移动距离值。

多个AU的视频深度信息330包括在GOP头310中，其中，多个深度值的列表或多个像素移动距离值的列表可包括在视频深度信息330中。视频深度信息330还可包括关于深度值的数量或像素移动距离值的数量的计数值信息。

图像处理设备(未示出)可从GOP头310提取视频深度信息330，并使用包括在视频深度信息330中的计数值来识别深度值的数量或像素移动距离值的数量。图像处理设备可将包括在GOP中的多个AU分组为包括在视频深度信息330中的数量，并使用深度值或像素移动距离值来调整在与包括在每个组中的AU同步之后被再现的图形屏幕的深度值。

作为示例，假设GOP包括十个AU，且视频深度信息330包括五个深度值。图像处理设备可将所述十个AU分组给所述五个深度值，并通过顺序地使用所述五个深度值来调整在与包括在每个组中的AU同步之后被再现的图形屏幕的深度值。也就是说，图像处理设备可使用所述五个深度值中的第一深度值来调整在与包括在第一组中的AU同步之后被再现的图形屏幕的深度值。图像处理设备还可使用所述五个深度值中的第二深度值来调整在与包括在第二组中的AU同步之后被再现的图形屏幕的深度值。

如果视频深度信息330包括移动距离值的列表，而不是深度值的列表，则图像处理设备可将像素移动距离值转换为对应的深度值，并使用转换的深度值来调整图形屏幕的深度值。

如上面的描述，根据说明性示例，配置为调整与包括在GOP中的AU一起再现的图形屏幕的深度值的视频深度信息330可包括在GOP头310中。

图4是示出视频流400的示例的框图。参照图4，视频流400包括一个或多个GOP，每个GOP包括多个AU 410。视频深度信息440可包括在包含在GOP中的所述多个AU 410之一中。

AU 410可包括片段，片段是宏块的集合，在所述片段中每个宏块可被独立解码。AU 410还可包括片段所需的参数集(即，关于解码器的设置和控制的信息)、包括与解码的数据的屏幕呈现相关的附加信息和时间信息的SEI420。SEI 420用于利用一般解码图像的应用层，并且不包括在所有的AU 410中。

SEI 420可包括与关于字幕或菜单的附加信息相关的用户数据SEI消息430。根据说明性示例，SEI消息430可包括视频深度信息440。

视频深度信息440可包括3D视频图像的深度值或与3D视频图像的深度值对应的像素移动距离值。多个AU的视频深度信息440可包括在所述多个AU 410之一中，从而多个深度值的列表或多个像素移动距离值的列表可包括在视频深度信息440中。关于深度值的数量或像素移动距离值的数量的信息也可作为计数值包括在视频深度信息440中。

图像处理设备(未示出)可从所述多个AU 410之一的SEI 420提取视频深度信息440，并使用视频深度信息440中的计数值来识别深度值的数量或像素移动距离值的数量。图像处理设备可将一个GOP中的多个AU分组为视频深度信息440中的深度值的数量或像素移动距离值的数量，并通过顺序地使用深度值来调整在与每个组中的AU同步之后被再现的图形屏幕的深度值。

如果视频深度信息440包括移动距离值的列表，而不是深度值的列表，则图像处理设备可将像素移动距离值转换为对应的深度值，并使用转换的深度值来调整图形屏幕的深度值。

如上面的描述，根据说明性示例，配置为调整与视频图像一起再现的图形屏幕的深度值的视频深度信息440可包括在所述多个AU 410之一中。

图5A和图5B是示出呈现包括在SEI消息中的视频深度信息的语法的示例的表格。参照图5A，包括在语法中的类型标识符type_indicator指示在类型标识符之后被包括的信息。根据说明性示例，如果类型标识符type_indicator在第三if从句中具有预定值，则视频深度信息depth Data()跟随着类型标识符。

参照图5B，语法呈现视频深度信息depth Data()。视频深度信息depthData()包括深度值或像素移动距离值。语法呈现指示深度值的数量或像素移动距离值的数量的计数值depth_count，并呈现作为与计数值depth_count那么多的视频深度值或像素移动距离值的depth。在计数值depth_count每次增加1的情况下，也就是说，在多个AU被分组为计数值depth_count的情况下，语法呈现一次一个(例如从第一组开始)顺序使用视频深度值或像素移动距离值，以调整在与包括在每个组中的AU同步之后被再现的图形屏幕的深度值。

图6是示出图像处理设备600的示例的框图。参照图6，图像处理设备600包括左眼视频解码器611、右眼视频解码器612、左眼视频平面(plane)613、右眼视频平面614、图形解码器615、图形平面616、视频深度信息提取单元617、图形屏幕深度值调整单元618以及输出单元619。

左眼视频解码器611可对左眼视频流进行解码，并可将解码后的右眼视频流发送到左眼视频平面613。左眼视频平面613可使用解码后的左眼视频流生成左眼图像。右眼视频解码器612可对右眼视频流进行解码，并可将解码后的右眼视频流发送到右眼视频平面614。右眼视频平面614可使用解码后的右眼视频流生成右眼图像。

左眼视频平面613和右眼视频平面614可分别临时存储由左眼视频解码器611和右眼视频解码器612生成的左眼图像和右眼图像。

视频深度信息提取单元617从视频流(即，包括视频深度信息的解码后的左眼视频流和解码后的右眼视频流)提取视频深度信息。

视频深度信息可以以各种形式包括在视频流中。例如，视频深度信息可包括在多个AU中的每个中，所述多个AU包括在视频流中，或者关于包括在视频流的GOP中的全部AU的视频深度信息可包括在所述多个AU之一中。可选择地，关于包括在视频流的GOP中的AU的视频深度信息可包括在GOP的头中。视频深度信息可包括在SEI的用户数据SEI消息中，其中，所述SEI包括在AU中。

视频深度信息提取单元617将从视频流提取的视频深度信息发送给图形屏幕深度值调整单元618。

图形解码器615对图形流进行解码并将所述解码后的图形流发送到图形平面616。图形平面616生成图形屏幕。图形平面616临时存储生成的图形屏幕。

图形屏幕深度值调整单元618可使用从视频深度信息提取单元617接收的视频深度信息将图形屏幕的深度值调整为等于3D视频图像的深度值，所述3D视频图像在与图形屏幕同步之后被再现。可选择地，图形屏幕深度值调整单元618可使用从视频深度信息提取单元617接收的视频深度信息将图形屏幕的深度值调整为比3D视频图像的深度值大预定深度值。

如果视频深度信息包括关于包括在视频图像(所述视频图像在与图形屏幕同步之后被再现)中的多个对象中的两个或更多个对象的深度信息，则图形屏幕深度值调整单元618可使用包括在视频深度信息中的两个或更多个对象中的具有最大深度值或具有最大像素移动距离值的对象的深度值或像素移动距离值来调整图形屏幕的深度值。

在一个示例中，AU可根据包括在视频深度信息中的计数值被划分为组。在该示例中，视频深度信息包括关于多个帧而不是一帧的深度信息(即，多个AU)，图形屏幕深度值调整单元618可将在与每个组的AU同步之后被再现的图形屏幕的深度值调整为包括在视频深度信息中的多个深度值之一或与多个深度值对应的多个像素移动距离值之一。

图形屏幕深度值调整单元618可使用视频深度信息中的深度值或像素移动距离值，从生成在图形平面616中的图形屏幕生成将与左眼图像一起输出的左眼图形屏幕和将与右眼图像一起输出的右眼图形屏幕。图形屏幕深度值调整单元618可通过将在图形平面616上绘出的整个图形屏幕向左或向右移动像素移动距离值，或移动比像素移动距离值更大的值，来生成左眼图形屏幕和右眼图形屏幕，其中，所述像素移动距离值包括在视频深度信息中。如果视频深度信息包括深度值，则图形屏幕深度值调整单元618可通过将平面所述整个图形屏幕以所述图形屏幕具有等于或大于包括在视频深度信息中的深度值的深度值的方式向左或向右移动预定距离，来生成左眼图形屏幕和右眼图形屏幕。

在一个示例中，输出单元619可同时再现左眼图形屏幕和生成在左眼视频平面613中的左眼视频图像，并可同时再现右眼图形屏幕和生成在左眼视频平面614中的左眼视频图像。输出单元619会交替地输出包括图形屏幕的左眼图像和右眼图像并再现3D视频图像。关于此，图形屏幕会具有大于视频图像的深度值的深度值，从而自然地再现视频图像和图形屏幕。

图6中描述的左眼视频解码器611，右眼视频解码器612、左眼视频平面613、右眼视频平面614、图形解码器615、图形平面616、视频深度信息提取单元617、图形屏幕深度值调整单元618以及输出单元619可使用硬件和软件组件(例如，处理装置)来实现。处理装置可使用一个或多个通用或专用计算机(诸如，例如，处理器、控制器、算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以预定义的方式响应指令并执行指令的任何其它装置)来实现。处理装置可运行操作系统(OS)以及在OS上运行的一个或多个软件应用。处理装置还可响应于软件的执行而访问、存储、操纵、处理并创建数据。为了简明的目的，以单数形式描述处理装置，然而，本领域技术人员将理解处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或单个处理器和控制器。此外，不同的处理配置是可能的，诸如并行处理器。

此外，图6中描述的左眼视频解码器611，右眼视频解码器612、左眼视频平面613、右眼视频平面614、图形解码器615、图形平面616、视频深度信息提取单元617、图形屏幕深度值调整单元618以及输出单元619可被实现为单结构组件或一个或多个集成结构组件。

图7是示出图像处理方法的示例的流程图。参照图7，图6的图像处理设备600从视频流提取指示3D视频图像的深度的视频深度信息(操作710)。图像处理设备600可从包括在视频流中的多个AU中的每个AU提取视频深度信息或从所述多个AU之一提取所述多个AU的视频深度信息。可选择地，图像处理设备600可从GOP的头提取包括在GOP中的AU的视频深度信息。

在一方面，图像处理设备包括视频解码器，被配置为对视频流进行解码并生成左眼图像和右眼图像。图像处理设备还包括图形解码器，被配置为对图形流进行解码并生成图形屏幕。所述设备还包括视频深度信息提取单元，被配置为从视频流提取视频深度信息。所述设备还包括图形屏幕深度值调整单元，被配置为使用视频深度信息调整在与3D视频图像同步之后被再现的图形屏幕的深度值，并被配置为从图形屏幕生成左眼图形屏幕和右眼图形屏幕。图像处理设备还包括输出单元，被配置为同时再现左眼图像和左眼图形屏幕，并被配置为同时再现右眼图像和右眼图形屏幕，并被配置为交替地输出包括图形屏幕的左眼图像和右眼图像并再现3D视频图像。视频深度信息可包括3D视频图像的深度值或与3D视频图像的深度值对应的像素移动距离值。

图像处理设备600使用视频深度信息调整与3D视频图像同步的图形屏幕的深度值(操作720)。图像处理设备600可将图形屏幕的深度值调整为等于或大于3D视频图像的深度值。

在一个示例中，如果视频深度信息包括关于包括在视频图像中的多个对象中的两个或更多个对象的深度信息，则图像处理设备600可调整图形屏幕的深度值，其中，所述视频图像在与所述图形屏幕同步之后被再现。图像处理设备600可使用包括在视频深度信息中的两个或更多个对象中的具有最大深度值或具有最大像素移动距离值的对象的深度值或像素移动距离值，来调整图形屏幕的深度值。

在另一示例中，使用包括在视频深度信息中的计数值来将AU划分为组。在该示例中，如果视频深度信息包括多个AU的深度信息，则图像处理设备600可将在与每个组的AU同步之后被再现的图形屏幕的深度值调整为包括在视频深度信息中的多个深度值之一或与多个深度值对应的多个像素移动距离值之一。

图像处理设备600可再现具有调整的深度值的图形屏幕和3D视频图像(操作730)。

应理解，在本发明的实施例中，可以按所示出的顺序和方式来执行图7中的操作，然而一些步骤的顺序可在不脱离本发明的精神和范围的情况下被改变。根据说明性示例，还可提供实施在非暂时性计算机可读介质上的计算机程序，编码指令以执行至少图7中描述的方法。

执行图7中描述的方法或其操作中的一个或多个操作的程序指令可被记录、存储或固定在一个或多个计算机可读存储介质中。程序指令可被计算机实现。例如，计算机可使处理器执行程序指令。介质可包括单独的程序指令、数据文件、数据结构等或它们的组合。计算机可读介质的示例包括：磁介质，诸如硬盘、软盘和磁带；光介质，诸如CD ROM盘和DVD；磁光介质，诸如光盘；专门配置为存储和执行程序指令的硬件装置，诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令的示例包括：诸如由编译器产生的机器代码以及包含可由计算机使用解释器执行的更高级代码的文件。程序指令(即，软件)可被分布在网络连接的计算机系统中，从而软件可以以分布方式被存储和执行。例如，软件和数据可被一个或多个计算机可读记录介质存储。此外，这里公开的用于实现示例性实施例的功能性程序、代码和代码段可被本实施例所属领域的程序员基于并使用这里提供的附图的流程图和框图以及它们的对应描述容易地解释。

虽然参照本发明的优选实施例特别显示和描述了本发明，但是本领域的普通技术人员应理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以对其做出形式和细节上的各种改变。优选实施例应被认为仅仅是描述性意义而不是为了限制的目的。因此，本发明的范围不是由本发明的详细描述限定的，而是由权利要求限定的，并且在范围内的所有不同将被解释为包括在本发明中。

Claims (23)

1.一种图像处理方法，包括：

从视频流提取指示3D视频图像的深度的视频深度信息；

使用视频深度信息，调整将将与3D视频图像同步的图形屏幕的深度值。

2.如权利要求1所述的图像处理方法，其中，视频深度信息包括：3D视频图像的深度值或与3D视频图像的深度值对应的像素移动距离值，

其中，深度值从输出视频图像的屏幕的内部到屏幕的外部而增加，

其中，调整图形屏幕的深度值的步骤包括：将图形屏幕的深度值调整为等于或大于3D视频图像的深度值。

3.如权利要求2所述的图像处理方法，其中，在3D视频图像包括多个对象，并且视频深度信息包括关于所述多个对象中的两个或更多个对象的深度信息的情况下，调整图形屏幕的深度值的步骤包括：将图形屏幕的深度值调整为等于或大于所述两个或更多个对象中的具有最大深度值的对象的深度值。

4.如权利要求2所述的图像处理方法，其中，视频流包括多个作为解码单元的访问单元，

其中，提取视频深度信息的步骤包括：从多个访问单元中的每个提取视频深度信息。

5.如权利要求4所述的图像处理方法，其中，调整图形屏幕的深度值的步骤包括：使用提取的视频深度信息调整将与提取了视频深度信息的多个访问单元同步的图形屏幕的深度值。

6.如权利要求4所述的图像处理方法，其中，提取视频深度信息的步骤包括：从包括在多个访问单元的补充增强信息(SEI)中的用户数据SEI消息提取视频深度信息。

7.如权利要求2所述的图像处理方法，其中，视频流包括一个或多个图片组(GOP)，GOP包括多个作为解码单元的访问单元，

其中，提取视频深度信息的步骤包括：从包括在一个或多个GOP中的多个访问单元之一提取视频深度信息。

8.如权利要求7所述的图像处理方法，其中，提取视频深度信息的步骤包括：从包括在多个访问单元之一的补充增强信息(SEI)中的用户数据SEI消息提取视频深度信息。

9.如权利要求8所述的图像处理方法，其中，视频深度信息包括：3D视频图像的深度值的数量或对应的像素移动距离值的数量，

其中，调整图形屏幕的深度值的步骤包括：在包括在一个或多个GOP中的多个访问单元根据包括在视频深度信息中的所述数量被划分成组的情况下，通过使用包括在视频深度信息中的3D视频图像的多个深度值之一或对应的多个像素移动距离值之一，来调整将与包括在每个组中的多个访问单元同步的图形屏幕的深度值。

10.如权利要求2所述的图像处理方法，其中，视频流包括一个或多个图片组(GOP)，GOP包括多个作为解码单元的访问单元，

其中，提取视频深度信息的步骤包括：从一个或多个GOP中的头提取视频深度信息。

11.如权利要求10所述的图像处理方法，其中，视频深度信息包括：3D视频图像的深度值的数量或对应的像素移动距离值的数量，

其中，调整图形屏幕的深度值的步骤包括：在包括在一个或多个GOP中的多个访问单元根据包括在视频深度信息中的所述数量被划分成组的情况下，通过使用包括在视频深度信息中的3D视频图像的多个深度值之一或对应的多个像素移动距离值之一，来调整将与包括在每个组中的多个访问单元同步的图形屏幕的深度值。

12.一种图像处理设备，包括：

视频解码器，配置为解码视频流和生成左眼图像和右眼图像；

图形解码器，配置为解码图形流和生成图形屏幕；

视频深度信息提取单元，配置为从视频流提取指示3D视频图像的深度的视频深度信息；

图形屏幕深度值调整单元，配置为使用视频深度信息，来调整将与3D视频图像同步的图形屏幕的深度值。

13.如权利要求12所述的图像处理设备，其中，视频深度信息包括：3D视频图像的深度值或与3D视频图像的深度值对应的像素移动距离值，

其中，深度值从输出视频图像的屏幕的内部到屏幕的外部而增加，

其中，图形屏幕深度值调整单元将图形屏幕的深度值调整为等于或大于3D视频图像的深度值。

14.如权利要求13所述的图像处理设备，其中，在3D视频图像包括多个对象，并且视频深度信息包括关于所述多个对象中的两个或更多个对象的深度信息的情况下，图形屏幕深度值调整单元将图形屏幕的深度值调整为等于或大于所述两个或更多个对象中的具有最大深度值的对象的深度值。

15.如权利要求13所述的图像处理设备，其中，视频流包括多个作为解码单元的访问单元，

其中，视频深度信息提取单元从多个访问单元中的每个提取视频深度信息。

16.如权利要求15所述的图像处理设备，其中，视频深度信息提取单元使用提取的视频深度信息调整将与提取了视频深度信息的多个访问单元同步的图形屏幕的深度值。

17.如权利要求15所述的图像处理设备，其中，视频深度信息提取单元从包括在多个访问单元的补充增强信息(SEI)中的用户数据SEI消息提取视频深度信息。

18.如权利要求13所述的图像处理设备，其中，视频流包括一个或多个图片组(GOP)，GOP包括多个作为解码单元的访问单元，

其中，视频深度信息提取单元从包括在一个或多个GOP中的多个访问单元之一提取视频深度信息。

19.如权利要求18所述的图像处理设备，其中，视频深度信息提取单元从包括在多个访问单元之一的补充增强信息(SEI)中的用户数据SEI消息提取视频深度信息。

20.如权利要求19所述的图像处理设备，其中，视频深度信息包括：3D视频图像的深度值的数量或对应的像素移动距离值的数量，

其中，在包括在一个或多个GOP中的多个访问单元根据包括在视频深度信息中的所述数量被划分成组的情况下，图形屏幕深度值调整单元通过使用包括在视频深度信息中的3D视频图像的多个深度值之一或对应的多个像素移动距离值之一，来调整将与包括在每个组中的多个访问单元同步的图形屏幕的深度值。

21.如权利要求13所述图像处理设备，其中，视频流包括一个或多个图片组(GOP)，GOP包括多个作为解码单元的访问单元，

其中，视频深度信息提取单元从一个或多个GOP的头提取视频深度信息。

22.如权利要求21所述图像处理设备，其中，视频深度信息包括：3D视频图像的深度值的数量或对应的像素移动距离值的数量，

其中，在包括在一个或多个GOP中的多个访问单元根据包括在视频深度信息中的数量被划分成组的情况下，图形屏幕深度值调整单元通过使用包括在视频深度信息中的3D视频图像的多个深度值之一或对应的多个像素移动距离值之一，来调整将与包括在每个组中的多个访问单元同步的图形屏幕的深度值。

23.一种记录有用于执行图像处理方法的程序非暂时性计算机可读记录介质，所述图像处理方法包括：

从视频流提取指示3D视频图像的深度的视频深度信息；

使用视频深度信息，调整将与3D视频图像同步的图形屏幕的深度值。

Images