CN103177440A - 生成图像深度图的系统和方法 - Google Patents

Abstract

本发明披露了生成图像深度图的系统和方法，其根据图像全局运动和/或使用图像内深度不连续性的属性相对关系进行局部深度分析，生成能够更精确表示图像内局部深度不连续性的图像深度图。在生成一个图像全局深度图时，实施例使用了一个完整全局深度图，其大于或等于将被转换的图像，以便能够容纳图像全局运动。根据实施例，如基于图像的全局运动，在完整全局深度图内确定一个图像全局深度图。基于图像全局深度图，使用像素属性的相对关系，对图像进行局部深度分析，从而生成一个图像深度图，其能够更精确地反映图像内的局部深图不连续性。

Description

生成图像深度图的系统和方法

【技术领域】

本发明涉及图像处理，特别涉及深度图的生成，用于诸如从二维图像转换呈现为三维图像。

【背景技术】

随着在影院、游乐设施等里使用改进的三维（3D）投影技术的发展，以及最近引入的3D电视，迅速提高了人们对3D图像内容的要求。因此，越来越多的兴趣专注于将单视图装置（mono-view device）拍摄的2D图像（如长篇电影、电视节目等）转换成3D图像。

一些传统的单视图2D-到-3D转换技术使用了基于计算机视觉的技术，如分割、消失线检测等。同样，一些单视图2D-到-3D转换技术使用了运动信息，如获取物体在前景里移动时被阻挡的内容。但是，这些技术通常对于实时2D-到-3D转换并不实用。特别是，这种基于计算机视觉的技术需要大量的计算资源，所以不适合实时运算或低成本应用。

其他用于将2D图像转换成3D图像的技术，是生成一个深度图（如包含有关场景物体表面离一个视点的距离信息的图像或图像通道），然后使用该深度图来建立图像的左视图和右视图（视差（parallax view））以符合深度图。例如，各种技术使用一个全局深度模型和更多的局部深度分析来生成一个局部深度图，利用它可以生成一个3D图像。全局深度模型提供一个图像的一般深度模型，如可以是基于一个平面模型或球面模型，其不会精确地反映局部深度不连续性。因此，需要使用更多的局部分析，如图像纹理分析，与全局深度模型一起来生成一个能够更精准反映局部深度不连续性的图像局部深度图。

使用前述全局深度模型和局部深度分析技术生成的图像深度图经常不及预期，如由于使用的全局深度模型不能动态地反映将被转换的图像，以及使用的局部深度分析技术不能精确地表示局部深度。例如，通过场景分析，选择一个中心对称模型作为全局深度模型，其中不管场景内如何变化，模型对所有场景帧都是保持中心对称（如移动或运动都没有上升到场景变化的水平）。同样，使用典型局部深度分析技术所做的局部深度分配在亮度条件不佳的情况下特别不够精确。

【发明概述】

本发明涉及提供图像深度图生成的系统和方法，通过使用基于图像全局运动的图像全局深度图和/或利用图像内深度不连续性之间属性相对关系的局部深度分析，生成的深度图能够更精确地表示图像内的局部深度不连续性。因此，在生成一个图像全局深度图时，实施例使用了一个完整全局深度图。通过分析像素属性的相对关系，对图像全局深度图进行局部深度调整，从而生成一个图像深度图，其能够更精确地反映图像内的局部深图不连续性。

根据本发明实施例使用的完整全局深度图，包括一个全局深度图，其大于或等于将提供2D-到-3D转换的图像，以便容纳图像全局运动（如图像的一般移动，如由于移动和/或缩放照相机，图像内一组物体的一般移动等，这些移动还不至于达到场景变化）。依照本发明实施例运行时，如根据图像内的全局运动，在完整全局深度图内确定一个图像全局深度图（如完整全局深度图的一个子区域）。因此，本发明实施例可以使用跟踪图像全局运动的技术。例如，本发明实施例能够通过跟踪图像场景的全局运动来改变中心对称模型。此外，基于显著性区域检测，本发明实施例可以直接更新深度。

依照本发明实施例，使用不同像素的不同颜色分量的相对关系，进行局部深度分析，以改进图像全局深度图并提供一个图像深度图。因此，依照本发明的实施例，通过引入不同颜色通道的相对关系，可以避免一个或多个颜色分量的独立分析所引起的不准确，如亮度条件不佳时。

前述已经相当广泛地阐述了本发明的特征和技术优势，由此将更加容易理解以下本发明的详细描述。本发明的其他特征和优势将在其后描述，并构成本发明的权利要求部分。本领域普通技术人员应该理解，在此披露的概念和具体实施例可以作为一个基础，用来修改或设计其它结构来执行本发明的相同目的。本领域普通技术人员也应该认识到，这种等同的构造没有脱离由所附权利要求阐述的本发明精神和范围。被看作是本发明特征的新颖性特征，无论是其组织还是运算方法，与其它目的和优势一起，通过以下的描述并结合附图，将会得到更好的理解。但是，需要强调的是，每个附图仅是用作描述和叙述，并不是意图限制本发明。

【附图说明】

为了方便更全面地理解本发明，现结合附图参照以下的描述，其中：

图1显示本发明实施例的能够提供图像深度图生成的一个系统；

图2显示本发明实施例使用的一个计算机系统；

图3显示本发明实施例的全局深度图生成逻辑提供图像全局深度图生成的运算流程，用于产生一个图像深度图；

图4显示本发明实施例的全局深度图生成逻辑提供全局运动跟踪功能的运算流程，用来提供图像全局深度图生成；

图5描述本发明实施例的在一个图像内确定全局运动；

图6A和6B显示本发明实施例的全局深度图生成逻辑提供一个额外方向上的全局运动跟踪的运算流程；

图7描述本发明实施例在一个图像内确定全局运动；

图8A-8D描述本发明实施例的全局深度图生成逻辑使用一个基于计算的方法来生成一个完整全局深度图（FGDM）以及从FGDM生成一个图像全局深度图（IGDM）的运算流程；

图9A-9D描述本发明实施例的全局深度图生成逻辑使用一个基于映射的方法来生成一个FGDM以及从FGDM生成一个IGDM的运算流程；和

图10显示本发明实施例的深度分析逻辑提供局部图像深度信息用于生成一个图像深度图的运算流程。

【发明详述】

图1显示本发明实施例一个提供图像深度图生成的系统。具体地，通过使用基于图像全局运动的图像全局深度图和/或使用图像里深度不连续性之间属性相对关系的局部深度分析，系统100接收图像数据101的输入（如一系列单视图图像，其包括一个移动视频的场景），并生成图像深度图102（如包含该移动视频中场景物体表面离一个视点的距离信息的图像）用于输出。因此，所述实施例的系统100包括基于属性相对关系（attribute relative relationship）的局部深度分析逻辑（在此也被称为深度分析逻辑）110、基于全局运动的图像全局深度图生成逻辑（在此也被称为全局深度图生成逻辑）120、和深度融合逻辑130，这些将在以下详细描述。

应该理解，前述逻辑可以以各种方式实施，包括硬件逻辑电路、软件、固件、及其组合。当以软件实施时，本发明实施例的元素可以包括在一个处理器系统上运行的代码段（如图2的计算机系统200），以执行在此所述的工作。代码段可以存储在计算机只读媒质里，如随机存取存储器（RAM）203、只读存储器（ROM）204、和/或存储装置206。另外，可以通过计算机网络如网络212下载代码段。

根据本发明实施例使用的计算机系统200，可以包括一个通用处理器系统，其被程序代码（如包括前述的代码段）设置以提供在此所述的功能。因此，所述实施例的计算机系统200包括连接到系统总线202的中央处理单元（CPU）201。CPU201可以是任何通用CPU，如来自Intel公司的PENTIUM或CORE系列处理器、或来自AIM联盟的POWERPC系列处理器。但是，本发明不受CPU201结构限制，只要CPU201能够支持在此所述的本发明运行。

所述实施例的总线202连接到RAM203，如可以包括SRAM,DRAM,SDRAM、闪存等。ROM204，可以包括PROM、EPROM、EEPROM等，也被连接到所述实施例的总线202。众所周知，RAM203和ROM204保存用户和系统数据以及程序。总线202也被连接到输入/输出（I/O）控制器205、通信适配器211、用户接口适配器208、和显示适配器209。

I/O控制器205连接存储装置206（如可以包括一个或多个硬碟、光碟（如光盘（CD）或数字通用盘（DVD））、软盘、和磁带）到计算机系统。所述实施例的I/O控制器205也连接到打印机214，其允许系统打印诸如文件、图片等信息。该打印机可以是一个传统打印机（如点阵、激光等）、传真机、复印机等。

通信适配器211被适配以将计算机系统200连接到网络212，从而提供通信到外部系统、装置、网络等，和/或从外部系统、装置、网络等接收通信。网络212可以包括公共交换电话网络（PSTN）、局域网（LAN）、城域网（MAN）、广域网（WAN）、外联网、内部网、互联网、电话网络、有线传输网络等。

所述实施例的用户接口适配器208将各种用户输入装置连接到计算机系统。例如，通过用户接口适配器连接键盘213、指向装置207、和麦克风216，以接收各种形式的用户输入。类似地，扬声器215可以通过用户接口适配器而连接以提供用户接口输出。

显示适配器209提供一个接口给显示器210。因此，通过显示适配器209，CPU201可以控制显示各种信息（包括文本、图形、以及图像）在显示器210上。显示器210可以包括阴极射线管（CRT）显示器、等离子显示器、液晶显示器（LCD）、投影仪等。尽管未在所述实施例里特别指出，但是显示器210既可以提供数据输入也可以提供数据输出。例如，根据本发明实施例，显示器210可以包括一个触摸屏显示器。

尽管在图2描述了一个基于通用处理器的系统，但应该理解，这个能够提供深度分析逻辑110、全局深度图生成逻辑120、和深度融合逻辑130或其部分的基于处理器的系统，也可以是一个基于专用处理器的系统，诸如可以提供硬件逻辑电路以实施前述的功能。例如，根据本发明实施例，一些或全部前述的逻辑可以实施在一个专用集成电路（ASIC）或现场可编程门阵列（FPGA）上。

如上所述，再次参照图1，所述实施例的系统100包括深度分析逻辑110、全局深度图生成逻辑120、和深度融合逻辑130，其配合以接收输入图像数据101，并生成图像深度图102。例如图像数据101可以包括一个移动视频的一个场景的一系列单视图图像。对应地，图像深度图102提供的图像包含相关移动视频内场景物体表面离一个特定视点（如观察者或照相机的制高点）的距离信息。

根据本发明实施例，图3的流程图300描述有关全局深度图生成逻辑120的详细运算，以生成图像深度图102。应该理解，所述实施例的流程图300的功能可以通过诸如在全局深度图生成逻辑120所执行的代码段进行实施。

在所述实施例的步骤301，将需要生成深度图的输入图像101输入到全局深度图生成逻辑120。例如，其中输入图像101包括一个移动视频场景，可以输入该移动视频场景的单视图彩色图像到全局深度图生成逻辑120。应该理解，实施例流程图300可以处理该移动视频场景的每个这样的单视图图像。

在所述实施例的步骤301，还输入该图像的全局深度模型到全局深度图生成逻辑120。全局深度模型可以是一个本领域认识熟知的全局深度模型构造，如平面模型、球面模型等，选择一个用于特定的对应图像，输入到全局深度图生成逻辑120。

在所述实施例的步骤302，跟踪有关图像内容的全局运动。例如，根据本发明实施例，图像的全局运动可以在水平和垂直方向上进行跟踪。根据实施例，在水平和垂直方向上的全局运动跟踪可以利用图像中心区域上的亮度变化进行分析，如参照以下图4和5的详细描述。无论使用哪种特定方法，本发明实施例提供的全局运动跟踪最好是跟踪图像的一般移动，如由于照相机的移动、图像内一组物体的一般移动等，而不是跟踪图像内特定单个物体的移动。因此，根据实施例，全局运动跟踪可以用来将图像定位或映射到一个完整全局深度图（FGDM）的一个对应部分上，以便生成一个图像全局深度图（IGDM）。

在所述实施例的步骤303，再跟踪有关图像内容的全局运动，如在一个其他方向上的全局运动跟踪。例如，在步骤302上提供水平和垂直方向上的全局运动跟踪，在步骤303上的全局运动跟踪可以是在Z方向上（如垂直于图像平面的方向）。根据实施例，在Z方向上的全局运动跟踪可以使用图像中心区域上一个显著性区域尺寸（saliency area size）的改变进行分析，请参照以下图6和7的详细描述。和步骤302上提供的全局运动跟踪一样，在实施例步骤303上提供的全局运动跟踪，最好跟踪到图像的一般移动，如由于缩小和/或放大相机等，而不是跟踪图像内特定单个物体的移动。

应该理解，流程图300所述的运算包括的功能可以依照实施特定环境而选择实施。如以下的详细描述，实施例可以使用不同方法（如基于映射的方法或基于计算的方法）用来生成一个FGDM，并通过全局深度图生成逻辑120从FGDM生成一个IGDM。因此，所使用的特定方法不限制使用某个特定功能，如步骤302的全局运动跟踪和/或步骤303的全局运动跟踪，如果需要的话，这些功能可以从全局深度图生成逻辑120中省略（如步骤302和步骤303周围的虚线剪头所示）。但是，应该理解，在步骤302上所提供的全局运动跟踪可以使用基于映射的方法和基于计算的方法实施。例如，基于映射和基于计算的实施可以使用水平方向和垂直方向上全局运动跟踪（步骤302），而基于计算的实施可以使用Z方向上的全局运动跟踪（步骤303）。

在所述实施例的步骤304上，产生一个FGDM。本发明实施例的FGDM包括一个全局深度图，其大于或等于将被转换的2D-到-3D的图像，以便能够容纳图像全局运动（如图像内的运动还不至于到场景变化）。例如，FGDM可以包括一个对应一个运动视频场景的全局深度图（如对应形成场景的一系列图像），并由此调整尺寸以容纳该场景的每个图像的全局运动。

如所述实施例的步骤304所示，可以使用各种方法来产生FGDM，如基于映射的方法，或基于计算的方法。根据实施例，用来产生FGDM的基于映射的方法，可以使用一个预产生的FGDM，这将在以下图9A-9D中详细描述。根据实施例，用来产生FGDM的基于计算的方法，可以根据图像内所检测到的全局运动，使用运动信息来伸展或收缩FGDM，这将在以下图8A-8D中详细描述。

在所述实施例的步骤305，使用FGDM来确定IGDM。本发明实施例的IGDM包括一个全局深度图，其尺寸即等于将被2D-到-3D转换的图像，且其可以使用各种深度改进方法来产生一个图像深度图。应该理解，根据实施例进行的分析（如使用运动跟踪的FGDM子区域选择），IGDM提供一个全局深度图，其比在深度图生成时使用传统的全局深度模型更精确。

和上述步骤304一样，所述实施例的步骤305可以使用各种方法来确定IGDM，如前述的基于映射的方法，或基于计算的方法。在基于映射方法运算时，在FGDM内可以确定一个IGDM的映射区域，这将在以下图9A-9D中详细描述。在基于计算的方法运算时，在FGDM内可以确定一个IGDM的计算区域，这将在以下图8A-8D中详细描述。

在所述实施例的步骤305中，生成了IGDM。例如，当使用基于映射的方法时，在FGDM内的一个子区域可以被确定为当前图像的IGDM，因此IGDM就从该子区域生成。当使用基于计算的方法时，在FGDM内的一个子区域可以被确定为当前图像的IGDM，并且可以使用全局深度模型来计算该子区域的IGDM。根据上述流程图300，由全局深度图生成逻辑120产生的IGDM可以被提供给深度融合逻辑130，与深度分析逻辑110所产生的局部深度调整信息一起，产生图像深度图102。

图4的流程图400显示有关全局深度图生成逻辑120提供全局运动跟踪功能的详细运作（如图3的步骤302），以便提供图像全局深度图的生成。应该理解，流程图400的功能实施可以通过诸如全局深度图生成逻辑120所执行的代码段来实现。

在所述实施例的步骤401上，设置将被生成图像深度图的图像的中心区域。例如，可以设置一个移动视频场景的单视图图像的中心区域。图5显示在图像500内的中心区域501设置。例如根据期望/探测图像内的全局移动、图像内容、所使用的全局深度模型等，可以选择整个图像高度和宽度的一个百分比或相关部分作为中心区域的高度和宽度（如center height=image height–delta_y_0–delta_y_1,且center width=image width–delta_x_0–delta_x_1）。

在设置图像的中心区域之后，在所述实施例的步骤402上，中心区域被分割成子区域。例如，中心区域可以被分割成相同尺寸的块，形成列和行。图5所示的中心区域501被分割成6列和4行。

在所述实施例的步骤403，全局深度图生成逻辑120逐行逐列地分析亮度变化。例如，对于每行和每列中的每个像素，和邻近像素亮度相比，具有较大亮度变化的像素统计计数（如大于一个预设阈值），可以被确定用来探测图像的亮度变化。

在所述实施例的步骤404，使用所探测到的亮度变化信息，确定图像全局运动。例如，通过找出具有最小统计计数亮度变化的中心区域的列，能够跟踪到水平方向上的全局运动。类似地，通过找出具有最大统计计数亮度变化的中心区域的行，能够跟踪到垂直方向上的全局运动。如果探测到多于一个的最小列或最大行，那么依照本发明实施例，将选择最靠近图像中心的那个。

为以上全局运动确定运算举一个例子，场景内一个之前图像的全局中心点已经被确定为在位置(c_x,c_y)上，由中心点511表示。使用亮度变化的前述分析，该图像更新的图像全局中心点可以被确定在位置(u_c_x,u_c_y)上，由更新的中心点512表示。一个从中心点（如中心点511）到更新的中心点（如更新的中心点512）的矢量表示图像的全局运动。

尽管前述运算确定了图像全局运动，其可以被用于图像全局深度图生成，但是，实施例提供了进一步改进来确定全局运动。因此，所述实施例的步骤405对步骤404上确定的图像全局运动进行改进，从而保持全局运动时间一致性，及避免错误全局运动检测所产生的影响，等等。例如，在步骤404上确定的图像全局运动可以通过阈值进行改善，这意味着u_c_x和c_x的绝对差以及u_c_y和c_y的绝对差应该小于步骤405上的预设或自动产生的阈值。

继续前面的例子，被确定在位置(u_c_x,u_c_y)上的由中心点512表示的更新的全局中心点，被改进到位置(r_c_x,r_c_v)上，由改进的中心点513表示。因此，通过全局深度图生成逻辑120，一个从中心点（如中心点511）到改进中心点（如改进中心点513）的矢量可以表示由图3步骤302所跟踪的图像全局运动。

图6A的流程图600显示有关全局深度图生成逻辑120提供一个额外方向上（如在Z方向上的全局运动跟踪）的全局移动跟踪（如图3的步骤303）的详细运作，以便用来增强3D效果和3D图像显示。应该理解，流程图600的功能实施可以通过诸如全局深度图生成逻辑120所执行的代码段来实现。

在所述实施例的步骤601，设置将被生成深度图的图像的中心区域。例如，可以设置一个移动视频场景的单视图图像的中心区域。图7显示图像700的中心区域701（如图像700a内中心区域701a表示图像700有一个相对较小的显著性区域尺寸，图像700b内中心区域701b表示图像700有一个相对中等的显著性区域尺寸，而图像700c内中心区域701c表示图像700有一个相对较大的显著性区域尺寸）。例如根据期望/探测图像内的全局移动、图像内容、所使用的全局深度模型等，可以选择整个图像高度和宽度的一个百分比或相关部分作为中心区域的高度和宽度。

在设置了图像的中心区域后，在所述实施例的步骤602，检测中心区域内的一个显著性区域的尺寸。实施例的全局深度图生成逻辑120可以分析频域和空域信息以检测显著性区域的尺寸变化。例如，当前要生成深度图的图像，可以检测频域及空域信息，与该场景的之前和/或之后的图像的频域及空域信息相比，从而检测到显著性区域尺寸的变化。

在所述实施例的步骤603，确定显著性区域尺寸的变化是否由所检测到的显著性区域尺寸表示。例如，当前图像的显著性区域已经从相对较小的显著性区域711a的显著性区域尺寸变化到相对中等的显著性区域711b的显著性区域尺寸。反之，当前图像的显著性区域已经从相对中等的显著性区域711b的显著性区域尺寸变化到相对较小的显著性区域711a的显著性区域尺寸。类似地，当前图像的显著性区域已经从相对中等的显著性区域711b的显著性区域尺寸变化到相对较大的显著性区域711c的显著性区域尺寸。反之，当前图像的显著性区域已经从相对较大的显著性区域711c的显著性区域尺寸变化到相对中等的显著性区域711b的显著性区域尺寸。

如果在步骤603显著性区域尺寸被确定是放大了（如显著性区域711a到显著性区域711b，或显著性区域711b到显著性区域711c），那么行进到步骤604。在步骤604上，改变全局深度模型参数（如改变用来计算FGDM的深度模型参数），与已经移动（如缩小）的对应图像视图的之前或随后图像FGDM的中心区域的深度值相比，以确保FGDM的中心区域的深度值是增加的。在实施例运行时，所有参数改变步长受限于阈值。与之前/随后图像的FGDM相比，这些阈值可以用于确保当前图像的FGDM的深度值不会改变太大。根据实施例，改变参数的步长受限于阈值，可以保持FGDM的时间一致性，并避免由错误检测显著性区域所引起的FGDM突然变化。

但是，如果在步骤603显著性区域尺寸被确定是缩小时（如显著性区域711c到显著性区域711b，或显著性区域711b到显著性区域711a），那么行进到步骤605。在步骤605上，改变深度模型参数，与已经移动（如放大）的对应图像视图的之前或随后图像的FGDM的中心区域的深度值相比，以确保FGDM的中心区域的深度值是缩小的。如上所述，所有参数改变步长受限于阈值。

图6B显示全局深度图生成逻辑120根据之前的显著性区域检测而修改球面模型的参数来改变FGDM的示范运行。应该理解，在图6B的示范实施例里，在修改深度模型参数以增加中心区域的深度值时（如图6A的步骤604），u_c_d>c_d(增加)以及u_t_d<t_d&&u_b_d<b_d(减小)。同样，在修改深度模型参数以减小中心区域的深度值时（如图6A的步骤605），u_c_d<c_d(减小)且u_t_d>t_d&&u_b_d>b_d(增加)。

全局深度模型，在步骤604或605上变化以对应移动的图象视图，从而更逼真地表示被处理的图像。因此，全局深度图生成逻辑120使用该全局深度模型来生成FGDM和IGDM，以便生成一个能够更精确表示图像内局部深度不连续性的图像深度图。

图8A-8D描述全局深度图生成逻辑120使用一个基于计算的方法来生成FGDM，并从此FGDM生成一个IGDM（如图3的步骤304和305）。特别地，图8A-8D显示4个不同全局运动方向的伸展（图8A和8C）和收缩（图8B和8D），其中各个检测到的全局运动方向由箭头801a-801d表示。

根据所述实施例运算时，FGDM按照全局运动以不同尺寸和方向收缩或伸展，使得更新的中心点位置成为更新的FGDM的中心。例如，在图8A的例子里，检测到的从中心点811a（位置c_c_x,c_c_y）到中心点812a（位置u_c_x,u_c_y）全局运动方向，将之前计算出的具有中心点811a的FGDM821a（如从全局深度模型计算获得，场景中其他图像的全局运动获得的FGDM被伸展或收缩）伸展到具有中心点812a的FGDM822a。在图8B的例子里，检测到的从中心点811b（位置c_c_x,c_c_y）到中心点812b（位置u_c_x,u_c_y）的全局运动方向，将之前计算出的具有中心点811b的FGDM822b收缩到具有中心点812b的FGDM821b。在图8C的例子里，检测到的从中心点811c（位置c_c_x,c_c_y）到中心点812c（位置u_c_x,u_c_y）的全局运动方向，将之前计算出的具有中心点811c的FGDM821c伸展到具有中心点812c的FGDM822c。在图8D的例子里，检测到的从中心点811d（位置c_c_x,c_c_y）到中心点812d（位置u_c_x,u_c_y）的全局运动方向，将之前计算出的具有中心点811d的FGDM822d收缩到具有中心点812d的FGDM821d。

从前述能够理解，根据在此所述的实施例，FGDM尺寸将会大于或等于图像尺寸。但是，依照本发明实施例，仅计算对应当前图像的更新FGDM的一个子区域的位置的深度值。因此，全局深度图生成逻辑120运算以确定一个对应当前图像的FGDM的子区域，由此，选择确定的FGDM子区域作为IGDM，用于计算图像深度图。

例如，可以使用以下计算来确定FGDM内的子区域。根据更新的坐标(u_c_x,u_c_y)，导出新FGDM的(c_x,c_y)。如果u_c_y小于图像高度的一半，那么图像应该对应FGDM的底部子区域（如果u_c_y<imageheight/2,=>u_h=(image height-u_c_y)*2=>c_y=u_h/2）。否则，图像应该对应FGDM的顶部子区域（如果u_c_y>image height/2,=>u_h=u_c_y*2=>c_v=u_h/2）。如果u_c_x小于图像宽度的一半，那么图像应该对应FGDM的右侧子区域（如果u_c_x<image width/2,=>u_w=(imagewidth-u_c_x)*2=>c_x=u_w/2）。否则，图像应该对应FGDM的左侧子区域（如果u_c_x>image width/2,=>u_w=u_c_x*2=>c_x=u_w/2）。

利用诸如以上示范实施例的计算，全局深度图生成逻辑120确定对应当前图像的一个FGDM的子区域。例如，从FGDM822a选择子区域831a作为IGDM，从FGDM821b选择子区域831b作为IGDM，从FGDM822c选择子区域831c作为IGDM，以及从FGDM821d选择子区域831d作为IGDM。根据更新的参数c_x,c_y，c_d,t_d,b_d和预设的公式，使用对应的子区域，可以计算图像内每个位置的全局深度值。

图9A-9D描述全局深度图生成逻辑120使用一个基于映射的方法来生成FGDM，并从FGDM生成一个IGDM（如图3的步骤304和305）。特别地，图9A-9D显示从FGDM映射IGDM。

依照实施例运算时，使用根据场景分析导出全局深度图模型的方法（其中该模型是本发明实施例全局深度图生成逻辑的一个输入参数），预生成FGDM，图像的IGDM是其中一部分，因此FGDM大于或等于图像的尺寸。例如，在场景分析和导出全局深度图模型之后，通过使用传统方法，依照该模型生成宽度等于图像宽度且高度等于图像高度的全局深度图。在本发明实施例运算时，可以生成宽度等于(image_width+delta_w)和高度等于(image_height+delta_h)的FGDM。并且delta_w>=0,delta_h>=0。为了导出较大的FGDM，需要改变模型参数（球面、平面或其他）。

以下提供示范实施例参数和模型（公式）用来计算一个FGDM。所使用的参数可以包括c_x(深度图中心的水平坐标(W/2)),c_y(深度图中心的垂直坐标(H/2)),c_d(深度图中心的深度值),t_d(深度图内左上侧像素和右上侧像素的深度值),和b_d(深度图内左下侧像素和右下侧像素的深度值)，由图9D显示。对一个基于两个球形深度模型的全局深度模型，在位置(x,y)产生深度值的公式可以表示为：

delta_x=x-c_x,delta_y=y-c_y;dis_max=sqrt(c_x*c_x+c_y*c_y)    (1)

top_d=(delta_x*delta_x+delta_y*delta_y)/(dis_max*dis_max)*(t_d-c_d)+c_d    (2)

bot_d=(delta_x*delta_x+delta_y*delta_y)/(dis_max*dis_max)*(b_d-c_d)+c_d    (3)

根据垂直方向上的像素位置，融合两个球形深度模型，表示如下：

alpha=c_y>y?(c_y-y)/(H/2):0    (4)

使得

FGDM(x,y)=(int)(alpha*top_d+(1.0-alpha)*bot_d).

无论用何种方式生成FGDM，使用基于映射方法的全局深度图生成逻辑120，通过从FGDM的一个子区域映射IGDM，从而从FGDM生成一个IGDM。例如，通过将对应图像子区域在FGDM内移动，从而使得图像坐标系统内使更新的坐标（u_c_x,u_c_y）成为FGDM的中心。因此，根据图像里检测到的全局运动，IGDM被映射到FGDM的一个子区域。如图9A所示，FGDM900大于图像尺寸（由映射到一个先前被处理图像FGDM内的IGDM901的尺寸表示），因此适合以容纳一个场景内图像的全局运动。在图9A所示示范实施例里的当前图像检测到的全局运动是向左并向上。因此，当前图像的IGDM902是在该场景内先前图像的IGDM901的偏右和偏下（水平偏移(c_c_x-u_c_x)，垂直偏移(c_c_y-u_c_y)）。即，为获取当前将被处理图像的IGDM根据全局运动的方向移位图像子区域，从而获得图像全局深度图。从图9B和9C表示的全局深度图中可以理解，与IGDM901相比，为当前图像生成的IGDM902根据检测到的全局运动而被调整了。

图10显示有关深度分析逻辑110的运算，其依照本发明实施例提供局部图像深度信息用于生成图像深度图102。应该理解，所述实施例图10内所示的功能实施可以通过如深度分析逻辑110所执行的代码段来实现。

在提供局部深度图改进时，深度分析逻辑110使用了颜色分量之间的相对关系来调整局部深度图，从而改进3D视觉感知。例如，假设R和B是颜色空间里的两个不同颜色分量，其中R表示暖色调，而B表示冷色调。局部深度图调整度量可以通过深度分析逻辑110使用R和B颜色分量的相对关系而生成，和前述的IGDM一起，由深度融合逻辑130生成图像深度图102。根据实施例运算，局部深度调整仅仅是针对R颜色分量数值大于B颜色分量的数值的那些像素。根据实施例，局部深度调整是与颜色分量之间的相对关系呈一定比例。例如，对具有相同R颜色分量的像素，调整比率将与R和B的差值呈正比关系。对具有相同的R和B差值的像素，调整比率将与R颜色分量数值呈反比关系。

图10的曲线图表示通过比率定义R和B之间的相对关系，从而用于局部深度图改进，其中图10所示的R1和R2是R颜色分量的不同数值。颜色分量之间的相对关系可以根据以下等式量化为一个比率：

比率Ratio=(R-B)/(R+B)    (5)

其中(R>=B),和(R+B)!=0

图10内的R1和R2表示具有相同的R和B差值的像素，调整比率将与R颜色分量的数值呈反比率。即如果R1>R2，(R1-B1)==(R2-B2)，那么由R1计算的比率数值ratio1应该小于由R2计算的比率数值ratio2。

实施例的深度分析逻辑110可以通过各种方法来使用这些表示颜色分量之间相对关系的比率，以改进深度图里对应各个像素的深度值。例如，一个使用这些比率的改进方法可以运算以计算一个深度调整限制度量m_ratio，m_ratio=1.0+k*Ratio，其中0<k<=1，被用来限制改进步长，使得局部深度=局部深度*m_ratio。或者，一个使用这些比率的改进方法可以运算以计算局部深度=局部深度+Ratio*CONST_DEPTH_INCREMENT，其中CONST_DEPTH_INCREMENT是一个被用来限制改进步长的度量（如CONST_DEPTH_INCREMENT可以是一个整数，如32）。

应该理解，根据本发明实施例，使用颜色分量的相对关系，其完全不同于之前用来进行局部深度图改进的技术。例如，许多现有技术通过一种启发式方法（如暖色调分量用来表示较近的物体，而冷色调分量用来表示较远的物体）仅使用单个颜色分量来导出局部深度图。

通过深度分析逻辑110的运算，生成了深度图调整度量，以及通过全局深度图生成逻辑120的运算，生成了一个IGDM之后，深度融合逻辑130使用这两个输入，运算以生成图像深度图102。例如，深度融合逻辑130可以使用局部深度图调整度量以调整IGDM对应其各个像素位置上的深度值，从而改进IGDM到图像深度图内，其能够更精确地表示图像内的局部深度不连续性。

尽管已经详细描述了本发明及其优势，但应该明白，可以对其做出各种改变和替换，而不会脱离由所附权利要求定义的本发明精神和范围。此外，本发明应用的范围不受限于说明书里描述的过程、机器、制造、物质组成、方法和步骤的特定实施例。从本发明的披露，本领域普通技术人员将会容易明白，可以使用当前已有的或未来开发的且能够执行与在此所述对应实施例相同的功能或获得相同的结果的过程、机器、制造、物质组成、方法、或步骤。因此，所附权利要求意在包括这些过程、机器、制造、物质组成、方法和步骤在其范围内。

Claims (30)

1.一种方法，包括：

接收一个单视图图像，用于生成所述单视图图像的一个图像深度图，其中所述单视图图像是视频片段(多个图像)的一部分；

追踪所述单视图图像的全局运动，以提供图像全局运动信息，其中所述全局运动包括所述单视图图像的一般移动，其在运动视频片断内不足以达到场景变化；

使用所述全局运动信息，生成一个图像全局深度图；和

使用所述单视图图像像素的多个颜色分量的相关性，改善所述图像全局深度图的局部深度值，以提供所述单视图图像的图像深度图。

2.根据权利要求1所述的方法，其中所述跟踪单视图图像的全局运动包括：在所述单视图图像内跟踪水平和垂直方向上的全局运动。

3.根据权利要求2所述的方法，其中所述跟踪水平和垂直方向上的全局运动包括：

分析所述单视图图像内的亮度变化。

4.根据权利要求3所述的方法，其中所述跟踪水平和垂直方向上的全局运动包括：

在所述单视图图像内设置一个中心区域；和

将所述中心区域分成几行和几列块，其中所述分析单视图图像内的亮度变化包括：

确定一个具有最小统计计数亮度变化的块列，用于跟踪水平方向上的运动；和

确定一个具有最大统计计数亮度变化的块行，用于跟踪垂直方向上的运动。

5.根据权利要求4所述的方法，其中所述跟踪水平和垂直方向上的全局运动还包括：

改进所述图像全局运动以保持时间一致性。

6.根据权利要求1所述的方法，其中所述跟踪单视图图像的全局运动包括：跟踪一个垂直于所述单视图图像平面的方向（Z方向）上的全局运动。

7.根据权利要求6所述的方法，其中所述跟踪Z方向上的全局运动包括：

在所述单视图图像内设置一个中心区域；

在所述中心区域内检测一个显著性区域大小；和

根据所述显著性区域大小的变化，改变用于生成所述图像全局深度图的深度模型参数。

8.根据权利要求1所述的方法，还包括：

对包含运动视频片断的多个图像，生成一个完整全局深度图，其中完整全局深度图被调整尺寸以容纳运动视频片断内的图像全局运动；和

由所述完整全局深度图生成所述图像全局深度图。

9.根据权利要求8所述的方法，其中所述由完整全局深度图生成所述图像全局深度图包括：

将所述单视图图像映射到所述完整全局深度图的一个子区域。

10.根据权利要求8所述的方法，其中所述由完整全局深度图生成所述图像全局深度图包括：

计算对应所述单视图图像的完整全局深度图的一个子区域。

11.根据权利要求8所述的方法，其中所述完整全局深度图的尺寸大于所述单视图图像。

12.根据权利要求8所述的方法，其中所述生成完整全局深度图包括：

预生成完整全局深度图，用于有关包括运动视频片断的多个图像的图像深度图生成。

13.根据权利要求8所述的方法，其中所述生成完整全局深度图包括：

使用所述图像全局运动信息以收缩或伸展一个全局深度模型，从而提供能够容纳图像全局运动的完整全局深度图。

14.一个系统，包括：

全局深度图生成逻辑，其运算以跟踪一个单视图图像的全局运动，从而提供图像全局运动信息，并使用所述图像全局运动信息而生成一个图像全局深度图，其中所述单视图图像是多个图像的一部分，并且其中所述全局运动包括图像的一般移动；

深度分析逻辑，其使用所述单视图图像像素的多个颜色分量的相对关系，以确定局部深度调整度量；和

深度融合逻辑，其使用所述局部深度调整度量，改进所述图像全局深度图的局部深度值，以提供所述单视图图像的一个图像深度图。

15.根据权利要求14所述的系统，其中所述全局深度图生成逻辑可运算以跟踪所述单视图图像在水平和垂直方向上的全局运动。

16.根据权利要求15所述的系统，其中在跟踪水平和垂直方向上的全局运动时，所述全局深度图生成逻辑分析所述单视图图像内的亮度变化。

17.根据权利要求16所述的系统，其中所述全局深度图生成逻辑运算以在所述单视图图像内设置一个中心区域，并将所述中心区域分成几列和几行块，其中当跟踪水平和垂直方向上的全局运动时，所述全局深度图生成逻辑运算以确定具有最小统计计数亮度变化的块列，从而跟踪水平方向上的运动，并确定具有最大统计计数亮度变化的块行，从而跟踪垂直方向上的运动。

18.根据权利要求14所述的系统，其中所述全局深度图生成逻辑可运算以跟踪在一个垂直于单视图图像平面的方向（Z方向）上的全局运动。

19.根据权利要求18所述的系统，其中所述全局深度图生成逻辑运算以在所述单视图图像内设置一个中心区域，在所述中心区域内检测一个显著性区域大小，并在跟踪Z方向上的全局运动时根据所述显著性区域大小的变化，改变用于生成所述图像全局深度图的深度模型参数。

20.根据权利要求14所述的系统，其中所述全局深度图生成逻辑运算以生成包含运动视频片断的多个图像的一个完整全局深度图，其中所述完整全局深度图被调整尺寸以容纳运动视频片断内的图像全局运动，并从所述完整全局深度图生成所述图像全局深度图。

21.根据权利要求20所述的系统，其中当生成所述图像全局深度图时，所述全局深度图生成逻辑运算以将所述单视图图像映射到所述完整全局深度图的一个子区域。

22.根据权利要求20所述的系统，其中当生成所述图像全局深度图时，所述全局深度图生成逻辑运算以计算对应所述单视图图像的完整全局深度图的一个子区域。

23.根据权利要求20所述的系统，其中所述完整全局深度图的尺寸大于所述单视图图像。

24.根据权利要求20所述的系统，其中当生成所述完整全局深度图时，所述全局深度图生成逻辑运算以使用所述图像全局运动信息以收缩或伸展一个全局深度模型，从而提供容纳图像全局运动的完整全局深度图。

25.一个方法，包括：

接收一个单视图图像，其用于生成所述单视图图像的一个图像深度图，其中所述单视图图像是包含一个运动视频片断的多个图像的一部分；

为包含运动视频片断的多个图像生成一个完整全局深度图，其中所述完整全局深度图被调整尺寸以容纳运动视频片断内的图像全局运动；

跟踪所述单视图图像的全局运动以提供全局运动信息，其中所述全局运动包括所述单视图图像的一般移动；

使用所述图像全局运动信息，从所述完整全局深度图的一个子区域生成一个图像全局深度图，其中所述图像全局运动信息被用来定位所述完整全局深度图的子区域；和

使用所述单视图图像像素的多个颜色分量的相对关系，改进所述图像全局深度图的局部深度数值，从而提供所述单视图图像的图像深度图。

26.根据权利要求25所述的方法，其中所述跟踪单视图图像的全局运动包括：

跟踪所述单视图图像内水平和垂直方向上的全局运动。

27.根据权利要求26所述的方法，其中所述跟踪单视图图像的全局运动还包括：

跟踪一个垂直于所述单视图图像平面的方向（Z方向）上的全局运动。

28.根据权利要求25所述的方法，其中所述完整全局深度图的尺寸大于所述单视图图像。

29.根据权利要求25所述的方法，其中所述生成完整全局深度图包括：

关于包括运动视频片断的多个图像，预生成所属完整全局深度图，用于所述图像深度图生成。

30.根据权利要求25所述的方法，其中所述生成完整全局深度图包括：

使用所述图像全局运动信息以收缩或伸展一个全局深度模型，从而提供能够容纳图像全局运动的完整全局深度图。

Images