CN101542537A - 用于3d图像的颜色校正的方法和系统 - Google Patents

Abstract

用于3D图像的颜色校正的系统和方法包括确定所选图像流的至少一部分的三维属性，该3D图像包括为同一场景捕捉的至少两个分离的图像流，三维属性包括光和表面反射比属性、表面颜色、反射比属性、场景几何结构等。随后通过变更所确定的三维属性的至少一个的值并且在一个实施例中应用成像理论来修改所选图像流的那个部分的外表。修改随后自动地和/或根据用户输入被呈现在输出的3D影像中。在各个实施例中，对至少两个图像流中所选的一个图像流所作的修改可被自动应用于图像流中的另一个。

Description

用于3D图像的颜色校正的方法和系统

技术领域

本发明一般地涉及颜色校正系统和方法，更具体地涉及采用成像理论来增强和使能诸如动态影像或视频场景之类的图像内容中的三维图像的颜色校正。

背景技术

传统的颜色校正仅仅是二维(2D)技术，其仅仅处理2D图像中的像素值。所有传统颜色校正都支持诸如lift(提取)、gain(增益)、gamma之类的原色(primary color)操作，以及全局应用于图像中的所有像素的、由操作员规定的美国电影摄影师协会的色彩决定表(ASC CDL)功能。但是，近来颜色校正也支持仅仅应用于图像中的某些选中像素的二级操作。

但是，传统的颜色校正未能利用图像同步信道和通过利用立体摄像机等捕捉而产生的相关信息之间的关系。另外，现有颜色校正处理未考虑或修改场景中的对象的实际照明条件、光反射特性或者三维(3D)几何信息。因此，传统的颜色校正处理不足以用于3D图像的颜色校正。

发明内容

本发明通过提供用于诸如立体图像之类的三维(3D)图像的颜色校正的方法、装置和系统来解决现有技术的不足。在本发明各个实施例中，对诸如立体图像之类的3D图像的颜色校正开始于用户使用原色操作来对左信道中的图像进行颜色校正。随后，那些颜色操作被复制到右信道中的图像。最后，用户可以查看并手动精处理对右信道中的图像的颜色校正以正确地匹配左信道中的那些校正。

在本发明一个实施例中，一种用于对3D图像(该3D图像包括为同一场景捕捉的至少两个分离的图像流)进行颜色校正的方法包括：确定所述三维图像的所选图像流的至少一部分的至少一个三维属性；以及通过变更所确定的至少一个三维属性的值来修改所选图像流的所述至少一部分的外观。三维属性可以包括关于几何结构、光、表面反射比属性等的信息。随后可以通过变更所确定的至少一个三维属性并例如应用成像理论来修改所选图像流的那个部分的外观。修改随后可相应地呈现在3D图像(例如，两个分离的图像流)中。在各个实施例中，对至少两个图像流中的所选图像流所作的校正可自动地被应用于图像流中的另一个。

在本发明替代实施例中，一种用于对三维图像进行颜色校正的系统包括颜色校正设备和被配置来显示用于颜色校正的图像的参考显示设备。本发明该实施例的颜色校正设备被配置来确定三维图像的所选图像流的至少一部分的至少一个三维属性，并通过变更所确定的至少一个三维属性的值来修改所选图像流的所述至少一部分的外观。本发明的系统还可以包括至少两个图像捕捉设备，或者包括用于捕捉至少两个图像流的立体相机。

附图说明

通过结合附图来考虑以下详细描述，可以很容易地理解本发明的教导，在附图中：

图1示出了根据本发明一个实施例、用于对诸如立体图像之类的三维(3D)图像进行颜色校正的颜色校正系统100的高层次框图；

图2示出了根据本发明适合在图1的颜色校正系统中使用的颜色校正设备的实施例的高层次框图；

图3示出了根据本发明一个实施例、适合在图1的颜色校正系统中使用的用户接口的高层次框图；

图4示出了根据本发明一个实施例、图示出表面渲染的原理的示图；

图5示出了根据本发明一个实施例、用于确定三维信息的方法的流程图；

图6示出了根据本发明一个实施例、使用三维信息来对3D图像进行颜色校正的方法的流程图。

应当了解，附图是用于图示本发明的构思的目的的，并且不一定是用于图示本发明的唯一可能配置。为了辅助理解，在可能的情况下已使用相同标号来指示各个附图所共有的相同元件。

具体实施方式

本发明有利地提供了用于诸如立体图像之类的三维(3D)图像的颜色校正的方法、装置和系统。虽然将主要在诸如视频记录和/或编辑系统之类的后期处理环境的上下文中描述本发明，但是本发明的具体实施例不应当被视为限制本发明的范围。本领域技术人员将会了解并且本发明的教导将会告知，本发明的原理可被有利地应用于针对所捕捉图像或图像部分的颜色校正和/或颜色调整的能够捕捉和/或编辑图像的任何环境(例如，任何数字多媒体系统)，例如，相机、录像机、蜂窝电话、摄影机、或者在网络上。另外，本发明的原理还适用于例如能够使用3D场景捕捉设备来进行立体图像或双影像捕捉的任何记录方法。

在本发明的各个实施例中，接收两个同步图像信道(例如，在立体图像对中具有任何附加元数据的左图像和右图像)。根据所提取的三维几何和光照模型来处理每一个信道。这些模型考虑了两个图像流之间的差异，并根据例如来自用户输入的指令来修改每一个流。本发明的实施例提供了针对每一个信道的诸如美国电影摄影师协会的色彩决定表(ASC CDL)操作之类的标准原色校正、以及诸如针对所接收图像的特定区域的操作之类的二级校正。

在本发明的实施例中，使用从两个流和/或从3D数据库中提取的信息来进行的对象定义和跟踪被实施以辅助用户针对对象属性(例如，光反射比等)的特定类型的更改而隔离图像元素。根据本发明构建3D图像的模型使得第一信道的图像的改变能够容易且自动地被转变并在第二信道的图像中被实施。

可以通过使用专用硬件和与适当软件相关联地使用能够执行软件的硬件来提供附图中所示的各个元件的功能。当由处理器提供时，这些功能可由单个专用处理器、由单个共享处理器、或者由多个独立的处理器(其中某些可被共享)来提供。并且，术语“处理器”或“控制器”的显式使用不应当被理解为排他地指能够执行软件的硬件，并且可以隐式地包括而不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)和非易失性存储设备。

图1示出了根据本发明一个实施例、用于诸如立体感图像之类的三维(3D)图像的颜色校正的颜色校正系统100的高层次框图。图1的颜色校正系统100示意地包括图像捕捉设备105、颜色校正设备110和参考显示器120。在图1的颜色校正系统100中，由图像捕捉设备105捕捉图像内容。图像捕捉设备105以两个分离信道16和18的形式生成相同的所捕捉图像(或图像场景)的两个图像流。例如，在本发明一个实施例中，图像捕捉设备105可以包括能够产生相同的所捕捉图像的两个图像流(例如，用于创建3D图像的左和右图像流/信道)的立体相机。在本发明的替代实施例中，图像捕捉设备105可以包括两个分离的图像捕捉设备112和114，用于提供所捕捉图像的两个同步信道16和18。

这两个图像流16和18被传送给颜色校正设备110。在颜色校正设备110中，各个信道16和18被相应地处理以提供三维光照和几何模型，该三维光照和几何模型被创建并存储在颜色校正设备110中。该模型考虑了两个图像流16和18之间的差异。每一个流随后可根据例如来自操作员的指令而被修改。在本发明一个实施例中，颜色校正设备110提供针对每一个信道16和18的诸如ASC CDL操作之类的标准原色校正以及诸如对图像流的特定区域的操作之类的二级操作。虽然在产生并提供用于3D成像的两个分离流的上下文中描述了图1的实施例，但是在本发明的替代实施例中，也可以采用具有相应深度映射的2D图像来进行3D成像。

图2示出了根据本发明适合在图1的颜色校正系统100中使用的颜色校正设备的实施例的高层次框图。图2的颜色校正设备110包括处理器210和存储器220，存储器220用于存储控制程序、几何和光照信息和模型、对象数据库等。处理器210与传统支持电路230协作，传统支持电路230例如是电源、时钟电路、高速缓存存储器等以及辅助执行在存储器220中存储的软件例程的电路。这样，可以设想在此作为软件处理来论述的某些处理步骤可以在硬件内被实施，例如，作为与处理器210协作以执行各种步骤的电路。颜色校正设备110还包含输入输出电路240，输入输出电路240形成了与颜色校正设备110通信的各种各个功能元件之间的接口。

虽然根据本发明图2的颜色校正设备110被示出为被编程为执行各种控制功能的通用计算机，但是本发明可以在例如作为专用集成电路(ASIC)的硬件中实施。这样，这里所论述的处理步骤应当被广泛地解释为通过软件、硬件或其组合来等效地执行。

在本发明一个实施例中，本发明的颜色校正系统100还可以包括用户接口125，用于使能用户向颜色校正设备110输入有关环境信息和颜色校正参数的信息。图1的颜色校正设备110的用户接口125可以包括无线远程控制、诸如鼠标或轨迹球之类的点选设备、语音识别系统、触摸屏、屏幕上的菜单、按钮、旋钮等。另外，用户接口125可直接设在颜色校正设备110上或者设在远程面板或设备上。

例如，图3示出了根据本发明一个实施例、适合在图1的颜色校正系统中使用的用户接口的高层次框图。图3的用户接口125可以包括独立工作站(包括屏幕或显示器302)，或者可以用软件来实施作为具有处理器或控制器的计算机上的图形用户接口。取决于用户接口125的实施方式，控制310-326可以包括实际旋钮/操纵杆310、数字键区/键盘324、按钮318-322、虚拟旋钮/操纵杆和/或按钮314、以及鼠标326。

屏幕302包括用于查看图像或图像分量以允许在图像中的颜色校正和几何或光源修正的区域。可以在屏幕上采用用户控制光标(未示出)来激活控制并突出显示屏幕302的各个部分或使得屏幕302的各个部分活动。可以使用被维护作为用户接口125的一部分或者与用户接口125分离的鼠标326、数字键区324、操纵杆或其它选择/点选设备330来实施和移动光标。

在一个示例中，一幅或多幅图像的区域304被选择以供处理。该区域可以包括已经为其收集和存储几何数据、光源数据、反射比数据和任何其它特性的对象305。对象305优选地被选择为包括恒定属性(例如，反射比(非发光表面)等)，并且可以用作确定或推断光源位置、几何特性或其两者的方式。可以在屏幕302上显示图像的渲染(rendering)(或者可以在参考显示器120上显示图像的渲染)。可以基于在捕捉图像期间收集的或者通过推断归结于图像对象的属性集来对图像进行修正(以下将更详细地描述)。这包括通过使用一个或多个捕捉设备收集的3D信息。这里描述的编辑工具和精处理(refinement)可以使用基于软件的工具、手动操作或两者的组合来自动执行。这可以包括自动地基于几何模型将信道对的图像之一之间的更新后的图像信息传送给另一个。

返回来参考图1，在颜色校正设备110中，对3D图像(例如，左图像流和右图像流)进行分析以构建所捕捉场景的光照、表面反射比、和3D几何模型。这个处理可以是交互式处理，其包括经由用户接口125来自用户的一个或多个输入。可以使用例如在捕捉图像期间收集的3D信息来创建3D几何模型。例如，在本发明一个实施例中，本系统的颜色校正设备可以位于图像捕捉区域中，并且可以包括用于确定图像捕捉所涉及的环境条件的各种传感器(未示出)。例如，本发明的颜色校正设备可以包括用于确定捕捉图像的环境的光照条件的光传感器。

基于由颜色校正设备110确定的光照、反射比和3D几何模型，可以修改场景中的对象的光照、表面反射比属性以及表面几何结构。规定的操作将被应用于两个图像流。在本发明的各个实施例中，发明人实施成像理论来确定所捕捉图像的各个方面。例如，图像的形成至少取决于以下四个因素：相机、场景几何结构、光源和表面反射比属性。在对镜面反射使用Phong模型并分解扩散和镜面分量之后，在反射的辐射能(反射的辐射能与相机投影之后所捕捉的2D图像之一中的最后观察到的像素值成比例)与以上四个因素之间的关系可以根据式一(1)来近似，式(1)如下所示：

$L_r(x,{\mathrm{\ω}}_r,\mathrm{\λ})=L_e(x,{\mathrm{\ω}}_r,\mathrm{\λ})+{\mathrm{\ρ}}_d(x,\mathrm{\λ}){\∫}_{{\mathrm{\Ω}}_i}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i+{\mathrm{\ρ}}_s(x,\mathrm{\λ})L_s(x,{\mathrm{\ω}}_s,\mathrm{\λ}){\left(\cos {\mathrm{\θ}}_s\right)}^n---\left(1\right)$

其中，L_r(x，ω_r，λ)表示被反射的辐射能，其与相机投影之后所观察到的像素值成比例；x是场景表面上的点；ω_r表示反射角；λ表示光射线的波长；L_e(x，ω_r，λ)表示由表面发出的辐射能；L_i(x，ω_i，λ)表示入射的辐射能；ω_i表示入射角度；ω_s表示镜向角度(angle of the specular direction)，其由表面法线和入射射线确定；L_s表示沿着镜向的辐射能；ρ_d和ρ_s分别表示扩散和镜面反照率(反射率)；cosθ_s＝(ω_s·ω_r)和n表示确定镜面反射的锐度的参数；并且cosθ_i＝(ω_i·N)，其中N是表面法线。图4示意性地示出了这些元素之间的关系。

更具体而言，图4示出了用于表面渲染的基本原理的示图。在图4中，光源410以入射角度ω_i提供光，其与法线N(x)形成角度θ_i。法线N(x)是表面412的法线，表面412负责反射来自源410的光。在图4的示图中，ω_r示出了例如从第一捕捉位置反射的反射角度，ω_s示出了镜向角度，并且θ_s示出了它们之间的角度。此外，在图4的示图中，ω_r示出了例如从第二捕捉位置反射的反射角度，并且θ_s示出了从第二捕捉位置反射的反射角度与镜向角度ω_s之间的角度。

在本发明中，考虑了为左信道16和右信道18捕捉的3D场景信息。这样，可以根据如下所示的式二(2)和三(3)来表征针对每一个信道的式(1)：

$L_r(x,{\mathrm{\ω}}_r,\mathrm{\λ})=L_e(x,{\mathrm{\ω}}_r,\mathrm{\λ})+{\mathrm{\ρ}}_d(x,\mathrm{\λ}){\∫}_{{\mathrm{\Ω}}_i}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i+{\mathrm{\ρ}}_s(x,\mathrm{\λ})L_s(x,{\mathrm{\ω}}_s,\mathrm{\λ}){\left({\cos \mathrm{\θ}}_s\right)}^n---\left(2\right)$

$L_r(x,{\mathrm{\ω}}_{r^{\′}},\mathrm{\λ})=L_e(x,{\mathrm{\ω}}_{r^{\′}},\mathrm{\λ})+{\mathrm{\ρ}}_d(x,\mathrm{\λ}){\∫}_{{\mathrm{\Ω}}_i}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i+{\mathrm{\ρ}}_s(x,\mathrm{\λ})L_s(x,{\mathrm{\ω}}_s,\mathrm{\λ}){\left(\cos {\mathrm{\θ}}_{s^{\′}}\right)}^n---\left(3\right)$

为了区分，在本发明一个实施例中，式(2)可以表示右眼信道，并且式(3)可以表示左眼信道。注意，式(2)和(3)两者中的第二项 $\left({\mathrm{\ρ}}_d(x,\mathrm{\λ})\underset{{\mathrm{\Ω}}_i}{\∫}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i\right)$ 相同。

对于非发光表面(例如，式(2)和(3)的第一项(L_e(x，ω_r，λ))＝0和/或式(2)和(3)的Lambertian表面(第三项ρ_s(x，λ)L_s(x，ω_s，λ)(cosθ_s′)ⁿ)＝0)，可以进一步简化式(2)和(3)。

从3D图像对光照、表面反射比、和3D几何模型的提取也可以从在两个立体信道中的2D图像获得。

在本发明的实施例中，交互式处理考虑了手动输入以及3D场景信息(例如，左图像流和右图像流)和光照信息(例如，场景的镜球影像)以提取并精处理这些模型，将参考图5来描述。例如并且如上所述，为了实现3D环境中的颜色校正能力，可能在处理之前就需要光源和表面几何结构的信息以及表面反射比属性。存在从图像获得3D信息的若干方式，例如包括从外部源获得或者从正在处理的图像推断。对于外部源而言，可以通过诸如激光扫描仪或其它设备和/或用户输入之类的几何捕捉设备来获取3D几何结构。可以从光传感器和/或光照捕捉设备(例如，球面反射镜(mirror ball))确定光信息。对于从图像推断环境属性而言，试图从单个图像同时恢复场景几何结构、光和表面反射比属性是困难的，这是因为存在着多个未知变量。但是，在颜色校正处理中，用户可以与系统交互以实现所需效果。

因此可以采用用户-计算机交互和3D图像来辅助和增强场景几何重构。例如，用户可以为系统选择“良好”区域以推断光源。然后，可以对更复杂的区域使用所推断的光源。用户还可以估计光源的位置并辅助系统交互地精处理光源和场景的3D几何结构。同样地，可以基于位置略微不同并且同时捕捉图像数据的两个相机或其它3D影像捕捉设备，从场景中的对象获取几何信息。以这种方式，可以例如使用计算机视觉软件工具来比较这两幅图像以确定三维几何特性并创建模型。注意，3D图像包括用于三个维度的几何信息。

例如，图5示出了根据本发明一个实施例、用于确定场景的三维信息的方法500的流程图。图5的方法500开始于步骤501，在步骤501中，至少在两个信道(例如，图像流)上接收图像信息(例如，场景信息)。每一个信道可以承载例如使用立体相机或两个分离的相机从略微不同的角度拍摄的同一场景的信息流。方法500前进到步骤502。

在步骤502，用户选择所接收的图像中具有特定属性(例如，Lambertian表面)的区域。更具体而言，在步骤502，可以选择所接收图像的特定区域以辅助表面或3D模型的建立。例如，如果对于镜面反照率而言(即使是近似值)，沿镜向的辐射能和相机位置是已知的，则可以使用如下所示的式四(4)和式五(5)来确定表面法线：

${\left({\cos \mathrm{\θ}}_s\right)}^n-{\left({\cos \mathrm{\θ}}_{s^{\′}}\right)}^n=\frac{L_r(x,{\mathrm{\ω}}_r,\mathrm{\λ})-L_r(x,{\mathrm{\ω}}_{r^{\′}},\mathrm{\λ})}{{\mathrm{\ρ}}_s(x,\mathrm{\λ})L_s(x,{\mathrm{\ω}}_s\mathrm{\λ})}---\left(4\right)$

$\frac{{\left({\cos \mathrm{\θ}}_s\right)}^n}{{\left({\cos \mathrm{\θ}}_i^{\′}\right)}^n}=\frac{L_r(x,{\mathrm{\ω}}_r,\mathrm{\λ})-{\mathrm{\ρ}}_d(x,\mathrm{\λ}){\∫}_{{\mathrm{\Ω}}_i}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i}{L_r(x,{\mathrm{\ω}}_{r^{\′}},\mathrm{\λ})-{\mathrm{\ρ}}_d(x,\mathrm{\λ}){\∫}_{{\mathrm{\Ω}}_i}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i}---\left(5\right)$

另外，如果存在数目有限的已知光源并且表面是Lambertian的，则可以选择该表面来辅助创建3D模型。用户选择图像中具有特定已知属性(例如，镜面反照率、沿镜向的辐射能和相机位置和/或Lambertian表面)的区域或其部分。方法500随后前进到步骤504。

在步骤504，用户提供根据图像内容对三维属性的判断或估计，在这种情况下三维属性是指场景中的光位置。但是，在本发明替代实施例中，可以从先前接收的图像中推断三维属性。方法500随后前进到步骤506。

在步骤506，可以使用计算机视觉技术从场景几何信息的两个同步信道(例如，左图像流和右图像流)建立3D几何模型。左和右图像对首先被登记以共享共同的协调系统。例如，在本发明一个实施例中，基于图像差异和相机位置为每一个像素计算深度，并进而使3D表面模型符合该深度测量。另外，由于左图像流和右图像流为可得(不仅仅是左和右图像对)，所以也可以及时地从先前的左和右图像对估计3D几何信息。这可以极大地辅助提高在对象或相机移动的情况下所构建的3D几何模型的精确度。此外，可以例如通过假设非发光表面、使用上式(2)-(5)来提取附加3D几何信息。方法500随后前进到步骤508。

在步骤508，对所选区域进行重渲染。可以使用现有的射线追踪算法来实现这种重渲染。方法500随后前进到步骤510。

在步骤510，对原始选择的区域和重渲染后的区域的外观进行比较。如果重渲染后的区域和原始区域匹配的不是很好，则方法返回到步骤504，尝试例如通过重新估计光位置来实现更好匹配。如果重渲染后的区域和原始区域确实匹配的很好，则退出该方法。匹配可以基于客观标准或者可以基于用于确定图像是否已得到改善的图像技术规范。根据本发明，一旦如上所述地确定场景的三维信息(例如，三维属性)，就可以修改这些三维属性(例如，光源位置和强度、表面反射比等)以实现图像的所需“外表”。在本发明实施例中，匹配可以包括来自光源的信息和来自两个图像信道的几何结构。之后可以对同一幅图像中的其它区域重新使用最终的光信息。

可选地，在步骤512，使用基本的三维模型，通过本发明的处理对2D流中所选的一个流实现的任何改变可自动地或经由用户输入而被应用于其它流。

现在将更详细地描述本发明的在给定用于一幅2D图像的光源的情况下恢复场景几何结构的方法的实施例。假设所选区域是具有恒定反照率或其它恒定属性的Lambertian小块表面，反照率图(albedo map)可以是分片恒定的，因此，在反照率图上找到具有恒定反照率的区域应当并不难。注意，对于Lambertian表面而言，光、几何结构和反照率受如下所示的式六(6)的约束：

$L_r(x,{\mathrm{\ω}}_r,\mathrm{\λ})={\mathrm{\ρ}}_d(x,\mathrm{\λ})\underset{{\mathrm{\Ω}}_i}{\∫}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i={\mathrm{\ρ}}_d(x,\mathrm{\λ})I_d(x,\mathrm{\λ})---\left(6\right)$

如果反照率在所选颜色校正区域中为恒定，则知道光和几何结构中的任一个可以辅助恢复其它因素。在许多情况下，场景表面可被近似为Lambertian表面，其中，反射属性沿每一个方向均恒定，这还指示出式(1)中的镜像项消失了。如果还可以忽略表面发光(这对于大多数表面类型而言为真)，则可以提供以下简化形式：

其中， $I_d(x,\mathrm{\λ})=\underset{{\mathrm{\Ω}}_i}{\∫}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i$ 在传统上被称为照度图像(illuminationimage)，其对光和表面几何结构的相互作用进行编码同时排除场景反照率的影响。显然，可以根据如下所示的式七(7)从所观察到的图像和照度图像中恢复反照率图：

${\mathrm{\ρ}}_d(x,\mathrm{\λ})=\frac{L_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})}{I_d(x,\mathrm{\λ})}.---\left(7\right)$

在给定反照率图(在区域中为恒定)和光位置(有限数目的点光源)的情况下，可以根据如下所示的式八(8)通过首先获得表面法线N(x)来恢复几何结构：

$L_r(x,{\mathrm{\ω}}_r,\mathrm{\λ})={\mathrm{\ρ}}_d\left(x\right)\underset{i}{\mathrm{\Σ}}(N\left(x\right)\·{\mathrm{\ω}}_i\left(x\right))L_i---\left(8\right)$

其中，L_i表示点光源i的辐射能；N(x)表示表面法线；并且ω_i表示光源i的入射光射线。但是，由于式(8)可能具有无限的解，所以求解式(8)可能较难。为了使求解问题更加明确，发明人提出施加以下约束：法线图(normal map)在所述区域内是连续且平滑的。因此，可以根据如下所示的式九(9)来表征定义明确的函数：

$F\left(N\left(x\right)\right)=\∫{|L_r(x,{\mathrm{\ω}}_r)-{\mathrm{\ρ}}_d\left(x\right)\underset{i}{\mathrm{\Σ}}(N\left(x\right)\·{\mathrm{\ω}}_i\left(x\right))L_i|}^{2}dx+\mathrm{\λ}\∫{\left|{\▿}_{x}N\left(x\right)\right|}^2\mathrm{dx}---\left(9\right)$

式(9)中的函数的第一项(第一积分)试图满足式(8)，而第二项(第二积分)是用于施加平滑约束的调整项。通过最小化式(9)的函数，可以根据如下所示的式十(10)来表征近似法线图N(x)：

$\hat{N}\left(x\right)=\underset{N(\·)}{\arg \max }F\left(N\left(x\right)\right).---\left(10\right)$

已经使用与式(6)的函数相似的函数来确定其它行业中的条件，例如，光流估计。通常，可以通过梯度下降法来求解，或者通过转换函数最小化求得Euler-Lagrange差分方程，进而通过已知的数值方法来求解该Euler-Lagrange差分方程来找到答案。一旦法线图被恢复，就可以通过以区域边界作为初始条件来求解二阶差分方程，从而恢复区域中的几何结构。从法线图计算3D表面的方法可从标准计算机视觉教科书中找到。

现在将描述根据本发明利用成像理论和使用成像的3D信息的颜色校正。本发明使能用户(例如，配色师)通过至少修改光颜色、表面颜色和反射比属性、光位置和表面几何结构来改变图像的“外表”。另外，还可以采用其它改变。例如，可以修改这些因素的任何组合来创建所需“外表”。这样的改变优选地在如上所述的图5的方法的步骤504和508中实施。这些改变可以基于操作员所提供的指令相应地被渲染成3D影像。例如，在立体对的情况下，将基于3D几何信息和两个信道之间的几何对应关系为左信道和右信道中的图像自动呈现校正。

在本发明一个实施例中，假设仅需要修改入射光的颜色。于是需要对光的颜色进行调整。具体而言，将入射光辐射能乘以因子S(A)改变了入射光的颜色分量的组成。这可以用来改变色温、亮度等。于是，可以根据如下所示的式十一(11)来表征场景的反射光：

$L_r(x,{\mathrm{\ω}}_r,\mathrm{\λ})=\underset{{\mathrm{\Ω}}_i}{\∫}\left(S\left(\mathrm{\λ}\right)L_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\right)f(x,{\mathrm{\ω}}_i,{\mathrm{\ω}}_r,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i$

$=S\left(\mathrm{\λ}\right)\underset{{\mathrm{\Ω}}_i}{\∫}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})f(x,{\mathrm{\ω}}_i,{\mathrm{\ω}}_r,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i---\left(11\right)$

式(11)说明了对光颜色进行调整等同于对最终观察到的颜色进行调整。因此，修改光颜色可被视为等同于传统的颜色校正处理。

考虑修改表面反射比的最简单的情况，其中，场景表面被假设为Lambertian表面并且材料发光被忽略，则可根据如下所示的式十二(12)来表征表面反射比：

$L_r(x,{\mathrm{\ω}}_r,\mathrm{\λ})={\mathrm{\ρ}}_d(x,\mathrm{\λ})\underset{{\mathrm{\Ω}}_i}{\∫}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i---\left(12\right)$

与上述修改一样，利用S(λ)调整扩散反照率ρ_d(x，λ)等同于调整最终观察到的值。

对于更一般性的情况，其中发光和镜面属性都不可忽略，则需要3D几何结构和光信息以进行渲染。通过使用针对来自外部源(即，来自光照捕捉设备和/或3D扫描仪)的3D几何结构和光源信息所描述的处理，用户可以改变发光分量L_c(x，ω_r，λ)，改变扩散反照率ρ_d(x，λ)、镜面反照率ρ_s(x，λ)和镜面强度(specular power)n。随后可以使用上述的式(2)和(3)来重渲染所选区域。这种重渲染可使用现有的射线追踪算法来实现。

在用于仅修改光位置和方向的实施例中，如果光是定向的，则用户可以改变光的位置和方向。用户还可以向场景添加附加光源。如果可获得表面的3D几何结构，则可以使用上述式(2)和(3)来简单地实现重渲染。通过修改光位置，可以实现某些特效，例如，改变表面的镜面反射性。

在用于仅修改场景几何结构的实施例中，用户可以改变所选区域的几何结构。改变表面的几何结构可以通过像B样条一样(B-Spline-like)的编辑工具来实现，该编辑工具在某些现有软件包中被实现。一旦几何结构被修改，就可使用式(2)和(3)、利用射线追踪算法来重渲染所选表面。

除了上述的单因子校正方法之外，根据本发明，还可以合并上述各个方法以改变图像的对象外表的不同方面。例如，在修改图像的几何结构(例如，表面反射比)和光两者的情况下，如成像理论所述，可以根据如下所示的式十三(13)来描述场景渲染：

$L_r(x,{\mathrm{\ω}}_r,\mathrm{\λ})=L_e(x,{\mathrm{\ω}}_r,\mathrm{\λ})+{\mathrm{\ρ}}_d(x,\mathrm{\λ})\underset{{\mathrm{\Ω}}_i}{\∫}{L}_i(x,{\mathrm{\ω}}_i,\mathrm{\λ})\cos {\mathrm{\θ}}_{i}d{\mathrm{\ω}}_i+{\mathrm{\ρ}}_s(x,\mathrm{\λ})L_s(x,{\mathrm{\ω}}_s,\mathrm{\λ}){\left({\cos \mathrm{\θ}}_s\right)}^n=$

$L_e(x,{\mathrm{\ω}}_r,\mathrm{\λ})+{\mathrm{\ρ}}_d(x,\mathrm{\λ})I_d(x,\mathrm{\λ})+{\mathrm{\ρ}}_d(x,\mathrm{\λ})I_s(x,\mathrm{\λ})---\left(13\right)$

其中，I_d(x，λ)表示照度图像，并且类似于I_d(x，λ)，镜面照度图像可以根据如下所示的式十四(14)来表征：

I_s(x，λ)＝ρ_s(x，λ)L_s(x，ω_s，λ)(cosθ_s)ⁿ. (14)

照度图像和镜面照度图像两者都对3D环境的光和几何信息进行编码。通过使用照度图像，取代估计几何结构和光信息，仅通过编辑照度图像自身就可避免光和几何结构获取处理。照度图像和镜面照度图像可通过数字绘景(matte painting)来获得，或者可使用可获得的3D几何结构通过分离的渲染处理而被呈现。一旦完成这个处理，就可使用式(13)来将照度图像并入所选区域。

根据本发明实施例的颜色校正方法可以通过修改根据场景的3D几何信息创建的光照、表面反射比和3D几何模型，而修改光照、表面反射比和3D几何结构以在场景中提供所需效果。根据本发明各个实施例，即使用户仅对信道之一进行操作，也可为2D图像的两个同步信道呈现颜色校正操作。这可以在获悉相机位置和场景的3D几何结构的情况下被自动完成(步骤520)。

本发明的方法的实施例可被应用于整个场景(或3D影像)或其一部分。例如，可从3D影像分割并跟踪特定对象(使用3D几何模型来辅助这个处理)，并且与图像的其余部分相独立地修改该特定对象的表面反射比和几何属性。

图6示出了根据本发明一个实施例、使用场景的三维信息来对图像进行颜色校正的方法的流程图。图6的方法开始于步骤602，其中，通过收集有关三维属性(包括场景中的对象的反射比、光源信息和几何信息中的至少一种)的外部源信息，提供关于所接收图像中要被渲染的场景中的所述对象的特性的信息以用于颜色校正。如上所述，可使用外部传感器或用户输入来收集这种信息。根据本发明实施例，反射比、光源信息和几何信息中的所述至少一个是使用从立体相机或双影像捕捉设备或其它3D图像捕捉设备收集的左和右信道信息来获得的。方法随后前进到步骤608。

或者，图6的方法600开始于步骤604，其中，可从所接收的图像推断光源位置和/或对象几何结构。例如，如图6所示，对光源位置和/或对象几何结构的推断可以包括步骤605和步骤606，在步骤605中，选择具有一个或多个恒定属性(例如，反照率、反射比等)的区域以使得该区域中的光源位置和/或对象几何结构可更容易确定，在步骤606中，确定函数(例如，式(9))以限定/约束对象几何结构的表面。方法随后前进到步骤608。

在步骤608，使用对象几何结构和几何信息的至少一个，在一个实施例中通过审查两个信道的图像流之间的差异来计算所选区域中的像素值以用于几何结构和光估计。在本发明替代实施例中，通过改变光源和/或改变所选区域的几何结构来计算所选区域中的像素值以用于几何结构和光估计。方法随后前进到步骤610。

在步骤610，将为该区域估计得到的像素值与原始图像中的像素值相比较以确定是否存在匹配。如果存在匹配，则方法前进到步骤612。如果不存在匹配，则方法跳到步骤614。

在步骤612，对表面颜色、几何结构、光的颜色和方向等进行修改直到实现所需“外表”。方法随后前进到下一幅图像，并且如果不存在下一幅图像，则退出方法，并且例如可以在图1的参考显示器120上显示得到的3D图像。

在步骤614，通过精处理图像的那个部分、通过精处理光源的值和/或精处理图像那个部分的几何结构的值来执行进一步的编辑或精处理以实现更接近的匹配。可以使用利用三维环境的光和几何信息编码的照度图像和镜面图像来精处理光源和几何结构。方法随后返回到步骤610。

在可选步骤(未示出)中，在步骤612和对至少两个图像流的所选第一流的修改之后，应用于所选第一图像流的改变可被应用于第二图像流(如果适用的话)。

可以对其它图像或同一图像的不同区域重复本发明的方法。返回来参考步骤612，表面的颜色、几何结构和光的颜色、方向被变更直到已经实现所需“外表”。所需“外表”可以包括根据客观或主观标准来校正特定颜色、修理几何错误、或者在其它情况下实现所需的视觉效果。基于3D场景几何结构和两个信道之间的几何对应关系，这些校正被映射到输出的3D图像(即，立体对)。这包括自动地或者通过用户应用而将改变从所述对的一幅图像转换到另一幅。

已经描述了用于3D图像的颜色校正的方法和系统的优选实施例(其应当是示意性的而非限制性的)，但是本领域技术人员可以根据以上教导进行各种修改和变更。因此，应当了解，可以在所公开的本发明的特定实施例中进行在由所附权利要求限定的本发明的范围和精神内的改变。在已经详细描述本发明，尤其是专利法所需的内容的情况下，要求保护的以及希望受专利证书保护的范围在所附权利要求中阐明。

Claims (26)

1.一种用于对三维图像进行颜色校正的方法，所述三维图像包括为同一场景捕捉的至少两个分离的图像流，所述方法包括：

确定所述三维图像的所选图像流的至少一部分的至少一个三维属性；以及

通过变更所确定的至少一个三维属性的值来修改所述所选图像流的所述至少一部分的外观。

2.根据权利要求1所述的方法，其中，所述至少一个三维属性包括所述三维图像的所述至少一部分的光属性、表面颜色、反射比属性和场景几何结构的至少一个。

3.根据权利要求1所述的方法，还包括在所述所选图像流中选择要确定所述至少一个三维属性的区域。

4.根据权利要求3所述的方法，其中，在所述图像流中选择区域包括选择具有恒定反照率的区域，在该区域中，沿镜向的辐射能为已知并且图像捕捉设备的位置为已知。

5.根据权利要求1所述的方法，其中，所述确定包括：

基于所述两个所捕捉图像之间的差异，计算深度值；

使用所述计算得到的值，渲染所述所选图像流的至少一部分；以及

对所述所选图像流的所述经过渲染的部分与所述原始图像流的相应部分进行比较，以确定在它们之间是否存在匹配。

6.根据权利要求1所述的方法，其中，所述至少一个三维属性是根据用户输入来确定的。

7.根据权利要求1所述的方法，其中，所述确定包括基于所述所选图像流的所述至少一部分中的表面，推断光源位置和对象几何结构的至少一个。

8.根据权利要求7所述的方法，其中，所述推断包括采用成像理论。

9.根据权利要求1所述的方法，其中，所述至少一个三维属性是使用至少一个传感设备确定的。

10.根据权利要求9所述的方法，其中，所述至少一个传感设备在图像捕捉期间位于所述三维图像的捕捉环境中。

11.根据权利要求1所述的方法，其中，所述所选图像流的所述至少一部分的外表是使用成像理论来修改的，所述成像理论包括确定用于限定所述所选图像流的所述至少一部分的表面区域的函数。

12.根据权利要求1所述的方法，其中，所述至少两个图像流是使用至少两个图像捕捉设备来捕捉的。

13.根据权利要求1所述的方法，其中，所述至少两个图像流是使用立体相机来捕捉的。

14.根据权利要求1所述的方法，包括实施计算机视觉技术来从所述至少两个图像流生成三维模型。

15.根据权利要求1所述的方法，其中，所确定的至少一个三维属性的变更后的值被应用于对所选图像流的渲染，以修改所述所选图像流的外观。

16.根据权利要求1所述的方法，包括将为所述所选图像流确定的校正呈递给所述至少两个图像流中的另一个。

17.一种用于对三维图像进行颜色校正的系统，所述三维图像包括为同一图像捕捉的至少两个分离的图像流，所述系统包括：

参考显示设备，被配置来显示用于颜色校正的图像；和

与所述参考显示设备通信的颜色校正设备，被配置来：

确定所接收的三维图像的所选图像流的至少一部分的至少一个三维属性；以及

通过变更所确定的至少一个三维属性的值来修改所述所选图像流的所述至少一部分的外观。

18.根据权利要求17所述的系统，包括用于确定至少一个三维属性的至少一个传感设备。

19.根据权利要求17所述的系统，包括用于使能用户输入的用户接口。

20.根据权利要求19所述的系统，其中，所述用户接口包括以下各项的至少一个：无线远程控制、诸如鼠标或轨迹球的点选设备、语音识别系统、触摸屏、屏幕上的菜单、按钮和旋钮。

21.根据权利要求19所述的系统，其中，所述至少一个三维属性被使用所述用户接口来传送给所述颜色校正设备。

22.根据权利要求17所述的系统，包括用于捕捉所述至少两个图像流的至少两个图像捕捉设备。

23.根据权利要求17所述的系统，包括用于捕捉所述至少两个图像流的立体相机。

24.根据权利要求17所述的系统，其中，所述颜色校正设备使用所述至少两个图像流之间的差异来构建对象的三维模型。

25.根据权利要求17所述的系统，其中，使用利用三维环境的光和几何信息编码的照度图像和镜面图像来精处理光源属性和几何属性的组合。

26.根据权利要求17所述的系统，其中，所述颜色校正设备将为所选图像流确定的校正呈递给所述至少两个图像流的另一个。

Images