CN103262126A - 图像处理装置、照明处理装置及其方法 - Google Patents

Abstract

提供了一种图像处理装置、照明处理装置及其方法。根据一方面，照明处理装置可利用实际对象的彩色图像和深度图像提取应用于所述对象的漫射照明信息。照明处理装置可利用提取的所述扩展照明信息复原关于所述实际对象的漫射图像，并可以利用经复原的所述漫射图像和所述彩色图像生成镜面图像和阴影图像中的至少一个。

Description

图像处理装置、照明处理装置及其方法

技术领域

本发明技术领域涉及从图像生成照明条件，并将所生成的照明条件应用于将要插入到图像的虚拟对象的图像处理。

背景技术

随着3D图形技术和相关硬件技术的发展，在3D游戏、3D电影、智能手机等多种应用领域正制作出用于真实地表现出对象的内容。作为真实地表现对象的技术，可采用渲染技术。渲染技术需要对几何图形(Geometry)、材质属性(Material Properties)、光线(Lighting)准确地建模。

发明内容

技术手段

根据本发明的一方面，照明处理装置包括：漫射提取单元，利用实际对象的彩色图像和深度图像提取应用于所述对象的漫射照明信息；漫射复原单元，利用所提取的所述漫射照明信息复原针对所述实际对象的漫射图像；误差图像分离单元，利用所复原的漫射图像和所述彩色图像生成镜面图像和阴影图像中的至少一个。

发明效果

即便不使用辅助装置也能够从拍摄实际对象获得的彩色图像和深度图像获取应用于相关对象的照明条件。

而且，当在图像中添加虚拟对象时，通过将从相关图像获取的照明条件应用到虚拟对象，从而可以得到更加真实的渲染效果。

附图说明

图1为示出根据一实施例的照明处理装置的方框图。

图2为示出根据另一实施例的照明处理装置的方框图。

图3为示出用于获得应用于实际对象的照明条件的照明处理装置的一实施例的方框图。

图4为示出从拍摄单元输出而使用为输入图像的彩色图像和深度图像的一示例的图。

图5为用于说明基于深度图像和深度图像的法线图的基函数建模方式的图。

图6为更具体地示出图3所示的漫射复原单元的方框图。

图7为用于说明通过图3的误差图像分离单元所实现的一系列过程的示例图。

图8为用于说明基于镜面图像提取第一指向性照明信息的方法的例示图。

图9和图10为用于说明基于阴影图像提取第二指向性照明信息的方法的示例图。

图11为用于说明根据一实施例的照明处理方法的流程图。

图12为用于更具体地说明图11的920步骤的流程图。

图13为示出根据一实施例的包括照明处理装置的图像处理装置的组成的图。

具体实施方式

以下，参照附图详细说明本发明的实施例。

用于真实地表现对象的渲染技术需要对几何图形、材质属性、光线准确地建模。对于几何图形建模来说，随着拍摄深度图像的深度照相机的发展，可实时获取移动的物体的形状信息。对于材质属性建模来说，提出有Lambertian、Phong、Torrance-Cook、Or en-Nay ar、Emperical BSSRDF、BRDF等多种实验性/物理性的模型。

对于光线建模来说，以往利用Lambertian物体或Chrome Ball等辅助装置提取应用于对象的光线模型，即照明条件。相反，图1、图1以及图3的照明处理装置100a、100b、200可不使用辅助装置而利用实际对象的彩色图像和深度图像提取照明条件。图1、图2及图3的照明装置100a、100b、200可应用于数码相机、手机、智能手机等消费电子产品(CE，ConsumerElectronics)之中。在此，“照明条件”可包括“关于应用于实际对象的照明的方向的信息”以及“关于应用于实际对象的照明的亮度的信息”。

由照明处理装置生成的照明条件可包括例如漫射(diffuse)照明信息和指向性(directional)照明信息。即，可通过结合漫射照明信息和指向性照明信息，来复原原始(original)照明条件。还可以存在利用漫射照明信息和指向性信息中的其中一个来复原原始照明信息的实施例。

在频域观察漫射照明信息时，漫射照明信息表现出对应于原始照明条件的低频分量的特性。在频域观察指向性照明信息时，指向性照明信息表现出对应于原始照明条件的高频分量的特性。在频域，漫射照明信息可具有连续的形态，指向性照明信息可具有不连续的形态。

实际对象可对光进行反射。例如，可以在实际对象的表面生成具有全反射特性的漫反射(diffuse reflection)或具有指向性反射特性的镜面反射(specularreflection)。若利用拍摄实际对象的图像，则能够生成由受到漫反射影响的像素构成的漫射图像或由受到镜面反射的影响的像素构成的镜面图像。而且，在对象和其周边可根据光的指向性特性生成阴影，还能够生成由在原始图像中受到阴影的影响的像素构成的阴影图像。

漫射照明信息可从漫射图像中获取。另外，指向性照明信息可从镜面图像和阴影图像中的至少一个提取。显然，还可以存在利用漫射照明图像信息生成漫射图像或利用指向性照明信息生成镜面图像或阴影图像的实施例。

根据一实施例，照明处理装置可利用实际对象的彩色图像和深度图像提取漫射照明信息。照明处理装置可利用所提取的漫射照明信息生成漫射图像。而且，照明处理装置可利用漫射图像和原始图像来生成镜面图像。照明处理装置可从所生成的镜面图像提取指向性照明信息。而且，照明处理装置可利用漫射图像和原始图像生成阴影图像。照明处理装置可从所生成的阴影图像提取指向性照明信息。

照明处理装置可利用所提取的照明信息生成照明条件，并将其应用于虚拟对象。即，包括图1、图2及图3的照明处理装置100a、100b、200的图像处理装置可利用包含特定场景的图像生成照明条件，并在图像中插入应用所生成的照明条件的虚拟对象。例如，图像处理装置可利用深度图像和彩色图像提取指向性照明信息，并将应用了基于所提取的所述指向性照明信息的照明条件的虚拟对象合成到所述彩色图像。

图1为示出根据一实施例的照明处理装置的方框图。

参照图1，照明处理装置100a包括漫射提取单元105、漫射复原单元115、基于指向性照明的图像生成单元125。

漫射提取单元105利用实际对象的彩色图像和深度图像来提取应用于实际对象的漫射照明信息。

漫射复原单元115可利用所提取的漫射照明信息来复原漫射图像。漫射照明信息可以以纹理（texture）形态被存储。

基于指向性照明的图像生成单元125基于通过漫射复原单元115复原的漫射图像和彩色图像之间的误差图像来生成镜面图像。基于指向性照明的图像生成单元125还可以基于复原的漫射图像和彩色图像之间的误差图像来生成阴影图像。

图2为示出根据另一实施例的照明处理装置的方框图。

参照图2，照明处理装置100b包括漫射复原单元110、指向性照明信息提取单元120、照明条件确定单元130。

漫射复原单元110可利用实际对象的彩色图像和深度图像提取应用于实际对象的漫射照明信息，并利用所提取的漫射照明信息复原关于实际对象的漫射图像。漫射照明信息可以以纹理形态被存储。

指向性照明信息提取单元120可基于通过漫射复原单元110所复原的漫射图像和彩色图像之间的误差图像提取指向性照明信息。

照明条件确定单元130可利用所提取的漫射照明信息、所提取的指向性照明信息以及输入的彩色图像来确定应用于实际对象的照明条件。

图3为示出用于获得应用于实际对象的照明条件的照明处理装置的一实施例的方框图。

参照图3，照明处理装置200可包括拍摄单元210、漫射复原单元220、误差图像分离单元230、指向性照明信息提取单元240、照明条件确定单元250。

拍摄单元210可在任意的照明环境下拍摄实际对象而输出彩色图像和深度图像。拍摄图像210可分别配备用于获取彩色图像的彩色照相机和用于获取深度图像的深度照相机，或者还可以实现为整合彩色照相机和深度照相机的形态的照相机。或者，拍摄单元210可从立体式照相机或多视点照相机获取深度图像之后，与彩色图像一起输出所获取的深度图像。

图4为示出从拍摄单元210输出而使用为输入图像的彩色图像和深度图像的一示例的图。参照图4，根据照明环境，在实际对象中发生漫反射和镜面反射。

漫射复原单元220可利用实际对象的彩色图像和深度图像来提取应用于实际对象的漫射照明信息，并利用所提取的漫射照明信息复原针对对象的漫射图像。为了提取漫射照明信息，漫射复原单元220可利用基于深度图像的低阶基函数(low order basic function)模型。

图5为用于说明基于深度图像和深度图像的法线图的低阶基函数建模方式的图。

利用图5所示的低阶基函数时，对于Convex Lambertian物体来说，可利用9个低阶基函数准确地复原出较多（例如，99%以上的）像素值。若利用低阶基函数，则漫射复原单元220针对每个彼此不同的形状的对象可生成符合各个彼此不同形状的对象的低阶基函数模型。据此，漫射复原单元220可利用如图5所示的低阶基函数模型，根据Lambertian Law定义和表现出对象上生成的漫反射。“Lambertian Law”是所谓“漫反射与光线矢量1和物体表面的方向的法向量n的内积成比例”的理论。

图6为更加具体地示出图3所示的漫射复原单元220的方框图。

参照图6，漫射复原单元220可包括法线图生成单元221、模型生成单元223、渲染单元225、照明常数计算单元227。

法线图生成单元221可从所输入的深度图像生成深度图像的法线图。法线图以纹理表现出关于对象的法线矢量。

模型生成单元223可基于所生成的法线图生成深度图像的低阶基函数模型。低阶基函数模型的示例可以有如图3所示的球面谐波基函数(SHBF，Spherical Harmonics Basis Function)。

渲染单元225渲染基于深度图像生成的低阶基函数模型。

照明常数计算单元227可将被渲染的低阶基函数应用到彩色图像，从而计算出重新生成最为接近的彩色图像的一个以上的漫射照明常数。照明常数计算单元227可通过最优化过程计算出一个以上的漫射照明常数。照明常数计算单元227可将低阶基函数模型应用到彩色图像，并通过变更漫射照明常数的同时生成临时彩色图像的最优化过程，计算出一个以上的漫射照明常数。在生成临时彩色图像的最优化过程中，可使用[数学式1]。

【数学式1】

$I_{\mathrm{diffuse}}=\underset{k}{\mathrm{\Σ}}(c_k\×D_k\left(\mathrm{depth}\right))$

即，照明常数计算单元227可计算出一个以上的可使

的结果变成最小的c_k。此时，I表示所输入的彩色图像。例如可计算出C_l～C₉，即9个漫射照明常数，但并不局限于此。参照[数学式1]，I_diffuse为表示图像的矢量，矢量的各个元素表示构成图像的像素的颜色值。c_k表示漫射照明常数，k表示照明常数的索引，D_k(depth)表示被渲染的低阶基函数的模型。

漫射照明信息可表现为一个以上的漫射照明常数的组合。据此，照明常数计算单元227可利用由一个以上的漫射照明常数构成的漫射照明信息来复原关于实际对象的漫射图像。被复原的漫射图像可包括包含一个以上的漫射照明常数的漫射照明信息和低阶基函数模型的组合。

图7为用于说明通过图3的误差图像分离单元230形成的一系列过程的例示图。

参照图3和图7，误差图像分离单元230可通过将由漫射复原单元220复原的漫射图像和原始图像的亮度相比较而计算出表示亮度值误差的误差图像。原始图像可以是由拍摄单元210输出的彩色图像。误差图像分离单元230可计算出复原的漫射图像和彩色图像的差值，并通过组合差值而计算出误差图像。差值可以是复原的漫射图像和彩色图像中处于相同的位置的像素的亮度值(intensity)差。

误差图像分离单元230可分析误差图像而将误差图像分离为镜面图像和阴影图像。误差图像分离单元230可通过将预先设定的标准值应用于误差图像中，而将误差图像分离为镜面图像和阴影图像。即，误差图像分离单元230可以将误差图像分离为由相比标准值更亮的像素构成的镜面图像和由相比标准值更暗的像素构成的阴影图像。误差图像分离单元230可在表示误差图像的各个像素值分布的柱状图中应用标准值而分离误差图像。

再次参照图3，指向性照明信息提取单元240可从由漫射复原单元220复原的漫射图像和彩色图像之间的误差图像提取出指向性照明信息。即，指向性照明信息提取单元240可基于由误差图像分离出的镜面图像和阴影图像求出指向性照明信息。

指向性照明信息提取单元240可包括从镜面图像提取第一指向性照明信息的第一提取单元241和从阴影图像提取第二指向性照明信息的第二提取单元243。

第一提取单元241可利用镜面图像中最亮处的法向量和拍摄实际对象的拍摄单元210的位置，逆推应用于对象的照明方向，并利用逆推的照明方向提取第一指向性照明信息。

图8为用于说明基于镜面图像提取第一指向性照明信息的方法的例示图。

参照图8，第一提取单元241在镜面图像的各个本地区域中搜索最亮的位置。本地区域意指镜面图像中区域性地形成为更亮的椭圆或其他形状的群集。作为一实施例，本地区域可以是相比周边表现出临界值以上的亮度的像素集合。例如，本地区域可以是图7的镜面图像中圆形的白色部分701、703、705。第一提取单元241可利用高斯平均拟合（Gaussian mean fitting）来搜索出本地区域。第一提取单元241可利用按本地区域最亮位置法向量和拍摄单元210的位置，逆推应用于对象的照明的位置。逆推的照明的位置可表示应用于实际对象的照明的方向。

第一提取单元241可从拍摄单元210的位置得出视线矢量，并可得出本地区域中最亮位置的法向量。据此，针对镜面图像，第一提取单元241可以利用以法向量为基准光的入射角(θ_r)和反射角(θ_r)相同的原理，逆推照明的方向。为了逆推照明的方向，第一提取单元241可使用Phong、Blinn-Phong、Torrance-Cook、(Torrance-Sparrow)等多种镜面反射模型中的其中一个。

另外，第二提取单元243对形成阴影图像的所有像素中的每一个生成产生阴影的阴影线（ray），并将对应于所生成的阴影线中的分布率最大的阴影线的方向提取为第二指向性照明信息。

图9和图10为用于说明基于阴影图像提取第二指向性照明信息的方法的例示图。

参照图9，双线表示构成阴影图像的像素，虚线构成的箭头表示虚拟显示能够在阴影像素中生成阴影的照明方向，将此称为阴影线。第二提取单元243可通过任意变更光线方向，来针对每个构成阴影图像的各个像素（例如，p_sh）任意地生成阴影的阴影线。第二提取单元243可利用Uniform、RandomSampling等技术任意地生成阴影线。如图10所示，第二提取单元243将所生成的所有阴影线的方向针对所有像素进行累积，从而计算出阴影线的分布率。作为一实施例，假设以图像的拍摄位置为中心的半球状的虚拟空间，并假设照明位于半球的表面时，阴影线可由从拍摄位置至照明所处位置的0～180°范围的水平方向角度θ和0～90°范围的垂直方向角度Φ表示。第二提取单元243可以将对应于分布率最高的角度的方向类推为包含于指向性照明信息中。图10中，对应于两个峰值(peak)的角度(θ，Φ)，即照明的方向可包含于指向性照明信息之中。

作为一实施例，在求出分布率最高的阴影线的角度时，为了更加精确地找出分布率的峰值，第二提取单元243将分布率应用到任意的连续函数（例如，Gaussian Mixture,Polynomial等），从而即时在采样中没有被选择的阴影线也可以被提取为指向性照明信息。第二提取单元243可组合所提取的一个以上的镜面反射照明来生成指向性照明信息。

照明条件确定单元250可利用所提取的漫射照明信息、所提取的指向性照明信息以及所输入的彩色图像确定应用于对象的照明环境的亮度。作为一例，所提取的漫射照明信息可以是漫射照明常数，所提取的指向性照明信息可以是照明的方向值。照明条件确定单元250可利用[数学式2]确定照明的亮度。

【数学式2】

$[{\hat{s}}_1,\·\·,{\hat{s}}_S]=\underset{s_1,\·\·,s_S}{\arg \min }{\left|\right|I-\underset{k=1}{\overset{L}{\mathrm{\Σ}}}{f}_D(c_k,\mathrm{depth})-\underset{k=1}{\overset{s}{\mathrm{\Σ}}}{f}_s(b_k,s_k,\mathrm{depth},v)\left|\right|}^2$

[数学式2]中，s_k为照明环境的亮度，S为照明的全部数量，I为从拍摄单元210输入的彩色图像，L为构成所述漫射照明信息的漫射照明常数的全部数量。而且，f_D为表示漫反射的模型，f_s为表示镜面反射的模型，C_k为漫射照明常数，b_k为构成指向性照明信息的所述照明的方向，depth为深度图像的深度值，ν为观察点。

参照[数学式2]，照明亮度确定单元250计算可使

最小化的参数，从而可以计算出照明环境的亮度。

而且，照明条件确定单元250可将指向性照明信息利用为照明方向。指向性照明信息可包括多个照明方向信息。

图11为用于说明根据一实施例的照明处理方法的流程图。图11的照明处理方法可由在参照图1、图2、图3说明的照明处理装置100a、100b、200中控制或处理各种操作的控制单元（未图示）或者至少一个处理器（未图示）来执行。

在910步骤，照明信息处理装置可利用照相机获取实际对象的彩色图像和深度图像。

在920步骤，照明处理装置可利用所获取的彩色图像和深度图像提取应用于实际对象的漫射照明信息。在920步骤中可利用基于深度图像的低阶基函数模型提取照明信息。对此，将参照图10更加详细地进行说明。

930步骤中，照明处理装置可利用所提取的漫射照明信息复原关于对象的漫射图像。

940步骤中，照明处理装置可比较经复原的漫射图像和原始图像（即，所获得的彩色图像）的亮度来计算出误差图像。

950步骤中，照明处理装置可分析所计算出的误差图像而将误差图像分离为镜面图像和阴影图像。镜面图像为由误差图像中相比预设的标准值更亮的像素构成的图像，阴影图像为由误差图像中相比所述标准值更暗的像素构成的图像。

960步骤中，照明处理装置可从分离出的镜面图像中提取第一指向性照明信息。例如，照明处理装置可利用镜面图像的各个本地区域中最亮的位置的法向量和拍摄实际对象的照相机的位置来逆推应用于实际对象的照明的方向，并将逆推的照明的方向提取为第一指向性照明信息。

970步骤中，照明处理装置可从分离出的阴影图像中提取第二指向性照明信息。例如，照明处理装置对于形成阴影图像的所有像素中每一个像素生成产生阴影的阴影线，并将所生成的阴影线中的分布率最大的阴影线所对应的方向提取为第二指向性照明信息。

980步骤中，照明处理装置可将所提取的漫射照明信息、所提取的第一和第二指向性照明信息以及获取的彩色图像应用到[数学式2]中，从而可以确定应用于对象的照明环境的亮度。

图12为用于更加具体地说明图11的920步骤的流程图。

1010步骤中，照明处理装置可基于在910步骤获取的深度图像生成深度图像的法线图(Normal Map)。

1020步骤中，照明处理装置可从所生成的法线图生成深度图像的低阶基函数模型。

1030步骤中，照明处理装置可渲染从深度图像导出的低阶基函数模型，并将经渲染的低阶基函数模型应用到彩色图像中，从而计算出用于重新生成最为接近的彩色图像的一个以上的漫射照明常数。

图13为示出根据一实施例的包含照明处理装置的图像处理装置的构成的图。

参照图13，图像处理装置1100包括图像生成单元1110、照明信息提取单元1120以及图像合成单元1130。而且，图像处理装置1100可进一步包括显示器1140。

图像生成单元1110基于彩色图像和深度图像生成镜面图像和阴影图像中的至少一个。即，图像生成单元1110可执行图2的误差图像分离单元230的功能。

照明信息提取单元1120可从镜面图像和阴影图像中的至少一个提取指向性照明信息。而且，照明信息提取单元1120可基于彩色图像和深度图像提取漫射照明信息。

作为另一实施例，图像生成单元1110可提取漫射照明信息，并利用该漫射照明信息生成漫射图像。

图像合成单元1130可利用指向性照明信息和漫射照明信息中的至少一个来生成照明条件，并将应用所生成的照明条件的虚拟对象合成到彩色图像中。

据此，图像处理装置1100可从所输入的图像的特定的场景生成照明条件，并可以将应用所提取的照明条件的虚拟的对象插入到所述特定场景之中。而且，图像处理装置1100可通过显示器1140显示插入了虚拟对象的场景。

还可以存在仅利用漫射照明信息和指向性照明信息中的一个来生成照明条件，并将应用所生成的照明条件的虚拟对象插入到彩色图像中的实施例。而且，还可以存在仅利用镜面图像和阴影图像中的一个来提取指向性照明信息的实施例。为了适应于此，前述说明的照明装置或图像处理装置的构成要素的功能可以被修改。

根据本发明实施例的各种方法可实现为能够通过各种计算机手段执行的程序命令形态而记录到计算机可读记录介质之中。所述计算机可读记录介质可包括程序命令、数据文件、数据结构等或其组合。记录于所述介质的程序命令可以是为本发明专门设计的程序命令或可以是计算机软件领域人员所共知而可以使用的程序命令。

如此，虽然通过有限的实施例和附图对本发明进行了说明，但本发明并不局限于上述实施例，对于本领域所属的技术领域中具有普通知识的技术人员来说，可基于这种记载进行各种修改和变更。

因此，本发明的范围并不局限于所说明的实施例，不仅由权利要求书所确定，还由于权利要求书等同的内容所确定。

Claims (24)

1.一种照明处理装置，包括：

漫射提取单元，利用实际对象的彩色图像和深度图像提取应用于所述实际对象的漫射照明信息；

漫射复原单元，利用提取的所述漫射照明信息复原关于所述实际对象的漫射图像；

误差图像分离单元，利用经复原的所述漫射图像和所述彩色图像生成镜面图像和阴影图像中的至少一个。

2.根据权利要求1所述的照明处理装置，还包括：指向性照明信息提取单元，从所述镜面图像和所述阴影图像中的至少一个提取指向性照明信息。

3.根据权利要求2所述的照明处理装置，还包括：照明条件确定单元，利用所述提取的漫射照明信息、所述提取的指向性照明信息、所述彩色图像来确定应用于所述实际对象的照明环境的亮度。

4.根据权利要求1所述的照明处理装置，其中，所述漫射复原单元包括：

法线图生成单元，生成所述深度图像的法线图；

模型生成单元，从生成的所述法线图生成所述深度图像的低阶基函数模型；

照明常数计算单元，通过将所述低阶基函数应用到所述彩色图像来计算出重新生成最为接近的所述彩色图像的一个以上的漫射照明常数。

5.根据权利要求4所述的照明处理装置，其中，所述漫射照明信息为所述一个以上的漫射照明常数的组合。

6.根据权利要求1所述的照明处理装置，其中，所述误差图像分离单元还包括：误差图像分离单元，通过比较所述漫射图像和所述彩色图像的亮度来生成表示亮度值误差的误差图像，并将所述误差图像分离为镜面图像和阴影图像。

7.根据权利要求6所述的照明处理装置，其中，所述镜面图像包括所述误差图像中相比预设的标准值更亮的像素，所述阴影图像包括所述误差图像中相比所述标准值更暗的像素。

8.根据权利要求2所述的照明处理装置，其中，所述指向性照明信息提取单元利用按所述镜面图像的本地区域的最亮位置的法向量和拍摄所述实际对象的照相机的位置来将应用于所述实际对象的照明的方向提取为所述指向性照明信息。

9.根据权利要求2所述的照明处理装置，其中，所述指向性照明信息提取单元对于构成所述阴影图像的每个像素提取生成阴影的照明方向，并将所提取的所述照明方向的分布率中的表示峰值的方向提取为所述指向性照明信息。

10.根据权利要求3所述的照明处理装置，其中，所述照明条件确定单元利用下述公式确定所述照明的亮度，

$[{\hat{s}}_1,\·\·,{\hat{s}}_S]=\underset{s_1,\·\·,s_S}{\arg \min }{\left|\right|I-\underset{k=1}{\overset{L}{\mathrm{\Σ}}}{f}_D(c_k,\mathrm{depth})-\underset{k=1}{\overset{s}{\mathrm{\Σ}}}{f}_s(b_k,s_k,\mathrm{depth},v)\left|\right|}^2$

其中，s_k为照明的亮度，S为照明的全部数量，I为所述彩色图像，L为构成所述漫反射照明环境的漫射照明常数的全部数量，f_D为表示漫反射的模型，f_s为表示镜面反射的模型，C_k为所述漫射照明常数，b_k为构成所述镜面反射照明环境的所述照明的光方向，depth为所述深度图像的深度值，ν为观察点。

11.一种照明处理方法，包括如下步骤：

利用实际对象的彩色图像和深度图像提取应用于所述实际对象的漫射照明信息，并利用所述提取的漫射照明信息复原关于所述实际对象的漫射图像；

利用经复原的所述漫射图像和所述彩色图像生成镜面图像和阴影图像中的至少一个。

12.根据权利要求11所述的照明处理方法，还包括步骤：利用所述提取的漫射照明信息、所述提取的指向性照明信息、所述彩色图像来确定应用于所述实际对象的照明环境的亮度。

13.根据权利要求11所述的照明处理方法，其中，所述彩色图像和深度图像为实际应用于三维图像的对象的图像。

14.根据权利要求11所述的照明处理方法，其中，复原所述漫射图像的步骤包括如下步骤：

生成所述深度图像的法线图；

从生成的所述法线图生成所述深度图像的低阶基函数模型；

通过将所述低阶基函数模型应用到所述彩色图像，来计算出重新生成最为接近的所述彩色图像的一个以上的漫射照明常数。

15.根据权利要求14所述的照明处理方法，其中，所述漫射照明信息为所述一个以上的漫射照明常数的组合。

16.根据权利要求14所述的照明处理方法，其中，还包括步骤：通过比较所述漫射图像和所述彩色图像的亮度来生成表示亮度值误差的误差图像，并将所述误差图像分离为镜面图像和阴影图像。

17.根据权利要求16所述的照明处理方法，其中，所述镜面图像包括所述误差图像中相比预设的标准值更亮的像素，所述阴影图像包括所述误差图像中相比所述标准值更暗的像素。

18.根据权利要求16所述的照明处理方法，其中，还包括步骤：从所述镜面图像和所述阴影图像中的至少一个提取指向性照明信息。

19.根据权利要求18所述的照明处理方法，其中，还包括步骤：利用所述提取的漫射照明信息、所述提取的指向性照明信息、所述彩色图像确定应用于所述实际对象的照明环境的亮度。

20.根据权利要求18所述的照明处理方法，其中，提取所述指向性照明信息的步骤中，利用按所述镜面图像的本地区域的最亮位置的法向量和拍摄所述实际对象的照相机的位置来将应用于所述实际对象的照明的方向提取为所述指向性照明信息。

21.根据权利要求12的照明处理方法，其中，确定所述照明的亮度的步骤中，利用如下的公式确定所述照明的亮度，

$[{\hat{s}}_1,\·\·,{\hat{s}}_S]=\underset{s_1,\·\·,s_S}{\arg \min }{\left|\right|I-\underset{k=1}{\overset{L}{\mathrm{\Σ}}}{f}_D(c_k,\mathrm{depth})-\underset{k=1}{\overset{s}{\mathrm{\Σ}}}{f}_s(b_k,s_k,\mathrm{depth},v)\left|\right|}^2$

其中，s_k为照明的亮度，S为照明的全部数量，I为所述彩色图像，L为构成所述漫反射照明环境的漫射照明常数的全部数量，f_D为表示漫反射的模型，f_s为表示镜面反射的模型，C_k为所述漫射照明常数，b_k为构成所述镜面反射照明环境的所述照明的光方向，depth为所述深度图像的深度值，ν为观察点。

22.一种图像处理装置，包括：

图像生成单元，基于彩色图像和深度图像生成镜面图像和阴影图像中的至少一个；

照明信息提取单元，从所述生成的镜面图像和阴影图像中的至少一个提取指向性照明信息。

23.根据权利要求22所述的图像处理装置，还包括：图像合成单元，将应用基于提取的所述指向性照明信息的照明条件的虚拟对象合成到所述彩色图像。

24.一种图像处理装置，包括：

照明信息提取单元，基于彩色图像和深度图像提取应用于所述彩色图像的指向性照明信息；

图像合成单元，将应用基于提取的所述指向性照明信息的照明条件的虚拟对象合成到所述彩色图像。

Images