CN102184403B - 基于优化的本征图像提取方法 - Google Patents

Abstract

本发明涉及一种基于优化的本征图提取方法，包括以下步骤：一、设定领域大小N；定义权值函数，将图像中每一个像素点的反照率表示为以该像素点为中心的领域内其他像素点的反照率加权和；求解由每个像素点反照率构成的方程组，得到图像中所有像素点的反照率的值；二、定义能量方程，建立优化问题；三、用高斯-赛德尔迭代法求解优化问题，就得到反照率本征图R和光照本征图s。本发明的方法得到的本征图比现有技术质量高，并且解决了现有技术中交互式本征图提取方法中不能处理黑白纹理区域的问题。

Description

基于优化的本征图像提取方法

技术领域

本发明涉及一种本征图像提取方法，特别涉及一种基于优化的本征图像提取方法，属于计算机视觉与模式识别领域。

背景技术

人眼所观察到的物体表面颜色受到很多因素的影响，包括物体的形状和材质，光源的位置和颜色以及观察者的位置，而反照率和光照是两种最重要的影响因素，反照率描述一个物体本身对入射光的反射特性，反映了物体的真实颜色，光照描述投射到物体表面的光照信息，反映了物体表面的明暗变化。本征图像提取方法就是要将图像中的反照率信息和光照信息提取出来，分别称为反照率本征图和光照本征图，这种方法作为一种前期处理可以广泛应用在计算机视觉和计算机图形学的算法中，例如物体检测，图像分割，纹理替换等。

到目前为止，提取本征图像的方法主要有：

多幅图像的提取方法：通过同一场景在不同光照下的图像序列来提取本征图图像，这种方法需要输入同一场景的多幅图像，因此不利于推广应用。

基于学习的提取方法：通过从图像数据库中学习分类器来提取本征图，这种方法需要大量的图像作为学习样本，但得到的模型对自然界种类繁多的图像的适应性不好。

基于交互的方法：结合用户的画笔交互来提取本征图，这种方法不能处理含有黑白纹理的图像区域。

发明内容

本发明的目的在于针对现有技术存在的不足，提供一种本征图提取方法，得到质量更高的本征图。

先假设一种比较简单的情况，假设物体表面为Lambertian辐射体，如果环境光照为白光，则用一个标量s就可以表示图像的亮度信息，即：

I＝sR                                        (1)

I表示一幅三通道的原始图像，s表示光照本征图；R表示反照率本征图；本征图像的提取问题就是要通过(1)式中等号左边已知的原图像素值I来提取等式右边未知的s和R，对于每个像素点而言，I_i＝(I_ir，I_ig，I_ib)，R_i＝(R_ir，R_ig，R_ib)，I_i＝s_iR_i；显然此问题未知量的个数多于已知量的个数，要求得最优解就必须获取更多的信息，本发明考虑通过优化的方法把人的视觉判断作为新的约束条件来提取。

本发明提供了一种基于优化的本征图提取方法，包括以下步骤：

一、设定领域大小N；定义权值函数，将图像中每一个像素点的反照率表示为以该像素点为中心的领域内其他像素点的反照率加权和；求解由每个像素点反照率构成的方程组，得到图像中所有像素点的反照率的值；

本发明的方法主要基于大量图像中普遍存在的局部性规律：在图像的局部范围即领域窗口内，物体表面的亮度变化非常缓慢，而物体颜色的变化则更为剧烈，因此在这一小领域内，图像的I值变化通常都是由反照率的变化引起，也就是在图像局部区域内，具有相同强度的像素点通常对应相同的反照率；因此图像中每一个像素点的反照率值可以表示为领域内其他像素点的反照率加权和：N(i)表示以像素点i为中心的领域内所有的其他像素点，w_ij表示像素点i和像素点j的反照率值的相似程度。

在简单情况下，权值w_ij由图像所表现出的强度Y决定，强度Y即图像转换到YUV颜色空间后的Y通道值：

$w_{\mathrm{ij}}\∝e^{-{(Y_i-Y_j)}^2/(2\·{\mathrm{\σ}}_i^2)}$ 且 $\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{w}_{\mathrm{ij}}=1---\left(2\right)$

其中Y_i表示像素点i的强度，Y_j表示像素点j的强度，

表示像素i的领域内所有像素点强度值的方差。

对于图像中的某些硬阴影边缘，光照变化剧烈而反照率并未改变，为了使这种区域内光照值有很大差异的像素点有同样的反照率权值，考虑到光照的变化总是引起图像像素点三个通道值成比例的变化，我们对(2)式中的权值w_ij加以改进得到新的权值函数：

且

其中表示和

的夹角，

和

是单位化I_i和I_j后得到的矢量，σ_iT表示像素点i的领域内的其他像素点与i夹角的方差，σ_iY表示像素点i领域内的所有像素点Y值的方差，参数β为整数，由用户设定，用于控制夹角对权重的影响。

二、定义能量方程，建立优化问题：

在新的权值函数基础上定义如下能量方程：

P表示原图像上所有像素点，N(i)表示以像素点i为中心的领域内所有的其他像素点，上式第二项是为了约束R和s满足(1)式，

在(4)式所示能量方程的基础上可以得到优化问题：

(5)

即在满足i∈P，0≤R_ir≤1，0≤R_ig≤1，0≤R_ib≤1，

的条件下，求解使

值最小的

三、求解优化问题：

用高斯-赛德尔迭代法求解优化问题，就得到反照率本征图R和光照本征图s。

以上的提取方法适用于满足假设条件的理想图像，对于实际中遇到的更为复杂的图像，可以用交互的方式让用户对本征特征容易产生歧义的图像区域添加画笔，并把用户画笔转化为优化问题的约束条件，用于交互的三种画笔：

反照率一致画笔：用于约束画笔所覆盖的像素颜色一致；

$E^R\left(R\right)=\underset{i\∈P}{\mathrm{\Σ}}z\left(B_i^R\right)\underset{k\∈B_i^R}{\mathrm{\Σ}}{(R_i-R_k)}^2---\left(6\right)$

光照一致画笔：用于约束画笔所覆盖的像素亮度一致；

光照指定画笔：用于指定画笔所覆盖的像素的亮度值；

表示覆盖像素点i的反照率一致画笔，表示覆盖像素点i的光照一致画笔，

表示覆盖像素点i的光照指定画笔；z(*)是用于消除画笔大小影响的函数，z(B)＝1/|B|，|B|表示画笔B在原图中所覆盖的像素总数，对于原图中不被画笔覆盖的大多数像素点来说

我们取z(B)＝0；

是用户指定的亮度值，默认设为1。

在(4)式中加入上面的三种画笔约束后得到下面的能量方程：

λ_R，λ_s，λ_fix分别表示三种画笔的权重，在能量方程(9)的基础上我们得到如下的优化问题，

用高斯-赛德尔迭代法求解优化问题，就得到反照率本征图R和光照本征图s。

有益效果

本发明的方法得到的本征图比现有技术质量高，并且解决了现有技术中交互式本征图提取方法中不能处理黑白纹理区域的问题。

附图说明

图1是本发明所述的基于优化的本征图提取方法的流程图。

具体实施方式

下面结合附图，详细阐述本发明的实施方法。

图1给出了本实施方式的基于优化的本征图提取方法的流程图，其主要步骤如下：

一、计算局部领域权值：

领域大小设为3*3，对于输入图像I的每个像素点，选定以该像素点为中心的大小为3*3的领域，根据

且

计算每一个其他像素在领域内的权值，其中

表示

和

的夹角，

和是单位化I_i和I_j后得到的矢量，

表示像素点i的领域内的其他像素点与i夹角的方差，

表示像素点i领域内的所有像素点Y值的方差，参数β用于控制夹角对权重的影响，用户可以设定为一个整数，但是在实验中发现当β为较小的整数如1、2时，效果较好。

得到每一个其他像素在领域内的权值后，将该像素点的反照率值表示为领域内其他像素点的反照率加权和：

$R_i=\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{R}_j;$

求解由所有像素点的反照率值构成的方程组，得到所有像素点的反照率的值。

二、定义能量方程：

在求得的权值基础上建立能量方程：

P表示原图像上所有像素点，N(i)表示以像素点i为中心的领域内所有的其他像素点，

三、加入用户交互，建立优化问题：

由用户输入三种交互画笔：反照率一致画笔，用于约束画笔所覆盖的像素颜色一致；光照一致画笔：用于约束画笔所覆盖的像素亮度一致；光照指定画笔，用于指定画笔所覆盖的像素的亮度值。

建立三种画笔的能量方程：

$E^R\left(R\right)=\underset{i\∈P}{\mathrm{\Σ}}z\left(B_i^R\right)\underset{k\∈B_i^R}{\mathrm{\Σ}}{(R_i-R_k)}^2,$

表示覆盖像素点i的反照率一致画笔，

表示覆盖像素点i的光照一致画笔，

表示覆盖像素点i的光照指定画笔；z(*)是用于消除画笔大小影响的函数，z(B)＝1/|B|，|B|表示画笔B在原图中所覆盖的像素总数，对于原图中不被画笔覆盖的大多数像素点来说

，我们取z(B)＝0；

是用户指定的亮度值，默认设为1。

建立加入画笔交互的能量方程：

其中λ_R，λ_s，λ_fix分别表示三种画笔的权重，在此能量方程的基础上建立优化问题：

四、求解优化问题：

用高斯-赛德尔迭代法求解第三步得到的优化问题，就得到反照率本征图R和光照本征图s.

上述步骤说明了本发明所述基于优化的本征图像提取方法实现的全部过程。本方法能够得到高精度的保留边缘细节的本征图像。

为了说明本发明的内容及实施方法，给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims (2)

1.一种基于优化的本征图提取方法，包括以下步骤：

一、设定领域大小N；定义权值函数，将图像中每一个像素点的反照率表示为以该像素点为中心的领域内其他像素点的反照率加权和

N(i)表示以像素点i为中心的领域内所有的其他像素点，w_ij表示像素点i和像素点j的反照率值的相似程度，

$w_{\mathrm{ij}}\&Proportional;e^{-[{<{\tilde{I}}_i,{\tilde{I}}_j>}^2/{\mathrm{\&sigma;}}_{\mathrm{iT}}^{\mathrm{\&beta;}}+{(Y_i-Y_j)}^2/{\mathrm{\&sigma;}}_{\mathrm{iY}}]}$ 且 $\underset{j\&Element;N\left(i\right)}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}=1$

其中I表示一幅三通道的原始图像，对于每个像素点而言，I_i=(I_ir，I_ig，I_ib)， $<{\tilde{I}}_i,{\tilde{I}}_j>=\mathrm{arc}\cos ({\tilde{I}}_i*{\tilde{I}}_j)=\mathrm{arc}\cos ({\tilde{I}}_{\mathrm{ir}}{\tilde{I}}_{\mathrm{jr}}+{\tilde{I}}_{\mathrm{ig}}{\tilde{I}}_{\mathrm{jg}}+{\tilde{I}}_{\mathrm{ib}}{\tilde{I}}_{\mathrm{jb}}),$ 表示

和

的夹角，和

是单位化I_i和I_j后得到的矢量，σ_iT表示像素点i的领域内的其他像素点与i夹角的方差，σ_iY表示像素点i领域内的所有像素点Y值的方差，参数β为整数，由用户设定，用于控制夹角对权重的影响；

求解由每个像素点反照率构成的方程组，得到图像中所有像素点的反照率的值；

二、定义能量方程，建立所需求解的优化问题：

$E(R,\tilde{s})=\underset{i\&Element;P}{\mathrm{\&Sigma;}}{(R_i-\underset{j\&Element;N\left(i\right)}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}{R}_j)}^2+\underset{i}{\mathrm{\&Sigma;}}{(I_i{\tilde{s}}_i-R_i)}^2$

P表示原图像上所有像素点，N(i)表示以像素点i为中心的领域内所有的其他像素点；s表示光照本征图，R表示反照率本征图，对于每个像素点而言，R_i=(R_ir，R_ig，R_ib)，

在该能量方程的基础上得到优化问题：

$\arg {\min }_{R,\tilde{s}}E(R,\tilde{s})$

$\mathrm{such\; that}\&ForAll;i\&Element;P,$ 0≤R_ir≤1，0≤R_ig≤1，0≤R_ib≤1， ${\tilde{s}}_i\&GreaterEqual;1$

即在满足i∈P，0≤R_ir≤1，0≤R_ig≤1，0≤R_ib≤1，的条件下，求解使

值最小的

该能量方程适用于理想图像；

三、用高斯-赛德尔迭代法求解优化问题，得到反照率本征图R和光照本征图s。

2.根据权利要求1所述的一种基于优化的本征图提取方法，其特征在于：用交互的方式让用户对本征特征容易产生歧义的图像区域添加画笔，并把用户画笔转化为优化问题的约束条件，用于交互的三种画笔：

反照率一致画笔：用于约束画笔所覆盖的像素颜色一致；

$E^R\left(R\right)=\underset{i\&Element;P}{\mathrm{\&Sigma;}}z\left(B_i^R\right)\underset{k\&Element;B_i^R}{\mathrm{\&Sigma;}}{(R_i-R_k)}^2$

光照一致画笔：用于约束画笔所覆盖的像素亮度一致；

$E^s\left(\tilde{s}\right)=\underset{i\&Element;P}{\mathrm{\&Sigma;}}z\left(B_i^s\right)\underset{k\&Element;B_i^s}{\mathrm{\&Sigma;}}{({\tilde{s}}_i-{\tilde{s}}_k)}^2$

光照指定画笔：用于指定画笔所覆盖的像素的亮度值；

$E^{\mathrm{fix}}\left(\tilde{s}\right)=\underset{i\&Element;B_i^{\mathrm{fix}}}{\mathrm{\&Sigma;}}{({\tilde{s}}_i-{\tilde{s}}_{\mathrm{fix}})}^2$

表示覆盖像素点i的反照率一致画笔，

表示覆盖像素点i的光照一致画笔，

表示覆盖像素点i的光照指定画笔；z(*)是用于消除画笔大小影响的函数，z(B)=1/|B|，|B|表示画笔B在原图中所覆盖的像素总数，对于原图中不被画笔覆盖的大多数像素点来说

取z(B)＝0；

是用户指定的亮度值，默认设为1；

在所述能量方程中加入上面的三种画笔约束后得到新的能量方程：

$E_C(R,\tilde{s})=E(R,\tilde{s})+[{\mathrm{\&lambda;}}_R{E}^R\left(R\right)+{\mathrm{\&lambda;}}_s{E}^s\left(\tilde{s}\right)+{\mathrm{\&lambda;}}_{\mathrm{fix}}{E}^{\mathrm{fix}}\left(\tilde{s}\right)]$

λ_R，λ_s，λ_fix分别表示三种画笔的权重，在新能量方程基础上得到如下的优化问题：

$\arg {\min }_{R,\tilde{s}}{E}_C(R,\tilde{s})$

$\mathrm{such\; that}\&ForAll;i\&Element;P,$ 0≤R_ir≤1，0≤R_ig≤1，0≤R_ib≤1， ${\tilde{s}}_i\&GreaterEqual;1.$

Images