CN104268897A - 一种协同本征图像分解方法 - Google Patents

Abstract

本发明公开了一种协同本征图像分解方法，涉及计算机视觉领域，所述方法包括以下步骤：对输入图像对中的两幅图像进行过分割得到所有超像素构成的集合，并对每个超像素用色度直方图进行特征表示；构建协同本征图像分解模型；由0范数稀疏表示构建非局部超像素之间材质值的约束；通过每个像素的材质值获取材质层图像。本方法能够获得前景亮度，颜色一致的两张材质层图像以及相应的光照图像。将得到的材质层图像应用到协同显著性检测中，与直接在两张原图上相比，能够获得更高的准确率。

Description

一种协同本征图像分解方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种协同本征图像分解方法。

背景技术

本征图像分解问题是指将一幅图片分解成材质层和光照层。材质层是物体的自身属性(物体颜色)，与光照无关。光照层是环境中的光照与物体的几何形状共同作用的结果。好的本征图像分解结果有助于很多计算机视觉和图形学的应用。如去除光照的材质层有助于提高图像分割、物体跟踪的精度以及进行物体颜色的变更。改变光照层则产生了对物体进行二次照明的效果。使用数学符号，可以将本征图像的模型表示成输入图像I是材质层R和光照层S的乘积，即I＝R*S，*表示逐像素相乘。从这个等式中可以看到未知数的个数是方程个数的两倍。

为了解决本征图像分解问题中的约束不足现象，现有的本征图像分解方法主要基于两种先验知识建立约束。第一种约束基于Retinex思想(Land and McCann,1971；Tappen et al.,2006；Shen et al,2011)，即图像中较大的梯度由材质变化引起，较小的梯度由光照变化造成。第二种约束基于对自然图像的观察(Omer and Werman,2004)，即一副自然图像中出现的颜色种数不多并且呈现结构性(Shen and Yeo,2011；Zhao et al,2012；Rother et al,2011)。除此之外，一些工作(Weiss,2001；Laffont et al.2012)利用属于同一场景的多张图像来增加约束。

不同的光照和不同的图像形成条件(拍照时间，相机参数)会使得同一物体在不同的图像中呈现不一样的颜色。然而，现在有很多计算机视觉问题需要去除光照和图像形成条件对物体表现颜色造成的不一致性。但是现有的本征图像分解技术并不适用，因为这些方法都是单独作用在一张图像上，没有考虑两张图像中相同物体(前景)的关联关系。典型的应用如协同图像分割和协同显著性检测问题，这些应用的输入图像都是有相同前景，任意光照和背景的一些图片。光照的不一致性成为提高这类问题准确性的一大瓶颈。因此，提出这个新问题，称为“协同本征图像分解”，即对有相同前景的图像同时进行本征图像分解，要求分解得到的材质层图像中，相同的前景的材质层数值要一致，即不同图像中相同的前景的颜色，亮度在材质层上要保持一致。因为单张图像的本征图像分解算法不能够建立两张图相同前景之间的材质层数值的关系，所以直接在两张图上做本征图像分解不能使得相同的前景在材质层上具有相同的颜色，亮度。

发明内容

本发明提供了一种协同本征图像分解方法，本发明使得在图像内部能够去掉光照的影响，图像之间能够使得相同的前景在材质层上具有相同的数值，即保持相同的亮度，颜色，详见下文描述：

一种协同本征图像分解方法，所述方法包括以下步骤：

对输入图像对中的两幅图像进行过分割得到所有超像素构成的集合，并对每个超像素用色度直方图进行特征表示；

构建协同本征图像分解模型；

由0范数稀疏表示构建非局部超像素之间材质值的约束；

通过每个像素的材质值获取材质层图像。

所述构建协同本征图像分解模型具体为：

1)获取单一颜色环境光的本征图像模型；

2)根据对光照、环境光和材质值的先验知识，构建协同本征图像分解模型的目标能量函数；

所述目标能量函数为：

E(l_e，M，R)＝E_c(l_e，M，R)+λ_mE_m(M)+λ_rE_r(R)+λ_eE_e(M)

其中，E_c表示本征图像模型的约束项；E_m表示对光照强度的约束能量项；E_r表示对材质值约束的能量项；E_e表示控制整个本征图像分解的比例；λ_m，λ_r，λ_e都是非负的权重；l_e表示环境光照颜色；M表示光照强度层图像；R表示材质层图像。

本发明提供的技术方案的有益效果是：本发明针对协同本征图像分解这一新问题基于单一颜色环境光的本征图像模型，提出了新的协同本征图像分解模型，并且使用0范数稀疏表示的方式，以统一的方式自动的建立了同一图像内部和图像之间的超像素之间的材质值的关联关系。经过协同本征图像分解，对于两张前景相同，光照不同的图像，本方法能够获得前景亮度，颜色一致的两张材质层图像以及相应的光照图像。将得到的材质层图像应用到协同显著性检测中，与直接在两张原图上相比，能够获得更高的准确率，召回率和F值(F-measure)。

附图说明

图1为一种协同本征图像分解方法的流程图；

图2为对于输入图像对“Kite”(第一行)，使用当前流行单张图像的本征图像分解技术得到的材质层图像(第二行)和本方法的材质层图像(第三行)的示意图；

图3为使用0范数稀疏表示能量最小化的方式得到的图像内部和图像之间超像素之间材质值的关联示意图；

图4(a)-4(e)为在输入图像对“Doll”和“St Basile”上，文献[6]与本方法结果比较示意图；

图5(a)-4(e)为在输入图像对“Kite”上，文献[19]与本方法结果比较示意图；

图6为左边(a)表示在图像对“Doll”上，分别在原图和本方法产生的材质层图像上进行协同显著性检测的结果，右边(b)表示在所有图像对上用标准真实值(groundtruth)计算得到的平均准确率，召回率和F值。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明对图像对(image pair)中前景相同，背景和光照任意的两幅图像同时进行本征图像分解，并要求两张图像中相同的前景在分解得到的材质层图像中亮度，颜色保持一致。

101：对输入图像对中的两幅图像进行过分割得到所有超像素构成的集合，并对每个超像素用色度(chromaticity)直方图进行特征表示；

1)图像的超像素表示；

从本征图像模型的介绍中可以发现由于未知数的个数是方程个数的两倍，本征图像分解是个严重约束不足问题。为了增加问题可解性，根据Retinex的假设，大部分空间相邻的像素的材质数值变化不大，因此在超像素的级别上表示材质层R，即同一个超像素内部的像素共一个材质值，这样未知数的个数将大大减少。使用Slic(Achanta et al.,2010)算法对两幅图像分别过分割。注意到当超像素数目足够多的时候，过分割算法能够使得材质不同的区域在不同的超像素，超像素内部一般是材质相同的像素。

2)使用色度直方图对每个超像素进行特征表示。

首先在所有像素的色度值(chromaticity value)上进行K均值聚类，找到J个类。然后对于每个超像素u，构建J维的直方图h_u作为特征向量。h_u的第个分量h_u(j)表示在超像素中，属于第j个类的像素的个数。h_u通过除以u中像素的总个数进行归一化。本方法使用余弦相似度来衡量两个超像素的距离。

102：构建协同本征图像分解模型Co-retinex；

本方法基于单一颜色环境光的本征图像模型，根据光照、环境光和材质层的先验知识，建立了协同本征图像分解的模型Co-retinex。Co-retinex模型基于的主要想法是：在图像中较大的变化由材质造成，较小的变化由光照引起，与传统的Retinex只考虑空间相邻像素的变化不同，本方法中同时考虑了局部和非局部，同一图像内部和图像之间的超像素之间的变化。

1)单一颜色环境光的本征图像模型；

光照层S是环境光和物体几何形状共同作用的结果。除了光照的方向，对于两张图像来说，环境光的色调(tone)也可能非常不同。为了能够对环境光色调不一致的两张图像做协同本征图像分解，本方法的光照层S表示为光照强度M和环境光照颜色l_e的乘积，在同一副图像中l_e是相同的。I表示输入图像，p表示像素。那么像素p的光照值S_p可以表示为：

S_p＝l_eM_p

其中，环境光照颜色l_e是一个RGB三维向量，M_p是非负标量值表示像素p获得的光照强度。基于单一颜色环境光假设，本征图像模型表示为在一副图像中，像素p的颜色值I_p(RGB三维向量)由环境光颜色l_e，像素p处获得的光照强度M_p和像素p的材质值R_p(RGB三维向量)相乘得到，用数学公式表达为：

I_p＝l_eM_pR_p

对上式两边取对数得到：

I_p＝l_e+M_p+R_p

为了简化起见，这里将重复使用这些符号表示他们的对数。与传统的本征图像模型I_p＝M_p+R_p相比，本方法的本征图像模型中增加了环境光分量l_e反映一幅图像的全局色调，从而可以处理色调不一致的两张图像。

2)根据对光照、环境光和材质值的先验知识，构建协同本征图像分解模型Co-retinex的目标能量函数。

下面先给出总的目标能量函数，然后分别介绍每一个能量项以及它们基于的先验知识。本方法将协同本征图像分解问题表示成下面这个目标函数的最小化问题：

E(l_e，M，R)＝E_c(l_e，M，R)+λ_mE_m(M)+λ_rE_r(R)+λ_eE_e(M)

其中，E_c表示本征图像模型的约束项；E_m表示对光照强度的约束能量项；E_r表示对材质值约束的能量项。此外，本方法加入E_e来控制整个本征图像分解的比例。λ_m，λ_r，λ_e都是非负的权重，在实验中，本方法将设λ_m＝10，λ_r＝100，λ_e＝1000。为了表示的简便性，本方法使用一个符号，例如l_e能够表示相应图像的环境光变量和下面，k将表示图像编号，p表示像素，u表示超像素。

1、模型约束E_c(l_e，M，R)

在本方法的Co-retinex模型中，能量函数E(l_e，M，R)的未知数包含l_e，M，R。模型约束要求分解后得到的l_e,M,R重构出来的图像要和原图像尽量一致。所以模型约束能量项E_c(l_e，M，R)被定义为：

$E_c(l_e,M,R)=\underset{k}{\mathrm{\Σ}}\underset{p\∈I^k}{\mathrm{\Σ}}{(I_p^k-l_e^k-M_p^k-R_{u\left(p\right)}^k)}^2$

其中I^k表示图像k(k＝1，2)，表示图像在像素p处的颜色值,表示图像k的环境光颜色，表示图像k在像素p处的光照强度,u_p表示像素p所属的超像素,表示图像k在超像素u_p处的材质值。

2、光照均匀变化约束E_m(M)

根据Retinex假设，光照数值在一个局部窗口内是缓慢变化的，因此，如下定义E_m(M)：

$E_m\left(M\right)=\underset{k}{\mathrm{\Σ}}\underset{p~q}{\mathrm{\Σ}}{(M_p^k-M_q^k)}^2$

其中p～q表示在同一张图像中像素之间4邻域的关系，表示图像k在像素p处的光照强度，表示图像k在像素q处的光照强度。

3、非局部超像素之间材质值约束E_r(R)

构建非局部超像素之间材质层的约束基于的假设是，如果两个超像素有相近的色度值，那么他们有相近的材质值。相似的假设在以前的工作(Shen and Yeo,2011；Zhao et al.,2012；Horn,1986；Rother et al.,2011)中也被使用了。本方法与以往方法有两处不同点。第一，本方法不仅构建了图像内部超像素之间材质值的约束，并且构建图像之间超像素之间材质值的约束。第二，本方法是以全局的同一形式构建材质值的约束，并没有考虑空间位置的关联性，所以有关联的超像素可能在空间中相邻，也可能不相邻。具体得说，本方法将超像素之间材质值的约束建模成求解一个0范数的稀疏表示最小化问题。将在第三步中具体阐述E_r(R)的构建过程及定义。

4、最亮比列约束E_e(M)

为了消除比例带来的问题，如I＝S+R和I＝(S-d)+(R+d)都是问题的解，本方法要求最亮的那些像素有最大的光照强度1。因为log1＝0，因此E_e(M)被定义成

$E_e\left(M\right)=\underset{k}{\mathrm{\Σ}}\underset{p\∈{\mathrm{\Γ}}^k}{\mathrm{\Σ}}{\left(M_p^k\right)}^2$

其中Γ^k是图像I^k中最亮的那些像素的集合。本方法从两张图像的所有像素中选择亮度值最大的那些像素，要求他们的光照强度为1。

103：由0范数稀疏表示构建非局部超像素之间材质值的约束；

用u表示由两张图像的所有超像素构成的结合。对每个超像素u，通过求解下面的0范数稀疏表示最小化问题来构建与它有材质关联关系的超像素：

并且满足约束||α_u||₀≤Z

其中，h_u是超像素u的特征向量，字典D_u的构成如下：

D_u＝[h₁，...，h_u-1，h_u+1，...h_|u|]

其中，|u|表示u集合中元素的个数，h₁表示编号为1的超像素的特征向量，h_u-1表示编号为u-1的超像素的特征向量，h_u+1表示编号为u+1的超像素的特征向量，h_|u|表示编号为|u|的超像素的特征向量。求解得到的参数α_u∈R^|u|-1表示h_u用字典D_u来稀疏表示的系数向量。||α_u||₀表示向量α_u中非0元素的个数。Z控制表示稀疏度，本方法一般设为Z＝50。

本方法中使用OMP算法(Marial,2010)来求解上面的最小化问题，系数向量α_u中非0的元素当做超像素u和对应的超像素之间在材质值上的关联权重。因此，E_r(R)按如下定义：

$E_r\left(R\right)=\underset{u}{\mathrm{\Σ}}\underset{v,{\mathrm{\α}}_u\≠0}{\mathrm{\Σ}}{\mathrm{\α}}_u{\left(v\right)}^2{(R_u-R_v)}^2$

其中，α_u(v)是α_u中的一个元素，表示超像素u和v的相互关联的权重。R_u表示超像素u的材质值，R_v表示超像素v的材质值。

104：闭形式的优化。

显然，能量函数E(l_e，M，R)是一个二次函数，未知数包含了每一个像素点p的光照强度M_p,每个超像素u的材质值R_u，两个环境光变量目标函数能够写成

$\frac{1}{2}{w}^T\mathrm{Aw}-b^{T}w+c$

其中，w是将所有的未知数形成的列向量，矩阵A是二次项系数，向量b是一次项系数，标量c是常数项。上面式子的全局最优解可通过求解

Aw＝b

得到w。

得到超像素级别的材质值后，每个像素的材质值R_p＝R_u(p),因此能得到材质层图像。每个像素的光照值S_p＝l_eM_p，l_e指p所在图像的环境光颜色。

本方法产生的前景亮度颜色一致，去除了光照影响的材质层图像用于协同显著性检测，与直接在原图上相比，视觉上的效果和精度都有明显的提高。

实施例2

本方法的输入是一对有相同前景，任意背景和光照的图像。然后基于单一颜色环境光本征图像模型和提出的协同本征图像分解模型构造目标函数。利用0范数的稀疏表示能量最小化求解同一图像内部和图像之间的超像素之间的材质值的关联，再加上光照强度约束，最后将目标函数表示成一个2次函数最小化问题，求出全局最优解。本方法将使用颜色直方图特征来表示前景物体，于是可以通过余弦值计算一对图像里的两张图像的前景的相似性。通过与方法[6][19]得到的材质图像比较，本方法产生的材质层图像的前景相似度最大。并且将本方法产生的一对图像的材质层图像用于协同显著性检测，与在原图之间做相比，准确率，召回率，F-meausre均有提高。详细实施步骤见下文描述：

201：输入图像对I＝{I¹，I²}，得到超像素表示，计算每个超像素的特征向量：

1)在Ｉ¹，I²上分别进行超像素分解，得到所有超像素构成的集合u＝{u₁，u₂，...u_n}，u₁表

示编号为1的超像素，u₂表示编号为2的超像素，u_n示编号为n的超像素。

2)计算I¹，I²的色度图像C¹，C²：

$C^1=\frac{I^1}{\sqrt{{\left(I^1\left(r\right)\right)}^2+{\left(I^1\left(g\right)\right)}^2+{\left(I^1\left(b\right)\right)}^2}}$

$C^2=\frac{I^2}{\sqrt{{\left(I^2\left(r\right)\right)}^2+{\left(I^2\left(g\right)\right)}^2+{\left(I^2\left(b\right)\right)}^2}}$

其中I¹(r)，I¹(g)，I¹(b)分别表示图像I¹的R,G,B值，I²(r)，I²(g)，I³(b)分别表示图像I²的R,G,B值。

3)在C¹,C²的所有像素组成的集合上进行K均值聚类，得到J类，像素p属于的类别记为c(p)。

4)构建表示超像素u的J维的特征向量h_u，h_u(j)表示在超像素u中c(p)＝j的像素的个数。h_u除以超像素u中的像素个数进行归一化。

202：建立协同本征图像分解的模型Co-retinex；

1)单一颜色环境光的本征图像模型：

I_p＝l_e+M_p+R_p

2)构建协同本征图像分解模型，k表示图像编号，p表示像素，u表示超像素，u(p)表示p属于的超像素。

E(l_e，M，R)＝E_c(l_e，M，R)+λ_mE_m(M)+λ_rE_r(R)+λ_eE_e(M)

$E_c(l_e,M,R)={\mathrm{\Σ}}_k{\mathrm{\Σ}}_{p\∈I^k}{(I_p^k-l_e^k-M_p^k-R_{u\left(p\right)}^k)}^2$ 表示将本征图像模型的约束加入能量函数中，即用得到的材质层图像和光照层图像重构出来的图像要和原图尽量保持一致。

表示在同一幅图像内，光照是均匀变化的，所以相邻像素的光照强度相似。

是为了消除本征图像分解问题中的比例问题，要求最亮的那些像素的光照强度为1。

λ_rE_r(R)这一能量项要求找出同一图像内部和图像之间材质相同的超像素对。下一步将介绍本方法如何构建这一能量项。

203：使用0范数稀疏表示构建超像素之间材质值的关联；

1)假设：如果两个超像素的色度值相近，那么这两个超像素的材质值相似。超像素的色度值取超像素内所有像素色度值的平均值得到。

2)求解下列0范数稀疏表示最小化问题得到超像素材质之间的关联关系：

并且满足约束||α_u||₀≤Z

其中，h_u是(1)中得到的表示超像素u的特征向量。字典D_u的构成如下：

D_u＝[h₁，...，h_u-1，h_u+1，...h_|u|]

其中，|u|表示u集合中元素的个数。参数α_u∈R^|u|-1是f_u用字典D_u来稀疏表示的系数向量。0范数||α_u||₀表示非0系数的个数。Z控制表示的稀疏度，本方法一般设为Z＝50。

3)本方法中使用OMP算法(Marial,2010)来求解上面的最小化问题，系数向量α_u中非0的系数当做超像素u和对应的超像素之间在材质值上的关联权重。因此，E_r(R)按如下定义：

$E_r\left(R\right)=\underset{u}{\mathrm{\Σ}}\underset{v,{\mathrm{\α}}_u\≠0}{\mathrm{\Σ}}{\mathrm{\α}}_u{\left(v\right)}^2{(R_u-R_v)}^2$

其中，α_u(v)是α_u中的一个元素，表示超像素u和v的相互关联的权重

图2中给出了使用上述方法得到的关联权重最大的前百分之五的材质值关联关系(每条直线表示这条直线连接的两个超像素的材质值有关联关系)，观察图2中的连线可以发现本方法以统一的方式，既能构建同一图像内部超像素之间的材质关联，又能构建图像之间的超像素之间的材质关联。

204：求解能量函数：

本方法的目标函数E(l_e，M，R)中，未知数包含了每一个像素点p的光照强度M_p，每个超像素u的材质值R_u，两个环境光变量l_e。通过观察每个能量项，发现可以将目标函数写成：

$\frac{1}{2}{w}^T\mathrm{Aw}-b^{T}w+c$

是将所有的未知数形成的列向量。上面式子的全局最优解可通过求解

Aw＝b

得到w。

得到超像素级别的材质值后，每个像素的材质值R_p＝R_u(p)，因此能得到材质层图像。每个像素的光照值S_p＝l_eM_p，l_e指p所在图像的环境光颜色。

本方法在一些图像对上的结果及与其他方法的视觉上和数值上的比较：

文献[6]和[19]是现有流行的基于单张图像的本征图像分解方法，对于输入的图像对，文献[6]和[19]分别在图像对的两张图像上做本征图像分解。

首先，在图3中，针对输入图像对“Kite”(第一行)，给出用当前本征图像分解技术[6]得到的材质层图像(第二行)和本方法得到的材质层图像(第三行)。很显然，文献[6]得到的结果没有建立图像之间相同前景的联系，所以两张材质层图像在亮度上差别非常大，除此之外，由于文献[6]主要依靠局部的先验知识进行本征图像分解，所以在第二行的第一幅图中，风筝的头部和尾部的光照效果依然保留在材质层上了。而本方法产生的材质层图像(第三行)较好得去掉了光照，并且使得两幅图像的前景在亮度和颜色上保持了一致。左边一列的值是用余弦值计算的前景相似度。

图4是在2个输入图像对“Doll”和“St Basile”上，本方法与文献[6]的结果比较。图4(a)表示输入图像对，图4(b)-(c)是文献[6]的结果，图4(d)-(e)是本方法结果。注意“Doll”的结果中箭头所指的部分，很显然两张图像的材质层在相同的前景上颜色亮度值有较大差别。在“St Basile”中，从放大的效果上看，本方法更能够去掉光照的影响。

图5是在输入图像对“Bucky”中，本方法与文献[19]的结果比较。图5(a)表示输入图像对，图5(b)-(c)是文献[19]的结果，图5(d)-(e)是本方法结果。注意箭头指的地方显示文献[19]不能很好的去除阴影。

表1给出了文献[6]、[19]及本方法在得到的两张材质图像上前景的相似度。使用颜色直方图来表示前景，然后计算余弦相似度。从数值上看，本方法要优于文献[6]和[19]。

表1

图像对	方法[6]	方法[19]	本方法
				Kite	0.00073	0.00097	0.30430
Doll	0.00017	0.00197	0.05177
				St Basile	0.01374	0.00579	0.03337
Bucky	0.01122	0.01522	0.03368

将本方法得到的材质层图像用于协同显著性检测，图6左边给出了在“Doll”原图上及本方法的材质图像上的检测结果，可以看出来本方法产生的前景一致的材质层图像能够提高协同显著性检测的结果。图6右边给出了在所有图像对上用原图和材质图像进行显著性检测，使用标准真实值计算的平均准确率，召回率和F值。结果显示，本方法能够提高协同显著性检测得精度。

参考文献：

[1]H.G.Barrow and J.M.Tenenbaum,“Recovering intrinsic scene characteristics fromimages,”in Computer vision system,1978.

[2]E.H.Land and J.J.McCann,“Lightness and retinex theory,”Journal of the Opticalsociety of America,vol.61,no.1,pp.1-11,1971.

[3]M.F.Tappen,E.H.Adelson,andW.T.Freeman,“Estimating intrinsic componentimagesusing non-linear regression,”in CVPR,2006.

[4]J.Shen,X.Yang,Y.Jia,and X.Li,“Intrinsic images using optimization,”in CVPR,2011.

[5]L.Shen and C.Yeo,“Intrinsic images decomposition using a local and global sparserepresentation of reflectance,”in CVPR,2011.

[6]Q.Zhao,P.Tan,Q.Dai,L.Shen,E.Wu,and S.Lin,“A closed-form solution to retinexwith nonlocal texture constraints,”IEEE TPAMI,vol.34,no.7,pp.1437–1444,2012.

[7]A.Bousseau,S.Paris,and Fr′edo Durand,“User-assisted intrinsic images,”ACMTransactions on Graphics,vol.28,no.5,2009.

[8]Y.Weiss,“Deriving intrinsic images from image sequences,”in ICCV,2001.

[9]P.Laffont,A.Bousseau,S.Paris,F.Durand,and G.Drettakis,“Coherent intrinsicimages from photo collections,”ACM Transactions on Graphics,vol.31,no.6,2012.

[10]D.Batra,A.Kowdle,D.Parikh,J.Luo,and T.Chen,“icoseg:Interactiveco-segmentation with intelligent scribble guidance,”in CVPR,2010.

[11]H.Li and K.N.Ngan,“A co-saliency model of image pairs,”IEEE TIP,vol.20,no.12,pp.3365–3375,2011.

[12]B.K.P.Horn,Robot Vision,MIT Press,1986.

[13]R.Grosse,M.K.Johnson,E.H.Adelson,and W.T.Freeman,“Ground truth datasetand baseline evaluations for intrinsic image algorithms,”in ICCV,2009.

[14]M.F.Tappen,W.T.Freeman,and E.H.Adelson,“Recovering intrinsic images from asingle image,”IEEE TPAMI,vol.27,no.9,pp.1459–1472,2005.

[15]I.Omer and M.Werman,“Color lines:Image specific color representation,”in CVPR,2004.

[16]C.Rother,M.Kiefel,L.Zhang,B.Sch¨olkopf,and P.V.Gehler,“Recovering intrinsicimages with a global sparsity prior on reflectance,”in NIPS,2011.

[17]R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,and S.Su¨sstrunk,“Slic superpixels,”E′cole Polytechnique F′ed′eral de Lausssanne(EPFL),Tech.Rep,vol.149300,2010.

[18]J Mairal,“Spams(sparse modeling software),version 2.3,”2010.

[19]J.Shen,X.Yang,Y.Jia,and X.Li,“Intrinsic images using optimization,”in CVPR,2011.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种协同本征图像分解方法，其特征在于，所述方法包括以下步骤：

对输入图像对中的两幅图像进行过分割得到所有超像素构成的集合，并对每个超像素用色度直方图进行特征表示；

构建协同本征图像分解模型；

由0范数稀疏表示构建非局部超像素之间材质值的约束；

通过每个像素的材质值获取材质层图像。

2.根据权利要求1所述的一种协同本征图像分解方法，其特征在于，所述构建协同本征图像分解模型具体为：

1)获取单一颜色环境光的本征图像模型；

2)根据对光照、环境光和材质值的先验知识，构建协同本征图像分解模型的目标能量函数；

所述目标能量函数为：

E(l_e，M，R)＝E_c(l_e，M，R)+λ_mE_m(M)+λ_rE_r(R)+λ_eE_e(M)

其中，E_c表示本征图像模型的约束项；E_m表示对光照强度的约束能量项；E_r表示对材质值约束的能量项；E_e表示控制整个本征图像分解的比例；λ_m，λ_r，λ_e都是非负的权重；l_e表示环境光照颜色；M表示光照强度层图像；R表示材质层图像。