CN107808366B - 一种基于块匹配的自适应光转移单幅阴影去除方法 - Google Patents

Abstract

一种基于块匹配的自适应光转移单幅阴影去除方法，包括以下步骤：根据获取的阴影掩膜和初始阴影区域的信息，利用马尔科夫随机场标签计算半影区域；将半影掩膜和阴影掩膜结合在一起，作为检测的阴影区域；利用自适应分解技术将检测的阴影区域分解为均匀的阴影块，将初始非阴影区域分解为均匀的非阴影块，块与块之间相互重叠；对每一个阴影块，利用协方差矩阵矩阵，在非阴影块中寻找与之最相似的像素块；构建可由图像反射率自动调节的参数，对传统的光转移函数进行约束，最后利用该函数对匹配的像素块对进行阴影去除，并利用加权平均进行光一致优化。本发明对不均匀阴影、弯曲表面的阴影、多纹理类型的阴影都能获得高质量的阴影去除效果。

Description

一种基于块匹配的自适应光转移单幅阴影去除方法

技术领域

本发明涉及计算机图像处理领域，尤其涉及一种基于块匹配的自适应光转移单幅阴影去除方法，可用于目标提取、影视特效制作等。

背景技术

图像阴影去除的目的是恢复阴影区域的正常光照条件，从而使得阴影去除结果与周围环境的纹理和光照保持一致。作为计算机图形学和计算机视觉领域中的一个研究热点，图像阴影去除技术在目标识别、场景分析、三维重建等方面，都有重要的研究价值。

阴影的存在会严重影响计算机图像的质量，干扰图像信息提取与判断，去除图像中的阴影将有助于改善计算机视觉的性能。针对这个问题，国内外学者已经提出了很多方法，例如：Finlayson等基于梯度域实现了用二维积分进行阴影去除，但算法采用全局积分，不可避免会引入一些人工痕迹。Baba等基于RGB颜色空间阴影像素的颜色和方差调节，提出了一个简单的强度域阴影去除方法，但算法必须满足阴影表面平坦的假设条件。McFeely等人利用一个薄板重建模型去除图像表面的阴影，以获得比较满意的结果，但图像的纹理细节必须足够小，因此，该方法不能用于粗糙表面的阴影去除。Arbel等人设定每个图像通道为一个强度表面，用一个带纹理定位点约束的平滑薄板来近似阴影区域表面。该方法可以去除不均匀阴影，然而，平滑的薄板近似很难精确估计出纹理和高结构图像中的阴影比例因子；此外，当阴影区域包含多种纹理类型时，算法失效。Guo等计算直射光和环境光的比率，通过再光照每个像素获得去除阴影图像，但该方法没有考虑到反射率变化，容易造成纹理细节的丢失。Khan等通过对多级颜色转换积分得到一个贝叶斯公式，利用它进行阴影去除，通过优化代价函数，可以获得较好的阴影去除效果；然而，由于采用多级颜色转换，对不均匀或弯曲表面阴影进行去除，其效果往往不够理想。

发明内容

本发明提供了一种基于块匹配的自适应光转移单幅阴影去除方法，本发明首先采用用户辅助的方法检测阴影区域，然后将输入图像分解为合适的块，对每个阴影块利用自适应光转移方法来计算去除阴影后像素值，最后经过光一致优化处理得到最终结果，实现单幅图像的阴影去除，详见下文描述：

一种基于块匹配的自适应光转移单幅阴影去除方法，所述阴影去除方法包括以下步骤：

1)根据获取的阴影掩膜和初始阴影区域的信息，利用马尔科夫随机场标签计算半影区域；将半影掩膜和阴影掩膜结合在一起，作为检测的阴影区域；

2)利用自适应分解技术将检测的阴影区域分解为均匀的阴影块，将初始非阴影区域分解为均匀的非阴影块，块与块之间相互重叠；

3)对每一个阴影块，利用协方差矩阵矩阵，在非阴影块中寻找与之最相似的像素块；

4)构建可由图像反射率自动调节的参数，对传统的光转移函数进行约束，最后利用该函数对匹配的像素块对进行阴影去除，并利用加权平均进行光一致优化。

在步骤1)之前，所述阴影去除方法还包括：

以初始种子点像素坐标为基础，进行迭代的区域增长，将阴影像素添加到初始阴影区域，以形成所述阴影掩膜。

在步骤1)之前，所述阴影去除方法还包括：

通过用户在初始阴影区域和初始非阴影区域用点击鼠标的方式提供初始种子点像素坐标，利用该坐标领域内RGB值进行支持向量训练，将图像像素划分成所述阴影像素和非阴影像素。

其中，所述利用加权平均进行光一致优化具体为：

计算阴影块的像素的去除值、与阴影块中心去除值的距离权重因子和颜色权重因子；

将距离权重因子和颜色权重因子的组合作为该像素的权重因子；

该像素的强度值通过对全部对应块的去除值进行加权平均，作为光一致优化结果。

进一步地，所述对每一个阴影块，利用协方差矩阵，在非阴影块中寻找与之最相似的像素块具体为：

采用6维向量作为每个像素的特征向量，结合柯列斯基分解，通过协方差矩阵实现阴影区域和非阴影区域的块匹配。

进一步地，所述阴影去除方法还包括：

对全部非阴影块的协方差矩阵构建一个KD树，用阴影块的协方差矩阵查询KD树，对每个阴影块，找到最相近的非阴影块作为匹配块。

本发明提供的技术方案的有益效果是：

(1)本发明充分考虑到图像表面材料对阴影去除结果的影响，根据不同纹理块的反射率变化来计算阴影去除后的像素值，可以很好地保护图像的纹理信息；

(2)本发明通过对每一个像素块单独执行自适应光转移算法，可以有效地保护图像的纹理信息；

(3)本发明在阴影去除后，对每个阴影去除值进行光一致优化处理，以确保阴影去除后各像素块之间光照情况一致，阴影去除结果更加自然；实现了阴影去除后各像素块之间的平滑过渡；

(4)本发明解决了传统单幅图像阴影去除算法中的缺点，对不均匀阴影、弯曲表面的阴影、多纹理类型的阴影都能获得高质量的阴影去除效果；

(5)通过仿真实验结果表明，对于各种类型的单幅阴影图像，本发明方法都能获得比较理想的阴影去除效果，算法具有较强的鲁棒性。

附图说明

图1为本发明提供的基于块匹配的自适应光转移阴影去除方法的流程图；

图2为本发明提供的基于块匹配的自适应光转移阴影去除方法的另一流程图；

其中，(a)为阴影检测过程流程图；(b)为阴影去除过程流程图。

图3为利用本发明去除不均匀阴影的效果图；

其中，(a)为阴影图；(b)为阴影去除结果图。

图4为利用本发明去除纹理表面阴影的效果图；

其中，(a)为阴影图；(b)为阴影去除结果图。

图5为利用本发明去除曲面阴影的效果图；

其中，(a)为阴影图；(b)为阴影去除结果图。

图6为利用本发明去除包含多种纹理类型阴影的效果图；

其中，(a)为阴影图；(b)为阴影去除结果图。

图7为2种方法在去除阴影的效果对比图。

其中，(a)为阴影图；(b)为基于强度表面和纹理定位点算法的阴影去除结果图；(c)为本发明阴影去除结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

现有单幅图像阴影去除方法，在阴影去除过程中，需要一些对场景或光照的假定条件进行限定，或者不能处理某种特殊类型的阴影图像，如不均匀阴影图像、高结构纹理阴影图像，或包含多种纹理类型的阴影图像。针对这一情况，本发明实施例提出利用自适应光转移算法实现阴影的自动去除，首先将输入图像分解为相互重叠的像素块，然后基于纹理相似性找出与阴影块最相似的非阴影块，利用自适应光转移计算阴影块的估计值，最后对去除结果进行光一致优化。仿真实验结果表明，该方法可以有效地处理各种类型的阴影图像，去除后阴影区域的纹理和光照、与非阴影区域保持一致。

实施例1

一种基于块匹配的自适应光转移单幅阴影去除方法，参见图1和图2，该方法包括以下步骤：

101：通过用户在初始阴影区域和初始非阴影区域用点击鼠标的方式提供初始种子点像素坐标，利用该坐标领域内RGB值进行支持向量训练，将图像像素划分成阴影像素和非阴影像素；

102：以初始种子点像素坐标为基础，进行迭代的区域增长，将阴影像素添加到初始阴影区域，以形成阴影掩膜；

103：根据获取的阴影掩膜和初始阴影区域的信息，利用马尔科夫随机场标签计算半影区域；将半影掩膜和阴影掩膜结合在一起，作为检测的阴影区域；

104：将检测的阴影区域分解为均匀的阴影块，将初始非阴影区域分解为均匀的非阴影块，块与块之间相互重叠；

105：对每一个阴影块，利用协方差矩阵，在非阴影块中寻找与之最相似的像素块；

106：构建可由图像反射率自动调节的参数，对传统的光转移函数进行约束，最后利用该函数对匹配的像素块对进行阴影去除，并利用加权平均进行光一致优化。

综上所述，本发明实施例通过上述步骤101-步骤106充分考虑到图像表面材料对阴影去除结果的影响，根据不同纹理块的反射率变化约束光转移函数，计算阴影去除后的像素值，可以很好地保护图像的纹理信息，得到自然的阴影去除效果；阴影去除后，对每个阴影去除值执行光一致优化处理，以确保阴影去除后各像素块之间光照情况一致，阴影去除结果更加自然。

实施例2

下面结合具体的计算公式、实例、图1和图2，对实施例1中的方案进行进一步地介绍，详见下文描述：

201：阴影检测；

阴影检测是阴影去除的前提，检测效果的好坏直接影响后续阴影去除效果。本发明实施例基于用户辅助的方法来检测阴影区域，通过用户在初始阴影区域和非阴影区域点击鼠标来提供初始的种子点坐标，利用该坐标领域内RGB值进行支持向量训练，将图像像素划分成阴影像素和非阴影像素。以用户提供的初始种子点坐标为基础，进行迭代的区域增长，将阴影像素添加到初始阴影区域，以形成阴影掩膜。

参见图2(a)，根据获取的阴影掩膜和原图像的信息，利用马尔科夫随机场(MRF)标签计算半影掩膜。具体作法如下：

考虑一个图像I及其梯度场

||·||表示矢量取模，定义的梯度分布图像为P^I，其在(x,y)处的值

定义为：

其中，

代表图像中像素(x,y)处梯度值发生的概率；

为梯度分布图像在(x,y)的值。

研究表明，通过直接对P^I设定阈值标记半影像素会产生许多错误和丢失。应考虑有明显边缘特征的像素点，并且在判断临近像素是否是边界像素时，也参考这些像素点。

本发明实施例通过在梯度分布图像P^I上用马尔科夫随机场实现上述过程，定义一个马尔科夫随机变量，该变量与P^I中的每个像素有关，决定是否一个潜在的像素应该被标记为边界像素。

g_(x,y),g_(x′,y′)分别表示位置(x,y)与其邻近点(x′,y′)处的马尔科夫随机变量，定义马尔科夫随机变量g的后验能量E为：

其中，N_xy代表像素(x,y)的4个近邻像素，α表示当某个像素被标记为边界像素时的局部能量，(x,y)处的似然能量ψ(g_(x′,y′),g_(x,y))可表示为：

其中，

为梯度分布图像在(x′,y′)处的值，∧为取交集，即同时满足两边的式子t1和t2是阈值，满足关系：t1＜t2。

本发明实施例选取：α＝1.45,t1＝0.05，t2＝(max(P^I)-min(P^I))-t1，max(·),min(·)分别表示最大值和最小值。

求使得公式(2)最小的马尔科夫随机变量g(x,y)，由其得到的g(x,y)的二值连通部分，获得图像的半影掩膜(具体求取半影掩膜的操作为本领域技术人员所公知，本发明实施例对此不做赘述)。最终，将半影掩膜和阴影掩膜结合在一起，作为检测的阴影区域。

202：阴影去除。

1)图像分解；

参见图2(b)，本发明实施例首先根据光照分布把输入图像(即初始非阴影区域和检测的阴影区域)分成均匀的块。I代表输入图像，S和L分别是输入图像的检测的阴影区域和初始非阴影区域。块大小设为c×c(c＞10)。每次以c/3个像素单位对像素块进行移动，以保证图像块之间相互重叠，进而保证阴影去除结果在邻近块之间平滑过渡，避免块之间的不连续性。

由于检测的阴影区域的光照经常戏剧性变化，须对检测的阴影区域边界进行特殊的处理，本发明实施例用阴影检测过程得到的半影区域作为阴影边界区域。在阴影边界区域，重新设置块的大小。像素块越小，结果越精确，但像素块越小，计算复杂度也会相应增加，充分考虑效率和精度要求，本发明实施例中块的大小设为c/2×c/2。

利用自适应分解技术，将检测的阴影区域和初始非阴影区域分成阴影块

和非阴影块

设N_s为阴影块的数量，N_l为非阴影块的数量。

2)基于纹理相似性的块匹配；

对于每一个阴影块S_i，本发明实施例基于一个有效的纹理匹配矩阵在非阴影区域发现一个最相似的非阴影块。本发明实施例的块匹配基于：在相同的光条件下，有相同反射比的两个块的颜色和纹理是相似的。当光照不同时，两个块的颜色和强度是不同的。因此，块匹配矩阵是光照无关的。

区域协方差描述子作为有效的特征描述子，能很好的区分图像结构和局部纹理，该描述子利用特征点的协方差矩C_R表示图像的一个区域R：

其中，n是区域R中像素的数量，

是第k个像素的d维特征向量，

是区域R中像素的均值特征向量。

本发明实施例中，采用6维向量(包含：强度，色度，x、y方向上强度的一阶偏导，x、y方向上强度的二阶偏导)作为每个像素的特征向量，则C_R是一个6×6的协方差矩阵。由于引入了均值特征向量，协方差矩阵对于光照具有很小的敏感性，有助于实现阴影区域和非阴影区域的块匹配。

利用柯列斯基分解将协方差矩阵转化到欧几里得空间，用下面的向量表示协方差矩阵：

其中，

是下三角矩阵L的第i列，L由柯列斯基分解C_R:C_R＝LL^T得到，其中，柯列斯基分解为本领域技术人员所公知，本发明实施例对此不做赘述。

为减少搜索过程，对全部非阴影块的f(C_R)向量构建一个KD(一种分割k维数据空间的数据结构)树，然后用阴影块的f(C_R)向量查询KD树，对每个阴影块，找到最相近的非阴影块作为匹配块。

其中，上述构建KD树、以及查询KD树的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

3)自适应光转移算法；

根据图像的形成公式I(x)＝L(x)R(x)，其中L(x)是光照部分，R(x)是反射率部分。假定一个场景，阴影是由于直射光源被遮挡产生的。如果场景中的某个像素x在非阴影区域，该像素的光照可表示为：L(x)＝L^d(x)+L^a(x)，其中L^a(x)是环境光，L^d(x)是直射光。

则像素x处的强度可以表示为I^lit(x)＝L^d(x)R(x)+L^a(x)R(x)。当光源被目标遮挡时，在像素x处会产生阴影，同时该遮挡物也会遮挡部分环境光，此时，像素x处的反射强度：I^shadow(x)＝η(x)L^a(x)R(x)，其中，η(x)是环境光的衰减因子。

基于以上分析，去除阴影后，点x处的强度可以表示为光照和阴影强度的仿射函数：

公式(6)可表示为：

其中，

是在3个RGB颜色通道反射的直射光，μ_k(S)和μ_k(L)是阴影区域和非阴影区域像素的均值颜色，

其中，σ(S)，σ(L)是阴影区域和非阴影区域亮度的标准方差。

式(7)中，

是反射的直射光，且I^shadow(x)＝η(x)L^a(x)R(x)，这两项均受图像反射率R(x)的影响。由于表面材料的不同，其反射率R(x)会有很大变化，因此参数

和I^shadow(x)应根据该未知的反射率调节。

为此，本发明实施例提出一个自适应参数χ(x)，用于反映图像反射率的影响：

其中，I_k(x)是像素x的强度值，在同一区域块中，光照L(x)是固定的，该强度值仅取决于该位置处的反射率R(x)，I^avg表示对应块中所有像素的平均值。

通过参数χ(x)约束公式(7)，可得到随对应像素点反射率变化的强度

通过自适应参数调节，阴影块中每个去除阴影强度值

可随其对应的反射率变化，而图像的反射率反应图像的纹理信息，因此去除阴影后，该方法将有助于保护图像原有的纹理信息。在本发明实施例中，对每一个匹配的子区域对，利用公式(9)在Lab颜色空间，去除图像中的阴影，完成阴影去除后，再转换到RGB图像空间。

4)光一致优化处理。

用自适应光转移技术恢复阴影块的光照后，为改善阴影去除结果块之间光照的不一致性，消除潜在的人工痕迹，本发明实施例采用光一致优化对其进行处理。

本发明实施例采取的阴影块之间相互重叠，一个阴影像素包含于多个阴影块中。因此，相互重叠的阴影像素可获得多个不同的估计值。为保证各图像块之间自然过渡，对每个重叠的像素值进行加权计算。

设S(x)是包含像素x的阴影块，在传统方法中，块S_i(S_i∈S(x))中像素x的权重因子w_i表示为：

本发明实施例对权重因子进行优化，引入颜色权重因子w_ic。

w_i′＝λ₁w_i+λ₂w_ic (12)

其中，dis(x,center_S_i)表示像素x和块S_i的中心的空间距离，dis(x,center_S_k)为像素x和块S_k的中心的空间距离，S_k为第k个阴影像素块，

是执行光转移后，去除阴影后像素x的值，

是块S_i中心处去除阴影后的像素值(即阴影块中心去除值)，w_i代表像素x与其所在块的距离权重，w_ic代表像素x与其所在块的颜色差异权重，λ₁,λ₂为二者的加权因子，w_i′为像素x的最终权重因子。

去除阴影后，像素点的颜色越接近，表明无阴影的情况下，两个像素点具有一致的光照和纹理。本发明实施例在权重因子计算中引入w_ic项，以增加颜色因素对阴影去除结果的影响。各点去除阴影后，其像素值与其所在块中心值的差值越大，其对应的权重越小，对最终结果影响越小。当两点颜色相近时，如果距离较近，对应块的值更接近真实值。根据仿真实验结果，本发明实施例中取λ₁,λ₂分别为0.7和0.3，以获得最优处理效果。

去除阴影后，像素x的强度值可通过全部对应块中x的估计值加权平均计算：

其中，w_i′是公式(12)计算的权重因子，

是利用光转移算法去除阴影后像素x的值，

是像素x的最终阴影去除结果。

综上所述，本发明实施例通过上述步骤201-步骤202充分考虑到图像表面材料对阴影去除结果的影响，根据不同纹理块的反射率变化约束光转移函数，计算阴影去除后的像素值，可以很好地保护图像的纹理信息，得到自然的阴影去除效果；阴影去除后，对每个阴影去除值执行光一致优化处理，以确保阴影去除后各像素块之间光照情况一致，阴影去除结果更加自然。

实施例3

下面结合具体的实验数据、图3-图7对实施例1和2中的方案进行有效性和鲁棒性的验证，详见下文描述：

图3为处理不均匀阴影图像，图3(a)中阴影区域的亮度有明显的变化，图像底部区域较暗。本发明实施例通过对每个阴影块单独执行自适应光转移，充分考虑不同位置处的亮度信息，有助于去除不均匀阴影，如图3(b)中阴影去除后，光照是一致的。

图4为处理包含高结构纹理的阴影图像，图4(a)中图像有凹凸不平的结构。本发明实施例利用自适应参数对传统的光转移函数进行改进，该参数可随图像的反射率自动变化调整，图4(b)阴影去除后，图像的纹理信息得到很好保护。

图5为处理弯曲表面阴影图像。图5(a)为弯曲表面阴影图像，利用本方法进行阴影去除，在图5(b)中阴影去除区域的光照和原始非阴影区域保持一致。

图6为处理包含两种纹理的阴影图像。在图6(a)中阴影区域包含草地和平坦路面，由于本方法对每个阴影块分别进行处理，在图6(b)中的多纹理阴影被去除。

图7为本方法与现有技术的阴影去除效果对比。图7(b)是现有技术的阴影去除效果图。由于算法采用平滑的薄板来近似阴影区域表面，薄板约束无法对阴影比例因子进行精确估计，阴影去除后相关区域对比度明显。与之相反，本方法采用自适应参数调节光转移公式，充分考虑图像表面反射率的变化，能有效恢复出图像的纹理信息两种方法对比。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于块匹配的自适应光转移单幅阴影去除方法，其特征在于，所述阴影去除方法包括以下步骤：

1)根据获取的阴影掩膜和初始阴影区域的信息，利用马尔科夫随机场标签计算半影区域；将半影掩膜和阴影掩膜一起，作为检测的阴影区域；

2)利用自适应分解技术将检测的阴影区域分解为均匀的阴影块，将初始非阴影区域分解为均匀的非阴影块，块与块之间相互重叠；

3)对每一个阴影块，利用协方差矩阵，在非阴影块中寻找与之最相似的像素块；

4)构建可由图像反射率自动调节的参数，对传统的光转移函数进行约束，最后利用该函数对匹配的像素块对进行阴影去除，并利用加权平均进行光一致优化；

所述方法还包括：对全部非阴影块的协方差矩阵构建一个KD树，用阴影块的协方差矩阵查询KD树，对每个阴影块，找到最相近的非阴影块作为匹配块。

2.根据权利要求1所述的一种基于块匹配的自适应光转移单幅阴影去除方法，其特征在于，在步骤1)之前，所述阴影去除方法还包括：

以初始种子点像素坐标为基础，进行迭代的区域增长，将阴影像素添加到初始阴影区域，以形成所述阴影掩膜。

3.根据权利要求2所述的一种基于块匹配的自适应光转移单幅阴影去除方法，其特征在于，在步骤1)之前，所述阴影去除方法还包括：

通过用户在初始阴影区域和初始非阴影区域用点击鼠标的方式提供初始种子点像素坐标，利用该坐标领域内RGB值进行支持向量训练，将图像像素划分成所述阴影像素和非阴影像素。

4.根据权利要求1所述的一种基于块匹配的自适应光转移单幅阴影去除方法，其特征在于，所述利用加权平均进行光一致优化具体为：

计算去除阴影后像素x的值、与阴影块中心去除值的距离权重因子和颜色权重因子；

将距离权重因子和颜色权重因子的组合作为该像素的权重因子；

该像素x的强度值通过对全部对应块的去除值进行加权平均，作为光一致优化结果；

其中，像素x的强度值通过全部对应块中x的估计值加权平均具体为：

其中，w_i′是权重因子，

是利用光转移算法去除阴影后像素x的值，

是像素x的最终阴影去除结果；S_i是块，S(x)是包含像素x的阴影块。

5.根据权利要求1所述的一种基于块匹配的自适应光转移单幅阴影去除方法，其特征在于，所述对每一个阴影块，利用协方差矩阵，在非阴影块中寻找与之最相似的像素块具体为：

采用6维向量作为每个像素的特征向量，结合柯列斯基分解，通过协方差矩阵实现阴影区域和非阴影区域的块匹配。

Images