CN105574821A - 基于数据的软性阴影去除方法 - Google Patents

Abstract

本发明公开了一种基于数据的软性阴影去除方法，包括如下步骤：将待处理图像分割成16×16的网格面片，并计算其对应的特征向量；使用预先训练的回归因子将特征向量映射到该面片的阴影遮罩分布m_i；将阴影网格上的马尔可夫随机域正则化以生成红色通道的最大后验阴影图片，同样的操作对绿色通道、蓝色通道都执行一遍，获得无阴影图像I_U；用户根据需要可以在原图像上放置一块由原阴影衍生出的新阴影，该阴影可根据需要被平移、放大缩小、变形；本发明所提出的这种方法是进行离线训练的，可以处理带有区分度较大的半影宽度阴影。与现有技术相比，本发明所提出的技术可以应用于多种需要去除软性阴影的场景中，能够显著改善用户交互并优化生成的结果。

Description

基于数据的软性阴影去除方法

技术领域

本发明涉及计算机图像处理技术领域，是基于数据的软性阴影去除方法。

背景技术

因为目前非专业人员对图片预处理的要求越来越多，智能化的图像编辑算法愈加被需要。纵观各种商业软件和图像处理团体开发的研究原型中的各种可行技术，柔性阴影操作是其中被研究最多并且十分重要的问题。由于阴影是获取形状、曲率、高度的重要线索，无数的网上教程试图教它们的使用者如何用单调遮蔽和阈值化处理方法将阴影层分离出来。这种手动技术得到了应用，部分是因为很多真实场景有柔性阴影，而迄今为止大多数阴影检测和去除算法都是被开发了解决硬性阴影的。因为柔性阴影已经被表现出与人类判断一幅图片的真假有关系，所以需要更简单的方法去提取柔性阴影。图像抠除提供了另一种类型的解构方式，并且可以通过这种方式来分离前景和后景物体。原则上，这种构想也可以用于分离软性阴影去抠出一块小的半影区域。一种直观笔刷界面结合一种快速算法去交互地抠出模糊物体，将这项技术应用到明显的软性阴影上的难点在于具体到优化正确类似的函数。一种有效的方法做阴影抠取和组合，但现有技术需要更多的输入而且没有处理宽半影的问题。图像修复是一种填补图像空白区域的技术。这项技术由于今年来在商业工具上的到了实施，因而变得成熟了很多。尽管在很多情况下非常游泳，但是它并不是一种处理阴影去除问题的好的解决方案，因为它完全忽略了潜在的有价值信息。图像修复方法需要一个能够填补缺失部分的数据源。基于数据的来源现有技术可以被视为两类，a)自举式算法即使用图像的剩余部分修复b)基于现有数据库的方法。前者的算法更吸引人因为不必担心需要创建扩展的训练数据组。然而，实际上，要使它衡量一般情景往往很困难。在两个例子中，现有技术的工作重心都放到了将图片结构正确的扩展到缺失部分中去。阴影去除提出了一种检测阴影的方法，通过用熵最小化恢复一个一维光照不变图像。鉴于此，现有技术可以区别原图像中的阴影和非阴影边缘，随后应用梯度域操作以去阴影。这一过程要求图像在阴影边缘微分到0，这在处理硬性阴影时很有用，但是当应用到宽半影时就会产生宽而明显的纹理带缺失。使用图像基于锥体化处理。现有技术通过补偿遮光板阻塞环境光来处理非微本影。但是现有技术的方法不能狗处理复杂密集的表面例如树叶或者没有任何本影的阴影。对于非统一的内部阴影表面评价只是在很粗糙的基础层面，所以值将大规模的变化纳入考虑范围。更进一步的说，在复杂阴影中它并不能清楚地计算用于参数评价的“条纹”。此外，现有技术的方法还不能够完整地处理半影，并且在修复阴影边缘时始终避免不了人工操作。一种修改软性阴影的去除方法将半影模型化，通过将分段二元模型匹配到图像中被用户密集标记过的区域，因此而将纹理变化从光照变化中分离出来。这使得现有技术能够处理梯度域并在将由阴影造成的梯度识别并去除后重组图像。这个系统首先问用户输入阴影的大概轮廓这是有阴影边缘的控制点确定的。此外，用户还被要求初始化半影的宽度以及对分别各个色彩通道的阴影振幅。这一算法随后通过匹配上述的尖削模型到或垂直或水平的穿过半影的密集薄片进行迭代优化，更新参数并再次优化。这一程序是重复对每一个阴影边缘片段施加的(边缘片段的数量也是有用户规定的)而边缘点之间的值是由线性差值得到的。这种方法产生了可信的结果，但是太消耗人力和时间而且需要大量的计算时间。

在半影参数被优化之后，用户已经可以控制哪些梯度要从图像中移除了。由于梯度域操作的特性，这一方法经常将整幅图像都做了明显的修改，而不是仅移除阴影。最后，这一技术要在两个假定下操作，这两个假定并不总是成立：一半影可以用S形的曲线精确的模块化，二一个本影区域一直存在。一种针对自然阴影去除的扣除方法。然而与标准去除方法不同的是，现有技术将阴影扣除视为一个无阴影图像像素分段结合的产物。尽管现有技术的方法在很多阴影上都作用良好，但它需要的用户输入明显多：一个四元映射即“确定在阴影内”、“半影”、“确定在阴影外”、以及“不在内”区域。此外，现有技术的扣除方法需要一个距离函数来优化。尽管现有技术表示这一方法对很多自然阴影都有用，问题还是在一些模拟情景(例如放大噪声)中发生了，因为扣除代价函数并没有为此而调整。

如前面所提到的，基于抠除的方法对阴影来说是有问题的，因为其能量最小化核心用了一个类似启发函数。另一个问题，是上述的方法并不适合用户输入，因为它很难确定哪块阴影是应该被去除的。在较宽半影的例子中，抠除经常会遗漏细小的梯度而且根本不能去除阴影，甚至在有用户输入阴影遮罩的情况下都不行。尽管这个问题可以由用改变阴影遮罩是如何用于修改限制来解决。

发明内容

本发明提供一种更可能成功去除软性阴影的方法，与现有方法的处理结果共同展示时，本发明的处理结果是看起来最自然的图片的。

本发明创建的回归模型是通过监督学习训练来处理问题的：给定一个有阴影的RGB图片IS，本发明的目的是找出一个对应的阴影部分IM和没有阴影的图片IU，并满足IS＝IU*IM(*是元素智能乘法)。类似的解构在固有图像领域也被研究过,但是本发明计算IM时同时忽略了反射率和着色，只关注投射阴影。同样的，本发明并没有追求物理准确性，本发明的实际目的是生成一个主观观测时看上去可信的IU。

一种基于数据的软性阴影去除方法，包括：

步骤(1)、采用多个阴影图片构成训练集，对训练集中每一个阴影图片提取列特征向量，利用所述的列特征向量训练得到回归因子；

本发明建立了一个大规模的真实软性阴影测试图片数据库除此之外还有一个可供生成无数同时有软硬性阴影场景的训练样本，步骤(1)中的多个阴影图片即来自这些训练样本。

步骤(2)、将待处理的阴影图片分割成行列排布(例如16×16)的若干网格，对每一个网格计算出其描述性的特征向量；

步骤(3)、使用所述的回归因子将每一个网格的特征向量映射到该网格的阴影遮罩分布，所有网格的阴影遮罩分布构成了阴影网格；

步骤(4)、对所述阴影网格采用马尔可夫随机域正则化以生成红色通道、绿色通道、蓝色通道的最大后验阴影图片，即获得无阴影图像；

步骤(5)、在所述无阴影图像的每一个位置使用TRW-S消息传体算法来正则化整个无阴影图像以选择出最佳的面片，该最佳的面片作为待处理的阴影图片的软性阴影去除结果。

步骤(1)中，对训练集中每一个阴影图片提取列特征向量时，首先对训练集的每幅阴影图片子样本化，以提取多个训练对(例如500000对)，然后对整个训练集进行偏压采样，针对偏压采样得到的阴影图片提取列特征向量。

很多面片虽然看似跟原始形态不同，但在用适当的欧几里德变换调整后最终会表现的非常相似。这是的本发明对旋转不变数据施加了推理，利用了目前展示在标签中的结构。虽然通过增加使用训练数据的数量可以得到相似的结果，本发明在没有明显提高训练时间的同时得到了同等的结果。

步骤(1)中，所述列特征向量包括：

用户选择区域中距边缘的正则化距离，其值位于[0.0,1.0]内；

阴影图片基于初始猜想的预测遮罩；

阴影图片的垂直和水平梯度；

阴影图片的像素亮度值，其值在[0.0，1.0]的范围内。

其中面片亮度值是正则化的，因为其没有直接与遮罩相关(给出一个阴影亮度面片，是不可能确定他是在明亮背景上的阴影或者是在暗背景下的明亮阴影)。所以本发明给出推理算法处理那些可能支持结论的特征(例如暗指阴影的斜率)，但是没有在绝对亮度上没有混乱差异。尽管根据梯度这些信息理论上是多余的，但它在不损害其性能的前提下给随机森林提供了更多的选择用以区别。

步骤(1)中，训练所述的列特征向量时，采用改进的随机森林。

本发明选择使用随机森林作为推理机制一方面是由于它的通用性另一方面是由于它被广泛使用。下面是本发明对传统随机森林算法的介绍和改进方法以及改进现有技术的原因：

给出一个标准的监督训练输入输出对数据集(例如，特征向量和对应的标签向量)，使用随机森林创造一个决策树这能够使用标签向量预测新的但没被发现的特征向量(提供其类似于训练样本的统计数据)。每一个分离的决策树都是不完善的，通常只在训练数据的一个随机子集中训练(这一过程叫做Bagging)并且不能保证得到一个全局优化的推理结果，这是由于下面描述的训练过程的特性。然而，将每一棵树(例如一个森林)的回应平均化，这通常会得到一个精确的预测。

给出一个“Bagged”训练数据集(即一个所有可用的特征和标签对的子集)，一个决策树是如下被训练的。首先定义一个污点值或者熵值，用于衡量所得的标签，这个值当一个节点上的标签是同质时处于较低值，当一个节点上的标签彼此不同时处于较高值。然后，通过将可用数据按照特征向量的标准生成一个二叉树，生成的方式是能够将发分离的集合的熵值最小化。或者，这可以构成最大化信息获取，即原始熵值和子熵值的总和。生成过程开始于根节点，将所有数据提供给给定树。它按照特征标准测试一个随机分支的树并选择一个能够产生最大信息获取的(一个样例分支可以测试是否特征向量的第七项是大于0.3的)。然后，它创建两个子节点，左子节点、右子节点，并且将分支数据压入这两个子节点。同样的处理过程在每一个节点都被重复一遍直到一个停止标准被达到(通常是预定的树深度或者一定数量的样本)。

结束训练后，森林可以被用于预测标签新的特征向量。有问题的特征向量被“压”下，每一颗树视个体的特征值和节点阈值而定。在达到叶节点后，所有达到这一节点训练样本的平均标签值被作为这棵树的答案。最后，所有树的答案的平均值被用来得到一个更为鲁棒的预测。

具体而言,步骤(1)中，采用改进的随机森林进行训练时，包括：

步骤(1-1)、定义一个衡量标签向量的熵值；

步骤(1-2)、通过将分支熵值最小化生成一个二叉树；

步骤(1-3)、按照特征维度测试二叉树随机数量的分支；

步骤(1-4)、从其中选择一个信息获取量最大的分支；

步骤(1-5)、随后创建两个分支节点并将分支数据压入；

步骤(1-6)、重复步骤(2-3)至步骤(2-5)直到达到预定的树的深度。步骤(1-2)中，所述分支熵值为：

H_n＝log(det(∑S_n))πr²；

其中Sn为所有样本。步骤(1-4)中，所述信息获取量为：

G _n ＝H _n -∑ _c∈{l，r} (|S _c |/|S _n |)H _c ；

其中S _c 为当前节点的样本分布；

H _c 为当前节点的熵值；

l，r为当前节点的最小、最大值。

本发明在创建树时，在建立每一个分支节点时都希望最大化的。本发明通过样本落入每个子节点(l和r)的比率来衡量信息获取以此来鼓励更正确的平衡树。

设置最小样本数在节点K＝2D时并且使树必要时生长地足够深直到没有足够的样本去分支。原则上K的值可以与D(计算D维协方差矩阵需要的样本数)一样低。然而，样本通常不是线性独立的，导致退化。当一个叶节点被达到后，并不是建立其所有标签的一个典型参数化分布，本发明将训练样本指数存入这个节点以进行下一个推理步骤。

在推理过程中，本发明对原有的RRF算法做了以下改进：

使用两个代表标签：低维的用来评估节点熵值和建立森林，高维的用来在测试阶段检索标签。这些由计算限制驱动，通过无参数化标签得以实现。

将标签无参数化以避免过度平滑。本发明从数据中得到了一个样本分布，包括希望保存的极端情况，而并不是在标签空间中的平均答案。

步骤(2)中，首先使用Barnes的图像修复方法，将用户指定的阴影区域完全用从剩余图像中的可行的像素组合代替。然后，本发明在修补区域应用高斯模糊，得到初步的结果图片。

步骤(5)中，正则化是处理图像的关键步骤。找出一个更为具体的遮罩片组合并不是不重要的这是由于本发明标签的特性以及每个节点可能有不同数量的可用标签建议。将每个本地的所有候选面片平均化会是比较理想的，因为任何不正常的阴影轮廓都会被丢失。另一方面，过度苛求选择最匹配的面片然后企图将他们之间的边平滑化可能会a)对一些小的可能会不相容的面片来说这极其困难，b)介绍一个在平滑区域隐含的，无数据驱动的阴影模型。相反，在每一个位置，本发明通过用TRW-S消息传体算法来正则化整个图像最佳的面片以选择最佳的面片。

TRW-S消息传体算法采用的能量方程为：

$E=\underset{i\∈L}{\Σ}\mathrm{\ω}\left(m_i\right)+\mathrm{\λ}\underset{i,j\∈N}{\Σ}\mathrm{\ψ}(m_i,m_j)$

L为正则化图像中的点集；

N为在4-联通近邻中的相邻点集；

m _i 为网格面片；

m_j为与m _i 相邻的网格面片；

ψ为两个网格面片之间的二元距离代价；

ω为从网格面片到对应猜测区域的一元距离代价；

λ为二元代价的加权系数。

本发明没有假设本影存在的特殊模型，也没有用统一的模式去处理整块阴影，而是给用户完全的控制权任其选择哪块区域需要修改。此外，本发明并没有追求物理准确性，本发明的实际目的是生成一个主观观测时看上去可信的I_U，因此生成的结果较其他方法更为自然。本发明所提出的技术可以应用于多种需要去除软性阴影的场景中，能够显著改善用户交互并优化生成的结果。

附图说明

图1为用户使用界面划出需要处理的阴影遮罩的示意图。

图2-1为输入图像和用户指定的阴影遮罩的示意图。

图2-2为从输入图像中抽取红色通道的示意图。

图2-3为将输入图像分割成16×16的网格面片的示意图。

图2-4为对每一个网格面片计算其对应的特征向量，使用已训练的随机森林得到几个可能的结果的示意图。

图3-1由左至右分别为输入图像I_s、面片ai附近的特写、阴影遮罩图像I_m的示意图。

图3-2由左至右分别为匹配特征面片a_i、匹配真实图像面片m_i的示意图。

图3-3为回归随机森林学习得到一个映射函数g(f(a_i))->m_i的示意图。

图4-1为正则化图像以选择每个面片的理想位置的示意图。

图4-2为获取红色通道遮罩的示意图。

图4-3为最后优化以获取剩余的颜色通道的示意图。

具体实施方式

下面结合附图说明和具体实施例对本发明进行详细说明。本实施例基于数据对图片进行软性阴影去除，包括如下步骤：

(1)采用多个阴影图片构成训练集，对训练集的每幅阴影图片子样本化，以提取多个训练对(例如500000对)，然后对整个训练集进行偏压采样，针对偏压采样得到的阴影图片提取列特征向量。

列特征向量包括：

用户选择区域中距边缘的正则化距离，其值位于[0.0,1.0]内；

阴影图片基于初始猜想的预测遮罩；

阴影图片的垂直和水平梯度；

阴影图片的像素亮度值，其值在[0.0，1.0]的范围内。

其中面片亮度值是正则化的，因为其没有直接与遮罩相关(给出一个阴影亮度面片，是不可能确定他是在明亮背景上的阴影或者是在暗背景下的明亮阴影)。所以本发明给出推理算法处理那些可能支持结论的特征(例如暗指阴影的斜率)，但是没有在绝对亮度上没有混乱差异。尽管根据梯度这些信息理论上是多余的，但它在不损害其性能的前提下给随机森林提供了更多的选择用以区别。

利用列特征向量采用改进的随机森林进行训练得到回归因子：

(1-1)、定义一个衡量标签向量的熵值；

(1-2)、通过将分支熵值最小化生成一个二叉树；

其中分支熵值为：

H_n＝log(det(∑S_n))πr²；

其中Sn为所有样本。

(1-3)、按照特征维度测试二叉树随机数量的分支；

(1-4)、从其中选择一个信息获取量最大的分支；

信息获取量计算方式为：

G_n＝H_n-∑_c∈{l，r}(|S_c|/|S_n|)H_c；

其中S _c 为当前节点的样本分布；

H _c 为当前节点的熵值；

l，r为当前节点的最小、最大值。

(1-5)、随后创建两个分支节点并将分支数据压入；

(1-6)、重复步骤(1-3)至步骤(1-5)直到达到预定的树的深度。(2)用户选中想要修改图片的阴影区域如图1所示，根据用户所选择的区域，将该区域中的阴影部分进行处理。将待处理的阴影部分分割成无覆盖的16*16大小的网格ai，对每一个网格计算出其描述性的特征向量f(ai)。

本发明在创建树时，在建立每一个分支节点时都希望最大化的。本发明通过样本落入每个子节点(l和r)的比率来衡量信息获取以此来鼓励更正确的平衡树。

设置最小样本数在节点K＝2D时并且使树必要时生长地足够深直到没有足够的样本去分支。原则上K的值可以与D(计算D维协方差矩阵需要的样本数)一样低。然而，样本通常不是线性独立的，导致退化。当一个叶节点被达到后，并不是建立其所有标签的一个典型参数化分布，本发明将训练样本指数存入这个节点以进行下一个推理步骤。

在推理过程中，本发明对原有的RRF算法做了以下改进：

使用两个代表标签：低维的用来评估节点熵值和建立森林，高维的用来在测试阶段检索标签。这些由计算限制驱动，通过无参数化标签得以实现。

将标签无参数化以避免过度平滑。本发明从数据中得到了一个样本分布，包括希望保存的极端情况，而并不是在标签空间中的平均答案。

如图2-1，图2-2，图2-3，图2-4所示，输入图片被分割成了16×16的网格面片，并计算其对应的特征向量。

(3)使用预先训练的回归因子将每一个特征向量映射到mi，mi是该片的阴影遮罩分布。如图3-1，图3-2，图3-3所示，在训练阶段，阴影区域(橙色矩形内)的每一个面片，发现一个小型的欧几里德变换可以将面片尽可能的近似到模板上。本发明随后将延伸的面片ai单独列出，并用它计算了特征f(ai).此外，本发明从真实图像的同一位置截取了面片以获取标签mi最后本发明将这些特征/标签对放入回归随机森林中去学习一个映射函数g(f(ai))->mi.

(4)将阴影网格上的马尔可夫随机域(MRF)正则化以生成红色通道的最大后验阴影图片，同样的操作对绿色通道、蓝色通道都执行一遍，获得无阴影图像IU。

(5)如图4-1，图4-2，图4-3所示，在每一个位置使用TRW-S消息传体算法来正则化整个图像最佳的面片以选择最佳的面片。所使用的能量方程为：

$E=\underset{i\∈L}{\Σ}\mathrm{\ω}\left(m_i\right)+\mathrm{\λ}\underset{i,j\∈N}{\Σ}\mathrm{\ψ}(m_i,m_j)$

此处L是正则化图像中的点集；

N代表在4-连通近邻中的相邻点集；

m _i 为网格面片；

m_j为与m _i 相邻的网格网片；

一元代价ω(mi)是从面片mi到处是猜想中对应区域的SSD距离；

二元代价ψ(mi,mj)是面片mi到mj的匹配程度；

λ则是二元权重，面片匹配程度ψ(mi,mj)为这些面片邻近行(或列)的方差总数：

$\mathrm{\ψ}(m_i,m_j)=\left\{\begin{array}{c}SSD\left({\mathrm{row}}_N\right(m_i),{\mathrm{row}}_1(m_j\left)\right),if{m}_i{\mathrm{isabovem}}_j\\ SSD\left({\mathrm{col}}_N\right(m_i),{\mathrm{col}}_1(m_j\left)\right),if{m}_i{\mathrm{istorightofm}}_j\end{array}\right.$

此处rowN(mi)和colN(mi)各自是面片mi的最后一行和最后一列。通过强制面片在用户遮罩外以连续1.0的值来创造了边界限制以确保阴影消失在用户选择区域的外部。

Claims (8)

1.一种基于数据的软性阴影去除方法，其特征在于，包括：

步骤(1)、采用多个阴影图片构成训练集，对训练集中每一个阴影图片提取列特征向量，利用所述的列特征向量训练得到回归因子；

步骤(2)、将待处理的阴影图片分割成行列排布的若干网格，对每一个网格计算出其描述性的特征向量；

步骤(3)、使用所述的回归因子将每一个网格的特征向量映射到该网格的阴影遮罩分布，所有网格的阴影遮罩分布构成了阴影网格；

步骤(4)、对所述阴影网格采用马尔可夫随机域正则化以生成红色通道、绿色通道、蓝色通道的最大后验阴影图片，即获得无阴影图像；

步骤(5)、在所述无阴影图像的每一个位置使用TRW-S消息传体算法来正则化整个无阴影图像以选择出最佳的面片，该最佳的面片作为待处理的阴影图片的软性阴影去除结果。

2.如权利要求1所述的基于数据的软性阴影去除方法，其特征在于，步骤(1)中，对训练集中每一个阴影图片提取列特征向量时，首先对训练集的每幅阴影图片子样本化，以提取多个训练对，然后对整个训练集进行偏压采样，针对偏压采样得到的阴影图片提取列特征向量。

3.如权利要求1所述的基于数据的软性阴影去除方法，其特征在于，步骤(1)中，所述列特征向量包括：

用户选择区域中距边缘的正则化距离，其值位于[0.0,1.0]内；

阴影图片基于初始猜想的预测遮罩；

阴影图片的垂直和水平梯度；

阴影图片的像素亮度值，其值在[0.0，1.0]的范围内。

4.如权利要求1所述的基于数据的软性阴影去除方法，其特征在于，步骤(1)中，训练所述的列特征向量时，采用改进的随机森林。

5.如权利要求4所述的基于数据的软性阴影去除方法，其特征在于，步骤(1)中，采用改进的随机森林进行训练时，包括：

步骤(1-1)、定义一个衡量标签向量的熵值；

步骤(1-2)、通过将分支熵值最小化生成一个二叉树；

步骤(1-3)、按照特征维度测试二叉树随机数量的分支；

步骤(1-4)、从其中选择一个信息获取量最大的分支；

步骤(1-5)、随后创建两个分支节点并将分支数据压入；

步骤(1-6)、重复步骤(1-3)至步骤(1-5)直到达到预定的树的深度。

6.如权利要求1所述的基于数据的软性阴影去除方法，其特征在于，步骤(1-2)中，所述分支熵值为：

H_n＝log(det(ΣS_n))πr²；

其中Sn为所有样本。

7.如权利要求1所述的基于数据的软性阴影去除方法，其特征在于，步骤(1-4)中，所述信息获取量为：

G_n＝H_n-Σ_c∈{l，r}(|S_c|/|S_n)H_c；

其中S_c为当前节点的样本分布；

H_c为当前节点的熵值；

l，r为当前节点的最小、最大值。

8.如权利要求1所述的基于数据的软性阴影去除方法，其特征在于，步骤(5)中，TRW-S消息传体算法采用的能量方程为：

$E=\underset{i\∈L}{\Σ}\mathrm{\ω}\left(m_i\right)+\mathrm{\λ}\underset{i,j\∈N}{\Σ}\mathrm{\ψ}(m_i,m_j)$

L为正则化图像中的点集；

N为在4-联通近邻中的相邻点集；

m_i为网格面片；

m_j为与m_i相邻的网格面片；

ψ为两个网格面片之间的二元距离代价；

ω为从网格面片到对应猜测区域的一元距离代价；

λ为二元代价的加权系数。