CN107507146B - 一种自然图像软阴影消除方法 - Google Patents

Abstract

本发明公开了一种自然图像软阴影消除方法。本发明通过指定的阴影边界线，将图像分为阴影区域和非阴影区域，利用基于图像中点的相关点信息的平滑方法对图像中的阴影区域和非阴影区域分别进行多尺度分解。分解完成后，利用局部亮度迁移的方法对基本层的阴影区域进行亮度修复，再将图像分解时过滤掉的细节信息融合到消除阴影的基本层中，得到输入图像的阴影消除结果。最后，利用基于纹理合成的图像修复方法对阴影边界处存在失真区域进行修复，以得到一个自然真实的阴影消除结果。本发明提出的阴影消除方法不但效果好，而且其中的平滑方法可用于多种应用。

Description

一种自然图像软阴影消除方法

技术领域

本发明属图像处理技术领域，尤其涉及一种自然图像阴影消除方法。

背景技术

阴影是由于光线在沿直线传播的过程中，遇到障碍物的阻挡而形成的。图像在获取时，难以避免地会存在一些阴影。通常阴影区域亮度较低，这种低亮度的特点会引起图像质量的下降，导致一些图像信息丢失，影响图像效果，并对一些诸如物体识别、图像检索、目标追踪等现代图像处理任务产生影响，使得任务准确率及效率降低。因此，对图像阴影消除的研究是必要的。现实场景中光源是有一定大小的，所产生的阴影大部分是软阴影。目前对图像阴影消除的研究有很多，但这些方法大部分处理的是硬阴影或接近于硬阴影的阴影，并不能很好地处理软阴影，这些方法处理软阴影时效果一般。

图像软阴影消除指在保证图像阴影区域原有色调及纹理结构的基础上，恢复其在正常光照下的场景。造成图像软阴影消除比较困难的原因主要有两个方面，首先软阴影边界附近的亮度是由亮到暗逐渐变化的，计算机难以确定一个明显的边界；其次软阴影区域内的亮度变化是不一致的，特别是靠近边界处，这要求阴影消除算法对亮度不敏感。因此，软阴影消除的最大挑战是如何恢复亮度不一致阴影区域的光照信息，使得恢复后的阴影区域与周围的非阴影区域的亮度、颜色、纹理等是自然的融合在一起。目前，有提出一种基于机器学习的软阴影消除方法，这种方法前期需要对一个样本进行训练学习，如果训练的样本集比较大，且阴影类型比较完全，该方法对图像软阴影消除的效果会比较好。但是这个学习的时间比较长，并且要获得一个大的软阴影及对应的无阴影图像的样本集也是一件非常困难的任务。针对这样的问题，本算法提出了一个基于多尺度分解的软阴影去除算法，该算法不需要准确检测出阴影区域，只需要给定一个大概的阴影边界线。

发明内容

本发明针对现有技术的不足，提供一种基于多尺度分解的图像软阴影消除方法。

本发明的技术方案为一种图像软阴影消除方法，，包含以下步骤：

一种自然图像软阴影消除方法，其特征在于，包括下述步骤：

步骤1，确定输入图像I的阴影边界，具体是：用户采用画刷自行指定一个阴影边界，以区分阴影区域和非阴影区域；

步骤2，逐点对输入图像I上的点进行平滑处理，具体包括：

步骤2.1，对于图像I中的点i，查找其邻域窗口内的相关点j；

通过计算颜色、亮度和色调上的相关度来判断点i与其领域内的点j是否为相关点；

颜色相关度计算公式为：

其中I_i为点i在RGB空间中对应三通道的颜色值，σ_c为局部领域颜色方差；

亮度相关度计算公式为:

其中L_i为点i的亮度值，本发明用图像在Lab色彩空间中L通道的数据来表示，σ_l为局部领域亮度方差；

色调相关度为计算公式:

这里H_i为点i的色调，本发明用HIS色彩空间的H通道的值来表示；HIS色彩空间的H通道为色调分量，其计算公式为：

其中R,G,B分别为图像在RGB色彩空间对应三通道的值；σ_h为局部领域色调方差；

计算两点的总体相关度D＝D_cD_lD_h，当D＞0.8时，认为点i与点j为相关点；其中σ_c、σ_l和σ_h的值由用户指定；

步骤2.2，如果点i邻域内没有相关点，则认为点i是孤立点；

步骤2.3，如果是孤立点，则该点亮度值保持不变，如果不是孤立点，则用该点的所有亮度相关点的平均值作为其亮度值；

步骤3，利用步骤2的平滑方法对图像进行多尺度分解，将图像分解为一个分片光滑的基本层和多个细节层，具体是：

对输入图像I进行(N+1)级分解，分解后包含一个基本层b和N个细节层，即：

其中，L_i表示第i次平滑后过滤掉的细节信息；用S_i表示第i次平滑的结果，S_i的计算方法为：以第i-1次的平滑结果即S_i-1作为输入，利用步骤2的方法对S_i-1进行平滑，得到的结果即为S_i，其中i＝1,2,…,N且S₀＝I；第N次平滑的图像S_N即为抹掉细节的基本层b，细节层L_i定义为前后两次平滑层之差，即：L_i＝S_i-S_i-1；

步骤4，对分解后的基本层进行阴影消除；对步骤3中已抹掉细节的基本层b应用亮度迁移的方法进行阴影消除，具体包括：

步骤4.1，选取一个大小为w×w的块，在图像上滑动这个局部块，当块的中心点位于阴影边界处时，统计局部块中阴影点和非阴影点对应的平均亮度信息以及标准方差值，利用亮度迁移公式对块中阴影点进行亮度恢复；

定义当前局部块中所有阴影点对应的平均值和标准方差分别为μ(S)、σ(S)，所有非阴影点对应的平均值和标准方差分别为μ(L)、σ(L)，当前通道该点的颜色值为I_k，则该点在此通道上去除阴影后的值为：

步骤4.2，由于块是按像素进行移动处理的，有的阴影点会被计算多次；对边界进行一次块的遍历后，阴影边界上的一点会在多个块被计算，为边界上的点统计在多少个块中做了亮度迁移的计算，并记录每次亮度迁移后的结果；对所有计算的结果进行加权平均操作，用这一点与局部块中心点的高斯核作为加权操作的权值；加权平均后的结果值作为该点阴影消除后的结果值；

步骤4.3，通过块的遍历，将阴影边界上的阴影点都处理完成后，对阴影边界做二值图像的腐蚀操作，将阴影边界与非阴影区域相邻的最外层标记为非阴影区域，形成新的阴影边界，继续步骤4.1至步骤4.3的操作，直到基本图像层中阴影区域中所有点的亮度都被恢复；此时，基本层图像是一张无阴影的结果图；

步骤5，细节融合；对去除阴影的基本层进行细节恢复，具体是：

定义I^free为细节恢复后的无阴影图像，b’为去除阴影后的基本层，则细节恢复后的图像表示为：

在上述的一种自然图像软阴影消除方法，其特征在于，还包括

步骤6，边界处理；恢复细节后的结果图，在边界处存在一些失真的情况，此时可利用图像修复的方法对失真区域进行修补，具体包括：

步骤6.1，用户在待修复图像中用画刷标定待修复区域和样本区域；

步骤6.2，在待修复区域的边界处选取一点，构造一个大小为N×N的块，且建议N取值为13，另外再选取一个N×N块，利用块的遍历，通过待修复块中已存在的纹理信息，在样本区域中寻找一个与其纹理最相似的块做为其匹配块，通过最小化下面这个能量公式来判断两个块是否为纹理最相似：

其中T为边界处上选取的块，即待修复的块，M为在样本区域中选取的块；T_x为块T中像素点x的颜色值，M_x为块M中与点x在块T中相对位置相同点的颜色值；

步骤6.3，通过待修复区域周围已存在的纹理信息，在样本区域寻找匹配信息来填充待修复区域；每一次匹配填充都将缩小待修复区域，当待修复区域中所有的点都被填充后，边界修复完成，得到的无阴影图像更自然和真实；

步骤6.4，得到最终软阴影消除结果，结束任务。

用户在待修复图像中用画刷标定待修复区域和样本区域，在待修复区域的边界处选取一点，构造一个大小为N×N的块，且建议N取值为13，另外再选取一个N×N块，利用块的遍历，通过待修复块中已存在的纹理信息，在样本区域中寻找一个与其纹理最相似的块做为其匹配块，利用匹配块的信息来填充待修复区域。每一次匹配填充都将缩小待修复区域，当待修复区域中所有的点都被填充后，边界修复完成，得到的无阴影图像更自然和真实。

本发明的技术效果是：本发明公开了一种图像软阴影消除方法；本发明通过对阴影区域中的点查找其邻域窗口内的相关点，利用基于相关点信息的平滑方法对图像进行多尺度分解，分解完成后对基本层图像利用局部亮度迁移的方法进行软阴影消除，再将多尺度分解时提取出的细节信息融合到消除阴影后的基本层，得到输入图像的阴影消除结果。最后，对存在边界失真问题的结果图利用基于纹理合成的图像修复方法对失真区域处进行修复，以得到一个自然真实的阴影消除结果。本发明提出的软阴影消除方法不但效果好，而且其中的基于相关点的平滑操作可用于多种应用。

附图说明

图1是本发明的软阴影消除流程图。

图2是本发明图像平滑处理的流程图。

具体实施方式

下面结合实施例子及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参照图1，本发明的流程图，一种自然图像软阴影消除方法，包括下述步骤：

体是：用户采用画刷自行指定一个阴影边界，以区分阴影区域和非阴影区域。

步骤2，逐点对输入图像I上的点进行平滑处理，具体包括：

步骤2.1，对于图像I中的点i，查找其邻域窗口内的相关点j。

通过计算颜色、亮度和色调上的相关度来判断点i与其领域内的点j是否为相关点。

颜色相关度计算公式为：

其中I_i为点i在RGB空间中对应三通道的颜色值，σ_c为局部领域颜色方差。

亮度相关度计算公式为:

其中L_i为点i的亮度值，本发明用图像在Lab色彩空间中L通道的数据来表示，σ_l为局部领域亮度方差。

色调相关度为计算公式:

这里H_i为点i的色调，本发明用HIS色彩空间的H通道的值来表示。HIS色彩空间的H通道为色调分量，其计算公式为：

其中R,G,B分别为图像在RGB色彩空间对应三通道的值。σ_h为局部领域色调方差。

计算两点的总体相关度D＝D_cD_lD_h，当D＞0.8时，认为点i与点j为相关点。其中σ_c、σ_l和σ_h的值由用户指定。在本发明中，指定σ_c、σ_l和σ_h的取值为10。

步骤2.2，如果点i邻域内没有相关点，则认为点i是孤立点。

步骤2.3，如果是孤立点，则该点亮度值保持不变，如果不是孤立点，则用该点的所有相关点的平均值作为其亮度值。

步骤3，利用步骤2的平滑方法对图像进行多尺度分解，将图像分解为一个分片光滑的基本层和多个细节层，具体是：

对输入图像I进行(N+1)级分解，分解后包含一个基本层b和N个细节层，即：

其中，L_i表示第i次平滑后过滤掉的细节信息。用S_i表示第i次平滑的结果，S_i的计算方法为：以第i-1次的平滑结果即S_i-1作为输入，利用步骤2的方法对S_i-1进行平滑，得到的结果即为S_i，其中i＝1,2,…,N且S₀＝I。第N次平滑的图像S_N即为抹掉细节的基本层b，细节层L_i定义为前后两次平滑层之差，即：L_i＝S_i-S_i-1。

步骤4，对分解后的基本层进行阴影消除。对步骤3中已抹掉细节的基本层b应用亮度迁移的方法进行阴影消除，具体包括：

步骤4.1，选取一个大小为w×w的块，在图像上滑动这个局部块，当块的中心点位于阴影边界处时，统计局部块中阴影点和非阴影点对应的平均亮度信息以及标准方差值，利用亮度迁移公式对块中阴影点进行亮度恢复。

定义当前局部块中所有阴影点对应的平均值和标准方差分别为μ(S)、σ(S)，所有非阴影点对应的平均值和标准方差分别为μ(L)、σ(L)，当前通道该点的颜色值为I_k，则该点在此通道上去除阴影后的值为：

步骤4.2，由于块是按像素进行移动处理的，有的阴影点会被计算多次。对边界进行一次块的遍历后，阴影边界上的一点会在多个块被计算，为边界上的点统计在多少个块中做了亮度迁移的计算，并记录每次亮度迁移后的结果。对所有计算的结果进行加权平均操作，用这一点与局部块中心点的高斯核作为加权操作的权值。加权平均后的结果值作为该点阴影消除后的结果值。

步骤4.3，通过块的遍历，将阴影边界上的阴影点都处理完成后，对阴影边界做二值图像的腐蚀操作，将阴影边界与非阴影区域相邻的最外层标记为非阴影区域，形成新的阴影边界，继续步骤4.1至步骤4.3的操作，直到基本图像层中阴影区域中所有点的亮度都被恢复。此时，基本层图像是一张无阴影的结果图。

步骤5，细节融合。对去除阴影的基本层进行细节恢复，具体是：

定义I^free为细节恢复后的无阴影图像，b’为去除阴影后的基本层，则细节恢复后的图像表示为：

步骤6，边界处理。恢复细节后的结果图，在边界处存在一些失真的情况，此时可利用图像修复的方法对失真区域进行修补，具体包括：

步骤6.1，用户在待修复图像中用画刷标定待修复区域和样本区域。

步骤6.2，在待修复区域的边界处选取一点，构造一个大小为N×N的块，且建议N取值为13，另外再选取一个N×N块，利用块的遍历，通过待修复块中已存在的纹理信息，在样本区域中寻找一个与其纹理最相似的块做为其匹配块，通过最小化下面这个能量公式来判断两个块是否为纹理最相似：

其中T为边界处上选取的块，即待修复的块，M为在样本区域中选取的块。T_x为块T中像素点x的颜色值，M_x为块M中与点x在块T中相对位置相同点的颜色值。

步骤6.3，通过待修复区域周围已存在的纹理信息，在样本区域寻找匹配信息来填充待修复区域。每一次匹配填充都将缩小待修复区域，当待修复区域中所有的点都被填充后，边界修复完成，得到的无阴影图像更自然和真实。

步骤6.4，得到最终软阴影消除结果，结束任务。

以上所述的具体实施例对本发明的目的、技术方案以及有益效果进行了详细的说明。所应理解的是，上述内容仅为本发明的具体实施例而已，并不用于限制本发明。凡在本发明的精神与原则之内，所做的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种自然图像软阴影消除方法，其特征在于，包括下述步骤：

步骤1，确定输入图像I的阴影边界，具体是：用户采用画刷自行指定一个阴影边界，以区分阴影区域和非阴影区域；

步骤2，逐点对输入图像I上的点进行平滑处理，具体包括：

步骤2.1，对于图像I中的点i，查找其邻域窗口内的相关点j；

通过计算颜色、亮度和色调上的相关度来判断点i与其领域内的点j是否为相关点；

颜色相关度计算公式为：

其中I_i、I_j分别为点i和点j在RGB空间中对应三通道的颜色值，σ_c为局部领域颜色方差；

亮度相关度计算公式为:

其中L_i、L_j分别为点i和点j的亮度值，该亮度值用图像在Lab色彩空间中L通道的数据来表示，σ_l为局部领域亮度方差；

色调相关度为计算公式:

这里H_i、H_j分别为点i和点j的色调，该色调值用HIS色彩空间的H通道的值来表示，HIS色彩空间的H通道为色调分量，其计算公式为：

其中R,G,B分别为图像在RGB色彩空间对应三通道的值，σ_h为局部领域色调方差；

计算两点的总体相关度D＝D_cD_lD_h，当D＞0.8时，认为点i与点j为相关点；其中σ_c、σ_l和σ_h的值由用户指定；

步骤2.2，如果点i邻域内没有相关点，则认为点i是孤立点；

步骤2.3，如果是孤立点，则该点亮度值保持不变，如果不是孤立点，则用该点的所有亮度相关点的平均值作为其亮度值；

步骤3，利用步骤2的平滑方法对图像进行多尺度分解，将图像分解为一个分片光滑的基本层和多个细节层，具体是：

对输入图像I进行N+1级分解，分解后包含一个基本层b和N个细节层，即：

其中，L_i表示第i次平滑后过滤掉的细节信息；用S_i表示第i次平滑的结果，S_i的计算方法为：以第i-1次的平滑结果即S_i-1作为输入，利用步骤2的方法对S_i-1进行平滑，得到的结果即为S_i，其中i＝1,2,…,N，且S₀＝I；第N次平滑的图像S_N即为抹掉细节的基本层b，细节层L_i定义为前后两次平滑层之差，即：L_i＝S_i-S_i-1；

步骤4，对分解后的基本层进行阴影消除；对步骤3中已抹掉细节的基本层b应用亮度迁移的方法进行阴影消除，具体包括：

步骤4.1，选取一个大小为w×w的块，在基本层b上滑动这个局部块，当块的中心点位于阴影边界处时，统计局部块中阴影点和非阴影点对应的平均亮度信息以及标准方差值，利用亮度迁移公式对块中阴影点进行亮度恢复；

定义当前局部块中所有阴影点对应的平均值和标准方差分别为μ(S)、σ(S)，所有非阴影点对应的平均值和标准方差分别为μ(L)、σ(L)，当前通道该点的颜色值为I_k，则该点在此通道上去除阴影后的值为：

步骤4.2，由于块是按像素进行移动处理的，有的阴影点会被计算多次；对边界进行一次块的遍历后，阴影边界上的一点会在多个块被计算，为边界上的点统计在多少个块中做了亮度迁移的计算，并记录每次亮度迁移后的结果；对所有计算的结果进行加权平均操作，用这一点与局部块中心点的高斯核作为加权操作的权值；加权平均后的结果值作为该点阴影消除后的结果值；

步骤4.3，通过块的遍历，将阴影边界上的阴影点都处理完成后，对阴影边界做二值图像的腐蚀操作，将阴影边界与非阴影区域相邻的最外层标记为非阴影区域，形成新的阴影边界，继续步骤4.1至步骤4.3的操作，直到基本图像层中阴影区域中所有点的亮度都被恢复；此时，基本层图像是一张无阴影的结果图；

步骤5，细节融合；对去除阴影的基本层进行细节恢复，具体是：

定义I^free为细节恢复后的无阴影图像，b’为去除阴影后的基本层，则细节恢复后的图像表示为：

。

2.根据权利要求1所述的一种自然图像软阴影消除方法，其特征在于，还包括

步骤6，边界处理，恢复细节后的结果图，在边界处存在一些失真的情况，此时可利用图像修复的方法对失真区域进行修补，具体包括：

步骤6.1，用户在待修复图像中用画刷标定待修复区域和样本区域；

步骤6.2，在待修复区域的边界处选取一点，构造一个大小为a×a的块，且a取值为13，另外再选取一个a×a块，利用块的遍历，通过待修复块中已存在的纹理信息，在样本区域中寻找一个与其纹理最相似的块做为其匹配块，通过最小化下面这个能量公式来判断两个块是否为纹理最相似：

其中T为边界处上选取的块，即待修复的块，M为在样本区域中选取的块；T_x为块T中像素点x的颜色值，M_x为块M中与点x在块T中相对位置相同点的颜色值；

步骤6.3，通过待修复区域周围已存在的纹理信息，在样本区域寻找匹配信息来填充待修复区域；每一次匹配填充都将缩小待修复区域，当待修复区域中所有的点都被填充后，边界修复完成，得到的无阴影图像更自然和真实；

步骤6.4，得到最终软阴影消除结果，结束任务。

Images