CN114445649A - 用多尺度超像素融合检测rgb-d单幅图像阴影的方法 - Google Patents

Abstract

本发明涉及一种图像阴影检测方法，尤其为一种用多尺度超像素融合检测RGB‑D单幅图像阴影的方法，包括融合获得超像素阴影置信度。在阴影数据集上选取若干组数据进行训练，每一组数据包括一幅阴影图像和该图像对应的阴影模板，本发明提出了多尺度超像素融合阴影检测算法，采用全局窗口计算阴影置信度，解决了现有技术中算法检测窗口尺寸难以给出准确估计的问题，阴影检测精度和运算速度均得到大幅度提升。本发明算法对于边缘不清晰的软阴影、复杂场景阴影、大面积阴影以及小块阴影的检测均表现出很好的性能，与相关算法的对比实验体现出综合优势。适合在实时性要求不高的场景下对光线复杂环境图像进行前期预处理。

Description

用多尺度超像素融合检测RGB-D单幅图像阴影的方法

技术领域

本发明涉及一种图像阴影检测方法，尤其是一种用多尺度超像素融合检测RGB-D单幅图像阴影的方法。

背景技术

图像中阴影现象很常见，一般会发生在光线被阻挡时。阴影常常会对目标识别和跟踪，特征匹配，三维重建等视觉任务产生影响。因此在视觉任务之前先对图像进行阴影相关的预处理是十分必要的。当前提出的阴影检测算法大致可以分为交互式检测算法和自动检测算法。文献一Zhang L,Zhang Q,Xiao C.Shadow remover:Image shadow removalbased on illumination recovering optimization[J].IEEE Transactions on ImageProcessing,2015,24(11):4623-4636以及文献二Gryka M,Terry M,Brostow G J.Learning to remove soft shadows[J].ACM Transactions on Graphics(TOG),2015, 34(5):1-15.提出了交互式阴影检测算法，需要用户标记图像中的阴影和非阴影区域，再根据标记并结合其他一些图像的特征得到检测结果。基于交互式方法检测结果往往受到用户主观因素影响，并且在检测较为复杂阴影场景时，交互过程较为繁琐且容易出错。

自动阴影检测算法则不需要人工干预，通过图像内在的特征区分阴影和非阴影。文献三Jung C,Kim W,Kim C.Detecting shadows from a single image[J].Opticsletters, 2011,36(22):4428-4430.提出的阴影检测算法首先利用视网膜理论将原图像分解到反射层，再计算原图像和反射层图像的误差来确定最终的阴影区域。该算法通过生物视觉模型进行检测，模型的参数无法与实际的物理光照相联系，需要依靠经验设定模型，因此检测的结果受到经验值的影响较大，同时检测的结果也受到反射层分解方法的影响。文献四Guo R,Dai Q,Hoiem D.Paired regions for shadow detection and removal[J].IEEE transactions on pattern analysis and machine intelligence,2012,35(12):2956-2967.提出了一种基于区域匹配的阴影检测算法，利用均值漂移算法将图像分割成小区域，并且提出一种假设：两个区域在纹理和色度相同的情况下，亮度较小的为阴影，亮度较大的为非阴影，如果两个区域亮度相同，则应赋予相同的阴影标签。基于这一假设首先将阴影区域和非阴影区域按对分类，获取初始的阴影标签。然后再通过训练出来的分类器划分出阴影区域和非阴影区域。该方法可以识别出边界明显且梯度较大的硬阴影，对于边界不明显的软阴影检测效果较差，容易误检测，甚至会出现检测失败的情况。近些年来，由于深度学习方法的日渐成熟，许多学者也会将深度学习技术引用到阴影检测课题中。文献五Panagopoulos A,Samaras D,Paragios N.Robust shadow and illumination estimationusing a mixture model[C]//2009IEEE Conference on Computer Vision and PatternRecognition.IEEE,2009:651-658.首次将CNN引入阴影检测，他们利用7层 CNN网络从超像素中提取特征，然后将特征反馈到CRF模型中以平滑检测结果。文献七Wang J,Li X,YangJ.Stacked conditional generative adversarial networks for jointly learningshadow detection and shadow removal[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2018:1788-1797.提出了堆叠式条件生成对抗网络(ST-CGAN)来联合学习进行阴影检测。使用深度学习方法的阴影检测算法都需要事先对给定的数据集进行学习，当算法检测到与数据集中情况接近的阴影目标时检测结果较好，反之检测结果较差。

对于阴影检测任务，研究人员一般都只考虑图像的色度，纹理，亮度等信息。其实图像的深度信息也可以为阴影检测任务提供帮助。深度信息可以获取图像的光照方向，场景结构，空间坐标等信息。文献七Xiao Y,Tsougenis E,Tang C K.Shadow removal fromsingle RGB-D images[C]//Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition.2014:3011-3018.提出了一种结合深度信息进行阴影检测的相似阴影置信度算法，该方法首先利用深度相机获取RGB图像以及其对应的深度图，再通过深度图估计目标的法线和空间坐标。利用色度信息，深度信息，空间坐标信息计算每个像素点与其局部邻域的相似度，进而计算出每个像素点的阴影置信度。该方法结合了图像的深度信息，可以检测出复杂环境中的阴影，并且使用阴影置信度可以很好地将边缘不明显的软阴影检测出来。然而，该算法的效果受检测窗口尺寸影响，如果窗口较小，会导致阴影检测结果不完整，窗口过大，会导致运算量急剧增大，合适的窗口尺寸难以给出准确估计。针对文献七Xiao Y,Tsougenis E,Tang C K.Shadow removal from single RGB-D images[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2014:3011-3018.中算法存在运算速度较慢，检测效果受到窗口尺寸限制的缺点，本发明提出了一种基于多尺度超像素融合的阴影检测算法。

发明内容

本发明的一个目的是通过提出一种用多尺度超像素融合检测RGB-D单幅图像阴影的方法，首先对RGB图像进行多尺度的超像素分割，同时利用深度图计算目标的法线和三维空间信息。然后在不同尺度的超像素分割图上进行全局域的阴影置信度计算，最后通过Adaboost训练得到的分类器将不同尺度的阴影置信度融合得到最终的阴影检测结果，算法流程图如图1所示，以解决上述背景技术中提出的缺陷。

本发明采用的技术方案如下：包括：

融合获得超像素阴影置信度。

在阴影数据集上选取若干组数据进行训练，每一组数据包括一幅阴影图像和该图像对应的阴影模板。

作为本发明的一种优选技术方案：所述融合获得超像素阴影置信度的计算方法为：

其中H_j(x)表示的各个尺度的阴影判决结果，{j|j＝1，2，3，4，5}，b_j是每个尺度所对应的权重。

作为本发明的一种优选技术方案：所述在阴影数据集上选取若干组数据进行训练为使用Adaboost方法在阴影数据集上选取100组数据进行训练。

作为本发明的一种优选技术方案：所述在阴影数据集上选取若干组数据进行训练还包括将每个样本表示为(x_i，y_i)(i＝1，2，…，N)，其中x_i表示图像的一个像素点，y_i表示该像素点的阴影标签，y_i∈{0，1}其中1表示阴影0表示非阴影。N表示样本的数量，假定每幅图像有460×680个像素点，则N＝460×680×100；对每一幅训练的阴影图像计算阴影置信度，并通过二值化得到弱分类器：{H₁(x_i)，H₂(x_i)，H₃(x_i)，H₄(x_i)，H₅(x_i)}(i＝1，2，…，N)。

作为本发明的一种优选技术方案：所述Adaboost方法的算法框架为：

S1：输入训练数据(x_i，y_i)(i＝1，2，…，N)，弱分类器为 {H₁(x_i)，H₂(x_i)，H₃(x_i)，H₄(x_i)，H₅(x_i)}(i＝1，2，…，N)；

S2：初始阶段每个样本赋予相同的权值

得到初始样本权重分布

S3：进行迭代for_t＝1：5；

S4：得到每个弱分类器对应的权重 {(a₁，H₁(x))，(a₂，H₂(x))，(a₃，H₃(x))，(a₄，H₄(x))，(a₅，H₅(x))}；

S5：对权值进行归一化

最终得到每个尺度弱分类器对应的权重{(b₁，H₁(x))，(b₂，H₂(x))，(b₃，H₃(x))，(b₄，H₄(x))，(b₅，H₅(x))}。

作为本发明的一种优选技术方案：所述进行迭代for_t＝1：5具体包括：

S3.1：对每一个输入的弱分类器H_i(x_i)使用

计算它们的误差率e_j(j|j＝1，2，3，4，5)；

S3.2：选择误差率最小的弱分类器H_min，将其误差率记为e_min；

S3.3：e_min代入

计算当前弱分类器权值a_min并输出该分类器与其对应的权值(a_min，H_min(x))；

S3.4：更新数据权重：当H_min(x_i)≠y_i，分类器分类出错时

当 H_min(x_i)＝y_i，即分器分类正确时

本发明提出了多尺度超像素融合阴影检测算法，采用全局窗口计算阴影置信度，解决了现有技术中算法检测窗口尺寸难以给出准确估计的问题，阴影检测精度和运算速度均得到大幅度提升。本发明算法对于边缘不清晰的软阴影、复杂场景阴影、大面积阴影以及小块阴影的检测均表现出很好的性能，与相关算法的对比实验体现出综合优势。适合在实时性要求不高的场景下对光线复杂环境图像进行前期预处理。

附图说明

图1为本发明优选实施例的整体流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明优选实施例提供了一种基于多尺度超像素融合的RGB-D单幅图像阴影检测算，

其中，超像素分割的尺度大小及尺度个数的可选择性很多，不同的选择直接影响到检测结果。为此，本实施例中提出了如下超像素尺度选取策略。

超像素的最小分割尺度确定为7×7。本实施例中同时测试了3×3、5×5、7×7、9×9四种尺度，9×9尺度的最终检测结果的精确度较低，3×3、5×5、7×7三种尺度的检测精确度接近，但是3×3、5×5两种尺度所消耗时间远远大于7×7。因此，最终选定7×7 为最小分割尺度。尺度间呈倍数关系，如7×7、14×14、28×28。

尺度个数确定为5个。本实施例中综合考虑了检测精度和运算速度约束，经大量实验验证，最终发现5个分割尺度(7×7、14×14、28×28、56×56、112×112)检测效果最好。

在融合阶段，本实施例中考虑使用式(1)融合获得的超像素阴影置信度，其中H_j(x)表示的各个尺度的阴影判决结果，{j|j＝1，2，3，4，5}，b_j是每个尺度所对应的权重。该式通过加权和的方式融合各个尺度的阴影置信度。

本发明的阴影检测问题可以看作分类问题，本实施例中采用Adaboost算法确定权重， Adaboost是一种重要的集成学习技术，能够将分类精度较差的弱分类器增强为分类精度较优的强分类器。每个尺度超像素阴影判决结果都可以看作弱分类器H_j(x)，最终融合得到的阴影检测结果可以看作强分类器。Adaboost的核心部分是数据权值的更新和弱分类器权值的计算。弱分类器的分类效果影响着数据权值，而数据权值又决定着弱分类器的权值，经过迭代计算使分类精度较大的弱分类器具有较高的权值，而分类精度较小的分类器具有较小的权值。

在训练阶段，本实施例中使用Adaboost方法在阴影数据集上选取100组数据进行训练，每一组数据包括一幅阴影图像和该图像对应的阴影模板，本实施例中将每个样本表示为(x_i，y_i)(i＝1，2，…，N)，其中x_i表示图像的一个像素点，y_i表示该像素点的阴影标签(由阴影模板得到)，y_i∈{0，1}其中1表示阴影0表示非阴影。N表示样本的数量，假定每幅图像有460×680个像素点，则N＝460×680×100。对每一幅训练的阴影图像通过前面提出的方法计算阴影置信度，并通过二值化得到弱分类器：{H₁(x_i)，H₂(x_i)，H₃(x_i)，H₄(x_i)，H₅(x_i)}(i＝1，2，…，N)。

接下来给出Adaboost算法框架：

①输入训练数据(x_i，y_i)(i＝1，2，…，N)，弱分类器为 {H₁(x_i)，H₂(x_i)，H₃(x_i)，H₄(x_i)，H₅(x_i)}(i＝1，2，…，N)；

②初始阶段每个样本赋予相同的权值

得到初始样本权重分布

③进行迭代for_t＝1：5；

a.对每一个输入的弱分类器H_i(x_i)使用

计算它们的误差率e_j(j|j＝1，2，3，4，5)(式中的误差率表达的是被弱分类器误分类的训练数据权值之和)

b.选择误差率最小的弱分类器H_min，将其误差率记为e_min。

c.e_min代入

计算当前弱分类器权值a_min并输出该分类器与其对应的权值(a_min，H_min(x))。

d.更新数据权重：当H_min(x_i)≠y_i分类器分类出错时

当H_min(x_i)＝y_i即分器分类正确时

④得到每个弱分类器对应的权重 {(a₁，H₁(x))，(a₂，H₂(x))，(a₃，H₃(x))，(a₄，H₄(x))，(a₅，H₅(x))}。

⑤对权值进行归一化

最终得到每个尺度弱分类器对应的权重{(b₁，H₁(x))，(b₂，H₂(x))，(b₃，H₃(x))，(b₄，H₄(x))，(b₅，H₅(x))}。

为了考察本发明算法的性能，客观评价阴影检测算法的效果，发明人在SBU数据集和 ISTD数据集上针对检测精确度和运行速度两方面进行量化对比。

检测精确度方面定义了accuracy(准确率)和BER(平衡出错率)^[17]两项评价指标，分别见(2)、(3)式。其中，TP是估计正确阴影像素点的个数，TN是估计正确的非阴影像素点的个数，NP和NN分别是实际阴影像素点个数和实际非阴影像素点个数。accuracy用于衡量阴影检测准确率，accuracy越大说明阴影检测的结果越准确。BER是用于衡量阴影检测出错率，BER越小则表明阴影检测算法的出错率越低。

将本实施例算法结果与文献四、七、七结果进行比较，得到表1的数据。可以看出在两个数据集中本实施例算法的精确度和错误率略优于文献四和文献七，明显优于算法七。

表1检测精确度和错误率的对比

运行时间对比实验中，发明人从数据集随机抽取了8种尺寸的图像各10幅，计算平均运行时间。实验环境为：CPU主频2.40HZ，内存8GB，操作系统Win10 64位。四种算法的运行时间对比如表2所示。文献七算法在检测时间上优势明显，但检测精度不够理想。本实施例算法是基于文献七的改进融合算法，采用超像素的方式使得检测时间大幅度减少，大约为原算法的10％，与文献四算法检测时间大体相当。

表2运行时间对比(单位：秒)

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种用多尺度超像素融合检测RGB-D单幅图像阴影的方法，其特征在于，包括：

融合获得超像素阴影置信度；

在阴影数据集上选取若干组数据进行训练，每一组数据包括一幅阴影图像和该图像对应的阴影模板。

2.根据权利要求1所述的用多尺度超像素融合检测RGB-D单幅图像阴影的方法，其特征在于：所述融合获得超像素阴影置信度的计算方法为：

其中H_j(x)表示的各个尺度的阴影判决结果，{j|j＝1，2，3，4，5}，b_j是每个尺度所对应的权重。

3.根据权利要求1所述的用多尺度超像素融合检测RGB-D单幅图像阴影的方法，其特征在于：所述在阴影数据集上选取若干组数据进行训练为使用Adaboost方法在阴影数据集上选取100组数据进行训练。

4.根据权利要求3所述的用多尺度超像素融合检测RGB-D单幅图像阴影的方法，其特征在于：所述在阴影数据集上选取若干组数据进行训练还包括将每个样本表示为(x_i，y_i)(i＝1，2，…，N)，其中x_i表示图像的一个像素点，y_i表示该像素点的阴影标签，y_i∈{0，1}其中1表示阴影0表示非阴影。N表示样本的数量，假定每幅图像有460×680个像素点，则N＝460×680×100；对每一幅训练的阴影图像计算阴影置信度，并通过二值化得到弱分类器：{H₁(x_i)，H₂(x_i)，H₃(x_i)，H₄(x_i)，H₅(x_i)}(i＝1，2，…，N)。

5.根据权利要求4所述的用多尺度超像素融合检测RGB-D单幅图像阴影的方法，其特征在于：所述Adaboost方法的算法框架为：

S1：输入训练数据(x_i，y_i)(i＝1，2，…，N)，弱分类器为{H₁(x_i)，H₂(x_i)，H₃(x_i)，H₄(x_i)，H₅(x_i)}(i＝1，2，…，N)；

S2：初始阶段每个样本赋予相同的权值

得到初始样本权重分布

(i＝1，2，…，N)；

S3：进行迭代for_t＝1∶5；

S4：得到每个弱分类器对应的权重

{(a₁，H₁(x))，(a₂，H₂(x))，(a₃，H₃(x))，(a₄，H₄(x))，(a₅，H₅(x))}；

S5：对权值进行归一化

最终得到每个尺度弱分类器对应的权重{(b₁，H₁(x))，(b₂，H₂(x))，(b₃，H₃(x))，(b₄，H₄(x))，(b₅，H₅(x))}。

6.根据权利要求5所述的用多尺度超像素融合检测RGB-D单幅图像阴影的方法，其特征在于：所述进行迭代for_t＝1∶5具体包括：

S3.1：对每一个输入的弱分类器H_i(x_i)使用

计算它们的误差率e_j(j|j＝1，2，3，4，5)；

S3.2：选择误差率最小的弱分类器H_min，将其误差率记为e_min；

S3.3：e_min代入

计算当前弱分类器权值a_min并输出该分类器与其对应的权值(a_min，H_min(x))；

S3.4：更新数据权重：当H_min(x_i)≠y_i，分类器分类出错时

当H_min(x_i)＝y_i，即分器分类正确时

Images