CN107766810B - 一种云、影检测方法 - Google Patents

Abstract

本发明提出了一种云、影检测方法，首先对影像进行采样，获得五层影像金字塔，然后对获取的每层影像金字塔计算显著图。接着对每层的显著图进行采样，计算其显著性值，最终选取显著性值最大的五个显著性区域来构建云、影选区，有效的降低了数据冗余并且减弱了其他无关目标影响，值最大的前五个显著性区域被假定包含云、影，用来构建云、影的可能性选区。最后利用滑动窗口在构建的可能性区域内获取可能是云、影样本块，将样本块输入到预训练好的分类器中进行分类。本发明采用显著性检测指导采样，可以快速高效获取影像上云、影的位置，并且可以快速获取高分影像上有意义的影像块，减少滑动窗口检测的范围，节省了检测时间，提高了检测效率。

Description

一种云、影检测方法

技术领域

本发明涉及影像处理领域，特别涉及一种云、影检测方法。

背景技术

近些年，随着航空、航天遥感技术的不断进步，遥感影像的分辨率达到亚米级别。高分影像不仅具有丰富的空间、纹理等复杂特征，由于影像自身的差异和变化(例如光照、物体的形状、大小、位置等)使得同一类别的对象不一致，不同类别之间还具有视觉相似性，这给影像识别带来了困难。复杂多变的光谱特征以及难以有效表达的空间形态特征，使云和阴影一直存在检测过程复杂、适用性差和精度不高的问题，难以形成稳定有效的检测方法。

现有云、影检测方法主要有以下几种：

(1)人工目视解译

人们对地表的土地利用存在一种先验知识，在遥感图像寻找对应关系。然后，根据遥感图像的影像特征推论地表物体的属性。这一过程就称之为遥感图像的解译，也叫遥感图像的判读。人工解译，也是目前国内使用最多的一种影像提取方法，如土地调查、地质调查等。人工目视解译非常灵活，但是却也有极大的局限性：人工投入大、结果不确定性高、生产周期长、费用高、精度控制比较困难、对解译人员的解译经验要求高等缺点的存在，使得目视解译技术不适合在大规模的高分辨率遥感数据处理应用中。

(2)面向对象法

面向对象方法是近年来在遥感解译领域较广泛应用的方法，其可充分利用对象的色调、形状、纹理、层次等相关特征，并通过利用多尺度信息，实现多尺度的影像分割。该方法将其厚云、薄云及云影认定为不同类对象，以此实现不同类型云和阴影的检测。根据影像特点及覆盖区状况，定义植被、水体、不透水面、厚云、薄云、云影和其他阴影等类别，利用ENVI FX特征提取模块，实现影像云和阴影的提取。在我国南方地区，地貌以山地、丘陵为主，故影像上存在极为明显的明暗层次差异，某些阴影面(如山体阴影)极容易与云影混淆，不易区分，面向对象法可以实现二者的部分识别。

(3)多特征协同检测法

在对厚云、薄云、冰雪及其他地类多光谱特性分析的基础上，用多特征协同方法检测云和阴影。首先，对冰雪、云及其他地物类型可分性较好的红、短波红外、热红外波段，利用光谱角填图法匹配云光谱特征曲线，并进一步结合短波红外波段像元绝对值区分云与冰雪，以及热红外波段像元绝对值区分云及其他地物类型；其次，通过组合云影定向移动模型与近红外波段亮度阈值检测出云影像元。该方法需要用热红外波段多光谱曲线、“诊断性”波段及空间关系多特征耦合，能有效地检测出影像中的薄云、厚云及云影。

综上所述，目前大批量高分影像云、阴影识别的工作仍然主要依靠人工目视解译，面向对象法和多特征协同检测法均采用云、影的中低层次特征，不能更好的表达云、影信息。因此，提供一种能自动检测云、影，提高云、影识别效率和准确度的云、影检测方法是本领域技术人员亟需解决的问题。

发明内容

本发明要解决的技术问题是：提供一种云、影检测方法，其能自动检测云、影，提高云、影识别效率和准确度。

本发明的解决方案是这样实现的：一种云、影检测方法，包括以下步骤：

S1、建立检测样本库，首先对样本图像进行人工标注，将云、影区域标注出来，然后从云、影区域选取若干个大小为K×K的子块作为正样本，从非云区选取若干个大小为K×K的子块作为负样本；

S2、生成卷积神经网络分类模型，建立一个卷积神经网络，网络的输入是大小为K×K的RGB三通道高分影像子块，网络输出是两个数值，分别表示是云、影的概率和非云、影的概率；将步骤S1中选取的所有样本作为该卷积神经网络的输入，对该网络进行训练，得到网络所需的所有参数；

S3、采用显著性检测提取显著区域；

对样本图像进行采样，获得五层影像金字塔，然后对获取的每层影像金字塔计算显著图；接着对每层的显著图进行采样，计算其显著性值，最终选取显著性值最大的五个显著性区域来构建云、影选区；具体地，首先对影像进行显著性检测，定义

是利用显著性检测方法获取

得每个像素值p的显著性，并定义了在s尺度下窗口ω的显著性值，表达式如下：

其中，

是特定尺度阈值，通过在每个尺度s上对训练样本О的定位精度进行优化获得，其中o为训练集O中的个体，对于每个训练影像I和尺度s，计算显著性图

和每个窗口的显著性得分，最终选取显著性得分最大的五个显著性区域来构建云、影选区；

S4、云、影区域检测，利用滑动窗口在构建的建云、影选区内获取可能是云、影样本块，并将云、影样本块输入步骤S2中训练好的卷积神经网络分类模型中，判别云、影样本块是否为云、影，实现对云、影的识别。

本发明的另一技术方案在于在上述基础之上，在所述步骤S4之后，还包括步骤S5，输出结果，将步骤S4检测的结果进行标记，获取云、影位置，并在图像中显示，输出最终结果。

本发明的另一技术方案在于在上述基础之上，在步骤S2中的卷积神经网络包括卷积层、特征映射层和特征池化层，其中，卷积层用于提取局部区域的特征，特征映射层对过滤层结果利用非线性函数进行映射得到特征图，特征池化层用于避免特征过拟合，降低特征维度。

本发明的另一技术方案在于在上述基础之上，在步骤S2中的卷积神经网络包括多个卷积层、特征映射层、池化层和2个全连接层。

本发明的另一技术方案在于在上述基础之上，所述步骤S2具体为：

S21、假设输入影像I是一个大小为γ×c的二维矩阵，用一个尺寸为ω×ω的可训练过滤器组K对其进行卷积运算，l步长为l，得到大小为((γ-ω)/s+1)×((c-ω)/s+1)的输出Y：

y_i＝b_i+∑_ik_ij*x_i

上式中，k_ij表示卷积核参数，x_i表示卷积层的输入，b_i表示偏差值；*表示卷积运算；

S22、特征映射层对过滤层结果利用非线性函数进行映射得到特征图F。

本发明的另一技术方案在于在上述基础之上，所述激活函数为tanh、sigmoid或softplus。

本发明的另一技术方案在于在上述基础之上，所述非线性函数为：

f_l＝δ(b_i+∑_ik_ii×x_i)

上式中，δ是激活函数。

本发明的另一技术方案在于在上述基础之上，所述步骤S22之后，还包括步骤S23，对卷积特征进行池化操作，

其中，F为卷积特征图，将其分成为大小m×m的不相交区域，通过统计这些区域的最大值或平均值，获得的池化特征P是，池化特征P大小为：((γ-ω)/s+1)×((c-ω)/s+1)。

本发明的另一技术方案在于在上述基础之上，所述步骤S3还包括，在4分维数(D)空间进行非最大抑制运算获得一组局部最大值窗口

通过最大化获取最优

其中，

本发明的另一技术方案在于在上述基础之上，在所述步骤S2之前，先进行所述步骤S3。

从以上技术方案可以看出，本发明所述的云、影检测方法，利用卷积神经网络获取云、影特征，对云、影进行分类检测，同时利用显著性检测提取显著区域，获取一副图像中的云、影可能存在位置，排除一些没有云、影的区域，减少计算量。所述云、影检测方法，首先对影像进行采样，获得五层影像金字塔，然后对获取的每层影像金字塔计算显著图。接着对每层的显著图进行采样，计算其显著性值，最终选取显著性值最大的五个显著性区域来构建云、影选区，有效的降低了数据冗余并且减弱了其他无关目标影响，值最大的前五个显著性区域被假定包含云、影，用来构建云、影的可能性选区。最后利用滑动窗口在构建的可能性区域内获取可能是云、影样本块，将样本块输入到预训练好的分类器中进行分类。本发明采用显著性检测指导采样，可以快速高效获取影像上云、影的位置，并且可以快速获取高分影像上有意义的影像块，减少滑动窗口检测的范围，节省了检测时间，提高了检测效率。同时，由于高分影像与普通的自然图像差异极大，空间光谱变化较大，中低层次的特征提取效果不佳，本发明采用卷积神经网络进行分类，对输入数据逐级提取从底层到高层的特征，可以很好地建立从底层信号到高层语义的映射关系的效果，提高了云、影的识别准确率，节省了检测时间。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明一种实施方式的云、影检测方法的流程图；

图2为本发明一种实施方式的云、影检测方法中的卷积神经网络的结构图。

具体实施方式

下面结合附图对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。此外，本领域技术人员根据本文件的描述，可以对本文件中实施例中以及不同实施例中的特征进行相应组合。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例如下，如图1所示，一种云、影检测方法，包括以下步骤：

S1、建立检测样本库，首先对样本图像进行人工标注，将云、影区域标注出来，然后从云、影区域选取若干个大小为K×K的子块作为正样本，从非云区选取若干个大小为K×K的子块作为负样本；

S2、生成卷积神经网络分类模型，建立一个卷积神经网络，网络的输入是大小为K×K的RGB三通道高分影像子块，网络输出是两个数值，分别表示是云、影的概率和非云、影的概率；将步骤S1中选取的所有样本作为该卷积神经网络的输入，对该网络进行训练，得到网络所需的所有参数；

S3、采用显著性检测提取显著区域；

对样本图像进行采样，获得五层影像金字塔，然后对获取的每层影像金字塔计算显著图；接着对每层的显著图进行采样，计算其显著性值，最终选取显著性值最大的五个显著性区域来构建云、影选区；具体地，首先对影像进行显著性检测，定义

是利用显著性检测方法获取

得每个像素值p的显著性，并定义了在s尺度下窗口ω的显著性值，表达式如下：

其中，

是特定尺度阈值，通过在每个尺度s上对训练样本О的定位精度进行优化获得，其中o为训练集O中的个体，对于每个训练影像I和尺度s，计算显著性图

和每个窗口的显著性得分，最终选取显著性得分最大的五个显著性区域来构建云、影选区；

S4、云、影区域检测，利用滑动窗口在构建的建云、影选区内获取可能是云、影样本块，并将云、影样本块输入步骤S2中训练好的卷积神经网络分类模型中，判别云、影样本块是否为云、影，实现对云、影的识别。

其中，联合显著性和多层卷积神经网络的分类算法通过显著性采样，可以获取能够表达影像信息的有意义的关键目标，减弱其他无关或次要目标的影响，降低数据冗余；卷积神经网络具有权值共享，结构简单、训练参数少及适应性强等特点，能够逐层学习，获取高层次的特征，更好地表达云、影信息。而通过多尺度显著性采样获取有意义的影像块，减少多余检测，提高了检测效率。影像分类用于获取场景中有意义的目标，然而由于高分影像的复杂性很难获得理想的分类结果。显著性检测是在大量信息中选择感兴趣区域的过程，这些感兴趣的区域通常包含了影像中的绝大部分信息，因此能够很好地表达影像。多尺度显著性检测方法可以用来指导采样。

另外，云、影检测的关键在于特征提取，特征选取的好坏决定了最终的分类结果。人工设计有效的低层次特征需要大量先验知识，十分困难。随着深度学习的深入，卷积神经网络通过输入数据逐级提取从底层到高层的特征，可以很好地建立从底层信号到高层语义的映射关系，从而获得云、影的高层次特征，能够更好地表达云、影。

卷积神经网络(convolutional neural network,CNN)，是一种处理具有类似网格结构的数据的神经网络，主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征提取，而隐式地从训练数据中进行学习；由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。

特征提取是对影像信息进行抽象，得到一组可以描述影像的特征向量，特征选取的好坏决定了最终的分类结果。对于新的数据和任务，一般人工目视解译可以获得较好的分类结果，但工作量大，效率低，具有主观性强和非定量等缺陷。随着深度学习的深入，通过输入数据逐级提取从底层到高层的特征，可以很好地建立从底层信号到高层语义的映射关系，从而获得云、影的高层次特征。

卷积神经网络避免了显式的特征取样，隐式地从训练数据中进行学习，这使得卷积神经网络明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器，能够直接用于处理基于图像的分类。

其在图像处理方面有如下优点：输入图像和网络的拓扑结构能很好的吻合；特征提取和模式分类同时进行，并同时在训练中产生；权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。

在上述实施例的基础上，本发明另一实施例中，在所述步骤S4之后，还包括步骤S5，输出结果，将步骤S4检测的结果进行标记，获取云、影位置，并在图像中显示，输出最终结果。

在上述实施例的基础上，本发明另一实施例中，在步骤S2中的卷积神经网络包括卷积层、特征映射层和特征池化层，其中，卷积层用于提取局部区域的特征，特征映射层对过滤层结果利用非线性函数进行映射得到特征图，特征池化层用于避免特征过拟合，降低特征维度。通过堆积多个基本网络结构可以形成一个深度卷积网络。如图2所示，展示了卷积神经网络的典型结构，其中conv1和conv2是经过卷积操作后得到的特征映射图，pool1和pool2分别是对卷积层conv1和conv2进行最大值池化操作后得到的池化层，多级卷积层和下采样层级连到一个或多个全连接层，全连接层的输出就是最终输出结果。

在上述实施例的基础上，本发明另一实施例中，在步骤S2中的卷积神经网络包括多个卷积层、特征映射层、池化层和2个全连接层。

在上述实施例的基础上，本发明另一实施例中，所述步骤S2具体为：

S21、卷积层的作用是提取局部区域的特征。假设输入影像I是一个大小为γ×c的二维矩阵，用一个尺寸为ω×ω的可训练过滤器组K对其进行卷积运算，l步长为l，得到大小为((γ-ω)/s+1)×((c-ω)/s+1)的输出Y：

y_i＝b_i+∑_ik_ij*x_i

上式中，k_ij表示卷积核参数，x_i表示卷积层的输入，b_i表示偏差值；*表示卷积运算；

S22、特征映射层对过滤层结果利用非线性函数进行映射得到特征图F。

在上述实施例的基础上，本发明另一实施例中，所述非线性函数为：

f_l＝δ(b_i+∑_ik_ii×x_i)

上式中，δ是激活函数。

在上述实施例的基础上，本发明另一实施例中，所述激活函数为tanh、sigmoid或softplus。理论上可以通过卷积获得特征以后直接训练分类器，但为了避免过拟合(overfitting)，需要对卷积特征进行池化操作，即下采样。F为卷积特征图，将其分成为大小m×m的不相交区域，池化特征P是通过统计这些区域的最大值(或平均值)获得的，大小为{((γ-w)/l+1)/m}×{((c-w)/l+1)/m}。池化后大大降低了特征维度，具备抗差性，避免了过拟合。

因此，卷积神经网络是一种监督学习模型，需要一定的标记样本来训练，训练过程与传统的神经网络算法相似。首先用样本数据训练卷积神经网络，之后将滑动窗口获取的样本块送入训练好的卷积神经网络，结合支持向量机分类器进行分类，并对结果进行标记，实现云、影快速检测。

在上述实施例的基础上，本发明另一实施例中，所述步骤S3还包括，在4分维数(D)空间进行非最大抑制运算获得一组局部最大值窗口

通过最大化获取最优

其中，

在上述实施例的基础上，本发明另一实施例中，在所述步骤S2之前，先进行所述步骤S3。

从以上技术方案可以看出，本发明所述的云、影检测方法，利用卷积神经网络获取云、影特征，对云、影进行分类检测，同时利用显著性检测提取显著区域，获取一副图像中的云、影可能存在位置，排除一些没有云、影的区域，减少计算量。所述云、影检测方法，首先对影像进行采样，获得五层影像金字塔，然后对获取的每层影像金字塔计算显著图。接着对每层的显著图进行采样，计算其显著性值，最终选取显著性值最大的五个显著性区域来构建云、影选区，有效的降低了数据冗余并且减弱了其他无关目标影响，值最大的前五个显著性区域被假定包含云、影，用来构建云、影的可能性选区。最后利用滑动窗口在构建的可能性区域内获取可能是云、影样本块，将样本块输入到预训练好的分类器中进行分类。本发明采用显著性检测指导采样，可以快速高效获取影像上云、影的位置，并且可以快速获取高分影像上有意义的影像块，减少滑动窗口检测的范围，节省了检测时间，提高了检测效率。同时，由于高分影像与普通的自然图像差异极大，空间光谱变化较大，中低层次的特征提取效果不佳，本发明采用卷积神经网络进行分类，对输入数据逐级提取从底层到高层的特征，可以很好地建立从底层信号到高层语义的映射关系的效果，提高了云、影的识别准确率，节省了检测时间。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种云、影检测方法，其特征在于，包括以下步骤：

S1、建立检测样本库，首先对样本图像进行人工标注，将云、影区域标注出来，然后从云、影区域选取若干个大小为K×K的子块作为正样本，从非云区选取若干个大小为K×K的子块作为负样本；

S2、生成卷积神经网络分类模型，建立一个卷积神经网络，网络的输入是大小为K×K的RGB三通道高分影像子块，网络输出是两个数值，分别表示是云、影的概率和非云、影的概率；将步骤S1中选取的所有样本作为该卷积神经网络的输入，对该网络进行训练，得到网络所需的所有参数；

S3、采用显著性检测提取显著区域；

对样本图像进行采样，获得五层影像金字塔，然后对获取的每层影像金字塔计算显著图；接着对每层的显著图进行采样，计算其显著性值，最终选取显著性值最大的五个显著性区域来构建云、影选区；具体地，首先对影像进行显著性检测，定义

是利用显著性检测方法获取

得每个像素值p的显著性，并定义了在s尺度下窗口ω的显著性值，表达式如下：

其中，

是特定尺度阈值，通过在每个尺度s上对训练样本О的定位精度进行优化获得，其中o为训练集O中的个体，对于每个训练影像I和尺度s，计算显著性图

和每个窗口的显著性得分，最终选取显著性得分最大的五个显著性区域来构建云、影选区；

还包括在4分维数(D)空间进行非最大抑制运算获得一组局部最大值窗口

通过最大化获取最优

其中，

S4、云、影区域检测，利用滑动窗口在构建的建云、影选区内获取可能是云、影样本块，并将云、影样本块输入步骤S2中训练好的卷积神经网络分类模型中，判别云、影样本块是否为云、影，实现对云、影的识别。

2.根据权利要求1所述的云、影检测方法，其特征在于，在所述步骤S4之后，还包括步骤S5，输出结果，将步骤S4检测的结果进行标记，获取云、影位置，并在图像中显示，输出最终结果。

3.根据权利要求1所述的云、影检测方法，其特征在于，在步骤S2中的卷积神经网络包括卷积层、特征映射层和特征池化层，其中，卷积层用于提取局部区域的特征，特征映射层对过滤层结果利用非线性函数进行映射得到特征图，特征池化层用于避免特征过拟合，降低特征维度。

4.根据权利要求2所述的云、影检测方法，其特征在于，在步骤S2中的卷积神经网络包括多个卷积层、特征映射层、池化层和2个全连接层。

5.根据权利要求3或4所述的云、影检测方法，其特征在于，所述步骤S2具体为：

S21、假设输入影像I是一个大小为γ×c的二维矩阵，用一个尺寸为ω×ω的可训练过滤器组K对其进行卷积运算，l步长为l，得到大小为((γ-ω)/s+1)×((c-ω)/s+1)的输出Y：

y_i＝b_i+∑_ik_ij*x_i

上式中，k_ij表示卷积核参数，x_i表示卷积层的输入，b_i表示偏差值；*表示卷积运算；

S22、特征映射层对过滤层结果利用非线性函数进行映射得到特征图F。

6.根据权利要求5所述的云、影检测方法，其特征在于，所述非线性函数为：

f_l＝δ(b_i+∑_ik_ii×x_i)

上式中，δ是激活函数。

7.根据权利要求6所述的云、影检测方法，其特征在于，所述激活函数为tanh、sigmoid或softplus。

8.根据权利要求1所述的云、影检测方法，其特征在于，在所述步骤S2之前，先进行所述步骤S3。

Images