CN108154107A - 一种确定遥感图像归属的场景类别的方法 - Google Patents

Abstract

本发明涉及遥感图像处理，图像编码，机器学习，图像场景分类等领域，提出一种基于高斯核密度估计显著性预处理和局部约束线性编码来确定遥感图像归属的场景类别的方法。随着卫星遥感图像和航空遥感图片分辨率的不断提高，遥感图像中可获得更多的有用的数据和信息；同时，由于不同场合遥感图像的应用对遥感图像处理提出了不同的要求，所以图像处理中重要的环节，即如何确定遥感图像归属的场景分类也就显得尤为重要。本发明方法通过使用高斯核密度估计对原始图像进行显著性检测的预处理，并引入局部约束线性编码来表示图像，最终使用支持向量机进行图像分类，结合了显著性检测的成果与图像处理的编码方法，改进了遥感图像分类的性能。

Description

一种确定遥感图像归属的场景类别的方法

技术领域

本发明涉及卫星遥感影像处理，图像数据编码，机器学习，图像场景分类等领域，提出一种基于高斯核密度估计显著性预处理和局部约束线性编码来确定遥感图像归属的场景类别的方法，属于计算机应用技术领域。

背景技术

遥感影像(Remote Sensing Image)是指通过地磁波观测记录各种地物的胶片或照片，主要分为航空像片和卫星相片。随着卫星遥感图像和航空遥感图片分辨率的不断提高，遥感图像中可获得更多的有用的数据和信息。伴随着“数字地球”概念的提出，越来越多的民用场合需要用到遥感图像，包括资源调查，自然灾害观测、大气气象预报等。由于不同场合遥感图像的应用对遥感图像处理提出了不同的要求，所以图像处理中重要的环节——图像场景分类也就显得尤为重要。

为了实现对遥感图像场景进行高精度、自动化分类，近些年来已有很多图像处理方法提出。特征袋(Bag of features，BoF)方法就是一种经典的图像处理算法，其将图像类比文档，通过将不同的局部特性视作视觉词汇，将一幅图像变为由各个局部特征组合成的特征集合，所有的视觉词汇形成视觉词典。通过统计每幅图像中是否出现/出现几次各个视觉词汇，就可以以直方图的形式描述一幅图像。这种特征袋方法可以有效地应对特征在图像中的位置移动问题，在图像分类任务中表现了不错的性能，然而，由于将图像转为特征集合，BoF方法丢弃了特征的位置——也就是特征的空间布局的信息，因此其无法完成对形状的捕捉或者物体的定位。

基于BoF延伸扩展出来的算法有很多，其中最成功的是空间金字塔匹配法(Spatial Pyramid Matching)。其主要原理是将图像分块，每块分别应用BoF方法，从而达到保留特征的空间信息的目的。而具体的分块方式则是在多个层级上进行不同粒度的划分，构建金字塔式的逐级划分。传统SPM方法在图像分类的表现有了很大提高，但是这种算法要求使用非线性分类器才能达到比较好的分类效果，在实际应用时仍有不便。

为了能够进一步提升SPM算法的性能，一种简单而有效的方法是引入一种局部约束线性编码(Locality-constrained linear coding，LLC)。LLC是图像分类特征提取方法的一种编码方法，通过使用邻近点来重构编码，不仅体现了局部性信息，还保证了编码的稀疏性，不仅重构误差小，而且存在解析解，使得运算速度更快。

尽管使用LLC方法后图像分类性能有了很大提高，但是心理和生物学的研究成果表明，人类及灵长类动物的视觉系统存在一种注意力机制，使得他们视觉能够关注到视野中的特定区域、物体，而目前的LLC方法并没有体现这种机制。因此，本技术试图将这种注意力机制的一个研究领域——视觉显著性检测——结合进LLC方法，来进一步提高遥感图像场景分类算法的分类性能。

视觉显著性检测是上世纪90年代末进入计算机视觉领域的课题。简单来说，视觉显著性检测是指在图像中选择部分“重要”的区域来进行注意的操作。核密度估计(Kerneldensity estimation，KDE)是一类典型的显著性检测算法，通过对像素构建概率密度模型来检测显著性区域。通过使用不同的概率密度函数来进行估计就实现了不同的KDE方法，本文采用高斯核函数完成密度估计，实现遥感图像的显著性检测。

发明内容

为了进一步提高遥感图像的分类准确度，同时克服现有算法的不足和局限，提出了一种新的基于高斯核密度估计显著性预处理和局部约束线性编码来确定遥感图像归属的场景类别的方法，通过使用高斯核密度估计计算显著性来对图像进行显著性检测的预处理，并引入局部约束线性编码来表示图像，最终使用支持向量机进行图像分类，结合了显著性检测的成果与图像处理的编码方法，改进了遥感图像分类的性能。

本发明提供的确定遥感图像归属的场景类别的方法，包括如下步骤：

步骤(1)、对每一张遥感图像的原始图像，使用高斯核密度估计方法分析图像的显著性，得到遥感图像的显著图。

步骤(2)、引进比例系数将显著图与原始图像叠加，得到预处理好的图像，所述预处理好的图像能够用于提取特征以及用于编码。比例系数是预设的，一般是通过经验确定的，比例系数的取值范围为(0，1)。采用引进比例系数的方法实现显著图与原始遥感图像的叠加，该步骤的作用在于进一步突出遥感图像中的核心场景，同时又避免由于引入太多遥感图像的细节，导致图像在后期训练分类器时造成过拟合。

步骤(3)、对预处理好的图像通过尺度不变特征变换SIFT进行特征提取，将预处理好的图像转化为由特征描述的格式，得到由特征表示的图像。特征提取是从原始图像提取出局部特征的过程，用以进行后续的图像分类的处理，是图像处理任务中的一个初级的过程。此处可以使用比较经典的尺度不变特征转换(Scale-invariant feature transform，SIFT)特征算子进行提取。

步骤(4)、对特征采用局部约束线性编码(Locality-constrained LinearCoding，LLC)，将由特征表示的图像转化为编码数据。

步骤(5)、采用支持向量机对编码数据进行场景类别分类训练，得到训练好的分类模型，该分类模型能够根据输入的编码数据输出对应的遥感图像所归属的场景类别。

进一步地，上述方法步骤(1)具体包括：假设有一幅遥感图像I，将遥感图像I中的每个像素定义为其中是遥感图像I中像素x的坐标，f是每个像素点的特征向量，坐标是将图像视为二维数据，每个像素点对应一个位置坐标；假定存在表示像素显著性的二进制随机变量H_x，并且满足：

那么，用P(H_x＝1|f)＝P(1|f)来计算x的显著性；

利用贝叶斯公式，可以得到如下结果：

假定中心Θ包含一个显著对象，用窗口Window把遥感图像分为一个环绕Ω和中心Θ，或者说，中心Θ中的像素作用于P(f|1)，而环绕Ω中的像素作用于P(f|0)；通过滑动窗口Window，能够扫描整个遥感图像，并计算局部显著值。在代入高斯核函数和使用贝叶斯公式后，可得每个像素点的显著性概率，根据对比的尺度(采样半径)得到相应的显著性其中r为采样半径，n为样本数量，x为像素。将τ个尺度的显著性函数汇总取平均值得到最终图像的显著性图最后将显著性图叠加到原始图像中得到预处理好的图像I′(x)＝I(x)+κ·S(x)，其中κ是一个用于避免过拟合的比例控制系数。

进一步地，上述方法步骤(3)中对预处理好的图像通过尺度不变特征变换SIFT进行特征提取包括以下步骤：1.对不同尺度空间的预处理好的图像具有方向信息的局部极值点进行检测，定义不同尺度空间的预处理好的图像具有方向信息的局部极值点为关键点；所述关键点能够反应不会因光照条件的改变而消失的特征，包括：角点、边缘点、暗区域的亮点以及亮区域的暗点；2.对关键点进行精确定位；3.确定关键点的主方向；4.生成SIFT矢量。SIFT算法的实质可以归为在不同尺度空间上查找关键点(特征点)的问题。这些关键点，就是一些十分突出的点，它们不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。在SIFT算法理论中，这些关键点是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。

进一步地，上述方法步骤(4)具体包括：定义矩阵矢量X，B，假设X表示从特征表示的图像中提取出来的一组D维局部描述符，B为通过学习得到的词典，X＝[x₁，x₂，…，x_N]∈R^{D ×N}，B＝[b₁，b₂，…，b_N]∈R^D×N，R是实数集，N表示视觉词典库的大小，假设码本有M个元素，会将每个描述符转化为一个M维码，将特征表示的图像转化为编码数据。该步骤使用局部约束线性编码来处理提取的特征。该方法形成的编码使用临近点来构成码书，形成的编码体系具有全局的稀疏性和描述的局部性。局部约束线性编码通过学习的方法获得特征的稀疏表达，从而使特征更加具有区别力和线性可分。

进一步地，上述方法步骤(5)采用线性支持向量机对编码数据进行场景类别分类训练。

与现有技术相比，本发明的积极效果为：

1、较于现有的BoF，SPM及其延伸出来的各种算法，本发明通过显著性分析，将人类的注意力机制引入到了场景类比归属算法中，更符合生物的视觉处理逻辑，大大地增加了遥感图像场景分类的准确度。

2、由于保留使用了LLC编码技术，使得本方法在提高了分类性能的同时依然保留了同样较快的运算速度。

附图说明

图1为本发明确定遥感图像归属的场景类别的方法的系统实现框图；

图2为本发明确定遥感图像归属的场景类别的方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和发明优势更加清楚明白，以下结合说明书附图对本发明的实施方式做具体介绍。

本发明提供的确定遥感图像归属的场景类别的方法，如图1，图2所示。主要包括以下四个阶段。

阶段1

阶段1主要任务是完成遥感图像的显著性检测的预处理。采用高斯核密度估计来提取遥感图像的显著图，并加入比例系数，将显著图与原始图像叠加，得到预处理好的、可以用于提取特征及编码的图像。

假设有一副遥感图像I，将遥感图像中的每个像素定义为其中是图像I中像素x的坐标，f是每个坐标的特征向量。假定存在表示像素显著性的二进制随机变量H_x，并且满足：

那么，可以用P(H_x＝1|f)＝P(1|f)来计算x的显著性。利用贝叶斯公式，可以得到如下结果：

假定Θ包含一个显著对象，用窗口Window把图像分为一个环绕Ω和中心Θ，或者说，Θ中的像素作用于P(f|1)，而Ω中的像素作用于P(f|0)。通过滑动窗口Window，就可以扫描整个图像，并在计算局部显著值。

利用定义属于显著性检测中心的测量点x，那么应用贝叶斯理论，可以得到：

更进一步，上式可以进一步改写为：

计算上式，需要估计和本方法中，采用高斯核函数进行估计，并完成特征分布的计算，从而可以得到：

其中，m和n是样本数，是属于Ω的第i_th个样本，是属于Θ的第i_th个样本。G(·)是高斯核函数。

其中，σ₁是标准差。

假设Ω中的样本是少量的、均匀地散落在半径为r的圆上的，并且对有贡献，并考虑到的事实，那么，可以得到：

其中，σ₁和σ₀是标准方程，n是Ω中的样本数，r是取样的半径。根据采样圆半径和采样数，定义图像的显着性为：

其中，是一个循环平均滤波器，*是卷积算子，的计算过程在上述公式中已经描述过了。α≥1是强调高概率区域效应的衰减因子。

为了使这种方法成为多尺度的，只需要改变样本的半径和数量。由r表示的半径表征“尺寸刻度”，由n表示的样本数量表征“精确刻度”。计算不同尺度像素的显着性，我们取所有尺度的平均值，可以得到：

其中，τ是尺度数，是第i_th个经计算得到的显著图。

得到显著图后，进一步借助比例系数κ∈(0，1]，采用如下计算方式，实现显著图与原图的叠加，得到突出场景部位并可用于提取特征的图像。

I′(x)＝I(x)+κ·S(x)

阶段2这一部分的核心任务是特征提取。本方法采用尺度不变特征变换(ScaleInvariant Feature Tansform，SIFT)提取经过显著性预处理后的图像特征。SIFT算法的实质可以归为在不同尺度空间上查找关键点(特征点)的问题。所谓关键点，就是一些十分突出的点，它们不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。在SIFT算法理论中，定义不同尺度空间的预处理好的图像具有方向信息的局部极值点为关键点。涉及到的最重要步骤为：1.尺度空间极值点检测；2.关键点精确定位；3确定关键点的主方向；4.生成SIFT矢量。

(1)尺度空间极值点检测

尺度空间在图像光滑变换的有机结合的基础上形成，一方面与其结构有关，一方面与不变性有关，这两方面既为满足图像变换而存在，又为尺度空间的数学工具选择提供域空间。尺度空间作为一个抽象的框架，在其内核的选取上就要考虑到代数结构和相关的性质约束，高斯函数是唯一的选择。图像的尺度空间L(x，y，σ)定义为原始图像I(x，y)与一个可变尺度的2维高斯函数G(x，y，σ)的卷积运算，故有如下公式：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

式中，(x，y)表示像素的位置，σ为尺度空间因子，σ的值越小表明图像被平滑的越少，相应的尺度也就越小。为了在尺度空间检测稳定的关键点，使用高斯差分(DOG)算子近似尺度归一化的拉普拉斯-高斯(LOG)算子：

D(x，y，σ)＝L(x，y，ρσ)-L(x，y，σ)

式中ρ为阈值。这样，通过高斯平滑和降采样得到高斯金字塔，再由相邻尺度图像相减生成DOG金字塔后形成尺度空间。在尺度空间内，每一个采样点和其同尺度相邻点及上下相邻尺度共8+9×2＝26个点进行比较，以确保在图像空间和尺度空间都检测到局部极值点。

(2)关键点精确定位

上面检测到的极值点是离散的空间极值点，为提高匹配的抗噪能力和稳定性，可以通过三维二次函数精确确定关键点的位置和尺度，设定阈值去除对比度较低的极值点。由于DOG算子会产生较强的边缘响应，可以通过利用Hessian矩阵计算主曲率设定阈值的方法，去除不稳定的边缘响应点。

(3)确定关键点的主方向

通过尺度不变求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，可以为每个关键点指定方向，使描述子对图像旋转具有不变性。像素点(x，y)处的梯度值m(x，y)和方向θ(x，y)计算表达式为：

θ(x，y)＝tan^-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

通过直方图统计关键点邻域像素的梯度方向，直方图的峰值代表该关键点的邻域梯度的主方向，作为该关键点的方向。至此，特征点检测完毕，每一个特征点都包含位置、尺度和方向三方面信息。

(4)生成SIFT矢量(特征点描述)

特征点描述是通过对关键点周围区域进行图像分块，计算各块内的梯度直方图，生成独特性的向量描述符，该向量描述符是该区域图像信息的一种抽象表示。具体方法是：以关键点为中心取(16×16)像素的窗口，在窗口中取(4×4)像素的区域形成一个种子点，共4×4个种子点，在每个种子点区域内分别计算8个方向的梯度直方图，绘制每个梯度方向的累加值，即可形成一个种子点。因此，最终获得一个4×4×8＝128维的特征描述向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可进一步去除光照变化的影响。

阶段3

阶段3的主要任务是完成遥感图像特征的编码。该步骤使用局部约束线性编码LLC编码来处理。该方法形成的编码使用临近点来构成码书，形成的编码体系具有全局的稀疏性和描述的局部性。局部约束线性编码通过学习的方法获得特征的稀疏表达，从而使特征更加具有区别力和线性可分。

定义矩阵矢量X，B，假设X表示从图像中提取出来的一组D维局部描述符，X＝[x₁，x₂，…，x_N]∈R^D×N。假设码本有M个元素，B＝[b₁，b₂，…，b_N]∈R^D×N，R是实数集，N表示视觉词典库的大小，将每个描述符转化为一个M维码，一生成最终图像表示。局部约束线性编码的基本原理是：对待编码特征x，使用距离x最近的k个词典元素的线性组合表达特征，其中k远小于词典元素个数。即局部约束线性编码的目标函数为：

式中，x_i为输入的特征向量；B为通过学习得到的词典，本专利采用K-means算法学习得到；c_i为待优化的特征的编码系数；λ为局部约束线性编码中的惩罚因子；⊙表示逐元素相乘；d_i∈R^M表示可为每个基向量分配不同自由度的局部性适配器，其所分配的自由度与其和输入描述符x_i的相似性成正比。具体说来，d_i的定义如下：

d_i＝exp(dist(x_i，B)/σ)

其中，矩阵dist(x_i，B)＝[dist(x_i，b₁)，dist(x_i，b₂)，…，dist(x_i，b_M)]^T；dist(x_i，b_j)表示x_i和b_j之间的欧式距离；使用σ来调整局部性适配器的权重衰减速度。一般来讲，通过max(dist(x_i，B))与dist(x_i，B)作差便可将d_i进一步正规化到范围(0，1]中。约束1^Tc_i＝1满足局部约束线性编码的平移不变性要求。如果用本方法进行分析的图像像素大于600*600，建议采用池化的方法，即对多个像素点进行求取平均值，将其压缩到600*600的像素范围内，进行下一步操作。通过LLC对特征进行编码后，就拥有了全局的稀疏性和描述的局部性，且其具有解析解等良好性质。局部约束线性编码通过学习的方法获得特征的稀疏表达，从而使特征更加具有区别力和线性可分。

阶段4

阶段4的核心任务是设计及训练分类器，得到可以依据输入的遥感图像，得到遥感图像所属的场景类别。可以采用一个线性支持向量机作为最终的场景图像分类模型。训练好的支持向量机便可将输入的数据输出为对应图像的场景类别。

这个支持向量机的设计的基本原理如下：通过寻找一个分类超平面来使得训练样本中的两类样本点能被分开，并且距离该平面尽可能地远。给定训练集T＝{(x₁，y₁)，(x₂，y₂)，…，(x_l，y_l)}∈(Rⁿ×Y)^l，其中训练数据x_i∈Rⁿ，其相应的类标号y_i∈Y＝{1，-1}，i＝1，2，…，l。这样，求解最优分类超平面的问题可以归结为以下的二次规划问题：

式中，Φ(·)是一个从输入空间Rⁿ到特征空间F的映射，用于将训练数据x投影到一个高纬空间中去；ξ_i≥0是松弛系数，它允许出现错分的样本；C是惩罚参数，它控制着对错分样本的惩罚程度；w为分类面权重向量；b为偏置；i取值范围是1，2，…，l。最后，可以得到下面的对偶形式：

式中，ψ(x_l，x_j)是核函数，可表示为ψ(x_l，x_j)＝Φ(x_i)·Φ(x_j)；0≤α_i≤C。通过求解该式，可以得到α^*＝(α₁ ^*，α₂ ^*，…，α_l ^*)^T，选取位于区间(0，C)中的α^*的分量α_j ^*，据此可计算出分类超平面函数为：

最终的决策函数可以表示为：

上述支持向量机分类方法主要是用来解决二分类问题，对于多分类问题，通常可以假设有类样本，则利用这种方法构造个两类支持向量机分类器，每一个分类器用来区分两个类别，所有两类分类器采用投票法来进行决策。

Claims (5)

1.一种确定遥感图像归属的场景类别的方法，其特征在于，包括如下步骤：

步骤(1)、对每一张遥感图像的原始图像，使用高斯核密度估计方法分析图像的显著性，得到遥感图像的显著图；

步骤(2)、引进比例系数将显著图与原始图像叠加，得到预处理好的图像，所述预处理好的图像能够用于提取特征以及用于编码；

步骤(3)、对预处理好的图像通过尺度不变特征变换SIFT进行特征提取，将预处理好的图像转化为由特征描述的格式，得到由特征表示的图像；

步骤(4)、对特征采用局部约束线性编码，将由特征表示的图像转化为编码数据；

步骤(5)、采用支持向量机对编码数据进行场景类别分类训练，得到训练好的分类模型，该分类模型能够根据输入的编码数据输出对应的遥感图像所归属的场景类别。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：假设有一幅遥感图像I，将遥感图像I中的每个像素定义为其中是遥感图像I中像素x的坐标，f是每个像素点的特征向量；假定存在表示像素显著性的二进制随机变量H_x，并且满足：

那么，用P(H_x＝1|f)＝P(1|f)来计算x的显著性；

利用贝叶斯公式，可以得到如下结果：

假定中心Θ包含一个显著对象，用窗口Window把遥感图像分为一个环绕Ω和中心Θ，或者说，中心Θ中的像素作用于P(f|1)，而环绕Ω中的像素作用于P(f|0)；通过滑动窗口Window，能够扫描整个遥感图像，并计算局部显著值。

3.如权利要求1所述的方法，其特征在于，所述步骤(3)中对预处理好的图像通过尺度不变特征变换SIFT进行特征提取包括以下步骤：1.对不同尺度空间的预处理好的图像具有方向信息的局部极值点进行检测，定义不同尺度空间的预处理好的图像具有方向信息的局部极值点为关键点；所述关键点能够反应不会因光照条件的改变而消失的特征，包括：角点、边缘点、暗区域的亮点以及亮区域的暗点；2.对关键点进行精确定位；3.确定关键点的主方向；4.生成SIFT矢量。

4.如权利要求1所述的方法，其特征在于，所述步骤(4)具体包括：定义矩阵矢量X，B，假设X表示从特征表示的图像中提取出来的一组D维局部描述符，B为通过学习得到的词典，X＝[x₁，x₂，...，x_N]∈R^D×N，B＝[b₁，b₂，...，b_N]∈R^D×N，R是实数集，N表示视觉词典库的大小，假设码本有M个元素，会将每个描述符转化为一个M维码，将特征表示的图像转化为编码数据。

5.如权利要求1所述的方法，其特征在于，所述步骤(5)采用线性支持向量机对编码数据进行场景类别分类训练。