CN110298280A - 一种基于mkl多特征融合的海洋涡旋识别方法 - Google Patents

Abstract

本发明公开了种基于MKL多特征融合的海洋涡旋识别方法，其包括如下步骤：1)对基于合成孔径雷达影像的数据集进行数据预处理；2)批量的将预处理后的合成孔径雷达影像输入特征提取器，并提取灰度共生矩阵特征、傅里叶描述子特征和Harris特征；3)构建不同种类的核函数集，获取灰度共生矩阵特征、傅里叶描述子特征和Harris特征的训练集，对所述训练集做基于多核学习的多特征融合，获得数据集；4)构建分类器模型，其用于数据集的分类。本发明采用多种特征融合策略，将多种不同类型的特征应用于识别海洋涡旋的识别，克服了现有技术中数据处理能力的局限性和存在的传统人工目视、阈值设置方法对海洋涡旋识别的局限性。

Description

一种基于MKL多特征融合的海洋涡旋识别方法

技术领域

本发明涉及遥感图像识别领域，具体地说，特别涉及到一种基于MKL多特征融合的海洋涡旋识别方法，其用于合成孔径雷达遥感影像。

背景技术

现有海洋漩涡识别方法有：

DiGiacomo等采用人工识别的方法，定义了涡旋在SAR图像上的视觉特征，进而对加州南部海岸1992-1998年间显著的涡旋进行了分析。

Karimova等依据涡旋在SAR图像上的视觉特征，采用人工判读的方式分别对地中海东部和黑海，波罗的海2009-2011年间的涡旋进行识别以及其时空分析。

汪承义在对SST卫星图像进行平滑处理后，将得到的温度等值线进行涡旋特征表示和分类，并利用粗糙集理论对这些闭合等值线分组实现分类。

Peckinpaugh，Armando et al首先采用滤波的方法对SST卫星图像进行预处理，去除噪声，接着，基于纹理等特征，利用人工神经网络进行学习和训练，但训练样本数据的完备性限制了该提取方法的有效性。

Dongmei Huang,Yanling Du et al.提出一种简单的用SAR图像进行自动涡流识别的深层架构，基于主成分分析(PCA)滤波器卷积形成的一个深度学习网络可以通过分层学习从训练数据集中获得不变高层次的海洋漩涡特征，以此模型来识别不同尺度和不同地区的海洋涡旋的多样和不规则几何形状。

Alexanin认为温度梯度的变化与流场具有高度相关性，利用SST卫星图像的等温线提取涡旋边界，并利用温度梯度变化来识别冷涡和热涡；

Nichol利用计算机搜索图像中相同灰度值所连成的区域，并利用这些区域结构之间生成的关系图进行提取类似涡旋结构的尝试性研究。

Peckinpaugh等[10]基于遥感图像的边缘，提出了直接利用Hough变换圆识别算子进行涡旋识别的方法。

葛永结合涡旋的自相似及尺度不变性的特点，利用多重分形的方法来提取涡旋信息。

随着遥感卫星技术的不断发展，SAR卫星具有全天时、全天候的观测特性，海洋涡旋在SAR图像上呈现或明或暗的不规则的螺旋结构，具有丰富的纹理特征和轮廓特征，为海洋涡旋识别提供了足够的特征信息。Topouzelis试图研究一种在SAR图像上构建了度量目标尺度、紧致度和光滑度的函数的模糊逻辑规则，因此来实现自动识别涡旋。该方法相较于单一特征识别方法在一定程度上提高了涡旋的识别精度，但该方法需要在不同的条件下设置度量目标的阈值大小，不具有通用性。

黄冬梅、刘佳佳等首次提出将多种图像特征融合应用于海洋涡旋识别，虽然能避免现有的人工特征设计和统一的阈值设置方法不能满足快速、连续变化的海洋涡旋识别的缺点，实现海洋涡旋识别的通用性，但不同特征对海洋涡旋识别精度的贡献不同，不同特征在识别所占的比重也会有所不同；随着提取的特征数量的增多，特征分布的不均匀，对海洋涡旋识别也造成了一定的挑战。

近年来，基于核的方法，特别是支持向量机(SVM)，由于其能够有效地解决复杂的非线性识别问题，在遥感领域引起了广泛的关注。

Varma等人提出了一种多核学习(MKL)方法来测量不同图像特征的重要性。

以上的一些方法尽管能提高海洋涡旋的识别能力，但仍然存在一下问题：

1)早期的人工判别法，费力且费时，受专家主管判断差异的影响，不确定性大，容易产生不可统计的误差。

2)基于物理参数以及几何特征等传统方法多是依赖专家经验进行人工特征设计和单一阈值设置的方法，阈值的大小随海域环境的不同而不断变化，存在显著的主观性和不确定性。

3)基于图像分析方法的识别结果多依赖于特征选择，利用单一特征识别往往无法全面反映海洋涡旋的特征信息，容易产生漏判和错判。

4)海洋环境复杂多变，不同区域下的海洋涡旋特征会有所差异；海洋涡旋从产生到消失过程中，形态不定，尺度大小不一。基于物理和几何的传统方法不具有通用性，且构造模型较为复杂，无法识别特殊形态结构的涡旋。

5)基于机器学习的方法虽可自主学习和构建涡的特征，但训练样本数据的完备性限制了该提取方法的有效性，在样本数量不足的情况下，并不适合使用神经网络方法来训练。

发明内容

本发明的目的在于针对现有技术中的不足，提供一种基于MKL多特征融合的海洋涡旋识别方法，采用多种特征融合策略，将多种不同类型的特征应用于识别海洋涡旋的识别，克服了现有技术中数据处理能力的局限性和存在的传统人工目视、阈值设置方法对海洋涡旋识别的局限性。

本发明所解决的技术问题可以采用以下技术方案来实现：

一种基于MKL多特征融合的海洋涡旋识别方法，包括

1)对基于合成孔径雷达影像的数据集进行数据预处理；

2)批量的将预处理后的合成孔径雷达影像输入特征提取器，并提取灰度共生矩阵特征、傅里叶描述子特征和Harris特征；

3)构建不同种类的核函数集，获取灰度共生矩阵特征、傅里叶描述子特征和Harris特征的训练集，对所述训练集做基于多核学习的多特征融合，获得数据集；

4)构建分类器模型，其用于数据集的分类。

进一步的，所述步骤1)的具体过程如下：

1.1)根据合成孔径雷达遥感影像的特点确定图像扩充方式；所述图像扩充方式为随机裁剪、尺度变换和旋转变换；

1.2)将合成孔径雷达遥感影像经随机裁剪、尺度变换和旋转变换进行数据扩充，并根据类别打上标签；

1.3)将每张经数据扩充后的合成孔径雷达遥感影像的尺寸调整为280×280像素，其根据海洋涡旋图像尺寸的统计分布中的主导尺寸来确定。

进一步的，所述步骤2)的具体过程如下：

2.1)设计批量处理算法

构建队列结构，批量的将合成孔径雷达遥感影像集输入特征提取器，将影像集的特征、标签、存储位置分别存储；

2.2)提取灰度共生矩阵特征

在灰度共生矩阵的基础上提取用来定量描述纹理特征的统计属性；所述统计属性用对比度、相关性、能量和同质度；

在计算对比度、相关性、能量、同质度这4个纹理统计属性时，每个统计属性的方向的取值考虑了4种情况，即0°、45°、90°、135°，分别代表东—西、东北—西南、南—北、东南—西北4个方向的共生矩阵；

2.3)提取傅里叶描述子特征；

首先将图像进行二值化，并获取图像的轮廓以及坐标，接着计算图像轮廓的质心，然后计算图像像素点到质心的距离，求质心距的傅里叶变换，最后将其结果进行归一化，所得到的最终结果作为特征向量；

2.4)提取Harris特征；

首先通过一个5*5的窗口遍历整幅图像，计算每一个窗口的相关矩阵，并进一步计算每个像素点的Harris角点响应，在5*5的窗口内找到极大值。若Harris角点响应大于该极大值，则视为角点；

进一步的，所述步骤3)的具体过程如下：

3.1)选取最佳核函数

根据提取的三种不同类型的特征样本分布特点以及各类核函数的特性来选取较为合适核函数类型；由于同一类不同参数下核函数的SVM分类器效果也会不同，主要参数是惩罚系数C和gamma值，分别通过10次十折交叉验证得到SVM分类器当前最优的准确率，而两个参数的取值就取自于最优的准确率下SVM分类器的两个参数；

3.2)设计融合算法

基于SVM框架构建多核学习的融合函数，其中融合函数如公式(1)所示；将提取的灰度共生矩阵特征、傅里叶描述子特征和Harris特征与各自分配的核函数进行计算得到核矩阵；由于每个特征在分类中对精度的贡献比重都不一致，因此，给每个计算得到的核矩阵加上权重矩阵；利用SVM的凸优化问题反向调节该权重矩阵得到最优权重矩阵，最后根据公式(1)计算出合成后的核矩阵作为融合后的数据集。

K(x_i,x_j)＝w_GK_G(x_Gi,x_Gj)+w_FK_F(x_Fi,x_Fj)+w_HK_H(x_Hi,x_Hj) (1)

其中，G、F、H分别表示灰度共生矩阵特征、傅里叶描述子特征和Harris这三个不同类型的特征，K_G、K_F、K_H为GLCM、FD和Harris这三个特征各自分配的核函数，x_Gi、x_Fi、x_Gi分别表示第i张图像的GLCM、FD和Harris的特征向量；

3.3)设计融合后数据集的存储结构

针对融合后特征维数扩大的特点，将之前提取的灰度共生矩阵特征、傅里叶描述子特征和Harris特征的类别标签与经过融合后的数据集进行映射，并分别将类别标签与融合后的数据集对应起来存储。

与现有技术相比，本发明的有益效果在于：

采用该发明中的基于多核学习的多特征融合的海洋涡旋识别方法，通过本发明采用的融合策略在海洋涡旋识别中可以取得了显著的效果，其中提取的GLCM、FD、Harris特征可以很好的获取基于SAR影像的海洋涡旋的纹理、形状信息，捕捉像素与像素之间的角点。不同类型的图像特征在训练分类器时相互补充，弥补了单一特征无法包含全面的图像信息；根据不同类型的特征在分类识别中的不同表现来给每个特征分配各自合适的核函数进行融合，增强分类器对处理后的特征信息线性可分的能力。综上所述提高了分类器对海洋涡旋的识别精度、基于SAR的遥感影像的利用率以及其利用价值。

附图说明

图1为本发明所述的基于MKL多特征融合的海洋涡旋识别方法的示意图。

图2为本发明所述的特征提取器的构建过程示意图。

图3本发明所述的多特征融合策略与分类过程示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本实施例采用的数据集来源于ENVISAT和ERS-2卫星在2005年至2010年期间生成的SAR原始影像，经过ENVI软件处理，得到136个基于SAR的海洋涡旋影像。本实验共选取海洋涡旋、海水、陆地三类SAR影像作为数据集，每种类别的SAR影像有136张，组成整个SAR影像数据集，并人工为每张SAR影像标注好相应的类别。本实验使用的SAR影像是VV偏振模式，该模式更适合于研究海流和海浪。

如图1所示，本发明的基于多核学习的多特征融合海洋涡旋识别方法包括如下步骤：

1.获取SAR影像；

2.由于每个类别只有136幅，将整个SAR影像数据集进行数据预处理，具体包括如下步骤：

2.1根据SAR影像数据集中海洋涡旋尺寸进行统计分布，随机产生50*50～280*280尺寸的小窗口将所述的SAR影像进行随机裁剪5次，其中每次随机产生的小窗口尺寸大小都不一样；

2.2将所述的SAR影像分别按照放大1/5、1/4、1/3、1/2、1/1(原图)进行尺度变换；

2.3将所述的SAR影像按照顺时针30°、60°、90°、120°、150°进行旋转变换；

2.4根据上述步骤，将数据集扩充至6120幅，每个类别有2040幅SAR影像。将SAR影像尺寸调整为特定尺寸67×67像素；

2.5根据之前标注好的类别，每预处理完成相应的SAR影像，都将SAR影像和类别分别存储；

3.输入经预处理后的SAR影像数据集队列，对每一张SAR影像的各颜色分量转化为灰度，并输入特征提取器中提取灰度共生矩阵特征、傅里叶描述子特征、Harris角点，具体包括如下步骤：

3.1将所述的SAR影像中每个像素点(m,n)分别沿0°、45°、90°、135°四个方向移动到(k,l)，间隔d取2，利用公式(2)计算灰度共生矩阵：

式中θ表示为方向，d表示为间隔，i表示为(m,n)像素点的灰度值，j表示为(k,l)像素点的灰度值，N为像素点的个数，p(i,j)为(i,j)出现的概率；

在此步骤中，根据产生的灰度共生矩阵利用公式计算对比度、相关性、能量、同质度这4个统计属性，生成0°、45°、90°、135°四个方向上对比度、相关性、能量、同质度的统计值，相关公式如下：

对比度：

相关性：

能量：

同质度：

式(3)-(6)中，i表示为(m,n)像素点的灰度值，j表示为(k,l)像素点的灰度值，N为像素点的个数，μ_i，μ_j表示为均值，σ_i，σ_j表示为标准差；

3.2将所述的SAR影像通过设定的阈值转换为二值图像I＝{f(x,y),0<＝x<M,0<＝y<M}，并提取该图像的轮廓，根据如下公式(7)计算该图像的质心：

公式(7)中，A为图像的面积，表示为M为二值图像I的长度即67，f(x,y)为点(x,y)的像素值；然后计算该图像的轮廓上的每一个像素点与质心的欧式距离，根据如下公式(8)对质心距进行傅里叶变换，最后将计算的结果进行归一化生成傅里叶描述；。

3.3将所述的SAR影像采用5*5的二元高斯窗口函数利用公式(9)计算相关矩阵，并进一步计算Harris角点响应，在5*5的窗口内找到极大值。通过设定该极大值作为阈值来筛选出Harris角点；

4.输出16维灰度共生矩阵特征、67维傅里叶描述子特征、4489为Harris角点特征，以及相应的类别标签集并分别进行存储；

5.输入默认惩罚系数C＝1，gamma＝0.25，纹理特征16个，形状特征67个，角点特征4489个，总共4572个特征；

6.构建不同种类的核函数集以及提取的三个特征向量集队列；采用10次十折交叉验证，每一次循环的十折交叉都对提取的灰度共生矩阵、傅里叶描述子、Harris角点特征集以及类别标签数据集进行划分，随机分成十份，9份作为训练数据，1份作为测试数据。

7.获取灰度共生矩阵、傅里叶描述子以及Harris特征的训练集，对这三个训练数据集做基于多核学习的多特征融合，具体包括如下步骤：

7.1利用十折交叉验证，将每个训练集都进行基于不同核函数的SVM分类器分类，根据识别精度以及误差选择每个特征所适合的核函数，具体包括如下步骤：

7.1.1选择SVM分类器的一个核函数k，k∈[1,2,3,4,5]，其中k＝1表示选择线性核函数，k＝2表示选择多项式核函数，k＝3表示选择高斯核函数，k＝4表示选择指数核函数，k＝5表示选择直方图交叉核函数；

7.1.2循环10次，每次循环分别将灰度共生矩阵、傅里叶描述子以及Harris特征进行随机分成9份作为训练集，1份作为测试集，分别记录每次不同核函数下海洋涡旋识别的精度，并分别计算每次不同核函数下海洋涡旋识别的误差；

7.1.3分别比较出灰度共生矩阵、傅里叶描述子以及Harris特征在SVM分类器下识别的误差最小且精度最高的核函数，对于灰度共生矩阵、傅里叶描述子以及Harris特征这三个特征集中，任何一个特征经SVM分类器识别的结果中出现误差最小但精度不是最高或者精度最高但误差不是最小的情况，则比较精度与误差的标准差，标准差最大则选择该核函数作为该特征集；

7.1.4最后得出灰度共生矩阵、傅里叶描述子以及Harris特征这三个特征集各自所适合的最佳核函数分别为直方图交叉核、直方图交叉核以及指数核；

7.2将提取的灰度共生矩阵、傅里叶描述子以及Harris训练集分别通过各自适合的核函数进行融合，具体包括如下步骤：

7.2.1遍历灰度共生矩阵、傅里叶描述子以及Harris训练集，对每一个特征集都根据公式(10)-(12)分别与直方图交叉核、直方图交叉核以及指数核进行核映射，公式如下：

式(10)-(12)中，分别表示灰度共生矩阵、傅里叶描述子以及Harris特征训练集的第i个像素值，同理，分别表示灰度共生矩阵、傅里叶描述子以及Harris特征训练集的第j个像素值，分别表示灰度共生矩阵、傅里叶描述子特征训练集所对应的标签集的第k个值，L表示为特征训练集第一维度的长度。

7.2.2根据公式(13)-(15)分别生成经特征融合后核矩阵

7.2.3初始化这三个核矩阵的权重，分别设为1/3，根据公式(16)计算得到合成后的核矩阵，公式如下：

7.2.4将合成后的核矩阵利用SVM凸优化问题调节权重矩阵，直至满足SVM迭代停止条件，输出w_G、w_F、w_H，以及合成后的训练核矩阵

8.获取灰度共生矩阵、傅里叶描述子以及Harris特征的测试集，对这三个测试数据集作如下操作：

8.1根据7.1的步骤，灰度共生矩阵、傅里叶描述子以及Harris特征这三个测试集各自所适合的最佳核函数分别为直方图交叉核、直方图交叉核以及指数核。

8.2将提取的灰度共生矩阵、傅里叶描述子以及Harris特征测试集分别通过各自适合的核函数进行融合，具体包括如下步骤：

8.2.1遍历灰度共生矩阵、傅里叶描述子以及Harris测试集，对每一个测试集都根据公式(17)-(19)分别与直方图交叉核、直方图交叉核以及指数核进行核映射，公式如下：

式(17)-(19)中，分别表示灰度共生矩阵、傅里叶描述子以及Harris特征测试集的第i个像素值，同理，分别表示灰度共生矩阵、傅里叶描述子以及Harris特征测试集的第j个像素值，分别表示灰度共生矩阵、傅里叶描述子特征测试集所对应的标签集的第k个值，tL表示为特征测试集第一维度的长度。

8.2.2根据公式(20)-(22)分别生成经特征融合后核矩阵

8.2.3根据公式(23)，将8.2.2中得到的融合后的核矩阵 与7.2.4中输出的权重w_G、w_F、w_H进行线性组合，得到合成后的测试核矩阵

9.本发明基于SVM分类器，输入训练矩阵通过SVM分类器进行训练，再输入测试矩阵得到每次循环的识别精度；

10.判断循环次数是否已超过10次，如果没有超过10次，循环次数加1，并从6.继续进行下一次循环的操作，直至循环次数已超过10次。

输出：10次海洋涡旋识别精度的平均精度。

至此本发明得到了一整套基于多核学习的多特征融合海洋涡旋识别方法的实现架构。该模型在应用过程中比单特征海洋涡旋识别精度更高，且比基于单核的多特征融合海洋涡旋识别精度更高，是因为多特征融合的海洋涡旋特征信息比单个特征提取的海洋涡旋信息更加丰富。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于MKL多特征融合的海洋涡旋识别方法，其特征在于，包括

1)对基于合成孔径雷达影像的数据集进行数据预处理；

2)批量的将预处理后的合成孔径雷达影像输入特征提取器，并提取灰度共生矩阵特征、傅里叶描述子特征和Harris特征；

3)构建不同种类的核函数集，获取灰度共生矩阵特征、傅里叶描述子特征和Harris特征的训练集，对所述训练集做基于多核学习的多特征融合，获得数据集；

4)构建分类器模型，其用于数据集的分类。

2.根据权利要求1所述的基于MKL多特征融合的海洋涡旋识别方法，其特征在于，所述步骤1)的具体过程如下：

1.1)根据合成孔径雷达遥感影像的特点确定图像扩充方式；所述图像扩充方式为随机裁剪、尺度变换和旋转变换；

1.2)将合成孔径雷达遥感影像经随机裁剪、尺度变换和旋转变换进行数据扩充，并根据类别打上标签；

1.3)将每张经数据扩充后的合成孔径雷达遥感影像的尺寸调整为280×280像素，其根据海洋涡旋图像尺寸的统计分布中的主导尺寸来确定。

3.根据权利要求1所述的基于MKL多特征融合的海洋涡旋识别方法，其特征在于，所述步骤2)的具体过程如下：

2.1)设计批量处理算法

构建队列结构，批量的将合成孔径雷达遥感影像集输入特征提取器，将影像集的特征、标签、存储位置分别存储；

2.2)提取灰度共生矩阵特征

在灰度共生矩阵的基础上提取用来定量描述纹理特征的统计属性；所述统计属性用对比度、相关性、能量和同质度；

在计算对比度、相关性、能量、同质度这4个纹理统计属性时，每个统计属性的方向的取值考虑了4种情况，即0°、45°、90°、135°，分别代表东—西、东北—西南、南—北、东南—西北4个方向的共生矩阵；

2.3)提取傅里叶描述子特征；

首先将图像进行二值化，并获取图像的轮廓以及坐标，接着计算图像轮廓的质心，然后计算图像像素点到质心的距离，求质心距的傅里叶变换，最后将其结果进行归一化，所得到的最终结果作为特征向量；

2.4)提取Harris特征；

首先通过一个5*5的窗口遍历整幅图像，计算每一个窗口的相关矩阵，并进一步计算每个像素点的Harris角点响应，在5*5的窗口内找到极大值。若Harris角点响应大于该极大值，则视为角点。

4.根据权利要求1所述的基于MKL多特征融合的海洋涡旋识别方法，其特征在于，所述步骤3)的具体过程如下：

3.1)选取最佳核函数

根据提取的三种不同类型的特征样本分布特点以及各类核函数的特性来选取较为合适核函数类型；由于同一类不同参数下核函数的SVM分类器效果也会不同，主要参数是惩罚系数C和gamma值，分别通过10次十折交叉验证得到SVM分类器当前最优的准确率，而两个参数的取值就取自于最优的准确率下SVM分类器的两个参数；

3.2)设计融合算法

基于SVM框架构建多核学习的融合函数，其中融合函数如公式(1)所示；将提取的灰度共生矩阵特征、傅里叶描述子特征和Harris特征与各自分配的核函数进行计算得到核矩阵；由于每个特征在分类中对精度的贡献比重都不一致，因此，给每个计算得到的核矩阵加上权重矩阵；利用SVM的凸优化问题反向调节该权重矩阵得到最优权重矩阵，最后根据公式(1)计算出合成后的核矩阵作为融合后的数据集。

K(x_i,x_j)＝w_GK_G(x_Gi,x_Gj)+w_FK_F(x_Fi,x_Fj)+w_HK_H(x_Hi,x_Hj) (1)

其中，G、F、H分别表示灰度共生矩阵特征、傅里叶描述子特征和Harris这三个不同类型的特征，K_G、K_F、K_H为GLCM、FD和Harris这三个特征各自分配的核函数，x_Gi、x_Fi、x_Gi分别表示第i张图像的GLCM、FD和Harris的特征向量；

3.3)设计融合后数据集的存储结构

针对融合后特征维数扩大的特点，将之前提取的灰度共生矩阵特征、傅里叶描述子特征和Harris特征的类别标签与经过融合后的数据集进行映射，并分别将类别标签与融合后的数据集对应起来存储。