CN107480620A - 基于异构特征融合的遥感图像自动目标识别方法 - Google Patents

基于异构特征融合的遥感图像自动目标识别方法 Download PDF

Info

Publication number
CN107480620A
CN107480620A CN201710659363.XA CN201710659363A CN107480620A CN 107480620 A CN107480620 A CN 107480620A CN 201710659363 A CN201710659363 A CN 201710659363A CN 107480620 A CN107480620 A CN 107480620A
Authority
CN
China
Prior art keywords
remote sensing
image
surf
sample
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710659363.XA
Other languages
English (en)
Other versions
CN107480620B (zh
Inventor
王鑫
熊星南
石爱业
徐立中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201710659363.XA priority Critical patent/CN107480620B/zh
Publication of CN107480620A publication Critical patent/CN107480620A/zh
Application granted granted Critical
Publication of CN107480620B publication Critical patent/CN107480620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

本发明公开了一种基于异构特征融合的遥感图像自动目标识别方法，首先，在分析遥感图像特殊成像机理的基础上，提取遥感目标多种异构特征，包括：设计改进的稠密SURF‑BOF特征、改进的Mean‑Std特征、及LBP特征。其次，选择和构建完备的多核空间，将不同类型的目标特征映射到统一核空间。第三，设计多核融合方法，实现异构特征在核空间的自适应融合。最后，设计基于异构特征融合的MKL‑SVM分类器，实现对遥感目标的自动识别。本发明针对现有遥感图像目标特征提取方法提取出的某单一特征信息涵盖不全面，或丢失某些重要信息的缺陷，提出提取目标多种异构特征，然后在多核框架内将不同类型目标特征进行自适应融合，有效提高了遥感图像自动目标识别的性能。

Description

基于异构特征融合的遥感图像自动目标识别方法
技术领域
本发明涉及一种基于异构特征融合的遥感目标自动识别的方法，属于图像处理和模式识别技术领域。
背景技术
随着遥感技术的快速发展，遥感目标检测识别技术已经在军事以及民用领域中取得了广泛的应用。在军事领域中，高精度的遥感目标识别技术能及时准确掌握敌我双方的武器设备数量、位置等状况，从而大大提高一体化作战能力。在民用领域中，良好的遥感目标识别技术能为资源勘探、自然灾害监测以及土地利用检测等领域作出重要贡献。故对遥感目标的检测识别已经成为众多学者研究的热点问题。
传统的遥感图像目标识别主要是对单类目标进行识别，随着相关任务的不断提出，人们已经不满足于单类遥感图像目标的识别，逐渐朝着多类遥感图像目标识别的方向发展。特征提取作为多类目标识别中极其重要的一步，紧致且完备的特征集能够最大化类间差异同时最小化类内差异，从而将多类遥感目标识别开来。
Zhong等人在2015年IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING上发表论文“Scene Classification based on Multifeature Fusion ProbabilisticTopic Model”，该文提出将光谱特征、纹理特征、sift特征这三个不同的底层特征通过概率主题模型融合，用于多类遥感图像目标分类识别，取得了一定的效果。
Zou等人在2016年Information Sciences上发表论文“Scene classificationusing local and global features with collaborative representation fusion”.该文提出了融合遥感图像局部特征和全局特征的多类遥感图像目标分类方法，也取得了一定的效果。
但是，它们选择的特征未能同时从底层/中层和全局/局部两个角度同时考虑，因此，特征集合不够完备。
如果我们能够从特征提取的原理上分析遥感图像各种不同特征所代表的目标的特性，构建一组完备的异构特征集，将能有效提高多类遥感图像目标识别的准确率。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于异构特征融合的遥感目标自动识别的方法，以有效提高多类遥感目标识别的准确率。
技术方案：一种基于异构特征融合的遥感目标自动识别的方法，包含训练阶段和测试阶段两个部分，训练阶段包括以下步骤：
步骤1：构建多类遥感图像目标样本训练集，将待训练的目标样本分类，并制作标签；
从实际拍摄得到的遥感卫星图像或航拍图像中获取多类遥感目标样本图像，构建遥感图像目标样本训练集Train＝[Train1,...,Traini,...,Trainn]，并制作相应的样本标签Label＝[Label1,...,Labeli,...,Labeln]，其中n表示有n类遥感目标样本，Traini表示第i类遥感图像目标样本的集合，Labeli表示第i类遥感图像目标样本集的标签。
步骤2：在分析遥感图像特殊成像机理的基础上，提取遥感目标样本训练多种异构特征，包括：改进的稠密SURF-BOF(Speeded Up Robust Feature-Bag of Features)特征、改进的Mean-Std(Mean-Standard Deviation)特征、及LBP(Local Binary Patterns)特征；
1)改进的稠密SURF-BOF特征提取方法
考虑到经典的SURF算法检测图像特征点的个数是不稳定的且是局部的缺陷，改进的稠密SURF-BOF特征提取方法在SURF算法提取的特征点的基础上，采用网格的方式融入图像中的固定描述点作为补充，最终可以得到图像的改进型稠密SURF-BOF特征。该方法不仅可以对纹理、色彩等变化比较剧烈的区域提取出特征，还能够对某些纹理、色彩等变化比较平缓的区域求出其特征。具体步骤如下：
第一，对原始多类遥感图像目标样本训练集进行预处理，统一变换为灰度图像，由于选取的范围太大则会影响特征提取效率，选取太小则会影响特征的有效性，选取的最优尺寸为能使得识别率达到最优识别率80％的多个尺寸中识别速度最快的，对应图像大小a×b。
第二，针对每一幅遥感图像目标样本，提取稠密SURF特征，具体过程如下：
(a)基于传统的SURF特征检测算法，检测SURF特征点，得到SURF稀疏点集P＝[P1,...,Pi,...,Pu]，其中，Pi表示第i个稀疏点。
(b)基于网格方式增加稠密点：根据相关文献和实验结果可知，用c×d大小的网格划分图像(据经验取c、d为图像长宽的到之间)，选取所有的网格交点做为稠密点，得到SURF稠密点集Q＝[Q1,...,Qj,...,Qv]，其中，Qj表示第j个稠密点。
(c)确定每个特征点的主方向：融合SURF系数点集和稠密点集，构成Point＝[P,Q]；统计Point点集内所有点的6×s邻域内的Haar小波特性(其中，s为传统的SURF特征检测算法中的尺度因子)；求某一个特征点其60度扇形内所有点在水平和垂直方向的Haar小波响应，并以距离特征点远近给不同的响应赋予二维高斯权重系数，其中，选取σ＝2.5s，(x0,y0)为该特征点坐标，(x,y)为邻域内对应的其它特征点，将响应相加形成最终的矢量；最后遍历整个圆形区域选择最长矢量的方向为该特征点的主方向。
(d)构造SURF特征点描述算子：以某一个特征点为中心，将坐标轴旋转到主方向，按主方向选取边长为20×s(的正方形区域，将该区域划分成4×4的子区域，计算(5×s)×(5×s)范围内的小波响应。对应于主方向的水平、垂直方向的Haar小波响应设为dx、dy，按高斯函数(σ＝2.5s)对响应值赋予系数，然后将每个子区域的响应系数及其绝对值相加形成矢量v＝(∑dx,∑dy,∑|dx|,∑|dy|)。每一个特征点得到4×(4×4)＝64维的特征描述向量feature，则第j类中第i幅样本图像的(u+v)个特征点对应的特征向量集为sfji＝[feature1,...,feature(u+v)]，最后对其进行归一化。
(e)根据上述步骤(a)-(d)，最终可以得到所有样本图像的稠密SURF特征。其中，第j类图像的稠密SURF特征集可以表示为sfj＝[sfj1,...,sfjN](其中，N表示第j类样本图像的个数)。所有训练样本SURF特征集表示为sf＝[sf1,...,sfn](其中，n表示有n类遥感目标样本)。
第三，将稠密SURF特征和BOF模型结合，提取改进的稠密SURF-BOF特征，具体过程如下：
(a)求BOF字典：由于不同类别的图像特征存在异构性，每类图像对应的字典视觉单词个数也不同，因此对第j类图像的特征集合sfj，采用K-Means算法聚类成为hj个视觉单词(聚类中心的数目hj可以依据不同的类别的特点设定)，即可得到第j类样本图像的BOF模型子字典Kj。其中，的初始值在集合sfj中随机选定。将n类样本图像重复以上操作得到所有类别图像的BOF模型子字典，并串联得最终的BOF模型字典K＝[K1,...,Kn]。
(b)基于BOF模型字典K，提取所有样本图像的稠密SURF-BOF特征：计算第j类样本图像中第i幅图像的稠密SURF特征sfji中单个feature到字典K中每一个视觉单词的距离，得到其中然后求得min(d)＝dp，则该feature为第p个视觉单词；重复上述步骤，统计第j类样本图像中第i幅图像的稠密SURF特征sfji中每个视觉词出现的频率，即可得到维稠密SURF-BOF特征。
2)改进的Mean-Std特征提取方法过程如下：
第一，对原始多类遥感图像目标样本训练集进行预处理，统一大小为a×b。
第二，在RGB三个子空间求均值mean和标准差std，即：R-mean、R-std、G-mean、G-std、B-mean、B-std。
第三，考虑到RGB颜色空间是从3个不同通道上的亮度值来反映图像颜色，但它并不是以一致的尺度表示色彩，没有直观感而不符合人的感知心理。因此，这里我们将RGB空间变换到HSV空间，然后再提取HSV三个子空间的均值和标准差，即：H-mean、H-std、S-mean、S-std、V-mean、V-std。
第四，除了RGB和HSV颜色空间以外，还有YUV、XYZ、Lab、Luv等多种颜色空间，而其中Lab和Luv颜色空间均由XYZ颜色空间推导出来，因此，为了兼顾其它颜色空间，并考虑算法的效率，这里我们将RGB颜色空间变换到XYZ颜色空间，再次求取XYZ三个子空间的均值和标准差，即：X-mean、X-std、Y-mean、Y-std、Z-mean、Z-std。
第五，将在RGB、HSV、XYZ空间中分别求得的均值和标准差串联，得到最终的Mean-Std特征。
3)提取LBP纹理特征，过程如下：
第一，对原始多类遥感图像目标样本训练集进行预处理，统一变换为灰度图像，并将大小变换为a×b。
第二，为了使提取到的纹理特征具有旋转不变性，且保证不会产生维数灾难，提取等价旋转不变LBP特征，设定半径r在[1,5]之间，采样点数nr在[10，20]之间，按排列组合选取r、nr提取LBP特征并分别进行识别实验，将得到最优识别率时的r、nr选取为最优半径和采样点数。
步骤3：选择和构建完备的多核空间，将不同类型的目标特征映射到统一核空间，设计多核融合算法，实现异构特征在核空间的自适应融合；
由于传统核函数参数选择与组合是没有依据可循的，导致样本的不平坦分布无法有效地解决，限制了决策函数的表示能力。为此，本发明拟采用多核学习中的某类具有通用近似能力的多核函数(根据相关文献和以往经验，首先选用对目标分类效果普遍良好的高斯核，然后再选取多项式核作为补充，调节其参数，如在该核函数下目标的识别率在60％以上则认为选取的核函数是合适的，否则换用其它核函数进行实验)，对遥感目标异构特征进行融合。与合成核方法相比，多核更具灵活性，且能够提供更完备的尺度选择，从而更好地适应遥感目标异构特征的不同性质。
在多核框架下，样本在特征空间中的表示问题转化成为基本核与权系数的选择问题。多核学习的目的是优化多个核函数的线性组合：
为了得到完备的多核空间，本发明选用了高斯核函数和多项式核函数，并分配给每个异构特征，按以下公式进行融合：
其中Kk(xi,x)表示第K个核函数，βk为对应的核函数权重βk＞0。在多核框架下，样本在特征空间中的表示问题转化成为基本核与权系数的选择问题。多核学习的目的是优化多个核函数的线性组合从而得到完备的多核空间。
步骤4：为了能够识别目标的类别，需要设计并训练MKL-SVM(Multiple KernelLearning-Support Vector Machine)分类器，SVM的分类函数可表示为：
其中ai为待优化参数，物理意义即为支持向量样本权重，yi用来表示训练样本属性，正样本或者负样本，k(xi,x)为计算内积的核函数，b为待优化参数。
将多核学习融合后的特征送入SVM分类器后设计基于异构特征融合的MKL-SVM分类器为：
其中ai为待优化参数，物理意义即为支持向量样本权重，yi用来表示训练样本属性，正样本或者负样本，b为待优化参数。
最后按照网格搜索法在训练样本上多次重复实验，选取识别率最优时的ai、βk作为训练后分类器的最优参数。
测试阶段包含以下步骤：
步骤5：构建多类遥感图像目标测试集Test。
步骤6：同训练阶段中的步骤(2)，求测试图像的稠密SURF-BOF特征、改进的Mean-Std特征、及LBP特征，其中，求稠密SURF-BOF特征时采用训练阶段得到的BOF字典。
步骤7：将提取的测试图像的多种异构特征输入到步骤4训练好的MKL-SVM分类器，对测试图像进行分类识别。
有益效果：本发明提供的基于异构特征融合的遥感图像自动目标识别方法，提取目标多种异构特征形成一个完备的特征集合，然后在多核框架内将不同类型目标特征进行自适应融合，有效的提高了多类遥感目标识别的准确率。
附图说明
图1是本发明提出算法的框图；
图2是本发明提出的多类遥感图像目标样本训练集改进的稠密SURF-BOF特征提取算法框图；
图3是本发明提出的多类遥感图像目标样本测试集改进的稠密SURF-BOF特征提取算法框图；
图4是本发明提出的改进的Mean-Std特征提取算法框图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明针对现有遥感图像目标特征提取方法提取出的某单一特征信息涵盖不全面，或丢失某些重要信息的缺陷，提出提取目标多种异构特征，然后在多核框架内将不同类型目标特征进行自适应融合，有效提高了遥感图像自动目标识别的性能。提出算法的框图如图1所示，包括训练阶段和测试阶段。
训练阶段包括以下步骤：
(1)步骤1：构建多类遥感图像目标样本训练集，将待训练的目标样本分类，并制作标签；
本实施例从Google的遥感卫星图像中获取多类遥感目标图像，依次包括飞机、车辆、舰船、桥梁、岛屿、机场背景六类目标图像，构建遥感图像目标样本训练集Train＝[Train1,...,Traini,...,Trainn]，并制作相应的样本标签Label＝[Label1,...,Labeli,...,Labeln]，其中n＝6表示有6类遥感目标样本，Traini表示第i类遥感图像目标样本的集合，Labeli表示第i类遥感图像目标样本集的标签，每类图像各500张。
(2)步骤2：在分析遥感图像特殊成像机理的基础上，提取遥感目标样本训练多种异构特征，包括：一种改进的稠密SURF-BOF(Speeded Up Robust Feature-Bag ofFeatures)特征、一种改进的Mean-Std(Mean-Standard Deviation)特征、及LBP(LocalBinary Patterns)特征；
1)一种改进的稠密SURF-BOF特征提取方法思想是：考虑到经典的SURF算法检测图像特征点的个数是不稳定的且是局部的，为此，我们提出了一种改进的稠密SURF-BOF特征提取方法。该方法在SURF算法提取的特征点的基础上，采用网格的方式融入图像中的固定描述点作为补充，最终可以得到图像的改进型稠密SURF-BOF特征。该方法不仅可以对纹理、色彩等变化比较剧烈的区域提取出特征，还能够对某些纹理、色彩等变化比较平缓的区域求出其特征。多类遥感图像目标样本训练集改进的稠密SURF-BOF特征提取流程如图2，具体步骤如下：
第一，对原始多类遥感图像目标样本训练集进行预处理，统一变换为灰度图像，并将大小变换为150×150(由多次实验验证其效果最好)。
第二，针对每一幅遥感图像目标样本，提取稠密SURF特征，具体过程如下：
(a)基于传统的SURF特征检测算法，检测SURF特征点，得到SURF稀疏点集P＝[P1,...,Pi,...,Pu]，其中，Pi表示第i个稀疏点。
(b)基于网格方式增加稠密点：用14×14大小的网格划分图像，选取所有的网格交点做为稠密点，得到SURF稠密点集Q＝[Q1,...,Qj,...,Qv]，其中，Qj表示第j个稠密点。
(c)确定每个特征点的主方向：融合SURF系数点集和稠密点集，构成Point＝[P,Q]；统计Point点集内所有点的6×s邻域内的Haar小波特性；求某一个特征点其60度扇形内所有点在水平和垂直方向的Haar小波响应，并以距离特征点远近给不同的响应赋予二维高斯权重系数其中，选取σ＝2.5s，(x0,y0)为该特征点坐标，(x,y)为领域内对应的其它点，将响应按权重相加形成最终的矢量；最后遍历整个圆形区域选择最长矢量的方向为该特征点的主方向。
(d)构造SURF特征点描述算子：以某一个特征点为中心，将坐标轴旋转到主方向，按主方向选取边长为20×s(其中，s为传统的SURF特征检测算法中的尺度因子)的正方形区域，将该区域划分成4×4的子区域，计算(5×s)×(5×s)范围内的小波响应。对应于主方向的水平、垂直方向的Haar小波响应设为dx、dy，按高斯函数(σ＝2.5s)对响应值赋予系数，然后将每个子区域的响应系数及其绝对值相加形成矢量v＝(∑dx,∑dy,∑|dx|,∑|dy|)。每一个特征点得到4×(4×4)＝64维的特征描述向量feature，则第j类中第i幅样本图像的(u+v)个特征点对应的特征向量集为sfji＝[feature1,...,feature(u+v)]，最后对其进行归一化。
(e)根据上述步骤(a)-(d)，最终可以得到所有样本图像的稠密SURF特征。其中，第j类图像的稠密SURF特征集可以表示为sfj＝[sfj1,...,sfjN](其中，N表示第j类样本图像的个数)。所有训练样本SURF特征集表示为sf＝[sf1,...,sfn](其中，n表示有n类遥感目标样本)。
第三，将稠密SURF特征和BOF模型结合，提取改进的稠密SURF-BOF特征，具体过程如下：
(a)求BOF字典：由于不同类别的图像特征存在异构性，每类图像对应的字典视觉单词个数也不同，因此对第j类图像的特征集合sfj，采用K-Means算法聚类成为hj个视觉单词(聚类中心的数目hj可以依据不同的类别的特点设定)，即可得到第j类样本图像的BOF模型子字典Kj。其中，的初始值在集合sfj中随机选定。将n类样本图像重复以上操作得到所有类别图像的BOF模型子字典，并串联得最终的BOF模型字典K＝[K1,...,Kn]。
(b)基于BOF模型字典K，提取所有样本图像的稠密SURF-BOF特征：计算第j类样本图像中第i幅图像的稠密SURF特征sfji中单个feature到字典K中每一个视觉单词的距离，得到其中然后求得min(d)＝dp，则该feature为第p个视觉单词；重复上述步骤，统计第j类样本图像中第i幅图像的稠密SURF特征sfji中每个视觉词出现的频率，即可得到维稠密SURF-BOF特征。
2)一种改进的Mean-Std特征提取方法提取流程如图3，具体过程如下：
第一，对原始多类遥感图像目标样本训练集进行预处理，统一大小为150×150。
第二，在RGB三个子空间求均值mean和标准差std，即：R-mean、R-std、G-mean、G-std、B-mean、B-std。
第三，考虑到RGB颜色空间是从3个不同通道上的亮度值来反映图像颜色，但它并不是以一致的尺度表示色彩，没有直观感而不符合人的感知心理。因此，这里我们将RGB空间变换到HSV空间，然后再提取HSV三个子空间的均值和标准差，即：H-mean、H-std、S-mean、S-std、V-mean、V-std。
第四，除了RGB和HSV颜色空间以外，还有YUV、XYZ、Lab、Luv等多种颜色空间，而其中Lab和Luv颜色空间均由XYZ颜色空间推导出来，因此，为了兼顾其它颜色空间，并考虑算法的效率，这里我们将RGB颜色空间变换到XYZ颜色空间，再次求取XYZ三个子空间的均值和标准差，即：X-mean、X-std、Y-mean、Y-std、Z-mean、Z-std。
第五，将在RGB、HSV、XYZ空间中分别求得的均值和标准差串联，得到最终的Mean-Std特征。
3)提取LBP纹理特征，过程如下：
第一，对原始多类遥感图像目标样本训练集进行预处理，统一变换为灰度图像，并将大小变换为150×150。
第二，为了使提取到的纹理特征具有旋转不变性，且保证不会产生维数灾难，将通过实验选取最优半径r＝2和采样点数sn＝16，提取18维LBP特征。
(3)步骤3：选择和构建完备的多核空间，将不同类型的目标特征映射到统一核空间，设计多核融合算法，实现异构特征在核空间的自适应融合；
由于传统核函数参数选择与组合是没有依据可循的，导致样本的不平坦分布无法有效地解决，限制了决策函数的表示能力。为此，本发明拟采用多核学习中的某类具有通用近似能力的多核函数，对遥感目标异构特征进行融合。与合成核方法相比，多核更具灵活性，且能够提供更完备的尺度选择，从而更好地适应遥感目标异构特征的不同性质。
为了得到完备的多核空间，本发明选用了高斯核函数和多项式核函数，并分配给每个异构特征，按以下公式进行融合：
其中Kk(xi,x)表示第K个核函数，βk为对应的核函数权重βk＞0。在多核框架下，样本在特征空间中的表示问题转化成为基本核与权系数的选择问题。多核学习的目的是优化多个核函数的线性组合从而得到完备的多核空间。
(4)步骤4：为了能够识别目标的类别，需要设计并训练MKL-SVM(MultipleKernelLearning-Support Vector Machine)分类器，SVM的分类函数可表示为：
其中ai为待优化参数，物理意义即为支持向量样本权重，yi用来表示训练样本属性，正样本或者负样本，k(xi,x)为计算内积的核函数，b为待优化参数。
将多核学习融合后的特征送入SVM分类器后设计基于异构特征融合的MKL-SVM分类器为：
其中ai为待优化参数，物理意义即为支持向量样本权重，yi用来表示训练样本属性，正样本或者负样本，b为待优化参数。
最后按照网格搜索法在训练样本上多次重复实验，选取识别率最优时的ai、βk作为训练后分类器的最优参数。
测试阶段包含以下步骤：
(5)步骤5：构建多类遥感图像目标测试集Test。
(6)步骤6：同训练阶段中的步骤(2)，求测试图像的稠密SURF-BOF特征、改进的Mean-Std特征、及LBP特征，其中，求稠密SURF-BOF特征时采用训练阶段得到的BOF字典，提取流程如图3。
(7)步骤7：将提取的测试图像的多种异构特征输入到步骤4训练好的MKL-SVM分类器，对测试图像进行分类识别。

Claims (7)

1.一种基于异构特征融合的遥感目标自动识别的方法，包含训练阶段和测试阶段，其特征在于，所述的训练阶段包括以下步骤：
步骤1：构建多类遥感图像目标样本训练集，将待训练的目标样本分类，并制作标签；
步骤2：在分析遥感图像特殊成像机理的基础上，提取遥感目标样本训练多种异构特征，包括：改进的稠密SURF-BOF(Speeded Up Robust Feature-Bag of Features)特征、改进的Mean-Std(Mean-Standard Deviation)特征、及LBP(Local Binary Patterns)特征；
步骤3：选择和构建完备的多核空间，将不同类型的目标特征映射到统一核空间，设计多核融合算法，实现异构特征在核空间的自适应融合；
步骤4：设计基于异构特征融合的MKL-SVM分类器；
所述的测试阶段包括以下步骤：
步骤5：构建多类遥感图像目标测试集；
步骤6：提取遥感图像目标测试集的改进的稠密SURF-BOF特征、改进的Mean-Std特征、及LBP特征；
步骤7：将提取的测试图像的多种异构特征输入到步骤4训练好的MKL-SVM分类器，对测试图像进行分类识别。
2.根据权利要求1所述的一种基于异构特征融合的遥感图像自动目标识别方法，其特征在于，从实际拍摄得到的遥感卫星图像或航拍图像中获取多类遥感目标样本图像，构建遥感图像目标样本训练集Train＝[Train1,...,Traini,...,Trainn]，并制作相应的样本标签Label＝[Label1,...,Labeli,...,Labeln]，其中n表示有n类遥感目标样本，Traini表示第i类遥感图像目标样本的集合，Labeli表示第i类遥感图像目标样本集的标签。
3.根据权利要求1所述的一种基于异构特征融合的遥感图像自动目标识别方法，其特征在于，改进的稠密SURF-BOF特征提取方法是：该方法在SURF算法提取的特征点的基础上，采用网格的方式融入图像中的固定描述点作为补充，最终可以得到图像的改进型稠密SURF-BOF特征；具体步骤如下：
第一，对原始多类遥感图像目标样本训练集进行预处理，统一变换为灰度图像，由于选取的范围太大则会影响特征提取效率，选取太小则会影响特征的有效性，通过多次实验统计图像取不同尺寸时的识别率和识别速度，选取的最优尺寸为能使得识别率达到最优识别率80％的多个尺寸中识别速度最快的，对应图像大小a×b。
第二，针对每一幅遥感图像目标样本，提取稠密SURF特征，具体过程如下：
(a)基于SURF特征检测算法，检测SURF特征点，得到SURF稀疏点集P＝[P1,...,Pi,...,Pu]，其中，Pi表示第i个稀疏点；
(b)基于网格方式增加稠密点：按经验用c×d大小(取c、d为图像长宽的到之间)的网格划分图像，选取所有的网格交点做为稠密点，得到SURF稠密点集Q＝[Q1,...,Qj,...,Qv]，其中，Qj表示第j个稠密点；
(c)确定每个特征点的主方向：融合SURF稀疏点集和稠密点集，构成Point＝[P,Q]；统计Point点集内所有点半径为6×s邻域内的Haar小波特性；求某一个特征点其60度扇形内所有点在水平和垂直方向的Haar小波响应，并以距离特征点远近给不同的响应赋予二维高斯权重系数，其中，选取σ＝2.5s，(x0,y0)为该特征点坐标，(x,y)为领域内对应的其它特征点坐标，将响应按权重相加形成最终的矢量；最后遍历整个圆形区域选择最长矢量的方向为该特征点的主方向；
(d)构造SURF特征点描述算子：以某一个特征点为中心，将坐标轴旋转到主方向，按主方向选取边长为20×s的正方形区域，将该区域划分成4×4的子区域，计算(5×s)×(5×s)范围内的小波响应；对应于主方向的水平、垂直方向的Haar小波响应设为dx、dy，按高斯权重对响应值赋予系数，然后将每个子区域的响应系数及其绝对值相加形成矢量v＝(∑dx,∑dy,∑|dx|,∑|dy|)；每一个特征点得到4×(4×4)＝64维的特征描述向量feature，则第j类中第i幅样本图像的(u+v)个特征点对应的特征向量集为sfji＝[feature1,...,feature(u+v)]，最后对其进行归一化；
(e)根据上述步骤(a)-(d)，最终可以得到所有样本图像的稠密SURF特征；其中，第j类图像的稠密SURF特征集可以表示为sfj＝[sfj1,...,sfjN](其中，N表示第j类样本图像的个数)；所有训练样本SURF特征集表示为sf＝[sf1,…,sfn](其中，n表示有n类遥感目标样本)；
第三，将稠密SURF特征和BOF模型结合，提取改进的稠密SURF-BOF特征，具体过程如下：
(a)求BOF字典：由于不同类别的图像特征存在异构性，每类图像对应的字典视觉单词个数也不同，因此对第j类图像的特征集合sfj，采用K-Means算法聚类成为hj个视觉单词(聚类中心的数目hj可以依据不同的类别的特点设定)，即可得到第j类样本图像的BOF模型子字典Kj；其中，的初始值在集合sfj中随机选定；将n类样本图像重复以上操作得到所有类别图像的BOF模型子字典，并串联得最终的BOF模型字典K＝[K1,...,Kn]；
(b)基于BOF模型字典K，提取所有样本图像的稠密SURF-BOF特征：计算第j类样本图像中第i幅图像的稠密SURF特征sfji中单个feature到字典K中每一个视觉单词的距离，得到d＝[d1,...,dl]，其中然后求得min(d)＝dp，则该feature为第p个视觉单词；重复上述步骤，统计第j类样本图像中第i幅图像的稠密SURF特征sfji中每个视觉单词出现的频率，即可得到l维稠密SURF-BOF特征。
4.根据权利要求1所述的一种基于异构特征融合的遥感图像自动目标识别方法，其特征在于，改进的Mean-Std特征提取方法过程如下：
第一，对原始多类遥感图像目标样本训练集进行预处理，统一大小为a×b。
第二，在RGB三个子空间求均值mean和标准差std，即：R-mean、R-std、G-mean、G-std、B-mean、B-std。
第三，将RGB空间变换到HSV空间，然后再提取HSV三个子空间的均值和标准差，即：H-mean、H-std、S-mean、S-std、V-mean、V-std；
第四，将RGB颜色空间变换到XYZ颜色空间，再次求取XYZ三个子空间的均值和标准差，即：X-mean、X-std、Y-mean、Y-std、Z-mean、Z-std。
第五，将在RGB、HSV、XYZ空间中分别求得的均值和标准差串联，得到最终的Mean-Std特征。
5.根据权利要求1所述的一种基于异构特征融合的遥感图像自动目标识别方法，其特征在于，提取LBP纹理特征，过程如下：
第一，对原始多类遥感图像目标样本训练集进行预处理，统一变换为灰度图像，并将大小变换为a×b。
第二，为了使提取到的纹理特征具有旋转不变性，且保证不会产生维数灾难，将通过实验选取最优半径和采样点数，提取等价旋转不变LBP特征。
6.根据权利要求1所述的一种基于异构特征融合的遥感图像自动目标识别方法，其特征在于，选择和构建完备的多核空间，将不同类型的目标特征映射到统一核空间，并设计多核融合算法，实现异构特征在核空间的自适应融合；
采用多核学习中的某类具有通用近似能力的多核函数，对遥感目标异构特征进行融合；
在多核框架下，样本在特征空间中的表示问题转化成为基本核与权系数的选择问题；多核学习的目的是优化多个核函数的线性组合：
<mrow> <mi>k</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>K</mi> </munderover> <msub> <mi>&amp;beta;</mi> <mi>k</mi> </msub> <msub> <mi>K</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow>
其中Kk(xi,x)表示第K个核函数，βk为对应的核函数权重
7.根据权利要求1所述的一种基于异构特征融合的遥感图像自动目标识别方法，其特征在于，设计基于异构特征融合的MKL-SVM分类器：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>n</mi> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <msub> <mi>&amp;beta;</mi> <mi>k</mi> </msub> <msub> <mi>K</mi> <mi>k</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>x</mi> </mrow> <mo>)</mo> <mo>+</mo> <mi>b</mi> <mo>)</mo> </mrow> </mrow>
其中ai为待优化参数，物理意义即为支持向量样本权重，yi用来表示训练样本属性，正样本或者负样本，b为待优化参数。
CN201710659363.XA 2017-08-04 2017-08-04 基于异构特征融合的遥感图像自动目标识别方法 Active CN107480620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710659363.XA CN107480620B (zh) 2017-08-04 2017-08-04 基于异构特征融合的遥感图像自动目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710659363.XA CN107480620B (zh) 2017-08-04 2017-08-04 基于异构特征融合的遥感图像自动目标识别方法

Publications (2)

Publication Number Publication Date
CN107480620A true CN107480620A (zh) 2017-12-15
CN107480620B CN107480620B (zh) 2020-06-16

Family

ID=60597568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710659363.XA Active CN107480620B (zh) 2017-08-04 2017-08-04 基于异构特征融合的遥感图像自动目标识别方法

Country Status (1)

Country Link
CN (1) CN107480620B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564130A (zh) * 2018-04-24 2018-09-21 南京师范大学 一种基于单演特征与多核学习的红外目标识别方法
CN108596154A (zh) * 2018-05-14 2018-09-28 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN108764316A (zh) * 2018-05-18 2018-11-06 河海大学 基于深度卷积神经网络和多核学习的遥感图像场景分类方法
CN110110742A (zh) * 2019-03-26 2019-08-09 北京达佳互联信息技术有限公司 多特征融合方法、装置、电子设备及存储介质
CN110210534A (zh) * 2019-05-21 2019-09-06 河海大学 基于多包融合的高分遥感图像场景多标签分类方法
WO2020000271A1 (zh) * 2018-06-27 2020-01-02 深圳大学 一种基于无人机的数据处理的方法及装置
CN111160373A (zh) * 2019-12-30 2020-05-15 重庆邮电大学 一种变速鼓零件缺陷图像特征提取以及检测分类方法
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN111598156A (zh) * 2020-05-14 2020-08-28 北京工业大学 基于多源异构数据融合的pm2.5预测模型
CN111625789A (zh) * 2020-04-07 2020-09-04 北京工业大学 基于多核学习融合鼠标和键盘行为特征的用户识别方法
CN117649613A (zh) * 2024-01-30 2024-03-05 之江实验室 一种光学遥感图像优化方法、装置、存储介质及电子设备
CN117649613B (zh) * 2024-01-30 2024-04-26 之江实验室 一种光学遥感图像优化方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040033622A1 (en) * 2001-02-09 2004-02-19 Delenstarr Glenda C. Methods of identifying heterogeneous features in an image of an array
CN102622607A (zh) * 2012-02-24 2012-08-01 河海大学 一种基于多特征融合的遥感图像分类方法
CN103761531A (zh) * 2014-01-20 2014-04-30 西安理工大学 基于形状轮廓特征的稀疏编码车牌字符识别方法
US20140307917A1 (en) * 2013-04-12 2014-10-16 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
CN104346630A (zh) * 2014-10-27 2015-02-11 华南理工大学 一种异构特征融合的云花卉识别方法
CN104680173A (zh) * 2015-01-26 2015-06-03 河海大学 一种遥感图像场景分类方法
CN105488536A (zh) * 2015-12-10 2016-04-13 中国科学院合肥物质科学研究院 一种基于多特征深度学习技术的农田害虫图像识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040033622A1 (en) * 2001-02-09 2004-02-19 Delenstarr Glenda C. Methods of identifying heterogeneous features in an image of an array
CN102622607A (zh) * 2012-02-24 2012-08-01 河海大学 一种基于多特征融合的遥感图像分类方法
US20140307917A1 (en) * 2013-04-12 2014-10-16 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
CN103761531A (zh) * 2014-01-20 2014-04-30 西安理工大学 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN104346630A (zh) * 2014-10-27 2015-02-11 华南理工大学 一种异构特征融合的云花卉识别方法
CN104680173A (zh) * 2015-01-26 2015-06-03 河海大学 一种遥感图像场景分类方法
CN105488536A (zh) * 2015-12-10 2016-04-13 中国科学院合肥物质科学研究院 一种基于多特征深度学习技术的农田害虫图像识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HUIBIN WANG ET AL.: "Multiple Feature Fusion of Moving Objects in Video Surveillancer Tracking of Moving Objects in Video Surveillance", 《2008 INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND SECURITY》 *
LINLING ZHANG ET AL.: "A Fusion Algorithm of Remote Sensing Images Based on Normalized Correlation Moment of Characteristic Values", 《PROCEEDINGS OF THE 2007 INTERNATIONAL CONFERENCE ON INFORMATION ACQUISITION》 *
YANFEI ZHONG ET AL.: "Scene Classification Based on the Multifeature Fusion Probabilistic Topic Model for High Spatial Resolution Remote Sensing Imagery", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
YI-REN YEH ET AL.: "A Novel Multiple Kernel Learning Framework for Heterogeneous Feature Fusion and Variable Selection", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
YU MA ET AL.: "Multi-target tracking based on multi-feature associated matrix reasoning", 《2011 4TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564130A (zh) * 2018-04-24 2018-09-21 南京师范大学 一种基于单演特征与多核学习的红外目标识别方法
CN108564130B (zh) * 2018-04-24 2022-03-08 南京师范大学 一种基于单演特征与多核学习的红外目标识别方法
CN108596154A (zh) * 2018-05-14 2018-09-28 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN108596154B (zh) * 2018-05-14 2021-09-24 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN108764316A (zh) * 2018-05-18 2018-11-06 河海大学 基于深度卷积神经网络和多核学习的遥感图像场景分类方法
CN108764316B (zh) * 2018-05-18 2022-08-26 河海大学 基于深度卷积神经网络和多核学习的遥感图像场景分类方法
WO2020000271A1 (zh) * 2018-06-27 2020-01-02 深圳大学 一种基于无人机的数据处理的方法及装置
US11055574B2 (en) 2018-11-20 2021-07-06 Xidian University Feature fusion and dense connection-based method for infrared plane object detection
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN110110742A (zh) * 2019-03-26 2019-08-09 北京达佳互联信息技术有限公司 多特征融合方法、装置、电子设备及存储介质
CN110210534A (zh) * 2019-05-21 2019-09-06 河海大学 基于多包融合的高分遥感图像场景多标签分类方法
CN110210534B (zh) * 2019-05-21 2022-09-02 河海大学 基于多包融合的高分遥感图像场景多标签分类方法
CN111160373A (zh) * 2019-12-30 2020-05-15 重庆邮电大学 一种变速鼓零件缺陷图像特征提取以及检测分类方法
CN111625789A (zh) * 2020-04-07 2020-09-04 北京工业大学 基于多核学习融合鼠标和键盘行为特征的用户识别方法
CN111625789B (zh) * 2020-04-07 2023-04-07 北京工业大学 基于多核学习融合鼠标和键盘行为特征的用户识别方法
CN111598156A (zh) * 2020-05-14 2020-08-28 北京工业大学 基于多源异构数据融合的pm2.5预测模型
CN117649613A (zh) * 2024-01-30 2024-03-05 之江实验室 一种光学遥感图像优化方法、装置、存储介质及电子设备
CN117649613B (zh) * 2024-01-30 2024-04-26 之江实验室 一种光学遥感图像优化方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN107480620B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN107480620A (zh) 基于异构特征融合的遥感图像自动目标识别方法
Shi et al. Road detection from remote sensing images by generative adversarial networks
Wu et al. ORSIm detector: A novel object detection framework in optical remote sensing imagery using spatial-frequency channel features
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN110414377B (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN103218831B (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN102622607B (zh) 一种基于多特征融合的遥感图像分类方法
CN104361313B (zh) 一种基于多核学习异构特征融合的手势识别方法
CN106408030B (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN108009509A (zh) 车辆目标检测方法
CN103514456A (zh) 基于压缩感知多核学习的图像分类方法及其装置
Liu et al. Multimorphological superpixel model for hyperspectral image classification
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN103679191B (zh) 基于静态图片的自动套牌车检测方法
CN103778435A (zh) 一种基于视频的行人快速检测方法
CN103745201B (zh) 一种节目识别方法及装置
Lu et al. P_SegNet and NP_SegNet: New neural network architectures for cloud recognition of remote sensing images
CN110414616B (zh) 一种利用空间关系的遥感图像字典学习分类方法
WO2024021413A1 (zh) 一种结合超像素和多尺度分层特征识别的图像分割方法
CN103984963B (zh) 一种高分辨率遥感图像场景分类方法
CN105069478A (zh) 基于超像素张量稀疏编码的高光谱遥感地物分类方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN107767416A (zh) 一种低分辨率图像中行人朝向的识别方法
CN105956610B (zh) 一种基于多层编码结构的遥感图像地形分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant