CN106874952A - 基于栈式自编码器的特征融合方法 - Google Patents

基于栈式自编码器的特征融合方法 Download PDF

Info

Publication number
CN106874952A
CN106874952A CN201710082865.0A CN201710082865A CN106874952A CN 106874952 A CN106874952 A CN 106874952A CN 201710082865 A CN201710082865 A CN 201710082865A CN 106874952 A CN106874952 A CN 106874952A
Authority
CN
China
Prior art keywords
sae
feature
fusion
vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710082865.0A
Other languages
English (en)
Other versions
CN106874952B (zh
Inventor
计科峰
康妙
冷祥光
邹焕新
雷琳
孙浩
李智勇
周石琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201710082865.0A priority Critical patent/CN106874952B/zh
Publication of CN106874952A publication Critical patent/CN106874952A/zh
Application granted granted Critical
Publication of CN106874952B publication Critical patent/CN106874952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于栈式自编码器的特征融合方法。技术方案包括下述内容：首先，提取图像的局部三斑块二值模式纹理特征，利用特征选择方法选择并提取图像的若干种基线特征，将得到的所有特征进行串联得到串联向量。然后，对串联向量先进行标准化再进行白化。将白化后的结果作为SAE的输入，利用逐层贪婪训练法对SAE进行训练。最后利用训练好的SAE，通过softmax分类器对SAE进行微调，使得损失函数最小，SAE的输出即为区分性高的融合特征向量。本发明选取的特征冗余性小，为特征融合提供更丰富的信息。

Description

基于栈式自编码器的特征融合方法
技术领域
本发明属于图像融合技术领域，涉及一种基于SAE(Stacked Autoencoder，栈式自编码器)的特征融合的方法，提高了融合特征的区分度和效率。
背景技术
特征融合是指对提取的特征信息，进行综合分析及融合处理的技术。在图像理解中，利用特征融合不仅可以增加图像的特征信息，而且能有效综合原始特征之间的优势获得目标更全面的特征表达。经典的特征融合算法(特征融合算法可参考文献王大伟,陈定荣,何亦征.面向目标识别的多特征图像融合技术综述[J].航空电子技术,2011,42(2):6-12.)，直接把特征按照某种方式直接组合起来，没有从本质上考虑特征间的关系对融合结果的影响，因此融合后的特征冗余性较大，区分性不高。
SAE是一种无监督的学习网络，能通过简单的非线性模型将原始特征转化为更为抽象的表达，进行有效的特征融合。基于SAE的特征融合，不仅能提取出原始特征中的深层互补特征，得到更具区分性的特征，同时能利用特征提取减少输入数据的特征维度，简化网络结构，提高融合效率。
已有的基于SAE的特征融合算法(基于SAE的特征融合算法可参考文献Chen Y,LinZ,Zhao X,et al..Deep Learning-Based Classification of Hyperspectral Data[J].IEEE Journal of Selected Topics in Applied Earth Observations&RemoteSensing,2014,7(6):2094-2107.)，选取的特征维数高，融合网络结构复杂，训练时间较长，无法满足实时性的需求。另外特征之间冗余性大，互补性小，融合后特征区分度提高不明显。
发明内容
本发明通过选取互补性高，冗余性小的特征，得到了基于SAE的特征融合 方法。该方法能有效减少数据维度，简化SAE的网络结构，提高融合效率。同时，选取了不同属性的特征，为融合提供了丰富的信息，提取出了更具区分性的融合特征。
本发明的技术方案是：
首先，提取图像的TPLBP(Three-Patch Local Binary Patterns，局部三斑块二值模式)纹理特征，利用特征选择方法选择并提取图像的若干种基线特征，将得到的所有特征进行串联得到串联向量。然后，对串联向量先进行标准化再进行白化。将白化后的结果作为SAE的输入，利用逐层贪婪训练法对SAE进行训练。最后利用训练好的SAE，通过softmax分类器对SAE进行微调，使得损失函数最小，SAE的输出即为区分性高的融合特征向量。
本发明的有益效果是：
1.本发明选取了基线特征和TPLBP特征进行组合，基线特征描述了图像的几何结构特性，TPLBP特征描述了图像的局部纹理，不同属性的两种特征互补性大，冗余性小，为特征融合提供更丰富的信息。
2.本发明设计的SAE结构，通过特征提取，改变了原始特征的空间分布，能有效增加原始特征之间的类间距离，减小类内距离，使融合后的分类精度有较大的提升。
3.本发明提出的技术方案，将228维的串联特征而不是整幅图像作为SAE输入，在有效融合特征的同时，简化了SAE结构，有效减少了网络训练时间和测试时间，融合效率得到有效提升。
附图说明
图1为本发明实验数据MSTAR数据集示例；
图2为本发明流程图；
图3为本发明融合特征分布变化图；
图4为本发明实验结果对比图。
具体实施方式
本发明实验数据为MSTAR数据集，该数据集包括BMP2,BRDM2,BTR60,BTR70,D7,T62,T72,ZIL131,ZSU234,2S1等10类军事目标的SAR(synthetic aperture radar，合成孔径雷达)图像切片，图1中给出10类军事目标的切片示例，切片大小统一裁剪为128×128像素。
图2为本发明流程图，结合本发明的某一实验，具体实施步骤如下：
第一步，提取图像的TPLBP(Three-Patch Local Binary Patterns，局部三斑块二值模式)纹理特征。对原始图像利用LBP(Local Binary Patterns，局部二值模式)算子得到其LBP码值，再通过对比图像块之间的LBP值，得到TPLBP码值，统计TPLBP码值得到直方图向量，再将其串接成图像的128维TPLBP纹理特征向量征。
利用特征选择方法选择并提取图像的若干种基线特征。首先，对图像进行能量检测，将其二值化之后，得到二值图像，再对二值图像进行膨胀，得到连通图像，分别提取二值图像和连通图像的若干基线特征。再利用F-score(Fisher score)的方法，计算基线特征的类间和类内的区分性，最后根据每种基线特征的F-score值的大小对基线特征进行排序。为减小特征维度，去掉F-score值较小的特征，选取25种基线特征串联成100维基线特征向量(见表1)，再与TPLBP特征串联，得到228维串联向量。通常基线特征的提取数目根据实际应用情况确定。本实施例选25种基线特征。每种基线特征的维数是由该种基线特征的基本性质决定的，如面积特征为1维，质心特征2维等。
表1基线特征
第二步，对串联向量先进行标准化再进行白化。将串联向量X减去其均值进行标准化，再利用ZCA对标准化后的向量进行白化，得到白化后的向量为XZCAWhite＝TX,其中T＝UP-(1/2)UT，U和P是串联向量的协方差矩阵 的特征向量和特征值，x(i)表示串联向量X的第i维的值，M表示串联向量X的维度，本实施例选M＝228。
第三步，将白化后的向量作为SAE的输入，利用逐层贪婪训练法对SAE进行训练。首先训练第一层SAE，利用梯度下降法使代价函数收敛到最优解，将隐层学习到的特征作为第二层自编码器的输入，固定第一层的网络权值，训练第二层网络，依次训练好SAE的每一层。
第四步，利用训练好的网络，通过softmax分类器对SAE进行微调，使得损失函数最小，得到区分性高的融合特征向量。本实施例中最后得到的融合特征向量是145维向量。
图3为本发明的特征分布对比图，(a)为串联向量在二维空间中的分布，利用本发明的第一步得到串联向量；(b)为本发明方法得到的融合特征向量在二维空间中的分布。在MSTAR数据集的基础上，利用本发明得到图1中的10幅图像(即10类军事目标)的融合特征向量，再将融合特征向量与串联向量在二维空间分别进行可视化。由图3可看出，串联向量在二维空间中类间存在混叠，类内数据分散。10类目标的特征混叠分布在5个区域内。而本发明得到的10类目标的融合特征向量在二维空间中分布在相对分散的10个区域，其类间距离更大，类内更紧凑，因此区分性更好。图3表明本发明采用的SAE，利用其非线性表达能力从输入数据中挖掘了更有效的信息，将特征进行深度融合，改变了原始特征的空间分布，从而提升了融合特征的区分性。
图4为本发明实验结果对比图。图中表明特征融合前后的目标识别精度对比，横坐标为10类军事目标，纵坐标表示每一类目标对应的识别精度，其中基线特征(100维)和TPLBP特征(128维)得到的目标识别精度分别用带星号 的虚线和带四边形的点虚线表示，利用本发明融合特征向量(145维)得到的识别精度带圈实线表示。为探究本发明的有效性，分别利用基线特征、纹理特征作为含两个隐层的SAE的训练样本，进行目标识别，再与融合特征向量的识别性能比较。利用基线特征和TPLBP特征得到10类目标的平均识别精度分别为90.19％和90.40％，利用本发明得到的识别精度95.88％，平均识别精度提高了5％以上。从图4可以看出，除BRDM2与ZSU234之外，其余目标类别的识别精度均高于单特征。因此，本发明能从原始特征中提取出更具表达能力的特征，进行表达转换后，融合后的特征鲁棒性更好，区分度更大。
此外为对比特征融合算法在时间复杂度上的优势。将原始SAR图像幅度图像，直接利用含两个隐层的SAE进行特征提取，并利用softmax分类器进行分类。从表2可以看出，本发明在训练时间加快了近8倍，测试时间上加快了近9倍。因此，本发明能有效的减少神经元的数目，简化网络结构，提高融合效率。
表2融合时间对比
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于栈式自编码器的特征融合方法，其特征在于包括下述步骤：首先，提取图像的局部三斑块二值模式纹理特征，并利用特征选择方法选择并提取图像的若干种基线特征，将得到的所有特征进行串联得到串联向量；然后，对串联向量先进行标准化再进行白化；将白化后的结果作为SAE的输入，利用逐层贪婪训练法对SAE进行训练；最后利用训练好的SAE，通过softmax分类器对SAE进行微调，使得损失函数最小，SAE的输出即为区分性高的融合特征向量；上述SAE是指栈式自编码器。
CN201710082865.0A 2017-02-16 2017-02-16 基于栈式自编码器的特征融合方法 Active CN106874952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710082865.0A CN106874952B (zh) 2017-02-16 2017-02-16 基于栈式自编码器的特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710082865.0A CN106874952B (zh) 2017-02-16 2017-02-16 基于栈式自编码器的特征融合方法

Publications (2)

Publication Number Publication Date
CN106874952A true CN106874952A (zh) 2017-06-20
CN106874952B CN106874952B (zh) 2019-09-13

Family

ID=59167331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710082865.0A Active CN106874952B (zh) 2017-02-16 2017-02-16 基于栈式自编码器的特征融合方法

Country Status (1)

Country Link
CN (1) CN106874952B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188211A (zh) * 2018-07-30 2019-01-11 上海交通大学 一种高压设备绝缘故障诊断方法和系统
CN109446997A (zh) * 2018-10-31 2019-03-08 国网山东省电力公司淄博供电公司 文档编号自动识别方法
CN109598336A (zh) * 2018-12-05 2019-04-09 国网江西省电力有限公司信息通信分公司 一种基于栈式降噪自编码神经网络的数据约简方法
CN110414531A (zh) * 2019-03-19 2019-11-05 中船（浙江）海洋科技有限公司 基于梯度比率的sar图像局部特征提取方法
CN111626122A (zh) * 2020-04-24 2020-09-04 贝壳技术有限公司 合成孔径雷达图像识别方法、装置、电子设备和存储介质
CN112057089A (zh) * 2020-08-31 2020-12-11 五邑大学 情绪识别方法、装置及存储介质
CN112465884A (zh) * 2020-11-25 2021-03-09 西北工业大学 基于生成式特征表示网络的多元遥感影像变化检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913025A (zh) * 2016-04-12 2016-08-31 湖北工业大学 一种基于多特征融合的深度学习人脸识别方法
WO2016154298A1 (en) * 2015-03-23 2016-09-29 Temple University-Of The Commonwealth System Of Higher Education System and method for automatic interpretation of eeg signals using a deep learning statistical model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016154298A1 (en) * 2015-03-23 2016-09-29 Temple University-Of The Commonwealth System Of Higher Education System and method for automatic interpretation of eeg signals using a deep learning statistical model
CN105913025A (zh) * 2016-04-12 2016-08-31 湖北工业大学 一种基于多特征融合的深度学习人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUSHI CHEN 等: "《Deep Learning-Based Classification of Hyperspectral Data》", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
罗世奇 等: "《栈式自编码的恶意代码分类算法研究》", 《计算机应用研究》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188211A (zh) * 2018-07-30 2019-01-11 上海交通大学 一种高压设备绝缘故障诊断方法和系统
CN109446997A (zh) * 2018-10-31 2019-03-08 国网山东省电力公司淄博供电公司 文档编号自动识别方法
CN109598336A (zh) * 2018-12-05 2019-04-09 国网江西省电力有限公司信息通信分公司 一种基于栈式降噪自编码神经网络的数据约简方法
CN110414531A (zh) * 2019-03-19 2019-11-05 中船（浙江）海洋科技有限公司 基于梯度比率的sar图像局部特征提取方法
CN111626122A (zh) * 2020-04-24 2020-09-04 贝壳技术有限公司 合成孔径雷达图像识别方法、装置、电子设备和存储介质
CN111626122B (zh) * 2020-04-24 2024-01-05 贝壳技术有限公司 合成孔径雷达图像识别方法、装置、电子设备和存储介质
CN112057089A (zh) * 2020-08-31 2020-12-11 五邑大学 情绪识别方法、装置及存储介质
CN112465884A (zh) * 2020-11-25 2021-03-09 西北工业大学 基于生成式特征表示网络的多元遥感影像变化检测方法
CN112465884B (zh) * 2020-11-25 2024-01-16 西北工业大学 基于生成式特征表示网络的多元遥感影像变化检测方法

Also Published As

Publication number Publication date
CN106874952B (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN106874952B (zh) 基于栈式自编码器的特征融合方法
Tong et al. Channel-attention-based DenseNet network for remote sensing image scene classification
CN105512661B (zh) 一种基于多模态特征融合的遥感影像分类方法
CN104077599B (zh) 基于深度神经网络的极化sar图像分类方法
CN102622607B (zh) 一种基于多特征融合的遥感图像分类方法
Torralba et al. Sharing features: efficient boosting procedures for multiclass object detection
Pedergnana et al. Classification of remote sensing optical and LiDAR data using extended attribute profiles
CN103955702B (zh) 基于深度rbf网络的sar图像地物分类方法
CN108830330B (zh) 基于自适应特征融合残差网的多光谱图像分类方法
CN104680173B (zh) 一种遥感图像场景分类方法
Liu et al. Multimorphological superpixel model for hyperspectral image classification
CN107316013A (zh) 基于nsct变换和dcnn的高光谱图像分类方法
CN105894030B (zh) 基于分层多特征融合的高分辨率遥感图像场景分类方法
CN110097145A (zh) 一种基于cnn和特征金字塔的交通违禁品识别方法
CN103679191B (zh) 基于静态图片的自动套牌车检测方法
CN106326288A (zh) 图像搜索方法及装置
CN105069478B (zh) 基于超像素张量稀疏编码的高光谱遥感地物分类方法
CN112488050A (zh) 一种结合颜色与纹理的航拍影像场景分类方法和系统
CN109800817A (zh) 基于融合语义神经网络的图像分类方法
CN104636732A (zh) 一种基于序列深信度网络的行人识别方法
CN107832797A (zh) 基于深度融合残差网的多光谱图像分类方法
CN112733912A (zh) 基于多粒度对抗损失的细粒度图像识别方法
CN110119682A (zh) 一种红外遥感图像火点识别方法
CN111488940A (zh) 一种基于深度卷积神经网络的航标图像智能分类方法
CN110807485A (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant