CN112364859B - 一种基于特征优选与融合的多谱段红外目标识别方法 - Google Patents

一种基于特征优选与融合的多谱段红外目标识别方法 Download PDF

Info

Publication number
CN112364859B
CN112364859B CN202011222614.6A CN202011222614A CN112364859B CN 112364859 B CN112364859 B CN 112364859B CN 202011222614 A CN202011222614 A CN 202011222614A CN 112364859 B CN112364859 B CN 112364859B
Authority
CN
China
Prior art keywords
feature
features
fusion
finally
infrared target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011222614.6A
Other languages
English (en)
Other versions
CN112364859A (zh
Inventor
杨春玲
李雨泽
武艳伟
刘光宏
张岩
丛明煜
李坡
于鲲
陈臻炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
CETC Information Science Research Institute
Original Assignee
Harbin Institute of Technology
CETC Information Science Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology, CETC Information Science Research Institute filed Critical Harbin Institute of Technology
Priority to CN202011222614.6A priority Critical patent/CN112364859B/zh
Publication of CN112364859A publication Critical patent/CN112364859A/zh
Application granted granted Critical
Publication of CN112364859B publication Critical patent/CN112364859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于特征优选与融合的多谱段红外目标识别方法，属于图像识别技术领域。与目前研究的红外目标识别方法相比，本发明的方法使用了特征优选方法与特征融合方法。从两个不同的角度降低原始特征空间的冗余信息。训练分类器所需要的特征维度得到了大幅度的降低，提高了分类器的适泛性，在数据规模不是很大的应用场景同样适用。

Description

一种基于特征优选与融合的多谱段红外目标识别方法
技术领域
本发明涉及一种基于特征优选与融合的多谱段红外目标识别方法，属于图像识别技术领域。
背景技术
图像识别，是人工智能的一个重要领域。被广泛应用于军事领域，医疗领域，金融领域等多个行业。对于某些需要全天候工作的应用场景，使用单一的可见光成像识别目标很难满足要求。红外图像是被动成像，在夜间也能够很好的成像，同时极端天气如雾对红外成像的影响较小。因此红外目标识别技术具有较高的研究价值。
目前红外目标识别技术大多是基于机器学习理论设计的。设计高效、鲁棒的图像特征是图像分类任务的核心，识别效果的优劣取决于特征是否能够反映不同目标区别于其他目标的性质。但是在设计图像特征时需要大量的专业知识，而且很难设计出能够广泛应用于多种场景的特征，单一特征的应用场景具有较大的限制性。目前的主要解决方案是通过特征融合算法融合多个特征，充分利用不同特征之间信息的互补性，提高用于分类的特征空间的信息量，可以提高识别算法的鲁棒性。然而，单纯的串联融合会引入大量的冗余信息，这些冗余信息有时会降低分类器的分类精度和泛化能力。
发明内容
本发明的目的是提出一种基于特征优选与融合的多谱段红外目标识别方法，使用迁移学习的方法，通过改进GoogLeNet的网络结构，以解决冗余信息会降低分类器的分类精度和泛化能力的问题。
一种基于特征优选与融合的多谱段红外目标识别方法，所述多谱段红外目标识别方法包括以下步骤：
步骤一、首先提取多谱段红外目标图像多维度特征，提取的特征包括：辐射均值、辐射三阶矩、辐射标准差、辐射一致性、辐射平滑度、局部信息熵、三阶统计量、频域能量最大值、频域能量均值、长宽比、复杂度和紧凑度；
步骤二、使用ReliefF算法对单一谱段特征进行预筛选，生成单一谱段的预筛选特征集 {F短，F中，F长}；
步骤三、使用搜索算法结合分类模型对预筛选特征集{F短，F中，F长}进一步筛选，搜索算法采用序列浮动前向选择算法，结合特征间的相关性辅助选择，根据实际需求确定最后筛选出来的特征集{F}；
步骤四、使用线性判别分析对筛选出来的特征集{F}进一步融合，通过LDA方法求出特征融合矩阵W；
步骤五、进行红外图像识别，从待测试的多谱段红外图像中提取经过步骤三筛选得到的特征集{F}，再使用特征融合矩阵W得到融合后的特征，最后使用机器学习方法进行识别。
进一步的，在步骤二中，具体的，根据各个特征和类别相关性的强弱赋予各特征不同的权重，最后设置阈值，权重大于阈值的特征保留，小于阈值的特征去除，最后生成单一谱段的预筛选特征集{F短，F中，F长}；
进一步的，在步骤三中，具体的，特征子集从空集开始，每轮从余下特征中选择一个特征加入特征子集，分类器性能取得最优，再从待去除特征集中去除一个特征或者不去除特征使得加入新特征后，分类器性能取得最优，以特征间的相关性作为评价准则设置待去除特征集，相关性公式为：式中X1，X2代表两个特征，结合特征相关性的SFFS算法，根据实际需求确定最后筛选出来的特征集{F}。
本发明的主要优点是：相比于目前的红外目标识别方法，本发明使用了多谱段图像信息，提取了多维度特征，能够较为全面地描述目标特性。对于特征空间进行了两次处理，首先通过特征优选算法筛选出更能表征数据特性的特征，降低了识别系统在特征提取上所消耗的时间，提高了识别系统效率，之后在进行特征融合，进一步降低融合特征后的冗余信息。本发明试验过支持向量机(Support Vector Machine，SVM)与K最近邻(K-NearestNeighbor，KNN)算法，均取得较好效果，本发明算法对于不同分类器具有一定的适泛性能。
附图说明
图1是本发明的一种基于特征优选与融合的多谱段红外目标识别方法的方法流程图；
图2是ReliefF算法流程图；
图3是结合特征相关性的SFFS算法；
图4是LDA算法流程图；
图5是步骤四的另一种实施例流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，一种基于特征优选与融合的多谱段红外目标识别方法，所述多谱段红外目标识别方法包括以下步骤：
步骤一、首先提取多谱段红外目标图像多维度特征，提取的特征包括：辐射均值、辐射三阶矩、辐射标准差、辐射一致性、辐射平滑度、局部信息熵、三阶统计量、频域能量最大值、频域能量均值、长宽比、复杂度和紧凑度，提取的特征及其表达式如表1所示：
表1
其中，X表示红外图像，i表示红外图像中第i个灰度级，Pi表示第i个灰度级出现的频率。η是图像像素值的均值，σ是图像像素值的均方差，E(·)为求均值运算，F(·)为傅里叶变换运算。目标最小外接矩形左上顶点坐标为(Top，Left)，右下顶点坐标为(Bottom，Right)，目标边界曲线的周长P，整个目标像素点数为A，Area为目标最小外包矩形面积，Area＝(Right-Left)×(Bottom-Top)；
步骤二、使用ReliefF算法对单一谱段特征进行预筛选，生成单一谱段的预筛选特征集 {F短，F中，F长}；
步骤三、使用搜索算法结合分类模型对预筛选特征集{F短，F中，F长}进一步筛选，搜索算法采用序列浮动前向选择算法(Sequential Floating Forward Selection，SFFS)，结合特征间的相关性辅助选择，根据实际需求确定最后筛选出来的特征集{F}；
步骤四、参照图4所示，使用线性判别分析(Linear Discriminant Analysis，LDA)对筛选出来的特征集{F}进一步融合，通过LDA方法求出特征融合矩阵W；
步骤五、进行红外图像识别，从待测试的多谱段红外图像中提取经过步骤三筛选得到的特征集{F}，再使用特征融合矩阵W得到融合后的特征，最后使用机器学习方法进行识别。本发明试验过支持向量机(Support Vector Machine，SVM)与K最近邻 (K-NearestNeighbor，KNN)算法，均取得较好效果，本发明算法对于不同分类器具有一定的适泛性能。
具体的，在一下情况时：
(1)当不同类别分布中心距离较近，几乎重合；
(2)训练数据不能够获得标签。
步骤四可以用以下操作代替，以获得更好的效果：
参照图5所示，步骤四、使用主成分分析(Principal Component Analysis，PCA)对筛选出来的特征集{F}进一步融合。通过PCA方法求出特征融合矩阵W。
进一步的，在步骤二中，具体的，参照图2所示，根据各个特征和类别相关性的强弱赋予各特征不同的权重，最后设置阈值，权重大于阈值的特征保留，小于阈值的特征去除，最后生成单一谱段的预筛选特征集{F短，F中，F长}；
进一步的，在步骤三中，具体的，特征子集从空集开始，每轮从余下特征中选择一个特征加入特征子集，分类器性能取得最优，再从待去除特征集中去除一个特征或者不去除特征使得加入新特征后，分类器性能取得最优，以特征间的相关性作为评价准则设置待去除特征集，相关性公式为：式中X1，X2代表两个特征，结合特征相关性的SFFS算法，参照图3所示，根据实际需求确定最后筛选出来的特征集{F}。
本发明设计了一种基于特征优选与融合的多谱段红外目标识别方法。与目前研究的红外目标识别方法相比，本发明的方法使用了特征优选方法与特征融合方法。从两个不同的角度降低原始特征空间的冗余信息。训练分类器所需要的特征维度得到了大幅度的降低，提高了分类器的适泛性，在数据规模不是很大的应用场景同样适用。

Claims (3)

1.一种基于特征优选与融合的多谱段红外目标识别方法，其特征在于，所述多谱段红外目标识别方法包括以下步骤：
步骤一、首先提取多谱段红外目标图像多维度特征，提取的特征包括：辐射均值、辐射三阶矩、辐射标准差、辐射一致性、辐射平滑度、局部信息熵、三阶统计量、频域能量最大值、频域能量均值、长宽比、复杂度和紧凑度；
步骤二、使用ReliefF算法对单一谱段特征进行预筛选，生成单一谱段的预筛选特征集{F短，F中，F长}；
步骤三、使用搜索算法结合分类模型对预筛选特征集{F短，F中，F长}进一步筛选，搜索算法采用序列浮动前向选择算法，结合特征间的相关性辅助选择，根据实际需求确定最后筛选出来的特征集{F}；
步骤四、使用线性判别分析对筛选出来的特征集{F}进一步融合，通过LDA方法求出特征融合矩阵W；
步骤五、进行红外图像识别，从待测试的多谱段红外图像中提取经过步骤三筛选得到的特征集{F}，再使用特征融合矩阵W得到融合后的特征，最后使用机器学习方法进行识别。
2.根据权利要求1所述的一种基于特征优选与融合的多谱段红外目标识别方法，其特征在于，在步骤二中，具体的，根据各个特征和类别相关性的强弱赋予各特征不同的权重，最后设置阈值，权重大于阈值的特征保留，小于阈值的特征去除，最后生成单一谱段的预筛选特征集{F短，F中，F长}。
3.根据权利要求1所述的一种基于特征优选与融合的多谱段红外目标识别方法，其特征在于，在步骤三中，具体的，特征子集从空集开始，每轮从余下特征中选择一个特征加入特征子集，分类器性能取得最优，再从待去除特征集中去除一个特征或者不去除特征使得加入新特征后，分类器性能取得最优，以特征间的相关性作为评价准则设置待去除特征集，相关性公式为：式中X1，X2代表两个特征，结合特征相关性的SFFS算法，根据实际需求确定最后筛选出来的特征集{F}。
CN202011222614.6A 2020-11-05 2020-11-05 一种基于特征优选与融合的多谱段红外目标识别方法 Active CN112364859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011222614.6A CN112364859B (zh) 2020-11-05 2020-11-05 一种基于特征优选与融合的多谱段红外目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011222614.6A CN112364859B (zh) 2020-11-05 2020-11-05 一种基于特征优选与融合的多谱段红外目标识别方法

Publications (2)

Publication Number Publication Date
CN112364859A CN112364859A (zh) 2021-02-12
CN112364859B true CN112364859B (zh) 2024-03-19

Family

ID=74508477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011222614.6A Active CN112364859B (zh) 2020-11-05 2020-11-05 一种基于特征优选与融合的多谱段红外目标识别方法

Country Status (1)

Country Link
CN (1) CN112364859B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292246A (zh) * 2017-06-05 2017-10-24 河海大学 基于hog‑pca和迁移学习的红外人体目标识别方法
CN108596154A (zh) * 2018-05-14 2018-09-28 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN109583482A (zh) * 2018-11-13 2019-04-05 河海大学 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292246A (zh) * 2017-06-05 2017-10-24 河海大学 基于hog‑pca和迁移学习的红外人体目标识别方法
CN108596154A (zh) * 2018-05-14 2018-09-28 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN109583482A (zh) * 2018-11-13 2019-04-05 河海大学 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法

Also Published As

Publication number Publication date
CN112364859A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN106845510B (zh) 基于深度层级特征融合的中国传统视觉文化符号识别方法
WO2019169816A1 (zh) 一种用于精细化识别车辆属性的深度神经网络及训练方法
US9679226B1 (en) Hierarchical conditional random field model for labeling and segmenting images
Liu et al. Nonparametric scene parsing: Label transfer via dense scene alignment
US8675974B2 (en) Image processing apparatus and image processing method
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN110298376B (zh) 一种基于改进b-cnn的银行票据图像分类方法
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN110728192A (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
Bhunia et al. Text recognition in scene image and video frame using color channel selection
KR101777601B1 (ko) 초서체 또는 흘림체로 작성된 문자의 판별 방법 및 시스템
CN103761531A (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN102208038A (zh) 基于视觉词典的图像分类方法
CN104252625A (zh) 样本自适应多特征加权的遥感图像分类方法
CN111461039A (zh) 基于多尺度特征融合的地标识别方法
CN112464983A (zh) 一种用于苹果树叶病害图像分类的小样本学习方法
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
Cheng et al. Hyperspectral image classification via spectral-spatial random patches network
CN112200186A (zh) 基于改进yolo_v3模型的车标识别方法
Sellami et al. Spectra-spatial graph-based deep restricted boltzmann networks for hyperspectral image classification
Li et al. Method research on ship detection in remote sensing image based on Yolo algorithm
CN110188864B (zh) 基于分布表示和分布度量的小样本学习方法
Zhao et al. Combining multiple SVM classifiers for adult image recognition
Sahli et al. Robust vehicle detection in low-resolution aerial imagery
Yang et al. An unsupervised hyperspectral band selection method based on shared nearest neighbor and correlation analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant