CN112990314B - 基于改进孤立森林算法的高光谱图像异常检测方法及装置 - Google Patents

基于改进孤立森林算法的高光谱图像异常检测方法及装置 Download PDF

Info

Publication number
CN112990314B
CN112990314B CN202110279476.3A CN202110279476A CN112990314B CN 112990314 B CN112990314 B CN 112990314B CN 202110279476 A CN202110279476 A CN 202110279476A CN 112990314 B CN112990314 B CN 112990314B
Authority
CN
China
Prior art keywords
hyperspectral image
hyperspectral
isolated forest
image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110279476.3A
Other languages
English (en)
Other versions
CN112990314A (zh
Inventor
宋向宇
何斌
聂婷
毕国玲
李明轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202110279476.3A priority Critical patent/CN112990314B/zh
Publication of CN112990314A publication Critical patent/CN112990314A/zh
Application granted granted Critical
Publication of CN112990314B publication Critical patent/CN112990314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及高光谱遥感图像异常检测领域，具体涉及一种基于改进孤立森林算法的高光谱图像异常检测方法及装置，方法包括：对高光谱图像数据立方体进行降维处理，得到第一主成分；基于第一主成分所呈现的地物信息，将高光谱图像分割成若干个子区域；对高光谱图像进行归一化处理，将每个像元在各波段的灰度值映射至(0，1]内；基于高光谱图像的图像分割结果，利用的孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测；根据检测计算每个像元的异常得分，得到检测结果。本发明基于改进孤立森林算法的高光谱图像异常检测方法及装置提高高光谱图像中光谱信息的利用率，提高异常检测精度。

Description

基于改进孤立森林算法的高光谱图像异常检测方法及装置
技术领域
本发明涉及高光谱遥感图像异常检测领域，具体而言，涉及一种基于改进孤立森林算法的高光谱图像异常检测方法及装置。
背景技术
高光谱遥感是高光谱分辨率遥感的简称，可同时获取描述地物分布的二维空间信息与描述地物光谱特性的一维光谱信息，其光谱分辨率为纳米级。高光谱遥感图像具有丰富且细致的地物光谱信息，广泛应用于农业生产、环境保护等领域。其中，异常目标检测是高光谱遥感图像的重要应用之一，也是该领域的研究热点之一。高光谱图像异常检测可在没有感应到目标先验信息的情况下，探测出在光谱维或空间维与多数背景地物存在明显差异的目标或像元。例如，草地上行驶的车辆、海洋上的舰船或石油泄漏点、机场停放的飞机等为异常目标，而草地、海洋和机场为背景地物。
传统的高光谱图像异常检测方法核心是对背景地物的精确建模，即致力于研究如何更优的定义背景、如何更优的描述背景地物的数学分布或如何更优的表示背景，从而根据得到的背景模型准确的识别出与之存在明显差异的像元。然而，高光谱数据背景地物中异常目标的存在极大的影响着背景建模精度，进而影响着异常目标和背景地物的可区分性。
近年来孤立森林算法被引入到高光谱数据异常检测中来，取得了较好的检测效果；然而现有技术通常存在以下几个个问题：
(1)现有传统高光谱异常算法由于背景精确建模的巨大挑战而导致异常目标检测效果不理想这一问题；
(2)原始孤立森林算法每次对数据空间的切分操作，都是随机选取一个维度，建完树后仍有大量的维度信息未被使用，进而导致算法可靠性不足，故不适用高维数据；
(3)孤立森林算法的运行机制和对异常得分的定义仅对全局异常点敏感，不擅长处理局部异常点；
(4)只利用了高光谱数据立方体的光谱维信息，未考虑空间维信息。
发明内容
本发明实施例提供了一种基于改进孤立森林算法的高光谱图像异常检测方法及装置，以至少解决现有高光谱图像中异常检测精度低的技术问题。
根据本发明的一实施例，提供了一种基于改进孤立森林算法的高光谱图像异常检测方法，包括以下步骤：
基于高光谱遥感图像构建高达上百维的高光谱图像数据立方体；
对高达上百维的高光谱图像数据立方体进行降维处理，得到高光谱图像的第一主成分；
基于高光谱图像的第一主成分所呈现的地物信息，将高光谱图像分割成若干个子区域；
对高光谱图像进行归一化处理，将每个像元在各波段的灰度值映射至(0，1]内；
基于高光谱图像分割成若干个子区域得到的图像分割结果，利用的孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测；
基于检测计算每个像元的异常得分，得到检测结果。
进一步地，在对高达上百维的高光谱图像数据立方体进行降维处理，得到高光谱图像的第一主成分中包括：基于主成分分析方法对高达上百维的高光谱图像数据立方体进行降维处理并选取第一主成分。
进一步地，基于阈值的图像分割方法对第一主成分图像进行分割。
进一步地，应用(0，1)标准化方法对高光谱图像数据进行归一化。
进一步地，在基于高光谱图像分割成若干个子区域得到的图像分割结果，利用孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测中包括：
将孤立森林算法面向高光谱图像数据进行改进，对改进后的孤立森林中的多课二叉树进行训练；
将改进后的孤立森林中的每棵树都进行改进并组成森林，直至改进后孤立森林模型训练完毕；
将待测高光谱图像的所有像元输入至改进后的孤立森林模型中进行检测。
进一步地，改进孤立森林算法的训练步骤包括：
S301：从高光谱图像数据中随机选取像元作为训练子集；
S302：在训练子集中随机取若干个特征确定一个截距向量；
S303：构造向量，并将构造的向量与随机选取的若干个特征对应的坐标置1，其余坐标置0；
S304：根据训练判别公式对训练子集中的所有像元进行分类，将满足训练判别公式的像元分类至左子结点，将不满足的像元分类至右子结点；
S305：对于左子结点和右子结点分别重复步骤S302至S304，直至满足预设条件。
进一步地，预设条件为：
结点中的像元个数达到预设的最小个数K；
树的最大高度已经达到预设的最大高度L。
进一步地，在基于检测计算每个像元的异常得分，得到检测结果中包括：
计算高光谱图像中所有像元被每一棵二叉树分割后的异常得分；
求像元被孤立森林算法中所有二叉树分割后异常得分的平均值。
根据本发明的另一实施例，提供了一种基于包括基于改进孤立森林算法的高光谱图像异常检测装置，包括：
降维处理模块，用于对高达上百维的高光谱图像数据立方体进行降维处理，得到高光谱图像的第一主成分；
图像分割模块，用于基于高光谱图像的第一主成分所呈现的地物信息，将高光谱图像分割成若干个子区域；
归一化处理模块，用于对高光谱图像进行归一化处理，将每个像素在各波段的灰度值映射至(0，1]内；
图像检查模块，用于基于高光谱图像分割成若干个子区域得到的图像分割结果，利用孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测；
像元计算模块，用于基于检测计算每个像元的异常得分，得到检测结果。
进一步地，基于主成分分析方法对高达上百维的高光谱图像数据立方体进行降维处理。
本发明实施例中的基于改进孤立森林算法的高光谱图像异常检测方法及装置中对高达上百维的高光谱图像数据立方体进行降维处理，得到高光谱图像的第一主成分；基于高光谱图像的第一主成分所呈现的地物信息，将高光谱图像分割成若干个子区域；对高光谱图像进行归一化处理，将每个像素在各波段的灰度值映射至(0，1]内；基于高光谱图像的分割结果，并利用孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测并计算每个像元的异常得分，得到检测结果，本发明基于孤立森林算法面向高光谱图像数据并进行降维处理，从而提高高光谱图像中光谱信息的利用率，提高异常检测精度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于改进孤立森林算法的高光谱图像异常检测方法的流程图；
图2为本发明中对经归一化后的高光谱图像进行检测流程图；
图3为本发明中改进孤立森林算法的训练流程图；
图4为本发明中孤立森林模型中二叉树(iTree)的结构示意图；
图5A为本发明具体实施方式中高光谱遥感图像的灰度图；
图5B为本发明具体实施方式中异常目标真实分布图；
图6A为本发明具体实施方式中高光谱遥感图像降维后第一主成分图；
图6B为本发明具体实施方式中高光谱遥感图像分割后的结果图；
图7A为本发明具体实施方式中采用现有高光谱图像异常检测领域的经典算法RX方法得到的异常检测结果图；
图7B为本发明具体实施方式中采用现有基于孤立森林模型方法得到的异常检测结果图；
图7C为本发明具体实施方式中采用本发明所提供基于改进的孤立森林模型方法得到的异常检测结果图；
图8为本发明具体实施方式中高光谱遥感图像在不同方法下的ROC曲线图；
图9为本发明具体实施方式中高光谱图像在不同方法下的AUC值图；
图10为本发明基于改进孤立森林算法的高光谱图像异常检测装置的原理图。
附图标记：100-图像数据构建模块、200-降维处理模块、300-图像分割模块、400-归一化处理模块、500-图像检查模块、600-像元计算模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明一实施例，提供了一种基于改进孤立森林算法的高光谱图像异常检测方法，参见图1，包括以下步骤：
S101：基于高光谱遥感图像构建高达上百维的高光谱图像数据立方体；
S102：对高达上百维的高光谱图像数据立方体进行降维处理，得到高光谱图像的第一主成分；
S103：基于高光谱图像的第一主成分所呈现的地物信息，将高光谱图像分割成若干个子区域；
S104：对高光谱图像进行归一化处理，将每个像素在各波段的灰度值映射至(0，1]内；
S105：基于高光谱图像分割成若干个子区域得到的图像分割结果，利用孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测；
S106：基于检测计算每个像元的异常得分，得到检测结果。
本发明实施例中的基于改进孤立森林算法的高光谱图像异常检测方法及装置中对高达上百维的高光谱图像数据立方体进行降维处理，得到高光谱图像的第一主成分；基于高光谱图像的第一主成分所呈现的地物信息，将高光谱图像分割成若干个子区域；对高光谱图像进行归一化处理，将每个像素在各波段的灰度值映射至(0，1]内；基于高光谱图像的分割结果，并利用孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测并计算每个像元的异常得分，得到检测结果，本发明随机选取高光谱图像数据并进行降维处理，从而提高高光谱图像中光谱信息的利用率，提高异常检测精度。
具体地，高光谱图像数据立方体X∈RH×W×D，H代表图像高度也即像元行数，W代表图像宽度也即像元列数，D代表波段总数也即像元特征维度。本发明将高光谱数据转换为X∈RN×D进行处理，其中N＝H×W是图像的像元总数，D是高光谱图像的波段总数，即将高光谱图像的N个像元看作N个向量，而每个向量有D个坐标，故图像所有像元样本可表示为
Figure BDA0002978143980000071
作为优选的技术方案中，在对高达上百维的高光谱图像数据立方体进行降维处理，得到高光谱图像的第一主成分中包括：基于主成分分析方法(PCA，PrincipalComponents Analysis)对高达上百维的高光谱图像数据立方体进行降维处理并选取第一主成分。
具体地，主成分分析方法步骤如下：
步骤一：随机选取n个维度构造集合{x1,x2,…,xn}，计算该集合的协方差矩阵∑，协方差矩阵计算公式为：
Figure BDA0002978143980000081
Figure BDA0002978143980000082
其中，
Figure BDA0002978143980000083
为集合内变量的均值，i＝1,2…,n，T为应用最大类间方差法计算得到阈值。
步骤二：求协方差矩阵∑的最大特征值相对应的单位特征向量v1。
步骤三：用特征向v1量组成投影矩阵V＝[v1]。
步骤四：计算降维后的向量
Figure BDA0002978143980000084
计算公式为
Figure BDA0002978143980000085
所得到的
Figure BDA0002978143980000086
分别为输入量x1,x2,…,xn降维后的向量。
步骤五：得到第一主成分图像X1∈RH×W。
作为优选的技术方案中，基于阈值的图像分割方法对第一主成分图像进行分割。
具体地，高光谱图像分割成若干个子区域的具体步骤如下：
步骤一：应用最大类间方差法(OTSU)计算得到阈值T。
步骤二：灰度值大于或等于阈值T的像元归为目标类，灰度值小于阈值T的像元归为背景类。
步骤三：对背景类再次重复步骤一和步骤二，直至达到最大背景类个数B。
步骤四：保存分割完成后各子区域的索引，以用于后续在各子区域内进行异常检测。
作为优选的技术方案中，应用(0，1)标准化方法对高光谱图像数据进行归一化。
进一步地，应用(0，1)标准化方法对高光谱图像数据X∈RN×D进行归一化，具体地计算公式为：
Figure BDA0002978143980000091
其中，X*是归一化处理后的高光谱图像数据，Xmin是其最小值，Xmax是其最大值。
作为优选的技术方案中，参见图2，基于高光谱图像分割成若干个子区域得到的图像分割结果，利用孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测中包括：
S201：将孤立森林算法面向高光谱图像数据进行改进，对改进后的孤立森林中的多课二叉树进行训练；
S202：将孤立森林中的每棵树都进行改进并组成森林，直至改进后孤立森林模型训练完毕；
S203：将待测高光谱图像的所有像元输入至改进后的孤立森林模型中进行检测。
具体地，孤立森林算法中包含很多棵树，每棵树都为二叉树，称为iTree，其结构示意图参见图3；二叉树iTree中的结点分为叶结点(leaf node)、内部子结点(internalnode)和根结点(root node)；其中，根结点为树最顶端的结点，是树的起始点；每个内部子结点又可分为左右两个子结点；不断细分直至不可再分出子结点时称为叶结点。本实施例中，将原孤立森林算法面向高光谱数据改进后，对孤立森林中的多棵二叉树iTree进行训练。
作为优选的技术方案中，参见图4，改进孤立森林算法的训练步骤包括：
S301：从高光谱图像数据中随机选取像元作为训练子集；
S302：在训练子集中随机取若干个特征确定一个截距向量；
S303：构造向量，并将构造的向量与随机选取的若干个特征对应的坐标置1，其余坐标置0；
S304：根据训练判别公式对训练子集中的所有像元进行分类，将满足判别公式的像元分类至左子结点，将不满足的像元分类至右子结点；
S305：对于左子结点和右子结点分别重复步骤S302至S304，直至满足预设条件。
下面以具体实施例，对本发明的改进孤立森林算法的训练步骤进行详细说明：
第一步：从高光谱图像数据X∈RN×D中随机选取30％的像元，即0.3×N个像元作为训练子集Xsub∈R0.3N×D，每训练一棵树重复一次此随机选取子集步骤，即孤立森林中的每棵树都是由随机选取的不同子集训练而来，故每棵树都是不同的。
第二步：在训练子集Xsub中随机选取的d(d＜D)个特征，随机确定一个截距向量
Figure BDA0002978143980000101
其中，
Figure BDA0002978143980000102
第三部：构造向量
Figure BDA0002978143980000103
并根据第二步中随机确定的d个特征，将向量
Figure BDA0002978143980000104
与随机选取的d个特征对应的坐标置1，其余坐标置0。例如，随机选取了Xsub的第2、第3和第5维特征，则此时将向量
Figure BDA0002978143980000108
与随机选取的d个特征对应的坐标置1，其余坐标置0，即
Figure BDA0002978143980000105
第四步：根据训练判别公式对Xsub中所有像元
Figure BDA0002978143980000106
进行分类，将满足训练判别公式的像元xsubi分类至左子结点，将不满足的像元分类至右子结点；也即将判别值
Figure BDA0002978143980000107
小于等于零的像元放在左子结点，将判别值δi大于零的放在右子结点。
优选地，训练判别公式为：
Figure BDA0002978143980000111
其中，xsub为训练子集Xsub中的像元，i为正整数，xsubi为第i个像元。
第五步：对于左子结点和右子结点分别重复步骤S302至S304，直至满足预设条件。
作为优选的技术方案中，预设条件为：
结点中的像元个数达到预设的最小个数K；
树的最大高度已经达到预设的最大高度L。
作为优选的技术方案中，在基于检测计算每个像元的异常得分，得到检测结果中包括：
计算高光谱图像中所有像元被每一棵二叉树分割后的异常得分；
求像元被孤立森林算法中所有二叉树分割后异常得分的平均值。
具体地，计算每个像元的异常得分的详细过程如下：
先计算高光谱图像中所有像元被每一棵二叉树分割后的异常得分，然后求该像元被孤立森林中所有二叉树分割后异常得分的平均值。具体应用高光谱图像异常计算公式计算每个像元在第i棵树的异常得分，高光谱图像异常计算公式为：
Figure BDA0002978143980000112
其中，Ti(x)是指像元x经第i棵二叉树分割后所在的叶结点，Ti(x)是叶结点，
Figure BDA0002978143980000113
是叶结点Ti(x)的直接父结点，m(·)是结点中包含的像元的个数，
Figure BDA0002978143980000114
是归一化系数、作用是使得si(·)的取值范围为(0,1]。
进一步地，像元x在孤立森林中异常得分的平均值由异常得分计算公式计算得到，异常得分计算公式为：
Figure BDA0002978143980000121
其中，t是孤立森林中预设的二叉树的棵数。
显然地，最终异常得分S(x)的值越大，像元x是异常点的概率越大。
参见5A至图9所示，本实施例中现以主频3.00GHz*8的Intel(R)Core(TM)i7-9700CPU、内存为16GB的硬件环境和MATLAB2017b的软件环境下为例进行详细说明。
参见图5A和图5B，选用获得的高光谱遥感图像数据作为实验数据集，该高光谱数据由AVIRIS传感器获得，预处理后共包含202个波段信息；该实验数据X∈R100×100×202截取了原始图像中100×100个像元的区域，将图像中三架飞机作为异常目标，图5A是该数据集第100波段的灰度图；图5B是异常目标分布图。
参见图6A和图6B，将实验数据转化为X∈R10000×202的形式进行处理，即转化为10000行202列的矩阵[X]10000×202进行处理；其中，矩阵的10000行代表图像的10000个像元；换言之，每个行向量代表图像的一个像元，且每个行向量由202个坐标组成，对应高光谱数据的202个波段。利用主成分分析(PCA)将原始数据[X]10000×202降维至只包含第一主成分的数据[X]10000×1。降维后所得第一主成分所表示的图像参照图6A；将其与图5A对比可以发现，降维后的图像在大大降低数据维度的同时，较好的保留了原始图像的空间信息。进一步地，参照图6B，基于上述所得第一主成分图像，利用基于阈值的方法进行图像分割，将原始100×100大小的图像划分为五个子区域，并记录每个子区域的索引。
参见图7A至图7C，是高光谱图像在不同方法下的检测结果对比图；在对实验数据X∈R10000×202归一化后，按照上述步骤得到的分割索引，将高光谱数据[X]10000×202划分为[XC1]1273×202、[XC2]1451×202、[XC3]1627×202、[XC4]1368×202、[XC5]1661×202五个子区域。进一步地，在每个子区域内应用面向高光谱数据改进后的孤立森林算法，计算该子区域内每个像元的异常得分；进而得到整幅图像10000个像元各自的异常得分；最终得到如图7C所示的高光谱图像的异常目标检测结果。参照图7A至图7C可知，本发明提供的方法所得检测结果在视觉上具有异常目标(三架飞机)更清晰、背景信息压制效果更好的特点，视觉效果明显优于高光谱图像异常检测领域的经典算法RX算法所得如图7A所示的检测结果；而且，在不使用核变换进而极大降低计算复杂度的情况下，检测效果优于如图7B所示现有基于孤立森林模型的方法。
参见图8，其中，KIF代表现有基于孤立森林模型的方法，SSOIF代表本发明所提供的方法，RX代表现有高光谱图像异常检测领域的经典算法RX方法；本发明提供的方法不仅在主观视觉效果上优于现有算法，在客观评价指标上也具备优势。具体地，本发明所提供基于改进孤立森林算法的高光谱异常检测方法；参照图8，与现有方法进行比较，在横坐标一定时，本发明所得的纵坐标值更大；在纵坐标一定时，本发明所得横坐标值更小。也即，在相同虚警率时，本发明具有更高的检测率；在相同检测率时，本发明具有更低的虚警率。
参见图9，其中，KIF代表现有基于孤立森林模型的方法，SSOIF代表本发明所提供的方法，；考察图8所示ROC曲线下面积(Area Under Curve，AUC)这一定量评价异常检测效果的指标，本发明所提供的方法因为在充分利用高光谱数据丰富的光谱信息的同时，也将其空间信息考虑在内辅助检测，对孤立森林算法面向高光谱数据进行了有针对性的改进；故在不使用核变换，进而大大降低计算复杂度的情况下，检测能力仍然优于现有基于孤立森林模型的算法，优于高光谱异常检测的经典算法RX算法。
实施例2
根据本发明的另一实施例，提供了一种基于改进孤立森林算法的高光谱图像异常检测装置，参见图10，包括：
图像数据构建模块100，用于基于高光谱遥感图像构建高达上百维的高光谱图像数据立方体；
降维处理模块200，用于对高达上百维的高光谱图像数据立方体进行降维处理，得到高光谱图像的第一主成分；
图像分割模块300，用于基于高光谱图像的第一主成分所呈现的地物信息，将高光谱图像分割成若干个子区域；
归一化处理模块400，用于对高光谱图像进行归一化处理，将每个像素在各波段的灰度值映射至(0，1]内；
图像检查模块500，用于基于高光谱图像分割成若干个子区域得到的图像分割结果，利用孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测；
像元计算模块600，用于基于检测计算每个像元的异常得分，得到检测结果。
本发明实施例中的基于改进孤立森林算法的高光谱图像异常检测方法及装置中对高达上百维的高光谱图像数据立方体进行降维处理，得到高光谱图像的第一主成分；基于高光谱图像的第一主成分所呈现的地物信息，将高光谱图像分割成若干个子区域；对高光谱图像进行归一化处理，将每个像素在各波段的灰度值映射至(0，1]内；基于高光谱图像的分割结果，并利用孤立森林算法在每个子区域内对经归一化后的高光谱图像进行检测并计算每个像元的异常得分，得到检测结果，本发明随机选取高光谱图像数据并进行降维处理，从而提高高光谱图像中光谱信息的利用率，提高异常检测精度。
作为优选的技术方案中，基于主成分分析方法对高达上百维的高光谱图像数据立方体进行降维处理。
为了改善现有技术的不足，本发明提供一种基于改进孤立森林算法的高光谱图像异常检测方法及装置的优点在于：
(1)本发明利用改进的孤立森林算法设计高光谱图像异常检测方法，不需要对背景进行建模，提高了检测效果。
(2)本发明将其改进为随机选取n个维度，从而提高高光谱图像中光谱信息的利用率，提高异常检测精度。
(3)本发明通过改进孤立森林算法的异常得分表达式，用像元所在叶结点与其直接父结点的相对质量，代替像元在每棵树的高度，作为量化该像元异常程度的指标，进而使得算法对局部异常点敏感。
(4)针对现有技术最终异常检测结果中，空间维所占比重大于光谱维比重这一问题，本发明在充分利用高光谱图像中光谱信息的同时，也将其空间信息考虑在内，并且改善两者在最终异常检测结果中所占比重，使最终异常检测结果被光谱维决定，被空间维在一定范围内影响。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.基于改进孤立森林算法的高光谱图像异常检测方法，其特征在于，包括以下步骤：
基于高光谱遥感图像构建高达上百维的高光谱图像数据立方体；
对高达上百维的所述高光谱图像数据立方体进行降维处理，得到所述高光谱图像的第一主成分；
基于所述高光谱图像的所述第一主成分所呈现的地物信息，将所述高光谱图像分割成若干个子区域；
对所述高光谱图像进行归一化处理，将每个像元在各波段的灰度值映射至(0，1]内；
基于所述高光谱图像分割成若干个子区域得到的图像分割结果，利用孤立森林算法在每个子区域内对经归一化后的所述高光谱图像进行检测；
基于检测计算每个像元的异常得分，得到检测结果；
在所述对高达上百维的高光谱图像数据立方体进行降维处理，得到所述高光谱图像的第一主成分中包括：
基于主成分分析方法对高达上百维的所述高光谱图像数据立方体进行降维处理并选取所述第一主成分；
主成分分析方法步骤如下：
步骤一：随机选取n个维度构造集合{x1,x2,…,xn}，计算该集合的协方差矩阵∑，协方差矩阵计算公式为：
Figure FDA0003901487050000011
Figure FDA0003901487050000012
其中，
Figure FDA0003901487050000021
为集合内变量的均值，i＝1,2…,n，T为应用最大类间方差法计算得到阈值；
步骤二：求协方差矩阵∑的最大特征值相对应的单位特征向量v1；
步骤三：用特征向量v1组成投影矩阵V＝[v1]；
步骤四：计算降维后的向量
Figure FDA0003901487050000022
计算公式为
Figure FDA0003901487050000023
所得到的
Figure FDA0003901487050000024
分别为输入量x1,x2,…,xn降维后的向量；
步骤五：得到第一主成分图像X1∈RH×W；
计算每个像元的异常得分的过程为：
先计算高光谱图像中所有像元被每一棵二叉树分割后的异常得分，然后求该像元被孤立森林中所有二叉树分割后异常得分的平均值；
具体应用高光谱图像异常计算公式计算每个像元在第i棵树的异常得分，高光谱图像异常计算公式为：
Figure FDA0003901487050000025
其中，Ti(x)是指像元x经第i棵二叉树分割后所在的叶结点，Ti(x)是叶结点，
Figure FDA0003901487050000026
是叶结点Ti(x)的直接父结点，m(·)是结点中包含的像元的个数，
Figure FDA0003901487050000027
是归一化系数、作用是使得si(·)的取值范围为(0,1]；
像元x在孤立森林中异常得分的平均值由异常得分计算公式计算得到，异常得分计算公式为：
Figure FDA0003901487050000028
其中，t是孤立森林中预设的二叉树的棵数；
最终异常得分S(x)的值越大，像元x是异常点的概率越大。
2.根据权利要求1所述的基于改进孤立森林算法的高光谱图像异常检测方法，其特征在于，基于阈值的图像分割方法对所述第一主成分图像进行分割。
3.根据权利要求1所述的基于改进孤立森林算法的高光谱图像异常检测方法，其特征在于，应用(0，1)标准化方法对所述高光谱图像数据进行归一化。
4.根据权利要求1所述的基于改进孤立森林算法的高光谱图像异常检测方法，其特征在于，在所述基于所述高光谱图像分割成若干个子区域得到的图像分割结果，利用孤立森林算法在每个子区域内对经归一化后的所述高光谱图像进行检测中包括：
将所述孤立森林算法面向所述高光谱图像数据进行改进，对改进后的所述孤立森林中的多课二叉树进行训练；
将改进后的所述孤立森林中的每棵树都进行改进并组成森林，直至改进后所述孤立森林模型训练完毕；
将待测高光谱图像的所有像元输入至改进后的所述孤立森林模型中进行检测。
5.根据权利要求4所述的基于改进孤立森林算法的高光谱图像异常检测方法，其特征在于，改进所述孤立森林算法的训练步骤包括：
S301：从所述高光谱图像数据中随机选取像元作为训练子集；
S302：在所述训练子集中随机取若干个特征确定一个截距向量；
S303：构造向量，并将构造的所述向量与随机选取的若干个所述特征对应的坐标置1，其余坐标置0；
S304：根据训练判别公式对所述训练子集中的所有像元进行分类，将满足训练判别公式的像元分类至左子结点，将不满足的像元分类至右子结点；
S305：对于左子结点和右子结点分别重复步骤S302至S304，直至满足预设条件。
6.根据权利要求5所述的基于改进孤立森林算法的高光谱图像异常检测方法，其特征在于，所述预设条件为：
结点中的像元个数达到预设的最小个数K；
树的最大高度已经达到预设的最大高度L。
7.根据权利要求1所述的基于改进孤立森林算法的高光谱图像异常检测方法，其特征在于，在所述基于检测计算每个像元的异常得分，得到检测结果中包括：
计算所述高光谱图像中所有像元被每一棵二叉树分割后的异常得分；
求所述像元被所述孤立森林算法中所有二叉树分割后异常得分的平均值。
8.基于改进孤立森林算法的高光谱图像异常检测装置，其特征在于，包括：
图像数据构建模块，用于基于高光谱遥感图像构建高达上百维的高光谱图像数据立方体；
降维处理模块，用于对高达上百维的高光谱图像数据立方体进行降维处理，得到所述高光谱图像的第一主成分；
图像分割模块，用于基于所述高光谱图像的所述第一主成分所呈现的地物信息，将所述高光谱图像分割成若干个子区域；
归一化处理模块，用于对所述高光谱图像进行归一化处理，将每个像素在各波段的灰度值映射至(0，1]内；
图像检查模块，用于基于所述高光谱图像分割成若干个子区域得到的图像分割结果，利用孤立森林算法在每个子区域内对经归一化后的所述高光谱图像进行检测；
像元计算模块，用于基于据检测计算每个像元的异常得分，得到检测结果；
所述降维处理模块基于主成分分析方法对高达上百维的所述高光谱图像数据立方体进行降维处理；
主成分分析方法步骤如下：
步骤一：随机选取n个维度构造集合{x1,x2,…,xn}，计算该集合的协方差矩阵∑，协方差矩阵计算公式为：
Figure FDA0003901487050000051
Figure FDA0003901487050000052
其中，
Figure FDA0003901487050000053
为集合内变量的均值，i＝1,2…,n，T为应用最大类间方差法计算得到阈值；
步骤二：求协方差矩阵∑的最大特征值相对应的单位特征向量v1；
步骤三：用特征向v1量组成投影矩阵V＝[v1]；
步骤四：计算降维后的向量
Figure FDA0003901487050000054
计算公式为
Figure FDA0003901487050000055
所得到的
Figure FDA0003901487050000056
分别为输入量x1,x2,…,xn降维后的向量；
步骤五：得到第一主成分图像X1∈RH×W；
计算每个像元的异常得分的过程为：
先计算高光谱图像中所有像元被每一棵二叉树分割后的异常得分，然后求该像元被孤立森林中所有二叉树分割后异常得分的平均值；
具体应用高光谱图像异常计算公式计算每个像元在第i棵树的异常得分，高光谱图像异常计算公式为：
Figure FDA0003901487050000061
其中，Ti(x)是指像元x经第i棵二叉树分割后所在的叶结点，Ti(x)是叶结点，
Figure FDA0003901487050000062
是叶结点Ti(x)的直接父结点，m(·)是结点中包含的像元的个数，
Figure FDA0003901487050000063
是归一化系数、作用是使得si(·)的取值范围为(0,1]；
像元x在孤立森林中异常得分的平均值由异常得分计算公式计算得到，异常得分计算公式为：
Figure FDA0003901487050000064
其中，t是孤立森林中预设的二叉树的棵数；
最终异常得分S(x)的值越大，像元x是异常点的概率越大。
CN202110279476.3A 2021-03-16 2021-03-16 基于改进孤立森林算法的高光谱图像异常检测方法及装置 Active CN112990314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110279476.3A CN112990314B (zh) 2021-03-16 2021-03-16 基于改进孤立森林算法的高光谱图像异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110279476.3A CN112990314B (zh) 2021-03-16 2021-03-16 基于改进孤立森林算法的高光谱图像异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN112990314A CN112990314A (zh) 2021-06-18
CN112990314B true CN112990314B (zh) 2023-04-18

Family

ID=76335726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110279476.3A Active CN112990314B (zh) 2021-03-16 2021-03-16 基于改进孤立森林算法的高光谱图像异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN112990314B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627521A (zh) * 2021-08-09 2021-11-09 西华大学 基于孤立森林法的物流无人机异常行为智能识别方法
CN115880490B (zh) * 2022-11-21 2023-10-27 广东石油化工学院 一种基于孤立森林的火焰分割方法
CN116758361B (zh) * 2023-08-22 2023-10-27 中国铁路设计集团有限公司 基于空间与光谱联合特征的工程岩组遥感分类方法及系统
CN117853931B (zh) * 2024-03-04 2024-05-14 中国铁路设计集团有限公司 基于最近邻距离的高光谱图像孤立异常检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614992A (zh) * 2018-03-19 2018-10-02 中国地质大学（武汉） 一种高光谱遥感图像的分类方法、设备及存储设备
CN108985632A (zh) * 2018-07-16 2018-12-11 国网上海市电力公司 一种基于孤立森林算法的用电数据异常检测模型
CN110443125A (zh) * 2019-06-27 2019-11-12 武汉大学 一种基于判别森林子空间选择的高光谱异常探测方法
CN111127448A (zh) * 2019-12-26 2020-05-08 西南交通大学 一种基于孤立森林检测空气弹簧故障的模型及方法
CN111666169A (zh) * 2020-05-13 2020-09-15 云南电网有限责任公司信息中心 一种基于改进的孤立森林算法和高斯分布的联合数据异常检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948669B (zh) * 2019-03-04 2021-07-13 腾讯科技（深圳）有限公司 一种异常数据检测方法及装置
CA3085092A1 (en) * 2019-06-27 2020-12-27 Royal Bank Of Canada System and method for detecting data drift
CN110929643B (zh) * 2019-11-21 2022-04-26 西北工业大学 一种基于多特征和孤立树的高光谱异常检测方法
CN111340063B (zh) * 2020-02-10 2023-08-29 国能信控互联技术有限公司 一种磨煤机数据异常检测方法
CN111833172A (zh) * 2020-05-25 2020-10-27 百维金科(上海)信息科技有限公司 一种基于孤立森林的消费信贷欺诈行为检测方法及其系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614992A (zh) * 2018-03-19 2018-10-02 中国地质大学（武汉） 一种高光谱遥感图像的分类方法、设备及存储设备
CN108985632A (zh) * 2018-07-16 2018-12-11 国网上海市电力公司 一种基于孤立森林算法的用电数据异常检测模型
CN110443125A (zh) * 2019-06-27 2019-11-12 武汉大学 一种基于判别森林子空间选择的高光谱异常探测方法
CN111127448A (zh) * 2019-12-26 2020-05-08 西南交通大学 一种基于孤立森林检测空气弹簧故障的模型及方法
CN111666169A (zh) * 2020-05-13 2020-09-15 云南电网有限责任公司信息中心 一种基于改进的孤立森林算法和高斯分布的联合数据异常检测方法

Also Published As

Publication number Publication date
CN112990314A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112990314B (zh) 基于改进孤立森林算法的高光谱图像异常检测方法及装置
Li et al. Hyperspectral anomaly detection with kernel isolation forest
Es-saady et al. Automatic recognition of plant leaves diseases based on serial combination of two SVM classifiers
Li et al. Robust capsule network based on maximum correntropy criterion for hyperspectral image classification
CN103996047B (zh) 基于压缩谱聚类集成的高光谱图像分类方法
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
Jia et al. Object-oriented feature selection of high spatial resolution images using an improved Relief algorithm
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN103020605B (zh) 基于决策层融合的桥梁识别方法
Ranjan et al. Hyperspectral image classification: A k-means clustering based approach
CN104732244B (zh) 基于小波变换、多策略pso和svm集成的遥感图像分类方法
CN110443139B (zh) 一种面向分类的高光谱遥感影像噪声波段探测方法
CN109409438B (zh) 基于ifcm聚类与变分推断的遥感影像分类方法
CN109697465B (zh) 基于小波核局部Fisher判别分析的高光谱影像分类方法
CN109801305B (zh) 基于深度胶囊网络的sar图像变化检测方法
CN109766934B (zh) 一种基于深度Gabor网络的图像目标识别方法
Fathi et al. General rotation-invariant local binary patterns operator with application to blood vessel detection in retinal images
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
Lone et al. Object detection in hyperspectral images
Elmannai et al. Classification using semantic feature and machine learning: Land-use case application
Sujithra et al. CRUN‐Based Leaf Disease Segmentation and Morphological‐Based Stage Identification
CN103218823B (zh) 基于核传播的遥感图像变化检测方法
Vatsavai High-resolution urban image classification using extended features
CN106407975A (zh) 基于空间‑光谱结构约束的多尺度分层目标检测方法
CN113378912A (zh) 一种基于深度学习目标检测的林区非法开垦地块检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant