CN115205689A - 一种改进的无监督遥感影像异常检测方法 - Google Patents

一种改进的无监督遥感影像异常检测方法 Download PDF

Info

Publication number
CN115205689A
CN115205689A CN202211112719.5A CN202211112719A CN115205689A CN 115205689 A CN115205689 A CN 115205689A CN 202211112719 A CN202211112719 A CN 202211112719A CN 115205689 A CN115205689 A CN 115205689A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
unmarked
image data
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211112719.5A
Other languages
English (en)
Other versions
CN115205689B (zh
Inventor
陈宇
董铱斐
段红伟
邹圣兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Original Assignee
Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuhui Spatiotemporal Information Technology Co ltd filed Critical Beijing Shuhui Spatiotemporal Information Technology Co ltd
Priority to CN202211112719.5A priority Critical patent/CN115205689B/zh
Publication of CN115205689A publication Critical patent/CN115205689A/zh
Application granted granted Critical
Publication of CN115205689B publication Critical patent/CN115205689B/zh
Priority to PCT/CN2023/118168 priority patent/WO2024055948A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及遥感影像异常检测领域，具体涉及一种改进的无监督遥感影像异常检测方法。该方法通过构建包括特征自训练模块、特征融合模块、异常分类模块的异常检测模型，并通过异常检测模型迭代地对无标记遥感影像进行异常检测，通过对迭代过程中每次异常检测分数求均值，得到异常检测结果。一方面，本发明构建的异常检测模型，通过平均融合算法与特征优化算法提高了异常检测的精度；另一方面，通过对每次迭代中的异常检测模型的异常分数取平均值，一定程度上降低了伪标签噪声对模型训练的影响，在避免人力打标的前提下，提高了异常检测的精度。

Description

一种改进的无监督遥感影像异常检测方法
技术领域
本发明涉及遥感影像异常检测领域，具体涉及一种改进的无监督遥感影像异常检测方法。
背景技术
异常检测，通常也被称为离群点检测，是找出与预期对象的行为差异较大的对象的一个检测过程，是遥感影像研究的重要任务之一，研究方向包括异常像元检测和异常影像检测，其中异常影像检测可用于遥感样本的入库质检，提前剔除异常影像。
基于神经网络的异常检测算法由于其优秀的自学习能力，特征提取能力在异常检测领域取得了显著的成果，利用神经网络进行异常检测具有检测精度高的优越性，但是复杂的网络结构需要以监督学习的方式进行训练，需要大量的标注样本，而有标签数据往往意味着高成本和难获得，所以基于神经网络的异常检测方法真正在现实的应用场景中实施时，仍然存在一些瓶颈与问题。如何构造一种适用于遥感影像入库质检的无监督异常检测方法仍然是一项重大挑战。
发明内容
针对上述问题，本发明提出一种改进的无监督遥感影像异常检测方法，首先通过无监督的方法赋予无标记遥感影像数据集伪标签，然后通过基于神经网络的异常检测算法迭代地对无标记遥感影像数据集进行异常检测，提高了无监督异常检测的精度。
为实现上述技术目的，本发明的技术方案如下：
一种改进的无监督遥感影像异常检测方法，该方法包括以下步骤：
S1 获取无标记遥感影像数据集，所述无标记遥感影像数据集包括多个无标记遥感影像数据；
S2 建立遥感影像异常检测模型，包括特征自训练模块、特征融合模块、异常分类模块；
所述自训练模块包括编码器、解码器，所述编码器用于对输入的无标记遥感影像数据进行自训练特征提取，得到自训练特征集，所述解码器用于对输入的自训练特征集进行特征重构，得到重构数据；
所述特征融合模块基于平均融合算法对输入的自训练特征集进行融合，得到融合特征；
所述异常分类模块包括异常检测特征提取网络，特征优化算法、输出网络，所述异常检测特征提取网络用于对输入的无标记遥感影像数据和重构数据进行异常检测特征提取，得到无标记遥感影像数据特征集和重构数据特征集；所述特征优化算法基于融合特征对无标记遥感影像数据特征集和重构数据特征集进行优化，得到优化的无标记遥感影像数据特征集和优化的重构数据特征集，所述输出网络对优化的无标记遥感影像数据特征集和优化的重构数据特征集进行异常分数计算，得到无标记遥感影像数据的异常分数和重构数据的异常分数；
S3 利用无监督异常检测算法对所述无标记遥感影像数据集进行图像异常检测，得到初始的无标记遥感影像数据的异常分数；
S4 根据样本筛选策略，基于当前的无标记遥感影像数据的异常分数，对无标记遥感影像数据集进行筛选和伪标签赋予，得到异常检测样本集，所述异常检测样本集包括多个异常检测样本，所述异常检测样本由伪标签和无标记遥感影像数据组成，所述伪标签包括正常和异常两种类型；
S5 将异常检测样本集输入遥感影像异常检测模型进行模型训练，得到训练后的遥感影像异常检测模型；
S6 利用训练后的遥感影像异常检测模型对所述无标记遥感影像数据集进行异常检测，对无标记遥感影像数据的异常分数进行更新；
S7 迭代执行步骤S4-S6，每次迭代均得到训练后的遥感影像异常检测模型、该训练后的遥感影像异常检测模型的模型精确度和无标记遥感影像数据的异常分数，根据相邻两次迭代的模型精确度计算变化值，判断变化值是否满足迭代停止条件，若满足，则停止迭代；
S8分别对每个无标记遥感影像数据在迭代过程中得到的所有异常分数求平均值，得到无标记遥感影像数据的最终异常分数；
S9 根据无标记遥感影像数据的最终异常分数，得到所述无标记遥感影像数据集中的异常遥感影像数据和正常遥感影像数据。
进一步地，所述遥感影像异常检测模型的损失值包括第一损失值、第二损失值、第三损失值和第四损失值；
所述第一损失值由无标记遥感影像数据异常分数以及重构数据异常分数确定；
所述第二损失值由归属于异常检测样本的无标记遥感影像数据的异常分数和该异常检测样本的伪标签确定；
所述第三损失值由无标记遥感影像数据以及重构数据确定；
所述第四损失值由自训练特征集的分布以及标准正态分布确定。
进一步地，步骤S4包括：
S41按照当前的无标记遥感影像数据的异常分数从小到大的顺序将无标记遥感影像数据集进行排序；
S42从正序开始筛选，选出m个无标记遥感影像数据，赋予伪标签正常，得到m个正样本，其中m＞1；
S43从倒序开始筛选，选出n个无标记遥感影像数据，赋予伪标签异常，得到n个负样本，其中n＞1，且n＜m；
S44将正样本和负样本合并得到异常检测样本集。
进一步地，所述特征优化算法包括：
将无标记遥感影像数据特征集和重构数据特征集作为待优化样本集，待优化特征集包括多个低层特征和一个高层特征；
通过背景抑制算法对所述融合特征进行背景抑制，得到背景抑制特征；
保持待优化特征集中的底层特征不变，提取待优化特征集中的高层特征，将所述待优化特征集中的高层特征与背景抑制特征进行拼接，完成待优化特征集的优化。
进一步地，所述无监督异常检测算法包括Z-score算法、KNN算法、LOF算法、孤立森林算法。
进一步地，所述异常检测特征提取网络包括多个卷积层，所述输出网络包括至少一个全连接层。
本发明的优点在于：
（1）本发明通过对每次迭代过程的无标记遥感影像数据的异常分数取平均得到最终的异常分数，能够相对准确地表达出每次迭代过程对最终的异常分数的贡献，一定程度上降低了噪声信息对异常检测的影响，提高异常检测的准确性。
（2）本发明构建的异常检测模型，通过平均融合算法和特征优化算法增大待检测遥感影像中异常像元与背景像元的区别，提高了异常检测精度。其中平均融合算法旨在凸显遥感影像中的异常像元，增大异常像元的响应；特征优化算法旨在抑制遥感影像中的背景信息，减小背景像元的响应。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种改进的无监督遥感影像异常检测方法的流程图；
图2为本发明一具体实施例的遥感影像异常检测模型原理图；
图3为本发明一具体实施例的特征优化算法原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种改进的无监督遥感影像异常检测方法，包括：
S1 获取无标记遥感影像数据集，所述无标记遥感影像数据集包括多个无标记遥感影像数据。
S2 建立遥感影像异常检测模型，包括特征自训练模块、特征融合模块、异常分类模块。
所述自训练模块包括编码器、解码器，所述编码器用于对输入的无标记遥感影像数据进行自训练特征提取，得到自训练特征集，所述解码器用于对输入的自训练特征集进行特征重构，得到重构数据；
所述特征融合模块基于平均融合算法对输入的自训练特征集进行融合，得到融合特征；
所述异常分类模块包括异常检测特征提取网络，特征优化算法、输出网络，所述异常检测特征提取网络用于对输入的无标记遥感影像数据和重构数据进行异常检测特征提取，得到无标记遥感影像数据特征集和重构数据特征集；所述特征优化算法基于融合特征对无标记遥感影像数据特征集和重构数据特征集进行优化，得到优化的无标记遥感影像数据特征集和优化的重构数据特征集，所述输出网络对优化的无标记遥感影像数据特征集和优化的重构数据特征集进行异常分数计算，得到无标记遥感影像数据的异常分数和重构数据的异常分数。
在本发明一个具体实施例中，编码器由resnet-50网络中的第1块resnet-50卷积网络块、第2块resnet-50卷积网络块、第3块resnet-50卷积网络块、第4块resnet-50卷积网络块、第5块resnet-50卷积网络块依次设置组成，其中，卷积层的卷积核大小为(3,3)、卷积步长为(1,1)、卷积核数目为1、激活函数为relu函数；
异常检测特征提取网络由resnet-50网络中的第1块resnet-50卷积网络块、第2块resnet-50卷积网络块、第3块resnet-50卷积网络块、第4块resnet-50卷积网络块、第5块resnet-50卷积网络块依次设置组成，其中，卷积层的卷积核大小为(3,3)、卷积步长为(1,1)、卷积核数目为1、激活函数为relu函数；
输出网络包括一个100维的全连接层和一个1维的全连接层。
需要说明的是，利用异常分类模块结合自训练模块提高自训练模块的性能，旨在生成的重构数据特征不仅能尽可能地拟合无标记遥感影像数据，而且还能做到尽可能地拟合无标记遥感影像数据在异常分类模块上的性能表现。
S3 利用无监督异常检测算法对所述无标记遥感影像数据集进行图像异常检测，得到初始的无标记遥感影像数据的异常分数。
在本发明一具体实施例中，步骤S3包括：
S31利用基于距离的异常检测算法，根据下式得到无监督异常检测结果q 1(x)：
Figure DEST_PATH_IMAGE001
其中d(x,x’)为x到x’的距离，且x∈X，x’∈S(x)，其中X为无标记遥感影像数据集，S(x)是无标记遥感影像数据集的一个子集。
S32利用孤立森林算法，根据下式得到无监督异常检测结果q 2(x)：
Figure DEST_PATH_IMAGE002
其中，M为特征个数，h(x)为从孤立树的根节点到叶子节点所经过的边的数量，H(i)为调和数，该值可以被估计为ln(i)+0.5772156649，E(h(x))为样本x在一批孤立树中的路径长度的期望。
S33分别将q 1(x)和q 2(x)归一化，得到归一化结果c1(x)和c2(x)：
Figure DEST_PATH_IMAGE003
其中，max
Figure DEST_PATH_IMAGE004
是无标记遥感影像数据的最大的异常结果，min
Figure 810940DEST_PATH_IMAGE004
在无标记遥感影像数据集最小的无标记遥感影像数据异常结果。
S34对归一化结果c1(x)和c2(x)求平均值，得到初始的无标记遥感影像数据的异常分数s0
Figure DEST_PATH_IMAGE005
：
Figure DEST_PATH_IMAGE006
S4 根据样本筛选策略，基于当前的无标记遥感影像数据的异常分数，对无标记遥感影像数据集进行筛选和伪标签赋予，得到异常检测样本集，所述异常检测样本集包括多个异常检测样本，所述异常检测样本由伪标签和无标记遥感影像数据组成，所述伪标签包括正常和异常两种类型。
S41按照当前的无标记遥感影像数据的异常分数从小到大的顺序将无标记遥感影像数据集进行排序；
S42从正序开始筛选，选出m个无标记遥感影像数据，赋予伪标签正常，得到m个正样本，其中m＞1；
S43从倒序开始筛选，选出n个无标记遥感影像数据，赋予伪标签异常，得到n个负样本，其中n＞1，且n＜m；
S44将正样本和负样本合并得到异常检测样本集。
在本发明一具体实施例中，假设N为无标记遥感影像数据集中数据的个数，需要筛选出0.3N个的可信度较高的数据赋予伪标签，m取0.2N，n取0.1N。
值得说明的是，每次迭代过程产生的异常检测样本集由上一次迭代过程产生的无标记遥感影像数据的异常分数确定，由于无标记遥感影像数据的异常分数在每次迭代过程中不断更新，因此每次迭代产生的新的异常检测样本集将取代旧的异常检测样本集。
S5 将异常检测样本集输入遥感影像异常检测模型进行模型训练，得到训练后的遥感影像异常检测模型。
S6 利用训练后的遥感影像异常检测模型对所述无标记遥感影像数据集进行异常检测，对无标记遥感影像数据的异常分数进行更新。
请参阅图2，在本发明一具体实施例中，遥感影像异常检测模型的训练包括：
（1）将无标记遥感影像数据x输入编码器，得到自训练特征集{Fs}。
（2）将{Fs}输入解码器，得到重构数据x'。
（3）基于平均融合算法对输入的自训练特征集{Fs}进行融合，得到融合特征Fr；
Figure DEST_PATH_IMAGE007
其中，fsi为自训练特征集{Fs}中第i个自训练特征，k为自训练特征集中自训练特征的总数量。
需要说明的是，平均融合算法旨在凸显自训练特征集{Fs}中的异常像元，增大异常像元的响应，初步增大异常像元与背景像元的区别。
（4）分别将x和x'输入异常检测特征提取网络，得到无标记遥感影像数据特征集{Fx}，和重构数据特征集{Fx'}。
（5）利用所述特征优化算法对{Fx}和{Fx'}进行优化，得到优化的无标记遥感影像数据特征集{F'x}，和优化的重构数据特征集{F'x'}。
特征优化算法包括：
（5-1）将无标记遥感影像数据特征集和重构数据特征集作为待优化特征集，待优化特征集包括多个低层特征和一个高层特征；
（5-2）通过背景抑制算法对所述融合特征进行背景抑制，得到背景抑制特征；
（5-3）保持待优化特征集的底层特征不变，提取待优化特征集的高层特征，将所述待优化特征集中的高层特征与背景抑制特征进行拼接，完成待优化特征集的优化。
请参考图3，以{Fx}的优化过程详细说明特征优化算法的原理：
步骤1，通过背景抑制算法对Fr中背景信息进行抑制，得到背景抑制特征F'r；
Figure DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
为Fr在属性开操作之后的结果，
Figure DEST_PATH_IMAGE010
为Fr在属性闭操作之后的结果。
步骤2，无标记遥感影像数据特征集{Fx}的组成为{f1,f2,...,fk-1,fk}，保持无标记遥感影像数据特征集{Fx}中的底层特征集{f1,f2,...,fk-1}不变，提取待优化特征集的高层特征fk，通过fk与F'r进行拼接对fk进行优化，得到优化的高层特征f'k，将f'k重新与{f1,f2,...,fk-1}合并，得到优化的无标记遥感影像数据特征集{f1,f2,...,fk-1,f'xk}，即{F'x}。
需要说明的是，背景抑制算法旨在剔除Fr中的大面积连通区域，抑制背景信息对异常检测的干扰，特征优化算法旨在通过抑制背景信息和特征拼接抑制{Fx}的背景信息，进一步增大异常像元与背景像元的区别。
（6）分别将F'x和F'x'输入输出网络，得到无标记遥感影像数据的异常分数sx和重构数据的异常分数sx'。
在本发明一具体实施例中，所述输出网络包括一个100维的全连接层和一个1维的全连接层。
S7 迭代执行步骤S4-S6，每次迭代均得到训练后的遥感影像异常检测模型、该训练后的遥感影像异常检测模型的模型精确度和无标记遥感影像数据的异常分数，根据相邻两次迭代的模型精确度计算变化值，判断变化值是否满足迭代停止条件，若满足，则停止迭代。
需要说明的是，如果在迭代过程中，把新的异常检测样本集加入旧的异常检测样本集作为监督信息进行模型训练，实验表明，由于异常检测样本集的伪标签有明显的噪声，异常检测精度会大大降低。所以，在每次迭代过程中，我们没有保留旧的异常检测样本集，直接根据每次迭代过程中得到的无标记遥感影像数据的异常分数重新选取无标记遥感影像数据并赋予其伪标签，作为新的异常检测样本集进行新一轮的迭代训练，达到降低标签噪声对模型训练的影响的目的。
S8分别对每个无标记遥感影像数据在迭代过程中得到的所有异常分数求平均值，得到无标记遥感影像数据的最终异常分数。
在本发明一具体实施例中，无标记遥感影像数据x在第i迭代过程中得到的异常分数为si(x)，无标记遥感影像数据的最终异常分数S(x)表示为：
Figure DEST_PATH_IMAGE011
其中，t为迭代的总次数。
需要说明的是，通过对每次迭代过程的无标记遥感影像数据的异常分数取平均得到最终的异常分数，能够相对准确地表达出每次迭代过程对最终的异常分数的贡献，一定程度上降低了噪声信息对异常检测的影响，提高异常检测的准确性。
S9 根据无标记遥感影像数据的最终异常分数，得到所述无标记遥感影像数据集中的异常遥感影像数据和正常遥感影像数据。
在本发明一具体实施例中，设置一个阈值A，当无标记遥感影像数据x的最终异常分数大于A时，认为x是异常遥感影像数据，当无标记遥感影像数据x的最终异常分数小于A时，认为x是正常遥感影像数据。
本发明所述的异常检测模型的损失值包括第一损失值、第二损失值、第三损失值和第四损失值；
所述第一损失值由无标记遥感影像数据的异常分数以及重构数据的异常分数确定；
所述第二损失值由归属于异常检测样本的无标记遥感影像数据的异常分数和异常检测样本的伪标签确定；
所述第三损失值由无标记遥感影像数据以及重构数据确定；
所述第四损失值由自训练特征集的分布以及标准正态分布确定。
在本发明一具体实施例中，异常检测网络的总损失值包括第一损失值L1、第二损失值L2、第三损失值L3和第四损失值L4，构造过程如下：
（1）基于无标记遥感影像数据的异常分数以及重构数据的异常分数确定确定第一损失值L1：
Figure DEST_PATH_IMAGE012
其中，sx为无标记遥感影像数据x的异常分数，sx'为重构数据x'的异常分数。
（2）基于归属于异常检测样本的无标记遥感影像数据的异常分数和异常检测样本的伪标签确定第二损失值L2；
Figure DEST_PATH_IMAGE013
其中，x为归属于异常检测样本的无标记遥感影像数据，y为异常检测样本的伪标签，当y为正常时，sy=0，当y异常时，sy=1。
（3）基于无标记遥感影像数据以及重构数据确定第三损失值L3；
Figure DEST_PATH_IMAGE014
其中，x为无标记遥感影像数据，x'为重构数据。
（4）基于自训练特征集的分布以及标准正态分布确定第四损失值L4；
Figure DEST_PATH_IMAGE015
其中，μx和σx 2分别是Fx的均值和方差，N(0,1)是均值为0，方差为1的标准正态分布；
（5）基于L1、L2、L3和L4确定总损失值LALL：
Figure DEST_PATH_IMAGE016
综上所述，利用自训练的思想充分挖掘和利用数据本身信息，一定程度上解决了传统无监督异常检测算法级别精度低的问题，降低了伪标签噪声对模型训练的影响，既满足检测精度方面的要求，又能够节省人力打标成本。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种改进的无监督遥感影像异常检测方法，其特征在于，包括：
S1 获取无标记遥感影像数据集，所述无标记遥感影像数据集包括多个无标记遥感影像数据；
S2 建立遥感影像异常检测模型，包括特征自训练模块、特征融合模块、异常分类模块；
所述自训练模块包括编码器、解码器，所述编码器用于对输入的无标记遥感影像数据进行自训练特征提取，得到自训练特征集，所述解码器用于对输入的自训练特征集进行特征重构，得到重构数据；
所述特征融合模块基于平均融合算法对输入的自训练特征集进行融合，得到融合特征；
所述异常分类模块包括异常检测特征提取网络，特征优化算法、输出网络，所述异常检测特征提取网络用于对输入的无标记遥感影像数据和重构数据进行异常检测特征提取，得到无标记遥感影像数据特征集和重构数据特征集；所述特征优化算法基于融合特征对无标记遥感影像数据特征集和重构数据特征集进行优化，得到优化的无标记遥感影像数据特征集和优化的重构数据特征集，所述输出网络对优化的无标记遥感影像数据特征集和优化的重构数据特征集进行异常分数计算，得到无标记遥感影像数据的异常分数和重构数据的异常分数；
S3 利用无监督异常检测算法对所述无标记遥感影像数据集进行图像异常检测，得到初始的无标记遥感影像数据的异常分数；
S4 根据样本筛选策略，基于当前的无标记遥感影像数据的异常分数，对无标记遥感影像数据集进行筛选和伪标签赋予，得到异常检测样本集，所述异常检测样本集包括多个异常检测样本，所述异常检测样本由伪标签和无标记遥感影像数据组成，所述伪标签包括正常和异常两种类型；
S5 将异常检测样本集输入遥感影像异常检测模型进行模型训练，得到训练后的遥感影像异常检测模型；
S6 利用训练后的遥感影像异常检测模型对所述无标记遥感影像数据集进行异常检测，对无标记遥感影像数据集的异常分数进行更新；
S7 迭代执行步骤S4-S6，每次迭代均得到训练后的遥感影像异常检测模型、该训练后的遥感影像异常检测模型的模型精确度和无标记遥感影像数据的异常分数，根据相邻两次迭代的模型精确度计算变化值，判断变化值是否满足迭代停止条件，若满足，则停止迭代；
S8 分别对每个无标记遥感影像数据在迭代过程中得到的所有异常分数求平均值，得到无标记遥感影像数据的最终异常分数；
S9 根据无标记遥感影像数据的最终异常分数，得到所述无标记遥感影像数据集中的异常遥感影像数据和正常遥感影像数据。
2.根据权利要求1所述的方法，其特征在于，所述遥感影像异常检测模型的损失值包括第一损失值、第二损失值、第三损失值和第四损失值；
所述第一损失值由无标记遥感影像数据的异常分数以及重构数据的异常分数确定；
所述第二损失值由归属于异常检测样本的无标记遥感影像数据的异常分数和该异常检测样本的伪标签确定；
所述第三损失值由无标记遥感影像数据以及重构数据确定；
所述第四损失值由自训练特征集的分布以及标准正态分布确定。
3.根据权利要求1所述的方法，其特征在于，步骤S4包括：
S41按照当前的无标记遥感影像数据的异常分数从小到大的顺序将无标记遥感影像数据集进行排序；
S42从正序开始筛选，选出m个无标记遥感影像数据，赋予伪标签正常，得到m个正样本，其中m＞1；
S43从倒序开始筛选，选出n个无标记遥感影像数据，赋予伪标签异常，得到n个负样本，其中n＞1，且n＜m；
S44将正样本和负样本合并得到异常检测样本集。
4.根据权利要求1所述的方法，其特征在于，所述特征优化算法包括：
将无标记遥感影像数据特征集和重构数据特征集作为待优化特征集，待优化特征集包括多个低层特征和一个高层特征；
通过背景抑制算法对所述融合特征进行背景抑制，得到背景抑制特征；
保持待优化特征集中的底层特征不变，提取待优化特征集中的高层特征，将所述待优化特征集中的高层特征与背景抑制特征进行拼接，完成待优化特征集的优化。
5.根据权利要求1所述的方法，其特征在于，所述无监督异常检测算法包括Z-score算法、KNN算法、LOF算法、孤立森林算法。
6.根据权利要求1所述的方法，其特征在于，所述异常检测特征提取网络包括多个卷积层，所述输出网络包括至少一个全连接层。
CN202211112719.5A 2022-09-14 2022-09-14 一种改进的无监督遥感影像异常检测方法 Active CN115205689B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211112719.5A CN115205689B (zh) 2022-09-14 2022-09-14 一种改进的无监督遥感影像异常检测方法
PCT/CN2023/118168 WO2024055948A1 (zh) 2022-09-14 2023-09-12 一种改进的无监督遥感影像异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211112719.5A CN115205689B (zh) 2022-09-14 2022-09-14 一种改进的无监督遥感影像异常检测方法

Publications (2)

Publication Number Publication Date
CN115205689A true CN115205689A (zh) 2022-10-18
CN115205689B CN115205689B (zh) 2022-11-18

Family

ID=83572159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211112719.5A Active CN115205689B (zh) 2022-09-14 2022-09-14 一种改进的无监督遥感影像异常检测方法

Country Status (2)

Country Link
CN (1) CN115205689B (zh)
WO (1) WO2024055948A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116343050A (zh) * 2023-05-26 2023-06-27 成都理工大学 基于自适应权重的遥感图像噪声标注的目标检测方法
CN117313900A (zh) * 2023-11-23 2023-12-29 全芯智造技术有限公司 用于数据处理的方法、设备和介质
WO2024055948A1 (zh) * 2022-09-14 2024-03-21 北京数慧时空信息技术有限公司 一种改进的无监督遥感影像异常检测方法
CN117830657A (zh) * 2024-03-06 2024-04-05 西安易诺敬业电子科技有限责任公司 一种故障智能识别方法和识别系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794437A (zh) * 2010-03-19 2010-08-04 武汉大学 一种高光谱遥感影像异常探测方法
CN105303198A (zh) * 2015-11-17 2016-02-03 福州大学 一种自定步长学习的遥感影像半监督分类方法
CN108009549A (zh) * 2017-11-02 2018-05-08 天津大学 一种迭代协同显著性检测方法
CN110929643A (zh) * 2019-11-21 2020-03-27 西北工业大学 一种基于多特征和孤立树的高光谱异常检测方法
CN112818966A (zh) * 2021-04-16 2021-05-18 武汉光谷信息技术股份有限公司 多模态遥感影像数据检测方法及系统
US20220012644A1 (en) * 2018-12-03 2022-01-13 Oxford University Innovation Limited Method and system for monitoring a remote system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020218573A1 (en) * 2019-02-04 2021-08-05 Farmers Edge Inc. Shadow and cloud masking for remote sensing images in agriculture applications using multilayer perceptron
CN114140736A (zh) * 2021-12-30 2022-03-04 浙江大学 一种基于高低频重建的图像异常检测方法
CN114612936B (zh) * 2022-03-15 2024-08-23 西安电子科技大学 基于背景抑制的无监督异常行为检测方法
CN115205689B (zh) * 2022-09-14 2022-11-18 北京数慧时空信息技术有限公司 一种改进的无监督遥感影像异常检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794437A (zh) * 2010-03-19 2010-08-04 武汉大学 一种高光谱遥感影像异常探测方法
CN105303198A (zh) * 2015-11-17 2016-02-03 福州大学 一种自定步长学习的遥感影像半监督分类方法
CN108009549A (zh) * 2017-11-02 2018-05-08 天津大学 一种迭代协同显著性检测方法
US20220012644A1 (en) * 2018-12-03 2022-01-13 Oxford University Innovation Limited Method and system for monitoring a remote system
CN110929643A (zh) * 2019-11-21 2020-03-27 西北工业大学 一种基于多特征和孤立树的高光谱异常检测方法
CN112818966A (zh) * 2021-04-16 2021-05-18 武汉光谷信息技术股份有限公司 多模态遥感影像数据检测方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055948A1 (zh) * 2022-09-14 2024-03-21 北京数慧时空信息技术有限公司 一种改进的无监督遥感影像异常检测方法
CN116343050A (zh) * 2023-05-26 2023-06-27 成都理工大学 基于自适应权重的遥感图像噪声标注的目标检测方法
CN117313900A (zh) * 2023-11-23 2023-12-29 全芯智造技术有限公司 用于数据处理的方法、设备和介质
CN117313900B (zh) * 2023-11-23 2024-03-08 全芯智造技术有限公司 用于数据处理的方法、设备和介质
CN117830657A (zh) * 2024-03-06 2024-04-05 西安易诺敬业电子科技有限责任公司 一种故障智能识别方法和识别系统
CN117830657B (zh) * 2024-03-06 2024-06-07 西安易诺敬业电子科技有限责任公司 一种故障智能识别方法和识别系统

Also Published As

Publication number Publication date
CN115205689B (zh) 2022-11-18
WO2024055948A1 (zh) 2024-03-21

Similar Documents

Publication Publication Date Title
CN115205689B (zh) 一种改进的无监督遥感影像异常检测方法
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN108334936B (zh) 基于迁移卷积神经网络的故障预测方法
CN112765896A (zh) 一种基于lstm的水处理时序数据异常检测方法
CN114626890A (zh) 一种基于图结构学习的异常用户检测方法
CN111476315A (zh) 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN110874590B (zh) 基于适配器互学习模型的训练及可见光红外视觉跟踪方法
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN110276357A (zh) 一种基于卷积神经网络的验证码识别方法
CN111353534B (zh) 一种基于自适应分数阶梯度的图数据类别预测方法
CN114417913B (zh) 基于pc-tcn和迁移学习的轴承寿命预测方法
CN116760583B (zh) 一种增强图节点行为表征及其异常图节点检测方法
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
CN111859454A (zh) 防御基于图神经网络链路预测的隐私保护方法
CN114663392A (zh) 一种基于知识蒸馏的工业图像缺陷检测方法
CN111275694B (zh) 一种注意力机制引导的递进式划分人体解析系统及方法
CN113673482A (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及系统
CN115578568A (zh) 一种小规模可靠数据集驱动的噪声修正算法
CN114418420A (zh) 基于因果推断的竞争风险生存分析方法
CN116206227B (zh) 5g富媒体信息的图片审查系统、方法、电子设备及介质
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN111797732B (zh) 一种对采样不敏感的视频动作识别对抗攻击方法
CN114821184A (zh) 一种基于均衡互补熵的长尾图像分类方法及系统
CN115374931A (zh) 一种基于元对抗训练的深度神经网络鲁棒性增强方法
CN114519605A (zh) 广告点击欺诈检测方法、系统、服务器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant