CN113379696A - 一种基于迁移学习张量分解的高光谱异常检测方法 - Google Patents
一种基于迁移学习张量分解的高光谱异常检测方法 Download PDFInfo
- Publication number
- CN113379696A CN113379696A CN202110624715.4A CN202110624715A CN113379696A CN 113379696 A CN113379696 A CN 113379696A CN 202110624715 A CN202110624715 A CN 202110624715A CN 113379696 A CN113379696 A CN 113379696A
- Authority
- CN
- China
- Prior art keywords
- convolution
- decomposition
- data
- layer
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000013526 transfer learning Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 48
- 238000013461 design Methods 0.000 claims description 5
- 239000012792 core layer Substances 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于迁移学习张量分解的高光谱异常检测方法，具体步骤包括：设计具有连续卷积层的卷积神经网络模型，通过迁移训练有标签的高光谱数据生成同类和不同类别的像素对，采用反向传播算法使网络参数不断迭代更新直至收敛；采用塔克分解将完成训练的模型进行卷积层分解，卷积运算将H×W×S大小的输入数据X映射到H'×W'×T大小的输出数据Y，读取待检测数据，将待检测像素与其周围的16个像素形成像素对，将平均相似度得分作为判断的依据，如果平均相似度得分大于设定阈值则视为异常目标，否则为背景。
Description
技术领域
本发明涉及高光谱图像异常检测技术领域，尤其涉及一种基于迁移学习张量分解的高光谱异常检测方法。
背景技术
异常检测近年来受到了广泛的关注，其主要思想是检测光谱信息与周围背景显著不同的像素点，因此异常点的分布通常是稀疏的。异常目标的光谱信息通常是未知的，这对异常检测来说是一个很大的挑战。
最广泛使用的异常检测方法是Reed-Xiaoli(RX)算法，该算法基于背景分布的假设计算马氏距离。近年来，基于深度学习和张量的方法在高光谱图像处理中得到了广泛的应用。例如，L.Zhang等人提出了一种基于张量的迁移卷积神经网络(CNN)高光谱异常检测算法。W.Li等人提出了迁移深度学习算法，但是这些网络只利用光谱信息进行训练和检测，忽略了空间信息。另外，设计的CNN架构比较浅层，学习到的特征不够。一般来说，浅层神经网络可能无法很好地提取训练数据的特征，CNN的层次越深，模型的效果越好。然而，由于训练数据的缺乏，使得深层神经网络的设计和训练受到很大的阻力。
发明内容
根据现有技术存在的问题，本发明公开了一种基于迁移学习张量分解的高光谱异常检测方法，具体包括如下步骤：
设计具有连续卷积层的卷积神经网络架构，通过迁移训练有标签的高光谱数据，生成同类和不同类别的像素对，采用反向传播算法使网络参数不断迭代更新，最终具有一定的区分像素对差异的能力。
采用塔克分解将训练完备模型的卷积层分解，卷积运算将H×W×S大小的输入数据X映射为H'×W'×T大小的输出数据Y，公式如下：
核张量W被分解成:
P是一个四维的核心张量,QsQt是因子矩阵。分解后得到三个连续卷积公式，形成三个新的卷积层，它们替代了原始的卷积层，从而增加网络深度，公式如下：
塔克分解后，卷积层中的通道数会发生变化，具体的结构设计如下：
第一层：采用一维卷积，并将输出通道的数量将减为输入通道的三分之一。
核心层：第一层卷积后，数据的空间信息不变，仍与原始输入相对应，采用conv2d二维卷积核提取空间信息，卷积核的大小等于分解前卷积层中使用的卷积核的大小。
最后一层：仍然使用一维卷积，但是输出通道将扩展到输入通道的三倍，以恢复原始卷积数据的大小。
将卷积层分解后，保存分解模型，将每个卷积层分解为三个对应的卷积层，并将分解后的张量作为新卷积层的参数，
分解后的模型增加卷积层的数量即网络深度，且可以提取输入数据的空间信息，结合当前像素的光谱和空间信息，获得检测结果。具体来说，读取待检测数据后，待检测像素与其周围的16个像素形成像素对，采用它们的平均相似度作为判断的依据，如果平均相似度得分高于阈值，则视为异常，否则为背景。
由于采用了上述技术方案，本发明提供的一种基于迁移学习张量分解的高光谱异常检测方法，该方法有效地解决了训练数据匮乏导致的神经网络层次浅以及忽略高光谱数据空间信息的问题，先设计具有连续卷积层的卷积神经网络架构，生成同类和不同类别的像素对，训练神经网络使其具有一定的区分像素对差异性的能力。之后利用塔克分解增加训练完备模型的卷积层深度，并且结合高光谱数据的空间和光谱信息进行异常目标检测，这样分解后的模型检测性能更好。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中公开的方法的流程图；
图2a-图2b为Sandiego数据groundtruth标注图及检测结果图；
图3a-图3b为Urban数据groundtruth标注图及检测结果图；
图4a-图4b为ROC曲线示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示的一种基于迁移学习张量分解的高光谱异常检测方法，对输入的高光谱训练数据和标签进行预处理生成像素对，采用反向传播算法训练网络模型。然后利用塔克分解增加训练完备模型的卷积层深度，并且采用二维卷积函数以提取高光谱数据的空间信息，这样就得到了分解后的检测模型，具体包括如下步骤：
S1：设计具有连续卷积层的卷积神经网络架构，读取有标签的高光谱训练数据，生成同类和不同类别的像素对，采用反向传播算法使网络参数不断迭代更新，最终网络具有一定的区分像素对差异的能力。
S1中具体采用如下方式：
S11：设计卷积神经网络结构：采用16个连续卷积层和一个全连接层做为待训练模型的基础结构；
S12：采用高光谱分类数据集进行训练，从标签数据中读取不同和相同数值的像素点然后配对，它们对应不同和相同类别的像素对；
S13：采用反向传播算法更新网络参数，当输入不同类别的像素对时，使网络朝着输出1的方向不断衰减；反之，使网络朝着输出0的方向不断衰减，训练后的网络具有一定的区分像素对差异性的能力；
S2：采用塔克分解将训练完备模型的卷积层分解，卷积运算将H×W×S大小的输入数据X映射到H'×W'×T大小的输出数据Y，公式如下：
S2中具体采用如下方式：
S21：核张量W被分解成:
P是一个四维的核心张量,QsQt是因子矩阵。
S22：分解后得到三个连续卷积公式，形成三个新的卷积层，它们替代了原始的卷积层，从而增加网络深度，公式如下：
S23：塔克分解后，卷积层中的通道数会发生变化，具体的结构设计如下：
第一层：采用一维卷积，并将输出通道的数量将减为输入通道的三分之一。
核心层：第一层卷积后，数据的空间信息不变，仍与原始输入相对应，采用conv2d二维卷积核提取空间信息，卷积核的大小等于分解前卷积层中使用的卷积核的大小。
最后一层：仍然使用一维卷积，但是输出通道将扩展到输入通道的三倍，以恢复原始卷积数据的大小。
S24：将卷积层分解后，保存分解模型，将每个卷积层分解为三个对应的卷积层，并将分解后的张量作为新卷积层的参数，分解后的模型增加了卷积层的数量即网络深度，且可以提取输入数据的空间信息；
S3：结合当前像素的光谱和空间信息，获得检测结果。具体来说，读取待检测数据后，待检测像素与其周围的16个像素形成像素对，采用它们的网络输出平均值即平均相似度得分作为判断的依据，如果平均相似度得分高于阈值，则视为异常目标，否则为背景。
S3中具体采用如下方式：
S31：将待测像素点与其周围的16个像素点分别形成像素对；
S32：对像素对进行数据预处理，采用与训练网络时相同的输入数据预处理方式：把每个像素对的两个像素点对应的一维数组分别做差，得到的新一维数组作为检测模型的输入数据；
S33：把16个像素对的网络输出值取平均，代表着当前像素点的平均相似度得分，如果平均得分高于阈值则被判断为异常目标；反之，则认为当前点是背景；
真实高光谱数据实验
下面将采用两组公开真实的高光谱图像数据集，对本发明提供的一种基于迁移学习张量分解的高光谱异常检测方法进行应用效果分析和评价。
1.高光谱数据集
(1)AVIRIS Sandiego数据集
本实验所采用的第一组数据集是由AVIRIS(Airborne Visible/InfraredImaging Spectrometer)传感器采集，是圣地亚哥海军基地高光谱数据集的一部分。原始图像有224个波段，去除吸水率和其他波段后，剩下189个波段。原始数据每个波段有400×400像素，我们截取其中的120×120像素部分。
(2)HYDICE Urban数据集
本实验所采用的第二组数据集是由HYDICE传感器采集的Urban数据，图像大小为307×307。原始数据有210个波段，在去除噪音和水吸收波段后，一般留下162个波段做后续处理与分析。地物类别包含道路，屋顶，草地和树木。我们截取其中一部分，图像大小为100×100像素.
2.实验评价指标
接受工作特性(Receiver-operating-characteristic，ROC)
接受工作特性(ROC)曲线通常作为定量分析的指标，曲线下面积称为AUC。AUC的数值说明了算法的检测性能。
3.实验结果分析
本发明提供的一种基于迁移学习张量分解的高光谱异常检测方法在使用两组真实高光谱图像数据实验的检测结果如图2a-图2b,图3a-图3b所示。
AVIRIS数据集和Urban数据集的ROC曲线如图4所示，曲线下面积也就是AUC值分别为0.9702和0.9858。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (2)
1.一种基于迁移学习张量分解的高光谱异常检测方法，其特征在于包括：
设计具有连续卷积层的卷积神经网络模型，通过迁移训练有标签的高光谱数据生成同类和不同类别的像素对，采用反向传播算法使网络参数不断迭代更新直至收敛；
采用塔克分解将完成训练的模型进行卷积层分解，卷积运算将H×W×S大小的输入数据X映射到H'×W'×T大小的输出数据Y，公式如下：
读取待检测数据，将待检测像素与其周围的16个像素形成像素对，将平均相似度得分作为判断的依据，如果平均相似度得分大于设定阈值则视为异常目标，否则为背景。
2.根据权利要求1所述的高光谱异常检测方法，其特征在于：所述采用塔克分解将训练完备模型的卷积层分解时：将卷积核张量分解得到三个连续卷积公式，形成三个新的卷积层从而增加网络深度，公式如下：
塔克分解后，卷积层中的通道数会发生变化，具体的结构设计如下：
第一层：采用一维卷积，并将输出通道的数量减为输入通道的三分之一；
核心层：第一层卷积后，数据的空间信息不变，仍与原始输入相对应，采用conv2d二维卷积核提取空间信息，卷积核的大小等于分解前卷积层中使用的卷积核的大小；
最后一层：仍然使用一维卷积，但是输出通道将扩展到输入通道的三倍，以恢复原始卷积数据的大小；
将卷积层分解后，保存分解模型，将每个卷积层分解为三个对应的卷积层，并将分解后的张量作为新卷积层的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110624715.4A CN113379696B (zh) | 2021-06-04 | 2021-06-04 | 一种基于迁移学习张量分解的高光谱异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110624715.4A CN113379696B (zh) | 2021-06-04 | 2021-06-04 | 一种基于迁移学习张量分解的高光谱异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379696A true CN113379696A (zh) | 2021-09-10 |
| CN113379696B CN113379696B (zh) | 2024-03-26 |
Family
ID=77575850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110624715.4A Active CN113379696B (zh) | 2021-06-04 | 2021-06-04 | 一种基于迁移学习张量分解的高光谱异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379696B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097321A (zh) * | 2016-06-06 | 2016-11-09 | 哈尔滨工业大学 | 一种基于张量表示的偏振高光谱图像目标检测方法 |
| CN106845517A (zh) * | 2016-12-14 | 2017-06-13 | 西北大学 | 一种基于Tucker分解的光谱张量降维及分类方法 |
| WO2018013244A1 (en) * | 2016-07-14 | 2018-01-18 | IronNet Cybersecurity, Inc. | Simulation and virtual reality based cyber behavioral systems |
| US20190087726A1 (en) * | 2017-08-30 | 2019-03-21 | The Board Of Regents Of The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| CN110222773A (zh) * | 2019-06-10 | 2019-09-10 | 西北工业大学 | 基于不对称分解卷积网络的高光谱图像小样本分类方法 |
| KR102197297B1 (ko) * | 2019-09-27 | 2020-12-31 | 서울대학교산학협력단 | 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 |
-
2021
- 2021-06-04 CN CN202110624715.4A patent/CN113379696B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097321A (zh) * | 2016-06-06 | 2016-11-09 | 哈尔滨工业大学 | 一种基于张量表示的偏振高光谱图像目标检测方法 |
| WO2018013244A1 (en) * | 2016-07-14 | 2018-01-18 | IronNet Cybersecurity, Inc. | Simulation and virtual reality based cyber behavioral systems |
| CN106845517A (zh) * | 2016-12-14 | 2017-06-13 | 西北大学 | 一种基于Tucker分解的光谱张量降维及分类方法 |
| US20190087726A1 (en) * | 2017-08-30 | 2019-03-21 | The Board Of Regents Of The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| CN110222773A (zh) * | 2019-06-10 | 2019-09-10 | 西北工业大学 | 基于不对称分解卷积网络的高光谱图像小样本分类方法 |
| KR102197297B1 (ko) * | 2019-09-27 | 2020-12-31 | 서울대학교산학협력단 | 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 谢江龙;刘波;: "面向张量数据的迁移学习算法", 计算机与现代化, no. 02, 15 February 2016 (2016-02-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379696B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tu et al. | KNN-based representation of superpixels for hyperspectral image classification | |
| CN111369457B (zh) | 稀疏判别张量鲁棒性pca的遥感图像去噪方法 | |
| CN103440505B (zh) | 空间邻域信息加权的高光谱遥感图像分类方法 | |
| CN110619263B (zh) | 低秩联合协同表示的高光谱遥感影像异常探测方法 | |
| Boggavarapu et al. | A new framework for hyperspectral image classification using Gabor embedded patch based convolution neural network | |
| CN110458192B (zh) | 基于视觉显著性的高光谱遥感图像分类方法及系统 | |
| CN111339924B (zh) | 一种基于超像素和全卷积网络的极化sar图像分类方法 | |
| CN109409389B (zh) | 一种融合多特征的面向对象变化检测方法 | |
| CN110443139B (zh) | 一种面向分类的高光谱遥感影像噪声波段探测方法 | |
| Kang et al. | Fog model-based hyperspectral image defogging | |
| Trivedi et al. | Automatic segmentation of plant leaves disease using min-max hue histogram and k-mean clustering | |
| CN111368691A (zh) | 无监督高光谱遥感图像空谱特征提取方法 | |
| CN115249332A (zh) | 基于空谱双分支卷积网络的高光谱图像分类方法及设备 | |
| CN113837314A (zh) | 一种基于混合卷积神经网络的高光谱图像分类方法 | |
| Sun et al. | A label similarity probability filter for hyperspectral image postclassification | |
| Moliner et al. | Weakly supervised semantic segmentation for remote sensing hyperspectral imaging | |
| CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN117115675A (zh) | 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质 | |
| CN113421198A (zh) | 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法 | |
| CN116630960B (zh) | 基于纹理-颜色多尺度残差收缩网络的玉米病害识别方法 | |
| CN113379696B (zh) | 一种基于迁移学习张量分解的高光谱异常检测方法 | |
| CN113902975B (zh) | 一种用于sar舰船检测的场景感知数据增强方法 | |
| Yan et al. | Non-intrusive fingerprints extraction from hyperspectral imagery | |
| CN114841924A (zh) | 一种用于异质遥感图像的无监督变化检测方法 | |
| Sheikh et al. | Noise tolerant classification of aerial images into manmade structures and natural-scene images based on statistical dispersion measures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |