CN113033686B - 基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及系统 - Google Patents
基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及系统 Download PDFInfo
- Publication number
- CN113033686B CN113033686B CN202110361621.2A CN202110361621A CN113033686B CN 113033686 B CN113033686 B CN 113033686B CN 202110361621 A CN202110361621 A CN 202110361621A CN 113033686 B CN113033686 B CN 113033686B
- Authority
- CN
- China
- Prior art keywords
- double
- kernel
- classification
- bilateral filter
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002146 bilateral effect Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000001228 spectrum Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 235000002566 Capsicum Nutrition 0.000 abstract description 6
- 239000006002 Pepper Substances 0.000 abstract description 6
- 235000016761 Piper aduncum Nutrition 0.000 abstract description 6
- 235000017804 Piper guineense Nutrition 0.000 abstract description 6
- 235000008184 Piper nigrum Nutrition 0.000 abstract description 6
- 150000003839 salts Chemical class 0.000 abstract description 6
- 244000203593 Piper nigrum Species 0.000 abstract 1
- 230000003595 spectral effect Effects 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 241000722363 Piper Species 0.000 description 5
- 238000007635 classification algorithm Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及系统，属于高光谱图像分类技术领域。为了解决现有的高光谱图像分类方法存在问题椒盐噪声和区域级错分问题，以及无法提取适当的空谱信息的问题。本发明首先利用多层核引导可变卷积层组成特征提取网络提取准确的空谱特征，并得到初始的分类概率图；然后进行再分类，经过第一个双窗联合双边滤波器和第二个双窗联合双边滤波器进行分类；对于初始的分类概率图中任一个像素点进行上述操作，输出的结果就是最终的分类概率图；对最终的分类概率图进行最大概率取值，得到最终的分类结果图。主要用于高光谱图的分类。
Description
技术领域
本发明涉及高光谱图分类方法及系统，属于高光谱图像分类技术领域。
背景技术
高光谱图像包含了数百个不同的波段，不仅包含丰富的光谱信息，还包含地面物体的空间结构信息。高光谱遥感影像具备如下特点：(1)高光谱影像，光谱范围从可见光延伸到近红外、中红外甚至远红外。此外，高光谱影像包含数十甚至数百个波段，光谱采样的间隔小，光谱分辨率达到纳米级。高覆盖的光谱范围与精细的光谱分辨率意味着地物光谱的全局特征将更加完整而局部细微特征将更加明显。(2)高光谱影像数据量大，光谱维度高，且由于相邻高光谱波段的相关性高，高光谱数据的信息冗余度也大大增加。这就会导致“Hughes”现象，即指：随着数据维数的增加，分类精度先增加后下降的现象。(3)此外，受到大气、湿度、场景、光照、云层厚度以及像元不纯净等环境因素影响，部分光谱范围内的波段会出现信息丢失或包含严重的影像噪声。高光谱影像存在地物光谱性状混淆与畸变的问题，不同地物的光谱曲线在表现出区分性的同时，也具有极大相似性，即“异物同谱”；属于同种地物的像素的光谱曲线也可能受环境因素如光照、阴影与噪声影响，而出现较大差异，即“同物异谱”。
高光谱图像分类就是根据地物光谱曲线的差异，对地面物体进行像素级区分，将每一个像素标记上相应的类别。高光谱图像分类广泛应用于海洋探测、城市分类、气候预测、林业监测、地质勘探、现代军事以及现代农业等诸多领域。
高光谱图像分类算法主要分为基于机器学习算法和基于深度学习的算法两大类。传统的基于机器学习的方法只能提取浅层特征进行分类，无法充分挖掘高光谱图像深层特征，而且无法克服由于“异物同谱”和“同物异谱”而引起的椒盐噪声和区域级错分问题。基于深度学习的方法主要是利用卷积神经网络进行深度特征提取。其中一维卷积神经网络(1DCNN)只是提取光谱维度的特征，而没有利用高光谱图像丰富的空间结构信息。二维卷积神经网络(2DCNN)引入中心像素的邻域结构信息很好的克服了这个缺点。但是在高光谱图像中的地面物体的形状是不规则的，而且普通的卷积神经网络采用的是形状不可变的卷积核，所以无差别的引入中心像素的邻域像素点的信息会不可避免的引入不同类别的光谱特征，这就使得卷积神经网络不能准确地提取地面物体的空谱特征。当待分类的像素位于物体的边缘处和不同类别物体的交界处时，这个问题尤其严重。
可变卷积网络的卷积核的形状是可以改变的，该网络的卷积核根据生成的偏移量改变自己的采样位置，进而改变卷积核形状。但是该方法仅通过一层普通的卷积层来生成偏移量，这种生成偏移量的方式不适用具有高维信息的高光谱图像，所以无法生成正确的偏移量信息，也就无法提取适当的空谱信息。
发明内容
本发明是为了解决现有的高光谱图像分类方法存在问题椒盐噪声和区域级错分问题，以及无法提取适当的空谱信息的问题。
基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法，包括以下步骤：
针对待分类的高光谱图像，利用基于核引导可变卷积和双窗联合滤波的高光谱图像分类模型进行分类处理；
所述的基于核引导可变卷积和双窗联合滤波的高光谱图像分类模型主要包括特征提取和再分类两个阶段；
在第一阶段中，待分类的高光谱图像的大小为H*W*B，对于高光谱图像中任一个像素点A，取以该像素点为中心的N*N范围的区域作为特征提取网络的输入；特征提取网络的输入就是大小为N*N*B的高光谱立方体块；
首先，利用多层核引导可变卷积层组成特征提取网络提取空谱特征；
然后，将提取出来的特征输入到全连接层中，得到初始分类概率图，大小为H*W*C；特征提取阶段组成的网络称为核引导可变卷积网络KDCNet；
在第二阶段中，对于初始的分类概率图中任一个像素点B，取以该像素点为中心的N1*N1范围作为再分类阶段中第一个双窗联合双边滤波器模块的其中一个输入；之后，取待分类的高光谱图像中的像素点B为中心的N1*N1范围的区域输入到DP核中，生成相似度图；该相似度图是第一个双窗联合双边滤波器模块的另一个输入；在再分类阶段中，首先将大小为N1*N1的相似度图和大小为N1*N1*C的初始的分类概率图输入到第一个双窗联合双边滤波器模块中，经过优化后，再将优化后的结果和大小为N1*N1的相似度图输入到第二个双窗联合双边滤波器模块中；
对于初始的分类概率图中任一个像素点进行上述操作，输出的结果就是最终的分类概率图；对最终的分类概率图进行最大概率取值，得到最终的分类结果图。
进一步地，所述取以该像素点为中心的N*N范围的区域作为特征提取网络的输入的过程中，如果中心像素邻域区域范围小于N*N，用0补全。
进一步地，所述特征提取网络为三层核引导可变卷积层组成特征提取网络。
进一步地，所述双参数核模块生成相似度图的过程包括以下步骤：
其中，
和
是两个高斯核计算，生成两个参数，分别代表距离相似度和光谱相似度；δsδr是高斯核参数；q0是输入特征图的中心像素点，x(q0)为对应像素点的值；q代表输入特征图的每一个像素点，x(q)为对应像素点的值；S′(q)为相似度图；B是输入特征x的深度。
进一步地，所述核引导可变卷积层的处理过程包括以下步骤：
将输入特征图输入到双参数核模块中生成相似度图S′(q)；利用两个阈值参数θ1,θ2对S′(q)离散化：
S(q)为离散化后的相似度图，是介于0到1的数；当S(q)等于0的时候，位置q和中心像素q0的类别是不同的；当S(q)等于1的时候，位置q和中心像素q0的类别是相同的；
将与中心像素类别相同和不同的位置分别表示为q1和q0；
然后基于常规的可变形卷积，将常规的可变形卷积处理过程中的感受野中的采样位置从q0随机移动到q1；核引导可变卷积表示为：
其中，
代表从为q0到q1的偏移量；p0为输出特征图的像素点，x(·)为像素点的值；R常规的可变形卷积采样位置表示的正方形网格，pn为穷举R中的每一个元素；w(pn)是卷积的权重。
进一步地，所述双窗联合双边滤波器的处理过程包括以下步骤：
第一个双窗联合双边滤波器模块的处理过程包括以下步骤：
1)将原始高光谱图像作为引导图I；第一个双窗联合双边滤波器的输入数据有两个，第一个是第一阶段的初始分类概率图Os，第二个是由引导图I生成的相似度S(q)；
针对于引导图I，图像大小为N1*N1，利用公式(4)-(6)计算相似度S(q)，根据相似度，与中心像素是同一个类别的像素点的位置记为q1；
2)对初始分类概率图Os进行双窗滤波：如果中心像素的分类结果C(p0)不同于Cmost(q1)，对中心像素进行滤波：首先，根据步骤1)得到的相似度S(q)和判别出来的出现频率最高的类别Cmost(q1)，得到出现频率最高的类别的位置，即在位置q1中，选出预测类别C(q1)等于出现频率最高的类别Cmost(q1)的位置；其次，将选出的位置组成较小的窗口R2，并在较小的窗口R2内，对第一阶段的初始分类概率图的中心像素进行滤波操作：
其中，p0为输出特征图的中心像素点位置，p为输出特征图的像素点位置，I(p)和I(p0)分别是相应位置的像素值，|p-p0|表示两点之间的偏移量，Os′是滤波后的分类概率图；
是滤波器的权重；
3)对初始分类概率图中的每一个像素点滤波完成后，使用概率最大原则得到最后的分类结果图Cfinal：
Cfinal(p)＝arg max O′s(p) (10)
将第一个双窗联合双边滤波器模块优化后的结果和大小为N1*N1的相似度图输入到第二个双窗联合双边滤波器模块中，第二个双窗联合双边滤波器模块的处理过程与第一个双窗联合双边滤波器模块处理过程相同。
进一步地，所述的滤波器的权重
基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类系统，所述系统用于执行所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法。
有益效果：
本发明利用高光谱图像的区域平滑特性，能够提取深层光谱空间特征，并获得良好的分类效果。并且，在特征提取阶段，本发明设计了核引导可变形卷积模型，提取纯净的光谱空间特征，根据地面物体的光谱信息计算出的相似度图生成偏移量，可以提高土地覆盖物边界像素的分类精度，进一步提高整体分类性能。在训练样本为1％的条件下，能够获得在PaviaU数据集上97.61％的分类结果。在第二阶段中，本发明设计了双窗联合双边滤波器来实现粗到细的分类。利用高光谱图像的区域平滑特性，并考虑空间信息，双窗联合双边滤波器可以有效解决单一像素和小区域像素的误分类问题，进而降低类间相似性和类内易变性对分类结果的负面影响。在训练样本为1％的条件下，能够获得在PaviaU数据集上98.63％的分类结果。本发明不仅可以提取适当的空谱信息的问题，而且能够很好的解决椒盐噪声和区域级错分问题。
附图说明
图1为基于核引导可变卷积和双窗联合滤波的高光谱图像分类算法流程图；
图2为核引导可变卷积的示意图；
图3为所有不同方法在PaviaU数据上的分类结果，其中图3(a)为假色图像，图3(b)为KDCNet分类结果，图3(c)为KDCDWBF分类结果，图3(d)-图3(f)是区域1和2的分类图对应的假色图像、KDCNet分类结果、KDCDWBF分类结果；
图4为所有不同方法在SD数据上的分类结果，其中图4(a)为假色图像，图4(b)为KDCNet分类结果，图4(c)为KDCDWBF分类结果。
具体实施方式
具体实施方式一：
针对高光谱图像分类存在的问题，本发明提出了一种基于核引导可变卷积和双窗联合滤波的高光谱图像分类算法(KDCDWBF)框架，图1所示，本发明能够结合核引导可变卷积和双窗联合双边滤波器的优势。
本实施方式所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法包括以下步骤：
所述的基于核引导可变卷积和双窗联合滤波的高光谱图像分类模型主要包括特征提取和再分类两个阶段，流程图中的特征提取阶段是该算法的第一个阶段，再分类阶段是该算法的第二个阶段。
1)在第一阶段中，待分类的高光谱图像的大小为H*W*B，对于高光谱图像中任一个像素点A，取以该像素点为中心的N*N范围的区域作为特征提取网络的输入，当中心像素邻域区域范围小于N*N时，用0补全；特征提取网络的输入就是大小为N*N*B的高光谱立方体块。
首先，利用多层核引导可变卷积层组成特征提取网络，用于提取准确的空谱特征；优选为三层核引导可变卷积层组成特征提取网络，一层核引导可变卷积层即图中的一个KGDC；
然后，将提取出来的特征输入到全连接层中，得到初始分类概率图，大小为H*W*C。特征提取阶段组成的网络称为核引导可变卷积网络KDCNet。
2)在第二阶段中，对于初始的分类概率图中任一个像素点B，本发明取以该像素点为中心的N1*N1范围作为再分类阶段中第一个双窗联合双边滤波器模块的其中一个输入；之后，本发明取待分类的高光谱图像中的像素点B为中心的N1*N1范围的区域输入到DP核中，生成相似度图。该相似度图是第一个双窗联合双边滤波器模块的另一个输入。在再分类阶段中，首先将大小为N1*N1的相似度图和大小为N1*N1*C的初始的分类概率图输入到第一个双窗联合双边滤波器模块中，经过优化后，再将优化后的结果和大小为N1*N1的相似度图输入到第二个双窗联合双边滤波器模块中。
对于初始的分类概率图中任一个像素点进行上述优化操作，输出的结果就是最终的分类概率图。对最终的分类概率图进行最大概率取值，得到最终的分类结果图C。
所述的核引导可变卷积层如下：
空谱联合分类算法基于的假设是：中心像素和邻近像素的类别是相同的。但在真实的高光谱图像中，中心像素的类别和周围邻域内像素的类别不全是相同的，尤其是，当中心像素位于地面物体的边缘或者地物交界处。因为常规的卷积核的形状是不会根据地面物体的形状而改变的，这就使得基于常规卷积核的网络无法提取纯净空谱特征。为了解决这个问题，可变形卷积被引入到高光谱分类领域。常规二维卷积核的采样位置可以表示为一个正方形网格：
R＝{(-1,-1),(-1,0),...,(0,1),(1,1)} (1)
对于输出特征图的像素点p0，该位置的输出值可以表示为：
其中，x代表输入特征图，w(pn)是卷积的权重，pn穷举R中的每一个元素。可变形卷积改变了传统卷积的采样位置，利用一层卷积操作学习每一个像素点的偏移量，并对其进行双线性插值处理。然后可变形卷积可以表示为：
其中，Δpn是位置p0+pn的偏移量。理想情况下，可以将偏移量准确地移到与中心像素相同类别的位置。但是，由于高光谱图像的数据量很大，简单的卷积层无法学到准确的偏移量。
为了利用可变卷积的优势的同时解决这个问题，本发明发明了一种基于光谱信息的核引导可变卷积层结构。核引导可变卷积层的示意图如图2所示。
本发明的核引导可变卷积层的处理过程主要包括以下步骤：
1)首先将输入特征图输入到双参数核模块(DP核)中生成相似度图，利用公式说明：
其中，
和
是两个高斯核计算，生成两个参数，分别代表距离相似度和光谱相似度。q0是输入特征图的中心像素点，x(q0)为对应像素点的值；q代表输入特征图的每一个像素点，x(q)为对应像素点的值；
2)引入两个阈值参数θ1,θ2，使得S′(q)离散化；具体可以表示为：
很显然，S(q)是介于0到1的数。当S(q)等于0的时候，位置q和中心像素q0的类别是不同的；当S(q)等于1的时候，位置q和中心像素q0的类别是相同的。
为方便起见，将与中心像素类别相同和不同的位置分别表示为q1和q0。为了提取更准确、更纯粹的空谱信息，应该排除q0位置的信息。
3)本发明基于可变形卷积的思想，将常规卷积感受野中的采样位置从q0随机移动到q1。为了保证数据的多样性，本发明采用了随机移动操作。核引导可变卷积可以表示为：
其中，
代表从为q0到q1的偏移量。
所述双窗联合双边滤波器(DWLBF)如下：
如前所述，高光谱图像的一个显著特点是类间相似度和类内变异度高，这将导致椒盐噪声和区域级误分类问题，当训练样本较少时，该问题更为突出。为了解决这个问题，本发明发明了一种新的双窗联合双边滤波器。在算法的再分类阶段串行使用了两个双窗联合双边滤波器处理初始分类概率图。第一个双窗联合双边滤波器模块的处理过程包括以下步骤：
1)生成相似度：双窗联合双边滤波器的输入数据有两个，第一个是第一阶段的初始分类概率图Os，第二个是由引导图I(原始高光谱图像)生成的相似度S(q)。并且为了更加充分的利用高光谱图像丰富的光谱信息，本发明将原始高光谱图像作为引导图I。
双窗联合双边滤波器有两个感受野R1和R2，称之为双窗；窗口R1的大小为N1*N1，窗口R2的大小为N2*N2，N1＞N2。
针对于引导图I，图像大小为N1*N1，利用公式(4)-(6)计算相似度S(q)，根据相似度，与中心像素是同一个类别的像素点的位置记为q1。在最优分类结果下，所有位于q1的像素点的预测类别应该是相同的，但是在实际中，由于以上问题的存在，预测的分类结果总是受到椒盐噪声和区域级误分类问题的干扰。这时，本发明做一个合理假设：在所有位于q1的像素点的预测类别C(q1)中，出现频率最高的类别Cmost(q1)，就是位于q1像素点的真实类别。
2)对初始分类概率图Os进行双窗滤波：如果中心像素的分类结果C(p0)不同于Cmost(q1)，说明中心像素的分类结果是错的，这时本发明就会对中心像素进行滤波。具体的滤波方案是：首先，根据第1)步得到的相似度S(q)和判别出来的出现频率最高的类别Cmost(q1)，我们可以得到出现频率最高的类别的位置，即在位置q1中，选出预测类别C(q1)等于出现频率最高的类别Cmost(q1)的位置。其次，我们将选出的位置组成较小的窗口R2，并在较小的窗口R2内，对第一阶段的初始分类概率图的中心像素进行滤波操作：
其中，p0为输出特征图的中心像素点位置，p为输出特征图的像素点位置，I(p)和I(p0)分别是相应位置的像素值，|p-p0|表示两点之间的偏移量，Os′是滤波后的分类概率图；
是滤波器的权重，可以通过公式(9)得到。
3)得到最后的分类结果：对初始分类概率图中的每一个像素点滤波完成后，本发明使用概率最大原则得到最后的分类结果图Cfinal：
Cfinal(p)＝arg max O′s(p) (10)
将第一个双窗联合双边滤波器模块优化后的结果和大小为N1*N1的相似度图输入到第二个双窗联合双边滤波器模块中，第二个双窗联合双边滤波器模块的处理过程与第一个双窗联合双边滤波器模块处理过程相同。
具体实施方式二：
本实施方式所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类系统，用于执行所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法。
实施例
采用PaviaU和SD两个高光谱数据集对本发明提出的基于核引导可变卷积和双窗联合滤波的高光谱图像分类算法效果进行说明。这两个数据集的属性列在了表1中。本发明随机选取1％和5％的样本作为训练和验证数据集，94％的样本作为测试数据集。实验结果采用总体分类精度(OA)，平均分类精度(AA)和Kappa系数作为衡量指标，三个指标的值越高表明分类结果越好。
表1 PaviaU和SD两个高光谱数据集的详细属性
虽然δs,δr阈值都是可以调整的参数，可以影响最终的分类结果，但没有必要对所有的参数都做参数分析。因为即使使用不同的δs,δr，本发明也可以通过调整阈值θ1,θ2得到相同的结果。所以两组数据的默认参数设置如表2。参数
表示第一个双窗联合双边滤波器的双窗口大小，参数
表示第二个双窗联合双边滤波器的窗口大小。本发明中使用的默认参数可以根据数据集特点的不同的而做出相应的变化，表2只是列举出一种使用情况。
表2 PaviaU和SD数据集的默认实验参数
为了验证所提出分类方法的神经网络的有效性，将所提出的算法运行在PyTorch框架上，初始学习率为0.001，使用Adam优化器来优化网络参数，每次输入网络的数据批次为128，同时将epoch设置为200。为了有效地防止过拟合现象，在全连接中采用dropout＝0.1。实验硬件平台：CPU:i5-9400F,GPU:GTX-1650，内存：16G。
输入的高光谱图像数据块的大小默认设置为21×21像素点。三层卷积的卷积核的大小均是3×3，stride和padding均是1，每层卷积层后接归一化层，激活函数层和最大池化层。并在最后两层卷积层后接dropout层。为保证实验的准确性，每组实验进行10次，取10次结果的平均值和标准差作为实验的结果，具体如表3和表4所示。
在PaviaU数据集的验证结果中，提出的方法获得了最高的分类精度。第一阶段的分类结果也高于其他对比算法，验证了核引导可变形卷积的形状更符合地面物体的真实形状。另外，第二阶段的分类结果比第一阶段高1.31％，所有方法的分类图如图3所示。分类结果图显示，由于常规卷积无法消除干扰信息，所以常规卷积模糊了地面物体的边缘或类之间的边界。为了更清楚地说明本发明的优越性，本发明以图3(a)中的区域1和区域2为例，展示分类结果图中地面物体的预测形状。图3(d)-图3(f)上边一行展示的是区域2的分类结果，图3(d)-图3(f)下边一行展示的是区域1的分类结果，区域1和区域2的分类结果表明，即使面对有多个地面物体的复杂区域，所提出的方法仍然可以有效地提取纯净的空间光谱信息。图3(d)-图3(f)显示，通过DWLBF修复了区域误分类问题，使得物体的边缘更加准确和连续。
对于SD数据集，该数据集的特点是存在较多的孤立点和不规则点和交错的类间边界，所以默认参数分别更新为0.5和0.02。输入的高光谱图像立方体的大小设置为5，所有的方法都可以实现良好的结果，但本发明的方法仍能达到最佳的分类结果。本发明的方法在每一个类别中都具有最高的准确性且整体准确率高达99.99％。
表3算法在PaviaU数据集的分类准确率(％)
表4算法在SD数据集的分类准确率(％)
为了充分验证本发明效果的有效性，利用本发明对SD数据进行分类，图4为所有不同方法在SD数据上的分类结果，其中图4(a)为假色图像，图4(b)为KDCNet分类结果，图4(c)为KDCDWBF分类结果。可以看出本发明的方法仍具有非常好的分类结果。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法，其特征在于，包括以下步骤：
针对待分类的高光谱图像，利用基于核引导可变卷积和双窗联合滤波的高光谱图像分类模型进行分类处理；
所述的基于核引导可变卷积和双窗联合滤波的高光谱图像分类模型主要包括特征提取和再分类两个阶段；
在第一阶段中，待分类的高光谱图像的大小为H*W*B，对于高光谱图像中任一个像素点A，取以该像素点为中心的N*N范围的区域作为特征提取网络的输入；特征提取网络的输入就是大小为N*N*B的高光谱立方体块；
首先，利用多层核引导可变卷积层组成特征提取网络提取空谱特征；
然后，将提取出来的特征输入到全连接层中，得到初始分类概率图，大小为H*W*C；特征提取阶段组成的网络称为核引导可变卷积网络KDCNet；
在第二阶段中，对于初始的分类概率图中任一个像素点B，取以该像素点为中心的N1*N1范围作为再分类阶段中第一个双窗联合双边滤波器模块的其中一个输入；之后，取待分类的高光谱图像中的像素点B为中心的N1*N1范围的区域输入到双参数核模块中，生成相似度图；该相似度图是第一个双窗联合双边滤波器模块的另一个输入；在再分类阶段中，首先将大小为N1*N1的相似度图和大小为N1*N1*C的初始的分类概率图输入到第一个双窗联合双边滤波器模块中，经过优化后，再将优化后的结果和大小为N1*N1的相似度图输入到第二个双窗联合双边滤波器模块中；
对于初始的分类概率图中任一个像素点进行上述操作，输出的结果就是最终的分类概率图；对最终的分类概率图进行最大概率取值，得到最终的分类结果图。
2.根据权利要求1所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法，其特征在于，所述取以该像素点为中心的N*N范围的区域作为特征提取网络的输入的过程中，如果中心像素邻域区域范围小于N*N，用0补全。
3.根据权利要求2所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法，其特征在于，所述特征提取网络为三层核引导可变卷积层组成特征提取网络。
4.根据权利要求1、2或3所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法，其特征在于，所述双参数核模块生成相似度图的过程包括以下步骤：
其中，
和
是两个高斯核计算，生成两个参数，分别代表距离相似度和光谱相似度；δsδr是高斯核参数；q0是输入特征图的中心像素点，x(q0)为对应像素点的值；q代表输入特征图的每一个像素点，x(q)为对应像素点的值；S′(q)为相似度图；B是输入特征x的深度。
5.根据权利要求4所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法，其特征在于，所述核引导可变卷积层的处理过程包括以下步骤：
将输入特征图输入到双参数核模块中生成相似度图S′(q)；利用两个阈值参数θ1,θ2对S′(q)离散化：
S(q)为离散化后的相似度图，是介于0到1的数；当S(q)等于0的时候，位置q和中心像素q0的类别是不同的；当S(q)等于1的时候，位置q和中心像素q0的类别是相同的；
将与中心像素类别相同和不同的位置分别表示为q1和q0；
然后基于常规的可变形卷积，将常规的可变形卷积处理过程中的感受野中的采样位置从q0随机移动到q1；核引导可变卷积表示为：
其中，
代表从为q0到q1的偏移量；p0为输出特征图的像素点，x(·)为像素点的值；R常规的可变形卷积采样位置表示的正方形网格，pn为穷举R中的每一个元素；w(pn)是卷积的权重。
6.根据权利要求5所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法，其特征在于，所述双窗联合双边滤波器的处理过程包括以下步骤：
第一个双窗联合双边滤波器模块的处理过程包括以下步骤：
1)将原始高光谱图像作为引导图I；第一个双窗联合双边滤波器的输入数据有两个，第一个是第一阶段的初始分类概率图Os，第二个是由引导图I生成的相似度S(q)；
针对于引导图I，图像大小为N1*N1，利用公式(4)-(6)计算相似度S(q)，根据相似度，与中心像素是同一个类别的像素点的位置记为q1；
2)对初始分类概率图Os进行双窗滤波：如果中心像素的分类结果C(p0)不同于Cmost(q1)，对中心像素进行滤波：首先，根据步骤1)得到的相似度S(q)和判别出来的出现频率最高的类别Cmost(q1)，得到出现频率最高的类别的位置，即在位置q1中，选出预测类别C(q1)等于出现频率最高的类别Cmost(q1)的位置；其次，将选出的位置组成较小的窗口R2，并在较小的窗口R2内，对第一阶段的初始分类概率图的中心像素进行滤波操作：
其中，p0为输出特征图的中心像素点位置，p为输出特征图的像素点位置，I(p)和I(p0)分别是相应位置的像素值，|p-p0|表示两点之间的偏移量，O′s是滤波后的分类概率图；Kp0是滤波器的权重；
3)对初始分类概率图中的每一个像素点滤波完成后，使用概率最大原则得到最后的分类结果图Cfinal：
Cfinal(p)＝arg max O′s(p) (10)
将第一个双窗联合双边滤波器模块优化后的结果和大小为N1*N1的相似度图输入到第二个双窗联合双边滤波器模块中，第二个双窗联合双边滤波器模块的处理过程与第一个双窗联合双边滤波器模块处理过程相同。
7.根据权利要求6所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法，其特征在于，所述的滤波器的权重
8.基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类系统，其特征在于，所述系统用于执行权利要求1至7之一所述的基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110361621.2A CN113033686B (zh) | 2021-04-02 | 2021-04-02 | 基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110361621.2A CN113033686B (zh) | 2021-04-02 | 2021-04-02 | 基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033686A CN113033686A (zh) | 2021-06-25 |
| CN113033686B true CN113033686B (zh) | 2022-03-22 |
Family
ID=76453598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110361621.2A Active CN113033686B (zh) | 2021-04-02 | 2021-04-02 | 基于核引导可变卷积和双窗联合双边滤波器的高光谱图分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033686B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310810B (zh) * | 2022-12-06 | 2023-09-15 | 青岛柯锐思德电子科技有限公司 | 基于空间注意力引导可变卷积的跨域高光谱图像分类方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903007A (zh) * | 2014-03-10 | 2014-07-02 | 哈尔滨工程大学 | 一种基于空-谱信息的高光谱半监督分类方法 |
| CN107292343A (zh) * | 2017-06-23 | 2017-10-24 | 中南大学 | 一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法 |
| CN107871132A (zh) * | 2017-10-31 | 2018-04-03 | 广东交通职业技术学院 | 一种空间特征自适应寻优的高光谱图像分类方法 |
| CN108446723A (zh) * | 2018-03-08 | 2018-08-24 | 哈尔滨工业大学 | 一种高光谱图像的多尺度空谱协同分类方法 |
| CN109766858A (zh) * | 2019-01-16 | 2019-05-17 | 中国人民解放军国防科技大学 | 结合双边滤波的三维卷积神经网络高光谱影像分类方法 |
| CN110348399A (zh) * | 2019-07-15 | 2019-10-18 | 中国人民解放军国防科技大学 | 基于原型学习机制和多维残差网络的高光谱智能分类方法 |
| CN110458057A (zh) * | 2019-07-29 | 2019-11-15 | 天津大学 | 一种基于边缘保持的卷积神经网络高光谱图像分类方法 |
-
2021
- 2021-04-02 CN CN202110361621.2A patent/CN113033686B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903007A (zh) * | 2014-03-10 | 2014-07-02 | 哈尔滨工程大学 | 一种基于空-谱信息的高光谱半监督分类方法 |
| CN107292343A (zh) * | 2017-06-23 | 2017-10-24 | 中南大学 | 一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法 |
| CN107871132A (zh) * | 2017-10-31 | 2018-04-03 | 广东交通职业技术学院 | 一种空间特征自适应寻优的高光谱图像分类方法 |
| CN108446723A (zh) * | 2018-03-08 | 2018-08-24 | 哈尔滨工业大学 | 一种高光谱图像的多尺度空谱协同分类方法 |
| CN109766858A (zh) * | 2019-01-16 | 2019-05-17 | 中国人民解放军国防科技大学 | 结合双边滤波的三维卷积神经网络高光谱影像分类方法 |
| CN110348399A (zh) * | 2019-07-15 | 2019-10-18 | 中国人民解放军国防科技大学 | 基于原型学习机制和多维残差网络的高光谱智能分类方法 |
| CN110458057A (zh) * | 2019-07-29 | 2019-11-15 | 天津大学 | 一种基于边缘保持的卷积神经网络高光谱图像分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| Sensor-Independent Hyperspectral Target Detection With Semisupervised Domain Adaptive Few-Shot Learning;Y. Shi;《in IEEE Transactions on Geoscience 》;20201030;第59卷;6894-6906 * |
| 基于深度学习的高光谱遥感图像分类;马超;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20200115(第01期);C028-153 * |
| 矢量水听器设计制作及其标准化校准技术研究;成浩;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20180615(第06期);C028-121 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033686A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Hyperspectral anomaly detection with kernel isolation forest | |
| CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
| CN107833220A (zh) | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 | |
| CN110348399B (zh) | 基于原型学习机制和多维残差网络的高光谱智能分类方法 | |
| CN109766858A (zh) | 结合双边滤波的三维卷积神经网络高光谱影像分类方法 | |
| CN107358258B (zh) | 基于nsct双cnn通道和选择性注意机制的sar图像目标分类 | |
| CN110533077B (zh) | 用于高光谱图像分类的形状自适应卷积深度神经网络方法 | |
| CN105528595A (zh) | 在无人机航拍图像中对输电线路绝缘子的识别定位方法 | |
| CN109871884B (zh) | 一种融合多特征的支持向量机面向对象遥感影像分类方法 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| CN109035300B (zh) | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 | |
| CN111401145B (zh) | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 | |
| CN106611423B (zh) | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 | |
| CN101551853A (zh) | 复杂静态彩色背景下的人耳检测方法 | |
| CN111667019B (zh) | 基于可变形分离卷积的高光谱图像分类方法 | |
| CN107871132B (zh) | 一种空间特征自适应寻优的高光谱图像分类方法 | |
| CN108182449A (zh) | 一种高光谱图像分类方法 | |
| CN107066959B (zh) | 一种基于导向滤波和线性空间相关性信息的高光谱图像分类方法 | |
| CN112200123B (zh) | 联合稠密连接网络和样本分布的高光谱开放集分类方法 | |
| CN107341813A (zh) | 基于结构学习和素描特性推理网络的sar图像分割方法 | |
| Fu et al. | A novel spectral-spatial singular spectrum analysis technique for near real-time in situ feature extraction in hyperspectral imaging | |
| CN110232390B (zh) | 一种变化光照下图像特征提取方法 | |
| CN113673556B (zh) | 一种基于多尺度密集卷积网络的高光谱图像分类方法 | |
| CN112990314A (zh) | 基于改进孤立森林算法的高光谱图像异常检测方法及装置 | |
| CN112669249A (zh) | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |