CN111523521B - 一种双支路融合多尺度注意神经网络的遥感图像分类方法 - Google Patents
一种双支路融合多尺度注意神经网络的遥感图像分类方法 Download PDFInfo
- Publication number
- CN111523521B CN111523521B CN202010561749.9A CN202010561749A CN111523521B CN 111523521 B CN111523521 B CN 111523521B CN 202010561749 A CN202010561749 A CN 202010561749A CN 111523521 B CN111523521 B CN 111523521B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- branch
- data set
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000013145 classification model Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 10
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000005012 migration Effects 0.000 claims description 25
- 238000013508 migration Methods 0.000 claims description 24
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 17
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 101001001272 Homo sapiens Prostatic acid phosphatase Proteins 0.000 claims description 8
- 102100035703 Prostatic acid phosphatase Human genes 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- -1 flat land Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004949 mass spectrometry Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种双支路融合多尺度注意神经网络的遥感图像分类方法，从数据集中读入多光谱影像；得到图像矩阵后，利用超像素对图像数据预处理；对数据进行归一化操作，并对归一化后的图像矩阵中每个像素取块，构成基于图像块的特征矩阵；选取训练集和测试集；构造基于双通道稀疏特征融合的卷积神经网络的分类模型；用训练数据集对分类模型进行训练；利用训练好的分类模型对测试数据集分类。本发明从图像本身特点考虑，可以自适应图像中目标地域物的大小提取特征，并且针对边界像素采取了新的中心像素偏移策略，使得边界像素的分类准确率提高，并且也提高了整个训练过程的运行速度。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类方法，可用于国土资源调查、土地利用与土地覆盖、城乡规划、环境监测、旅游开发等遥感图像目标地域物分类的相关领域中。
背景技术
随着卫星遥感和航空遥感技术的不断发展与进步，我们可以通过各种方式从得到的遥感图像中获取想得到的信息并应用于生活，便利人民。而针对得到的同一场景下的多光谱(MS)遥感图像和高分辨率全色(PAN)遥感图像，由于MS 图拥有较窄的光谱范围，而PAN图拥有更为丰富的空间信息，因此如何提取它们的有效信息进行融合并提高分类精度也逐步成为研究热点。
通常情况下，MS图和PAN图的融合方法分为传统融合方法和深度学习的融合方法。传统融合方法包括基于组件替换的方法、基于多分辨率分析的方法、基于变分模型的方法等。基于组件替换的方法就是将MS图投影到另一个空间，分离空间信息与光谱信息，用PAN图的空间信息去替换空间组件，但可能会导致光谱失真。基于多分辨率分析的方法分离图像的高通和低通信息，对空间失真敏感。基于变分模型的方法是构造能量函数，但是拘泥于模拟的限制。随着神经网络、深度学习的逐渐成熟，将其应用于MS与PAN图的特征融合，得到的很大的鼓舞。卷积神经网络可以隐式且并行的从训练数据中进行学习，一般情况下用相似的卷积神经网络提取MS和PAN图各自的特征最后进行级联，这样的操作没有考虑到两个遥感图像之间的相通性和差异性，太过于强硬。而且在对原始数据进行超像素处理后，能够更好的适应目标地域物的大小，如果依旧应用原来的中心像素进行分类，会造成一定的误差，不利于准确率的提高。比如，该中心像素处于两个超像素块的分界线周围，那么这个分界线对于中心像素的分类就有一定的干扰，因此原来的中心像素划分策略就不再适用于这种情况。
特征提取的网络结构不断地涌现出来，VGG、Resnet、SE-Net、DenseNet等，其中注意力机制一直众人的研究焦点，注意力机制可以使得神经网络具备专注于其输入(或特征)子集的能力：选择特定的输入，并且可以应用于任何类型的输入而不管其形状如何。对于多通道的MS图，通道注意力机制就成为了一个很热门的解决方案。进一步专注于网络内部结构，近年来还提出了空洞卷积的概念，相对应的为ASPP结构，解决了特征图分辨率和接收野之间的矛盾，利用多尺度进一步提高了分类准确率。虽然上述结构解决了部分问题，但是对于不同的地域物，使用相同扩张率的卷积，对于特征提取的效果也有一定的影响。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类方法，解决现有技术分类精度低以及不能适应各种大小目标物分类的问题。
本发明采用以下技术方案：
一种双支路融合多尺度注意神经网络的遥感图像分类方法，包括以下步骤：
S1、读入遥感数据MS图像和PAN图像；
S2、使用超像素经典算法对步骤S1获得的MS图像的RGB三通道进行区域分割，制作先验数据集，对步骤S1获得的MS图和PAN图像进行归一化预处理，选取训练数据集和测试数据集；
S3、利用步骤S2的先验数据集构造基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类模型；运用中心像素迁移策略对步骤S2获得的先验数据集进行处理；
S4、利用步骤S2获得的训练数据集的样本块对作为分类器的输入，训练数据集中每个像素点的类别作为分类模型的输出，对步骤S3的遥感图像分类模型进行训练，利用步骤S3处理后的数据集对得出的新的迁移位置的像素进行分类，得到训练好的分类模型；
S5、将步骤S2测试数据集的样本块作为步骤S4训练好的分类模型的输入，训练好的分类模型的输出为测试数据集中每个像素点进行分类得到的分类类别。
具体的，步骤S2中，制作先验数据集具体为：
S201、使用超像素经典算法SLIC对MS图像的RGB三通道进行区域分割；
S202、对MS图像进行逐像素滑窗操作，计算同中心像素属于同一超像素块的像素数记为Ki，得到自适应空洞卷积核的扩张率
和感受野
对空洞卷积核的数据逐一对应中心像素保存为文件1；
S203、计算遥感图像的灰度共生矩阵P(i,j)，i,j＝1,2,...,L-1，L为灰度级，P 具有空间位置关系信息，根据灰度共生矩阵P(i,j)求出相关度，反映图像的局部灰度相关性如下：
S204、在以中心像素为中心边长s为
的正方形框内计算上下左右四个方向的相关系数R，将相关系数R对应中心像素逐一保存为文件2。
进一步的，步骤S204中，相关系数R计算如下：
其中，di是在正方形范围内某一方向上的像素到该中心像素所在超像素块质心的距离，n为正方形边长的一半即该正方向范围内某一方向上的像素数量， r,g,b分别表示像素的RGB值。
具体的，步骤S2中，归一化预处理具体为：
S205、分别对PAN和MS图像矩阵中所有像素点的值归一化到[0，1]之间；
S206、选取训练集和测试集，在归一化后的图像中找到有对应类标的像素点，以每个像素为中心取PAN图邻域64*64的区域，MS图邻域16*16作为样本块对，每个块的邻域为中心点的分类所服务；然后取每类的百分之十样本作为训练集，其余百分之九十作为测试集。
具体的，步骤S3中，构造遥感图像分类模型具体为：
S301、PAN图像经过一层步长为2的5*5卷积与步长为2的最大池化，MS 图像经过一层3*3卷积与最大池化操作，步长为1合；
S302、MS图像支路与PAN图像支路开始由三个相同的残差块串联连接而成，后面紧接改进的自适应ASPP和ACPP结构，在MS图像支路的最后面加上 SENet；针对不同阶段提取的特征深浅程度，将MS图像支路与PAN图像支路的特征有选择的进行交互融合；
S303、将MS图像支路与PAN图像支路特征提取的输出拉成一维向量并合并，再经过两层全连接层与一层softmax分类层种进行分类。
进一步的，步骤S302中，每个残差块由残差和直接映射两支路组成，每个残差块的直接映射部分由一层均值池化与一层1*1卷积组成，均值池化用于匹配残差部分输出的尺寸，1*1卷积用于匹配残差部分输出的通道数；
ASPP结构由四个不同固定扩张率的空洞卷积核、一个自适应卷积核以及一个全局平均池化组成，固定扩张率为1、4、8、12，第一个为1×1的卷积核，其余三个为3×3的卷积核，通道数分别为32、64、128、256，最后将所得到的特征融合输出；
融合模块在特征提取的浅层和中层阶段，选择在MS图像支路与PAN图像支路的残差块1之后加入融合模块1，将两支路的特征图FMS原和FPAN原进行卷积操作，重构成相同大小的特征图记为FMS和FPAN，用sigmoid函数对得到的特征图分别进行掩膜提取记为MaskMS和MaskPAN，然后将MaskMS和 MaskPAN按比例选择各自的部分掩膜，与各自FMS和FPAN点乘，将得到的特征图输入到所在支路的下一个残差块；
在特征提取的深层阶段，在ASPP结构与ACPP结构之后加入融合模块2，先将MS图像支路与PAN图像支路特征图进行卷积操作重构，然后直接将得到的特征级联，通过sigmoid得到掩膜Mask，然后直接将掩膜与对应支路的特征点乘，将得到的特征图输入到所在支路的下一个部分。
具体的，步骤S3中，运用中心像素迁移策略具体为：
S304、对步骤S204中求出的四个方向的R值进行排序，若这四个R值都满足R＞0.75，则中心像素位于平坦均匀地区，不进行偏移，否则求得 Rmin＝min(R1,R2,R3,R4)，Rmax＝max(R1,R2,R3,R4)；
S305、若像素中心迁移，则迁移的最终位置为偏移至 (Locx(center)+u1x-u2x,Locy(center)+u1y-u2y)，Locx和Locy分别表示中心像素的横纵坐标。
进一步的，步骤S304中，中心像素偏移策略为：先向相关系数最高的方向即Rmax偏移u1＝Rmax*s，再向相关系数最低的反方向即Rmin偏移u2＝Rmin*s。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种双支路融合多尺度注意神经网络的遥感图像分类方法，利用超像素分类对数据进行了预处理，利用得到的数据对空洞卷积的扩张率进行自适应的设置，使得可以更好地提取不同大小目标地域物的特征，提高了网络的分类精度；采用了中心像素迁移策略，对于处于边界的像素根据提出的基于超像素的相关系数来判断是否需要迁移，从而通过计算迁移方向以及迁移距离，根据新的迁移中心进行分类，该策略有利于中心像素的准确分类；采用了双支路进行特征融合，针对两支路不同谱段和空间信息的独有特征，对网络结构进行了有效的改进，并且在融合过程中对两支路进行参数共享、信息交互，减少了训练参数，提高了分类精度。进一步的，请根据权利要求补充说明设置的目的或好处。
进一步的，制作先验数据集，是对后面步骤提出策略的提供计算速率的保障。
进一步的，为了保证输入数据都为统一的形式，减少差异性，提高计算速率。
进一步的，提出新的网络结构对遥感图像数据进行分类，根据图像本身的特点对传统网络架构改进，提高分类精度。
进一步的，对于处于边界的像素分类容易分类错误的情况进行详细解决，提高边界像素的分类精度，减少误差。
综上所述，本发明从图像本身特点考虑，可以自适应图像中目标地域物的大小提取特征，并且针对边界像素采取了新的中心像素偏移策略，使得边界像素的分类准确率提高，并且也提高了整个训练过程的运行速度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实现流程图；
图2为本发明对待分类图像的分类结果图。
具体实施方式
本发明提供了一种基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类方法，从数据集中读入MS图和PAN图；对MS图进行超像素分割，计算自适应空洞卷积的扩张率以及确定中心像素迁移的相关系数；对图像进行归一化处理，构建训练集与测试集；构造基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类模型；运用新的中心像素迁移策略；用训练数据集对分类模型进行训练；利用训练好的分类模型对测试数据集分类。本发明引入根据目标物自适应空洞卷积以及中心像素偏移策略，并且构建了加入新型分层共享参数的融合双支路结构，提高了分类精度和扩大了网络的适用范围，可用于多源图像的分类以及逐像素分类任务。
请参阅图1，本发明一种基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类方法，从数据集中读入多光谱影像；利用超像素对图像数据预处理，去除信息冗余点；对数据进行归一化操作，并对归一化后的图像矩阵中每个像素取块，构成基于图像块的特征矩阵；选取训练集和测试集；构造基于双通道稀疏特征融合的卷积神经网络的分类模型；用训练数据集对分类模型进行训练；利用训练好的分类模型对测试数据集分类。具体步骤如下：
S1、读入遥感数据MS图和PAN图；
从数据集中读入MS图和PAN图，包括西安已配准后的PAN和MS图像数据以及对应的只有部分区域的类标ground truth图；
S2、制作先验数据集；对步骤S1获得的MS图和PAN图像进行归一化预处理，选取训练数据集和测试数据集；S201、使用超像素经典算法SLIC对MS图的RGB三通道进行区域分割；
S202、对该MS图像进行逐像素滑窗操作，所选窗口大小为16×16，计算同该中心像素属于同一超像素块的像素数记为Ki，得到自适应空洞卷积核的扩张率为：
感受野为
对空洞卷积核的数据逐一对应中心像素保存为文件1；
S203、求出遥感图像的灰度共生矩阵P(i,j)，i,j＝1,2,...,L-1，L为灰度级，P 具有空间位置关系信息，根据灰度共生矩阵求出相关度，反映了图像的局部灰度相关性如下：
S204、在以中心像素为中心边长s为
的正方形框内计算上下左右四个方向的相关系数，该相关系数是新的基于超像素的相关系数，公式如下：
其中，di是在该正方形范围内某一方向上的像素到该中心像素所在超像素块质心的距离，n为正方形边长的一半即该正方向范围内某一方向上的像素数量， r,g,b分别表示像素的RGB值，将相关系数对应中心像素逐一保存为文件2。
PAN和MS图像预处理；
S205、数据归一化，由于MS与PAN图来自不同的传感器，数据的分布范围差异较大，因此对这两种图像分别进行归一化处理，分别对PAN和MS图像矩阵中所有像素点的值归一化到[0，1]之间，归一化公式如下：
其中，pi表示图像中的任一像素值，pmin为图像中的最小像素值，pmax为图像中的最大像素值
S206、选取训练集和测试集，在归一化后的图像中找到有对应类标的像素点，以每个像素为中心取PAN图邻域64*64的区域，MS图邻域16*16作为样本块对，每个块的邻域为中心点的分类所服务。然后取每类的百分之十样本作为训练集，其余百分之九十作为测试集。
S3、构造基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类模型；
S301、由于PAN图是MS图的四倍，所以PAN图先经过一层步长为2的5*5 卷积与步长为2的最大池化，而MS经过一层3*3卷积与最大池化操作，但步长为1。此时两者的特征块的尺寸与通道数将相同，以便后续的特征融合；
S302、特征进一步提取与融合，MS支路与PAN图支路开始都由三个相同的残差块串联连接而成，后面紧接改进的自适应的ASPP和ACPP结构，由于MS 的多光谱多通道特性，在MS支路的最后面加上了SENet。在处理MS与PAN两个支路间的参数共享问题时，引入了新的融合模块，针对不同阶段提取的特征深浅程度，将MS与PAN两个支路的特征有选择的进行交互融合，使得该支路既保留了自己特有的特征，还融合了另一支路所给予的特征；
以下介绍网络结构中各部分的模块：
对于残差块，每个残差块由残差和直接映射两支路组成。其中每个残差块的直接映射部分由一层均值池化与一层1*1卷积组成，均值池化用于匹配残差部分输出的尺寸，1*1卷积用于匹配残差部分输出的通道数；对于残差支路，只对第一个残差支路做具体说明，其他残差支路构造类似；假设对于该支路的第一个残差块的输入先经过一层1*1卷积降维得到然后分别经过步长为2的3*3的传统卷积；
对于应用在PAN支路上改进的ASPP结构，由四个不同的固定扩张率的空洞卷积核、一个自适应卷积核以及一个全局平均池化组成，最后将所得到的特征融合输出，该固定扩张率为1、4、8、12，第一个为1×1的卷积核，其余三个都为 3×3的卷积核；而自适应的卷积核的扩张率由步骤S202中的计算结果决定，以自适应目标地域物的大小，提高最后分类结果的准确率，如图2所示；对于应用在MS支路上改进的ACPP结构，相较于PAN支路的ASPP，就是卷积核的通道数发生了变化，将卷积核的大小定为一样，扩张率都为自适应扩张率，而四个固定的卷积核都为3×3的大小，通道数分别为32、64、128、256，最后将所得到的特征融合输出；
对于融合模块，在特征提取的浅层和中层阶段，由于MS和PAN支路在此阶段的特征还有很大的个体差异性，因此选择在两支路的残差块1之后加入融合模块1，现将两支路的特征图FMS原和FPAN原进行卷积操作，重构成相同大小的特征图记为FMS和FPAN，用sigmoid函数对得到的特征图分别进行掩膜的提取记为MaskMS和MaskPAN，然后将MaskMS和MaskPAN按一定的比例选择各自的部分掩膜，与各自FMS和FPAN点乘，将得到的特征图输入到所在支路的下一个残差块；
在浅层，这个比例设为3:7，在中层比例设为1:1，以浅层计算举例，对于MS支路，输入下一个残差块的特征为(0.7×MaskMS+0.3×MaskPAN)× FMS+FMS原，对于PAN支路，输入下一个残差块的特征为(0.5×MaskMS+0.5 ×MaskPAN)×FPAN+FPAN原；
在特征提取的深层阶段，MS和PAN支路提取的特征已经都属于内核特征，因此在ASPP与ACPP之后加入融合模块2，先将两支路特征图进行卷积操作重构，然后直接将得到的特征级联，通过sigmoid得到掩膜Mask，然后直接将该掩膜与对应支路的特征点乘，将得到的特征图输入到所在支路的下一个部分；
S303、将两支路特征提取的输出拉成一维向量并合并，再经过两层全连接层与一层softmax分类层种进行分类；
各层的参数如下：
PAN图支路：
第一层：5*5卷积层，步长为2，输入通道数1，输出通道数64；
第二层：3*3最大池化层，步长为2；
残差块一：
直接映射支路：
均值池化层，步长为2；
1*1卷积层，步长为1，输入通道数64，输出通道数128；
残差支路：
1*1卷积层，步长为1，输入通道数64，输出通道数32；
3*3卷积层，步长为2，输入通道数32，输出通道数32；
1*1卷积层，步长为1，输入通道数32，输出通道数128；
融合块一：1*1卷积层，步长为1，输入通道数128，输出通道数128；
Sigmoid层，将原特征与掩膜融合得到的特征图输出，输入通道数128，输出通道数128；
残差块二：
直接映射支路：
均值池化层，步长为2；
1*1卷积层，步长为1，输入通道数128，输出通道数256；
残差支路：
1*1卷积层，步长为1，输入通道数128，输出通道数64；
3*3卷积层，步长为2，输入通道数64，输出通道数64；
1*1卷积层，步长为1，输入通道数64，输出通道数256；
融合块二：1*1卷积层，步长为1，输入通道数256，输出通道数256；
Sigmoid层，将原特征与掩膜融合得到的特征图输出，输入通道数256，输出通道数256；
残差块三：
直接映射支路：
均值池化层，步长为2；
1*1卷积层，步长为1，输入通道数256，输出通道数512；
残差支路：
1*1卷积层，步长为1，输入通道数256，输出通道数128；
3*3卷积层，步长为2，输入通道数128，输出通道数128；
1*1卷积层，步长为1，输入通道数128，输出通道数512；
ASPP：
1*1卷积层，步长为1，输入通道512，输出通道256；
3*3卷积层，扩张率4，输入通道512，输出通道256；
3*3卷积层，扩张率8，输入通道512，输出通道256；
3*3卷积层，扩张率12，输入通道512，输出通道256；
自适应卷积层，输入通道512，输出通道256；
全局平均池化层，输入通道512，输出通道256；
融合块三：1*1卷积层，步长为1，输入通道256，输出通道512
Sigmoid层，将原特征与掩膜融合得到的特征图输出，输入通道数512，输出通道数512；
MS图支路：
第一层：3*3卷积层，步长为1，输入通道数4，输出通道数64；
第二层：3*3最大池化层，步长为1；
三个残差块和三个融合块参数与PAN支路相同；
ACPP：
自适应卷积层，输入通道512，输出通道128；
自适应卷积层，输入通道512，输出通道256；
自适应卷积层，输入通道512，输出通道512；
自适应卷积层，输入通道512，输出通道1024；
1*1卷积层，输入通道1920，输出通道512；
SENet：全局平均池化，输入通道512，输出通道512；
全连接层一：输入512节点，输出256节点；
全连接层二：输入256节点，输出512节点；
Sigmoid层
全连接层三：输入512节点，输出128节点；
全连接层四：输入128节点，输出样本类别数节点。
运用中心像素迁移策略；
S304、对步骤S204中求出的四个方向的R值进行排序，若这四个R值都满足R＞0.75，则该中心像素位于平坦均匀地区，不进行偏移，要保证多样性大并且防止重复，否则求得Rmin＝min(R1,R2,R3,R4)，Rmax＝max(R1,R2,R3,R4)，中心像素偏移策略为，先向相关系数最高的方向即Rmax偏移u1＝Rmax*s，再向相关系数最低的反方向即Rmin偏移u2＝Rmin*s；
S305、若像素中心迁移，则迁移的最终位置为偏移至 (Locx(center)+u1x-u2x,Locy(center)+u1y-u2y)，Locx和Locy分别表示中心像素的横纵坐标。
S4、用训练数据集对分类模型进行训练，得到训练好的分类模型；
将训练数据集的样本块对作为分类器的输入，其中，MS和PAN图相对应的一对同时输入两个网络的两个支路，训练数据集中每个像素点的类别作为分类模型的输出，通过求解上述类别与地面实况图上所对应的真实类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。
S5、利用训练好的分类模型对测试数据集进行分类。
将测试数据集的样本块作为训练好的分类模型的输入，训练好的分类模型的输出为测试数据集中每个像素点进行分类得到的分类类别。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
通过以下仿真实验进一步说明本发明的效果
1.仿真条件：
硬件平台：
HP-Z840工作站，TITAN-X-12GB-GPU，64GB RAM。
软件平台：
Python，TensorFlow。
2.仿真内容与结果：
本发明仿真实验的图像是西安市区遥感图像。其中PAN图像由3200*3320 像素组成，MS图像由800*830*4像素组成。带标签的分类场景有建筑、道路、树木、土壤、平地、水和阴影共七类。
本发明的仿真实验是将带标签的分类场景重新进行分类，并与真实情况比较，比较不同方法的性能。
表1是分别使用传统方法(在特征提取阶段无支路间融合，不使用中心像素迁移策略，不使用自适应空洞卷积)，本发明基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类模型，但只提出的融合结构，本发明基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类模型，但只使用中心像素迁移策略，本发明基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类模型，但只使用自适应空洞卷积，本发明基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类模型五种方法进行测试，并统计了各个类别的预测准确率，整个测试集的准确率，各个类别的平均准确率以及Kappa系数。
表1本发明(应用不同策略、结构)与传统方法的性能比较
从表1中可以看出，用本发明方法相比于传统方法，在分类精度上有了较大的提高，并且中心像素迁移策略相较于其他两种对网络改进的方法，作用更明显，而将这三个方法结合起来，准确率有了更加明显的提高。
综上所述，本发明一种基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类方法，针对MS和PAN图像所具有的谱段和空间信息的差异，分别设计两个支路提取特征；在提取特征阶段中，根据图像本身特征提供自适应的空洞卷积核，对应用于两个支路的ASPP结构进行改进，同时在两个支路提取特征的过程中加入融合单元，以实现两者渐进融合的目的，在融合过程中实现参数共享，提高了分类速度。根据MS图像多通道的性质，也对其应用了注意力机制以关注较为重要的通道特征。另外在正常对中心像素的分类的基础上，加入了新的中心像素迁移的策略，提高了分类的准确率。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (4)
1.一种双支路融合多尺度注意神经网络的遥感图像分类方法，其特征在于，包括以下步骤：
S1、读入遥感数据MS图像和PAN图像；
S2、使用超像素经典算法对步骤S1获得的MS图像的RGB三通道进行区域分割，制作先验数据集；对步骤S1获得的MS图和PAN图像进行归一化预处理，选取训练数据集和测试数据集，制作先验数据集具体为：
S201、使用超像素经典算法SLIC对MS图像的RGB三通道进行区域分割；
S202、对MS图像进行逐像素滑窗操作，计算同中心像素属于同一超像素块的像素数记为Ki，得到自适应空洞卷积核的扩张率
和感受野
对空洞卷积核的数据逐一对应中心像素保存为文件1；
S203、计算遥感图像的灰度共生矩阵P(i,j)，i,j＝1,2,...,L-1，L为灰度级，P具有空间位置关系信息，根据灰度共生矩阵P(i,j)求出相关度，反映图像的局部灰度相关性如下：
S204、在以中心像素为中心边长s为
的正方形框内计算上下左右四个方向的相关系数R，将相关系数R对应中心像素逐一保存为文件2；
S3、利用步骤S2的先验数据集构造基于中心像素迁移的双支路融合多尺度注意神经网络的遥感图像分类模型；运用中心像素迁移策略对步骤S2获得的先验数据集进行处理，构造遥感图像分类模型具体为：
S301、PAN图像经过一层步长为2的5*5卷积与步长为2的最大池化，MS图像经过一层3*3卷积与最大池化操作，步长为1合；
S302、MS图像支路与PAN图像支路开始由三个相同的残差块串联连接而成，后面紧接改进的自适应ASPP和ACPP结构，在MS图像支路的最后面加上SENet；针对不同阶段提取的特征深浅程度，将MS图像支路与PAN图像支路的特征有选择的进行交互融合，每个残差块由残差和直接映射两支路组成，每个残差块的直接映射部分由一层均值池化与一层1*1卷积组成，均值池化用于匹配残差部分输出的尺寸，1*1卷积用于匹配残差部分输出的通道数；
ASPP结构由四个不同固定扩张率的空洞卷积核、一个自适应卷积核以及一个全局平均池化组成，固定扩张率为1、4、8、12，第一个为1×1的卷积核，其余三个为3×3的卷积核，通道数分别为32、64、128、256，最后将所得到的特征融合输出；
融合模块在特征提取的浅层和中层阶段，选择在MS图像支路与PAN图像支路的残差块1之后加入融合模块1，将两支路的特征图FMS原和FPAN原进行卷积操作，重构成相同大小的特征图记为FMS和FPAN，用sigmoid函数对得到的特征图分别进行掩膜提取记为MaskMS和MaskPAN，然后将MaskMS和MaskPAN按比例选择各自的部分掩膜，与各自FMS和FPAN点乘，将得到的特征图输入到所在支路的下一个残差块；
在特征提取的深层阶段，在ASPP结构与ACPP结构之后加入融合模块2，先将MS图像支路与PAN图像支路特征图进行卷积操作重构，然后直接将得到的特征级联，通过sigmoid得到掩膜Mask，然后直接将掩膜与对应支路的特征点乘，将得到的特征图输入到所在支路的下一个部分；
S303、将MS图像支路与PAN图像支路特征提取的输出拉成一维向量并合并，再经过两层全连接层与一层softmax分类层种进行分类；
运用中心像素迁移策略具体为：
S304、对步骤S204中求出的四个方向的R值进行排序，若这四个R值都满足R＞0.75，则中心像素位于平坦均匀地区，不进行偏移，否则求得Rmin＝min(R1,R2,R3,R4)，Rmax＝max(R1,R2,R3,R4)；
S305、若像素中心迁移，则迁移的最终位置为偏移至(Locx(center)+u1x-u2x,Locy(center)+u1y-u2y)，Locx和Locy分别表示中心像素的横纵坐标；
S4、利用步骤S2获得的训练数据集的样本块对作为分类器的输入，训练数据集中每个像素点的类别作为分类模型的输出，对步骤S3的遥感图像分类模型进行训练，利用步骤S3处理后的数据集对得出的新的迁移位置的像素进行分类，得到训练好的分类模型；
S5、将步骤S2测试数据集的样本块作为步骤S4训练好的分类模型的输入，训练好的分类模型的输出为测试数据集中每个像素点进行分类得到的分类类别。
2.根据权利要求1所述的方法，其特征在于，步骤S204中，相关系数R计算如下：
其中，di是在正方形范围内某一方向上的像素到该中心像素所在超像素块质心的距离，n为正方形边长的一半即该正方向范围内某一方向上的像素数量，r,g,b分别表示像素的RGB值。
3.根据权利要求1所述的方法，其特征在于，步骤S2中，归一化预处理具体为：
S205、分别对PAN和MS图像矩阵中所有像素点的值归一化到[0，1]之间；
S206、选取训练集和测试集，在归一化后的图像中找到有对应类标的像素点，以每个像素为中心取PAN图邻域64*64的区域，MS图邻域16*16作为样本块对，每个块的邻域为中心点的分类所服务；然后取每类的百分之十样本作为训练集，其余百分之九十作为测试集。
4.根据权利要求1所述的方法，其特征在于，步骤S304中，中心像素偏移策略为：先向相关系数最高的方向即Rmax偏移u1＝Rmax*s，再向相关系数最低的反方向即Rmin偏移u2＝Rmin*s。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010561749.9A CN111523521B (zh) | 2020-06-18 | 2020-06-18 | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010561749.9A CN111523521B (zh) | 2020-06-18 | 2020-06-18 | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111523521A CN111523521A (zh) | 2020-08-11 |
| CN111523521B true CN111523521B (zh) | 2023-04-07 |
Family
ID=71910119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010561749.9A Active CN111523521B (zh) | 2020-06-18 | 2020-06-18 | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111523521B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101190B (zh) * | 2020-09-11 | 2023-11-03 | 西安电子科技大学 | 一种遥感图像分类方法、存储介质及计算设备 |
| CN112560967B (zh) * | 2020-12-18 | 2023-09-15 | 西安电子科技大学 | 一种多源遥感图像分类方法、存储介质及计算设备 |
| CN112529914B (zh) * | 2020-12-18 | 2021-08-13 | 北京中科深智科技有限公司 | 一种实时头发分割方法和系统 |
| CN112749670B (zh) * | 2021-01-18 | 2023-09-05 | 西安电子科技大学 | 一种多源遥感图像的逐像素分类方法、介质及设备 |
| CN112861774A (zh) * | 2021-03-04 | 2021-05-28 | 山东产研卫星信息技术产业研究院有限公司 | 一种使用遥感图像识别舰船目标的方法及系统 |
| CN112836054B (zh) * | 2021-03-08 | 2022-07-26 | 重庆大学 | 一种基于共生注意力表示学习的服务分类方法 |
| CN113344871A (zh) * | 2021-05-27 | 2021-09-03 | 中国农业大学 | 农业遥感图像分析方法及系统 |
| CN113313176A (zh) * | 2021-06-02 | 2021-08-27 | 东南大学 | 一种基于动态图卷积神经网络的点云分析方法 |
| CN113361546A (zh) * | 2021-06-18 | 2021-09-07 | 合肥工业大学 | 融合非对称卷积和注意力机制的遥感图像特征提取方法 |
| CN113538615B (zh) * | 2021-06-29 | 2024-01-09 | 中国海洋大学 | 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法 |
| CN113344791B (zh) * | 2021-07-05 | 2022-06-10 | 中山大学 | 基于空洞卷积和特征融合的双目超分辨率图像检测方法、系统及介质 |
| CN114067153B (zh) * | 2021-11-02 | 2022-07-12 | 暨南大学 | 基于并行双注意力轻量残差网络的图像分类方法及系统 |
| CN114022788B (zh) * | 2022-01-05 | 2022-03-04 | 长沙理工大学 | 遥感图像变化检测方法、装置、计算机设备和存储介质 |
| CN114549902A (zh) * | 2022-02-23 | 2022-05-27 | 平安普惠企业管理有限公司 | 一种图像分类方法、装置、计算机设备及存储介质 |
| CN116580444A (zh) * | 2023-07-14 | 2023-08-11 | 广州思林杰科技股份有限公司 | 基于多天线射频识别技术的长跑计时的测试方法和设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451616A (zh) * | 2017-08-01 | 2017-12-08 | 西安电子科技大学 | 基于深度半监督迁移学习的多光谱遥感图像地物分类方法 |
| WO2019001208A1 (zh) * | 2017-06-28 | 2019-01-03 | 苏州比格威医疗科技有限公司 | 一种oct图像中脉络膜新生血管分割算法 |
| CN109598269A (zh) * | 2018-11-14 | 2019-04-09 | 天津大学 | 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法 |
| CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
| CN111199214A (zh) * | 2020-01-04 | 2020-05-26 | 西安电子科技大学 | 一种残差网络多光谱图像地物分类方法 |
| CN111291826A (zh) * | 2020-02-25 | 2020-06-16 | 西安电子科技大学 | 基于相关性融合网络的多源遥感图像的逐像素分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109426858B (zh) * | 2017-08-29 | 2021-04-06 | 京东方科技集团股份有限公司 | 神经网络、训练方法、图像处理方法及图像处理装置 |
-
2020
- 2020-06-18 CN CN202010561749.9A patent/CN111523521B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019001208A1 (zh) * | 2017-06-28 | 2019-01-03 | 苏州比格威医疗科技有限公司 | 一种oct图像中脉络膜新生血管分割算法 |
| CN107451616A (zh) * | 2017-08-01 | 2017-12-08 | 西安电子科技大学 | 基于深度半监督迁移学习的多光谱遥感图像地物分类方法 |
| CN109598269A (zh) * | 2018-11-14 | 2019-04-09 | 天津大学 | 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法 |
| CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
| CN111199214A (zh) * | 2020-01-04 | 2020-05-26 | 西安电子科技大学 | 一种残差网络多光谱图像地物分类方法 |
| CN111291826A (zh) * | 2020-02-25 | 2020-06-16 | 西安电子科技大学 | 基于相关性融合网络的多源遥感图像的逐像素分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周敏 ; 史振威 ; 丁火平 ; .遥感图像飞机目标分类的卷积神经网络方法.中国图象图形学报.2017,(05),全文. * |
| 蔡烁 ; 胡航滔 ; 王威 ; .基于深度卷积网络的高分遥感图像语义分割.信号处理.2019,(12),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111523521A (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111523521B (zh) | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 | |
| CN109493346B (zh) | 一种基于多损失的胃癌病理切片图像分割方法和装置 | |
| CN111199214B (zh) | 一种残差网络多光谱图像地物分类方法 | |
| CN111291826B (zh) | 基于相关性融合网络的多源遥感图像的逐像素分类方法 | |
| CN111695467A (zh) | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 | |
| CN111738111A (zh) | 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法 | |
| CN111369442B (zh) | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN111428556A (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN112989942A (zh) | 一种基于交通监控视频的目标实例分割方法 | |
| CN114863236A (zh) | 基于双重注意力机制的图像目标检测方法 | |
| CN111310598A (zh) | 一种基于3维和2维混合卷积的高光谱遥感图像分类方法 | |
| CN112750125B (zh) | 一种基于端到端关键点检测的玻璃绝缘子片定位方法 | |
| CN113642445B (zh) | 一种基于全卷积神经网络的高光谱影像分类方法 | |
| CN113705580A (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN112733693A (zh) | 一种全局感知高分辨率遥感影像多尺度残差道路提取方法 | |
| CN111626380A (zh) | 一种基于超像素和卷积网络的极化sar图像分类方法 | |
| CN116543227A (zh) | 基于图卷积网络的遥感图像场景分类方法 | |
| CN111179272A (zh) | 一种面向道路场景的快速语义分割方法 | |
| CN114372521A (zh) | 基于注意力机制和残差关系网络的sar图像分类方法 | |
| CN113989296A (zh) | 基于改进U-net网络的无人机麦田遥感图像分割方法 | |
| CN117252936A (zh) | 一种适配多种训练策略的红外图像彩色化方法及系统 | |
| CN111967516A (zh) | 一种逐像素分类方法、存储介质及分类设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |