CN114841319A - 一种基于多尺度自适应卷积核的多光谱图像变化检测方法 - Google Patents

一种基于多尺度自适应卷积核的多光谱图像变化检测方法 Download PDF

Info

Publication number
CN114841319A
CN114841319A CN202210474822.8A CN202210474822A CN114841319A CN 114841319 A CN114841319 A CN 114841319A CN 202210474822 A CN202210474822 A CN 202210474822A CN 114841319 A CN114841319 A CN 114841319A
Authority
CN
China
Prior art keywords
convolution
features
layer
weight
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210474822.8A
Other languages
English (en)
Inventor
冯收
樊元泽
唐英杰
赵春晖
成浩
闫奕名
宿南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202210474822.8A priority Critical patent/CN114841319A/zh
Publication of CN114841319A publication Critical patent/CN114841319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多尺度自适应卷积核的多光谱图像变化检测方法，属于多光谱图像变化检测领域。为了解决高光谱图像变化检测过程中，现有的方法存在对复杂地物信息提取困难、变化区域边界定位不准确的问题，本发明设计了权重共享的双侧编码路径的MASK‑Net，将基于自适应权重的卷积核选择模块嵌入到编码路径中提取图像中的多尺度特征；并将多尺度空间特征输入到本发明所设计的具有注意力机制的上采样模块来提取网络中的深层特征，通道注意力使得浅层特征和深层特征得到了选择性的融合，基于设计的网络进行检测；本发明还使用多模态条件随机场来对神经网络的结果进行二次检测实现变化像素的分类与定位。主要用于多光谱图像的变化检测。

Description

一种基于多尺度自适应卷积核的多光谱图像变化检测方法
技术领域
本发明涉及一种多光谱图像变化检测方法，属于多光谱图像变化检测领域。
背景技术
多光谱图像变化检测是对同一区域的两幅或多幅时间图像的多光谱图像中的变化信息进行检测。由于人类活动和生态系统的变化，地表变化信息的收集和分析对环境保护、自然资源管理、人类社会发展与自然环境关系的研究具有重要意义。
随着遥感技术的发展，多光谱图像的空间分辨率不断提高，丰富的地物细节信息弥补了光谱分辨率上的不足，对于检测一些地物变化明显的变化类型(如建筑物拆迁、道路变化等)，多光谱图像更具有优势。但采用单一尺度的卷积核来提取变化特征，面对多光谱图像复杂的地物信息时并不合适，因此考虑引入多尺度信息以提高提取复杂地物信息的能力。深度神经网络(DNN)比较适于处理这种复杂场景下的检测任务，许多学者使用神经网络来解决多光谱变化检测中的问题。U-Net网络模型自提出以来，已在遥感图像分割、医学图像分割等多个图像分割领域有了广泛的应用。随着神经网络的应用，多光谱变化检测逐渐过渡为基于对象级的检测方法，仅仅依靠神经网络对变化区域进行判别容易导致检测出的变化区域边界定位不准确，需要后续的处理技术解决小范围的误分类，细化分类边界。因此，如何针对复杂地物信息提取多尺度特征并进行二次分类以细化对象的边界信息是关键且亟需解决的问题。
发明内容
本发明为了解决高光谱图像变化检测过程中，现有的方法存在对复杂地物信息提取困难、变化区域边界定位不准确的问题，进而提出了一种基于多尺度自适应卷积核的多光谱图像变化检测方法。
一种基于多尺度自适应卷积核的多光谱图像变化检测方法，将多光谱图像输入到权重共享的双侧编码路径的网络MASK-Net中进行检测；
所述双侧编码路径的网络MASK-Net同时提取双时相多光谱图像的独立特征；每条编码路径包括依次连接的四层卷积网络，四层卷积网络中的每两层网络之间设置一个最大池化层；四层卷积网络中的前两层卷积网络均包括两个3×3卷积核的卷积层和一个BN层；后两层卷积网络均包括两个SCKB模块和一个BN层；
然后将编码路径提取得到的浅层特征输入到解码路径中以提取深层特征，解码路径包括四个上采样模块，第一个上采样模块的输入由两条编码路径的编码结果叠加而成，后面三个上采样模块的输入特征由前一个上采样模块的输出特征和同等级的两个编码路径的输出特征直接叠加而成，利用具有注意力机制的上采样模块来提取网络中的深层特征，同时与编码路径提取的浅层特征进行选择性融合；经过四个上采样模块后，最后一个上采样模块的输出特征经过一个1×1卷积核的卷积层来调整最终的变化检测图的通道数，输出变化检测结果；
所述SCKB模块为基于自适应权重的卷积核选择模块；SCKB模块分为三个卷积支路，每个卷积支路包括卷积层、BN层、激活层，三个卷积支路卷积层中卷积核大小分别为3×3、5×5和7×7，用来提取三种尺寸的特征U1、U2、U3；将基于三种尺寸的特征U1、U2、U3在通道维度上进行叠加得到多尺度特征图U：
U＝[U1；U2；U3]＝[Conv3×3(F1)；Conv5×5(F1)；Conv7×7(F1)]
其中，Conv()代表卷积操作，F1为SCKB模块的输入；[U1；U2；U3]中的[；]表示将这三种特征图通过concat操作在通道维度上进行叠加；
然后通过全局池化来编码全局信息，进而产生通道维度上的特征向量S，特征向量S的前三分之一表示3×3卷积核对应的统计信息，后三分之一表示7×7卷积核对应的统计信息，中间表示5×5卷积核对应的统计信息；
随后引入两个一维卷积对所有统计信息进行融合，并将第二个一维卷积输出的特征向量reshape成一个分值矩阵；通过softmax计算将分值矩阵映射为三个卷积核的权重系数矩阵，权重系数矩阵中每一列分别对应三种卷积核输出的三种尺寸的特征U1、U2、U3在该通道处的权重；最后计算U1、U2、U3与对应权重的加权值，得到多尺度融合特征；随后经过一个BN层后再通过最大池化层得到高维特征。
进一步地，所述特征向量S的第c个元素的计算方式如下：
Figure BDA0003624885850000021
式中，h为图像高度，w为图像宽度，m与n分别为求和中的变量，m的取值范围为(1,h)，n的取值范围为(1,w)，Uc为多尺度特征U中的第c个通道的特征图。
进一步地，所述编码路径的前两层卷积网络中卷积层是带有激活函数的卷积层，激活函数为Relu。
进一步地，所述上采样模块即UM模块，UM模块首先对输入特征F2进行空间维度上的最大池化和平均池化，获得两个与F2通道数量相等长度的特征向量，并将这两种特征向量分别送入到两个多层感知机MLP中，随后将两个输出结果进行像素级的相加融合；然后基于Sigmoid激活函数将多层感知机的相加结果映射为零到一之间的权重向量，即通道注意力的权重向量Mc；
将权重向量和输入特征进行特征重组，通道注意力重组特征的优化方法如下式：
Figure BDA0003624885850000031
其中，
Figure BDA0003624885850000032
表示优化后的输出特征，
Figure BDA0003624885850000033
代表张量乘积，即两张量对应位置元素相乘；
然后送入两层连续的3×3卷积层得到特征F4；
再由神经网络层自适应学习到空间注意力图：
Ms＝σ(Conv2D([AvgPool(F4)；MaxPool(F4)]))
式中，Ms表示空间注意力图；Conv2D表示二维卷积；σ表示Sigmoid激活函数；
得到空间注意力图后，再进行空间重组特征；空间重组特征的计算方法如下：
Figure BDA0003624885850000034
式中，Ms表示空间注意力图，
Figure BDA0003624885850000035
代表张量乘积，即两张量对应位置元素相乘。
进一步地，所述MASK-Net为训练好的MASK-Net，MASK-Net在训练时采用加权交叉熵作为损失函数：
Figure BDA0003624885850000036
式中，N为样本总数，ti表示第i个像素点的标签，当该像素点属于变化区域时ti为1，反之，该像素点为非变化像素时ti为0；yi表示神经网络对第i个像素点的预测结果，yi越大则神经网络认为该像素点属于变化区域的可能性就越大，反之，1-yi表示神经网络预测为非变化像素点的概率；wc表示类别权重。
进一步地，输入到权重共享的双侧编码路径的网络MASK-Net中的多光谱图像为将获取的整幅多光谱图像进行分割得到的。
进一步地，用于训练MASK-Net的训练集需要进行数据增强处理，增强时对样本进行有选择性的增强，如果训练样本中变化像素的比例在1％以下，则将其过滤，使其不参与网络训练；若训练样本中变化像素的比例在5％以上，则对其使用图像增强，将每个训练样本进行90°、180°、270°的旋转和翻转；随后将训练样本送入网络进行训练。
进一步地，所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，还包括使用多模态条件随机场进行二次检测的步骤，具体过程包括以下步骤：
将多光谱图像输入到MASK-Net进行检测得到网络的预测结果，以预测结果构建FC-CRF模型的一元势函数；同时对多光谱图像计算CVA差异图与SA光谱差异图，用这两个差异图来构建FC-CRF模型的二元势函数；进而通过全连接条件随机场进行二次检测；
全连接条件随机场即FC-CRF，FC-CRF输出结果Y的概率分布由下式定义：
Figure BDA0003624885850000041
式中，X表示输入，p1与q1为求和中间变量，其范围从1到N，φu表示一元势函数，φp表示二元势函数；
φu由神经网络输出的Softmax分类结果计算，公式为：
Figure BDA0003624885850000042
Figure BDA0003624885850000043
表示神经网络认为像素点p2属于变化像素的概率强度；
二元势函数表示为：
Figure BDA0003624885850000044
其中，
Figure BDA0003624885850000045
和
Figure BDA0003624885850000046
分别为根据变化向量分析CVA提取的灰度差异图和光谱角SA计算的光谱差异图定义的二元势函数，
Figure BDA0003624885850000047
和
Figure BDA0003624885850000048
分别为这两种势函数的权重，p2，q2为求和中间变量；
Figure BDA0003624885850000049
的公式如下：
Figure BDA00036248858500000410
其中，
Figure BDA00036248858500000411
为标签函数，l为求和中间变量，K表示高斯核的数量；
高斯核如下：
Figure BDA00036248858500000412
其中
Figure BDA00036248858500000413
分别表示像元p2、q2的位置向量，
Figure BDA00036248858500000414
分别表示像元p2、q2在CVA差异图中的差异强度值；σα与σβ为前一项高斯核中的高斯核参数；σγ为前一项高斯核中的高斯核参数；w1与w2则是高斯核权重；
Figure BDA00036248858500000415
针对采用SA光谱差异图进行处理，处理过程与
Figure BDA00036248858500000416
相同；
最后使用平均场近似算法迭代优化FC-CRF模型的能量势函数，推导出每个像素对应的类别标签。
进一步地，在构建二元势函数时，CVA差异图在该处差异强度的计算公式为：
Figure BDA00036248858500000417
式中i1为求和中间变量；
针对于点p2，CVA(Ix,Iy)在像素点p2处的公式如下：
Figure BDA0003624885850000051
式中，
Figure BDA0003624885850000052
就是CVA差异图中的差异强度值，即
Figure BDA0003624885850000053
设Vx＝(vx1，vx2，…，vxn)与Vy＝(vy1，vy2，…，vyn)是两幅图像在某相同位置像元的光谱向量，则SA(Vx,Vy)的公式如下：
Figure BDA0003624885850000054
其中，i2为求和中间变量；SA(Vx,Vy)的取值范围在0到π之间，光谱角的值越小表示两个特征向量之间相似性越高，属于同类地物的可能性越大；由于
Figure BDA0003624885850000055
的计算过程与
Figure BDA0003624885850000056
一样，为了区分计算中的参数物理含义，将
Figure BDA0003624885850000057
中的
Figure BDA0003624885850000058
分别记为
Figure BDA0003624885850000059
用于表示像元p2、q2在SA差异图中的光谱向量的角度差异；
针对于点p2，
Figure BDA00036248858500000510
就是SA差异图中的光谱向量的角度差异，有
Figure BDA00036248858500000511
Figure BDA00036248858500000512
进一步地，所述标签函数
Figure BDA00036248858500000513
为如下：
Figure BDA00036248858500000514
其中，w(l)是高斯核
Figure BDA00036248858500000515
的权重系数，
Figure BDA00036248858500000516
与
Figure BDA00036248858500000517
则是像素点p2与q2对应的特征向量。
有益效果：
本发明提出了一种基于多尺度自适应卷积核的多光谱变化检测方法，结合多光谱数据源特点，针对目前使用单一卷积核的多光谱变化检测方法对于多尺度信息利用不足的问题，提出了一种能自适应分配权重的卷积核选择模块(SCKB)。由于U-Net网络框架使用跳跃连接保留住了更多的图像原始信息，本发明采用具有双编码路径的U-Net作为整体框架。将上述提到的卷积核选择模块嵌入到编码路径中提取图像中的多尺度特征，同时为了克服特征异质性融合问题，在解码路径添加注意力机制来使浅层特征和深层特征进行选择性融合。最后使用多模态条件随机场来对神经网络的检测结果进行二次检测，恢复神经网络丢失的局部信息，使最终的检测边界更加准确。观察五种变化检测方法在两个数据集上的实验结果，本方法在四个不同的测试集上的综合指标均为最高，验证了所提方法的有效性。
附图说明
图1为基于多尺度自适应卷积核的多光谱变化检测流程图；
图2为本发明所提方法网络框架图；
图3为步骤三中基于自适应权重的卷积核选择模块(SCKB)结构图；
图4为步骤四中具有注意力机制的上采样模块(UM)示意图；
图5为基于多尺度自适应卷积核的多光谱变化检测方法整体结构图；
图6-图9为本发明在两个多光谱数据集上的检测结果，图6-图9中第一列为变化前图像，第二列为变化后图像，第三列为变化真值图，第四列为所提方法检测结果。
具体实施方式
具体实施方式一：结合图1说明本实施方式，
本实施方式所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，包括以下步骤：
步骤一：选择训练数据的图像块大小，按照图像块大小将整幅多光谱图像分割成训练数据，随后经过样本均衡和数据增强后筛选出一部分训练样本，输入到多尺度特征提取网络中。
步骤二：本发明将U-Net网络的编码路径进行扩展，设计了权重共享的双侧编码路径的网络MASK-Net，用有监督训练的方式，保留了双时相多光谱图像的原始特征，在不引入额外参数量的前提下，同时提取双时相多光谱图像的独立特征。与原始U-Net网络相比，本方法能充分利用多光谱图像中不同尺度的空间特征，以提取多光谱图像复杂的地物信息。
步骤三：本发明借鉴注意力机制的思想提出了一种基于自适应权重的卷积核选择模块(selective convolution kernel block，SCKB)并将其嵌入到编码路径中提取图像中的多尺度特征。SCKB模块分为三个卷积支路，每个卷积核支路分配的权重借鉴注意力机制的思想计算得到，最后计算各个特征图与对应权重的加权值，得到多尺度融合特征。SCKB模块根据应用场景不同，将自动调整分配给三种多尺度特征的权重，实现了让网络自己选择最合适的卷积核尺寸。
步骤四：本发明将设计的具有注意力机制的上采样模块(Upsampling module，UM)嵌入解码路径来提取U-Net网络中的深层特征。通道注意力使得U-Net结果中的浅层特征和深层特征得到了选择性的融合，而空间注意力抑制了非变化像素的特征信息，增强了变化像素的差异特征。经过通道注意力和空间注意力的优化，特征图无论是在通道维度还是空间维度都具有了更好的变化信息表达。解码路径由四个上采样模块UM构成，本发明保留了U-Net网络的跳跃连接，即每个UM模块的输入为该层对应编码路径提取的浅层特征与上一层UM模块提取的深层特征的叠加。最后一个UM模块的输出经过一个1×1卷积核的卷积层来调整最终的变化检测图的通道数，从而得到变化检测结果图。
步骤五：基于多尺度自适应卷积核的多光谱变化检测方法已经能实现变化像素的分类与定位，但仍存在由于信息丢失导致的定位不准确的问题。针对这一问题，本发明使用多模态条件随机场来对神经网络的结果进行二次检测。
更加具体地，
所述步骤一的具体过程包括以下步骤：
将两个数据集中的测试图像的三分之一作截取为验证集，剩下三分之二作为测试集。将测试图像以外的数据图像裁剪成128×128大小的图像块用于训练集。
对训练集进行数据增强，增强时需要对样本进行有选择性的增强，如果训练样本中变化像素的比例在1％以下，则将其过滤，使其不参与网络训练；若训练样本中变化像素的比例在5％以上，则对其使用图像增强，将每个训练样本进行90°、180°、270°的旋转和翻转。这样就使得训练样本中正负样本数据分布较均衡，避免方差过小。随后将训练样本送入多尺度特征提取网络进行训练。
所述步骤二的具体过程包括以下步骤：
基于U-Net网络的编码路径设计权重共享的双侧编码路径的网络MASK-Net，如图2所示，用有监督训练的方式，保留了双时相多光谱图像的原始特征，在不引入额外参数量的前提下，同时提取双时相多光谱图像的独立特征。每条编码路径由依次连接的四层卷积网络构成，前两层卷积网络均包括两个3×3卷积核的卷积层和一个BN层，卷积层带有激活函数，激活函数使用Relu来缓解梯度消失。后两层卷积网络均包括两个SCKB模块和一个BN层；四层卷积网络中的每两层网络之间设置一个2×2的最大池化层；
整个网络采用加权交叉熵作为损失函数，其计算公式如下：
Figure BDA0003624885850000071
式中N为样本总数，ti表示第i个像素点的标签，当该像素点属于变化区域时ti为1，反之，该像素点为非变化像素时ti为0；yi表示神经网络对第i个像素点的预测结果，yi越大则神经网络认为该像素点属于变化区域的可能性就越大，反之，1-yi表示神经网络预测为非变化像素点的概率；wc表示类别权重，一般为非变化样本数量与变化样本数量的比值，通常为大于1的值。
所述步骤三的具体过程包括以下步骤：
本发明借鉴注意力机制的思想提出了一种基于自适应权重的卷积核选择模块SCKB并将其嵌入到编码路径中提取图像中的多尺度特征，如图3所示。SCKB模块分为三个卷积支路，每个卷积支路包括卷积层、BN层、激活层(不是设置于卷积层中的激活函数，而是单独设置的激活层)，三个卷积支路卷积层中卷积核大小分别为3×3、5×5和7×7，对应不同的感受野，用来提取三种尺寸的特征U1、U2、U3。将基于三种尺寸的特征U1、U2、U3在通道维度上进行叠加得到多尺度特征图U：
U＝[U1；U2；U3]＝[Conv3×3(F1)；Conv5×5(F1)；Conv7×7(F1)]
其中，Conv()代表卷积操作，F1为SCKB模块的输入；
假设输入特征图F1的大小为(w,h,c)，三条卷积支路得到的深层次特征大小保持不变，[U1；U2；U3]中的[；]表示将这三种特征图通过concat操作在通道维度上进行叠加，得到整合后大小为(w,h,3c)的多尺度特征U。
然后通过全局池化来编码全局信息，进而产生通道维度上的特征向量S，S的前三分之一表示3×3卷积核对应的统计信息，后三分之一表示7×7卷积核对应的统计信息，中间表示5×5卷积核对应的统计信息。特征向量S的第c个元素的计算方式如下：
Figure BDA0003624885850000081
式中，h为图像高度，w为图像宽度，m与n分别为求和中的变量，m的取值范围为(1,h)，n的取值范围为(1,w)，Uc为多尺度特征U中的第c个通道的特征图。
随后引入两个一维卷积对所有统计信息进行融合，整合特征向量S中各个通道之间的相互依赖关系，从而增强某一尺度特征图的信息表达。在该过程中有一定维度的缩放，并将第二个一维卷积输出的特征向量reshape成一个大小为(3，c)的分值矩阵。通过softmax计算将分值矩阵映射为三个卷积核的权重系数矩阵，权重系数矩阵中每一列的三个数值之和为1，分别对应三种卷积核输出的三种尺寸的特征U1、U2、U3在该通道处的权重。权重系数矩阵是SCKB模块通过学习得到，自动为三种不同卷积核对应的三种尺寸的特征U1、U2、U3分配最合适的权重，不需要人为设置。最后计算各个特征图与对应权重的加权值，得到多尺度融合特征。随后经过一个BN层后再使用最大池化层筛选出具有鲁棒性的高维特征。
所述步骤四的具体过程包括以下步骤：
将编码路径提取得到的浅层特征(其中包含后两层提取的多尺度特征)输入到解码路径中以提取深层特征，同时优化特征图的变化信息表达。解码路径由四个UM模块构成。即：第一个UM模块的输入由两条编码路径的编码结果叠加而成，后面三个UM模块的输入特征由前一个UM模块的输出特征和同等级的两个编码路径的输出特征直接叠加而成，利用具有注意力机制的上采样模块UM来提取U-Net网络中的深层特征，同时与编码路径提取的浅层特征进行选择性融合；
具体地，针对两侧编码路径，第四层卷积网络叠加得到的特征经过上采样模块UM后与第三层卷积网络的输出叠加然后再经过上采样模块UM；然后再与第二层卷积网络的输出叠加然后再经过上采样模块UM；然后经过上采样模块UM的输出与第一层卷积网络的输出叠加然后在经过上采样模块UM得到最终的变化特征图，最后经过一个1×1的二维卷积得到最终变化检测结果图。
如图4所示，由于上采样模块UM的输入特征是由浅层特征和深层特征进行简单的通道叠加得到，因此需要使用通道注意力模块(Channel attention module，CAM)对输入特征进行通道维度上的优化，可以将每个通道的重要性编码在一个一维的通道权重向量中，每个通道权重系数由网络自动学习得到，具体的计算过程如下式：
Mc＝σ(MLP(AvgPool(F2))+MLP(MaxPool(F2)))
式中的F2表示输入特征，Mc表示通道注意力的权重向量，MLP代表多层感知机，σ代表Sigmoid激活函数。
首先对F2进行空间维度上的最大池化和平均池化，获得两个与F2通道数量相等长度的特征向量，并将这两种特征向量分别送入到两个多层感知机(multilayerperceptron，MLP)中，随后将两个输出结果进行像素级的相加融合，即：最大池化后的特征向量经过两个MLP得到一个输出结果，平均池化也经过这两个MLP得到另一个输出结果，再将这两个结果相加融合；
然后基于Sigmoid激活函数将多层感知机的相加结果映射为零到一之间的权重向量，每个权重向量上的数值表示对应特征通道的重要程度。
最后将权重向量和输入特征进行特征重组，通道注意力重组特征的优化方法如下式：
Figure BDA0003624885850000091
其中，
Figure BDA0003624885850000092
表示优化后的输出特征，F2代表输入特征，Mc表示通道注意力的权重向量，
Figure BDA0003624885850000093
代表张量乘积，即两张量对应位置元素相乘。
上采样模块UM的输入特征在经过CAM进行通道维度上的优化后，立即送入两层连续的3×3卷积层提取深层特征。
在该深层特征传递到下一个上采样模块之前，为了使之后的转置卷积层能从该特征图中学习到更显著的变化特征，还需使用空间注意力机制对该深层特征图进行像素维度上的优化重组。空间注意力对特征图中每个像素位置上的信息进行编码，再由神经网络层自适应学习到空间注意力图。空间注意力图的计算方法如下式：
Ms＝σ(Conv2D([AvgPool(F4)；MaxPool(F4)]))
式中的F4表示输入特征，Ms表示空间注意力图。得到空间注意力图后，再进行空间重组特征。空间重组特征的计算方法如下：
Figure BDA0003624885850000101
式中F4表示输入特征，Ms表示空间注意力图，
Figure BDA0003624885850000102
代表张量乘积，即两张量对应位置元素相乘。
通道注意力使得U-Net结果中的浅层特征和深层特征的到了选择性的融合，而空间注意力抑制了非变化像素的特征信息，增强了变化像素的差异特征。
经过四个UM模块后，最后一个UM模块的输出特征经过一个1×1卷积核的卷积层来调整最终的变化检测图的通道数，该1×1卷积层输出的结果即为网络的变化检测结果。
所述步骤五的具体过程包括以下步骤：
基于多尺度自适应卷积核的多光谱变化检测方法已经能实现变化像素的分类与定位，但仍存在由于信息丢失导致的定位不准确的问题。针对这一问题，本发明使用多模态条件随机场来对步骤四中神经网络的输出的变化检测结果进行二次检测。
总体流程，如图5所示，首先使用样本均衡和样本增强来减少样本不平衡对MSAK-Net的影响，随后以端到端的方式训练MSAK-Net并保存网络权重。之后将测试图像送入训练好的网络中得到网络的预测结果并以该结果构建FC-CRF模型的一元势函数；同时对测试图像计算CVA差异图与SA光谱差异图，用这两个差异图来构建FC-CRF模型的二元势函数，从而达到细分类的目的，得到最终的变化检测结果图像。
全连接条件随机场(FC-CRF)是对条件随机场的优化，通过建立图像中所有像素点之间的连接关系来克服条件随机场中不具备远程依赖性的局限性，能更好的恢复局部信息。
一个条件随机场的概率分布函数符合Gibbs分布，而Gibbs分布由无向图模型中的一系列极大团的非负能量函数的乘积计算出，因此FC-CRF输出结果Y的概率分布可以由下式定义：
Figure BDA0003624885850000103
式中，X表示输入，p1与q1为求和中间变量，其范围从1到N，φu表示一元势函数，φp表示二元势函数。φu通常由神经网络输出的Softmax分类结果计算，公式为：
Figure BDA0003624885850000104
Figure BDA0003624885850000111
表示神经网络认为像素点p2属于变化像素的概率强度，基于神经网络的性能包含了较多的噪声点和间断性，因此需要引入二元势函数来考虑像素点之间的位置关系。本方法使用多模态信息作为FC-CRF的输入信息，提出了一个新的二元势函数来计算二次分类结果。重新定义的二元势函数表示为：
Figure BDA0003624885850000112
其中，
Figure BDA0003624885850000113
和
Figure BDA0003624885850000114
分别为根据变化向量分析(CVA)提取的灰度差异图和光谱角(SA)计算的光谱差异图定义的二元势函数，
Figure BDA0003624885850000115
和
Figure BDA0003624885850000116
分别为这两种势函数的权重，p2，q2为求和中间变量。以
Figure BDA0003624885850000117
为例，详细的计算公式为：
Figure BDA0003624885850000118
Figure BDA0003624885850000119
为标签函数，l为求和中间变量，K表示高斯核的数量，只有当
Figure BDA00036248858500001110
与
Figure BDA00036248858500001111
是不同的两个像素点时二元势函数才会生效，数学表达式为：
Figure BDA00036248858500001112
w(l)是高斯核
Figure BDA00036248858500001113
的权重系数，
Figure BDA00036248858500001114
与
Figure BDA00036248858500001115
则是像素点p2与q2对应的特征向量。
在变化检测任务中一般使用双高斯核，高斯核的定义如下：
Figure BDA00036248858500001116
其中
Figure BDA00036248858500001117
分别表示像元p2、q2的位置向量，
Figure BDA00036248858500001118
分别表示像元p2、q2在CVA差异图中的差异强度值。
上式中第一个高斯核用来定义在差异图中具有相似灰度值的相邻像元是否为统一类别，σα与σβ为高斯核参数，表示像元的相邻程度和相似程度；第二个高斯核是用来平滑分类结果的边界和噪声，平滑作用由参数σγ决定，w1与w2则是两种高斯核的权重。
Figure BDA00036248858500001119
的计算过程与
Figure BDA00036248858500001120
一样，只是其采用SA光谱差异图来定义灰度向量。
最后使用平均场近似算法迭代优化FC-CRF模型的能量势函数，推导出每个像素对应的类别标签。
两种差异图的计算方式：
之前学者在构建二元势函数时，是使用原始图像的灰度向量来构建，也就是Ix＝(ix1，ix2，…，ixN)与Iy＝(iy1，iy2，…，iyN)这两个向量，N是通道数，因此在计算
Figure BDA0003624885850000121
时，由于是向量，所以是求其欧氏距离
Figure BDA0003624885850000122
而本发明中使用了两个差异图来构建二元势函数，而这两个差异图是两张灰度图，每个像素点只有一个值，即
Figure BDA0003624885850000123
因此本发明中，CVA差异图是通过双时相图像间灰度向量的大小差异来衡量变化强度，假设Ix＝(ix1，ix2，…，ixN)与Iy＝(iy1，iy2，…，iyN)表示两幅图像在某处的灰度向量，则CVA差异图在该处差异强度的计算公式为：
Figure BDA0003624885850000124
式中i1为求和中间变量。
针对于点p2，CVA(Ix,Iy)在像素点p2处的公式如下
Figure BDA0003624885850000125
使用时，
Figure BDA0003624885850000126
就是CVA差异图中的差异强度值，即
Figure BDA0003624885850000127
光谱角(SA)是将两个原始图像中每一像元位置的光谱视为一个高维向量，通过两个光谱向量之间的夹角来衡量该位置像元在光谱维度上的相似性。假设Vx＝(vx1，vx2，…，vxn)与Vy＝(vy1，vy2，…，vyn)是两幅图像在某相同位置像元的光谱向量，则SA(Vx,Vy)的计算公式为：
Figure BDA0003624885850000128
其中SA(Vx,Vy)的取值范围在0到π之间，光谱角的值越小表示两个特征向量之间相似性越高，属于同类地物的可能性越大。i2为求和中间变量。光谱角从特征向量的相似性方面衡量了变化强弱的大小。
CVA差异图包含了双时相多光谱图像像素之间的灰度差异信息，而SA光谱差异图则是从光谱向量的角度差异来提取光谱差异信息。与只使用单一的几何差分图来构造条件随机场不同，两种差异图从不用的角度提取原始图像中的局部变化特征，同时输入到FC-CRF模型中具有信息互补的作用，使得二次检测结果图中具有更准确的变化边界定位和更少的噪声。
利用本发明得到的效果图如图6-图9所示，其中图6-图9为本发明在两个多光谱数据集上的检测结果，图6-图9中第一列为变化前图像，第二列为变化后图像，第三列为变化真值图，第四列为所提方法检测结果。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，将多光谱图像输入到权重共享的双侧编码路径的网络MASK-Net中进行检测；
所述双侧编码路径的网络MASK-Net同时提取双时相多光谱图像的独立特征；每条编码路径包括依次连接的四层卷积网络，四层卷积网络中的每两层网络之间设置一个最大池化层；四层卷积网络中的前两层卷积网络均包括两个3×3卷积核的卷积层和一个BN层；后两层卷积网络均包括两个SCKB模块和一个BN层；
然后将编码路径提取得到的浅层特征输入到解码路径中以提取深层特征，解码路径包括四个上采样模块，第一个上采样模块的输入由两条编码路径的编码结果叠加而成，后面三个上采样模块的输入特征由前一个上采样模块的输出特征和同等级的两个编码路径的输出特征直接叠加而成，利用具有注意力机制的上采样模块来提取网络中的深层特征，同时与编码路径提取的浅层特征进行选择性融合；经过四个上采样模块后，最后一个上采样模块的输出特征经过一个1×1卷积核的卷积层来调整最终的变化检测图的通道数，输出变化检测结果；
所述SCKB模块为基于自适应权重的卷积核选择模块；SCKB模块分为三个卷积支路，每个卷积支路包括卷积层、BN层、激活层，三个卷积支路卷积层中卷积核大小分别为3×3、5×5和7×7，用来提取三种尺寸的特征U1、U2、U3；将基于三种尺寸的特征U1、U2、U3在通道维度上进行叠加得到多尺度特征图U：
U＝[U1；U2；U3]＝[Conv3×3(F1)；Cony5×5(F1)；Cony7×7(F1)]
其中，Conv()代表卷积操作，F1为SCKB模块的输入；[U1；U2；U3]中的[；]表示将这三种特征图通过concat操作在通道维度上进行叠加；
然后通过全局池化来编码全局信息，进而产生通道维度上的特征向量S，特征向量S的前三分之一表示3×3卷积核对应的统计信息，后三分之一表示7×7卷积核对应的统计信息，中间表示5×5卷积核对应的统计信息；
随后引入两个一维卷积对所有统计信息进行融合，并将第二个一维卷积输出的特征向量reshape成一个分值矩阵；通过softmax计算将分值矩阵映射为三个卷积核的权重系数矩阵，权重系数矩阵中每一列分别对应三种卷积核输出的三种尺寸的特征U1、U2、U3在该通道处的权重；最后计算U1、U2、U3与对应权重的加权值，得到多尺度融合特征；随后经过一个BN层后再通过最大池化层得到高维特征。
2.根据权利要求1所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，所述特征向量S的第c个元素的计算方式如下：
Figure FDA0003624885840000021
式中，h为图像高度，w为图像宽度，m与n分别为求和中的变量，m的取值范围为(1，h)，n的取值范围为(1，w)，Uc为多尺度特征U中的第c个通道的特征图。
3.根据权利要求2所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，所述编码路径的前两层卷积网络中卷积层是带有激活函数的卷积层，激活函数为Relu。
4.根据权利要求2所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，所述上采样模块即UM模块，UM模块首先对输入特征F2进行空间维度上的最大池化和平均池化，获得两个与F2通道数量相等长度的特征向量，并将这两种特征向量分别送入到两个多层感知机MLP中，随后将两个输出结果进行像素级的相加融合；然后基于Sigmoid激活函数将多层感知机的相加结果映射为零到一之间的权重向量，即通道注意力的权重向量Mc；
将权重向量和输入特征进行特征重组，通道注意力重组特征的优化方法如下式：
Figure FDA0003624885840000022
其中，
Figure FDA0003624885840000023
表示优化后的输出特征，
Figure FDA0003624885840000024
代表张量乘积，即两张量对应位置元素相乘；
然后送入两层连续的3×3卷积层得到特征F4；
再由神经网络层自适应学习到空间注意力图：
Ms＝σ(Conv2D([AvgPool(F4)；MaxPool(F4)]))
式中，Ms表示空间注意力图；Conv2D表示二维卷积；σ表示Sigmoid激活函数；
得到空间注意力图后，再进行空间重组特征；空间重组特征的计算方法如下：
Figure FDA0003624885840000025
式中，Ms表示空间注意力图，
Figure FDA0003624885840000026
代表张量乘积，即两张量对应位置元素相乘。
5.根据权利要求4所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，所述MASK-Net为训练好的MASK-Net，MASK-Net在训练时采用加权交叉熵作为损失函数：
Figure FDA0003624885840000027
式中，N为样本总数，ti表示第i个像素点的标签，当该像素点属于变化区域时ti为1，反之，该像素点为非变化像素时ti为0；yi表示神经网络对第i个像素点的预测结果，yi越大则神经网络认为该像素点属于变化区域的可能性就越大，反之，1-yi表示神经网络预测为非变化像素点的概率；wc表示类别权重。
6.根据权利要求5所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，输入到权重共享的双侧编码路径的网络MASK-Net中的多光谱图像为将获取的整幅多光谱图像进行分割得到的。
7.根据权利要求6所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，用于训练MASK-Net的训练集需要进行数据增强处理，增强时对样本进行有选择性的增强，如果训练样本中变化像素的比例在1％以下，则将其过滤，使其不参与网络训练；若训练样本中变化像素的比例在5％以上，则对其使用图像增强，将每个训练样本进行90°、180°、270°的旋转和翻转；随后将训练样本送入网络进行训练。
8.根据权利要求1至7之一所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，所述方法还包括使用多模态条件随机场进行二次检测的步骤，具体过程包括以下步骤：
将多光谱图像输入到MASK-Net进行检测得到网络的预测结果，以预测结果构建FC-CRF模型的一元势函数；同时对多光谱图像计算CVA差异图与SA光谱差异图，用这两个差异图来构建FC-CRF模型的二元势函数；进而通过全连接条件随机场进行二次检测；
全连接条件随机场即FC-CRF，FC-CRF输出结果Y的概率分布由下式定义：
Figure FDA0003624885840000031
式中，X表示输入，p1与q1为求和中间变量，其范围从1到N，φu表示一元势函数，φp表示二元势函数；
φu由神经网络输出的Softmax分类结果计算，公式为：
Figure FDA0003624885840000032
Figure FDA0003624885840000033
表示神经网络认为像素点p2属于变化像素的概率强度；
二元势函数表示为：
Figure FDA0003624885840000034
其中，
Figure FDA0003624885840000035
和
Figure FDA0003624885840000036
分别为
根据变化向量分析CVA提取的灰度差异图和光谱角SA计算的光谱差异图定义的二元势函数，
Figure FDA0003624885840000037
和
Figure FDA0003624885840000038
分别为这两种势函数的权重，p2，q2为求和中间变量；
Figure FDA0003624885840000039
的公式如下：
Figure FDA0003624885840000041
其中，
Figure FDA0003624885840000042
为标签函数，l为求和中间变量，K表示高斯核的数量；
高斯核如下：
Figure FDA0003624885840000043
其中
Figure FDA0003624885840000044
分别表示像元p2、q2的位置向量，
Figure FDA0003624885840000045
分别表示像元p2、q2在CVA差异图中的差异强度值；σα与σβ为前一项高斯核中的高斯核参数；σγ为前一项高斯核中的高斯核参数；w1与w2则是高斯核权重；
Figure FDA0003624885840000046
针对采用SA光谱差异图进行处理，处理过程与
Figure FDA0003624885840000047
相同；
最后使用平均场近似算法迭代优化FC-CRF模型的能量势函数，推导出每个像素对应的类别标签。
9.根据权利要求8所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，在构建二元势函数时，CVA差异图在该处差异强度的计算公式为：
Figure FDA0003624885840000048
式中i1为求和中间变量；
针对于点p2，CVA(Ix，Iy)在像素点p2处的公式如下：
Figure FDA0003624885840000049
式中，
Figure FDA00036248858400000410
就是CVA差异图中的差异强度值，即
Figure FDA00036248858400000411
设Vx＝(vx1，vx2，...，vxn)与Vy＝(vy1，vy2，...，vyn)是两幅图像在某相同位置像元的光谱向量，则SA(Vx，Vy)的公式如下：
Figure FDA00036248858400000412
其中，i2为求和中间变量；SA(Vx，Vy)的取值范围在0到π之间，光谱角的值越小表示两个特征向量之间相似性越高，属于同类地物的可能性越大；由于
Figure FDA00036248858400000413
的计算过程与
Figure FDA00036248858400000414
一样，为了区分计算中的参数物理含义，将
Figure FDA00036248858400000415
中的
Figure FDA00036248858400000416
分别记为
Figure FDA0003624885840000051
用于表示像元p2、q2在SA差异图中的光谱向量的角度差异；
针对于点p2，
Figure FDA0003624885840000052
就是SA差异图中的光谱向量的角度差异，有
Figure FDA0003624885840000053
Figure FDA0003624885840000054
10.根据权利要求9所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，其特征在于，所述标签函数
Figure FDA0003624885840000055
为如下：
Figure FDA0003624885840000056
其中，w(l)是高斯核
Figure FDA0003624885840000057
的权重系数，
Figure FDA0003624885840000058
与
Figure FDA0003624885840000059
则是像素点p2与q2对应的特征向量。
CN202210474822.8A 2022-04-29 2022-04-29 一种基于多尺度自适应卷积核的多光谱图像变化检测方法 Pending CN114841319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210474822.8A CN114841319A (zh) 2022-04-29 2022-04-29 一种基于多尺度自适应卷积核的多光谱图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210474822.8A CN114841319A (zh) 2022-04-29 2022-04-29 一种基于多尺度自适应卷积核的多光谱图像变化检测方法

Publications (1)

Publication Number Publication Date
CN114841319A true CN114841319A (zh) 2022-08-02

Family

ID=82568235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210474822.8A Pending CN114841319A (zh) 2022-04-29 2022-04-29 一种基于多尺度自适应卷积核的多光谱图像变化检测方法

Country Status (1)

Country Link
CN (1) CN114841319A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393316A (zh) * 2022-08-24 2022-11-25 维都利阀门有限公司 具有冲蚀状态监测系统的闪蒸阀及其监测方法
CN115731593A (zh) * 2022-08-03 2023-03-03 郑州轻工业大学 一种人脸活体检测方法
CN115754107A (zh) * 2022-11-08 2023-03-07 福建省龙德新能源有限公司 用于六氟磷酸锂制备的自动化采样分析系统及其方法
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置
CN117011244A (zh) * 2023-07-07 2023-11-07 中国人民解放军西部战区总医院 一种腕部多光谱图像处理方法
CN117496362A (zh) * 2024-01-02 2024-02-02 环天智慧科技股份有限公司 基于自适应卷积核和级联检测头的土地覆盖变化检测方法
CN117830875A (zh) * 2024-03-05 2024-04-05 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731593A (zh) * 2022-08-03 2023-03-03 郑州轻工业大学 一种人脸活体检测方法
CN115393316A (zh) * 2022-08-24 2022-11-25 维都利阀门有限公司 具有冲蚀状态监测系统的闪蒸阀及其监测方法
CN115393316B (zh) * 2022-08-24 2023-06-09 维都利阀门有限公司 具有冲蚀状态监测系统的闪蒸阀及其监测方法
CN115754107A (zh) * 2022-11-08 2023-03-07 福建省龙德新能源有限公司 用于六氟磷酸锂制备的自动化采样分析系统及其方法
CN115754107B (zh) * 2022-11-08 2023-06-23 福建省龙德新能源有限公司 用于六氟磷酸锂制备的自动化采样分析系统及其方法
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置
CN116012364B (zh) * 2023-01-28 2024-01-16 北京建筑大学 Sar图像变化检测方法和装置
CN117011244A (zh) * 2023-07-07 2023-11-07 中国人民解放军西部战区总医院 一种腕部多光谱图像处理方法
CN117011244B (zh) * 2023-07-07 2024-03-22 中国人民解放军西部战区总医院 一种腕部多光谱图像处理方法
CN117496362A (zh) * 2024-01-02 2024-02-02 环天智慧科技股份有限公司 基于自适应卷积核和级联检测头的土地覆盖变化检测方法
CN117496362B (zh) * 2024-01-02 2024-03-29 环天智慧科技股份有限公司 基于自适应卷积核和级联检测头的土地覆盖变化检测方法
CN117830875A (zh) * 2024-03-05 2024-04-05 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法

Similar Documents

Publication Publication Date Title
CN114841319A (zh) 一种基于多尺度自适应卷积核的多光谱图像变化检测方法
Mascarenhas et al. A comparison between VGG16, VGG19 and ResNet50 architecture frameworks for Image Classification
CN111914907B (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
Guo et al. Scene-driven multitask parallel attention network for building extraction in high-resolution remote sensing images
Son et al. Automated color model–based concrete detection in construction-site images by using machine learning algorithms
CN112560831B (zh) 一种基于多尺度空间校正的行人属性识别方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN109657582A (zh) 人脸情绪的识别方法、装置、计算机设备及存储介质
CN113870263B (zh) 一种路面缺陷损伤实时监测方法及系统
AU2022202669A1 (en) Method for extracting oil storage tank based on high-spatial resolution remote sensing image
CN115619743A (zh) Oled新型显示器件表面缺陷检测模型的构建方法及其应用
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
CN116740121A (zh) 一种基于专用神经网络和图像预处理的秸秆图像分割方法
CN113205016B (zh) 恒等残差型Unet与遥感水体指数的河湖岸线变化检测方法
Yu et al. WaterHRNet: A multibranch hierarchical attentive network for water body extraction with remote sensing images
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
CN116596851A (zh) 一种基于知识蒸馏和异常模拟的工业瑕疵检测方法
CN116030361A (zh) 一种基于cim-t架构的高分辨率影像变化检测方法
CN113344005B (zh) 一种基于优化小尺度特征的图像边缘检测方法
CN115909077A (zh) 基于无监督光谱解混神经网络的高光谱图像变化检测方法
CN114663936A (zh) 一种基于不确定性感知层次监督的人脸伪造检测方法
Belwalkar et al. Spectral-spatial classification of hyperspectral remote sensing images using variational autoencoder and convolution neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination