CN115170824A - 基于空间自适应和特征增强暹罗网络的变化检测方法 - Google Patents
基于空间自适应和特征增强暹罗网络的变化检测方法 Download PDFInfo
- Publication number
- CN115170824A CN115170824A CN202210765277.8A CN202210765277A CN115170824A CN 115170824 A CN115170824 A CN 115170824A CN 202210765277 A CN202210765277 A CN 202210765277A CN 115170824 A CN115170824 A CN 115170824A
- Authority
- CN
- China
- Prior art keywords
- map
- feature
- convolution
- difference
- change detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于空间自适应和特征增强暹罗网络的变化检测方法,该方法包括:构造基于ResNet‑18的暹罗网络用于提取双时态特征;在卷积块注意力模型之后使用三个卷积核获得具有不同空间信息的三对特征图,分别计算由同一个卷积核得到的一对特征图的欧氏距离,得到差异图;定义空间自适应部分用于获取自适应的空间知识;定义特征增强部分用于加强或削弱变化和不变的特征;引入加权对比损失作为差异图和地面真实图之间的度量,通过最小化损失来训练网络;通过阈值分割从差异图中获得更精确的变化图。本发明能够很好地解决在特征提取过程中,不同大小和形状的对象通常由相同的过滤核处理而导致的空间模糊问题。
Description
技术领域
本发明属于变化检测领域,具体涉及一种基于空间自适应和特征增强暹罗网络的变化检测方法。
背景技术
变化检测的任务是通过分析在同一地点和不同时间采集的一组图像来识别变化和不变的区域。变化检测任务的难点在于消除光照和季节变化引起的“非语义变化”的影响,结果只包含“语义变化”。
变化检测在地球观测中发挥着越来越重要的作用,通过多时相图像揭示地表变化。由于其在许多应用中的重要性,在图像变化检测领域提出了大量的方法。许多传统的变化检测方法,例如基于图像变换的方法和基于图像分类的方法,只能检测大区域的变化,但通常在小区域的检测中效果不佳。
随着深度学习的发展,许多基于深度学习的变化检测方法被提出。与传统变化检测方法相比,虽然基于深度学习的变化检测的方法具有良好的建模能力,但在特征提取中,不同大小和形状的对象通常由相同的过滤核处理,这会导致空间模糊,降低变化检测性能。
发明内容
本发明的目的在于提供一种基于空间自适应和特征增强暹罗网络的变化检测方法,解决在特征提取过程中,不同大小和形状的对象通常由相同的过滤核处理,导致的空间模糊问题。
实现本发明目的的技术解决方案为:第一方面,本发明提供一种基于空间自适应和特征增强暹罗网络的变化检测方法,包括以下步骤:
第一步,构造基于ResNet-18的暹罗网络用于提取双时态特征;
第二步,在卷积块注意力模型之后使用3×3,5×5和7×7卷积核来获得具有不同空间信息的三对特征图,分别计算由同一个卷积核得到的一对特征图的欧氏距离,得到差异图;
第三步,定义空间自适应部分用于获取自适应的空间知识;
第四步,定义特征增强部分用于加强或削弱变化和不变的特征;
第五步,引入加权对比损失作为差异图和地面真实图之间的度量,通过最小化损失来训练网络;
第六步,通过阈值分割从差异图中获得变化图。
第二方面,本发明提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法的步骤。
第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的方法的步骤。
第四方面,本发明提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所述的方法的步骤。
本发明与现有技术相比,其显著特点在于:(1)空间自适应部分被设计去获取自适应的空间知识,以至于不同大小和形状的对象能被清晰的显示出来,能够解决在特征提取过程中,不同大小和形状的对象通常由相同的过滤核处理,导致的空间模糊问题;(2)特征增强部分被设计去加强或减弱变化和不变的特征,以突出显示变化的特征;(3)由于不变像素多于变化像素,因此在训练过程中引入权重对来平衡变化和不变对象,引入加权对比损失作为差异图和地面真实图之间的度量,通过最小化加权对比损失来训练网络。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明的流程图。
图2是本发明的变化检测网络结构。
图3是本发明的空间自适应和特征增强模块。
图4是本发明方法在变化检测数据集上的结果效果图,其中(a)是变化检测数据集在T1时刻的图像,(b)是变化检测数据集在T2时刻的图像,(c)是变化检测数据集地面真实图,(d)是变化检测数据集采用FC-EF方法的变化图,(e)是变化检测数据集采用FC-Siam-diff方法的变化图,(f)是变化检测数据集采用FC-Siam-conc方法的变化图,(g)是变化检测数据集采用SRCDNet方法的变化图,(h)是变化检测数据集采用基于空间自适应和特征增强暹罗网络的变化检测方法的变化图。
具体实施方式
本发明提出一种基于空间自适应和特征增强暹罗网络的变化检测方法,具体来说,属于不同对象的像素拥有自己的空间知识,这是通过称为空间自适应部分的多尺度差异图像的软融合捕获的。特征增强部分将对象特征与每个差异图相结合,从而加强或削弱变化和不变区域。此外,由于不变像素多于变化像素,因此在训练过程中引入权重对来平衡变化和不变对象。
本发明通过提出的空间自适应和特征增强模块,去解决在特征提取过程中,不同大小和形状的对象通常由相同的过滤核处理,导致的空间模糊问题。空间自适应和特征增强模块由空间自适应部分和特征增强部分组成,空间自适应部分能够获取自适应空间知识以至于不同大小和形状的对象能够清晰的显示,特征增强部分能够加强或减弱变化和不变的特征。
结合图1,下面详细说明本发明的实施过程,步骤如下:
第一步,构造基于ResNet-18的暹罗网络用于提取双时态特征,如图2所示,ResNet-18由四个残差块组成,T1和T2是在相同地理位置不同时间获取的双时态图像。网络的输入为两幅经过配准的双时态遥感图像,经过暹罗网络能够获取不同尺度的特征图,
第二步,分别计算由同一个卷积核得到的一对特征图的欧氏距离,得到差异图,具体过程为:
在每个残差块之后,我们获得双时态特征图,并作为空间自适应和特征增强模块的输入。考虑到卷积块注意力模型(CBAM,Convolutional Block Attention Module)在特征学习中的强大能力,提出的空间自适应和特征增强模块是在卷积块注意力模型特征上进行的,如图3所示。具体而言,在卷积块注意力模型之后使用3×3,5×5和7×7卷积核来获得具有不同空间信息的三对特征图。分别计算由同一个卷积核得到的一对特征图的欧氏距离,得到差异图。可通过以下方式获得差异图:
DI(F)=E(σ(f(F1)),σ(f(F2)))
其中F1和F2是在不同时间从每个残差块获得的特征图,f(·)表示卷积核大小分别为3×3,5×5和7×7的卷积操作,σ(·)表示sigmoid函数,E(·)表示欧氏距离。在不同的卷积核下,我们能得到不同的差异图,分别表示为DI1,DI2和DI3。
第三步,定义空间自适应部分,具体过程为:
(1)我们将从每个残差块获取的双时态特征图F1和F2在通道维度上进行融合,融合后特征图的通道数是融合前特征图的2倍。通过卷积核大小为3×3的卷积操作,特征图的通道数变为融合后特征图的一半。最后,我们在通道维度上进行求和以及归一化去获得自适应权重图(adaptive-weight map),如图3所示。自适应权重图能够通过以下公式得到:
其中,f3×3(·)表示卷积核大小为3×3的卷积操作,sum(·)表示在通道维度上进行求和。
(2)在得到自适应权重图之后,将自适应权重图分别与DI1,DI2和DI3做相乘运算去获得DI'1,DI'2和DI'3。DI'1,DI'2和DI'3表示为:
第四步,定义特征增强部分,具体过程为:
我们将在T2时刻从3×3,5×5和7×7卷积核获得的特征图分别与DI'1,DI'2和DI'3做相乘运算去获得DI”1,DI"2和DI"3。DI”1,DI"2和DI"3能被表示为:
其中f3×3(·),f5×5(·)和f7×7(·)分别表示卷积核大小为3×3,5×5和7×7的卷积操作,表示做相乘运算。DI”1,DI"2和DI"3在通道维度上进行融合去获得最终的差异图作为空间自适应和特征增强模块的输出。
第五步,引入加权对比损失作为差异图和地面真实图之间的度量,通过最小化损失来训练网络,具体过程为:
(1)将通过四个空间自适应和特征增强模块获得的四个差异图通过卷积操作以获得四个96通道的差异图。通过双线性插值,将四个96通道的差异图均匀地调整为128×128的大小,然后融合以获得384通道的差异图。384通道的差异图通过卷积操作获得1通道的差异图。通过三线性插值,将1通道的差异图均匀地调整为256×256的大小。
(2)引入加权对比损失作为差异图和地面真实图之间的度量,损失函数定义为:
其中,M表示dt的大小,w1和w2表示不变和变化特征对的权重,gti,j和dti,j分别表示地面真实图与差异图在点(i,j)的值,m是边距。
其中,pos_num和neg_num分别表示不变和变化像素对的数量。
第六步,通过阈值分割从差异图中获得更精确的变化图。
本发明定义了一个针对变化检测问题的空间自适应和特征增强模块,空间自适应部分旨在获取自适应的空间知识,以便清晰地显示不同大小和形状的对象,特征增强部分能够加强或削弱变化和不变的特征,因此能够很好地解决在特征提取过程中,不同大小和形状的对象通常由相同的过滤核处理而导致的空间模糊问题。在训练过程中引入权重对来平衡变化和不变的对象,从而能够解决不变像素和变化像素之间的不平衡。
本发明的效果可通过以下仿真实验进一步说明:
(1)仿真条件
仿真实验采用变化检测数据集。变化检测数据集中图像的空间分辨率为3cm/px到100cm/px。变化检测数据集中包含16000对,大小为256×256季节性图像对。在我们的实验中,将16000对图像按照10:3:3分为训练集、验证集和测试集。本发明采用Pytorch框架实现了所提出的变化检测方法。在训练过程中,学习率设置为0.0001。仿真实验在NVIDIA TitanV上进行了100个迭代的实验。
对于定量指标评估,本发明使用四个指标:准确率(Precision)、召回率(Recall)、F1分数(F1-Score)和交并比(IoU,Intersection-over-Union)。
(2)仿真内容
本发明采用季节变化检测数据集检验算法的性能。四种有代表性的变化检测算法用于比较。即FC-EF(Fully Convolutional Early Fusion)、FC-Siam-diff(FullyConvolutional Siamese-Difference)、FC-Siam-conc(Fully Convolutional Siamese-Concatenation)和SRCDNet(super-resolution-based change detection network)。
(3)仿真实验结果分析
表1为变化检测数据集在不同变化检测算法下的对比结果。
表1变化检测数据集的不同变化检测算法定量评价
Methods | Precision(%) | Recall(%) | F1(%) | IoU(%) |
FC-EF | 79.61 | 49.10 | 60.74 | 43.62 |
FC-Siam-diff | 73.41 | 73.71 | 73.56 | 58.18 |
FC-Siam-conc | 80.81 | 65.66 | 72.45 | 56.80 |
SRCDNet | 94.52 | 91.02 | 92.74 | 86.46 |
Ours | 95.91 | 92.78 | 94.32 | 89.25 |
如表1所示,与四种变化检测算法相比,本发明提出的基于空间自适应和特征增强暹罗网络的变化检测方法在变化检测数据集上表现最好,并且获得了最高的精度、召回率、F1和IoU,分别为95.91%、92.78%、94.32%和89.25%。空间自适应和特征增强模块可以捕获自适应的空间知识并增强变化的特征,从而能够很好地解决在特征提取过程中,不同大小和形状的对象通常由相同的过滤核处理而导致的空间模糊问题,这就是本发明在变化检测数据集上获得最佳性能的原因。SRCDNet在变化检测数据集上的性能仅次于本发明的方法。其中四项指标分别为94.52%、91.02%、92.74%和86.46%,分别比本发明的方法低1.39%、1.76%、1.58%和2.79%。三种FCN变体在变化检测数据集上表现不佳。本发明方法在变化检测数据集上的结果效果图如图4所示。以上真实变化检测数据集的仿真实验结果表明了本发明方法的有效性。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于空间自适应和特征增强暹罗网络的变化检测方法,其特征在于,包括以下步骤:
第一步,构造基于ResNet-18的暹罗网络用于提取双时态特征;
第二步,在卷积块注意力模型之后使用3×3,5×5和7×7卷积核来获得具有不同空间信息的三对特征图,分别计算由同一个卷积核得到的一对特征图的欧氏距离,得到差异图;
第三步,定义空间自适应部分用于获取自适应的空间知识;
第四步,定义特征增强部分用于加强或削弱变化和不变的特征;
第五步,引入加权对比损失作为差异图和地面真实图之间的度量,通过最小化损失来训练网络;
第六步,通过阈值分割从差异图中获得变化图。
2.根据权利要求1所述的基于空间自适应和特征增强暹罗网络的变化检测方法,其特征在于,第一步构造基于ResNet-18的暹罗网络用于提取双时态特征,即将ResNet-18扩展为暹罗结构,网络的输入为两幅经过配准的双时态遥感图像,经过暹罗网络能够获取不同尺度的特征图。
3.根据权利要求1所述的基于空间自适应和特征增强暹罗网络的变化检测方法,其特征在于,第二步在卷积块注意力模型之后使用3×3,5×5和7×7卷积核来获得具有不同空间信息的三对特征图,分别计算由同一个卷积核得到的一对特征图的欧氏距离,得到差异图,具体过程为:
在每个残差块之后,获得双时态特征图,并作为空间自适应和特征增强模块的输入;空间自适应和特征增强模块是在卷积块注意力模型特征上进行的,在卷积块注意力模型之后使用3×3,5×5和7×7卷积核来获得具有不同空间信息的三对特征图;分别计算由同一个卷积核得到的一对特征图的欧氏距离,得到差异图;通过以下方式获得差异图:
DI(F)=E(σ(f(F1)),σ(f(F2)))
其中F1和F2是在不同时间从每个残差块获得的特征图,f(·)表示卷积核大小分别为3×3,5×5和7×7的卷积操作,σ(·)表示sigmoid函数,E(·)表示欧氏距离;在不同的卷积核下,能得到不同的差异图,分别表示为DI1,DI2和DI3。
6.根据权利要求5所述的基于空间自适应和特征增强暹罗网络的变化检测方法,其特征在于,第五步引入加权对比损失作为差异图和地面真实图之间的度量,通过最小化损失来训练网络,具体过程为:
(1)将通过四个空间自适应和特征增强模块获得的四个差异图通过卷积操作以获得四个96通道的差异图;通过双线性插值,将四个96通道的差异图均匀地调整为128×128的大小,然后融合以获得384通道的差异图;384通道的差异图通过卷积操作获得1通道的差异图;通过三线性插值,将1通道的差异图均匀地调整为256×256的大小;
(2)引入加权对比损失作为差异图和地面真实图之间的度量,损失函数定义为:
其中,M表示dt的大小,w1和w2表示不变和变化特征对的权重,gti,j和dti,j分别表示地面真实图与差异图在点(i,j)的值,m是边距;
其中,pos_num和neg_num分别表示不变和变化像素对的数量。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-6中任一所述的方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。
9.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210765277.8A CN115170824A (zh) | 2022-07-01 | 2022-07-01 | 基于空间自适应和特征增强暹罗网络的变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210765277.8A CN115170824A (zh) | 2022-07-01 | 2022-07-01 | 基于空间自适应和特征增强暹罗网络的变化检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115170824A true CN115170824A (zh) | 2022-10-11 |
Family
ID=83488456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210765277.8A Pending CN115170824A (zh) | 2022-07-01 | 2022-07-01 | 基于空间自适应和特征增强暹罗网络的变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115170824A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363521A (zh) * | 2023-06-02 | 2023-06-30 | 山东科技大学 | 一种遥感影像语义预测方法 |
CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
-
2022
- 2022-07-01 CN CN202210765277.8A patent/CN115170824A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363521A (zh) * | 2023-06-02 | 2023-06-30 | 山东科技大学 | 一种遥感影像语义预测方法 |
CN116363521B (zh) * | 2023-06-02 | 2023-08-18 | 山东科技大学 | 一种遥感影像语义预测方法 |
CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108345827B (zh) | 识别文档方向的方法、系统和神经网络 | |
CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
CN115170824A (zh) | 基于空间自适应和特征增强暹罗网络的变化检测方法 | |
CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
CN112215201B (zh) | 评估人脸识别模型、针对图像的分类模型的方法及装置 | |
CN106250931A (zh) | 一种基于随机卷积神经网络的高分辨率图像场景分类方法 | |
CN114332133B (zh) | 基于改进CE-Net的肺炎CT图像感染区分割方法及系统 | |
CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
CN110751195B (zh) | 一种基于改进YOLOv3的细粒度图像分类方法 | |
CN112991278A (zh) | RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统 | |
CN110084812B (zh) | 一种太赫兹图像缺陷检测方法、装置、系统及存储介质 | |
CN113920516B (zh) | 一种基于孪生神经网络的书法字骨架匹配方法及系统 | |
CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
CN114241388A (zh) | 基于时空记忆信息的视频实例分割方法和分割装置 | |
CN107301643A (zh) | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 | |
CN117333459A (zh) | 基于双阶注意力和边缘监督的图像篡改检测方法及系统 | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111353514A (zh) | 模型训练方法、图像识别方法、装置及终端设备 | |
CN116912574A (zh) | 一种基于孪生网络的多尺度目标感知分类方法及系统 | |
CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
CN111027670B (zh) | 特征图处理方法、装置、电子设备及存储介质 | |
Li et al. | Feature-guided dynamic graph convolutional network for wetland hyperspectral image classification | |
CN112215266A (zh) | 一种基于小样本学习的x光图像违禁物品检测方法 | |
CN113947154A (zh) | 一种目标检测方法、系统、电子设备及存储介质 | |
CN112861874A (zh) | 一种基于多滤波器去噪结果的专家场去噪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |