CN116189008A - 基于定点数量化的遥感图像变化检测方法 - Google Patents
基于定点数量化的遥感图像变化检测方法 Download PDFInfo
- Publication number
- CN116189008A CN116189008A CN202310202156.7A CN202310202156A CN116189008A CN 116189008 A CN116189008 A CN 116189008A CN 202310202156 A CN202310202156 A CN 202310202156A CN 116189008 A CN116189008 A CN 116189008A
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- fixed
- channel parameter
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 96
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 238000011002 quantification Methods 0.000 title claims abstract description 5
- 238000013139 quantization Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims description 62
- 238000000605 extraction Methods 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 33
- 238000011176 pooling Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000007667 floating Methods 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000007726 management method Methods 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Remote Sensing (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种定点数量化的遥感图像变化检测方法,主要解决现有技术缺乏对边界信息考虑,损失函数缺乏对变化图像对的重视,以及计算缓慢的问题。其实现方案为:获取遥感图像对其进行均值减法和归一化预处理,并划分训练集和测试集;基于现有卷积层,设计包含量化位宽和批量标准化层的参数构成定点量化卷积层;使用定点量化卷积层构建遥感变化检测模型;对定点量化变化检测模型进行训练;利用训练好的定点量化变化检测网络,得到图像分类结果。本发明通过构建新的遥感变化检测模型,有效地提高了图像变化检测结果的准确性,同时通过设计定点量化卷积层,减少了网络中运算所需的时间,可应用于植被覆盖分析、城市规划、土地资源管理及灾害评估。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种遥感图像变化检测方法,可应用于植被覆盖分析、城市规划、土地资源管理及灾害评估。
背景技术
随着高分辨率遥感影像的广泛应用,遥感图像变化检测也逐渐应用于被覆盖分析、地表水变化、城市规划、土地资源利用管理、灾害评估、医疗诊断及民用基础设施各个方面。
由于卫星传感器具有重访的特性,且能够获得米级和亚米级空间分辨率的图像,因而,卫星传感器和其它对地观测传感器已成为变化检测主要的数据来源,其可对地面物体进行精细的空间细节调查,这些方面的发展使得遥感变化检测成为热门的研究方向。
遥感图像变化检测是指将两个同样位置不同时相的遥感图像进行对比,并检测出两者的相对差异的技术。基于遥感图像的变化检测,对于深空探测等场景具有十分重要的意义。如何提高遥感图像变化检测的精度是遥感变化检测的难点和要点,衡量遥感图像变化检测精度的指标主要是F1-score,其值越大,表示变化检测的结果越好。
现有遥感图像变化检测方法主要分为传统方法和基于深度学习的遥感图像变化检测方法。传统变化检测方法因需要人工选择合适的参数控制输出对象的大小,从而限制了其性能的提升。此外,传统方法由于其依赖针对遥感图像进行人为的特征标注,因此难以获得高层次的变化信息。近年来,作为最常用的深度神经网络之一,卷积神经网络CNN已经证明了自动提取复杂高级特征以生成稳健的CD结果的优势。
Y.Zhan等人在发表的论文“Change Detection Based on Deep SiameseConvolutional Network for Optical Aerial Images”中提出了一种新的基于深度孪生卷积网络的光学航空图像监督变化检测方法,其通过学习孪生网络直接从图像对中提取特征,与传统变化检测方法手工提取的特征相比,提取的特征更加抽象、鲁棒。
J.Liu等人在论文“A Deep Convolutional Coupling Network for ChangeDetection Based on Heterogeneous Optical and Radar Images”中提出了一种异构图像的无监督深度卷积耦合网络变化检测方法,其通过光学传感器和雷达传感器的互补特性,结合相应的优化耦合函数来无监督地学习网络参数。
J.Chen等人在其发表的论文“DASNet:Dual Attentive Fully ConvolutionalSiamese Networks for Change Detection in High-Resolution Satellite Images”中提出了一种用于高分辨率图像变化检测的新方法,即双注意全卷积孪生网络。其通过双注意力机制,捕获长范围依赖关系,获得更具鉴别性的特征表示,提高模型的识别性能,克服现有方法对伪变化缺乏抵抗力的问题,
但是,上述方法均由于主要关注多时相遥感图像之间的差异信息,缺乏对边界信息的考虑,因此在某些特定场景下,无法表现出良好的检测性能;同时这些方法由于其损失函数均缺乏对于变化图像对的重视,且因网络模型较大,训练数据的过程中参数量多,导致网络信息冗余且计算缓慢。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于定点数量化的遥感图像变化检测方法,以充分考虑边界信息提高检测性能,通过定点数量提升计算速度。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)获取遥感图像,并对其进行均值减法和线性归一化的预处理,再将预处理后的数据按10:1比例划分为变化检测训练集和测试集;
(2)构建定点量化卷积层:
(2a)设置预设参数,根据该参数确定量化位宽:
如果预设参数中有量化位宽参数,则采用预设值作为量化位宽参数;
如果预设参数中无量化位宽参数,则计算不同位宽下量化前后的神经网络参数的均方误差,将均方误差最小的位宽作为量化位宽参数;
(2b)通过第一次前向传播确定批量标准化层的参数:
在第一次前向传播计算中,使用量化位宽参数对卷积层的输入进行量化,并将量化后的卷积层输入与浮点值权重进行卷积计算,得到批量标准化层的比例参数,且不需要进行反向传播计算;
(2c)计算卷积层输出:
在第二次前向传播计算中,使用量化位宽参数对卷积层的输入与权重进行量化,将量化后的卷积层输入与量化后的卷积层权重进行卷积计算,并将该卷积计算的结果作为卷积层的输出,再正常进行反向传播;
(3)使用定点量化卷积层构建遥感变化检测模型:
(3a)搭建分别由第一卷积层,第一ReLU激活层,第二卷积层,第二ReLU激活层和最大池化层依次级联组成的第一卷积模块和第二卷积模块;
(3b)搭建分别由第一卷积层,第一ReLU激活层,第二卷积层,第二ReLU激活层,第三卷积层,第三ReLU激活层和最大池化层依次级联组成的第三卷积模块和第四卷积模块;
(3c)搭建由第一卷积层,第一ReLU激活层,第二卷积层,第二ReLU激活层,第三卷积层和第三ReLU激活层依次级联组成的第五卷积模块;
(3d)搭建由第一反卷积层,第一批量标准化层,第一ReLU激活层,第二反卷积层,第二批量标准化层,第二ReLU激活层和卷积层依次级联组成的孪生网络尾部卷积模块;
(3e)搭建分别由第Ⅰ卷积层,第Ⅰ批量标准化层,第ⅠReLU激活层,第Ⅱ卷积层,第Ⅱ批量标准化层和第ⅡReLU激活层依次级联组成的五个边界提取模块和一个边界提取网络尾部卷积模块;
(3f)搭建由反卷积层,批量标准化层,ReLU激活层和卷积层依次级联组成的通道融合卷积模块;
(3h)将第一卷积模块,第二卷积模块,第三卷积模块,第四卷积模块,第五卷积模块与现有的图像块级的二阶非局部模块依次级联,构成孪生分支,将两个孪生分支并联,并在其后连接孪生网络尾部卷积模块,构成孪生网络;
(3i)将第一边界提取模块,第二边界提取模块,第三边界提取模块,第四边界提取模块和第五边界提取模块并联,并在其后连接边界提取网络尾部卷积模块,构成边界提取网络;
(3j)将孪生网络与边界提取网络并联,并在其后连接通道融合卷积模块,构成定点量化变化检测网络;
(4)对定点量化变化检测网络进行训练:
(4a)设计网络损失函数Lsum,包括孪生网络相对损失Lcl与边界损失Ledge两部分,表示为:Lsum=Lcl+Ledge;
(4b)将训练集输入到定点量化变化检测网络中,使用Adam优化算法,迭代地更新网络权重值,直到损失函数Lsum收敛为止,得到训练好的定点量化变化检测网络;
(5)将测试集输入到训练好的定点量化变化检测网络中,得到网络的输出结果,对输出结果通过预先设定的阈值划分为变化与不变化两类。
本发明与现有技术相比较,具有以下优点:
第一,本发明由于构建了包括孪生卷积神经网络和边界提取网络两部分的遥感变化检测模型,因而能够在提取图像本身特征的同时,提取边界信息共同进行训练,不仅能有效地提高图像变化检测结果的准确性,而且有利于对图像进行更加全面的变化检测。
第二,本发明由于设计了定点量化卷积层,对卷积操作中的输入、权重以及其它参数进行定点量化,可极大减少网络中运算所需的时间,使得在计算资源有限的设备上也能有效地进行变化检测训练与推理。
第三,本发明针对变化检测任务,改进设计了新的相对损失函数,使得网络能够更加关注发生变化的图像对,有效地提升了训练精度。
附图说明
图1是本发明实现的流程图;
图2是本发明中的定点量化卷积层示意图;
图3是本发明中构建的定点量化变化检测模型示意图;
图4是图3中的孪生卷积神经网络示意图;
图5是图3中的边界提取网络示意图;
图6是本发明仿真实验的可视化检测结果图。
具体实施方式
下面结合附图对本发明实施例和效果进一步详细描述。
参照图1,对实例的实现步骤如下:
步骤1.获取遥感图像对其进行预处理,并划分变化检测训练集和测试集。
1.1)从公开数据库获取CDD遥感图像数据集,其中样本集A={a1,a2,…,ai,…,an}与其对应的变化样本集B={b1,b2,…,bi,…,bn},ai代表样本集的第i个样本,bi代表变化样本集的第i个样本,n为样本集的图像数量;
1.2)对数据样本集进行均值减法预处理:
其中c={R,G,B}代表RGB图像的三个通道;
1.2.2)用样本集中每张图像的每个通道的像素值减去其对应的均值,得到经过均值减法后的两个样本集:
A′={a′1,a′2,…,a′i,…,a′n}
B′={b′1,b′2,…,b′i,…,b′n},
其中a′i代表经过均值减法的样本集A′的第i个样本,bi代表经过均值减法的变化样本集B′的第i个样本;
1.3)对经过均值减法的数据集进行归一化处理:
对1.2)获得的样本集A′和变化样本集B′,分别找到其中样本的像素最大值max(A′)、max(B′)与最小值min(A′)、min(B′),并对这两个样本集A′和B′使用归一化公式,得到经过归一化后的样本集A″和变化样本集B″,公式如下:
步骤2.基于现有卷积层,设计包含量化位宽和批量标准化层的参数,构成定点量化卷积层。
参照图2,本步骤的实现如下:
2.1)设置预设参数,根据该预设参数确定量化位宽:
如果预设参数中有量化位宽参数,则采用预设值作为量化位宽参数;
如果预设参数中无量化位宽参数,则计算不同位宽下量化前后的神经网络参数的均方误差,将均方误差最小的位宽作为量化位宽参数,均方误差公式如下:
2.2)通过第一次前向传播确定批量标准化层的参数:
在第一次前向传播计算中,使用量化位宽参数对卷积层的输入进行量化,并将量化后的卷积层输入与浮点值权重进行卷积计算,得到批量标准化层的比例参数,且不需要进行反向传播计算,量化使用的公式如下:
2.3)计算卷积层输出:
在第二次前向传播计算中,使用量化位宽参数对卷积层的输入与权重进行量化,使用的量化公式与2.2)相同,将量化后的卷积层输入与量化后的卷积层权重进行卷积计算,并将该卷积计算的结果作为卷积层的输出,再正常进行反向传播;
步骤3.使用定点量化卷积层构建遥感变化检测模型。
参照图3,本步骤具体实现如下:
3.1)搭建分别由第一定点量化卷积层,第一ReLU激活层,第二定点量化卷积层,第二ReLU激活层和最大池化层依次级联组成的第一卷积模块,其中:
第一定点量化卷积层的输入通道参数设为3,输出通道参数设为64,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;
第二定点量化卷积层,其输入通道参数设置为64,输出通道参数设置为64,卷积核大小、步长和边界扩充值均与其第一定点量化卷积层设置相同;
最大池化层,卷积核大小为3×3个像素,步长设置为2个像素,边界扩充值设置为1个像素;
第一ReLU激活层和第二ReLU激活层均采用ReLU函数实现。
3.2)搭建与第一卷积模块结构相同、参数不同的第二卷积模块,其中:
该第二卷积模块中第一定点量化卷积层的输入通道参数设为64,输出通道参数设为128,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;
该第二卷积模块中第二定点量化卷积层,其输入通道参数设置为128,输出通道参数设置为128,卷积核大小、步长和边界扩充值均与其第一定点量化卷积层设置相同;
该第二卷积模块中最大池化层,卷积核大小为3×3个像素,步长设置为2个像素,边界扩充值设置为1个像素;
该第二卷积模块中第一ReLU激活层和第二ReLU激活层均采用ReLU函数实现。
3.3)搭建分别由第1定点量化卷积层,第1ReLU激活层,第2定点量化卷积层,第2ReLU激活层,第3定点量化卷积层,第3ReLU激活层和最大池化层依次级联组成的第三卷积模块,其各层参数如下:
第1定点量化卷积层的输入通道参数设置为128,输出通道参数设置为256,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;
第2定点量化卷积层的输入通道参数设置为256,输出通道参数设置为256,卷积核大小、步长和边界扩充值均与其第1定点量化卷积层设置相同;
第3定点量化卷积层的输入通道参数设置为256,输出通道参数设置为256,卷积核大小、步长和边界扩充值均与其第1定点量化卷积层设置相同;
最大池化层,其卷积核大小为3×3个像素,步长设置为2个像素,边界扩充值设置为1个像素;
第1ReLU激活层、第2ReLU激活层和第3ReLU激活层,均采用ReLU函数实现。
3.4)搭建第四卷积模块,其结构与第三卷积模块相同,各层参数如下:
该第四卷积模块中第1定点量化卷积层的输入通道参数设置为256,输出通道参数设置为512,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;
该第四卷积模块中第2定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小、步长和边界扩充值均与其第1定点量化卷积层设置相同;
该第四卷积模块中第3定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小、步长和边界扩充值均与其第1定点量化卷积层设置相同;
该第四卷积模块中最大池化层,卷积核大小为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;
该第四卷积模块中第一ReLU激活层、第二ReLU激活层和第三ReLU激活层,均采用ReLU函数实现。
3.5)搭建由第Ⅰ定点量化卷积层,第ⅠReLU激活层,第Ⅱ定点量化卷积层,第ⅡReLU激活层,第Ⅲ定点量化卷积层和第ⅢReLU激活层依次级联组成的第五卷积模块,其各层参数如下:
第Ⅰ定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小设置为3×3个像素,感受域设置为2个像素,步长设置为1个像素,边界扩充值设置为2个像素;
第Ⅱ定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小、步长、感受域和边界扩充值均与第Ⅰ定点量化卷积层设置相同;
第Ⅲ定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小、步长、感受域和边界扩充值均与第Ⅰ定点量化卷积层设置相同;
第ⅠReLU激活层、第ⅡReLU激活层和第ⅢReLU激活层,均采用ReLU函数实现。
3.6)搭建由第一反卷积层,第一批量标准化层,第一ReLU激活层,第二反卷积层,第二批量标准化层,第二ReLU激活层和定点量化卷积层依次级联组成的孪生网络尾部卷积模块,其各层参数如下:
该孪生网络尾部卷积模块中第一反卷积层的输入通道参数设置为512,输出通道参数设置为256,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为2个像素;
该孪生网络尾部卷积模块中第一批量标准化层参数设置为256;
该孪生网络尾部卷积模块中第二反卷积层的输入通道参数设置为256,输出通道参数设置为128,卷积核大小、步长和边界扩充值均与其第一反卷积层设置相同;
该孪生网络尾部卷积模块中第二批量标准化层参数设置为256;
该孪生网络尾部卷积模块中定点量化卷积层的输入通道参数设置为128,输出通道参数设置为128,卷积核大小设置为1×1个像素,步长设置为1个像素;
该孪生网络尾部卷积模块中的第一ReLU激活层和第二ReLU激活层,均采用ReLU函数实现。
3.7)搭建分别由第1定点量化卷积层,第1批量标准化层,第1ReLU激活层,第2定点量化卷积层,第2批量标准化层和第2ReLU激活层依次级联组成的五个边界提取模块,其中:
所述第一边界提取模块,其第1定点量化卷积层的输入通道参数设置为64,输出通道参数设置为64,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为64;其第2定点量化卷积层的输入通道参数设置为64,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
所述第二边界提取模块,其第1定点量化卷积层的输入通道参数设置为128,输出通道参数设置为32,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为32;其第2定点量化卷积层的输入通道参数设置为32,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
所述第三边界提取模块,其第1定点量化卷积层的输入通道参数设置为256,输出通道参数设置为16,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为16;其第2定点量化卷积层的输入通道参数设置为16,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
所述第四边界提取模块,其第1定点量化卷积层的输入通道参数设置为512,输出通道参数设置为8,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为8;其第2定点量化卷积层的输入通道参数设置为8,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
所述第五边界提取模块,其第1定点量化卷积层的输入通道参数设置为512,输出通道参数设置为8,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为8;其第2定点量化卷积层的输入通道参数设置为8,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
上述五个边界提取模块的第1ReLU激活层和第2ReLU激活层均采用ReLU函数实现。
3.8)搭建与上述五个边界提取模块结构相同的边界提取网络尾部卷积模块,其各层参数如下:
该边界提取网络尾部卷积模块,其第1定点量化卷积层的输入通道参数设置为5,输出通道参数设置为5,卷积核大小设置为1×1个像素;其第1批量标准化层的参数设置为5;其第2定点量化卷积层的输入通道参数设置为5,输出通道参数设置为64,卷积核大小设置为1×1个像素;其第2批量标准化层的参数设置为64;
该边界提取网络尾部卷积模块的第一ReLU激活层和第二ReLU激活层均采用ReLU函数实现。
3.9)搭建由反卷积层,批量标准化层,ReLU激活层和定点量化卷积层依次级联组成的通道融合卷积模块,其各层参数如下:
该反卷积层的输入通道参数设置为256,输出通道参数设置为32,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为2个像素;
该批量标准化层的参数设置为32;
该ReLU激活层采用ReLU函数实现;
该定点量化卷积层,其输入通道参数设置为32,输出通道参数设置为32,卷积核大小设置为1×1个像素。
3.10)将第一卷积模块,第二卷积模块,第三卷积模块,第四卷积模块,第五卷积模块与现有的图像块级的二阶非局部模块依次级联,构成孪生分支,将两个孪生分支并联,并在其后连接孪生网络尾部卷积模块,构成孪生网络,如图4;
3.11)将第一边界提取模块,第二边界提取模块,第三边界提取模块,第四边界提取模块和第五边界提取模块并联,并在其后连接边界提取网络尾部卷积模块,构成边界提取网络,如图5;
3.12)将孪生网络与边界提取网络并联,并在其后连接通道融合卷积模块,构成定点量化变化检测模型。
步骤4.对定点量化变化检测模型进行训练。
4.1)设计网络损失函数Lsum:
4.1.1)对现有的相对损失函数进行改进,得到孪生网络变化损失Lcl:
其中N代表像素对的数量,di=‖ai-bi‖2代表第i对元素ai和bi之间的欧氏距离,yi为元素匹配参数,yi=1代表第i对元素匹配,yi=0代表第i对元素不匹配,m为预先设定的变化检测阈值,m>0,w1和w2为变化权重,1<w1<1.5,0.5<w2<1;
4.1.2)对现有的交叉熵损失函数进行改进,得到设计边界损失Lci:
其中,bi代表真值边界,pi代表边界提取网络中得到的预测边界变化图,wp和wn代表变化项与未变化项的权重;
4.1.3)由孪生网络变化损失Lcl和边界损失Ledge得到网络损失函数Lsum:
Lsum=Lcl+Ledge;
4.2)将训练集输入到定点量化变化检测模型中,使用Adam优化算法,迭代地更新网络权重值:
4.2.1)计算当前损失函数Lsum(θt)对于参数θt的梯度:
其中t为当前的第t次迭代;
4.2.2)根据预先设定的学习率η、前一次迭代的一阶动量mt-1和二阶动量vt-1,结合计算得到的当前梯度gt与运行平均值系数β1和β2,计算第t次迭代的一阶动量mt与二阶动量vt:
mt=η[β1mt-1+(1-β1)gt
4.2.3)根据第t次迭代的一阶动量mt与二阶动量vt,将参数θt更新为θt+1,
其中∈代表余项,防止除数为0;
4.2.4)重复步骤4.2.1)到4.2.3),直到损失函数Lsum收敛为止,得到训练好的定点量化变化检测网络。
步骤5.利用训练好的定点量化变化检测网络,得到图像分类结果。
5.1)将测试集输入训练好的定点量化变化检测网络,得到网络的输出结果C(A,B),其中A={a1,a2,…,ai,…,an}为样本集,B={b1,b2,…,bi,…,bn}为其对应的变化集;
5.2)设定图像变化阈值τ>0,将网络的输出结果C(ai,bi)与该阈值进行比较,得到测试集图像为变化与不变化的两种类别结果:
若C(ai,bi)<τ,则变化检测函数f(ai,bi)=0,代表图像对ai,bi未发生变化,即图像属于不变化类;
若C(ai,bi)≥τ,则变化检测函数f(ai,bi)=1,代表图像对ai,bi发生变化,即图像属于变化类。
下面结合仿真实验对本发明的效果作进一步的说明:
1.仿真实验条件。
本发明的仿真实验的硬件平台为:NVIDIA GeForce RTX 3090。
本发明的仿真实验的软件平台为:Ubuntu 18.04操作系统,基于PyTorch1.11.0深度学习框架,编程语言是python3.8。
本发明仿真实验所使用的数据集为本发明具体实施方式中步骤1所构建的数据集。
2.仿真实验内容及结果分析。
本发明的仿真实验是采用本发明方法和一个现有技术DASNet方法分别对经过预处理的CDD遥感图像数据集进行变化检测,检测结果图6。其中:
图6(a)列为真实图像,
图6(b)列为该真实图像对应的变化图像,
图6(c)列为该真实图像对应的标签图像,
图6(d)列为现有DASNet方法提取的边界信息,
图6(e)列为本发明提取的边界信息。
所述DASNet方法是J.Chen等人在“DASNet:Dual Attentive FullyConvolutional Siamese Networks for Change Detection in High-ResolutionSatellite Images”(IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing,vol.14,pp.1194-1206,2021)中提出的遥感变化检测方法。
由图6(d)列可以看出,DASNet提取的边界信息平滑性不好,且与图6(c)列的标签图像相比差距较大,主要因为该方法在构建模型时没有充分考虑边界信息,因此导致检测精度不高。
由6(e)列可以看出,本发明提取得到的边界信息平滑性较好,且与图6(c)列的标签图像相比差距较小,更加接近于标签图像的边界,因此检测结果更加理想。
利用F1_SCORE、mIoU和平均迭代训练用时三种评价指标分别对上述两种方法的检测结果进行评价,F1_SCORE和mIoU的计算公式如下:
其中,TP代表被模型预测为正类的正样本,FP代表被模型预测为正类的负样本,FN代表被模型预测为负类的正样本,k代表分类数,在变化检测任务中取k=2。
评价结果如表1:
表1.仿真实验中两种方法的评价指标对比表
F1_SCORE | mIoU | 平均迭代训练用时 | |
本发明 | 0.9297 | 0.9302 | 819.666477 |
DASNet | 0.9190 | 0.9045 | 965.038872 |
从表1数据可以看出,本发明的遥感图像变化检测方法,在F1_SCORE和mIoU指标上均高于DASNet方法,在平均迭代训练用时指标上低于DASNet方法,表明本发明可以得到更高的变化检测精度,且训练用时更短。
以上仿真实验表明:本发明方法解决了现有技术中缺乏对边界信息的考虑,损失函数缺乏对于变化图像对的重视,以及计算缓慢的问题,不仅能更有效地提取图像变化中的边界信息,提高变化检测精度,而且减少了训练时长。
Claims (13)
1.一种基于定点数量化的遥感图像变化检测方法,其特征在于,包括如下步骤:
(1)获取遥感图像,并对其进行均值减法和线性归一化的预处理,再将预处理后的数据按10:1比例划分为变化检测训练集和测试集;
(2)基于现有卷积层,设计包含量化位宽和批量标准化层的参数,构成定点量化卷积层:
(2a)设置预设参数,根据该参数确定量化位宽:
如果预设参数中有量化位宽参数,则采用预设值作为量化位宽参数;
如果预设参数中无量化位宽参数,则计算不同位宽下量化前后的神经网络参数的均方误差,将均方误差最小的位宽作为量化位宽参数;
(2b)通过第一次前向传播确定批量标准化层的参数:
在第一次前向传播计算中,使用量化位宽参数对卷积层的输入进行量化,并将量化后的卷积层输入与浮点值权重进行卷积计算,得到批量标准化层的比例参数,且不需要进行反向传播计算;
(2c)计算卷积层输出:
在第二次前向传播计算中,使用量化位宽参数对卷积层的输入与权重进行量化,将量化后的卷积层输入与量化后的卷积层权重进行卷积计算,并将该卷积计算的结果作为卷积层的输出,再正常进行反向传播;
(3)使用定点量化卷积层构建遥感变化检测模型:
(3a)搭建分别由第一定点量化卷积层,第一ReLU激活层,第二定点量化卷积层,第二ReLU激活层和最大池化层依次级联组成的第一卷积模块和第二卷积模块;
(3b)搭建分别由第1定点量化卷积层,第1ReLU激活层,第2定点量化卷积层,第2ReLU激活层,第3定点量化卷积层,第3ReLU激活层和最大池化层依次级联组成的第三卷积模块和第四卷积模块;
(3c)搭建由第Ⅰ定点量化卷积层,第ⅠReLU激活层,第Ⅱ定点量化卷积层,第ⅡReLU激活层,第Ⅲ定点量化卷积层和第ⅢReLU激活层依次级联组成的第五卷积模块;
(3d)搭建由第一反卷积层,第一批量标准化层,第一ReLU激活层,第二反卷积层,第二批量标准化层,第二ReLU激活层和定点量化卷积层依次级联组成的孪生网络尾部卷积模块;
(3e)搭建分别由第1定点量化卷积层,第1批量标准化层,第1ReLU激活层,第2定点量化卷积层,第2批量标准化层和第2ReLU激活层依次级联组成的五个边界提取模块和一个边界提取网络尾部卷积模块;
(3f)搭建由反卷积层,批量标准化层,ReLU激活层和定点量化卷积层依次级联组成的通道融合卷积模块;
(3h)将第一卷积模块,第二卷积模块,第三卷积模块,第四卷积模块,第五卷积模块与现有的图像块级的二阶非局部模块依次级联,构成孪生分支,将两个孪生分支并联,并在其后连接孪生网络尾部卷积模块,构成孪生网络;
(3i)将第一边界提取模块,第二边界提取模块,第三边界提取模块,第四边界提取模块和第五边界提取模块并联,并在其后连接边界提取网络尾部卷积模块,构成边界提取网络;
(3j)将孪生网络与边界提取网络并联,并在其后连接通道融合卷积模块,构成定点量化变化检测网络;
(4)对定点量化变化检测网络进行训练:
(4a)设计网络损失函数Lsum,包括孪生网络相对损失Lcl与边界损失Ledge两部分,表示为:Lsum=Lcl+Ledge;
(4b)将训练集输入到定点量化变化检测网络中,使用Adam优化算法,迭代地更新网络权重值,直到损失函数Lsum收敛为止,得到训练好的定点量化变化检测网络;
(5)将测试集输入到训练好的定点量化变化检测网络中,得到网络的输出结果,对输出结果通过预先设定的阈值比较划分为变化与不变化两类。
2.根据权利要求1所述的方法,其特征在于:步骤(1)中对遥感图像进行均值减法和线性归一化的预处理,实现如下:
1b)用样本集中每张图像的每个通道的像素值减去对应的均值,得到经过均值减法后的两个样本集A′={a′1,a′2,…,a′n}和B′={b′1,b′2,…,b′n};
1c)对1b)获得的两个样本集A′和B′,先分别找到其中样本的像素最大值max(A′)、max(B′)与最小值min(A′)、min(B′),再对这两个样本集A′和B′使用归一化公式,得到经过归一化后的两个样本集A″和B″,公式如下:
5.根据权利要求1所述的方法,其特征在于:步骤(3a)搭建的第一卷积模块和第二卷积模块中,各层参数如下:
所述第一卷积模块,其第一定点量化卷积层的输入通道参数设为3,输出通道参数设为64,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;其第二定点量化卷积层,其输入通道参数设置为64,输出通道参数设置为64,卷积核大小、步长和边界扩充值均与其第一定点量化卷积层设置相同;其最大池化层,卷积核大小为3×3个像素,步长设置为2个像素,边界扩充值设置为1个像素;
所述第二卷积模块,其第一定点量化卷积层的输入通道参数设为64,输出通道参数设为128,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;其第二定点量化卷积层,其输入通道参数设置为128,输出通道参数设置为128,卷积核大小、步长和边界扩充值均与其第一定点量化卷积层设置相同;其最大池化层,卷积核大小为3×3个像素,步长设置为2个像素,边界扩充值设置为1个像素;
第一和第二这两个卷积模块中的第一ReLU激活层和第二ReLU激活层,均采用ReLU函数实现。
6.根据权利要求1所述的方法,其特征在于:步骤(3b)搭建的第三卷积模块和第四卷积模块中,各层参数如下:
所述第三卷积模块,其第1定点量化卷积层的输入通道参数设置为128,输出通道参数设置为256,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;其第2定点量化卷积层的输入通道参数设置为256,输出通道参数设置为256,卷积核大小、步长和边界扩充值均与其第1定点量化卷积层设置相同;其第3定点量化卷积层的输入通道参数设置为256,输出通道参数设置为256,卷积核大小、步长和边界扩充值均与其第一卷积层设置相同;其最大池化层,其卷积核大小为3×3个像素,步长设置为2个像素,边界扩充值设置为1个像素;
所述第四卷积模块,其第1定点量化卷积层的输入通道参数设置为256,输出通道参数设置为512,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;其第2定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小、步长和边界扩充值均与其第1卷积层设置相同;其第3定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小、步长和边界扩充值均与其第1卷积层设置相同;其最大池化层,其卷积核大小为3×3个像素,步长设置为1个像素,边界扩充值设置为1个像素;
第三和第四这两个卷积模块中的第1ReLU激活层、第2ReLU激活层和第3ReLU激活层,均采用ReLU函数实现。
7.根据权利要求1所述的方法,其特征在于:步骤(3c)搭建第五卷积模块中的各层参数如下:
其第Ⅰ定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小设置为3×3个像素,感受域设置为2个像素,步长设置为1个像素,边界扩充值设置为2个像素;
其第Ⅱ定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小、步长、感受域和边界扩充值均与其第Ⅰ卷积层设置相同;
其第Ⅲ定点量化卷积层的输入通道参数设置为512,输出通道参数设置为512,卷积核大小、步长、感受域和边界扩充值均与其第Ⅰ卷积层设置相同;
该第五卷积模块中的第ⅠReLU激活层、第ⅡReLU激活层和第ⅢReLU激活层,均采用ReLU函数实现。
8.根据权利要求1所述的方法,其特征在于:步骤(3d)搭建孪生网络尾部卷积模块中的各层参数如下:
其第一反卷积层的输入通道参数设置为512,输出通道参数设置为256,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为2个像素;
其第一批量标准化层参数设置为256;
其第二反卷积层的输入通道参数设置为256,输出通道参数设置为128,卷积核大小、步长和边界扩充值均与其第一反卷积层设置相同;
其第二批量标准化层参数设置为256;其卷积层的输入通道参数设置为128,输出通道参数设置为128,卷积核大小设置为1×1个像素,步长设置为1个像素;
该孪生网络尾部卷积模块中的第一ReLU激活层和第二ReLU激活层,均采用ReLU函数实现。
9.根据权利要求1所述的方法,其特征在于:步骤(3e)搭建五个边界提取模块和一个边界提取网络尾部卷积模块中的各层参数如下:
所述第一边界提取模块,其第1定点量化卷积层的输入通道参数设置为64,输出通道参数设置为64,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为64;其第2定点量化卷积层的输入通道参数设置为64,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
所述第二边界提取模块,其第1定点量化卷积层的输入通道参数设置为128,输出通道参数设置为32,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为32;其第2定点量化卷积层的输入通道参数设置为32,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
所述第三边界提取模块,其第1定点量化卷积层的输入通道参数设置为256,输出通道参数设置为16,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为16;其第2定点量化卷积层的输入通道参数设置为16,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
所述第四边界提取模块,其第1定点量化卷积层的输入通道参数设置为512,输出通道参数设置为8,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为8;其第2定点量化卷积层的输入通道参数设置为8,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
所述第五边界提取模块,其第1定点量化卷积层的输入通道参数设置为512,输出通道参数设置为8,卷积核大小设置为3×3个像素,步长设置为1个像素;其第1批量标准化层的参数设置为8;其第2定点量化卷积层的输入通道参数设置为8,输出通道参数设置为1,卷积核大小设置为1×1个像素,步长设置为1个像素;其第2批量标准化层的参数设置为1;
所述边界提取网络尾部卷积模块,其第1定点量化卷积层的输入通道参数设置为5,输出通道参数设置为5,卷积核大小设置为1×1个像素;其第1批量标准化层的参数设置为5;其第2定点量化卷积层的输入通道参数设置为5,输出通道参数设置为64,卷积核大小设置为1×1个像素;其第2批量标准化层的参数设置为64;
上述五个边界提取模块和边界提取网络尾部卷积模块的第1ReLU激活层和第2ReLU激活层均采用ReLU函数实现。
10.根据权利要求1所述的方法,其特征在于:步骤(3f)搭建通道融合卷积模块中的各层参数如下:
其反卷积层的输入通道参数设置为256,输出通道参数设置为32,卷积核大小设置为3×3个像素,步长设置为1个像素,边界扩充值设置为2个像素;
其批量标准化层的参数设置为32;
其ReLU激活层采用ReLU函数实现;
其定点量化卷积层的输入通道参数设置为32,输出通道参数设置为32,卷积核大小设置为1×1个像素。
12.根据权利要求1所述的方法,其特征在于:步骤(4b)中使用Adam优化算法迭代地更新网络权重值,实现如下:
(4b1)计算当前损失函数Lsum(θt)对于参数θt的梯度:
其中t为当前的第t次迭代;
(4b2)根据预先设定的学习率η、前一次迭代的一阶动量mt-1和二阶动量vt-1,结合计算得到的当前梯度gt与运行平均值系数β1和β2,计算第t次迭代的一阶动量mt与二阶动量vt:
mt=η[β1mt-1+(1-β1)gt
(4b3)根据第t次迭代的一阶动量mt与二阶动量vt,将参数θt更新为θt+1,
其中∈代表余项,防止除数为0;
(4b4)重复(4b1)到(4b3),直到损失函数Lsum收敛为止。
13.根据权利要求1所述的方法,其特征在于:步骤(5)中对输出结果通过预先设定的阈值划分为变化与不变化两类,实现如下:
设定阈值τ>0,将网络对测试图像集A及其对应测试变化集B的输出值C(ai,bi)与该阈值进行比较:
若C(ai,bi)<τ,则变化检测函数f(ai,bi)=0,代表图像对ai,bi未发生变化;
若C(ai,bi)≥τ,则变化检测函数f(ai,bi)=1,代表图像对ai,bi发生变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310202156.7A CN116189008A (zh) | 2023-03-06 | 2023-03-06 | 基于定点数量化的遥感图像变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310202156.7A CN116189008A (zh) | 2023-03-06 | 2023-03-06 | 基于定点数量化的遥感图像变化检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116189008A true CN116189008A (zh) | 2023-05-30 |
Family
ID=86436385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310202156.7A Pending CN116189008A (zh) | 2023-03-06 | 2023-03-06 | 基于定点数量化的遥感图像变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116189008A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862252A (zh) * | 2023-06-13 | 2023-10-10 | 河海大学 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
-
2023
- 2023-03-06 CN CN202310202156.7A patent/CN116189008A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862252A (zh) * | 2023-06-13 | 2023-10-10 | 河海大学 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
CN116862252B (zh) * | 2023-06-13 | 2024-04-26 | 河海大学 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
CN109919108B (zh) | 基于深度哈希辅助网络的遥感图像快速目标检测方法 | |
CN110443818B (zh) | 一种基于涂鸦的弱监督语义分割方法与系统 | |
CN114254561B (zh) | 一种内涝预测方法、系统及存储介质 | |
CN111598156B (zh) | 基于多源异构数据融合的pm2.5预测方法 | |
CN112232543B (zh) | 一种基于图卷积网络的多站点预测方法 | |
CN112733693B (zh) | 一种全局感知高分辨率遥感影像多尺度残差道路提取方法 | |
CN112966667B (zh) | 海面目标一维距离像降噪卷积神经网络识别方法 | |
CN111008644B (zh) | 基于局部动态能量函数fcn-crf模型的生态变化监测方法 | |
CN113096070A (zh) | 一种基于MA-Unet的图像分割方法 | |
CN112488043B (zh) | 一种基于边缘智能的无人机车辆目标检测方法 | |
CN112163106B (zh) | 二阶相似感知的图像哈希码提取模型建立方法及其应用 | |
CN114913434B (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
CN115131747A (zh) | 基于知识蒸馏的输电通道工程车辆目标检测方法及系统 | |
CN115952424A (zh) | 一种基于多视图结构的图卷积神经网络聚类方法 | |
CN116189008A (zh) | 基于定点数量化的遥感图像变化检测方法 | |
CN114972753B (zh) | 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统 | |
CN115565019A (zh) | 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法 | |
CN115272278A (zh) | 一种用于遥感图像变化检测的变化检测模型的构建方法 | |
CN115147727A (zh) | 一种遥感影像不透水面提取方法及系统 | |
CN117953369A (zh) | 一种融合孪生编解码和注意力机制的遥感影像变化检测方法 | |
CN113284093A (zh) | 一种基于改进D-LinkNet的卫星影像云检测方法 | |
CN117788810A (zh) | 一种无监督语义分割的学习系统 | |
CN112965968A (zh) | 一种基于注意力机制的异构数据模式匹配方法 | |
CN115019183B (zh) | 基于知识蒸馏和图像重构的遥感影像模型迁移方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |