CN115393203A - 基于深度学习的针对真实带雾图像的去雾方法及装置 - Google Patents
基于深度学习的针对真实带雾图像的去雾方法及装置 Download PDFInfo
- Publication number
- CN115393203A CN115393203A CN202210863800.0A CN202210863800A CN115393203A CN 115393203 A CN115393203 A CN 115393203A CN 202210863800 A CN202210863800 A CN 202210863800A CN 115393203 A CN115393203 A CN 115393203A
- Authority
- CN
- China
- Prior art keywords
- image
- real
- deep learning
- module
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000003252 repetitive effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 206010047513 Vision blurred Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于深度学习的针对真实带雾图像的去雾方法与装置，能够使图像恢复较高的质量和细节，并且具有实时性和泛用性。方法包括：(1)对训练集中所有图像的大小进行处理；(2)输入一个模糊图像，对其进行特征提取；(3)图像再被输入到3个跳跃连接的网络结构中；(4)利用特征注意力模块将网络输出的特征融合；(5)将特征输入到残差学习模块；(6)重复步骤(2)‑(5)，对训练集中的图片分批次进行训练；(7)在微调部分，用物理先验知识作为指导，训练未标记的真实带雾图像；(8)融合特征，输出恢复后的清晰图像。
Description
技术领域
本发明涉及图像处理和深度学习的技术领域，尤其涉及一种基于深度学习的针对真实带雾图像的去雾方法，以及基于深度学习的针对真实带雾图像的去雾装置。
背景技术
近年来，雾霾天气持续蔓延的态势，在严重影响人们健康的同时，大气中的水滴和颗粒会将光线吸收和散射。这使得到的户外图像丢失许多真实的信息，极大降低了成像设备的成像质量，无法满足人类视觉的需求，并且给后续的视觉任务带来了很多阻碍与困难。其所导致的重大交通事故、公路交通阻断、航班延误等情况时有发生。在道路交通方面，大雾不仅给驾驶员造成视线模糊，也给道路监控带来成像干扰。在军事侦察方面，烟雾会影响指战员对战场的实时观察和战术的及时调整，云雾会限制无人机的全天候侦查和监视。在航空航天方面，雨雾影响飞行员视线并危害航班安全，雾霾影响遥感卫星的成像质量。同时，雾霾对智能视觉感知系统也造成巨大影响，其导致成像的对比度低、动态范围小、细节不清晰等，从而影响图像识别、目标检测、物体跟踪等高层次的视觉感知任务。
因此，我们需要良好的除雾技术，以提高对比度和恢复图像的颜色。因此，迫切需要一种能对真实带雾图像进行去雾工作的方法。目前，要实现对带雾图像的去雾处理，是较为困难的事情。已有的方法主要分为：基于图像增强的方法、基于物理模型的图像复原方法和基于深度学习的方法。基于图像增强的方法主要通过增强对比度改善图像质量，如直方图均衡化、同态滤波、小波融合等，这种方法只是稍微改善了图像质量，并没有针对性地去雾，因此效果不是很理想。而基于物理模型的图像复原方法，则沿着图像退化的逆过程进行复原。对于大气模型来说，大多方法需要参考同一场景的图像深度信息来恢复图像对比度，这样无法保证图像去雾的实时性，大大降低了工作效率。基于深度学习的方法目前大多停留在利用合成雾天图像对神经网络进行训练的阶段，神经网络过于依赖仿真训练集，最终所得的网络对于真实雾天图像的处理结果较差。
综上所述，为了保证对真实带雾图像的去雾质量及其实时性，需要一种基于深度学习的针对真实带雾图像的去雾方法。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于深度学习的针对真实带雾图像的去雾方法，其能够使图像恢复较高的质量和细节，并且具有实时性和泛用性。
本发明的技术方案是：这种基于深度学习的针对真实带雾图像的去雾方法，其包括以下步骤：
(1)对训练集中所有图像的大小进行处理；
(2)输入一个模糊图像，对其进行特征提取；
(3)图像再被输入到3个跳跃连接的网络结构中；
(4)利用特征注意力模块将网络输出的特征融合；
(5)将特征输入到残差学习模块；
(6)重复步骤(2)-(5)，对训练集中的图片分批次进行训练；
(7)在微调部分，用物理先验知识作为指导，训练未标记的真实带雾图像；
(8)融合特征，输出恢复后的清晰图像。
本发明通过对空间进行四面体剖分达到自适应邻域分割的目的，为不同采集密度下的插值点提供了合适的邻域，减小了采集密度不均匀导致的参数不平衡的影响；通过对空间中待插值的体素采用体积权重插值与空间二阶多项式插值相融合的插值策略，具有更低的重建误差，增加了方法的适用范围；不同体素的插值过程具有独立性，可以并行计算，极大提高了重建效率。
还提供了基于深度学习的针对真实带雾图像的去雾装置，其包括：
图像大小处理模块，其配置来对训练集中所有图像的大小进行处理；
特征提取模块，其配置来输入一个模糊图像，对其进行特征提取；
图像输入模块，其配置来将图像输入到3个跳跃连接的网络结构中；
特征融合模块，其配置来利用特征注意力模块将网络输出的特征融合；
训练模块，其配置来将特征输入到残差学习模块，重复训练；
微调模块，其配置来用物理先验知识作为指导，训练未标记的真实带雾图像；
输出模块，其配置来融合特征，输出恢复后的清晰图像。
附图说明
图1是根据本发明的基于深度学习的针对真实带雾图像的去雾方法的流程图。
图2是根据本发明的步骤(2)-(6)的示意图。
图3是根据本发明的基本处理的示意图。
图4是根据本发明的特征注意力模块的流程示意图。
图5是根据本发明的步骤(7)的流程示意图。
具体实施方式
如图1所示，这种基于深度学习的针对真实带雾图像的去雾方法，其包括以下步骤：
(1)对训练集中所有图像的大小进行处理；
(2)输入一个模糊图像，对其进行特征提取；
(3)图像再被输入到3个跳跃连接的网络结构中；
(4)利用特征注意力模块将网络输出的特征融合；
(5)将特征输入到残差学习模块；
(6)重复步骤(2)-(5)，对训练集中的图片分批次进行训练；
(7)在微调部分，用物理先验知识作为指导，训练未标记的真实带雾图像；
(8)融合特征，输出恢复后的清晰图像。
本发明通过对空间进行四面体剖分达到自适应邻域分割的目的，为不同采集密度下的插值点提供了合适的邻域，减小了采集密度不均匀导致的参数不平衡的影响；通过对空间中待插值的体素采用体积权重插值与空间二阶多项式插值相融合的插值策略，具有更低的重建误差，增加了方法的适用范围；不同体素的插值过程具有独立性，可以并行计算，极大提高了重建效率。
优选地，所述步骤(1)中，对图像的大小进行处理为对图像进行裁剪，得到相同大小的图像。
优选地，所述步骤(1)中，将图像裁剪为240×240的图像大小。
优选地，所述步骤(2)中输入模糊图像，首先对其进行特征提取，通道数设置为16，卷积核大小设置为3×3。
优选地，所述步骤(3)中3个跳跃连接的网络结构的每个结构都由19 个基本块组成，每个基本块都由1个卷积层、一个ReLU层、一个特征注意力模块组成，其中ReLU函数为公式(1)：
f(x)＝max(0,x) (1)
其中，x为上一层的输出值，当x<0时取0，当x≥0时取x。
优选地，所述步骤(4)中特征注意力模块，其通道注意力部分卷积核大小设置为1×1。
优选地，所述步骤(4)中特征注意力模块包括：通道注意力模块CA和特征注意力模块PA；
CA卷积核大小设置为1×1，其包括一个全局平均池化层、两个卷积层和Sigmoid、ReLU激活函数，全局池化函数表达式为公式(2)
其中，Xc(i,j)表示第c个通道在(i,j)未知的值，H和W表示图像的高和宽，c表示颜色通道，Fc表示当前颜色通道的值，Hp表示全局池化函数，gc表示全局平均池化的输出；
Sigmoid函数为公式(3)：
PA卷积核大小设置为3×3，其由两个卷积层和Sigmoid、ReLU激活函数组成。
优选地，所述步骤(6)中对图像进行重复训练次数为1×106次。
优选地，所述步骤(7)中，微调部分用未标记的真实带雾图像作为输入，依据暗通道DCP和亮通道BCP先验定义损失函数，作为无监督训练的指导方式
其中，t和
分别表示来自DCP和本网络的传输估计，L是拉普拉斯矩阵，λ是一个超参数；前半部分为图像做铺垫，后半部分提高了暗通道方法的逼真度。
虽然
极大地提高了模型在真实雾天图像上的性能，但其结果相较于预期会偏暗。因此，还要引入亮通道先验：
其中，t和
分别表示来自DCP和本网络的传输估计；
对于所有损失函数：
其中，λd和λb是权衡权重。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于深度学习的针对真实带雾图像的去雾装置。该装置包括：
图像大小处理模块，其配置来对训练集中所有图像的大小进行处理；
特征提取模块，其配置来输入一个模糊图像，对其进行特征提取；
图像输入模块，其配置来将图像输入到3个跳跃连接的网络结构中；
特征融合模块，其配置来利用特征注意力模块将网络输出的特征融合；
训练模块，其配置来将特征输入到残差学习模块，重复训练；
微调模块，其配置来用物理先验知识作为指导，训练未标记的真实带雾图像；
输出模块，其配置来融合特征，输出恢复后的清晰图像。
本发明提出了一种基于深度学习的针对真实带雾图像的去雾方法，在其中，利用特征注意力融合机制忽略了图像中不重要的信息，提升了网络的性能；利用真实带雾图像以无监督的方式对模型进行微调，对结果进一步优化。该发明不需借助相应的场景的深度信息，可实时所得图像进行去雾处理，具有广阔的应用前景。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (10)
1.基于深度学习的针对真实带雾图像的去雾方法，其特征在于：其包括以下步骤：
(1)对训练集中所有图像的大小进行处理；
(2)输入一个模糊图像，对其进行特征提取；
(3)图像再被输入到3个跳跃连接的网络结构中；
(4)利用特征注意力模块将网络输出的特征融合；
(5)将特征输入到残差学习模块；
(6)重复步骤(2)-(5)，对训练集中的图片分批次进行训练；
(7)在微调部分，用物理先验知识作为指导，训练未标记的真实带雾图像；
(8)融合特征，输出恢复后的清晰图像。
2.根据权利要求1所述的基于深度学习的针对真实带雾图像的去雾方法，其特征在于：所述步骤(1)中，对图像的大小进行处理为对图像进行裁剪，得到相同大小的图像。
3.根据权利要求2所述的基于深度学习的针对真实带雾图像的去雾方法，其特征在于：所述步骤(1)中，将图像裁剪为240×240的图像大小。
4.根据权利要求3所述的基于深度学习的针对真实带雾图像的去雾方法，其特征在于：所述步骤(2)中输入模糊图像，首先对其进行特征提取，通道数设置为16，卷积核大小设置为3×3。
5.根据权利要求4所述的基于深度学习的针对真实带雾图像的去雾方法，其特征在于：所述步骤(3)中3个跳跃连接的网络结构的每个结构都由19个基本块组成，每个基本块都由1个卷积层、一个ReLU层、一个特征注意力模块组成，其中ReLU函数为公式(1)：
f(x)＝max(0,x) (1)
其中，x为上一层的输出值，当x<0时取0，当x≥0时取x。
6.根据权利要求5所述的基于深度学习的针对真实带雾图像的去雾方法，其特征在于：所述步骤(4)中特征注意力模块，其通道注意力部分卷积核大小设置为1×1。
7.根据权利要求6所述的基于深度学习的针对真实带雾图像的去雾方法，其特征在于：所述步骤(4)中特征注意力模块包括：通道注意力模块CA和特征注意力模块PA；
CA卷积核大小设置为1×1，其包括一个全局平均池化层、两个卷积层和Sigmoid、ReLU激活函数，全局池化函数表达式为公式(2)
其中，Xc(i,j)表示第c个通道在(i,j)未知的值，H和W表示图像的高和宽，c表示颜色通道，Fc表示当前颜色通道的值，Hp表示全局池化函数，gc表示全局平均池化的输出；
Sigmoid函数为公式(3)：
PA卷积核大小设置为3×3，其由两个卷积层和Sigmoid、ReLU激活函数组成。
8.根据权利要求7所述的基于深度学习的针对真实带雾图像的去雾方法，其特征在于：所述步骤(6)中对图像进行重复训练次数为1×106次。
9.根据权利要求8所述的基于深度学习的针对真实带雾图像的去雾方法，其特征在于：所述步骤(7)中，微调部分用未标记的真实带雾图像作为输入，依据暗通道DCP和亮通道BCP先验定义损失函数，作为无监督训练的指导方式
其中，t和
分别表示来自DCP和本网络的传输估计，L是拉普拉斯矩阵，λ是一个超参数；
引入亮通道先验：
其中，t和
分别表示来自DCP和本网络的传输估计；
对于所有损失函数：
其中，λd和λb是权衡权重。
10.基于深度学习的针对真实带雾图像的去雾装置，其特征在于：其包括：
图像大小处理模块，其配置来对训练集中所有图像的大小进行处理；
特征提取模块，其配置来输入一个模糊图像，对其进行特征提取；
图像输入模块，其配置来将图像输入到3个跳跃连接的网络结构中；
特征融合模块，其配置来利用特征注意力模块将网络输出的特征融合；
训练模块，其配置来将特征输入到残差学习模块，重复训练；
微调模块，其配置来用物理先验知识作为指导，训练未标记的真实带雾图像；
输出模块，其配置来融合特征，输出恢复后的清晰图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210863800.0A CN115393203A (zh) | 2022-07-20 | 2022-07-20 | 基于深度学习的针对真实带雾图像的去雾方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210863800.0A CN115393203A (zh) | 2022-07-20 | 2022-07-20 | 基于深度学习的针对真实带雾图像的去雾方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393203A true CN115393203A (zh) | 2022-11-25 |
Family
ID=84116033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210863800.0A Pending CN115393203A (zh) | 2022-07-20 | 2022-07-20 | 基于深度学习的针对真实带雾图像的去雾方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393203A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310276A (zh) * | 2023-05-24 | 2023-06-23 | 泉州装备制造研究所 | 目标检测方法、装置、电子设备及存储介质 |
-
2022
- 2022-07-20 CN CN202210863800.0A patent/CN115393203A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310276A (zh) * | 2023-05-24 | 2023-06-23 | 泉州装备制造研究所 | 目标检测方法、装置、电子设备及存储介质 |
| CN116310276B (zh) * | 2023-05-24 | 2023-08-08 | 泉州装备制造研究所 | 目标检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110097129B (zh) | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 | |
| CN106600560B (zh) | 一种适用于行车记录仪的图像去雾方法 | |
| DE102018109965A1 (de) | Verfahren und Vorrichtung für intelligente Geländeidentifikation, fahrzeugmontiertes Endgerät und Fahrzeug | |
| CN106530257A (zh) | 一种基于暗通道先验模型的遥感图像去雾方法 | |
| CN107977942B (zh) | 一种基于多聚焦融合的单幅图像的复原方法 | |
| CN103955905A (zh) | 基于快速小波变换和加权图像融合的单幅图像去雾方法 | |
| KR101582779B1 (ko) | 영상의 파장 적응적 안개 제거 장치 및 방법 | |
| CN105631823A (zh) | 基于阈值分割优化的暗原色天空区域去雾方法 | |
| CN110288539A (zh) | 一种结合颜色空间移动与暗通道先验的水下图像清晰方法 | |
| CN104766286A (zh) | 基于无人驾驶汽车的图像去雾装置及去雾方法 | |
| CN115393203A (zh) | 基于深度学习的针对真实带雾图像的去雾方法及装置 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN106251296A (zh) | 一种图像去雾方法和系统 | |
| CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN116542864A (zh) | 一种基于全局和局部双分支网络无人机图像去雾方法 | |
| CN109118450A (zh) | 一种沙尘天气条件下的低质图像增强方法 | |
| CN116152778A (zh) | 一种红外与可见光图像融合增强的车辆检测方法及系统 | |
| KR101998027B1 (ko) | 악천후에서의 도로 객체 검출 기법 학습을 위한 안개 및 비 영상 합성 기법 및 시스템 | |
| CN112950521B (zh) | 一种图像去雾方法及生成器网络 | |
| CN114663352A (zh) | 一种输电线路缺陷高精度检测方法、系统及存储介质 | |
| CN116128768B (zh) | 一种带有去噪模块的无监督图像低照度增强方法 | |
| CN116310598B (zh) | 一种用于恶劣天气下的障碍物检测方法及装置 | |
| CN110111268B (zh) | 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置 | |
| CN110533619A (zh) | 一种基于暗通道先验的图像去雾改进方法 | |
| CN116229404A (zh) | 一种基于距离传感器的图像去雾优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |