CN112418229A - 一种基于深度学习的无人船海上场景图像实时分割方法 - Google Patents
一种基于深度学习的无人船海上场景图像实时分割方法 Download PDFInfo
- Publication number
- CN112418229A CN112418229A CN202011210846.XA CN202011210846A CN112418229A CN 112418229 A CN112418229 A CN 112418229A CN 202011210846 A CN202011210846 A CN 202011210846A CN 112418229 A CN112418229 A CN 112418229A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- network
- deep learning
- real
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的无人船海上场景图像实时分割方法,该方法包括以下步骤:步骤1,采集海上场景图像数据,采集到的图像数据按照设定比例分为训练集、验证集和测试集,对采集到的图像标记出分割点,并对图像进行数据增强和预处理;步骤2,建立卷积神经网络;步骤3,将训练集图像输入到卷积神经网路中,对网络进行训练,通过验证集评价网络效果并进行调节参数;步骤4,将测试集输入到训练好的网络中,实现对测试集图像的分割。与现有技术相比,本发明具有在保持精度的同时大大降低了网络的参数,使网络能够在移动设备终端也可以运行,并且神经网络运行速度快,能够达到实时分割的效果等优点。
Description
技术领域
本发明涉及图像处理技术,尤其是涉及一种基于深度学习的无人船海上场景图像实时分割方法。
背景技术
当前,随着深度学习的逐渐崛起,它在计算机视觉领域产生了广泛的应用。如图像分类、目标检测、语义分割、行为识别等领域。其中语义分割主要是对图像中的每一个像素点进行分类,从而实现计算机对图像的理解。近年来语义分割被应用于无人车、无人机、医疗影像设备中。
对于语义分割,目前的方法主要是收集图像多个尺度的特征,进行特征融合。并且对图像进行下采样操作,以达到提取图像高级语义特征的效果,如:PSPNet、DeepLab、SegNet等,这些网络的分割效果很好,但是效果很慢,并且网络参数巨大,无法在嵌入式设备中得到应用。如何来保证精度的前提下,寻找一种速度最快的网络结构成为需要解决的技术问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的无人船海上场景图像实时分割方法,该方法在保持精度的同时大大降低了网络的参数,使网络能够在移动设备终端也可以运行,并且神经网络运行速度快,能够达到实时分割的效果。
本发明的目的可以通过以下技术方案来实现:
根据本发明的一个方面,提供了一种基于深度学习的无人船海上场景图像实时分割方法,该方法包括以下步骤:
步骤1,采集海上场景图像数据,采集到的图像数据按照设定比例分为训练集、验证集和测试集,对采集到的图像标记出分割点,并对图像进行数据增强和预处理;
步骤2,建立卷积神经网络;
步骤3,将训练集图像输入到卷积神经网路中,对网络进行训练,通过验证集评价网络效果并进行调节参数;
步骤4,将测试集输入到训练好的网络中,实现对测试集图像的分割。
作为优选的技术方案,所述的步骤1具体包括以下步骤:
步骤1.1,采集的海上场景图像,图像包括沙滩、海水、船只、垃圾、小岛、灯塔和天空;
步骤1.2,按设定比例将图像分为训练集、验证集和测试集;
步骤1.3,对采集到的图像需要分割的像素点进行标注,并进行数据预处理和数据增强。
作为优选的技术方案,所述的设定比例为7:2:1。
作为优选的技术方案,所述的步骤2具体包括以下步骤:
建立的卷积神经网络采用编码-解码结构,其中编码结构模型包括5个模块,5个模块输入的通道数分别为3、8、16、32、64,输出通道数为8、16、32、64、128;每个模块由2个深度可分离卷积和1个scSE注意力机制组成;
解码结构模型包括4个模块,每个模块由2个深度可分离卷积组成,每个模块输入的通道分别为128、64、32、16,输出通道数为64、32、16、3。
作为优选的技术方案,所述的编码结构模型提取特征步骤为:
(1)接收特征图后,对特征图坐深度可分离卷积,即:对特征图中每个通道分别进行3x3卷积层,随后输出特征图所有通道一起进行1x1的卷积层,在经过一个ReLU激活函数和BN层,分别对特征进行非线性激活和批次归一化;
(2)在上述步骤中得到的输出特征图,重复一次上述的过程;
(3)将上一步得到的特征输入到scSE注意力机制中,通过注意力机制提取全局信息,在经过一个线性激活函数和BN层,输出特征图。
作为优选的技术方案,所述的解码结构模型的解码操作包括:
(1)将由编码结构得到的最终特征图通过上采样层进行2倍的上采样,然后与编码部分产生的大小相同的特征图进行叠加;
(2)将叠加后的上采样输入到深度可分离卷积中,即:每个通道分别进行3x3卷积层,随后输出特征图所有通道一起进行1x1的卷积层,在经过一个ReLU激活函数和BN层,分别对特征进行非线性激活和批次归一化;
(3)每个模块的操作都进行上述两步骤,最后将特征图恢复到原图大小。
作为优选的技术方案,所述的深度可分离卷积包括深度卷积层和点卷积层。
作为优选的技术方案,所述的scSE注意力机制可获得全局的特征信息,于解决传统卷积只可以获得局部信息。
作为优选的技术方案,所述的步骤3具体包括以下步骤:
步骤3.1,采用softmax分类器对神经网络得到的输出特征图进行分类;
步骤3.2,使用交叉熵损失函数与L2正则化,用来测预测的分割图和实际分割图之间的差距;
步骤3.3,用Adam优化算法来对损失函数进行优化,加快模型的收敛;
步骤3.4,训练集数据每轮训练后,就将验证集数据输入神经网络中,通过验证集数据得到的数据中取最好的验证结果,保存网络模型,并将其作为调参的依据。
作为优选的技术方案,所述的步骤4具体包括以下步骤:
用测试集数据来测试训练好的神经网络的效果,用于减少因为摄像头采集所产生的抖动误差;将图片按五个一组分组,求出平均的分割结果。
与现有技术相比,本发明基于深度学习的无人船海上场景实时语义分割方法的,能够用很少的参数获得较高的精确度,同时分割速度也比传统方法有很大的进步。并且能够在小型机器上运行,提升整个海上场景分割的能力。
附图说明
图1为本发明的流程图;
图2为本发明中的卷积神经网络的结构图;
图3为本发明中的scSE模块的结构。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
本发明一种基于深度学习的无人船海上场景实时分割方法,以提高语义分割的性能,提升整个海洋场景实时识别的性能
如图1所示,本发明的一种基于深度学习的无人船海上场景实时分割方法,包括如下步骤:
步骤1、采集海上场景图像数据,采集到的图像数据按照7:2:1比例分为训练集、验证集和测试集,对采集到的图像标记出分割点,并对图像进行数据增强和预处理;
步骤2、建立卷积神经网络;
步骤3、将训练集图像输入到卷积神经网路中,对网络进行训练,通过验证集评价网络效果并进行调节参数;
步骤4、将测试集输入到训练好的网络中,实现对测试集图像的分割。
所述的步骤2具体包括以下步骤:
建立的卷积神经网络采用编码-解码结构,其中编码结构模型包括5个模块,5个模块输入的通道数分别为3、8、16、32、64,输出通道数为8、16、32、64、128;每个模块由2个深度可分离卷积和1个scSE注意力机制组成;
解码结构模型包括4个模块,每个模块由2个深度可分离卷积组成,每个模块输入的通道分别为128、64、32、16,输出通道数为64、32、16、3。
所述的编码结构模型提取特征步骤为:
(1)接收特征图后,对特征图坐深度可分离卷积,即:对特征图中每个通道分别进行3x3卷积层,随后输出特征图所有通道一起进行1x1的卷积层,在经过一个ReLU激活函数和BN层,分别对特征进行非线性激活和批次归一化;
(2)在上述步骤中得到的输出特征图,重复一次上述的过程;
(3)将上一步得到的特征输入到scSE注意力机制中,通过注意力机制提取全局信息,在经过一个线性激活函数和BN层,输出特征图。
所述的解码结构模型的解码操作包括:
(1)将由编码结构得到的最终特征图通过上采样层进行2倍的上采样,然后与编码部分产生的大小相同的特征图进行叠加;
(2)将叠加后的上采样输入到深度可分离卷积中,即:每个通道分别进行3x3卷积层,随后输出特征图所有通道一起进行1x1的卷积层,在经过一个ReLU激活函数和BN层,分别对特征进行非线性激活和批次归一化;
(3)每个模块的操作都进行上述两步骤,最后将特征图恢复到原图大小。
所述的深度可分离卷积包括深度卷积层和点卷积层。所述的scSE注意力机制可获得全局的特征信息,于解决传统卷积只可以获得局部信息。
作为优选的技术方案,所述的步骤3具体包括以下步骤:
步骤3.1,采用softmax分类器对神经网络得到的输出特征图进行分类;
步骤3.2,使用交叉熵损失函数与L2正则化,用来测预测的分割图和实际分割图之间的差距;
步骤3.3,用Adam优化算法来对损失函数进行优化,加快模型的收敛;
步骤3.4,训练集数据每轮训练后,就将验证集数据输入神经网络中,通过验证集数据得到的数据中取最好的验证结果,保存网络模型,并将其作为调参的依据。
所述的步骤4具体包括以下步骤:
用测试集数据来测试训练好的神经网络的效果,用于减少因为摄像头采集所产生的抖动误差;将图片按五个一组分组,求出平均的分割结果。
为了更好本发明的一种基于深度学习的无人船海上场景实时分割方法,对网络原理进行说明,如图2所示:
网络基于U-Net架构,但是U-Net网络参数量很大,无法在小型终端中使用并且存分割速度慢,不能满足实时分割的需求。目前流行的轻量级网络框架有MobileNet、MobileNet V2、ShuffleNet v1、ShuffleNet V2。
对比发现直接在上述网络中进行语义分割,虽然可以实现实时语义分割,但是却无法保证高精度的要求。对此采用深度可分离卷积大大降低了传统卷积中大参数问题。
输入大小为DF×DF×M的特征图,输出特征图大小为DF×DF×N,卷积核大小为DK×DK传统卷积的计算量为:Dk×DK×M×N×DF×DF,采用深度可分离卷积计算量之和为:Dk×DK×M+M×N×DF×DF,而且使用深度可分离卷积可以增加神经网络深度,并且不用担心梯度消失问题,提取更高级别的特征。大大提高了网络的精确度。
在下采样每层模块的最后使用scSE模块,如图3所示。在传统的卷积神经网络中,卷积核智能提取局部特征,从而忽略全局特征,造成图像细节丢失,本文采用scSE模块则可以获取全局的信息,将全局信息融合在特征图中,提高网络精度。
本发明所述的基于深度学习的无人船海上场景实时语义分方法有几个关键的技术点:1)使用深度可分离卷积替换传统卷积,减少网络参数量,达到实时分割效果。2)加入scSE模块获取全局信息,提高分割精度。。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,该方法包括以下步骤:
步骤1,采集海上场景图像数据,采集到的图像数据按照设定比例分为训练集、验证集和测试集,对采集到的图像标记出分割点,并对图像进行数据增强和预处理;
步骤2,建立卷积神经网络;
步骤3,将训练集图像输入到卷积神经网路中,对网络进行训练,通过验证集评价网络效果并进行调节参数;
步骤4,将测试集输入到训练好的网络中,实现对测试集图像的分割。
2.根据权利要求1所述的一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,所述的步骤1具体包括以下步骤:
步骤1.1,采集的海上场景图像,图像包括沙滩、海水、船只、垃圾、小岛、灯塔和天空;
步骤1.2,按设定比例将图像分为训练集、验证集和测试集;
步骤1.3,对采集到的图像需要分割的像素点进行标注,并进行数据预处理和数据增强。
3.根据权利要求2所述的一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,所述的设定比例为7:2:1。
4.根据权利要求1所述的一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,所述的步骤2具体包括以下步骤:
建立的卷积神经网络采用编码-解码结构,其中编码结构模型包括5个模块,5个模块输入的通道数分别为3、8、16、32、64,输出通道数为8、16、32、64、128;每个模块由2个深度可分离卷积和1个scSE注意力机制组成;
解码结构模型包括4个模块,每个模块由2个深度可分离卷积组成,每个模块输入的通道分别为128、64、32、16,输出通道数为64、32、16、3。
5.根据权利要求4所述的一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,所述的编码结构模型提取特征步骤为:
(1)接收特征图后,对特征图坐深度可分离卷积,即:对特征图中每个通道分别进行3x3卷积层,随后输出特征图所有通道一起进行1x1的卷积层,在经过一个ReLU激活函数和BN层,分别对特征进行非线性激活和批次归一化;
(2)在上述步骤中得到的输出特征图,重复一次上述的过程;
(3)将上一步得到的特征输入到scSE注意力机制中,通过注意力机制提取全局信息,在经过一个线性激活函数和BN层,输出特征图。
6.根据权利要求4所述的一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,所述的解码结构模型的解码操作包括:
(1)将由编码结构得到的最终特征图通过上采样层进行2倍的上采样,然后与编码部分产生的大小相同的特征图进行叠加;
(2)将叠加后的上采样输入到深度可分离卷积中,即:每个通道分别进行3x3卷积层,随后输出特征图所有通道一起进行1x1的卷积层,在经过一个ReLU激活函数和BN层,分别对特征进行非线性激活和批次归一化;
(3)每个模块的操作都进行上述两步骤,最后将特征图恢复到原图大小。
7.根据权利要求5或6所述的一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,所述的深度可分离卷积包括深度卷积层和点卷积层。
8.根据权利要求5所述的一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,所述的scSE注意力机制可获得全局的特征信息,于解决传统卷积只可以获得局部信息。
9.根据权利要求1所述的一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,所述的步骤3具体包括以下步骤:
步骤3.1,采用softmax分类器对神经网络得到的输出特征图进行分类;
步骤3.2,使用交叉熵损失函数与L2正则化,用来测预测的分割图和实际分割图之间的差距;
步骤3.3,用Adam优化算法来对损失函数进行优化,加快模型的收敛;
步骤3.4,训练集数据每轮训练后,就将验证集数据输入神经网络中,通过验证集数据得到的数据中取最好的验证结果,保存网络模型,并将其作为调参的依据。
10.根据权利要求1所述的一种基于深度学习的无人船海上场景图像实时分割方法,其特征在于,所述的步骤4具体包括以下步骤:
用测试集数据来测试训练好的神经网络的效果;将图片按五个一组分组,求出平均的分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011210846.XA CN112418229A (zh) | 2020-11-03 | 2020-11-03 | 一种基于深度学习的无人船海上场景图像实时分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011210846.XA CN112418229A (zh) | 2020-11-03 | 2020-11-03 | 一种基于深度学习的无人船海上场景图像实时分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112418229A true CN112418229A (zh) | 2021-02-26 |
Family
ID=74827451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011210846.XA Pending CN112418229A (zh) | 2020-11-03 | 2020-11-03 | 一种基于深度学习的无人船海上场景图像实时分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112418229A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949612A (zh) * | 2021-04-22 | 2021-06-11 | 辽宁工程技术大学 | 一种基于无人机高分辨率遥感影像海岸带地物分类方法 |
CN115908442A (zh) * | 2023-01-06 | 2023-04-04 | 山东巍然智能科技有限公司 | 一种无人机海洋监测用图像全景分割方法及模型搭建方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084274A (zh) * | 2019-03-29 | 2019-08-02 | 南京邮电大学 | 实时图像语义分割方法及系统、可读存储介质和终端 |
CN110853038A (zh) * | 2019-10-15 | 2020-02-28 | 哈尔滨工程大学 | 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 |
CN111161272A (zh) * | 2019-12-31 | 2020-05-15 | 北京理工大学 | 一种基于生成对抗网络的胚胎组织分割方法 |
CN111353396A (zh) * | 2020-02-20 | 2020-06-30 | 江苏东印智慧工程技术研究院有限公司 | 一种基于SCSEOCUnet的混凝土裂缝分割方法 |
-
2020
- 2020-11-03 CN CN202011210846.XA patent/CN112418229A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084274A (zh) * | 2019-03-29 | 2019-08-02 | 南京邮电大学 | 实时图像语义分割方法及系统、可读存储介质和终端 |
CN110853038A (zh) * | 2019-10-15 | 2020-02-28 | 哈尔滨工程大学 | 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 |
CN111161272A (zh) * | 2019-12-31 | 2020-05-15 | 北京理工大学 | 一种基于生成对抗网络的胚胎组织分割方法 |
CN111353396A (zh) * | 2020-02-20 | 2020-06-30 | 江苏东印智慧工程技术研究院有限公司 | 一种基于SCSEOCUnet的混凝土裂缝分割方法 |
Non-Patent Citations (4)
Title |
---|
OLAF RONNEBERGER: ""U-Net: Convolutional Networks for Biomedical Image Segmentation"", 《ARXIV》 * |
刘媛媛等: "基于语义分割的复杂场景下的秸秆检测", 《光学精密工程》 * |
刘庆飞等: "基于深度可分离卷积的实时农业图像逐像素分类研究", 《中国农业科学》 * |
徐国整等: ""基于 HU-ResNet 的混凝土表观裂缝信息提取"", 《计算机工程》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949612A (zh) * | 2021-04-22 | 2021-06-11 | 辽宁工程技术大学 | 一种基于无人机高分辨率遥感影像海岸带地物分类方法 |
CN115908442A (zh) * | 2023-01-06 | 2023-04-04 | 山东巍然智能科技有限公司 | 一种无人机海洋监测用图像全景分割方法及模型搭建方法 |
CN115908442B (zh) * | 2023-01-06 | 2023-05-12 | 山东巍然智能科技有限公司 | 一种无人机海洋监测用图像全景分割方法及模型搭建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113936339B (zh) | 基于双通道交叉注意力机制的打架识别方法和装置 | |
CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
CN111768388B (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
CN111091130A (zh) | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 | |
CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
CN115457498A (zh) | 一种基于双注意力和密集连接的城市道路语义分割方法 | |
CN112560865B (zh) | 一种室外大场景下点云的语义分割方法 | |
CN115393396B (zh) | 一种基于掩码预训练的无人机目标跟踪方法 | |
CN116110036B (zh) | 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置 | |
CN113780132A (zh) | 一种基于卷积神经网络的车道线检测方法 | |
CN113591617B (zh) | 基于深度学习的水面小目标检测与分类方法 | |
CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
CN112418229A (zh) | 一种基于深度学习的无人船海上场景图像实时分割方法 | |
CN112241939A (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
CN114255456A (zh) | 基于注意力机制特征融合与增强的自然场景文本检测方法和系统 | |
CN116469100A (zh) | 一种基于Transformer的双波段图像语义分割方法 | |
CN116485867A (zh) | 一种面向自动驾驶的结构化场景深度估计方法 | |
CN109508639B (zh) | 基于多尺度带孔卷积神经网络的道路场景语义分割方法 | |
CN111027440A (zh) | 一种基于神经网络的人群异常行为检测装置和检测方法 | |
CN116883912A (zh) | 一种基于全局信息目标增强的红外弱小目标检测方法 | |
CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
CN116452900A (zh) | 一种基于轻量级神经网络的目标检测方法 | |
CN116630369A (zh) | 基于时空记忆网络的无人机目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |