CN116152674A - 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 - Google Patents
一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 Download PDFInfo
- Publication number
- CN116152674A CN116152674A CN202111409827.4A CN202111409827A CN116152674A CN 116152674 A CN116152674 A CN 116152674A CN 202111409827 A CN202111409827 A CN 202111409827A CN 116152674 A CN116152674 A CN 116152674A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- dam
- improved
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于改进U‑Net模型的大坝无人机影像裂缝智能识别方法，特别应用于大型特高拱坝的坝面裂缝检测。该方法包括：获取大坝无人机影像，并对影像进行预处理；对影像中的裂缝进行逐像素标注，构建大坝裂缝样本集，并分为训练集和测试集；构建改进的U‑Net裂缝提取模型；利用训练集对改进的U‑Net裂缝提取模型进行训练；将测试集输入训练好的模型中进行测试，对模型进行精度评估，并最终获得最优训练模型；利用最优模型进行大坝无人机影像裂缝检测。本发明方法构建的改进的U‑Net模型在原始U‑Net模型基础上增加了网络深度以提取更多有用的特征信息，有助于提高裂缝的提取精度；同时为了加快学习速度并防止梯度爆炸和梯度消失等问题，本发明在模型中每个卷积层后加上了一个BN层，并在每个BN层后又紧接了一个ReLU激活函数。
Description
技术领域
本发明涉及大坝裂缝检测和图像识别领域，具体涉及一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法。
背景技术
近年来，随着我国水利水电行业的不断发展，我国建造的大坝也越来越多，大坝作为我国水利建设中的重要组成部分，在发电、防洪抗旱、灌溉、通航运输等方面都发挥了巨大的作用。但是在长期服役过程中，由于受雨水和温度等因素的影响，拱坝混凝土会产生不同程度的缺陷，其中最为常见的就是裂缝。裂缝的存在会进一步导致大坝建筑的恶化和损坏，对大坝的安全运行造成严重影响。因此，定期对拱坝坝面混凝土进行检测，结合相关监测成果进行综合分析，对掌握拱坝运行状态、确保拱坝安全运行至关重要。
传统的大坝坝面病害检测主要依靠人工高空悬垂作业，通过测绘专用仪器对大坝建筑的各个部位进行检测和记录，这种方法存在工作强度高、周期长、成本高、安全性差且效率低、准确性差等缺点。
目前，裂缝检测的方式主要分为两大类：传统图像处理方法和基于深度学习的裂缝检测方法。传统的图像处理方法如：赵芳等人针对传统的Canny算子在道路裂缝检测中存在的噪声和边缘检测精度问题，提出了一种将多尺度形态学和双边滤波结合的改进的Canny边缘检测方法；韦春桃等人针对路面各种噪声导致错误识别以及细小裂缝与微灰度差异裂缝检测困难的问题，提出了一种基于自适应阈值的裂缝自动检测方法。图像处理方法解决了人工检测的问题，但仍存在精度不高、鲁棒性差等问题。随着人工智能的迅速发展，越来越多的人将深度学习技术应用到裂缝检测中。Zhang L.等人采用深度卷积神经网络对路面裂缝进行自动检测，该方法在强噪声环境下具有很好的识别效果，但在弱噪声环境下表现一般；陈波等人针对常规裂纹检测方法难适用于坝面裂纹检测的问题，提出了一种基于全卷积神经网络的裂纹检测方法；毛莺池等人针对Faster R-CNN算法对多目标、小目标检测精度不高的问题提出了一种基于FasterR-CNN的多任务增强大坝裂缝图像检测方法，但该方法不能检测出图像中全部的裂缝。
发明内容
本发明在以上研究的基础上，提出了一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，为大坝裂缝识别提供了一种有效的方法。
本发明提供一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，包括以下步骤：
步骤1，获取大坝无人机影像，并对影像进行预处理操作；
步骤2，对大坝影像中的裂缝进行逐像素标注，构建大坝裂缝样本集，并分为训练集和测试集；
步骤3，构建改进的U-Net裂缝提取模型；
步骤4，利用训练集对改进的U-Net裂缝提取模型进行训练；
步骤5，将测试集输入训练好的模型中进行测试，对模型进行精度评估，并最终获得最优训练模型；
步骤6，利用最优模型对待检测的大坝无人机影像进行裂缝检测。
优选地，所述步骤1中，影像预处理主要包括影像去噪、影像匀光和影像增强等，由于环境和成像的复杂性，大坝无人机影像可能存在信噪比较低、光照不均匀等问题，因此需要对无人机影像进行去噪、匀光和增强等预处理操作。
优选地，所述步骤2中，大坝裂缝样本集包括样本原始影像和样本标签影像，大小均为512×512，且样本原始影像和样本标签影像应该严格一一对应；标签影像是通过对原始影像进行逐像素标注而获得的，标注完成后再通过对原始影像和其对应的标签影像进行同步裁剪就可以获得一一对应的样本影像和样本标签影像；其中样本原始影像的通道数为3，样本标签影像为只包括白色裂缝和黑色背景两部分的单通道影像；最终将样本集按一定比例分为训练集和测试集。
优选地，所述步骤3中，改进的U-Net模型在原始U-Net模型的基础上增加了8个卷积核大小为3×3的卷积层、2个2×2的池化层、2个2×2的上采样层以及2个跳层连接结构，所以改进后的U-Net模型总共有26个3×3卷积层、1个1×1卷积层、6个2×2池化层和6个2×2上采样层以及6个跳层结构。同时，为了加快学习速度并防止产生梯度爆炸和梯度消失的问题，本发明在改进的U-Net模型中每个卷积层后都加上了一个BN层，并在每个BN层后又紧接了一个ReLU激活函数。在该模型的网络末端，采用了一个大小为1×1的卷积核进行卷积操作，其目的是将特征图的通道数变为1，以此达到最终提取裂缝的目的。
优选地，所述步骤4中，训练改进的U-Net裂缝模型具体包括：采用Adam优化器进行训练，在训练前设置好训练历元数epoch、批处理大小batch-size和初始学习率等参数，训练过程中使用二值交叉熵函数作为模型的损失函数，其中二值交叉熵函数定义见公式(1)；
优选地，所述步骤5，对训练好的模型进行精度评估时，采用精确率(Precision,P)、召回率(Recall,R)、F1分数(F1 Score,F1)和交并比(Intersection over Union,IoU)作为精度评价指标。其计算公式依次见公式(2)-(5)；
本发明公开了一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，特别应用于大型特高拱坝的坝面裂缝检测。该方法包括：获取大坝无人机影像，并对影像进行预处理；对影像中的裂缝进行逐像素标注，构建大坝裂缝样本集，并分为训练集和测试集；构建改进的U-Net裂缝提取模型；利用训练集对改进的U-Net裂缝提取模型进行训练；将测试集输入训练好的模型中进行测试，对模型进行精度评估，并最终获得最优训练模型；利用最优模型进行大坝无人机影像裂缝检测。本发明方法构建的改进的U-Net模型在原始U-Net模型基础上增加了网络深度以提取更多有用的特征信息，有助于提高裂缝的提取精度；同时为了加快学习速度并防止梯度爆炸和梯度消失等问题，本发明在模型中每个卷积层后加上了一个BN层，并在每个BN层后又紧接了一个ReLU激活函数。
附图说明
图1是本发明实施例提供的一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法的流程图；
图2是本发明实施例提供的一种改进的U-Net网络模型结构图。
具体实施方式
本发明公开了一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，特别应用于大型特高拱坝的坝面裂缝检测。该方法包括：获取大坝无人机影像，并对影像进行预处理；对影像中的裂缝进行逐像素标注，构建大坝裂缝样本集，并分为训练集和测试集；构建改进的U-Net裂缝提取模型；利用训练集对改进的U-Net裂缝提取模型进行训练；将测试集输入训练好的模型中进行测试，对模型进行精度评估，并最终获得最优训练模型；利用最优模型进行大坝无人机影像裂缝检测。本发明方法构建的改进的U-Net模型在原始U-Net模型基础上增加了网络深度以提取更多有用的特征信息，有助于提高裂缝的提取精度；同时为了加快学习速度并防止梯度爆炸和梯度消失等问题，本发明在模型中每个卷积层后加上了一个BN层，并在每个BN层后又紧接了一个ReLU激活函数。
本发明提出基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，并成功应用于云南省小湾水电站特高拱坝下游坝面的裂缝检测，有助于及时排查出拱坝坝面的安全隐患，为小湾水电站的安全稳定运营提供有力保障。本发明技术方案可采用计算机软件方式支持自动化运行流程。下面将结合本发明实施例和附图对本发明的技术方案进行详细地描述。
参见图1，本发明实施例提供了一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，具体步骤包括：
步骤1，获取大坝无人机影像，并对影像进行预处理操作。本发明采用的影像数据来源于大疆无人机飞行采集的影像数据；由于环境和成像的复杂性，大坝无人机影像可能存在信噪比较低、光照不均匀等问题，因此需要对无人机影像进行影像去噪、影像匀光和影像增强等预处理操作。
步骤2，对大坝影像中的裂缝进行逐像素标注，构建大坝裂缝样本集，并分为训练集和测试集。大坝裂缝样本集包括样本原始影像和样本标签影像，大小均为512×512，且样本原始影像和样本标签影像应该严格一一对应；标签影像是通过对原始影像进行逐像素标注而获得的，标注完成后再通过对原始影像和其对应的标签影像进行同步裁剪就可以获得一一对应的样本影像和样本标签影像；其中样本原始影像的通道数为3，样本标签影像为只包括白色裂缝和黑色背景两部分的单通道影像；最终将样本集按8:2的比例分为训练集和测试集。
影像裁剪包括规则格网裁剪、滑动窗口裁剪和随机窗口裁剪等方式。本发明实施例采用的是规则格网裁剪，即规则地按512×512窗口大小对原始影像和对应的标签影像进行同步裁剪，但是由于裂缝所占比例很小，裁剪后的很多影像上可能不存在裂缝，因此需要对裁剪的样本标签影像(512×512)进行如下判断：若该幅标签影像中裂缝像元数大于指定阈值则保存裁剪后的样本，否则不保存。
为了获得更多数量的样本，可以对通过人工标注获得的样本集进行图像增强操作，具体增强方式包括平移、镜像和不同角度的旋转等。
步骤3，构建改进的U-Net裂缝提取模型。参见图2，改进的U-Net模型在原始U-Net模型的基础上增加了8个卷积核大小为3×3的卷积层、2个2×2的池化层、2个2×2的上采样层以及2个跳层连接结构，所以改进后的U-Net模型总共有26个3×3卷积层、1个1×1卷积层、6个2×2池化层和6个2×2上采样层以及6个跳层结构。同时，为了加快学习速度并防止产生梯度爆炸和梯度消失的问题，本发明在改进的U-Net模型中每个卷积层后都加上了一个BN层，并在每个BN层后又紧接了一个ReLU激活函数。在该模型的网络末端，采用了一个大小为1×1的卷积核进行卷积操作，其目的是将特征图的通道数变为1，以此达到最终提取裂缝的目的。
步骤4，利用训练集对改进的U-Net裂缝提取模型进行训练。在本发明实施例中，我们采用Adam优化器进行模型训练，训练历元数epoch设为300次，批处理大小batch-size设为16，初始学习率设为0.0001，并使用二值交叉熵函数作为训练过程中的损失函数，其中二值交叉熵函数定义如下：
其中，LBCE-loss表示损失值；N表示像素总数；i表示第i个像素；yi表示真实的概率分布，取值为0或1；p(yi)表示预测的概率，取值为0至1之间的小数。
步骤5，将测试集输入训练好的模型中进行测试，对模型进行精度评估，并最终获得最优训练模型。模型训练完成后，需要对训练结果进行评价，即利用训练好的模型对测试集中的样本原始影像进行裂缝检测，然后将检测的结果与测试集中的真实裂缝结果进行对比；为了更好地对训练好的模型进行定量化的精度评估，本发明实施例采用精确率(Precision,P)、召回率(Recall,R)、F1分数(F1 Score,F1)和交并比(Intersection overUnion,IoU)四种指标作为精度评价指标。其计算公式依次如下：
其中，TP代表真实结果为正样本(裂缝)且预测结果也为正样本的像元数，即预测正确的正样本数目；TN代表真实结果为负样本(背景)且预测结果也为负样本的像元数，即预测正确的负样本数目；FP代表真实结果为负样本但预测结果为正样本的像元数，即错分数；FN代表真实结果为正样本但预测结果为负样本的像元数，即漏分数。
通过不断的训练和模型评价，最终训练出一个最优模型。
步骤6，利用最优模型对待检测的大坝无人机影像进行裂缝检测。得到最优模型后，以后每次只需要将待检测的无人机影像输入该模型就可以进行裂缝的自动化检测了。
本发明公开了一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，特别应用于大型特高拱坝的坝面裂缝检测。该方法包括：获取大坝无人机影像，并对影像进行预处理；对影像中的裂缝进行逐像素标注，构建大坝裂缝样本集，并分为训练集和测试集；构建改进的U-Net裂缝提取模型；利用训练集对改进的U-Net裂缝提取模型进行训练；将测试集输入训练好的模型中进行测试，对模型进行精度评估，并最终获得最优训练模型；利用最优模型进行大坝无人机影像裂缝检测。本发明方法构建的改进的U-Net模型在原始U-Net模型基础上增加了网络深度以提取更多有用的特征信息，有助于提高裂缝的提取精度；同时为了加快学习速度并防止梯度爆炸和梯度消失等问题，本发明在模型中每个卷积层后加上了一个BN层，并在每个BN层后又紧接了一个ReLU激活函数。
基于本发明，可以完成大型特高拱坝裂缝的智能识别，有助于及时排查出拱坝坝面的安全隐患，为小湾水电站的安全稳定运营提供有力保障。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，其特征在于：包括以下步骤，
步骤1，获取大坝无人机影像，并对影像进行预处理操作；
步骤2，对大坝影像中的裂缝进行逐像素标注，构建大坝裂缝样本集，并分为训练集和测试集；
步骤3，构建改进的U-Net裂缝提取模型；
步骤4，利用训练集对改进的U-Net裂缝提取模型进行训练；
步骤5，将测试集输入训练好的模型中进行测试，对模型进行精度评估，并最终获得最优训练模型；
步骤6，利用最优模型对待检测的大坝无人机影像进行裂缝检测。
2.根据权利要求1所述的基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，其特征在于：
所述步骤1中，影像预处理主要包括影像去噪、影像匀光和影像增强等，由于环境和成像的复杂性，大坝无人机影像可能存在信噪比较低、光照不均匀等问题，因此需要对无人机影像进行去噪、匀光和增强等预处理操作。
3.根据权利要求1所述的基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，其特征在于：
所述步骤2中，大坝裂缝样本集包括样本原始影像和样本标签影像，大小均为512×512，且样本原始影像和样本标签影像应该严格一一对应；标签影像是通过对原始影像进行逐像素标注而获得的，标注完成后再通过对原始影像和其对应的标签影像进行同步裁剪就可以获得一一对应的样本影像和样本标签影像；其中样本原始影像的通道数为3，样本标签影像为只包括白色裂缝和黑色背景两部分的单通道影像；最终将样本集按一定比例分为训练集和测试集。
4.根据权利要求1所述的基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，其特征在于：
所述步骤3中，改进的U-Net模型在原始U-Net模型的基础上增加了8个卷积核大小为3×3的卷积层、2个2×2的池化层、2个2×2的上采样层以及2个跳层连接结构，所以改进后的U-Net模型总共有26个3×3卷积层、1个1×1卷积层、6个2×2池化层和6个2×2上采样层以及6个跳层结构。同时，为了加快学习速度并防止产生梯度爆炸和梯度消失的问题，本发明在改进的U-Net模型中每个卷积层后都加上了一个BN层，并在每个BN层后又紧接了一个ReLU激活函数。在该模型的网络末端，采用了一个大小为1×1的卷积核进行卷积操作，其目的是将特征图的通道数变为1，以此达到最终提取裂缝的目的。
5.根据权利要求1所述的基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，其特征在于：
所述步骤4中，训练改进的U-Net裂缝提取模型具体包括：设置好训练历元数、批处理大小和初始学习率等参数，采用Adam优化器进行训练，训练过程中使用二值交叉熵函数作为模型的损失函数，其中二值交叉熵函数定义如下：
其中，LBCE-loss表示损失值；N表示像素总数；i表示第i个像素；yi表示真实的概率分布，取值为0或1；p(yi)表示预测的概率，取值为0至1之间的小数。
6.根据权利要求1所述的基于改进U-Net模型的大坝无人机影像裂缝智能识别方法，其特征在于：所述步骤5中，对训练好的模型进行精度评估时，采用精确率(Precision,P)、召回率(Recall,R)、F1分数(F1 Score,F1)和交并比(Intersection over Union,IoU)作为精度评价指标。其计算公式依次如下：
其中，TP代表真实结果为正样本(裂缝)且预测结果也为正样本的像元数，即预测正确的正样本数；TN代表真实结果为负样本(背景)且预测结果也为负样本的像元数，即预测正确的负样本数；FP代表真实结果为负样本但预测结果为正样本的像元数；FN代表真实结果为正样本但预测结果为负样本的像元数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111409827.4A CN116152674A (zh) | 2021-11-20 | 2021-11-20 | 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111409827.4A CN116152674A (zh) | 2021-11-20 | 2021-11-20 | 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152674A true CN116152674A (zh) | 2023-05-23 |
Family
ID=86356592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111409827.4A Pending CN116152674A (zh) | 2021-11-20 | 2021-11-20 | 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152674A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580328A (zh) * | 2023-07-12 | 2023-08-11 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
-
2021
- 2021-11-20 CN CN202111409827.4A patent/CN116152674A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580328A (zh) * | 2023-07-12 | 2023-08-11 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
| CN116580328B (zh) * | 2023-07-12 | 2023-09-19 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114998852A (zh) | 一种基于深度学习的公路路面病害智能检测方法 | |
| CN110598693A (zh) | 一种基于Faster-RCNN的船牌识别方法 | |
| CN110717464B (zh) | 一种基于雷达数据的铁路路基病害智能识别方法 | |
| CN106528417A (zh) | 软件缺陷智能检测方法和系统 | |
| US20220315243A1 (en) | Method for identification and recognition of aircraft take-off and landing runway based on pspnet network | |
| CN111767874B (zh) | 一种基于深度学习的路面病害检测方法 | |
| CN110660049A (zh) | 一种基于深度学习的轮胎缺陷检测方法 | |
| CN111860106A (zh) | 一种无监督的桥梁裂缝识别方法 | |
| Qiao et al. | A crack identification method for concrete structures using improved U-Net convolutional neural networks | |
| CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
| CN114429577B (zh) | 一种基于高置信标注策略的旗帜检测方法及系统及设备 | |
| CN112734729A (zh) | 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质 | |
| CN105469099B (zh) | 基于稀疏表示分类的路面裂缝检测和识别方法 | |
| CN110852318A (zh) | 一种排水管道缺陷精准定位方法及系统 | |
| CN116152674A (zh) | 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法 | |
| Yu | YOLO V5s-based deep learning approach for concrete cracks detection | |
| CN113159046A (zh) | 无砟道床异物检测方法及装置 | |
| CN115112669B (zh) | 一种基于小样本的路面无损检测识别方法 | |
| CN115100173B (zh) | 基于深度卷积神经网络的公路路面图像裂缝几何属性检测与裂缝识别方法 | |
| CN112132088B (zh) | 一种巡检点位漏巡识别方法 | |
| CN115330743A (zh) | 基于双光检测缺陷的方法及相应的系统 | |
| CN115082650A (zh) | 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法 | |
| CN114841980A (zh) | 基于巡线航拍图像的绝缘子缺陷检测方法及系统 | |
| CN110070520B (zh) | 基于深度神经网络的路面裂缝检测模型构建及检测方法 | |
| CN112990064A (zh) | 一种基于颜色分割与概率模型的表盘指针识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |