CN113971666A - 基于深度目标检测的输电线路机巡影像自适应识别方法 - Google Patents

基于深度目标检测的输电线路机巡影像自适应识别方法 Download PDF

Info

Publication number
CN113971666A
CN113971666A CN202111275914.5A CN202111275914A CN113971666A CN 113971666 A CN113971666 A CN 113971666A CN 202111275914 A CN202111275914 A CN 202111275914A CN 113971666 A CN113971666 A CN 113971666A
Authority
CN
China
Prior art keywords
network
transmission line
power transmission
target
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111275914.5A
Other languages
English (en)
Inventor
辛明勇
徐长宝
王宇
林呈辉
高吉普
祝健杨
代奇迹
文屹
曾华荣
陈科羽
陈凤翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN202111275914.5A priority Critical patent/CN113971666A/zh
Publication of CN113971666A publication Critical patent/CN113971666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度目标检测的输电线路机巡影像自适应识别方法，首先利用FasterRCNN网络和YOLOv3网络在输电线路巡检图像数据集上进行训练，得到输电线路设备缺陷的特征提取模型；随后在模型中引入非极大值抑制判别器，对二个网络的特征提取结果进行分析最终得到巡检图片中缺陷的类型和位置；解决了现有技术对无人机巡线图片和视频识别需要花费较多的人力和时间，而且巡检图像背景复杂，容易造成巡视不到位等问题。

Description

基于深度目标检测的输电线路机巡影像自适应识别方法
技术领域
本发明涉及影像处理技术领域，尤其涉及一种基于深度目标检测的输电线路机巡影像自适应识别方法。
背景技术
随着输电线路的不断延伸，巡线工作量的增加与巡线人员不足的矛盾日益凸显。传统的人工巡检方式效率低下，难以适应山地、跨越河流等区域的输电线路巡检，不能形成结构化、精细化、智能化的巡线体系。近年来，无人机巡检以其效率高、能适应复杂环境、操作简便、成本低等众多优点引起了广泛关注，众多电力研究机构投入了大量人力物力进行无人机电力巡检的研究。通过搭载图像采集装置，无人机能够快速采集输电线路的图像和视频数据，大大减少巡检工作量，降低巡线的危险性。但目前只能人工判读大量的无人机巡线图片和视频，需要花费较多的人力和时间，而且巡检图像背景复杂，容易造成巡视不到位等问题。
发明内容
本发明为了解决上述技术问题，而提供一种基于深度目标检测的输电线路机巡影像自适应识别方法，以解决现有技术对无人机巡线图片和视频识别需要花费较多的人力和时间，而且巡检图像背景复杂，容易造成巡视不到位等问题。
本发明技术方案为：
一种基于深度目标检测的输电线路机巡影像自适应识别方法，首先利用FasterRCNN网络和YOLOv3网络在输电线路巡检图像数据集上进行训练，得到输电线路设备缺陷的特征提取模型；随后在模型中引入非极大值抑制判别器，对二个网络的特征提取结果进行分析最终得到巡检图片中缺陷的类型和位置。
所述Faster R-CNN网络由区域生成网络RPN和区域检测网络组成，两个网络通过共享卷积层形成一个二阶段的端到端检测网络。
FasterRCNN网络对巡检图像进行特征提取的方法为：
步骤1、FasterRCNN网络首先调整图片的尺寸，
步骤2、然后通过深度卷积层对输入的样本图片进行特征提取，得到一个特征金字塔图，
步骤3、将特征金字塔图输入RPN网络中进行区域提取，利用anchors机制和NMS算法得到包含目标的候选区域，
步骤4、将RPN网络产生的候选区域输入到检测网络中利用RoI池化层将不同尺寸的RoI下采样到固定尺寸；
步骤5、然后经过全连接层进行目标类别的判定和位置边界框的确定。
将特征金字塔图输入RPN网络中进行区域提取，利用anchors机制和NMS算法得到包含目标的候选区域的方法为：
步骤3.1、RPN网络通过在卷积层提取的特征图上以每一个像素点为中心以不同的尺度和长宽比形成K个预测框；
步骤3.2、将这些预测框输入网络进行目标与背景评分和边界框的界定，并基于评分使用非极大值抑制算法进行预测框的冗余性处理；
步骤3.3、将处理后的候选区域输入检测网络进行进一步的类别评分和边界框微调回归；
步骤3.4、然后将候选区域和实际目标区域对比计算网络的损失函数，并通过反向传播算法对网络中的参数进行梯度更新，直到网络收敛。
所述YOLO网络采用全卷积结构，利用全图的上下文信息进行回归，回归结果即目标框的类别和位置信息，YOLOv3网络直接设定预选锚框，通过对预选锚框进行回归调整最终得到目标检测结果。
YOLO网络对图片的处理方法为：对于任意一张机巡图片，首先将尺寸调整到608*608，并将图片划分为19*19个区域，并通过DarkNet-53卷积神经网络提取图片特征，得到输电线路巡检图片的深层特征图，随后将特征图传输到目标预测网络，通过上采样和跨层连接将不同层的特征信息进行融合，从而得到19*19、38*38、76*76三种尺度的预测结果。
所述目标预测网络根据缺陷大小自动选择不同尺度的预测结果，并通过回归调整候选锚框的中心位置及大小，使之能准确识别该缺陷，模型预测的输出结果为19*19*9、38*38*9、76*76*9的三个矩阵，分别对应不同尺度内每个区域的目标置信度、目标位置和目标类型。
所述在模型中引入非极大值抑制判别器，对二个网络的特征提取结果进行分析最终得到巡检图片中缺陷的类型和位置的方法为：采用极大值抑制方法对每一个尺度的预测结果进行处理，将预测相同目标的重复选框进行消除，最终得到巡检图片中实际包含的电力设备缺陷对应类型及位置。
本发明有益效果为：
1、自适应缺陷检测模型综合了FasterRCNN网络和YOLOv3模型的检测结果，增强了模型的特征提取能力，使得模型能够更大程度的适应目标尺寸和环境的变化，降低模型的漏检率。
2、自适应判别器对FasterRCNN模型和YOLOv3模型的检测结果进行二次判别，可以有效提高目标定位的准确性。
3、有效解决了输电线路巡检图像缺陷检测适应性差、检测精度低的问题,结合FasterRCNN和YOLOv3两个算法提取的特征，利用非极大值抑制判别器进行二次分析判断，增强了模型对于复杂环境的适应能力。实验表明，该方法在缺陷检测精度上远远超过现有的其他算法，对于复杂背景、光线变化等复杂条件具有更强的适应性。
解决了现有技术对无人机巡线图片和视频识别需要花费较多的人力和时间，而且巡检图像背景复杂，容易造成巡视不到位等问题。
附图说明
图1为本发明中FasterRCNN总体流程图；
图2为本发明中YOLOv3总体流程图。
具体实施方式
由图1和图2所示，一种基于深度目标检测的输电线路机巡影像自适应识别方法，其方法如下：首先利用FasterRCNN网络和YOLOv3网络在输电线路巡检图像数据集上进行训练，得到输电线路设备缺陷的特征提取模型；随后在模型中引入非极大值抑制判别器，对两个网络的特征提取结果进行分析综合，最终得到巡检图片中缺陷的类型和位置。所述Faster R-CNN网络由区域生成网络RPN和区域检测网络组成，两个网络通过共享卷积层形成一个二阶段的端到端检测网络，该网络首先对于一张输入图片，将图片的尺寸调整到合适的尺寸，防止因为图片尺寸过大导致网络过载而崩溃，然后通过深度卷积层对输入的样本图片进行特征提取，得到一个深层且具有丰富语义信息的特征金字塔图，然后将该特征图输入RPN网络中进行区域提取，利用anchors机制和NMS算法得到包含目标的候选区域，然后将RPN网络产生的候选区域输入到检测网络中利用RoI池化层将不同尺寸的RoI下采样到固定尺寸，然后经过全连接层进行目标类别的判定和位置边界框的确定，FasterRCNN网络的候选区域生成主要由RPN网络实现。RPN网络通过在卷积层提取的特征图上以每一个像素点为中心以不同的尺度和长宽比形成K（本文K取2000）个预测框，然后将这些预测框输入网络进行目标与背景评分和边界框的界定，并基于评分使用非极大值抑制算法进行预测框的冗余性处理，并将处理后的候选区域输入检测网络进行进一步的类别评分和边界框微调回归，然后和实际目标区域对比计算网络的损失函数，并通过反向传播算法对网络中的参数进行梯度更新，直到网络收敛。所述YOLO网络的核心思想是采用全卷积结构，利用全图的上下文信息进行回归，其回归结果即目标框的类别和位置信息，YOLOv3网络抛弃了区域搜索的环节，直接设定预选锚框，通过对预选锚框进行回归调整，最终得到目标检测结果，该网络对于任意一张机巡图片，首先将尺寸调整到608*608，并将图片划分为19*19个区域，并通过DarkNet-53卷积神经网络提取图片特征，得到输电线路巡检图片的深层特征图，随后将特征图传输到目标预测网络，通过上采样和跨层连接将不同层的特征信息进行融合，从而得到19*19、38*38、76*76三种尺度的预测结果，对于每一个区域，如果一个电力设备缺陷的中心落在这个区域内，则该区域负责预测这个缺陷。在目标预测网络中，根据缺陷大小自动选择不同尺度的预测结果，并通过回归调整候选锚框的中心位置及大小，使之能准确识别该缺陷，模型预测的输出结果为19*19*9、38*38*9、76*76*9的三个矩阵，分别对应不同尺度内每个区域的目标置信度、目标位置和目标类型，最后，模型采用极大值抑制方法对每一个尺度的预测结果进行处理，将预测相同目标的重复选框进行消除，最终得到巡检图片中实际包含的电力设备缺陷对应类型及位置。
本方法结合FasterRCNN和YOLOv3两个算法提取的特征，利用非极大值抑制判别器进行二次分析判断，增强了模型对于复杂环境的适应能力。实验表明，该方法在缺陷检测精度上远远超过现有的其他算法，对于复杂背景、光线变化等复杂条件具有更强的适应性。

Claims (8)

1.一种基于深度目标检测的输电线路机巡影像自适应识别方法，其特征在于：首先利用FasterRCNN网络和YOLOv3网络在输电线路巡检图像数据集上进行训练，得到输电线路设备缺陷的特征提取模型；随后在模型中引入非极大值抑制判别器，对二个网络的特征提取结果进行分析最终得到巡检图片中缺陷的类型和位置。
2.根据权利要求2所述的一种基于深度目标检测的输电线路机巡影像自适应识别方法，其特征在于：所述Faster R-CNN网络由区域生成网络RPN和区域检测网络组成，两个网络通过共享卷积层形成一个二阶段的端到端检测网络。
3.根据权利要求2所述的一种基于深度目标检测的输电线路机巡影像自适应识别方法，其特征在于：FasterRCNN网络对巡检图像进行特征提取的方法为：
步骤1、FasterRCNN网络首先调整图片的尺寸，
步骤2、然后通过深度卷积层对输入的样本图片进行特征提取，得到一个特征金字塔图，
步骤3、将特征金字塔图输入RPN网络中进行区域提取，利用anchors机制和NMS算法得到包含目标的候选区域，
步骤4、将RPN网络产生的候选区域输入到检测网络中利用RoI池化层将不同尺寸的RoI下采样到固定尺寸；
步骤5、然后经过全连接层进行目标类别的判定和位置边界框的确定。
4.根据权利要求3所述的一种基于深度目标检测的输电线路机巡影像自适应识别方法，其特征在于：将特征金字塔图输入RPN网络中进行区域提取，利用anchors机制和NMS算法得到包含目标的候选区域的方法为：
步骤3.1、RPN网络通过在卷积层提取的特征图上以每一个像素点为中心以不同的尺度和长宽比形成K个预测框；
步骤3.2、将这些预测框输入网络进行目标与背景评分和边界框的界定，并基于评分使用非极大值抑制算法进行预测框的冗余性处理；
步骤3.3、将处理后的候选区域输入检测网络进行进一步的类别评分和边界框微调回归；
步骤3.4、然后将候选区域和实际目标区域对比计算网络的损失函数，并通过反向传播算法对网络中的参数进行梯度更新，直到网络收敛。
5.根据权利要求1所述的一种基于深度目标检测的输电线路机巡影像自适应识别方法，其特征在于：所述YOLO网络采用全卷积结构，利用全图的上下文信息进行回归，回归结果即目标框的类别和位置信息，YOLOv3网络直接设定预选锚框，通过对预选锚框进行回归调整最终得到目标检测结果。
6.根据权利要求5所述的一种基于深度目标检测的输电线路机巡影像自适应识别方法，其特征在于：YOLO网络对图片的处理方法为：对于任意一张机巡图片，首先将尺寸调整到608*608，并将图片划分为19*19个区域，并通过DarkNet-53卷积神经网络提取图片特征，得到输电线路巡检图片的深层特征图，随后将特征图传输到目标预测网络，通过上采样和跨层连接将不同层的特征信息进行融合，从而得到19*19、38*38、76*76三种尺度的预测结果。
7.根据权利要求6所述的一种基于深度目标检测的输电线路机巡影像自适应识别方法，其特征在于：所述目标预测网络根据缺陷大小自动选择不同尺度的预测结果，并通过回归调整候选锚框的中心位置及大小，使之能准确识别该缺陷，模型预测的输出结果为19*19*9、38*38*9、76*76*9的三个矩阵，分别对应不同尺度内每个区域的目标置信度、目标位置和目标类型。
8.根据权利要求1所述的一种基于深度目标检测的输电线路机巡影像自适应识别方法，其特征在于：所述在模型中引入非极大值抑制判别器，对二个网络的特征提取结果进行分析最终得到巡检图片中缺陷的类型和位置的方法为：采用极大值抑制方法对每一个尺度的预测结果进行处理，将预测相同目标的重复选框进行消除，最终得到巡检图片中实际包含的电力设备缺陷对应类型及位置。
CN202111275914.5A 2021-10-29 2021-10-29 基于深度目标检测的输电线路机巡影像自适应识别方法 Pending CN113971666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111275914.5A CN113971666A (zh) 2021-10-29 2021-10-29 基于深度目标检测的输电线路机巡影像自适应识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111275914.5A CN113971666A (zh) 2021-10-29 2021-10-29 基于深度目标检测的输电线路机巡影像自适应识别方法

Publications (1)

Publication Number Publication Date
CN113971666A true CN113971666A (zh) 2022-01-25

Family

ID=79588995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111275914.5A Pending CN113971666A (zh) 2021-10-29 2021-10-29 基于深度目标检测的输电线路机巡影像自适应识别方法

Country Status (1)

Country Link
CN (1) CN113971666A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342607A (zh) * 2023-05-30 2023-06-27 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
CN116862244A (zh) * 2023-09-04 2023-10-10 广东鉴面智能科技有限公司 一种工业现场视觉ai分析与安全预警系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342607A (zh) * 2023-05-30 2023-06-27 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
CN116342607B (zh) * 2023-05-30 2023-08-08 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
CN116862244A (zh) * 2023-09-04 2023-10-10 广东鉴面智能科技有限公司 一种工业现场视觉ai分析与安全预警系统和方法
CN116862244B (zh) * 2023-09-04 2024-03-22 广东鉴面智能科技有限公司 一种工业现场视觉ai分析与安全预警系统和方法

Similar Documents

Publication Publication Date Title
CN111353413B (zh) 一种输电设备低漏报率缺陷识别方法
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN112381784B (zh) 一种基于多光谱图像的设备检测系统
CN112379231B (zh) 一种基于多光谱图像的设备检测方法及装置
CN111339882B (zh) 基于实例分割的输电线路隐患检测方法
CN112257609B (zh) 一种基于自适应关键点热图的车辆检测方法及装置
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN113392960B (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN110751209B (zh) 一种融合深度图像分类和检索的智能台风定强方法
CN113971666A (zh) 基于深度目标检测的输电线路机巡影像自适应识别方法
CN109801297B (zh) 一种基于卷积实现的图像全景分割预测优化方法
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN113034444A (zh) 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN114035606A (zh) 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质
CN114089786A (zh) 一种基于无人机视觉的沿山区公路自主巡检系统
CN115147383A (zh) 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法
CN115661932A (zh) 一种垂钓行为检测方法
CN112637550A (zh) 多路4k准实时拼接视频的ptz动目标跟踪方法
CN116665092A (zh) 基于ia-yolov7的污水悬浮物识别方法及系统
CN115546664A (zh) 一种基于级联网络的绝缘子自爆检测方法及系统
CN111507379A (zh) 基于深度学习的矿石自动识别与粗分拣系统
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination