CN113052103A - 一种基于神经网络的电气设备缺陷检测方法及装置 - Google Patents
一种基于神经网络的电气设备缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN113052103A CN113052103A CN202110352440.3A CN202110352440A CN113052103A CN 113052103 A CN113052103 A CN 113052103A CN 202110352440 A CN202110352440 A CN 202110352440A CN 113052103 A CN113052103 A CN 113052103A
- Authority
- CN
- China
- Prior art keywords
- defect
- network
- electrical equipment
- defect detection
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Abstract
本发明公开了一种基于神经网络的电气设备缺陷检测方法及装置,采集电气设备缺陷样本图片并做缺陷标注;划分训练集、验证集及测试集;采用基于ResNet50网络框架及FPN金字塔结构的Faster R‑CNN检测算法进行特征提取,并结合交并比的均值及标准差进行自适应样本选择,以搭建缺陷检测网络模型,利用训练集进行目标检测训练,得到初代缺陷检测网络模型;利用验证集测试调整参数优化得到最终模型;利用最终模型对待测的电气设备缺陷测试集图片进行处理。本发明能够实现电气设备缺陷的自动检测识别,具有良好的鲁棒性及较高的准确率,并且稳定性好、抗干扰能力强、通用性高,能够很好地适用于电气设备智能巡检。
Description
技术领域
本发明涉及图像检测技术领域,尤其涉及一种基于神经网络算法的电气设备缺陷检测方法及装置。
背景技术
变电站作为电网的重要组成部分,是承担电能转换和再次分配任务的关键节点,其设备运行状态是决定电网能否安全运行的关键因素之一。然而,由于变电站设备常年暴露在自然环境中,长期遭受强电场、机械应力、污秽及温湿度等恶劣环境的侵蚀,通常会出现很多缺陷,将极大地威胁电网安全。通常,变电站内的设备缺陷主要包括表计损坏、绝缘子破裂、变压器呼吸器破损、硅胶变色、油位异常等。目前,我国的变电站设备巡检还主要以传统的人工巡检方式为主,存在地理位置和环境因素复杂、人力投入和管理成本高等诸多弊端。在电力行业迅猛发展的当下,变电站设备运维巡检工作面临着工作量激增与人员相对短缺的突出矛盾,迫切需要提出一种高效准确的变电站设备缺陷图片检测方法,实现无人智能化运维管控,为变电站巡检工作提质增效。近年来,随着人工智能技术在各个行业,尤其是图像检测技术领域的广泛应用,也出现了通过人工智能算法进行设备缺陷检测的技术方案,但普遍存在缺陷检测的识别率和精确度不高等技术缺陷,漏检、误检现象时有发生。
发明内容
有鉴于此,本发明的目的在于提供一种基于神经网络的电气设备缺陷检测方法及装置,以解决现有检测方式生成样本质量,以及缺陷目标识别率不高,导致电气设备缺陷漏检或误检,给电气设备正常使用带来极大安全隐患的技术问题。
为了实现上述发明目的,本发明具体提供了一种基于神经网络的电气设备缺陷检测方法的技术实现方案,基于神经网络的电气设备缺陷检测方法,包括以下步骤:
S1)采集电气设备缺陷样本图片;
S2)对步骤S1)采集到的电气设备缺陷样本图片进行缺陷标注,生成标签文件;
S3)将步骤S2)得到的电气设备缺陷样本图片数据集按比例划分为训练集、验证集和测试集;
S4)采用基于ResNet50网络框架及FPN金字塔结构的Faster R-CNN检测算法进行特征提取,并结合交并比的均值及标准差进行自适应样本选择,以搭建缺陷检测网络模型,并使用该模型对步骤S3)划分得到的训练集进行目标检测训练,由此得到初代缺陷检测网络模型;
S5)采用步骤S3)划分的验证集测试步骤S4)生成的初代缺陷检测网络模型,调整模型参数,比对测试结果,进而更新优化并得到最终的缺陷检测网络模型;
S6)利用最终得到的缺陷检测网络模型,对测试集中的待测图片进行处理,输出电气设备缺陷检测结果。
进一步的,在所述步骤S5)中,首先将训练集中的电气设备缺陷样本图片统一缩放至相同大小,再采用ImageNet公开数据集对初代缺陷检测网络模型进行预训练,得到初始化参数;然后,将检测对象的数据集投入缺陷检测网络模型中进行训练;训练迭代若干个周期,每个周期内所有样本完成在网络中一次完整的前向计算和反向传播过程;其中,缺陷检测网络模型网络参数采用随机梯度下降的优化策略,按照数据集的实际质量设置合适的初始学习率、动量项和权值衰减系数;在模型训练初期,采用热身方式来保持网络参数稳定,以避免造成振荡。
进一步的,所述步骤S4)包括以下过程:
S41)特征提取步骤:对输入的电气设备缺陷样本图片进行特征提取形成特征图,该特征图被共享于后续的区域建议获取步骤及兴趣区域池化步骤;
S42)区域建议获取步骤:以滑动窗方式在步骤S41)输出的特征图上进行遍历卷积,并针对每一个滑动窗的中心点在特征图上产生与之对应的锚点;然后以该锚点为中心,在原特征图上生成预先定义的不同尺度锚点框作为候选区域;候选区域送入两个全连接层,分别为分类全连接层及定位全连接层;分类全连接层进行二分类,判断候选区域为正样本或负样本;定位全连接层结合正样本区域建议,产生边框回归修正的偏移量,获得区域建议,并剔除小于设定值或超出边界的建议框;
S43)兴趣区域池化步骤:将步骤S41)中由电气设备缺陷样本图片形成的特征图与步骤S42)生成的区域建议信息进行综合,对区域建议的特征图进行兴趣区域池化,得到固定尺寸的特征矩阵;
S44)分类与回归步骤:对步骤S43)得到的特征矩阵做全连接,并进行类别概率计算完成分类,同时进行边框回归,获得检测框最终的位置坐标。
进一步的,在所述步骤S41)中,采用ResNet50网络框架及FPN金字塔结构提取特征并输出不同尺度的特征图。
进一步的,在所述步骤S41)中,电气设备缺陷样本图片输入ResNet50网络框架,得到不同尺度的特征图c2,c3,c4,c5并将其输出至FPN金字塔结构。所述FPN金字塔结构对ResNet50网络框架输出的不同尺度特征图c2,c3,c4,c5进行1×1卷积统一至256-d通道数,再依次对高层特征图进行2倍上采样,并与相邻层进行特征融合,得到特征图p2,p3,p4,p5。同时,还对特征图p5进行步长为2的下采样得到特征图p6,并将特征图p2,p3,p4,p5,p6作为区域建议获取步骤及兴趣区域池化步骤共享的多尺度特征图。
进一步的,在所述步骤S42)中,正样本及负样本的选取包括以下过程:
首先对于每一个真值框g在每个FPN金字塔结构的特征层找到若干个与真值框g中心点L2范式距离最近的锚点框,作为正样本候选框Cg。然后计算正样本候选框Cg与真值框g的交并比,记作Dg,并计算Dg的均值mg,以及Dg的标准差vg,得到用于筛选正负样本的阈值tg=mg+vg。最后定义正样本及负样本,对于每一个正样本候选框Cg,如果它与真值框g的交并比大于阈值tg,且中心点c坐标在真值框g以内,则将其归为正样本,反之归为负样本。
本发明还另外具体提供了一种基于神经网络的电气设备缺陷检测装置的技术实现方案,基于神经网络的电气设备缺陷检测装置,包括:
缺陷标注单元,对采集到的电气设备缺陷样本图片进行缺陷标注,生成标签文件;
数据划分单元,将所述缺陷标注单元输出的电气设备缺陷样本图片数据集按比例划分为训练集、验证集和测试集;
以及基于Faster R-CNN检测算法的缺陷检测网络模型,所述缺陷检测网络模型利用ResNet50网络框架及FPN金字塔结构实现特征提取,并结合基于交并比均值及标准差的自适应样本选择搭建。采用该缺陷检测网络模型对数据划分单元划分得到的训练集进行目标检测训练,由此生成初代的缺陷检测网络模型。
采用所述数据划分单元划分的验证集测试初代的缺陷检测网络模型,调整模型参数,比对测试结果,进而更新优化并得到最终的缺陷检测网络模型。采用最终得到的缺陷检测网络模型对测试集中的待测图片进行处理,输出电气设备缺陷检测结果。
进一步的,所述缺陷检测网络模型将训练集中的电气设备缺陷样本图片统一缩放至相同大小,再采用ImageNet公开数据集对初代的缺陷检测网络模型进行预训练,得到初始化参数;然后,将检测对象的数据集投入缺陷检测网络模型中进行训练。训练迭代若干个周期,每个周期内所有样本完成在网络中一次完整的前向计算和反向传播过程。其中,缺陷检测网络模型的网络参数采用随机梯度下降优化策略,按照数据集的实际质量设置合适的初始学习率、动量项和权值衰减系数。在缺陷检测网络模型的训练初期,采用热身方式来保持网络参数稳定,以避免造成振荡。
进一步的,所述缺陷检测网络模型包括:
骨干网络,对输入的电气设备缺陷样本图片进行特征提取形成特征图,该特征图被共享于后续的区域建议网络及兴趣区域池化层;
区域建议网络,以滑动窗方式在所述骨干网络输出的特征图上进行遍历卷积,并针对每一个滑动窗的中心点在特征图上产生与之对应的锚点;然后以该锚点为中心,在原特征图上生成预先定义的不同尺度锚点框作为候选区域;候选区域送入两个全连接层,分别为分类全连接层及定位全连接层;分类全连接层进行二分类,判断候选区域为正样本或负样本;定位全连接层结合正样本区域建议,产生边框回归修正的偏移量,获得区域建议,并剔除小于设定值或超出边界的建议框;
兴趣区域池化层,将所述骨干网络中由电气设备缺陷样本图片形成的特征图与区域建议网络生成的区域建议信息进行综合,对区域建议的特征图进行兴趣区域池化,得到固定尺寸的特征矩阵;
以及分类与回归网络,对所述兴趣区域池化层得到的特征矩阵做全连接,并进行类别概率计算完成分类,同时进行边框回归,获得检测框最终的位置坐标。
进一步的,所述骨干网络基于ResNet50网络框架及FPN金字塔结构,根据输入的电气设备缺陷样本图片提取特征并输出不同尺度的特征图。
进一步的,电气设备缺陷样本图片输入ResNet50网络框架,得到不同尺度的特征图c2,c3,c4,c5并将其输出至FPN金字塔结构。所述FPN金字塔结构对ResNet50网络框架输出的不同尺度特征图c2,c3,c4,c5进行1×1卷积统一至256-d通道数,再依次对高层特征图进行2倍上采样,并与相邻层进行特征融合,得到特征图p2,p3,p4,p5。同时,还对特征图p5进行步长为2的下采样得到特征图p6,并将特征图p2,p3,p4,p5,p6作为区域建议网络及兴趣区域池化层共享的多尺度特征图。
进一步的,所述区域建议网络对于每一个真值框g在每个FPN金字塔结构的特征层找到若干个与真值框g中心点L2范式距离最近的锚点框,作为正样本候选框Cg。然后计算正样本候选框Cg与真值框g的交并比,记作Dg,并计算Dg的均值mg,以及Dg的标准差vg,得到用于筛选正负样本的阈值tg=mg+vg。最后定义正样本及负样本,对于每一个正样本候选框Cg,如果它与真值框g的交并比大于阈值tg,且中心点c坐标在真值框g以内,则将其归为正样本,反之归为负样本。
通过实施上述本发明提供的基于神经网络的电气设备缺陷检测方法及装置的技术方案,具有如下有益效果:
(1)本发明基于神经网络的电气设备缺陷检测方法及装置,能够实现电气设备缺陷的自动检测识别,具有良好的鲁棒性及较高的准确率,并且具有稳定性好、抗干扰能力强、通用性高等优点,能够很好地适用于电气设备智能巡检;
(2)本发明基于神经网络的电气设备缺陷检测方法及装置,以ResNet50为主干网络,解决了神经网络深度增加时的模型饱和退化问题,且残差学习单元的设置能够显著提高模型的训练速度,增强训练效果;
(3)本发明基于神经网络的电气设备缺陷检测方法及装置,以FPN金字塔结构为分支网络,实现了图像浅层几何信息与深层语义信息的融合,提升了电气设备细节缺陷的检测效果,在不影响执行速度和参数规模的基础上,提高了检测网络的准确率,且具有较强的抗干扰能力;
(4)本发明基于神经网络的电气设备缺陷检测方法及装置,以自适应样本选择为采样方法,提高了样本选择的质量和效率,对于不同类别的目标检测对象具有较强的机动性和适应性,尤其适合工程实践中遇到的类间样本不均衡的敏感数据集。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的实施例。
图1是本发明基于神经网络的电气设备缺陷检测方法一种具体实施例的程序流程图;
图2是本发明基于神经网络的电气设备缺陷检测方法一种具体实施例中步骤S4)的程序流程图;
图3是本发明基于神经网络的电气设备缺陷检测装置一种具体实施例的系统结构框图;
图4是本发明基于神经网络的电气设备缺陷检测装置一种具体实施例中的Faster-RCNN检测算法流程示意图;
图5是本发明基于神经网络的电气设备缺陷检测装置一种具体实施例中基于ResNet50的残差学习单元的结构框图;
图6是本发明基于神经网络的电气设备缺陷检测装置一种具体实施例中FPN结构的原理示意图;
图7是本发明基于神经网络的电气设备缺陷检测方法一种具体实施例自适应样本选择示例效果对比示意图1;
图8是本发明基于神经网络的电气设备缺陷检测方法一种具体实施例自适应样本选择示例效果对比示意图2;
图9是本发明基于神经网络的电气设备缺陷检测装置一种具体实施例结合FasterR-CNN+FPN+ResNet50+自适应样本选择的系统结构框图;
图10是利用本发明基于神经网络的电气设备缺陷检测方法对电气设备缺陷进行检测的效果示意图1;
图11是利用本发明基于神经网络的电气设备缺陷检测方法对电气设备缺陷进行检测的效果示意图2;
图12是利用本发明基于神经网络的电气设备缺陷检测方法对电气设备缺陷进行检测的效果示意图3;
图13是利用本发明基于神经网络的电气设备缺陷检测方法对电气设备缺陷进行检测的效果示意图4;
图14是利用本发明基于神经网络的电气设备缺陷检测方法对电气设备缺陷进行检测的效果示意图5;
图15是利用本发明基于神经网络的电气设备缺陷检测方法对电气设备缺陷进行检测的效果示意图6;
图中:1-缺陷标注单元,2-数据划分单元,3-缺陷检测网络模型,31-骨干网络,32-区域建议网络,33-兴趣区域池化层,34-分类与回归网络,311-ResNet50网络框架,312-FPN金字塔结构。
具体实施方式
为了引用和清楚起见,将下文中使用的技术名词、简写或缩写记载如下:
xml:eXtensible Markup Language,可扩展标记语言的缩写;
Pascal VOC:一种公开数据集,该数据集的所有样本均以xml格式进行标注;
SGD:Stochastic Gradient Descent,随机梯度下降的简称;
IoU:Intersection over Union,交并比的简称。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如附图1至附图15所示,给出了本发明基于神经网络的电气设备缺陷检测方法及装置的具体实施例,下面结合附图和具体实施例对本发明作进一步说明。
下面以基于神经网络的电气设备缺陷检测方法及装置应用于变电站设备为例对本发明实施例的详细技术方案进行具体说明,本发明对各种类似于变电站的电气环境均具有通用性。
实施例1
如附图1所示,一种基于神经网络的电气设备缺陷检测方法的实施例,具体包括以下步骤:
S1)采集变电站(电气)设备缺陷样本图片形成图片库,在训练图片进入缺陷检测网络模型训练前进行缺陷标注;
S2)对步骤S1)采集到的变电站(电气)设备缺陷样本图片进行缺陷标注,生成符合Pascal VOC格式标准的xml标签文件,包括图像名称、图像路径、图像的宽/高度以及真值框g中心点位置与宽/高等信息;
S3)将步骤S2)得到的变电站(电气)设备缺陷样本图片数据集按比例划分为训练集、验证集和测试集;
例如:在本实施例中,参与实验的图片共有15151张,其中用于训练的图片有7272张,4849张作为交叉验证集,另外3030张作为测试集;
S4)采用基于ResNet50网络框架及FPN金字塔结构的Faster R-CNN检测算法(一种目标检测算法)进行特征提取,并结合交并比的均值及标准差进行自适应样本选择,以搭建缺陷检测网络模型,并使用该模型对步骤S3)划分得到的训练集进行目标检测训练,由此得到初代缺陷检测网络模型;
S5)采用步骤S3)划分的验证集测试步骤S4)生成的初代缺陷检测网络模型,调整模型参数,比对测试结果,进而更新优化并得到最终的缺陷检测网络模型;
S6)利用最终得到的缺陷检测网络模型,对测试集中的待测图片进行处理,输出电气设备缺陷检测结果。
其中,变电站(电气)设备缺陷样本图片是指人站在地面上,以电气设备作为目标物,正对目标物左右偏差15度及仰视30-45度的范围内采集获得的图片。
如附图2所示,步骤S4)进一步包括以下过程:
S41)特征提取步骤:对输入的变电站(电气)设备缺陷样本图片进行特征提取形成特征图,该特征图被共享于后续的区域建议获取步骤及兴趣区域池化步骤;
S42)区域建议获取步骤:以滑动窗的方式在步骤S41)输出的特征图上进行遍历卷积,并针对每一个滑动窗的中心点在特征图上产生与之对应的锚点;然后以该锚点为中心,在原特征图上生成预先定义的不同尺度锚点框作为候选区域;候选区域送入两个全连接层,分别为分类全连接层及定位全连接层;分类全连接层进行二分类,判断候选区域为正样本或负样本;定位全连接层结合正样本区域建议,产生边框回归修正的偏移量,获得区域建议,并剔除小于设定值或超出边界的建议框;
S43)兴趣区域池化步骤:将步骤S41)中由变电站(电气)设备缺陷样本图片形成的特征图与步骤S42)生成的区域建议信息进行综合,对区域建议的特征图进行兴趣区域池化,得到固定尺寸的特征矩阵;
S44)分类与回归步骤:对步骤S43)得到的特征矩阵做全连接,并进行类别概率计算完成分类,同时进行边框回归,获得检测框最终的位置坐标。
在步骤S41)中,变电站(电气)设备缺陷样本图片输入ResNet50网络框架及FPN金字塔结构的骨干网,即针对原Faster R-CNN算法结构中的骨干网络31,采用ResNet50网络框架和FPN特征金字塔结构,以提取特征并输出不同尺度的特征图。
在步骤S41)中,变电站(电气)设备缺陷样本图片输入ResNet50网络框架,得到不同尺度的特征图c2,c3,c4,c5并将其输出至FPN金字塔结构。FPN金字塔结构对ResNet50网络框架输出的不同尺度特征图c2,c3,c4,c5进行1×1卷积统一至256-d通道数,再依次对高层特征图进行2倍上采样,并与相邻层进行特征融合,得到特征图p2,p3,p4,p5。同时,还对特征图p5进行步长为2的下采样得到特征图p6,并将特征图p2,p3,p4,p5,p6作为区域建议获取步骤及兴趣区域池化步骤共享的多尺度特征图。
在步骤S42)中,正样本及负样本的选取(具体采用根据交并比的均值及标准差进行自适应样本选择的方法)进一步包括以下过程:
S421)生成正样本候选:对于每一个真值框g在每个FPN金字塔结构的特征层找到k个与真值框g中心点L2范式距离最近的锚点框,作为正样本候选框Cg,此步骤如果有L层金字塔,就会对每个真值框g生成k*L个正样本候选框Cg;
S422)计算统计特征:计算正样本候选框Cg与真值框g的交并比(IoU,Intersection over Union的简写),记作Dg,并计算Dg的均值mg,以及Dg的标准差vg,得到用于筛选正负样本的阈值tg=mg+vg;
S423)定义正负样本:对于每一个正样本候选框Cg,如果它与真值框g的交并比大于阈值tg,且中心点c坐标在真值框g以内,则将其归为正样本,反之归为负样本。
在上述自适应样本选取方法中,均值mg表示锚点框与真值框g的匹配度,mg越高,正样本候选框Cg的质量越高。方差vg指出金字塔特征层(pyramid level)中的哪一层适合输出预测锚点框,方差vg越高,金字塔特征层之间的锚点框质量差异越大。当某一层的Dg明显高于其他层,则说明该层具有匹配度最高的锚点框输出。将均值mg和标准差vg相加得到用于筛选正负样本的交并比阈值,tg反映所有锚点框的预测质量,如附图7和附图8所示。在本实施例采用的自适应样本选取方法中,筛选正负样本的依据利用到了统计特征,能够更有针对性地对每个真值框g生成对应的样本框。
在步骤S5)中,首先将训练集中的变电站(电气)设备缺陷样本图片统一缩放至相同大小,再采用ImageNet(一种图像处理数据集)公开数据集对初代缺陷检测网络模型进行预训练,得到初始化参数。然后,将检测对象的数据集投入缺陷检测网络模型中进行训练。训练共迭代12个周期,108600次,每个周期内所有样本完成在网络中一次完整的前向计算和反向传播过程。Batch size批尺寸设置为4,使用2个GPU(Graphics Processing Unit,图形处理器)并行训练,每个GPU处理2个样本。其中,缺陷检测网络模型网络参数采用SGD(Stochastic Gradient Descent)随机梯度下降的优化策略,按照数据集的实际质量设置合适的初始学习率、动量项和权值衰减系数。如:初始学习率设置为0.0025,动量项为0.9,权值衰减系数为1×10-4。在模型训练初期,采用热身方式(一种在神经网络训练初期,采用以较低学习率逐渐增大至较高学习率以实现网络训练的方式)来保持网络参数稳定,以避免造成振荡。热身阶段共设置500次迭代,其学习率从0.001逐渐增加到既定的初始学习率;在训练的第8个和第11个周期,将学习率调整为原来的0.1倍,用来保证训练结果的收敛。以上参数可视数据集质量,以及训练收敛速度自行调整。
利用训练好的缺陷检测网络模型在测试集上进行测试,在测试样本图片上框出预测框并标上预测的置信度,测试的典型结果如附图10至附图15所示,图中白色方框为检测框。计算测试结果的平均准确度MAP(Mean Average Precision,平均准确度均值)作为缺陷检测网络模型3的评估依据,调整训练的初始学习率、学习策略,以及检测置信度阈值,更新得到一个效果较好的缺陷检测网络模型3。
本实施例描述的基于神经网络的电气设备缺陷检测方法,首先对采集到的变电站(电气)设备缺陷样本图片进行标签标注及数据集划分。然后以Faster R-CNN检测算法、FPN金字塔结构以及ResNet50网络框架,并结合交并比的均值及标准差进行自适应样本选择,搭建缺陷检测网络模型。接着,利用训练集进行目标检测训练学习,得到初代缺陷检测网络模型,利用验证集测试调整参数优化得到适用于电气设备缺陷对象检测的最终模型。最后,将该缺陷检测网络模型作用至测试集中,利用最终模型对待测的电气设备缺陷测试集图片进行处理,预测得到设备缺陷在图片中的位置和置信度,以实现变电站(电气)设备检测测试。本实施例给出了一种结合Faster R-CNN+FPN+ResNet50+自适应样本选择的变电站(电气)设备缺陷检测方法,具体采用ResNet50网络框架和FPN特征金字塔结构,能够结合浅层轮廓信息与深层语义信息,从而建立特征表达能力更强的变电站(电气)设备缺陷检测网络模型。自适应样本选择方法从样本本身统计特征出发,提高了样本选择的质量和效率,对于不同类别的目标检测对象具有较强的机动性和适应性,尤其适合工程实践中遇到的类间样本不均衡的敏感数据集。本发明具体实施例描述的基于神经网络的电气设备缺陷检测方法能够实现变电站(电气)设备缺陷的自动检测识别,具有良好的鲁棒性及较高的准确率,并且具有稳定性好、抗干扰能力强、通用性高等优点,能够很好地适用于电气设备智能巡检。
实施例2
如附图3所示,一种基于神经网络的电气设备缺陷检测装置的实施例,具体包括:
缺陷标注单元1,对采集到的变电站(电气)设备缺陷样本图片进行缺陷标注,生成标签文件;
数据划分单元2,将缺陷标注单元1输出的变电站(电气)设备缺陷样本图片数据集按比例划分为训练集、验证集和测试集;
以及基于Faster R-CNN检测算法的缺陷检测网络模型3,缺陷检测网络模型3利用ResNet50网络框架311及FPN金字塔结构312实现特征提取,并结合基于交并比均值及标准差的自适应样本选择搭建。采用该缺陷检测网络模型3对数据划分单元2划分得到的训练集进行目标检测训练,由此生成初代的缺陷检测网络模型3。
采用数据划分单元2划分的验证集测试初代的缺陷检测网络模型3,调整模型参数,比对测试结果,进而更新优化并得到最终的缺陷检测网络模型3。采用最终得到的缺陷检测网络模型3对测试集中的待测图片进行处理,输出电气设备缺陷检测结果。
如附图4所示,缺陷检测网络模型3进一步包括:
骨干网络31,由若干卷积层和池化层组成,对输入的变电站(电气)设备缺陷样本图片进行特征提取形成特征图,该特征图被共享于后续的区域建议网络32及兴趣区域池化层33。
区域建议网络32,以滑动窗的方式在骨干网络31输出的特征图上进行遍历卷积,并针对每一个滑动窗的中心点在特征图上产生一个与之对应的锚点;然后以该锚点为中心,在原特征图上生成预先定义的不同尺度锚点框作为候选区域;候选区域送入两个全连接层,分别为分类全连接层及定位全连接层;分类全连接层进行二分类,判断候选区域为正样本或负样本;定位全连接层结合正样本区域建议,产生边框回归修正的偏移量,获得区域建议,并剔除小于设定值或超出边界的建议框。
兴趣区域池化层33,将骨干网络31中由变电站(电气)设备缺陷样本图片形成的特征图与区域建议网络32生成的区域建议信息进行综合,对区域建议的特征图进行兴趣区域池化,得到固定尺寸的特征矩阵送入全连接层。
以及分类与回归网络34,对兴趣区域池化层33得到的特征矩阵做全连接,并采用Softmax分类器进行类别概率计算完成分类,同时进行边框回归,获得检测框最终的位置坐标。
如附图9所示,骨干网络31进一步基于ResNet50网络框架311及FPN金字塔结构312,根据输入的变电站(电气)设备缺陷样本图片提取特征并输出不同尺度的特征图,即针对原Faster R-CNN算法结构中的骨干网络31,采用ResNet50网络框架和FPN特征金字塔结构。其中,ResNet50是一种网络结构,常用来作为骨干网络,完成提取特征的基础功能。其网络结构如下表1所示,每个模块均采用特征图的长×宽×通道数来表示,一般取其输出为c2,c3,c4,c5。
表1 ResNet50网络结构
ResNet50网络框架311的残差学习单元结构示例如附图5所示,其中,x为网络浅层的输出,H(x)为深层的输出,F(x)为介于二者之间的变换。当浅层x代表的特征已经足够成熟,若任何对于特征x的改变都会使误差变大,则F(x)将学习趋向于0,x从恒等映射的路径继续传递,从而防止缺陷检测网络模型3由于网络结构深度的增加而退化。
FPN(特征)金字塔结构312如附图6所示。FPN是一种网络结构,常用来作为骨干网络的分支结构,通过充分结合高层的语义信息和低层的像素信息,来实现多尺度检测,以此加强缺陷检测网络模型3的特征抽取和利用能力。
变电站(电气)设备缺陷样本图片输入ResNet50网络框架311,得到不同尺度的特征图c2,c3,c4,c5并将其输出至FPN金字塔结构312。FPN金字塔结构312对ResNet50网络框架311输出的不同尺度特征图c2,c3,c4,c5进行1×1卷积统一至256-d通道数,再依次对高层特征图进行2倍上采样(上采样为固有名词,可理解为向上采样,比如:1×1变为4×4,反过来称为下采样),并与相邻层(即邻近层,如在本实施例中,p2和p3,p3和p4均为邻近层)进行特征融合,得到特征图p2,p3,p4,p5。同时,还对特征图p5进行步长为2的下采样得到特征图p6,并将特征图p2,p3,p4,p5,p6作为区域建议网络32及兴趣区域池化层33中共享的多尺度特征图。
区域建议网络32对于每一个真值框g在每个FPN金字塔结构312的特征层找到k个与真值框g中心点L2范式距离最近的锚点框,作为正样本候选框Cg。然后计算正样本候选框Cg与真值框g的交并比,记作Dg,并计算Dg的均值mg,以及Dg的标准差vg,得到用于筛选正负样本的阈值tg=mg+vg。最后定义正样本及负样本,对于每一个正样本候选框Cg,如果它与真值框g的交并比大于阈值tg,且中心点c坐标在真值框g以内,则将其归为正样本,反之归为负样本。
缺陷检测网络模型3将训练集中的变电站(电气)设备缺陷样本图片统一缩放至相同大小,再采用ImageNet公开数据集对初代的缺陷检测网络模型3进行预训练,得到初始化参数。然后,将检测对象的数据集投入缺陷检测网络模型3中进行训练。训练迭代若干个周期,每个周期内所有样本完成在网络中一次完整的前向计算和反向传播过程。其中,缺陷检测网络模型3的网络参数采用随机梯度下降优化策略,按照数据集的实际质量设置合适的初始学习率、动量项和权值衰减系数。在缺陷检测网络模型3的训练初期,采用热身方式来保持网络参数稳定,以避免造成振荡。
通过实施本发明具体实施例描述的基于神经网络的电气设备缺陷检测方法及装置的技术方案,能够产生如下技术效果:
(1)本发明具体实施例描述的基于神经网络的电气设备缺陷检测方法及装置,能够实现电气设备缺陷的自动检测识别,具有良好的鲁棒性及较高的准确率,并且具有稳定性好、抗干扰能力强、通用性高等优点,能够很好地适用于电气设备智能巡检;
(2)本发明具体实施例描述的基于神经网络的电气设备缺陷检测方法及装置,以ResNet50为主干网络,解决了神经网络深度增加时的模型饱和退化问题,且残差学习单元的设置能够显著提高模型的训练速度,增强训练效果;
(3)本发明具体实施例描述的基于神经网络的电气设备缺陷检测方法及装置,以FPN金字塔结构为分支网络,实现了图像浅层几何信息与深层语义信息的融合,提升了电气设备细节缺陷的检测效果,在不影响执行速度和参数规模的基础上,提高了检测网络的准确率,且具有较强的抗干扰能力;
(4)本发明具体实施例描述的基于神经网络的电气设备缺陷检测方法及装置,以自适应样本选择为采样方法,提高了样本选择的质量和效率,对于不同类别的目标检测对象具有较强的机动性和适应性,尤其适合工程实践中遇到的类间样本不均衡的敏感数据集。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭示如上,然而并非用以限定本发明。任何熟悉本领域的技术人员,在不脱离本发明的精神实质和技术方案的情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同替换、等效变化及修饰,均仍属于本发明技术方案保护的范围。
Claims (12)
1.一种基于神经网络的电气设备缺陷检测方法,其特征在于,包括以下步骤:
S1)采集电气设备缺陷样本图片;
S2)对步骤S1)采集到的电气设备缺陷样本图片进行缺陷标注,生成标签文件;
S3)将步骤S2)得到的电气设备缺陷样本图片数据集按比例划分为训练集、验证集和测试集;
S4)采用基于ResNet50网络框架及FPN金字塔结构的Faster R-CNN检测算法进行特征提取,并结合交并比的均值及标准差进行自适应样本选择,以搭建缺陷检测网络模型,并使用该模型对步骤S3)划分得到的训练集进行目标检测训练,由此得到初代缺陷检测网络模型;
S5)采用步骤S3)划分的验证集测试步骤S4)生成的初代缺陷检测网络模型,调整模型参数,比对测试结果,进而更新优化并得到最终的缺陷检测网络模型;
S6)利用最终得到的缺陷检测网络模型,对测试集中的待测图片进行处理,输出电气设备缺陷检测结果。
2.根据权利要求1所述的基于神经网络的电气设备缺陷检测方法,其特征在于:在所述步骤S5)中,首先将训练集中的电气设备缺陷样本图片统一缩放至相同大小,再采用ImageNet公开数据集对初代缺陷检测网络模型进行预训练,得到初始化参数;然后,将检测对象的数据集投入缺陷检测网络模型中进行训练;训练迭代若干个周期,每个周期内所有样本完成在网络中一次完整的前向计算和反向传播过程;其中,缺陷检测网络模型网络参数采用随机梯度下降的优化策略,按照数据集的实际质量设置合适的初始学习率、动量项和权值衰减系数;在模型训练初期,采用热身方式来保持网络参数稳定,以避免造成振荡。
3.根据权利要求1或2所述的基于神经网络的电气设备缺陷检测方法,其特征在于,所述步骤S4)进一步包括以下过程:
S41)特征提取步骤:对输入的电气设备缺陷样本图片进行特征提取形成特征图,该特征图被共享于后续的区域建议获取步骤及兴趣区域池化步骤;
S42)区域建议获取步骤:以滑动窗方式在步骤S41)输出的特征图上进行遍历卷积,并针对每一个滑动窗的中心点在特征图上产生与之对应的锚点;然后以该锚点为中心,在原特征图上生成预先定义的不同尺度锚点框作为候选区域;候选区域送入两个全连接层,分别为分类全连接层及定位全连接层;分类全连接层进行二分类,判断候选区域为正样本或负样本;定位全连接层结合正样本区域建议,产生边框回归修正的偏移量,获得区域建议,并剔除小于设定值或超出边界的建议框;
S43)兴趣区域池化步骤:将步骤S41)中由电气设备缺陷样本图片形成的特征图与步骤S42)生成的区域建议信息进行综合,对区域建议的特征图进行兴趣区域池化,得到固定尺寸的特征矩阵;
S44)分类与回归步骤:对步骤S43)得到的特征矩阵做全连接,并进行类别概率计算完成分类,同时进行边框回归,获得检测框最终的位置坐标。
4.根据权利要求3所述的基于神经网络的电气设备缺陷检测方法,其特征在于:在所述步骤S41)中,采用ResNet50网络框架及FPN金字塔结构提取特征并输出不同尺度的特征图。
5.根据权利要求4所述的基于神经网络的电气设备缺陷检测方法,其特征在于:在所述步骤S41)中,电气设备缺陷样本图片输入ResNet50网络框架,得到不同尺度的特征图c2,c3,c4,c5并将其输出至FPN金字塔结构;所述FPN金字塔结构对ResNet50网络框架输出的不同尺度特征图c2,c3,c4,c5进行1×1卷积统一至256-d通道数,再依次对高层特征图进行2倍上采样,并与相邻层进行特征融合,得到特征图p2,p3,p4,p5;同时,还对特征图p5进行步长为2的下采样得到特征图p6,并将特征图p2,p3,p4,p5,p6作为区域建议获取步骤及兴趣区域池化步骤共享的多尺度特征图。
6.根据权利要求4或5所述的基于神经网络的电气设备缺陷检测方法,其特征在于:在所述步骤S42)中,正样本及负样本的选取进一步包括以下过程:
首先对于每一个真值框g在每个FPN金字塔结构的特征层找到若干个与真值框g中心点L2范式距离最近的锚点框,作为正样本候选框Cg;然后计算正样本候选框Cg与真值框g的交并比,记作Dg,并计算Dg的均值mg,以及Dg的标准差vg,得到用于筛选正负样本的阈值tg=mg+vg;最后定义正样本及负样本,对于每一个正样本候选框Cg,如果它与真值框g的交并比大于阈值tg,且中心点c坐标在真值框g以内,则将其归为正样本,反之归为负样本。
7.一种基于神经网络的电气设备缺陷检测装置,其特征在于,包括:
缺陷标注单元(1),对采集到的电气设备缺陷样本图片进行缺陷标注,生成标签文件;
数据划分单元(2),将所述缺陷标注单元(1)输出的电气设备缺陷样本图片数据集按比例划分为训练集、验证集和测试集;
以及基于Faster R-CNN检测算法的缺陷检测网络模型(3),所述缺陷检测网络模型(3)利用ResNet50网络框架(311)及FPN金字塔结构(312)实现特征提取,并结合基于交并比均值及标准差的自适应样本选择搭建;采用该缺陷检测网络模型(3)对数据划分单元(2)划分得到的训练集进行目标检测训练,由此生成初代的缺陷检测网络模型(3);
采用所述数据划分单元(2)划分的验证集测试初代的缺陷检测网络模型(3),调整模型参数,比对测试结果,进而更新优化并得到最终的缺陷检测网络模型(3);采用最终得到的缺陷检测网络模型(3)对测试集中的待测图片进行处理,输出电气设备缺陷检测结果。
8.根据权利要求7所述的基于神经网络的电气设备缺陷检测装置,其特征在于:所述缺陷检测网络模型(3)将训练集中的电气设备缺陷样本图片统一缩放至相同大小,再采用ImageNet公开数据集对初代的缺陷检测网络模型(3)进行预训练,得到初始化参数;然后,将检测对象的数据集投入缺陷检测网络模型(3)中进行训练;训练迭代若干个周期,每个周期内所有样本完成在网络中一次完整的前向计算和反向传播过程;其中,缺陷检测网络模型(3)的网络参数采用随机梯度下降优化策略,按照数据集的实际质量设置合适的初始学习率、动量项和权值衰减系数;在缺陷检测网络模型(3)的训练初期,采用热身方式来保持网络参数稳定,以避免造成振荡。
9.根据权利要求7或8所述的基于神经网络的电气设备缺陷检测装置,其特征在于,所述缺陷检测网络模型(3)包括:
骨干网络(31),对输入的电气设备缺陷样本图片进行特征提取形成特征图,该特征图被共享于后续的区域建议网络(32)及兴趣区域池化层(33);
区域建议网络(32),以滑动窗方式在所述骨干网络(31)输出的特征图上进行遍历卷积,并针对每一个滑动窗的中心点在特征图上产生与之对应的锚点;然后以该锚点为中心,在原特征图上生成预先定义的不同尺度锚点框作为候选区域;候选区域送入两个全连接层,分别为分类全连接层及定位全连接层;分类全连接层进行二分类,判断候选区域为正样本或负样本;定位全连接层结合正样本区域建议,产生边框回归修正的偏移量,获得区域建议,并剔除小于设定值或超出边界的建议框;
兴趣区域池化层(33),将所述骨干网络(31)中由电气设备缺陷样本图片形成的特征图与区域建议网络(32)生成的区域建议信息进行综合,对区域建议的特征图进行兴趣区域池化,得到固定尺寸的特征矩阵;
以及分类与回归网络(34),对所述兴趣区域池化层(33)得到的特征矩阵做全连接,并进行类别概率计算完成分类,同时进行边框回归,获得检测框最终的位置坐标。
10.根据权利要求9所述的基于神经网络的电气设备缺陷检测装置,其特征在于:所述骨干网络(31)基于ResNet50网络框架(311)及FPN金字塔结构(312),根据输入的电气设备缺陷样本图片提取特征并输出不同尺度的特征图。
11.根据权利要求10所述的基于神经网络的电气设备缺陷检测装置,其特征在于:电气设备缺陷样本图片输入ResNet50网络框架(311),得到不同尺度的特征图c2,c3,c4,c5并将其输出至FPN金字塔结构(312);所述FPN金字塔结构(312)对ResNet50网络框架(311)输出的不同尺度特征图c2,c3,c4,c5进行1×1卷积统一至256-d通道数,再依次对高层特征图进行2倍上采样,并与相邻层进行特征融合,得到特征图p2,p3,p4,p5;同时,还对特征图p5进行步长为2的下采样得到特征图p6,并将特征图p2,p3,p4,p5,p6作为区域建议网络(32)及兴趣区域池化层(33)中共享的多尺度特征图。
12.根据权利要求10或11所述的基于神经网络的电气设备缺陷检测装置,其特征在于:所述区域建议网络(32)对于每一个真值框g在每个FPN金字塔结构(312)的特征层找到若干个与真值框g中心点L2范式距离最近的锚点框,作为正样本候选框Cg;然后计算正样本候选框Cg与真值框g的交并比,记作Dg,并计算Dg的均值mg,以及Dg的标准差vg,得到用于筛选正负样本的阈值tg=mg+vg;最后定义正样本及负样本,对于每一个正样本候选框Cg,如果它与真值框g的交并比大于阈值tg,且中心点c坐标在真值框g以内,则将其归为正样本,反之归为负样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110352440.3A CN113052103A (zh) | 2021-03-31 | 2021-03-31 | 一种基于神经网络的电气设备缺陷检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110352440.3A CN113052103A (zh) | 2021-03-31 | 2021-03-31 | 一种基于神经网络的电气设备缺陷检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113052103A true CN113052103A (zh) | 2021-06-29 |
Family
ID=76516868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110352440.3A Pending CN113052103A (zh) | 2021-03-31 | 2021-03-31 | 一种基于神经网络的电气设备缺陷检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113052103A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114199381A (zh) * | 2021-12-13 | 2022-03-18 | 国网陕西省电力公司延安供电公司 | 一种改进红外检测模型的电气设备故障检测方法 |
CN114581782A (zh) * | 2022-05-06 | 2022-06-03 | 南京航空航天大学 | 一种基于由粗到精检测策略的细微缺陷检测方法 |
-
2021
- 2021-03-31 CN CN202110352440.3A patent/CN113052103A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114199381A (zh) * | 2021-12-13 | 2022-03-18 | 国网陕西省电力公司延安供电公司 | 一种改进红外检测模型的电气设备故障检测方法 |
CN114581782A (zh) * | 2022-05-06 | 2022-06-03 | 南京航空航天大学 | 一种基于由粗到精检测策略的细微缺陷检测方法 |
US11790517B2 (en) | 2022-05-06 | 2023-10-17 | Nanjing University Of Aeronautics And Astronautics | Subtle defect detection method based on coarse-to-fine strategy |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11581130B2 (en) | Internal thermal fault diagnosis method of oil-immersed transformer based on deep convolutional neural network and image segmentation | |
CN110555474B (zh) | 一种基于半监督学习的光伏面板故障检测方法 | |
CN112183414A (zh) | 一种基于混合空洞卷积的弱监督遥感目标检测方法 | |
CN109376606B (zh) | 一种电力巡检图像杆塔基础故障检测方法 | |
CN111444939A (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
CN115829999A (zh) | 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质 | |
CN114297947B (zh) | 基于深度学习网络的数据驱动风电系统孪生方法及系统 | |
CN113052103A (zh) | 一种基于神经网络的电气设备缺陷检测方法及装置 | |
CN111612051A (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
CN111738054A (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
CN115546565A (zh) | 基于yolocbf电厂关键区域管道油液泄漏检测方法 | |
CN113344852A (zh) | 一种电力场景通用物品的目标检测方法、装置及存储介质 | |
CN116579616B (zh) | 一种基于深度学习的风险识别方法 | |
Meng et al. | A modified fully convolutional network for crack damage identification compared with conventional methods | |
CN111767826A (zh) | 一种定时定点场景异常检测方法 | |
CN116682045A (zh) | 一种基于智能视频分析的游梁式抽油机故障检测方法 | |
CN116596851A (zh) | 一种基于知识蒸馏和异常模拟的工业瑕疵检测方法 | |
CN115375925A (zh) | 一种基于相位信息和深度学习的水下声呐图像匹配算法 | |
CN113344005B (zh) | 一种基于优化小尺度特征的图像边缘检测方法 | |
CN114897858A (zh) | 一种基于深度学习的快速绝缘子缺陷检测方法及其系统 | |
CN115482473A (zh) | 提取航拍图像特征的图卷积网络模型及检测异常的方法 | |
CN111882545B (zh) | 基于双向信息传递及特征融合的织物疵点检测方法 | |
CN112132835A (zh) | 基于SeFa和人工智能的光伏轨道相机果冻效应分析方法 | |
CN110163081A (zh) | 基于ssd的实时区域入侵检测方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |