CN110969620A - 一种磁瓦波纹类缺陷的检测方法及装置 - Google Patents
一种磁瓦波纹类缺陷的检测方法及装置 Download PDFInfo
- Publication number
- CN110969620A CN110969620A CN201911314751.XA CN201911314751A CN110969620A CN 110969620 A CN110969620 A CN 110969620A CN 201911314751 A CN201911314751 A CN 201911314751A CN 110969620 A CN110969620 A CN 110969620A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- ripple
- region
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims description 113
- 238000002372 labelling Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 26
- 230000009286 beneficial effect Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000011426 transformation method Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000227 grinding Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000005459 micromachining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000007514 turning Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种磁瓦波纹类缺陷检测方法及装置,其中,方法可以包括:获取待检测图像;从待检测图像中确定待检测区域,得到第一图像;对第一图像进行对比度增强,得到第二图像;将第二图像输入训练后的YOLOv3模型,得到模型输出结果;依据模型输出结果,输出待检测图像的波纹类缺陷的检测结果。本申请可以使得对待检测图像的波纹类缺陷检测结果具有较高的准确率。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种磁瓦波纹类缺陷的检测方法及装置。
背景技术
磁瓦是电机的核心组成部件,在磁瓦的生产制造过程中,由于原材料、加工工艺、人工操作的影响,其表面不可避免地会出现一些缺陷,其中波纹类缺陷较为常见。
目前,通常采用人工检测磁瓦是否存在波纹类缺陷。
当时,人工检测准确率较低。
发明内容
本申请提供了一种磁瓦波纹类缺陷的检测方法及装置,目的在于解决磁瓦波纹类缺陷检测准确率低的问题。
为了实现上述目的,本申请提供了以下技术方案:
本申请提供了一种磁瓦波纹类缺陷的检测方法,包括:
获取待检测图像;
从所述待检测图像中确定待检测区域,得到第一图像;
对所述第一图像进行对比度增强,得到第二图像;
将所述第二图像输入训练后的YOLOv3模型,得到模型输出结果;
依据所述模型输出结果,输出所述待检测图像的波纹类缺陷的检测结果。
可选的,所述模型输出结果包括:所述待检测图像中波纹类缺陷区域的位置信息、波纹类缺陷级别和置信度;所述置信度表征所述待检测图像中波纹类缺陷区域为所述波纹类缺陷级别的概率;
所述依据所述模型输出结果,输出所述待检测图像的波纹类缺陷的检测结果,包括:
在所述置信度大于预设的置信度阈值的情况下,输出第一检测结果;所述第一检测结果为标记有波纹类缺陷级别、位置信息和置信度的图像;所述位置信息用于表示所述待检测图像中波纹类缺陷区域的位置信息;
在所述置信度不大于所述置信度阈值的情况下,输出第二检测结果;所述第二检测结果表示所述待检测图像不存在波纹类缺陷。
可选的,所述从所述待检测图像中确定待检测区域,得到第一图像,包括:
从所述待检测图像中,确定连通区域,得到多个连通区域;
分别计算每个所述连通区域中像素值的平均值,得到每个所述连通区域对应的平均像素值;
将平均像素值最小的连通区域,作为所述待检测区域;
将所述待检测图像中除所述待检测区域外的像素点的像素值设置为预设像素值,得到所述第一图像。
可选的,所述对所述第一图像进行对比度增强,得到第二图像,包括:
对所述第一图像中的待检测区域进行灰度值增强,得到所述第二图像。
可选的,在所述从所述待检测图像中确定待检测区域,得到第一图像之前,还包括:
对所述待检测图像在格式和尺度上进行归一化处理,得到第一中间图像;
对所述第一中间图像进行去噪,得到第二中间图像;
所述从所述待检测图像中确定待检测区域,得到第一图像,具体为:
从所述第二中间图像中确定待检测区域,得到第一图像。
可选的,对所述YOLOv3模型的训练过程包括:
获取训练样本;
对所述训练样本进行预处理,得到预处理后的训练样本;
扩充所述预处理后的训练样本,得到扩充后的训练样本;
获取对目标训练样本中波纹类缺陷的标注结果,得到人工标注后的训练样本;所述目标训练样本至少包括所述扩充后的训练样本;
依据所述人工标注后的训练样本,生成符合所述YOLOv3模型的数据集,得到目标数据集;
将所述目标数据集输入所述YOLOv3模型,对所述YOLOv3模型进行训练,得到所述训练后的YOLOv3模型。
本申请还提供了一种磁瓦波纹类缺陷的检测装置,包括:
获取模块,用于获取待检测图像;
确定模块,用于从所述待检测图像中确定待检测区域,得到第一图像;
增强模块,用于对所述第一图像进行对比度增强,得到第二图像;
输入模块,用于将所述第二图像输入训练后的YOLOv3模型,得到模型输出结果;
输出模块,用于依据所述模型输出结果,输出所述待检测图像的波纹类缺陷的检测结果。
可选的,所述模型输出结果包括:所述待检测图像中波纹类缺陷区域的位置信息、波纹类缺陷级别和置信度;所述置信度表征所述待检测图像中波纹类缺陷区域为所述波纹类缺陷级别的概率;
所述输出模块,用于依据所述模型输出结果,输出所述待检测图像的波纹类缺陷的检测结果,包括:
所述输出模块,具体用于在所述置信度大于预设的置信度阈值的情况下,输出第一检测结果;所述第一检测结果为标记有波纹类缺陷级别、位置信息和置信度的图像;所述位置信息用于表示所述待检测图像中波纹类缺陷区域的位置信息;在所述置信度不大于所述置信度阈值的情况下,输出第二检测结果;所述第二检测结果表示所述待检测图像不存在波纹类缺陷。
可选的,所述确定模块,用于从所述待检测图像中确定待检测区域,得到第一图像,包括:
所述确定模块,具体用于从所述待检测图像中,确定连通区域,得到多个连通区域;分别计算每个所述连通区域中像素值的平均值,得到每个所述连通区域对应的平均像素值;将平均像素值最小的连通区域,作为所述待检测区域;将所述待检测图像中除所述待检测区域外的像素点的像素值设置为预设像素值,得到所述第一图像。
可选的,所述增强模块,用于所述对所述第一图像进行对比度增强,得到第二图像,包括:
所述增强模块,具体用于对所述第一图像中的待检测区域进行灰度值增强,得到所述第二图像。
可选的,还包括:
预处理模块,用于在所述确定模块从所述待检测图像中确定待检测区域,得到第一图像之前,对所述待检测图像在格式和尺度上进行归一化处理,得到第一中间图像;对所述第一中间图像进行去噪,得到第二中间图像;
所述确定模块,用于从所述待检测图像中确定待检测区域,得到第一图像,具体为:所述确定模块,具体用于从所述第二中间图像中确定待检测区域,得到第一图像。
可选的,还包括训练模块;
所述训练模块,用于获取训练样本;对所述训练样本进行预处理,得到预处理后的训练样本;扩充所述预处理后的训练样本,得到扩充后的训练样本;获取对目标训练样本中波纹类缺陷的标注结果,得到人工标注后的训练样本;所述目标训练样本至少包括所述扩充后的训练样本;依据所述人工标注后的训练样本,生成符合所述YOLOv3模型的数据集,得到目标数据集;将所述目标数据集输入所述YOLOv3模型,对所述YOLOv3模型进行训练,得到所述训练后的YOLOv3模型。
本申请所述的磁瓦波纹类缺陷的检测方法及装置中,获取待检测图像,从待检测图像中确定待检测区域,得到第一图像,使得第一图像中待检测区域更明显,可以减少背景(待检测图像中除待检测区域外的区域)对波纹类缺陷的检测干扰,对第一图像进行对比度增强,得到第二图像,使得第二图像可以突出光照不足的区域的缺陷细节,同时也能突出曝光过大的区域的缺陷细节,为后续待检测图像的波纹类检测结果的准确性提供条件。
在本申请中,将第二图像输入训练后的YOLOv3模型,得到模型输出结果,依据模型输出结果,输出待检测图像的波纹类缺陷的检测结果。发明人在研究中发现YOLOv3模型适用于磁瓦图像,因此,在本申请中,依据训练后的YOLOv3模型的输出结果,输出的待检测图像的波纹类缺陷的检测结果的准确性可以提高。
综上所述,本申请可以使得对待检测图像的波纹类检测结果具有较高的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种对YOLOv3模型训练的过程的示意图;
图2为本申请实施例公开的磁瓦波纹类缺陷级别示意图;
图3为本申请实施例公开的训练后的YOLOv3模型与训练后的Faster-RCNN模型和SSD模型对同一图像进行测试的测试结果示意图;
图4为本申请实施例公开的一种磁瓦波纹类缺陷的检测方法的流程图;
图5为本申请实施例公开的对磁瓦原始CT图像进行波纹类缺陷检测试验结果的示意图;
图6为本申请实施例公开的一种磁瓦波纹类缺陷检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种对YOLOv3模型训练的过程,包括以下步骤:
S101、获取训练样本。
在本步骤中,训练样本为磁瓦的CT扫描原始图像。
S102、对训练样本进行预处理,得到预处理后的训练样本。
在本步骤中,对训练样本进行预处理的过程,可以包括以下步骤A1~步骤A4:
A1、对训练样本进行格式和尺度的归一化,得到第一训练样本。
具体的,在本步骤中,可以将对训练样本中的每张磁瓦的CT原始图像,的格式转换为JPG格式,并统一图像的位深度为8,宽度为500像素,高度为375像素。当然,在实际中,还可以将每张磁瓦的CT原始图像,的格式转换为其他格式,以及将图像的位深度、宽度和高度统一为其他数值,本实施例不对具体的取值作限定。
在本步骤中,对训练样本进行格式和尺度的归一化,可减少后续程序的处理量,提高检测速度。
A2、对第一训练样本进行去噪处理,得到第二训练样本。
由于采集到的磁瓦的CT原始图像是由高精度激光轮廓仪对磁瓦进行扫描获取的,但不能有效排除磁瓦表面水渍和磨痕对扫描的影响,经过扫描后的图片具有一定量的噪声干扰,因此需要过滤掉干扰区域。
具体的,在本步骤中,可以采用中值滤波器对第一训练样本进行滤波处理,去除噪声干扰,例如,采用3*3的中值滤波器对图像进行滤波操作,去除噪声干扰。为了描述方便,将中指滤波后的第一训练样本,称为第二训练样本。
A3、对第二训练样本中提取待检测区域,得到第三训练样本。
具体的,在本步骤中,对第二训练样本中每帧图像提取待检测区域的方式相同,为了描述方便,以任一帧图像为例进行说明,具体的,可以包括以下步骤B1~步骤B4:
B1、从该图像中,确定连通区域,得到多个连通区域。
具体的,在本步骤中,对该图像进行形态学处理,得到多个连通区域。具体的,对该图像进行形态学处理的具体实现方式为现有技术,这里不再赘述。
B2、分别计算每个连通区域中像素值的平均值,得到每个连通区域对应的平均像素值。
本步骤的具体实现方式为现有技术,这里不再赘述。
B3、将平均像素值最小的连通区域,作为该图像的待检测区域。
在本步骤中,将平均值最小的连通区域,作为该图像的待检测区域。即选取平均亮度最低的连通区域作为该图像的待检测区域。
B4、将该图像中除待检测区域外的像素点的像素值设置为预设像素值。
在本步骤中,可以将该图像中除待检测区域外的像素点的像素值设置255,即该图像中除待检测区域外都是白色。
A4、对第三训练样本进行对比度增强,得到预处理后的训练样本。
具体的,在本步骤中,可以选用灰度对数变换法对第三训练样本进行对比度增强。其中,灰度对数变换法主要用于将图像的低灰度值部分扩展,将其高灰度值部分压缩,以达到强调图像低灰度部分的目的,从而实现对比度的增强,这样可以突出光照不足的区域的缺陷细节,同时也能将曝光过大的区域的缺陷细节突出出来,最终提高检出率,降低错误率。
在本步骤中,对第三训练样本进行对比度增强,得到的预处理后的训练样本中,待检测区域进行对比度增强后得到的区域,称为感兴趣区域(Region Of Interest,ROI)。
S103、扩充预处理后的训练样本,得到扩充后的训练样本。
考虑到工厂中的实际检测环境,为了保证训练后的YOLOv3模型具有很强的鲁棒性和泛化能力。在本步骤中,至少对预处理后的训练样本进行扩充(数据增强)。
具体的,对预处理后的训练样本中的任意一帧图像进行扩充的方式,可以包括以下4种方式:
第一方式:对该帧图像进行水平翻转和上下翻转。
第二方式:对该帧图像进行仿射变换,包括平移、缩放和旋转。
第三方式:对该帧图像进行光照调节,使得该帧图像变得更亮或者更暗。
第四方式:对该帧图像进行明暗对比度的变换,具体的,包括直方图均衡和直接灰度变换。
具体的,在本步骤中,针对不同的预处理后训练样本中的图像,可以随机选取上述任意一种扩充方式扩充训练样本,并且上述4种扩充方式中的任一多种扩充方式可以相互结合使用,有利于得到更丰富的图像数据。
在本步骤中,将扩充前的预处理后的训练样本和扩充后的预处理后的训练样本,都作为扩充后的训练样本。
S104、获取对目标训练样本中波纹类缺陷的标注结果,得到人工标注后的训练样本文件。
在本步骤中,目标训练样本至少包括扩充后的训练样本。即可以将扩充后的训练样本作为目标训练样本,也可以将S101获取的训练样本和S103得到的扩充后的训练样本,作为目标训练样本。本实施例不对目标训练样本的具体内容作限定。
具体的,可以使用labelImg标注工具对目标训练样本进行人工标注,其中,在本实施例中,目标训练样本共计8000张图片。具体的,对任意一帧图像进行人工标注的过程以包括:波纹类缺陷部分使用矩形框选中,得到该帧图像的矩形框的位置信息。并确定该帧图像的波纹类缺陷级别,为了描述方便,将该帧图像的波纹类缺陷级别作为矩形框的标签信息。将矩形框的位置信息和矩形框的标签信息,作为该帧图像的标注信息。
其中,矩形框的位置信息包括:矩形框的左上角角点的坐标、右下角角点的坐标、矩形框的长和宽。其中,左上角角点的坐标可以表示为(x1,y1),右下角角点的坐标可以表示为(x2,y2)。
其中,波纹类缺陷级别信息共有三种:ng1、ng2、ng3,其中,ng1代表一级缺陷(轻微缺陷),ng2代表二级缺陷(中等缺陷)、ng3代表三级缺陷(严重缺陷)。如图2所示,磁瓦波纹类缺陷级别示意图,子图1表示一级波纹类缺陷示意图,子图2为表示二级波纹类缺陷示意图,子图3表示三级波纹类缺陷示意图。
因此,在本步骤中,可以得到训练样本中的任意一帧图像的标注信息,即得到训练样本和训练样本的标注信息,为了描述方便,将训练样本和训练样本的标注信息,称为人工标注后的训练样本。并由经验丰富的检测人员进行逐一复核,复核通过后,对人工标注后的训练样本中每张图像生成XML文件,为了描述方便,将生成的XML文件,称为人工标注后的训练样本文件。
S105、依据人工标注后的训练样本文件,生成符合YOLOv3模型的数据集,得到目标数据集。
在本步骤中,使用人工标注后的训练样本文件建立PASCAL-VOC2007格式的数据集,得到建立后的PASCAL-VOC2007格式的数据集。其中,建立后的PASCAL-VOC2007格式的数据集的一级目录包括三个文件夹:Annotations、ImageSets和JPEGImages。其中,Annotations文件夹用于存放人工标注后的XML文件,ImageSets文件夹包括训练和测试用到的TXT文件,JPEGImages文件夹用于存放扩充后的训练样本的JPG图片。
利用建立后的PASCAL-VOC2007格式的数据集生成YOLOv3所需的train.txt文件、val.txt文件和test.txt文件。
S106、将目标数据集输入YOLOv3模型,对YOLOv3模型进行训练,得到训练后的YOLOv3模型。
在本实施例中,YOLOv3模型架构共计106层,其中包括53个卷积层、22个残差单元和31个特征交互层。由于采用53个卷积层和31个特征交互层,放弃了池化层,利用加大卷积操作中的滑动步长来实现降采样,降低池化带来的梯度负面效果,可使得网络的性能增强,预测效果更好。
在YOLOv3模型的深度神经网络搭建的过程中,在卷积层中穿插了残差网络结构,使用了22个残差单元,可解决网络层数增加造成训练集的准确率饱和的问题。为了实现细粒度的检测,第79层的特征图开始作上采样,然后与第61层特征图融合,这样得到第91层较细粒度的特征图,同样经过几个卷积层后得到相对输入图像16倍下采样的特征图。
利用53层的卷积网络对ROI进行特征提取后,将提取好的特征送入分类器和回归器,其中分类器判断图像中的波纹类缺陷的类别,预测波纹类缺陷级别时使用逻辑回归函数的输出进行预测,这样能够支持多标签对象,回归器判断某种特征所包括的波纹类缺陷的级别以及位置。
通过将输入YOLOv3模型的每一张图像通过分类器与回归器得到的结果与相应的标签中的真实值相比,可以调整YOLOv3模型的参数,从而达到网络学习与进化的目的,最终使网络输出与真实值尽可能的接近。
具体的,在本步骤中,将目标数据集划分为训练集和测试集,其中,训练集占目标数据集的80%,测试集占目标数据集的20%,同时对训练的参数进行调整,总共迭代次数设置为100000次,初始学习速率为0.003,动量系数为0.9,批次大小为200,非极大值抑制的IoU阈值为0.8,使用GPU(Graphics Processing Unit,图形处理器)提高运算速率。
通过本步骤的训练,得到训练后的YOLOv3模型。
为了验证本实施例得到的训练后的YOLOv3模型的检测效果,将训练后的YOLOv3模型与训练后的Faster-RCNN模型和SSD模型对同一图像进行测试。测试结果如图3所示,从左到右依次为子图1、子图2和子图3,其中,子图1是Faster-RCNN模型的检测结果示意图图,从子图1中可以看出Faster-RCNN模型检测到了两个区域,这是错误的检测。子图2是SSD模型的检测结果示意图,从子图2中可以看出SSD模型检测到的区域与真实区域拟合效果不好。子图3是YOLOv3模型的检测结果示意图,从子图3中可以看出YOLOv3模型检测到的区域与真实区域基本完全拟合,因此,本实施例中的YOLOv3模型的效果是最优的。
图4为本申请实施例提供的一种磁瓦波纹类缺陷的检测方法,包括以下步骤:
S401、获取待检测图像。
在本步骤中,获取的待检测图像为磁瓦的CT原始图像。
S402、对待检测图像在格式和尺度上进行归一化处理,得到第一中间图像。
本步骤的具体实现方式,可以参考步骤A1,这里不再赘述。为了描述方便,将本步骤得到的图像称为第一中间图像。
需要说明的是,在本实施例中,本步骤是可选步骤,即在不执行本步骤的情况下,直接执行S403。
S403、从待检测图像中确定待检测区域,得到第一图像。
在本步骤中,待检测区域磁瓦材料所在的区域。
可选的,从待检测图像中确定待检测区域的方式可以包括步骤C1~步骤C4:
C1、从待检测图像中,确定连通区域,得到多个连通区域。
本步骤的具体实现方式为现有技术,这里不再赘述。
C2、分别计算每个连通区域中像素值的平均值,得到每个连通区域对应的平均像素值。
本步骤的具体实现方式为现有技术,这里不再赘述。
C3、将平均像素值最小的连通区域,作为待检测区域。
C4、将待检测图像中除待检测区域外的像素点的像素值设置为预设像素值,得到第一图像。
在本步骤中,预设像素值的取值可以255,当然,在实际中,预设像素值的取值还可以为其他值,只要能够用于标识不对预设像素值的像素点进行处理即可。
S404、对第一图像进行对比度增强,得到第二图像。
对第一图像中的待检测区域进行灰度值增强,得到第二图像。本步骤的具体实现方式可以参考步骤A4,这里不再赘述。
S405、将第二图像输入训练后的YOLOv3模型,得到模型输出结果。
在本步骤中,模型输出结果包括:待检测图像中波纹类缺陷区域的位置信息、波纹类缺陷级别和置信度。其中,置信度表征待检测图像的波纹类缺陷区域为该波纹类缺陷级别的概率。
具体的,在本步骤中,波纹类缺陷级别的具体内容可以参考S104中的波纹类缺陷级别的信息,这里不再赘述。
例如,本步骤中,模型输出结果中的波纹类缺陷级别为ng3,置信度为0.9,即表示待检测图像的波纹类缺陷区域是三级波纹类缺陷的概率为90%。
S406、依据模型输出结果,输出待检测图像的波纹类缺陷的检测结果。
可选的,依据模型输出结果,输出待检测图像的波纹类缺陷的检测结果的方式,可以包括步骤D1~步骤D3:
D1、判断置信度是否大于预设的置信度阈值,如果是,则执行D2,如果否,则执行D3。
在本步骤中,预设的置信度阈值可以为0.8,当然,在实际中,预设的置信度阈值还可以为其他取值,本实施例不对预设的置信度阈值的取值作限定。
D2、输出第一检测结果。
在置信度大于预设的置信度阈值的情况下,执行本步骤,其中,第一结果为标记有波纹类缺陷级别、位置信息和置信度的图像。其中,位置信息用于表示待检测图像中波纹类缺陷区域的位置信息。其中,位置信息的具体形式可以参考S104,这里不再赘述。
D3、输出第二检测结果。
在置信度不大于该预设的置信度阈值的情况下,执行本步骤,具体的,在本步骤中,第二结果信息用于表示待检测图像不存在波纹类缺陷的信息。
可选的,在本实施例中,在得到对磁瓦原始CT图像的检测结果的情况下,可以对磁瓦图像进行标号与分类存储。其中,可以设置磁瓦图像的标号格式为:磁瓦序号+波纹类缺陷级别,对不同波纹类缺陷级别的磁瓦图像可以进行分组存储与管理。在本实施例中,还可以对一级波纹类缺陷的磁瓦图像进行修复微加工,对二级波纹类缺陷的磁瓦图像进行修复深加工,针对三级波纹类缺陷的磁瓦图像进行废料回收。
本申请实施例采用图4对应的方法,对磁瓦原始CT图像进行波纹类缺陷检测试验,得到的实验结果如果图5所示,其中,从左到右,依次为子图1、子图2和子图3,其中,子图1表示一级波纹类缺陷检测结果,子图2表示二级波纹类缺陷检测结果,子图3表示三级波纹类缺陷检测结果。从图5中,可以看出,子图1表示一级波纹类缺陷检测结果的置信度为1.00,子图2表示二级波纹类缺陷检测结果的置信度为1.00,子图3表示三级波纹类缺陷检测结果的置信度为0.99。
本申请实施例的有益效果包括:
有益效果一:本实施例对采集的磁瓦材料的扫描图像进行了格式和尺度的归一化,简化了后续处理步骤,提高了检测速度。
有益效果二:本实施例对图像进行了中值滤波操作,去除了图像上的噪声点,有效地排除了磁瓦表面水渍和磨痕的噪声干扰,大大提高了检测精度。
有益效果三:本实施例提取了图像中主要的连通区域,减少背景对波纹类缺陷识别的干扰,使可能存在缺陷的位置更加突出,此外,通过灰度对数变换法增强图像的对比度,突出光照不足的区域的缺陷细节,同时也能将曝光过大的区域的缺陷细节突出出来,最终提高检出率,降低错误率。
有益效果四:本实施例利用包括翻转、仿射变换、光照调节、明暗对比度变换等操作的数据增强技术对训练样本进行数据增强,丰富了图像数据,扩充了数据集的规模,解决了样本匮乏问题,同时也增强了模型的鲁棒性和泛化能力。
有益效果五:本实施例采用YOLOv3神经网络框架,打破了传统的基于边缘、轮廓、纹理等手工提取特征的检测方法参数设置的困扰,也解决了传统的神经网络模型,如Faster-RCNN模型和SSD模型训练精度不高,训练速度不快的问题。
有益效果六:本实施例利用高精度激光轮廓仪对磁瓦材料进行扫描,并采用采集到的图像数据及计算机视觉技术实现了对磁瓦波纹类缺陷的检测,相比于人工进行的缺陷检测,节省了人力成本,提高了生产效率。
有益效果七:本实施例对磁瓦图像的波纹类缺陷进行级别划分,将波纹类缺陷划分为三级,对不同级别缺陷的磁瓦进行分类管理,针对每一类缺陷作出不同决策,有利于磁瓦材料的循环生产和有效利用。
有益效果八:本实施例采用一种适用于磁瓦材料波纹类缺陷检测的深度学习模型(YOLOv3模型),在保证缺陷检出正确率的前提下提高检测的速率,实现实时的缺陷检测,进一步提高了检测的效率。
有益效果九:本实施例在实现高精度检测缺陷的基础上具有很强的实时性,能够满足实际生产中缺陷检测生产线对时间和效率的要求,有利于后期整个检测系统的搭建。
图6为本申请实施例提供的一种磁瓦波纹类缺陷检测装置,包括:获取模块601、确定模块602、增强模块603、输入模块604和输出模块605。其中,
获取模块601,用于获取待检测图像;
确定模块602,用于从待检测图像中确定待检测区域,得到第一图像;
增强模块603,用于对第一图像进行对比度增强,得到第二图像;
输入模块604,用于将第二图像输入训练后的YOLOv3模型,得到模型输出结果;
输出模块605,用于依据模型输出结果,输出待检测图像的波纹类缺陷的检测结果。
可选的,模型输出结果包括:待检测图像中波纹类缺陷区域的位置信息、波纹类缺陷级别和置信度;置信度表征所述待检测图像中波纹类缺陷区域为波纹类缺陷级别的概率;
输出模块605,用于依据模型输出结果,输出待检测图像的波纹类缺陷的检测结果,包括:
输出模块605,具体用于在置信度大于预设的置信度阈值的情况下,输出第一检测结果;第一检测结果为标记有波纹类缺陷级别、位置信息和置信度的图像;位置信息用于表示待检测图像中波纹类缺陷区域的位置信息;在置信度不大于置信度阈值的情况下,输出第二检测结果;第二检测结果表示待检测图像不存在波纹类缺陷。
可选的,确定模块602,用于从待检测图像中确定待检测区域,得到第一图像,包括:
确定模块602,具体用于从待检测图像中,确定连通区域,得到多个连通区域;分别计算每个所述连通区域中像素值的平均值,得到每个所述连通区域对应的平均像素值;将平均像素值最小的连通区域,作为待检测区域;将待检测图像中除待检测区域外的像素点的像素值设置为预设像素值,得到第一图像。
可选的,增强模块603,用于所述对第一图像进行对比度增强,得到第二图像,包括:
增强模块603,具体用于对第一图像中的待检测区域进行灰度值增强,得到第二图像。
可选的,该装置还可以包括:预处理模块,用于在确定模块602从待检测图像中确定待检测区域,得到第一图像之前,对待检测图像在格式和尺度上进行归一化处理,得到第一中间图像;对第一中间图像进行去噪,得到第二中间图像;
确定模块602,用于从待检测图像中确定待检测区域,得到第一图像,具体为:确定模块602,具体用于从第二中间图像中确定待检测区域,得到第一图像。
可选的,该装置还可以包括训练模块;
训练模块,用于获取训练样本;对训练样本进行预处理,得到预处理后的训练样本;扩充预处理后的训练样本,得到扩充后的训练样本;获取对目标训练样本中波纹类缺陷的标注结果,得到人工标注后的训练样本;目标训练样本至少包括扩充后的训练样本;依据人工标注后的训练样本,生成符合YOLOv3模型的数据集,得到目标数据集;将目标数据集输入YOLOv3模型,对YOLOv3模型进行训练,得到训练后的YOLOv3模型。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种磁瓦波纹类缺陷的检测方法,其特征在于,包括:
获取待检测图像;
从所述待检测图像中确定待检测区域,得到第一图像;
对所述第一图像进行对比度增强,得到第二图像;
将所述第二图像输入训练后的YOLOv3模型,得到模型输出结果;
依据所述模型输出结果,输出所述待检测图像的波纹类缺陷的检测结果。
2.根据权利要求1所述的检测方法,其特征在于,所述模型输出结果包括:所述待检测图像中波纹类缺陷区域的位置信息、波纹类缺陷级别和置信度;所述置信度表征所述待检测图像中波纹类缺陷区域为所述波纹类缺陷级别的概率;
所述依据所述模型输出结果,输出所述待检测图像的波纹类缺陷的检测结果,包括:
在所述置信度大于预设的置信度阈值的情况下,输出第一检测结果;所述第一检测结果为标记有波纹类缺陷级别、位置信息和置信度的图像;所述位置信息用于表示所述待检测图像中波纹类缺陷区域的位置信息;
在所述置信度不大于所述置信度阈值的情况下,输出第二检测结果;所述第二检测结果表示所述待检测图像不存在波纹类缺陷。
3.根据权利要求1所述的检测方法,其特征在于,所述从所述待检测图像中确定待检测区域,得到第一图像,包括:
从所述待检测图像中,确定连通区域,得到多个连通区域;
分别计算每个所述连通区域中像素值的平均值,得到每个所述连通区域对应的平均像素值;
将平均像素值最小的连通区域,作为所述待检测区域;
将所述待检测图像中除所述待检测区域外的像素点的像素值设置为预设像素值,得到所述第一图像。
4.根据权利要求1所述的检测方法,其特征在于,所述对所述第一图像进行对比度增强,得到第二图像,包括:
对所述第一图像中的待检测区域进行灰度值增强,得到所述第二图像。
5.根据权利要求1所述的检测方法,其特征在于,在所述从所述待检测图像中确定待检测区域,得到第一图像之前,还包括:
对所述待检测图像在格式和尺度上进行归一化处理,得到第一中间图像;
对所述第一中间图像进行去噪,得到第二中间图像;
所述从所述待检测图像中确定待检测区域,得到第一图像,具体为:
从所述第二中间图像中确定待检测区域,得到第一图像。
6.根据权利要求1所述的检测方法,其特征在于,对所述YOLOv3模型的训练过程包括:
获取训练样本;
对所述训练样本进行预处理,得到预处理后的训练样本;
扩充所述预处理后的训练样本,得到扩充后的训练样本;
获取对目标训练样本中波纹类缺陷的标注结果,得到人工标注后的训练样本;所述目标训练样本至少包括所述扩充后的训练样本;
依据所述人工标注后的训练样本,生成符合所述YOLOv3模型的数据集,得到目标数据集;
将所述目标数据集输入所述YOLOv3模型,对所述YOLOv3模型进行训练,得到所述训练后的YOLOv3模型。
7.一种磁瓦波纹类缺陷的检测装置,其特征在于,包括:
获取模块,用于获取待检测图像;
确定模块,用于从所述待检测图像中确定待检测区域,得到第一图像;
增强模块,用于对所述第一图像进行对比度增强,得到第二图像;
输入模块,用于将所述第二图像输入训练后的YOLOv3模型,得到模型输出结果;
输出模块,用于依据所述模型输出结果,输出所述待检测图像的波纹类缺陷的检测结果。
8.根据权利要求7所述的检测装置,其特征在于,所述模型输出结果包括:所述待检测图像中波纹类缺陷区域的位置信息、波纹类缺陷级别和置信度;所述置信度表征所述待检测图像中波纹类缺陷区域为所述波纹类缺陷级别的概率;
所述输出模块,用于依据所述模型输出结果,输出所述待检测图像的波纹类缺陷的检测结果,包括:
所述输出模块,具体用于在所述置信度大于预设的置信度阈值的情况下,输出第一检测结果;所述第一检测结果为标记有波纹类缺陷级别、位置信息和置信度的图像;所述位置信息用于表示所述待检测图像中波纹类缺陷区域的位置信息;在所述置信度不大于所述置信度阈值的情况下,输出第二检测结果;所述第二检测结果表示所述待检测图像不存在波纹类缺陷。
9.根据权利要求7所述的检测装置,其特征在于,所述确定模块,用于从所述待检测图像中确定待检测区域,得到第一图像,包括:
所述确定模块,具体用于从所述待检测图像中,确定连通区域,得到多个连通区域;分别计算每个所述连通区域中像素值的平均值,得到每个所述连通区域对应的平均像素值;将平均像素值最小的连通区域,作为所述待检测区域;将所述待检测图像中除所述待检测区域外的像素点的像素值设置为预设像素值,得到所述第一图像。
10.根据权利要求7所述的检测装置,其特征在于,所述增强模块,用于所述对所述第一图像进行对比度增强,得到第二图像,包括:
所述增强模块,具体用于对所述第一图像中的待检测区域进行灰度值增强,得到所述第二图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911314751.XA CN110969620A (zh) | 2019-12-19 | 2019-12-19 | 一种磁瓦波纹类缺陷的检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911314751.XA CN110969620A (zh) | 2019-12-19 | 2019-12-19 | 一种磁瓦波纹类缺陷的检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110969620A true CN110969620A (zh) | 2020-04-07 |
Family
ID=70035054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911314751.XA Pending CN110969620A (zh) | 2019-12-19 | 2019-12-19 | 一种磁瓦波纹类缺陷的检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110969620A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111929328A (zh) * | 2020-09-09 | 2020-11-13 | 深兰人工智能芯片研究院(江苏)有限公司 | 拉链缺陷检测方法和装置 |
CN112001902A (zh) * | 2020-08-19 | 2020-11-27 | 上海商汤智能科技有限公司 | 缺陷检测方法和相关装置、设备、存储介质 |
CN113034415A (zh) * | 2021-03-23 | 2021-06-25 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路机车小部件图像扩增的方法 |
CN113205178A (zh) * | 2021-04-27 | 2021-08-03 | 特斯联科技集团有限公司 | 人工智能红外图像传感系统及方法 |
CN113420664A (zh) * | 2021-06-23 | 2021-09-21 | 国网电子商务有限公司 | 基于图像的安全隐患检测方法及装置、设备及存储介质 |
CN116542980A (zh) * | 2023-07-06 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
CN117218097A (zh) * | 2023-09-23 | 2023-12-12 | 宁波江北骏欣密封件有限公司 | 一种轴套类丝网垫圈零件表面缺陷检测方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200709667A (en) * | 2005-08-26 | 2007-03-01 | Utechzone Co Ltd | Method for detecting mura defect of display by reconstructing the background image |
CN102854191A (zh) * | 2012-07-18 | 2013-01-02 | 湖南大学 | 高速铁轨表面缺陷的实时视觉检测与识别方法 |
US20170004612A1 (en) * | 2015-07-03 | 2017-01-05 | Yuan Ze University | Optical film defect detection method and system thereof |
CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
CN107564002A (zh) * | 2017-09-14 | 2018-01-09 | 广东工业大学 | 塑料管表面缺陷检测方法、系统及计算机可读存储介质 |
CN109636772A (zh) * | 2018-10-25 | 2019-04-16 | 同济大学 | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 |
-
2019
- 2019-12-19 CN CN201911314751.XA patent/CN110969620A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200709667A (en) * | 2005-08-26 | 2007-03-01 | Utechzone Co Ltd | Method for detecting mura defect of display by reconstructing the background image |
CN102854191A (zh) * | 2012-07-18 | 2013-01-02 | 湖南大学 | 高速铁轨表面缺陷的实时视觉检测与识别方法 |
US20170004612A1 (en) * | 2015-07-03 | 2017-01-05 | Yuan Ze University | Optical film defect detection method and system thereof |
WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
CN107564002A (zh) * | 2017-09-14 | 2018-01-09 | 广东工业大学 | 塑料管表面缺陷检测方法、系统及计算机可读存储介质 |
CN109636772A (zh) * | 2018-10-25 | 2019-04-16 | 同济大学 | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 |
Non-Patent Citations (1)
Title |
---|
王超;刘玉婷;徐祥宇;张涛;: "基于卷积神经网络的磁瓦缺陷检测研究", 大连民族大学学报, no. 03, 15 May 2019 (2019-05-15), pages 30 - 34 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001902A (zh) * | 2020-08-19 | 2020-11-27 | 上海商汤智能科技有限公司 | 缺陷检测方法和相关装置、设备、存储介质 |
CN111929328A (zh) * | 2020-09-09 | 2020-11-13 | 深兰人工智能芯片研究院(江苏)有限公司 | 拉链缺陷检测方法和装置 |
CN113034415A (zh) * | 2021-03-23 | 2021-06-25 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路机车小部件图像扩增的方法 |
CN113205178A (zh) * | 2021-04-27 | 2021-08-03 | 特斯联科技集团有限公司 | 人工智能红外图像传感系统及方法 |
CN113420664A (zh) * | 2021-06-23 | 2021-09-21 | 国网电子商务有限公司 | 基于图像的安全隐患检测方法及装置、设备及存储介质 |
CN116542980A (zh) * | 2023-07-06 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
CN116542980B (zh) * | 2023-07-06 | 2023-11-03 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、计算机设备、存储介质和程序产品 |
CN117218097A (zh) * | 2023-09-23 | 2023-12-12 | 宁波江北骏欣密封件有限公司 | 一种轴套类丝网垫圈零件表面缺陷检测方法及装置 |
CN117218097B (zh) * | 2023-09-23 | 2024-04-12 | 宁波江北骏欣密封件有限公司 | 一种轴套类丝网垫圈零件表面缺陷检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969620A (zh) | 一种磁瓦波纹类缺陷的检测方法及装置 | |
CN112232349A (zh) | 模型训练方法、图像分割方法及装置 | |
CN112907519A (zh) | 一种基于深度学习的金属曲面缺陷分析系统及方法 | |
CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
CN106780486A (zh) | 一种钢板表面缺陷图像提取方法 | |
CN112613097A (zh) | 一种基于计算机视觉的bim快速化建模方法 | |
CN103198319B (zh) | 用于矿山井筒环境下的模糊图像角点提取方法 | |
CN111523540A (zh) | 基于深度学习的金属表面缺陷检测方法 | |
CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
CN114331869B (zh) | 一种坝面裂缝语义分割方法 | |
CN112288760B (zh) | 一种粘连细胞图像筛除方法、系统及细胞图像分析方法 | |
CN113537037A (zh) | 路面病害识别方法、系统、电子设备及存储介质 | |
CN113240623A (zh) | 一种路面病害检测方法及装置 | |
CN113505702A (zh) | 基于双神经网络优化的路面病害识别方法及系统 | |
CN115082776A (zh) | 一种基于图像识别的电能表自动检测系统及方法 | |
CN114359538A (zh) | 一种水表读数定位与识别方法 | |
CN115578741A (zh) | 一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法 | |
CN114758125A (zh) | 基于深度学习的齿轮表面缺陷检测方法与系统 | |
CN114419006A (zh) | 一种随背景变化的灰度视频文字类水印去除方法及系统 | |
CN111444903B (zh) | 漫画气泡内文字定位方法、装置、设备及可读存储介质 | |
CN113436102A (zh) | 一种加工零件表面缺陷检测方法 | |
CN112288726A (zh) | 一种井下带式输送机带面异物检测方法 | |
JP2011170890A (ja) | 顔検出方法および装置並びにプログラム | |
CN115063679B (zh) | 一种基于深度学习的路面质量评估方法 | |
CN116258854A (zh) | 一种基于密集连接策略和图像梯度的路面裂缝分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |