CN114782391A - 少样本工业图像缺陷检测模型构建方法、系统及装置 - Google Patents
少样本工业图像缺陷检测模型构建方法、系统及装置 Download PDFInfo
- Publication number
- CN114782391A CN114782391A CN202210475852.0A CN202210475852A CN114782391A CN 114782391 A CN114782391 A CN 114782391A CN 202210475852 A CN202210475852 A CN 202210475852A CN 114782391 A CN114782391 A CN 114782391A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- defect
- detection model
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 140
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 116
- 238000012360 testing method Methods 0.000 claims abstract description 101
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 238000010276 construction Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000007306 turnover Effects 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 32
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 25
- 238000003709 image segmentation Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 23
- 230000002950 deficient Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了少样本工业图像缺陷检测模型构建方法、系统及装置,包括:将工业图像数据集划分为训练集和测试集;对训练集和测试集进行预处理,增强图像对比度;对预处理后的训练集进行随机竖直翻转和水平翻转,得到训练样本数据;将训练样本数据输入分割网络进行训练,完成检测模型的第一步构建;将掩膜图进行校正得到工业图像缺陷区域,完成检测模型的第二步构建;将所述掩膜图与所述工业图像缺陷区域进行拼接,得到一个双通道的特征图,将所述双通道特征图输入决策网络进行训练,完成检测模型的第三步构建;根据测试集不同缺陷类型的工业图像的有无缺陷分类结果对检测模型进行评价。本发明可以提高缺陷图像的检测精度和速度,并对构建模型评价。
Description
技术领域
本发明涉及少样本工业图像缺陷检测模型构建领域,尤其是涉及一种少样本工业图像缺陷检测模型构建方法、系统及装置。
背景技术
目前工业图像缺陷检测的方法可分为两大类:基于传统机器视觉的方法和基于深度学习的方法。
传统机器视觉的方法主要是理由利用阈值分割、形态学处理、小波变换、边缘检测等算法来实现缺陷检测。在深度学习中主要使用卷积神经网络来对图像进行特征提取,例如利用分类网络、分割网络、目标检测网络等实现缺陷检测,常用的模型有:ResNet、YOLO、U-Net等。
基于传统机器视觉的方法需要繁多的预处理步骤,且预处理的方法有着较强的针对性,其中大量参数需要人为设定,仅在单一检测场景下有着较好的性能表现。因此基于传统机器视觉的方法鲁棒性较差,同种检测方法难以应用在多种检测场景。而基于深度学习的方法依靠卷积神经网络优秀的特征提取能力,能够显著提高检测的精度,但此方法需要大量的图像数据去训练网络,并且为数据制作标签也要耗费大量的人力和时间。在实际工业生产中,通常可以获取大量的无缺陷图像,而有缺陷图像获取成本较高。另一方面,工业应用领域对算法的实时性和精度都有着极高的要求,主流的网络模型为了实现高精度都使用了较深的网络,这将造成较大的计算开销,难以实现实时检测。
发明内容
本发明的目的在于提供一种少样本工业图像缺陷检测模型构建方法、系统及装置,旨在解决少样本工业图像缺陷检测模型构建。
本发明提供一种基于图像分割的少样本工业图像缺陷检测模型构建方法,包括:
S1、获取工业图像数据集,将工业图像数据集划分为训练集和测试集;
S2、对训练集和测试集进行预处理,增强图像对比度;
S3、对预处理后的训练集进行随机竖直翻转和水平翻转,得到训练样本数据;
S4、将训练样本数据输入分割网络进行训练,训练完成得到掩膜图,完成检测模型的第一步构建;
S5、将掩膜图进行校正得到工业图像缺陷区域,完成检测模型的第二步构建;
S6、将所述掩膜图与所述工业图像缺陷区域进行拼接,得到一个双通道的特征图,将所述双通道特征图输入决策网络进行训练,训练完成得到训练集工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建;
S7、将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果,根据相关评价指标对检测模型进行评价。
本发明还提供一种基于图像分割的少样本工业图像缺陷检测模型构建系统,包括:
划分模块:用于获取工业图像数据集,将工业图像数据集划分为训练集和测试集;
预处理模块:用于对训练集和测试集进行预处理,增强图像对比度;
训练样本数据模块:用于对预处理后的训练集进行随机竖直翻转和水平翻转,得到训练样本数据;
分割网络模块:用于将训练样本数据输入分割网络进行训练,训练完成得到掩膜图,完成检测模型的第一步构建;
校正模块:用于将掩膜图进行校正得到工业图像缺陷区域,完成检测模型的第二步构建;
决策网络模块:用于将所述掩膜图与所述工业图像缺陷区域进行拼接,得到一个双通道的特征图,将所述双通道特征图输入决策网络进行训练,训练完成得到训练集工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建;
评价模块:用于将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果,根据相关评价指标对检测模型进行评价。
本发明实施例还提供一种少样本工业图像缺陷检测模型构建方法,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述方法的步骤。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有信息传递的实现程序,所述程序被处理器执行时实现上述方法的步骤。
采用本发明实施例,可以在使用少量缺陷样本训练的情况下,显著提高缺陷图像的检测精度和速度,并能在多种检测场景上使用,还可以对构建模型进行评价。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的流程图;
图2是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的模型流程图;
图3是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的分割网络示意图;
图4是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的注意力模块示意图;
图5是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的决策网络模块示意图;
图6是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建系统的示意图;
图7是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建装置的示意图。
附图标记说明:
610:划分模块;620:预处理模块;630:训练样本数据模块;640:分割网络模块;650:校正模块;660:决策网络模块;670:评价模块。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
方法实施例
根据本发明实施例,提供了一种基于图像分割的少样本工业图像缺陷检测模型构建方法,图1是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的流程图,如图1所示,具体包括:
S1、获取工业图像数据集,将工业图像数据集划分为训练集和测试集;
S2、对训练集和测试集进行预处理,增强图像对比度;
S2具体包括:
S21、计算所述训练集和测试集的灰度直方图;
S22、对所述灰度直方图做归一化处理;
S23、对所述归一化后的直方图计算最小值像素点和最大值像素点;
S24、对所述最小值像素点和最大值像素点逐步进行右移和左移,计算直方图两侧的概率密度之和;
S25、所述概率密度之和超过给定的阈值后,记录最小像素点索引和最大像素点索引;
S26、对训练集和测试集做灰度拉伸,其计算公式为:
output=(input-min_index)*255/(max_index-min_index)
其中input为输入的图像,min_index为所述的最小像素点索引,max_index为所述的最大像素点索引,output为输出图像;
S27、对所述输出图像进行逐像素遍历,若像素值大于255,则把该点像素值修改为255,若像素值小于0,则把该点像素值修改为0。
S3、对预处理后的训练集进行随机竖直翻转和水平翻转,得到训练样本数据;
S4、将训练样本数据输入分割网络进行训练,训练完成得到掩膜图,完成检测模型的第一步构建;
S4具体包括:将训练样本数据输入分割网络进行训练,其中,分割网络通过PyTorch深度学习框架搭建,所述分割网络由一组左右对称的编码器、解码器和两个注意力块构成;
所述编码器由三层构成,第一层的结构为两组3*3卷积+批归一化+ReLU激活进行串联构成的卷积块,后两层的结构为两组空洞卷积+批归一化+ReLU激活进行串联构成的空洞卷积块;编码器的相邻两层中接有一个最大池化下采样层;
所述解码器由三层构成,前两层均为两组3*3卷积+批归一化+ReLU激活进行串联,最后一层为两组3*3卷积+批归一化+Sigmoid激活进行串联,相邻解码器中接有一个上采样层;
所述注意力块的计算公式为:
Y(X)=X*(Sigmoid(Conv2(ReLU(Conv1(X)))))
其中X为编码器第一或第二层的输出特征图作全局平均池化后的结果,其大小为C*1*1,C为通道数目;Conv1表示通过1*1卷积将特征图通道数变为C/r,Conv2表示通过1*1卷积将特征图通道数还原为C;ReLU和Sigmoid分别为Conv1和Conv2操作后的激活函数;
训练完成得到掩膜图,完成检测模型的第一步构建。
S5、将掩膜图进行校正得到工业图像缺陷区域,完成检测模型的第二步构建;
S5具体包括:
S51:对掩膜图进行二值化处理;
S52:对所述二值化后的掩膜图做膨胀处理;
S53:对所述膨胀后的掩膜图计算轮廓,并计算各个轮廓的面积;
S54:比较轮廓面积得到面积最大的轮廓,计算面积最大轮廓的最小外接矩形,记录最小外接矩形坐标信息;
S55:根据所述矩形坐标信息计算最小外接矩形最长边与最短边的比值,确定缺陷类型,根据缺陷类型在训练集原图上提取缺陷区域。
S6、将所述掩膜图与所述工业图像缺陷区域进行拼接,得到一个双通道的特征图,将所述双通道特征图输入决策网络进行训练,训练完成得到训练集工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建;
S6具体包括:
将所述分割网络输出结果与所述缺陷区域进行拼接,得到一个双通道的特征图,使用PyTorch深度学习框架搭建决策网络,所述决策网络包括:四组3*3深度可分类卷积、Sigmoid激活层和全局平均池化层,每组深度可分离卷积后接有一个最大池化下采样层,根据所述双通道特征图训练决策网络,训练完成得到工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建。
S7、将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果,根据相关评价指标对检测模型进行评价。
S7具体包括:
S71、将预处理后的测试集输入分割网络得到测试掩膜图;
S72、将测试掩膜图进行校正得到测试工业图像缺陷区域;
S73、将所述测试掩膜图与所述测试工业图像缺陷区域进行拼接,得到一个测试双通道的特征图,将所述测试双通道特征图输入决策网络得到工业图像的缺陷概率,根据缺陷概率判断测试集工业图像是否缺陷;
S74、获取所述决策网络在测试集上正确分类的图像数量与测试集的图像总数量,计算准确率指标;
S75、获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集中被分类为缺陷图像的总数量,计算查准率指标;
S76、获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集里有缺陷的图像总量,计算召回率评价指标;
S77、获取所述查准率与召回率评价指标,计算检测模型的调和平均评价指标。
以下具体实施方式以磁瓦缺陷数据集为例,步骤包括:
图2是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的模型流程图;如图2所示:
步骤1:获取磁瓦图像数据集,并将其划分为训练集和测试集;
具体地,训练集图像包括:孔洞类缺陷30张、裂纹类缺陷30张和无缺陷图像600张。测试集图像包括:剩余的缺陷图像112张,无缺陷图像342张;
步骤2:对图像进行预处理以增强图像的对比度。步骤S2具体包括以下步骤:
步骤2.1:计算图像的灰度直方图,并对直方图做归一化处理;
步骤2.2:将直方图的最小像素索引右移一个单位,最大像素索引左移一个单位,计算此时最小像素索引左侧的概率密度之和与最大像素索引右侧的概率密度之和;
步骤2.3:重复步骤S2.2直至所述概率密度之和超过给定的阈值,并记录此时的最小像素索引和最大像素索引;
步骤2.4:对图像进行灰度拉伸,其计算公式为:
output=(input-min_index)*255/(max_index-min_index)
其中,input为输入图像,min_index和max_index分别为最小像素索引和最大像素索引,output为灰度拉伸后的输出图像;
步骤2.5:遍历图像的每一个像素,若像素值大于255,则把该点像素修改为255,若像素值小于0,则把该点像素修改为0;
图3是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的分割网络示意图;如图3所示:
步骤3:可选地,参照图3使用PyTorch深度学习框架搭建图像分割网络;
具体地,分割网络架构为一U型结构,所述U型结构包括一个编码器、两个注意力层和一个解码器,所述编码器结构为:
编码器拥有三个卷积块,所述卷积块由两组连续的3*3卷积层+批归一化层+ReLU激活层组成,前两个卷积块后接有一个最大池化下采样层;
图4是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的注意力模块示意图;如图4所示:
参照图4,所述注意力层用于所述编码器的前两个卷积块的输出,其计算公式为:
Y(X)=X*(Sigmoid(Conv2(ReLU(Conv1(X)))))
其中X为编码器第一或第二层的输出特征图作全局平均池化后的结果,其大小为C*1*1,C为通道数目。Conv1表示通过1*1卷积将特征图通道数变为C/r,r为通道数缩减的倍率。Conv2表示通过1*1卷积将特征图通道数还原为C。ReLU和Sigmoid分别为Conv1和Conv2操作后的激活函数;
所述解码器由三个卷积块组成,前两个卷积块由两组连续的3*3卷积层+批归一化层+ReLU激活层组成,最后一个卷积块将上述ReLU激活层替换为Sigmoid激活层,解码器的每个卷积块的输入为上一层特征图作2倍上采样与注意力层的输出;
步骤3.1:使用训练集中的图像训练分割网络,其损失函数为:
其中n为样本数量,yn为标签掩膜图,xn为分割网络的输出;
步骤4:对所述分割网络的输出结果做校正处理,其包括:
步骤4.1:对图像做二值化处理,以消除较暗的分割点;
步骤4.2:对所述二值化图像做形态学处理,使用5*5膨胀核对其做膨胀处理;
步骤4.3:计算所述膨胀后图像的轮廓,保留面积最大的轮廓,以去除干扰;
步骤4.4:计算所述轮廓的最小外接矩形,记录矩形坐标信息;
步骤4.5:根据所述矩形的最长边与最短边的比值,作出缺陷类型判断,并根据所述矩形坐标在原图上提取缺陷区域;
图5是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建方法的决策网络模块示意图;如图5所示:
步骤5:可选地,根据所述缺陷类型,参照图5使用深度PyTorch深度学习框架搭建决策网络,用于对不同缺陷类型的图像进行决策分类;
具体地,所述决策网络由四组3*3深度可分类卷积、Sigmoid激活层和全局平均池化层构成,每组深度可分离卷积后接有一个最大池化下采样层;
步骤6:把训练集中的图像送入训练好的分割网络,对输出结果做所述精细化处理,得到缺陷区域和分割掩膜图;
步骤7:将所述缺陷区域和分割掩膜图在通道上进行拼接,得到一个双通道的特征图;
步骤8:利用所述双通道特征图训练决策网络,损失函数为:
其中n为样本数量,xn为所述决策网络预测该图像有缺陷的概率值,yn为标签值,标签0为无缺陷,标签1为有缺陷;
步骤9:可选地,待工业图像缺陷检测模型训练完毕后,根据评价指标对磁瓦缺陷数据集中的测试集进行评价。评价指标包括准确率(Accuracy)、查准率(Precision)、召回率(Recall)、加权调和均值(F-Measure)。公式如下:
综上所述,本发明提出了一种三阶段的工业图像缺陷检测方法。本发明的模型是基于卷积神经网络实现的。首先,在分割网络模块,本发明提出了在U-Net跳跃连接前加入两个注意力层,能够使重要通道的特征图得到强调,非重要通道的特征图得到抑制,提升了模型的分割表现。其次,在分割网络中还引入了两个空洞卷积层,增大了模型的感受野,以捕捉不同大小的缺陷。另外,本发明还提出了一个精细化处理模块,用于对分割结果进一步校正,并以此提取原图中的缺陷区域。最后,本发明提出的决策网络结合缺陷区域的局部特征与全局的分割信息做出分类决策,且使用了计算量较小的深度可分离卷积,加快了计算速度。
相较于现有技术,本发明具有以下优点:
1、仅使用每类缺陷类型图像30张训练即可取得较好的分类表现;
2、在分割网络中加入了注意力层和空洞卷积,能够使得在跳跃连接时强调有用的通道特征,抑制无用的通道特征,进而提升分割性能。此外还引入了两个空洞卷积层,以适应不同大小的缺陷,增强了模型的特征捕捉能力;
3、精细化处理模块对分割结果做进一步校正,使得在提取缺陷区域时更加精准;
4、决策网络使用两个输入:分割掩膜图和缺陷区域图,结合两者信息共同做出决策,提升了分类的准确率,且使用深度可分离卷积极大的减小了计算量,加快了决策速度。
系统实施例
根据本发明实施例,提供了一种基于图像分割的少样本工业图像缺陷检测模型构建系统,图6是本发明实施例的基于图像分割的少样本工业图像缺陷检测模型构建系统的示意图,如图6所示,具体包括:
划分模块610:用于获取工业图像数据集,将工业图像数据集划分为训练集和测试集;
预处理模块620:用于对训练集和测试集进行预处理,增强图像对比度;
训练样本数据模块630:用于对预处理后的训练集进行随机竖直翻转和水平翻转,得到训练样本数据;
分割网络模块640:用于将训练样本数据输入分割网络进行训练,训练完成得到掩膜图,完成检测模型的第一步构建;
校正模块650:用于将掩膜图进行校正得到工业图像缺陷区域,完成检测模型的第二步构建;
决策网络模块660:用于将所述掩膜图与所述工业图像缺陷区域进行拼接,得到一个双通道的特征图,将所述双通道特征图输入决策网络进行训练,训练完成得到不同缺陷类型工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建;
评价模块670:用于将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果,根据相关评价指标对检测模型进行评价。
预处理模块620具体用于:
计算所述训练集和测试集的灰度直方图;
对所述灰度直方图做归一化处理;
对所述归一化后的直方图计算最小值像素点和最大值像素点;
对所述最小值像素点和最大值像素点逐步进行右移和左移,计算直方图两侧的概率密度之和;
所述概率密度之和超过给定的阈值后,记录最小像素点索引和最大像素点索引;
对训练集和测试集做灰度拉伸,其计算公式为:
output=(input-min_index)*255/(max_index-min_index)
其中input为输入的图像,min_index为所述的最小像素点索引,max_index为所述的最大像素点索引,output为输出图像;
对所述输出图像进行逐像素遍历,若像素值大于255,则把该点像素值修改为255,若像素值小于0,则把该点像素值修改为0;
所述分割网络模块具体用于:将训练样本数据输入分割网络进行训练,其中,分割网络通过PyTorch深度学习框架搭建,所述分割网络由一组左右对称的编码器、解码器和两个注意力块构成;
所述编码器由三层构成,第一层的结构为两组3*3卷积+批归一化+ReLU激活进行串联构成的卷积块,后两层的结构为两组空洞卷积+批归一化+ReLU激活进行串联构成的空洞卷积块;编码器的相邻两层中接有一个最大池化下采样层;
所述解码器由三层构成,前两层均为两组3*3卷积+批归一化+ReLU激活进行串联,最后一层为两组3*3卷积+批归一化+Sigmoid激活进行串联,相邻解码器中接有一个上采样层;
所述注意力块的计算公式为:
Y(X)=X*(Sigmoid(Conv2(ReLU(Conv1(X)))))
其中X为编码器第一或第二层的输出特征图作全局平均池化后的结果,其大小为C*1*1,C为通道数目;Conv1表示通过1*1卷积将特征图通道数变为C/r,Conv2表示通过1*1卷积将特征图通道数还原为C;ReLU和Sigmoid分别为Conv1和Conv2操作后的激活函数;
训练完成得到掩膜图,完成检测模型的第一步构建;
所述校正模块具体用于:
对掩膜图进行二值化处理;
对所述二值化后的掩膜图做膨胀处理;
对所述膨胀后的掩膜图计算轮廓,并计算各个轮廓的面积;
比较轮廓面积得到面积最大的轮廓,计算面积最大轮廓的最小外接矩形,记录最小外接矩形坐标信息;
根据所述矩形坐标信息计算最小外接矩形最长边与最短边的比值,确定缺陷类型,根据缺陷类型在训练集原图上提取缺陷区域;
所述决策网络模块具体用于:
将所述分割网络输出结果与所述缺陷区域进行拼接,得到一个双通道的特征图,使用PyTorch深度学习框架搭建决策网络,所述决策网络包括:四组3*3深度可分类卷积、Sigmoid激活层和全局平均池化层,每组深度可分离卷积后接有一个最大池化下采样层,根据所述双通道特征图训练决策网络,训练完成得到不同缺陷类型工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建;
所述评价模块具体用于:
将预处理后的测试集输入分割网络得到测试掩膜图;
将测试掩膜图进行校正得到测试工业图像缺陷区域;
将所述测试掩膜图与所述测试工业图像缺陷区域进行拼接,得到一个测试双通道的特征图,将所述测试双通道特征图输入决策网络得到工业图像的缺陷概率,根据缺陷概率判断测试集工业图像是否缺陷;
获取所述决策网络在测试集上正确分类的图像数量与测试集的图像总数量,计算准确率指标;
获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集中被分类为缺陷的图像总数量,计算查准率指标;
获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集里有缺陷的图像总量,计算召回率评价指标;
获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集里有缺陷的图像总量,计算召回率评价指标;
获取所述查准率与召回率评价指标,计算检测模型的调和平均评价指标。
本发明实施例是与上述方法实施例对应的系统实施例,各个模块的具体操作可以参照方法实施例的描述进行理解,在此不再赘述。
装置实施例一
本发明实施例提供一种图像分割的少样本工业图像缺陷检测模型构建装置,如图7所示,包括:存储器70、处理器72及存储在存储器70上并可在处理器72上运行的计算机程序,计算机程序被处理器执行时实现上述方法实施例中的步骤。
装置实施例二
本发明实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有信息传输的实现程序,程序被处理器72执行时实现上述方法实施例中的步骤。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换本发明各实施例技术方案,并不使相应技术方案的本质脱离本方案的范围。
Claims (10)
1.一种基于图像分割的少样本工业图像缺陷检测模型构建方法,其特征在于,包括:
S1、获取工业图像数据集,将工业图像数据集划分为训练集和测试集;
S2、对训练集和测试集进行预处理,增强图像对比度;
S3、对预处理后的训练集进行随机竖直翻转和水平翻转,得到训练样本数据;
S4、将训练样本数据输入分割网络进行训练,训练完成得到掩膜图,完成检测模型的第一步构建;
S5、将掩膜图进行校正得到工业图像缺陷区域,完成检测模型的第二步构建;
S6、将所述掩膜图与所述工业图像缺陷区域进行拼接,得到一个双通道的特征图,将所述双通道特征图输入决策网络进行训练,训练完成得到训练集不同缺陷类型工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建;
S7、将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果,根据相关评价指标对检测模型进行评价。
2.根据权利要求1所述的方法,其特征在于,所述S2具体包括:
S21、计算所述训练集和测试集的灰度直方图;
S22、对所述灰度直方图做归一化处理;
S23、对所述归一化后的直方图计算最小值像素点和最大值像素点;
S24、对所述最小值像素点和最大值像素点逐步进行右移和左移,计算直方图两侧的概率密度之和;
S25、所述概率密度之和超过给定的阈值后,记录最小像素点索引和最大像素点索引;
S26、对训练集和测试集做灰度拉伸,其计算公式为:
output=(input-min_index)*255/(max_index-min_index)
其中input为输入的图像,min_index为所述的最小像素点索引,max_index为所述的最大像素点索引,output为输出图像;
S27、对所述输出图像进行逐像素遍历,若像素值大于255,则把该点像素值修改为255,若像素值小于0,则把该点像素值修改为0。
3.根据权利要求2所述的方法,其特征在于,所述S4具体包括:将训练样本数据输入分割网络进行训练,其中,分割网络通过PyTorch深度学习框架搭建,所述分割网络由一组左右对称的编码器、解码器和两个注意力块构成;
所述编码器由三层构成,第一层的结构为两组3*3卷积+批归一化+ReLU激活进行串联构成的卷积块,后两层的结构为两组空洞卷积+批归一化+ReLU激活进行串联构成的空洞卷积块;编码器的相邻两层中接有一个最大池化下采样层;
所述解码器由三层构成,前两层均为两组3*3卷积+批归一化+ReLU激活进行串联,最后一层为两组3*3卷积+批归一化+Sigmoid激活进行串联,相邻解码器中接有一个上采样层;
所述注意力块的计算公式为:
Y(X)=X*(Sigmoid(Conv2(ReLU(Conv1(X)))))
其中X为编码器第一层或第二层的输出特征图作全局平均池化后的结果,其大小为C*1*1,C为通道数目;Conv1表示通过1*1卷积将特征图通道数变为C/r,Conv2表示通过1*1卷积将特征图通道数还原为C;ReLU和Sigmoid分别为Conv1和Conv2操作后的激活函数;
训练完成得到掩膜图,完成检测模型的第一步构建。
4.根据权利要求3所述的方法,其特征在于,所述S5具体包括:
S51:对掩膜图进行二值化处理;
S52:对所述二值化后的掩膜图做膨胀处理;
S53:对所述膨胀后的掩膜图计算轮廓,并计算各个轮廓的面积;
S54:比较轮廓面积得到面积最大的轮廓,计算面积最大轮廓的最小外接矩形,记录最小外接矩形坐标信息;
S55:根据所述矩形坐标信息计算最小外接矩形最长边与最短边的比值,确定缺陷类型,根据缺陷类型在训练集原图上提取缺陷区域。
5.根据权利要求4所述的方法,其特征在于,所述S6具体包括:
将所述分割网络输出结果与所述缺陷区域进行拼接,得到一个双通道的特征图,使用PyTorch深度学习框架搭建决策网络,所述决策网络包括:四组3*3深度可分类卷积、Sigmoid激活层和全局平均池化层,每组深度可分离卷积后接有一个最大池化下采样层,根据所述双通道特征图训练决策网络,训练完成得到工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建。
6.根据权利要求5所述的方法,其特征在于,所述S7具体包括:
S71、将预处理后的测试集输入分割网络得到测试掩膜图;
S72、将测试掩膜图进行校正得到测试工业图像缺陷区域;
S73、将所述测试掩膜图与所述测试工业图像缺陷区域进行拼接,得到一个测试双通道的特征图,将所述测试双通道特征图输入决策网络得到工业图像的缺陷概率,根据缺陷概率判断测试集工业图像是否缺陷;
S74、获取所述决策网络在测试集上正确分类的图像数量与测试集的图像总数量,计算准确率指标;
S75、获取所述决策网络在测试集上被正确分类为有缺陷的图像数量与测试集中被分类为缺陷图像的总数量,计算查准率指标;
S76、获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集里有缺陷的图像总量,计算召回率评价指标;
S77、获取所述查准率与召回率评价指标,计算检测模型的调和平均评价指标。
7.一种基于图像分割的少样本工业图像缺陷检测模型构建系统,其特征在于,包括:
划分模块:用于获取工业图像数据集,将工业图像数据集划分为训练集和测试集;
预处理模块:用于对训练集和测试集进行预处理,增强图像对比度;
训练样本数据模块:用于对预处理后的训练集进行随机竖直翻转和水平翻转,得到训练样本数据;
分割网络模块:用于将训练样本数据输入分割网络进行训练,训练完成得到掩膜图,完成检测模型的第一步构建;
校正模块:用于将掩膜图进行校正得到工业图像缺陷区域,完成检测模型的第二步构建;
决策网络模块:用于将所述掩膜图与所述工业图像缺陷区域进行拼接,得到一个双通道的特征图,将所述双通道特征图输入决策网络进行训练,训练完成得到训练集工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建;
评价模块:用于将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果,根据相关评价指标对检测模型进行评价。
8.根据权利要求7所述的系统,其特征在于,包括:所述预处理模块具体用于:
计算所述训练集和测试集的灰度直方图;
对所述灰度直方图做归一化处理;
对所述归一化后的直方图计算最小值像素点和最大值像素点;
对所述最小值像素点和最大值像素点逐步进行右移和左移,计算直方图两侧的概率密度之和;
所述概率密度之和超过给定的阈值后,记录最小像素点索引和最大像素点索引;
对训练集和测试集做灰度拉伸,其计算公式为:
output=(input-min_index)*255/(max_index-min_index)
其中input为输入的图像,min_index为所述的最小像素点索引,max_index为所述的最大像素点索引,output为输出图像;
对所述输出图像进行逐像素遍历,若像素值大于255,则把该点像素值修改为255,若像素值小于0,则把该点像素值修改为0;
所述分割网络模块具体用于:将训练样本数据输入分割网络进行训练,其中,分割网络通过PyTorch深度学习框架搭建,所述分割网络由一组左右对称的编码器、解码器和两个注意力块构成;
所述编码器由三层构成,第一层的结构为两组3*3卷积+批归一化+ReLU激活进行串联构成的卷积块,后两层的结构为两组空洞卷积+批归一化+ReLU激活进行串联构成的空洞卷积块;编码器的相邻两层中接有一个最大池化下采样层;
所述解码器由三层构成,前两层均为两组3*3卷积+批归一化+ReLU激活进行串联,最后一层为两组3*3卷积+批归一化+Sigmoid激活进行串联,相邻解码器中接有一个上采样层;
所述注意力块的计算公式为:
Y(X)=X*(Sigmoid(Conv2(ReLU(Conv1(X)))))
其中X为编码器第一层或第二层的输出特征图作全局平均池化后的结果,其大小为C*1*1,C为通道数目;Conv1表示通过1*1卷积将特征图通道数变为C/r,Conv2表示通过1*1卷积将特征图通道数还原为C;ReLU和Sigmoid分别为Conv1和Conv2操作后的激活函数;
训练完成得到掩膜图,完成检测模型的第一步构建;
所述校正模块具体用于:
对掩膜图进行二值化处理;
对所述二值化后的掩膜图做膨胀处理;
对所述膨胀后的掩膜图计算轮廓,并计算各个轮廓的面积;
比较轮廓面积得到面积最大的轮廓,计算面积最大轮廓的最小外接矩形,记录最小外接矩形坐标信息;
根据所述矩形坐标信息计算最小外接矩形最长边与最短边的比值,确定缺陷类型,根据缺陷类型在训练集原图上提取缺陷区域;
所述决策网络模块具体用于:
将所述分割网络输出结果与所述缺陷区域进行拼接,得到一个双通道的特征图,使用PyTorch深度学习框架搭建决策网络,所述决策网络包括:四组3*3深度可分类卷积、Sigmoid激活层和全局平均池化层,每组深度可分离卷积后接有一个最大池化下采样层,根据所述双通道特征图训练决策网络,训练完成得到工业图像的缺陷概率,根据缺陷概率判断训练集工业图像是否缺陷,完成检测模型的第三步构建;
所述评价模块具体用于:
将预处理后的测试集输入分割网络得到测试掩膜图;
将测试掩膜图进行校正得到测试工业图像缺陷区域;
将所述测试掩膜图与所述测试工业图像缺陷区域进行拼接,得到一个测试双通道的特征图,将所述测试双通道特征图输入决策网络得到工业图像的缺陷概率,根据缺陷概率判断测试集工业图像是否缺陷;
获取所述决策网络在测试集上正确分类的图像数量与测试集的图像总数量,计算准确率指标;
获取所述决策网络在测试集上被正确分类为有缺陷的图像数量与测试集中被分类为缺陷的图像总量,计算查准率指标;
获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集里有缺陷的图像总量,计算召回率评价指标;
获取所述决策网络在测试集上的查准与召回率评价指标,计算检测模型的调和平均评价指标。
9.一种基于图像分割的少样本工业图像缺陷检测模型构建装置,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于图像分割的少样本工业图像缺陷检测模型构建方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有信息传递的实现程序,所述程序被处理器执行时实现如权利要求1至6中任一项所述的基于图像分割的少样本工业图像缺陷检测模型构建方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210475852.0A CN114782391A (zh) | 2022-04-29 | 2022-04-29 | 少样本工业图像缺陷检测模型构建方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210475852.0A CN114782391A (zh) | 2022-04-29 | 2022-04-29 | 少样本工业图像缺陷检测模型构建方法、系统及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114782391A true CN114782391A (zh) | 2022-07-22 |
Family
ID=82434935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210475852.0A Pending CN114782391A (zh) | 2022-04-29 | 2022-04-29 | 少样本工业图像缺陷检测模型构建方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114782391A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272310A (zh) * | 2022-09-26 | 2022-11-01 | 江苏智云天工科技有限公司 | 工件的缺陷检测方法及装置 |
CN116030038A (zh) * | 2023-02-23 | 2023-04-28 | 季华实验室 | 基于缺陷生成的无监督oled缺陷检测方法 |
CN116448760A (zh) * | 2023-03-21 | 2023-07-18 | 上海华维可控农业科技集团股份有限公司 | 一种基于机器视觉的农业智能监测系统及方法 |
CN116563273A (zh) * | 2023-06-30 | 2023-08-08 | 张家港广大特材股份有限公司 | 用于钢材缺陷的检测预警方法及系统 |
CN116630242A (zh) * | 2023-04-28 | 2023-08-22 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
CN117110287A (zh) * | 2023-10-24 | 2023-11-24 | 广州冰泉制冷设备有限责任公司 | 一种可食用冰球制作质量检测方法 |
CN117437459A (zh) * | 2023-10-08 | 2024-01-23 | 昆山市第一人民医院 | 基于决策网络实现用户膝关节髌骨软化状态分析方法 |
-
2022
- 2022-04-29 CN CN202210475852.0A patent/CN114782391A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115272310A (zh) * | 2022-09-26 | 2022-11-01 | 江苏智云天工科技有限公司 | 工件的缺陷检测方法及装置 |
CN116030038A (zh) * | 2023-02-23 | 2023-04-28 | 季华实验室 | 基于缺陷生成的无监督oled缺陷检测方法 |
CN116448760A (zh) * | 2023-03-21 | 2023-07-18 | 上海华维可控农业科技集团股份有限公司 | 一种基于机器视觉的农业智能监测系统及方法 |
CN116448760B (zh) * | 2023-03-21 | 2023-10-20 | 上海华维可控农业科技集团股份有限公司 | 一种基于机器视觉的农业智能监测系统及方法 |
CN116630242A (zh) * | 2023-04-28 | 2023-08-22 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
CN116630242B (zh) * | 2023-04-28 | 2024-01-12 | 广东励图空间信息技术有限公司 | 一种基于实例分割的管道缺陷评估方法及装置 |
CN116563273A (zh) * | 2023-06-30 | 2023-08-08 | 张家港广大特材股份有限公司 | 用于钢材缺陷的检测预警方法及系统 |
CN116563273B (zh) * | 2023-06-30 | 2023-10-27 | 张家港广大特材股份有限公司 | 用于钢材缺陷的检测预警方法及系统 |
CN117437459A (zh) * | 2023-10-08 | 2024-01-23 | 昆山市第一人民医院 | 基于决策网络实现用户膝关节髌骨软化状态分析方法 |
CN117437459B (zh) * | 2023-10-08 | 2024-03-22 | 昆山市第一人民医院 | 基于决策网络实现用户膝关节髌骨软化状态分析方法 |
CN117110287A (zh) * | 2023-10-24 | 2023-11-24 | 广州冰泉制冷设备有限责任公司 | 一种可食用冰球制作质量检测方法 |
CN117110287B (zh) * | 2023-10-24 | 2024-01-16 | 广州冰泉制冷设备有限责任公司 | 一种可食用冰球制作质量检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114782391A (zh) | 少样本工业图像缺陷检测模型构建方法、系统及装置 | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
CN108345892B (zh) | 一种立体图像显著性的检测方法、装置、设备及存储介质 | |
CN112614136B (zh) | 一种红外小目标实时实例分割方法及装置 | |
CN113052834B (zh) | 一种基于卷积神经网络多尺度特征的管道缺陷检测方法 | |
CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
CN112767369A (zh) | 小五金的缺陷识别检测方法、装置及计算机可读存储介质 | |
CN113469997B (zh) | 平面玻璃的检测方法、装置、设备和介质 | |
CN116485709A (zh) | 一种基于YOLOv5改进算法的桥梁混凝土裂缝检测方法 | |
CN111353396A (zh) | 一种基于SCSEOCUnet的混凝土裂缝分割方法 | |
CN116110036B (zh) | 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置 | |
CN110929635A (zh) | 基于信任机制下面部交并比的假脸视频检测方法及系统 | |
CN112163490A (zh) | 一种基于场景图片的目标检测方法 | |
CN111539456B (zh) | 一种目标识别方法及设备 | |
CN114972216A (zh) | 一种纹理表面缺陷检测模型的构建方法及其应用 | |
CN114782410A (zh) | 一种基于轻量化模型的绝缘子缺陷检测方法及其系统 | |
CN114663382A (zh) | 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法 | |
CN112926595B (zh) | 深度学习神经网络模型的训练装置、目标检测系统及方法 | |
CN113888477A (zh) | 网络模型的训练方法、金属表面缺陷检测方法及电子设备 | |
CN112669301B (zh) | 一种高铁底板脱漆故障检测方法 | |
CN112348762A (zh) | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 | |
CN110136098B (zh) | 一种基于深度学习的线缆顺序检测方法 | |
CN115830054A (zh) | 基于多窗口高低频视觉变换器的裂缝图像分割方法 | |
CN111539434A (zh) | 基于相似度的红外弱小目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |