CN111814852A - 图像检测方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像检测方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111814852A
CN111814852A CN202010587703.4A CN202010587703A CN111814852A CN 111814852 A CN111814852 A CN 111814852A CN 202010587703 A CN202010587703 A CN 202010587703A CN 111814852 A CN111814852 A CN 111814852A
Authority
CN
China
Prior art keywords
detected
image
region
threshold
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010587703.4A
Other languages
English (en)
Inventor
王志成
张毅飞
曹婷
白洪亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Feisou Technology Co ltd
Ricoh Software Research Center Beijing Co Ltd
Original Assignee
Suzhou Feisou Technology Co ltd
Ricoh Software Research Center Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Feisou Technology Co ltd, Ricoh Software Research Center Beijing Co Ltd filed Critical Suzhou Feisou Technology Co ltd
Priority to CN202010587703.4A priority Critical patent/CN111814852A/zh
Publication of CN111814852A publication Critical patent/CN111814852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像检测方法、装置、电子设备和计算机可读存储介质,所述方法包括:获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域;利用分类算法确定各待检测区域的类别得分;将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较,根据比较结果得到所述待检测图像的检测结果。本申请的图像检测方法通过对图像进行预处理,提高了图像分类精度,并利用一段时间内的历史统计信息和空间上下文信息来进行图像分类,使得分类结果更加准确和合理,极大地减少了误判率。

Description

图像检测方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及图像检测技术领域,具体涉及一种图像检测方法、装置、电子设备和计算机可读存储介质。
背景技术
检测技术是工业机械制造业发展的重要因素。传统的检测技术多为人工检测,人为因素对检测结果的影响较大,耗时费力、检测效率不高,已越来越不适应现在的工业自动化生产。而图像检测技术以其精度高、动态范围大、可非接触在线检测等优点,越来越广泛的应用于工业生产线之中。因此,图像检测技术具有广阔的前景和实用性。
然而,发明人发现,在单个物体存在多个类似检测区域的场景下,由于不同批次、不同时期的工件等物体会存在持续的、不确定性的差异,采用现有技术中的图像缺陷检测方法进行缺陷检测容易出现误判等问题。
发明内容
鉴于上述问题,提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的图像检测方法、装置、电子设备和计算机可读存储介质。
依据本申请的第一方面,提供了一种图像检测方法,包括:
获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域;
利用分类算法确定各待检测区域的类别得分;
将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较,根据比较结果得到所述待检测图像的检测结果。
可选地,所述获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域包括:
根据多个所述待检测区域确定当前区域及与所述当前区域对应的相邻区域;
基于所述空间上下文信息,利用所述相邻区域的灰度值对所述当前区域的灰度值进行校正。
可选地,所述获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域包括:
确定各待检测区域的灰度值均值;
根据所述当前区域与各相邻区域的距离,确定各相邻区域对所述当前区域的影响权重;
根据相邻区域的灰度值均值和对应的影响权重,计算相邻区域的灰度值的加权平均值;
根据相邻区域的灰度值的加权平均值与当前区域的灰度值均值的差值,对所述当前区域的灰度值进行校正。
可选地,所述历史统计信息包括正样本图像和负样本图像的类别得分,所述基于历史统计信息确定的分类阈值包括第一阈值和第二阈值,所述将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较包括:
获取预设时间段内的正样本图像和负样本图像的类别得分;
根据正样本图像的类别得分确定所述第一阈值,以及根据负样本图像的类别得分确定所述第二阈值。
可选地,所述根据比较结果得到所述待检测图像的检测结果包括:
当所述待检测图像中的各待检测区域的类别得分均不小于所述第一阈值时,则确定所述待检测图像为所述正样本图像;
当所述待检测图像中的任一待检测区域的类别得分不大于所述第二阈值时,则确定所述待检测图像为所述负样本图像。
可选地,所述根据比较结果得到所述待检测图像的检测结果包括:
当所述待检测图像中的任一待检测区域的类别得分大于所述第二阈值且小于所述第一阈值时,利用所述基于空间上下文信息确定的分类阈值确定所述待检测图像的检测结果。
可选地,所述历史统计信息包括类别得分在所述第二阈值和所述第一阈值之间的难样本图像,所述利用基于空间上下文信息确定的分类阈值确定所述待检测图像的检测结果包括:
获取预设时间段内各难样本图像的类别得分,并计算所述难样本图像的类别得分的均值,作为所述基于空间上下文信息确定的分类阈值;
计算所述待检测图像中各待检测区域的类别得分的均值,并将所述待检测图像的类别得分的均值与所述难样本图像的类别得分的均值进行比较;
当所述待检测图像的类别得分的均值小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述负样本图像,以及当所述待检测图像的类别得分的均值不小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述正样本图像。
依据本申请的第二方面,提供了一种图像检测装置,包括:
获取单元,用于获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域;
确定单元,用于利用分类算法确定各待检测区域的类别得分;
比较单元,用于将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较,根据比较结果得到所述待检测图像的检测结果。
可选地,所述获取单元还用于:
根据多个所述待检测区域确定当前区域及与所述当前区域对应的相邻区域;
基于所述空间上下文信息,利用所述相邻区域的灰度值对所述当前区域的灰度值进行校正。
可选地,所述获取单元还用于:
确定各待检测区域的灰度值均值;
根据所述当前区域与各相邻区域的距离,确定各相邻区域对所述当前区域的影响权重;
根据相邻区域的灰度值均值和对应的影响权重,计算相邻区域的灰度值的加权平均值;
根据相邻区域的灰度值的加权平均值与当前区域的灰度值均值的差值,对所述当前区域的灰度值进行校正。
可选地,所述历史统计信息包括正样本图像和负样本图像的类别得分,所述基于历史统计信息确定的分类阈值包括第一阈值和第二阈值,所述比较单元还用于:
获取预设时间段内的正样本图像和负样本图像的类别得分;
根据正样本图像的类别得分确定所述第一阈值,以及根据负样本图像的类别得分确定所述第二阈值。
可选地,所述比较单元还用于:
当所述待检测图像中的各待检测区域的类别得分均不小于所述第一阈值时,则确定所述待检测图像为所述正样本图像;
当所述待检测图像中的任一待检测区域的类别得分不大于所述第二阈值时,则确定所述待检测图像为所述负样本图像。
可选地,所述比较单元还用于:
当所述待检测图像中的任一待检测区域的类别得分大于所述第二阈值且小于所述第一阈值时,利用所述基于空间上下文信息确定的分类阈值确定所述待检测图像的检测结果。
可选地,所述历史统计信息包括类别得分在所述第二阈值和所述第一阈值之间的难样本图像,所述比较单元还用于:
获取预设时间段内各难样本图像的类别得分,并计算所述难样本图像的类别得分的均值,作为所述基于空间上下文信息确定的分类阈值;
计算所述待检测图像中各待检测区域的类别得分的均值,并将所述待检测图像的类别得分的均值与所述难样本图像的类别得分的均值进行比较;
当所述待检测图像的类别得分的均值小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述负样本图像,以及当所述待检测图像的类别得分的均值不小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述正样本图像。
依据本申请的第三方面,提供了一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上述任一所述的图像检测方法。
依据本申请的第四方面,提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如上述任一所述的图像检测方法。
由上述可知,本申请的技术方案,通过获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域;利用分类算法确定各待检测区域的类别得分;将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较,根据比较结果得到所述待检测图像的检测结果。本申请的图像检测方法通过对图像进行预处理,提高了图像分类精度,并利用一段时间内的历史统计信息和空间上下文信息来进行图像分类,使得分类结果更加准确和合理,极大地减少了误判率。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本申请一个实施例的图像检测方法的流程示意图;
图2示出了根据本申请一个实施例的图像检测流程示意图;
图3示出了根据本申请一个实施例的图像检测装置的结构示意图;
图4示出了根据本申请一个实施例的电子设备的结构示意图;
图5示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
针对现有的图像缺陷检测方法在进行缺陷检测时容易出现误判等问题,现有技术中也提出了一些改进方案。
例如,现有技术中采用Focal loss(焦点损失函数)来解决one-stage(一阶段)目标检测中正负样本比例严重失衡的问题。Focal loss是在标准交叉熵损失函数基础上修改得到的,其降低了大量简单负样本在训练中所占的权重,也可理解为一种难样本挖掘,使得模型在训练时更专注于难分类的样本,进而获得更为准确的分类结果。然而,在工件缺陷检测等应用场景下,由于工件差异变化的随机性,导致采用Focal loss的单一阈值判断方法仍然会出现误判。而其他的采用生成技术等扩充样本的方法,由于生成的样本并不能很好的代表真实样本,因此也很难解决误判等问题。
基于此,本申请实施例提供了一种图像检测方法,如图1所示,所述图像检测方法包括如下的步骤S110至步骤S130:
步骤S110,获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域。
在对工件等物体进行缺陷检测的场景下,可以先获取该物体的图像作为待检测图像,图像获取的方式可以是采用高清摄像头等专业成像设备对待检测的工件进行高清图像采集以作为待检测图像,具体采用何种方式获取待检测物体的图像,本领域技术人员可以根据实际情况灵活选择,在此不作具体限定。
在得到待检测图像后,本申请实施例为了提高对待检测图像的分类准确度,降低误判率,将待检测图像分割为多个待检测区域,以对各待检测区域分别进行后续的分类判断过程。这里的图像分割是指利用图像的灰度、颜色、纹理、形状等特征,把图像分成若干个互不重叠的区域,并使这些特征在同一区域内呈现相似性,在不同的区域之间存在明显的差异性。然后就可以将分割的图像中具有独特性质的区域提取出来用于不同的研究。在本申请实施例中,可以采用的图像分割方法包括但不限于:分水岭算法、聚类算法和U-Net算法(一种基于卷积神经网络的图像分割网络)等。
分水岭算法是一种图像区域分割法,在分割的过程中,它会把跟临近像素间的相似性作为重要的参考依据,从而将在空间位置上相近并且灰度值相近(求梯度)的像素点互相连接起来构成一个封闭的轮廓。分水岭算法常用的操作步骤有:彩色图像灰度化,然后再求梯度图,最后在梯度图的基础上进行分水岭算法,求得分段图像的边缘线。聚类算法常用的主要有K-均值聚类算法(K-means聚类算法),通过对图像像素点颜色进行聚类实现简单的图像分割。U-Net算法是一种由卷积层、最大池化层、反卷积层以及ReLU非线性激活函数等组成的深度学习分割方法。具体采用哪种图像分割方法本领域技术人员可以根据实际情况灵活选择,在此不一一列举。
步骤S120,利用分类算法确定各待检测区域的类别得分。
在得到待检测图像对应的各待检测区域后,利用图像分类算法对各待检测区域进行分类,得到各待检测区域对应的类别得分。这里的图像分类算法可以包括但不限于:SVM(Support Vector Machine,支持向量机)、ResNet残差网络等分类算法。通过将采集得到的缺陷样本与正常样本输入到上述分类器中进行训练,得到可以预测待检测区域类别的分类模型。本申请实施例所说的缺陷样本和正常样本的界定标准可以根据不同工业使用标准来确定,符合标准的即界定为正常样本,不符合标准的即界定为缺陷样本。
步骤S130,将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较,根据比较结果得到所述待检测图像的检测结果。
在得到各待检测区域的类别得分后,为了准确识别出有缺陷的物体,可以将各待检测区域的类别得分分别与分类阈值进行比较,该分类阈值可以作为衡量该待检测图像对应的物体是否存在缺陷的标准,具体可以包括基于历史统计信息确定的分类阈值和基于空间上下文信息确定的分类阈值。这里的历史统计信息可以是指对一段时间内不同批次、不同时段的正常样本和缺陷样本的类别得分进行统计得到的信息。空间上下文信息是目标检测和识别领域会用到的语义信息,空间上下文信息的描述通常可以分为两层:即第一层描述的是不同区域之间的关联;第二层描述的是图像中不同的目标之间的关联;目标与区域之间的关联描述在两层之间。在本申请实施例中的空间上下文信息可以理解为是针对不同区域之间的关联的描述。
本申请实施例通过将各待检测区域的类别得分与基于历史统计信息确定的分类阈值进行比较,可以更准确地确定出哪些待检测图像是正常样本,哪些待检测图像是缺陷样本。对于基于历史统计信息确定的分类阈值无法确定的待检测图像,可以进一步结合基于空间上下文信息确定的分类阈值来进行辅助判断,以尽可能保证所有的待检测图像均能得到准确的分类结果。
本申请实施例的图像检测方法通过对待检测图像进行图像分割,并利用一段时间内的历史统计信息和空间上下文信息来进行图像分类,使得分类结果更加准确和合理,极大地减少了误判率。
在本申请的一个实施例中,所述获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域包括:根据多个所述待检测区域确定当前区域及与所述当前区域对应的相邻区域;基于所述空间上下文信息,利用所述相邻区域的灰度值对所述当前区域的灰度值进行校正。
为了提高所采集的待检测图像的质量,提高后续图像的检测精度,本申请实施例在对图像进行区域分割后,对得到的各待检测区域进行了去噪等预处理操作,在进行去噪处理时,可以针对各区域分别进行,例如先确定当前需要进行去噪处理的待检测区域及与该当前区域对应的相邻区域。之后再结合空间上下文信息,利用相邻区域的图像灰度值对当前区域的灰度值进行校正。上述过程可以对去除待检测图像的噪声,减少了光照不均匀等对图像质量的影响,以提高图像的分类准确度,降低误判率。
在本申请的一个实施例中,所述获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域包括:确定各待检测区域的灰度值均值;根据所述当前区域与各相邻区域的距离,确定各相邻区域对所述当前区域的影响权重;根据相邻区域的灰度值均值和对应的影响权重,计算相邻区域的灰度值的加权平均值;根据相邻区域的灰度值的加权平均值与当前区域的灰度值均值的差值,对所述当前区域的灰度值进行校正。
具体实施时,本申请实施例在基于空间上下文信息对待检测图像的各区域进行去噪等预处理操作时,可以先根据与当前区域相邻的其他区域的灰度平均值计算一个加权平均值,通过该加权平均值与当前区域的灰度平均值进行差值计算,并将该差值累加到当前区域的灰度值上,进而得到校正后的图像,具体可以采用如下公式:
Figure BDA0002554388770000091
Figure BDA0002554388770000101
fi(x,y)′=fi(x,y)+Δui, (3)
其中,
Figure BDA0002554388770000102
为除了第i个待检测区域外的其他相邻区域的加权灰度平均值,wji∈(0,1)表示与当前区域距离为j的相邻区域的权重,权重值与距离成反比,uji为与当前区域距离为j的相邻区域的平均灰度值,ui为当前区域的平均灰度值;Δui为加权平均灰度值与当前平均灰度值的差值,fi(x,y)为当前区域校正前的灰度值,fi(x,y)′为当前区域校正后的灰度值。
在本申请的一个实施例中,所述历史统计信息包括正样本图像和负样本图像的类别得分,所述基于历史统计信息确定的分类阈值包括第一阈值和第二阈值,所述将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较包括:获取预设时间段内的正样本图像和负样本图像的类别得分;根据正样本图像的类别得分确定所述第一阈值,以及根据负样本图像的类别得分确定所述第二阈值。
上述基于空间上下文信息的分类阈值可以通过如下方式确定:统计一段时间内的不同批次、不同时段的正负样本图像的类别预测得分值score,可以得到两个阈值,其中通过统计正样本图像的类别得分的中位数得到的是上述第一阈值T1,通过统计负样本图像类别得分的中位数得到的是上述第二阈值T2,具体地:
T1=f1(Xpos), (4)
T2=f2(Xneg), (5)
其中,Xpos、Xneg分别为正样本图像和负样本图像的类别得分,f表示类别得分的统计方法,包括但不限于计算类别得分的中位数,本申请实施例中以中位数统计为例。本申请实施例中的正样本图像可以理解为图像中的物体不存在缺陷或者缺陷可忽略不计,负样本图像则可以理解为图像中的物体存在不可忽略的缺陷。
在本申请的一个实施例中,所述根据比较结果得到所述待检测图像的检测结果包括:当所述待检测图像中的各待检测区域的类别得分均不小于所述第一阈值时,则确定所述待检测图像为所述正样本图像;当所述待检测图像中的任一待检测区域的类别得分不大于所述第二阈值时,则确定所述待检测图像为所述负样本图像。
为了提高对于缺陷工件的检测精度,本申请实施例可以限定当且仅当所有区域的类别得分score≥T1时,则确定该待检测图像为正样本图像,图像中对应的物体为正常工件;当存在任意一个区域的类别得分score≤T2时,则确定该待检测图像为负样本图像,图像中对应的物体为缺陷工件。
当然对于正负样本图像的界定也可以不限于上述列举的情形,例如也可以限定为是当图像中绝大部分区域的类别得分大于等于T1时,就可以认定其为正样本图像,当图像中一小部分区域的类别得分小于等于T2时,就可以认定其为负样本图像。具体如何划分正负样本图像,可根据实际应用中工件的使用标准来确定,在此不一一列举。
在本申请的一个实施例中,所述根据比较结果得到所述待检测图像的检测结果包括:当所述待检测图像中的任一待检测区域的类别得分大于所述第二阈值且小于所述第一阈值时,利用所述基于空间上下文信息确定的分类阈值确定所述待检测图像的检测结果。
除了上述列举的两种情形,还有一种情形是待检测图像中有至少一个待检测区域的类别得分score介于上述两个阈值之间,即T2<score<T1,此时基于历史统计信息将无法判断出该待检测区域的分类结果,因此对于类别得分在这两个阈值之间的待检测区域,可以进一步结合空间上下文信息来辅助判断,并根据基于空间上下文信息确定的分类阈值来确定该待检测区域的分类结果。
在本申请的一个实施例中,所述历史统计信息包括类别得分在所述第二阈值和所述第一阈值之间的难样本图像,所述利用基于空间上下文信息确定的分类阈值确定所述待检测图像的检测结果包括:获取预设时间段内各难样本图像的类别得分,并计算所述难样本图像的类别得分的均值,作为所述基于空间上下文信息确定的分类阈值;计算所述待检测图像中各待检测区域的类别得分的均值,并将所述待检测图像的类别得分的均值与所述难样本图像的类别得分的均值进行比较;当所述待检测图像的类别得分的均值小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述负样本图像,以及当所述待检测图像的类别得分的均值不小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述正样本图像。
具体实施时,本申请实施例可以将上述基于历史统计信息无法做出判断即类别得分在第二阈值和第一阈值之间的待检测区域所对应的图像定义为难样本图像。在利用空间上下文信息对难样本图像进行分类时,可以先通过历史数据统计类别得分在T1和T2之间的样本图像的类别得分均值作为基于空间上下文信息确定的分类阈值TAvg,之后计算待检测的难样本图像的所有区域的类别得分的算术平均值Avg,当时Avg<TAvg时,则确定该图像中的物体为缺陷工件,当Avg≥TAvg时,则确定该图像中的物体为正常工件。
如图2所示,提供了一种图像检测流程示意图。首先获取待检测图像并进行区域分割,得到多个待检测区域,对各个待检测区域进行去噪等预处理操作。之后利用训练好的分类器确定各待检测区域的类别得分,并将各待检测区域的类别得分分别与基于历史统计信息确定的第一阈值和第二阈值进行比较,如果待检测图像中的任一待检测区域的类别得分不大于第二阈值,则得到待检测图像为负样本图像的检测结果;如果待检测图像中的各待检测区域的类别得分均不小于第一阈值,则得到待检测图像为正样本图像的检测结果。而如果待检测图像中有至少一个待检测区域的类别得分介于上述两个阈值之间时,则可以进一步结合基于空间上下文信息确定的分类阈值进行辅助判断,进而得到最终的图像检测结果。
本申请实施例还提供了一种图像检测装置300,如图3所示,所述图像检测装置300包括:获取单元310、确定单元320和比较单元330。
本申请实施例的获取单元310,用于获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域。
在对工件等物体进行缺陷检测的场景下,可以先获取该物体的图像作为待检测图像,图像获取的方式可以是采用高清摄像头等专业成像设备对待检测的工件进行高清图像采集以作为待检测图像,具体采用何种方式获取待检测物体的图像,本领域技术人员可以根据实际情况灵活选择,在此不作具体限定。
在得到待检测图像后,本申请实施例为了提高对待检测图像的分类准确度,降低误判率,将待检测图像分割为多个待检测区域,以对各待检测区域分别进行后续的分类判断过程。这里的图像分割是指利用图像的灰度、颜色、纹理、形状等特征,把图像分成若干个互不重叠的区域,并使这些特征在同一区域内呈现相似性,在不同的区域之间存在明显的差异性。然后就可以将分割的图像中具有独特性质的区域提取出来用于不同的研究。在本申请实施例中,可以采用的图像分割方法包括但不限于:分水岭算法、聚类算法和U-Net算法(一种基于卷积神经网络的图像分割网络)等。
分水岭算法是一种图像区域分割法,在分割的过程中,它会把跟临近像素间的相似性作为重要的参考依据,从而将在空间位置上相近并且灰度值相近(求梯度)的像素点互相连接起来构成一个封闭的轮廓。分水岭算法常用的操作步骤有:彩色图像灰度化,然后再求梯度图,最后在梯度图的基础上进行分水岭算法,求得分段图像的边缘线。聚类算法常用的主要有K-均值聚类算法(K-means聚类算法),通过对图像像素点颜色进行聚类实现简单的图像分割。U-Net算法是一种由卷积层、最大池化层、反卷积层以及ReLU非线性激活函数等组成的深度学习分割方法。具体采用哪种图像分割方法本领域技术人员可以根据实际情况灵活选择,在此不一一列举。
本申请实施例的确定单元320,用于利用分类算法确定各待检测区域的类别得分。
在得到待检测图像对应的各待检测区域后,利用图像分类算法对各待检测区域进行分类,得到各待检测区域对应的类别得分。这里的图像分类算法可以包括但不限于:SVM(Support Vector Machine,支持向量机)、ResNet残差网络等分类算法。通过将采集得到的缺陷样本与正常样本输入到上述分类器中进行训练,得到可以预测待检测区域类别的分类模型。本申请实施例所说的缺陷样本和正常样本的界定标准可以根据不同工业使用标准来确定,符合标准的即界定为正常样本,不符合标准的即界定为缺陷样本。
本申请实施例的比较单元330,用于将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较,根据比较结果得到所述待检测图像的检测结果。
在得到各待检测区域的类别得分后,为了准确识别出有缺陷的物体,可以将各待检测区域的类别得分分别与分类阈值进行比较,该分类阈值可以作为衡量该待检测图像对应的物体是否存在缺陷的标准,具体可以包括基于历史统计信息确定的分类阈值和基于空间上下文信息确定的分类阈值。这里的历史统计信息可以是指对一段时间内不同批次、不同时段的正常样本和缺陷样本的类别得分进行统计得到的信息。空间上下文信息是目标检测和识别领域会用到的语义信息,空间上下文信息的描述通常可以分为两层:即第一层描述的是不同区域之间的关联;第二层描述的是图像中不同的目标之间的关联;目标与区域之间的关联描述在两层之间。在本申请实施例中的空间上下文信息可以理解为是针对不同区域之间的关联的描述。
本申请实施例通过将各待检测区域的类别得分与基于历史统计信息确定的分类阈值进行比较,可以更准确地确定出哪些待检测图像是正常样本,哪些待检测图像是缺陷样本。对于基于历史统计信息确定的分类阈值无法确定的待检测图像,可以进一步结合基于空间上下文信息确定的分类阈值来进行辅助判断,以尽可能保证所有的待检测图像均能得到准确的分类结果。
本申请实施例的图像检测方法通过对待检测图像进行图像分割,并利用一段时间内的历史统计信息和空间上下文信息来进行图像分类,使得分类结果更加准确和合理,极大地减少了误判率。
在本申请的一个实施例中,所述获取单元310还用于:根据多个所述待检测区域确定当前区域及与所述当前区域对应的相邻区域;基于所述空间上下文信息,利用所述相邻区域的灰度值对所述当前区域的灰度值进行校正。
在本申请的一个实施例中,所述获取单元310还用于:确定各待检测区域的灰度值均值;根据所述当前区域与各相邻区域的距离,确定各相邻区域对所述当前区域的影响权重;根据相邻区域的灰度值均值和对应的影响权重,计算相邻区域的灰度值的加权平均值;根据相邻区域的灰度值的加权平均值与当前区域的灰度值均值的差值,对所述当前区域的灰度值进行校正。
在本申请的一个实施例中,所述历史统计信息包括正样本图像和负样本图像的类别得分,所述基于历史统计信息确定的分类阈值包括第一阈值和第二阈值,所述比较单元330还用于:获取预设时间段内的正样本图像和负样本图像的类别得分;根据正样本图像的类别得分确定所述第一阈值,以及根据负样本图像的类别得分确定所述第二阈值。
在本申请的一个实施例中,所述比较单元330还用于:当所述待检测图像中的各待检测区域的类别得分均不小于所述第一阈值时,则确定所述待检测图像为所述正样本图像;当所述待检测图像中的任一待检测区域的类别得分不大于所述第二阈值时,则确定所述待检测图像为所述负样本图像。
在本申请的一个实施例中,所述比较单元330还用于:当所述待检测图像中的任一待检测区域的类别得分大于所述第二阈值且小于所述第一阈值时,利用所述基于空间上下文信息确定的分类阈值确定所述待检测图像的检测结果。
在本申请的一个实施例中,所述历史统计信息包括类别得分在所述第二阈值和所述第一阈值之间的难样本图像,所述比较单元330还用于:获取预设时间段内各难样本图像的类别得分,并计算所述难样本图像的类别得分的均值,作为所述基于空间上下文信息确定的分类阈值;计算所述待检测图像中各待检测区域的类别得分的均值,并将所述待检测图像的类别得分的均值与所述难样本图像的类别得分的均值进行比较;当所述待检测图像的类别得分的均值小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述负样本图像,以及当所述待检测图像的类别得分的均值不小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述正样本图像。
需要说明的是,上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行,在此不再赘述。
综上所述,本申请的技术方案,通过获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域;利用分类算法确定各待检测区域的类别得分;将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较,根据比较结果得到所述待检测图像的检测结果。本申请的图像检测方法通过对图像进行预处理,提高了图像分类精度,并利用一段时间内的历史统计信息和空间上下文信息来进行图像分类,使得分类结果更加准确和合理,极大地减少了误判率。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的图像检测装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图4示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备400包括处理器410和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器420。存储器420可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器420具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码431的存储空间430。例如,用于存储计算机可读程序代码的存储空间430可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码431。计算机可读程序代码431可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图5所示的计算机可读存储介质。图5示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质500存储有用于执行根据本申请的方法步骤的计算机可读程序代码431,可以被电子设备400的处理器410读取,当计算机可读程序代码431由电子设备400运行时,导致该电子设备400执行上面所描述的方法中的各个步骤,具体来说,该计算机可读存储介质存储的计算机可读程序代码431可以执行上述任一实施例中示出的方法。计算机可读程序代码431可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种图像检测方法,其特征在于,包括:
获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域;
利用分类算法确定各待检测区域的类别得分;
将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较,根据比较结果得到所述待检测图像的检测结果。
2.根据权利要求1所述的图像检测方法,其特征在于,所述获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域包括:
根据多个所述待检测区域确定当前区域及与所述当前区域对应的相邻区域;
基于所述空间上下文信息,利用所述相邻区域的灰度值对所述当前区域的灰度值进行校正。
3.根据权利要求2所述的图像检测方法,其特征在于,所述获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域包括:
确定各待检测区域的灰度值均值;
根据所述当前区域与各相邻区域的距离,确定各相邻区域对所述当前区域的影响权重;
根据相邻区域的灰度值均值和对应的影响权重,计算相邻区域的灰度值的加权平均值;
根据相邻区域的灰度值的加权平均值与当前区域的灰度值均值的差值,对所述当前区域的灰度值进行校正。
4.根据权利要求1所述的图像检测方法,其特征在于,所述历史统计信息包括正样本图像和负样本图像的类别得分,所述基于历史统计信息确定的分类阈值包括第一阈值和第二阈值,所述将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较包括:
获取预设时间段内的正样本图像和负样本图像的类别得分;
根据正样本图像的类别得分确定所述第一阈值,以及根据负样本图像的类别得分确定所述第二阈值。
5.根据权利要求4所述的图像检测方法,其特征在于,所述根据比较结果得到所述待检测图像的检测结果包括:
当所述待检测图像中的各待检测区域的类别得分均不小于所述第一阈值时,则确定所述待检测图像为所述正样本图像;
当所述待检测图像中的任一待检测区域的类别得分不大于所述第二阈值时,则确定所述待检测图像为所述负样本图像。
6.根据权利要求4所述的图像检测方法,其特征在于,所述根据比较结果得到所述待检测图像的检测结果包括:
当所述待检测图像中的任一待检测区域的类别得分大于所述第二阈值且小于所述第一阈值时,利用所述基于空间上下文信息确定的分类阈值确定所述待检测图像的检测结果。
7.根据权利要求6所述的图像检测方法,其特征在于,所述历史统计信息包括类别得分在所述第二阈值和所述第一阈值之间的难样本图像,所述利用基于空间上下文信息确定的分类阈值确定所述待检测图像的检测结果包括:
获取预设时间段内各难样本图像的类别得分,并计算所述难样本图像的类别得分的均值,作为所述基于空间上下文信息确定的分类阈值;
计算所述待检测图像中各待检测区域的类别得分的均值,并将所述待检测图像的类别得分的均值与所述难样本图像的类别得分的均值进行比较;
当所述待检测图像的类别得分的均值小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述负样本图像,以及当所述待检测图像的类别得分的均值不小于所述难样本图像的类别得分的均值时,确定所述待检测图像为所述正样本图像。
8.一种图像检测装置,其特征在于,包括:
获取单元,用于获取待检测图像并对所述待检测图像进行区域分割,得到多个待检测区域;
确定单元,用于利用分类算法确定各待检测区域的类别得分;
比较单元,用于将各待检测区域的类别得分与基于历史统计信息确定的分类阈值和/或基于空间上下文信息确定的分类阈值进行比较,根据比较结果得到所述待检测图像的检测结果。
9.一种电子设备,其中,该电子设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至7中任一项所述的图像检测方法。
10.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如权利要求1至7中任一项所述的图像检测方法。
CN202010587703.4A 2020-06-24 2020-06-24 图像检测方法、装置、电子设备和计算机可读存储介质 Pending CN111814852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010587703.4A CN111814852A (zh) 2020-06-24 2020-06-24 图像检测方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010587703.4A CN111814852A (zh) 2020-06-24 2020-06-24 图像检测方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111814852A true CN111814852A (zh) 2020-10-23

Family

ID=72854971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010587703.4A Pending CN111814852A (zh) 2020-06-24 2020-06-24 图像检测方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111814852A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541550A (zh) * 2020-12-16 2021-03-23 南京掌控网络科技有限公司 一种基于图像分类的冰箱完整性判断方法及电子设备
CN113516050A (zh) * 2021-05-19 2021-10-19 江苏奥易克斯汽车电子科技股份有限公司 基于深度学习的场景变换检测方法及装置
CN116912202A (zh) * 2023-07-13 2023-10-20 中国中医科学院眼科医院 一种医用高值耗材管理方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164687A (zh) * 2011-12-15 2013-06-19 阿里巴巴集团控股有限公司 一种色情图像侦测的方法和系统
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN108197543A (zh) * 2017-12-22 2018-06-22 深圳云天励飞技术有限公司 图像过滤方法及装置、嵌入式设备和存储介质
CN109558779A (zh) * 2018-07-06 2019-04-02 北京字节跳动网络技术有限公司 图像检测方法和装置
CN110334722A (zh) * 2019-03-29 2019-10-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和存储介质
CN110378297A (zh) * 2019-07-23 2019-10-25 河北师范大学 一种基于深度学习的遥感图像目标检测方法
US20200151484A1 (en) * 2018-02-13 2020-05-14 Boe Technology Group Co., Ltd. Sample acquisition method, target detection model generation method, target detection method, computing device and computer readable medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164687A (zh) * 2011-12-15 2013-06-19 阿里巴巴集团控股有限公司 一种色情图像侦测的方法和系统
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN108197543A (zh) * 2017-12-22 2018-06-22 深圳云天励飞技术有限公司 图像过滤方法及装置、嵌入式设备和存储介质
US20200151484A1 (en) * 2018-02-13 2020-05-14 Boe Technology Group Co., Ltd. Sample acquisition method, target detection model generation method, target detection method, computing device and computer readable medium
CN109558779A (zh) * 2018-07-06 2019-04-02 北京字节跳动网络技术有限公司 图像检测方法和装置
CN110334722A (zh) * 2019-03-29 2019-10-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和存储介质
CN110378297A (zh) * 2019-07-23 2019-10-25 河北师范大学 一种基于深度学习的遥感图像目标检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541550A (zh) * 2020-12-16 2021-03-23 南京掌控网络科技有限公司 一种基于图像分类的冰箱完整性判断方法及电子设备
CN113516050A (zh) * 2021-05-19 2021-10-19 江苏奥易克斯汽车电子科技股份有限公司 基于深度学习的场景变换检测方法及装置
CN116912202A (zh) * 2023-07-13 2023-10-20 中国中医科学院眼科医院 一种医用高值耗材管理方法和系统
CN116912202B (zh) * 2023-07-13 2024-01-30 中国中医科学院眼科医院 一种医用高值耗材管理方法和系统

Similar Documents

Publication Publication Date Title
CN108765412B (zh) 一种带钢表面缺陷分类方法
CN106846316B (zh) 一种gis内部典型缺陷图像自动识别方法
CN109255344B (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN112200121B (zh) 基于evm和深度学习的高光谱未知目标检测方法
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
CN111257341A (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN112348787A (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN115170804A (zh) 基于深度学习的表面缺陷检测方法、装置、系统和介质
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN111368865A (zh) 遥感影像储油罐检测方法、装置、可读存储介质及设备
CN117315670A (zh) 一种基于计算机视觉的水表读数区域检测方法
CN112419278A (zh) 一种基于深度学习的实木地板分类方法
CN112348750A (zh) 基于阈值融合和邻域投票的sar图像变化检测方法
CN112396580A (zh) 一种圆形零件缺陷检测方法
CN115082449B (zh) 一种电子元器件缺陷检测方法
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN112990368B (zh) 一种多边形结构引导的高光谱图像单样本识别方法及系统
CN111507177B (zh) 一种用于计量周转柜的识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination