CN114372983B - 一种基于图像处理的屏蔽盒涂装质量检测方法及系统 - Google Patents

一种基于图像处理的屏蔽盒涂装质量检测方法及系统 Download PDF

Info

Publication number
CN114372983B
CN114372983B CN202210279657.0A CN202210279657A CN114372983B CN 114372983 B CN114372983 B CN 114372983B CN 202210279657 A CN202210279657 A CN 202210279657A CN 114372983 B CN114372983 B CN 114372983B
Authority
CN
China
Prior art keywords
degree
defect
area
local
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210279657.0A
Other languages
English (en)
Other versions
CN114372983A (zh
Inventor
危宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Fudian Technology Development Co ltd
Original Assignee
Wuhan Fudian Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Fudian Technology Development Co ltd filed Critical Wuhan Fudian Technology Development Co ltd
Priority to CN202210279657.0A priority Critical patent/CN114372983B/zh
Publication of CN114372983A publication Critical patent/CN114372983A/zh
Application granted granted Critical
Publication of CN114372983B publication Critical patent/CN114372983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于图像处理的屏蔽盒涂装质量检测方法及系统，该方法首先对屏蔽盒图像进行处理得到目标图像，重构目标图像得到多张特征图。获取特征图中的局部区域；计算局部区域的异常程度，并从局部区域中选取待选区域。对待选区域分类得到多个缺陷簇。计算缺陷簇内待选区域的差异程度和聚集程度；聚集程度和差异程度之比为符合程度。根据符合程度和异常程度计算特征图的适配程度；由适配程度从特征图中选取目标特征图。对目标特征图进行缺陷检测得到屏蔽盒评价值。本发明通过计算LBP算子与特征图的适配程度，从特征图中选取目标特征图进行缺陷检测，提高了缺陷检测的准确性。

Description

一种基于图像处理的屏蔽盒涂装质量检测方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于图像处理的屏蔽盒涂装质量检测方法及系统。
背景技术
屏蔽盒是利用导电或者导磁材料制成的壳、板、套等各种形状的屏蔽体，将电磁能力限制在一定空间范围内，用于抑制辐射干扰的金属体。屏蔽盒一般使用金属材料制作，但是金属长时间暴露在空气中时容易被腐蚀，所以经常会对屏蔽盒表面进行喷漆处理。但金属腐蚀是不可逆转的自发过程，即使是优质的喷漆涂装，也难于保护金属不发生腐蚀，尤其是当金属表面喷漆涂装层结合不良，受到损坏，或有针孔，鼓泡、龟裂、脱落等缺陷，喷漆涂层的保护作用将大大下降，甚至加剧金属腐蚀的后果。
目前，常用的对屏蔽盒涂装质量进行检测的方法为使用缺陷检测神经网络确定缺陷的位置。这种方法在采集到的屏蔽盒图像对应的屏蔽盒中有大面积的低频信号的时候可以准确检测出缺陷，但当有针孔等细小的高频的缺陷时就难以准确检测出来。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图像处理的屏蔽盒涂装质量检测方法及系统，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于图像处理的屏蔽盒涂装质量检测方法，该方法包括以下步骤：
采集屏蔽盒图像，对所述屏蔽盒图像进行语义分割得到目标图像；采用半径不同的LBP算子分别重构所述目标图像，得到多张特征图；
根据所述特征图中各像素点的坐标和灰度值对像素点分类，得到多个局部区域；根据各局部区域内像素点的像素均值的差值和局部区域的面积占比得到局部区域的异常程度，根据所述异常程度从多个局部区域中筛选出待选区域；
获取各特征图中待选区域的中心点，根据中心点的距离对各特征图中的待选区域进行分类得到多个缺陷簇；
根据所述缺陷簇内的待选区域数量、待选区域面积和待选区域内像素点的方差得到差异程度；计算缺陷簇内各待选区域的聚集程度；所述聚集程度和所述差异程度的比值为符合程度；
根据各缺陷簇对应的所述符合程度和缺陷簇内各待选区域对应的异常程度得到特征图的适配程度；根据所述适配程度从多个特征图中选取出目标特征图；
利用缺陷检测神经网络对所述目标特征图进行缺陷检测，得到屏蔽盒评价值。
优选的，所述根据所述特征图中各像素点的坐标和灰度值对像素点分类，得到多个局部区域，包括：
由所述特征图中各像素点的坐标和灰度值构建各像素点对应的样本集；
利用均值漂移聚类将所述样本集进行聚类得到多个聚类类别，属于同一聚类类别的样本集对应的像素点为同一类得到多个局部类别；所述局部类别包含多个像素点；
每个局部类别对应一个局部区域。
优选的，所述根据各局部区域内像素点的像素均值的差值和局部区域的面积占比得到局部区域的异常程度，包括：
选取任意局部区域作为目标局部区域；获取所述目标局部区域内像素点的像素均值和其他各局部区域内像素点的像素均值的差值的第一绝对值；
计算多个所述第一绝对值的第一均值；
所述第一均值和目标局部区域的面积占比的倒数相乘得到目标局部区域的异常程度。
优选的，所述根据所述缺陷簇内的待选区域数量、待选区域面积和待选区域内像素点的方差得到差异程度，包括：
获取各待选区域的待选区域面积；计算缺陷簇内的最大待选区域面积和最小待选区域面积的差值为缺陷簇的最大面积差；
获取各待选区域内像素点的像素值的方差，得到缺陷簇的最大方差；
所述待选区域数量、所述最大待选区域面积和最大方差的乘积为第一乘积；
所述第一乘积和所述最大面积差的比值为所述差异程度。
优选的，所述计算缺陷簇内各待选区域的聚集程度，包括：
融合所述缺陷簇内各待选区域得到融合区域；获取所述融合区域的融合中心点；
获取待选区域的中心点至所述融合中心点的中心距离；计算多个所述中心距离的距离均值；
所述距离均值的倒数和最大中心距离的乘积为缺陷簇对应的所述聚集程度。
优选的，所述根据各缺陷簇对应的所述符合程度和缺陷簇内各待选区域对应的异常程度得到特征图的适配程度，包括：
缺陷簇内多个待选区域的异常程度的和为异常程度累加值；缺陷簇对应的所述符合程度和所述异常程度累加值的乘积为缺陷簇的缺陷值；
特征图中多个缺陷簇的缺陷值的和为缺陷累加值；特征图中多个缺陷簇的异常程度累加值的和为第一累加和；
所述缺陷累加值和所述第一累加和的比值为特征图的适配程度。
优选的，所述利用缺陷检测神经网络对所述目标特征图进行缺陷检测，得到屏蔽盒评价值，包括：
利用缺陷检测神经网络对所述目标特征图进行缺陷检测得到缺陷区域及其对应的缺陷区域面积；
所述缺陷区域面积的占比为所述屏蔽盒评价值。
优选的，所述根据所述异常程度从多个局部区域中筛选出待选区域，包括：
保留异常程度大于预设异常阈值的局部区域作为待选区域。
优选的，所述根据各待选区域之间的距离对各特征图中的待选区域进行分类得到多个缺陷簇，包括：
获取各特征图中待选区域的中心点，根据中心点的距离对各特征图中的待选区域进行分类得到多个缺陷簇。
第二方面，本发明一个实施例提供了一种基于图像处理的屏蔽盒涂装质量检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于图像处理的屏蔽盒涂装质量检测方法。
本发明实施例至少具有如下有益效果：
本发明实施例利用图像处理技术，首先获取屏蔽盒图像，对屏蔽盒图像进行处理得到目标图像，对目标图像进行重构得到多张特征图。根据特征图中各像素点的坐标和灰度值对像素点分类，得到多个局部区域；计算各局部区域的异常程度，根据异常程度从多个局部区域中筛选出待选区域，根据该异常筛选出了不属于屏蔽盒本身涂层的缺陷区域。获取各特征图中待选区域的中心点，根据中心点的距离对各特征图中的待选区域进行分类得到多个缺陷簇。计算缺陷簇内各待选区域的差异程度；计算缺陷簇内各待选区域的聚集程度；聚集程度和差异程度的比值为符合程度。根据各缺陷簇对应的符合程度和缺陷簇内各待选区域对应的异常程度得到特征图的适配程度，该适配程度反映了LBP算子重构后的特征图的缺陷特征的明显情况，适配程度越大，该特征图越能反映出缺陷特征；根据适配程度从多个特征图中选取出目标特征图，该目标特征图中的缺陷特征最能反映屏蔽盒的质量。利用缺陷检测神经网络对目标特征图进行缺陷检测，得到屏蔽盒评价值。本发明通过计算各LBP算子与特征图的适配程度，从多张特征图中筛选出最能反映屏蔽盒图像缺陷的目标特征图，对该目标特征图进行缺陷检测，提高了缺陷检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图像处理的屏蔽盒涂装质量检测方法的方法流程图；
图2为本发明一个实施例所提供的得到特征图的多个局部区域，从多个局部区域中筛选出待选区域的步骤流程图；
图3为本发明一个实施例所提供的计算符合程度的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的屏蔽盒涂装质量检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了一种基于图像处理的屏蔽盒涂装质量检测方法及系统的一种具体实施方法，该方法适用于屏蔽盒涂装质量检测场景。采用多个灰度相机从多个角度采集屏蔽盒的各个平面的屏蔽盒图像，其中还可以对屏蔽盒进行翻转以采集屏蔽盒下方平面对应的屏蔽盒图像。为了解决有针孔等细小的高频的缺陷时就难以准确检测出来的问题，本发明通过计算各LBP算子与特征图的适配程度，从多张特征图中筛选出最能反映屏蔽盒图像缺陷的目标特征图，对该目标特征图进行缺陷检测，达到了提高缺陷检测的准确性的目的。
下面结合附图具体的说明本发明所提供的一种基于图像处理的屏蔽盒涂装质量检测方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的屏蔽盒涂装质量检测方法的步骤流程图，该方法包括以下步骤：
步骤S100，采集屏蔽盒图像，对屏蔽盒图像进行语义分割得到目标图像；采用半径不同的LBP算子分别重构目标图像，得到多张特征图。
利用灰度相机采集涂装好的屏蔽盒的屏蔽盒图像，该屏蔽盒图像为灰度图像。在其他实施例中，如果采用RGB相机采集RGB三通道的屏蔽盒图像，对屏蔽盒图像进行格式转换将屏蔽盒转化为灰度图像。
需要说明的是，由于屏蔽盒通常情况下是一个长方体，故采集屏蔽盒的每个平面的图像为屏蔽盒图像。
对屏蔽盒图像使用语义分割网络划分出屏蔽盒的不同平面区域。在本发明实施例中该语义分割网络为Encoder-Decoder结构，其中该语义分割网络的具体训练为：
（1）该语义分割网络的训练数据集来自于灰度相机相同角度下采集的屏蔽盒图像。
（2）屏蔽盒图像中的屏蔽盒平面区域标记为1，其他区域标记为0。
（3）该语义分割网络的损失函数采用交叉熵损失函数。
基于目标图像，利用半径不同的圆形LBP算子重构目标图像，得到多张特征图。具体的：利用LBP算法得到每个像素点的LBP特征值，将每个像素点的像素值更新为对应的LBP特征值，该重构后的图像为特征图。即利用半径不同的圆形LBP算子得到多张特征图。在本发明实施例中圆形LBP算子的半径范围为(1,7)，在其他实施例中实施者可根据实际情况调整该范围。
步骤S200，根据特征图中各像素点的坐标和灰度值对像素点分类，得到多个局部区域；根据各局部区域内像素点的像素均值的差值和局部区域的面积占比得到局部区域的异常程度，根据异常程度从多个局部区域中筛选出待选区域。
请参阅图2，得到特征图的多个局部区域，再从多个局部区域中筛选出待选区域。具体的：
步骤S210，根据特征图中各像素点的坐标和灰度值对像素点分类，得到多个局部区域。
在不同的条件下，合适的圆形LBP算子的半径大小也不同。如改变灰度相机到屏蔽盒的距离，相机的分辨率大小不同，即为不同的条件。本发明实施例为了达到选取出合适的圆形LBP算子的半径，得到合适的特征图的目的；对不同半径的圆形LBP算子得到的多个特征图进行后续分析，以筛选出最合适的特征图；进而对合适的特征图进行缺陷检测，提高缺陷检测的准确性，也即提高屏蔽盒涂装质量检测的准确性。
屏蔽盒的每个平面，在没有缺陷的情况下，由于屏蔽盒整体是同一种材质的，在均匀光照下，屏蔽盒图像中的平面区域中的纹理应该是相同的。如果某个区域的纹理与其他区域的纹理不同的话，很大可能是因为这个区域有缺陷存在，该区域即为异常区域。换句话说，异常区域是指屏蔽盒的平面区域中特征值不同于正常区域的局部像素点集的区域，异常区域大概率是缺陷。
对于得到的每个平面区域的不同的特征图，使用均值滤波对特征图去噪。
对于去噪后的特征图，获取特征图中每个像素点在图像中的坐标(x,y)，并获取每个像素点的像素值G。由特征图中各像素点的坐标和灰度值构建各像素点对应的样本集
Figure DEST_PATH_IMAGE001
，其中
Figure 401984DEST_PATH_IMAGE002
为特征图中的第z个像素点的样本集；x为第z个像素点的横坐标；y为第z个像素点的纵坐标。
利用均值漂移聚类将所有样本集进行聚类得到多个聚类类别，属于同一聚类类别的样本集对应的像素点为同一类得到多个局部类别。每个局部类别包含多个像素点；
连接各局部类别内的像素点，构成局部连通域，最大局部连通域为局部类别对应的局部区域，每个局部类别对应一个局部区域。
步骤S220，根据各局部区域内像素点的像素均值的差值和局部区域的面积占比得到局部区域的异常程度，根据异常程度从多个局部区域中筛选出待选区域。
对于每张特征图中的每个局部区域，计算局部区域的异常程度。根据异常程度从多个局部区域中筛选出待选区域。计算每个局部区域的异常程度的步骤，具体的：
选取任意局部区域作为目标局部区域。
获取目标局部区域内像素点的像素均值和其他各局部区域内像素点的像素均值的差值的第一绝对值。
计算多个第一绝对值的第一均值。
第一均值和目标局部区域的面积占比的倒数相乘得到目标局部区域的异常程度。
该异常程度A的计算公式为：
Figure DEST_PATH_IMAGE004A
其中，j为特征图中每个局部区域的序号；J为特征图中所有局部区域的局部区域数量；
Figure DEST_PATH_IMAGE005
为目标局部区域中所有像素点的像素值的像素均值；
Figure 129768DEST_PATH_IMAGE006
为第j个局部区域中所有像素点的像素值的像素均值；S为特征图中的像素点数量；
Figure DEST_PATH_IMAGE007
目标局部区域中的像素点数量。
其中，异常程度的计算公式中
Figure 87360DEST_PATH_IMAGE008
为目标局部的面积占比的倒数；
Figure DEST_PATH_IMAGE010A
为 目标局部区域的像素点与各其他局部区域的像素点的差异均值，也即为第一均值。
该目标局部区域的像素点与各其他局部区域的像素点的差异均值越大时，该目标局部区域为异常区域的概率越大。且由于本发明实施例特别针对针孔等高频的小型缺陷，该缺陷在整个特征图中只是其中很小的一部分，故目标局部区域的面积占比越小，该目标局部区域为异常区域的概率越大。
获取每个屏蔽盒图像对应的多个特征图中的局部区域的异常程度。根据异常程度从多个局部区域中筛选出待选区域，具体的：保留异常程度大于预设异常阈值的局部区域作为待选区域。在本发明实施例中预设异常阈值为0.67，在其他实施例中实施者可根据实际情况对该阈值进行调整。
步骤S300，根据各待选区域之间的距离对各特征图中的待选区域进行分类得到多个缺陷簇。
要快速有效的将缺陷区域的特征和正常区域的特征区分开来，其圆形LBP算子的尺寸与缺陷的尺寸要能够匹配。最合适的圆形LBP算子的半径最好比缺陷区域的半径小一些，但尽量不要小于缺陷区域的一半。
圆形LBP算子的半径越大，其对应的计算量也会越大，过大的半径可能会将缺陷区域分散开，当缺陷区域被分散开时，缺陷检测算法会将原本的缺陷区域误检为噪声从而忽略这一部分缺陷，导致缺陷检测结果不准确。
圆形LBP算子的半径越小，其对应的计算量虽然会变小，但是若半径不到缺陷区域的一半，则会将同一缺陷区域识别为两个甚至更多个，包括缺陷区域中的亮部和暗部，还包括缺陷区域中一些其他的过度小的部分区域，比如亮部和暗部交界的部分、缺陷区域的边缘部分等等；如果出现这种情况，缺陷检测的结果同样有很大可能存在误差。
故本发明实施例通过后续处理寻找最为合适的圆形LBP算子的半径。
进一步，根据各待选区域之间的距离对各特征图中的待选区域进行分类得到多个缺陷簇，具体的：
获取特征图中各待选区域的中心点。
根据特征图中待选区域的中心点的距离对各特征图中的待选区域进行分类得到多个缺陷簇。具体的：按照中心点距离最小的原则，将特征图中的各个待选区域匹配起来，匹配起来的待选区域就是代表同一个缺陷的待选区域。如半径为
Figure DEST_PATH_IMAGE011
的圆形LBP算子得到的特征图
Figure 808060DEST_PATH_IMAGE012
，半径为
Figure DEST_PATH_IMAGE013
的圆形LBP算子得到特征图
Figure 534708DEST_PATH_IMAGE014
；若特征图
Figure 964552DEST_PATH_IMAGE012
中有
Figure DEST_PATH_IMAGE015
、
Figure 675019DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE017
三个待选区域，特征图
Figure 215722DEST_PATH_IMAGE014
中有
Figure 62455DEST_PATH_IMAGE018
、
Figure DEST_PATH_IMAGE019
和
Figure 663201DEST_PATH_IMAGE020
三个待选区域，对于特征图
Figure 392123DEST_PATH_IMAGE012
中的待选区域
Figure 923467DEST_PATH_IMAGE015
来说，计算待选区域
Figure 687024DEST_PATH_IMAGE015
距离待选区域
Figure 458670DEST_PATH_IMAGE018
的中心点的距离、距离待选区域
Figure DEST_PATH_IMAGE021
的中心点距离和距离待选区域
Figure 612571DEST_PATH_IMAGE020
的中心点距离，选取距离最小的值对应的待选区域为待选区域
Figure 760656DEST_PATH_IMAGE015
的匹配区域，将两个匹配的匹配区域分为同一类，即这两个匹配的待选区域属于同一个缺陷簇。
对不同特征图中的各待选区域进行匹配分类得到多个缺陷簇，有几个缺陷簇即反映屏蔽盒的平面区域有几个缺陷。
步骤S400，根据缺陷簇内的待选区域数量、待选区域面积和待选区域内像素点的方差得到差异程度；计算缺陷簇内各待选区域的聚集程度；聚集程度和差异程度的比值为符合程度。
根据各缺陷簇内待选区域的差异程度和聚集程度得到该缺陷簇的符合程度，该符合程度越大对应的缺陷簇为缺陷的概率越大。
请参阅图3，计算符合程度的步骤，具体的：
步骤S410，根据缺陷簇内的待选区域数量、待选区域面积和待选区域内像素点的方差得到差异程度。
计算各缺陷簇对应的差异程度，该差异程度为特征图中属于同一缺陷簇的待选区域的差异程度，该差异程度越小则同一缺陷簇内的待选区域为同一个缺陷的概率越大。
计算缺陷簇的差异程度的步骤，具体的：
对于任意特征图，获取属于特征图中同一缺陷簇的各待选区域的待选区域面积。
计算缺陷簇内的最大待选区域面积和最小待选区域面积的差值为该缺陷簇的最大面积差。
获取属于同一特征图中同一缺陷簇内各待选区域所有像素点的像素值的方差，选取出最大方差，该最大方差即为缺陷簇对应的最大方差。
待选区域数量、最大待选区域面积和最大方差的乘积为第一乘积。
第一乘积和最大面积差的比值为该缺陷簇对应的差异程度。
差异程度N的计算公式为：
Figure 316402DEST_PATH_IMAGE022
其中，K为同一缺陷簇内的待选区域的待选区域数量；
Figure DEST_PATH_IMAGE023
为最大待选区域面积；
Figure 524530DEST_PATH_IMAGE024
为缺陷簇内第K个待选区域的待选区域面积；
Figure DEST_PATH_IMAGE025
为缺陷簇内第K个待选区域对应的方差；
Figure 165726DEST_PATH_IMAGE026
为最小待选区域面积；
Figure DEST_PATH_IMAGE027
为最大方差；
Figure 851923DEST_PATH_IMAGE028
为第一乘积。
其中，该差异程度的计算公式中
Figure 777022DEST_PATH_IMAGE030
表示同一缺陷簇对应的待选区域的面积差的倒数，各待选区域的面积差越大，将同一个缺陷簇分割开的可能性就越低，当前缺陷簇对应的各待选区域的差异程度越小。
Figure DEST_PATH_IMAGE031
表示同一缺陷对应的待选区域中像素值方差的最大值；每个待选区域中所有像素值对应的方差越大，该待选区域内像素值的差异就越大。
步骤S420，计算缺陷簇内各待选区域的聚集程度。
对于任意特征图，当属于同一缺陷簇内的待选区域越聚集，则该同一缺陷簇内待选区域表征的是同一个缺陷的概率越大。
计算缺陷簇内待选区域的聚集程度，聚集程度为不同特征图中属于同一缺陷簇中的待选区域的距离远近程度。圆形LBP算子的半径越比缺陷的半径大，则同一缺陷簇内待选区域的聚集程度越大。
对于任意特征图，计算聚集程度的步骤，具体的：对于同一特征图中属于同一缺陷簇的各待选区域，融合缺陷簇内各待选区域得到融合区域，获取该融合区域的融合中心点。
获取各待选区域的中心点至该融合中心点的多个中心距离；计算多个中心距离的距离均值。
距离均值的倒数和最大中心距离的乘积为该缺陷簇对应的聚集程度。
该聚集程度C的计算公式为：
Figure 156051DEST_PATH_IMAGE032
其中，K为同一缺陷簇内的待选区域的待选区域数量；
Figure DEST_PATH_IMAGE033
为最大中心距离；
Figure 284544DEST_PATH_IMAGE034
为缺陷簇内第K个待选区域对应的中心距离；
Figure DEST_PATH_IMAGE035
为多个中心距离的和。
其中聚集程度的计算公式中
Figure 774431DEST_PATH_IMAGE037
为多个中心距离的距离均值的倒数，该距离均值的倒数越大，则对应的该缺陷簇内待选区域的聚集程度就越大。
步骤S430，聚集程度和差异程度的比值为符合程度。
对同一个缺陷来说，缺陷的大小是不会改变的，最终选取到的半径合适的圆形LBP算子既不会将缺陷分散，也不会提取到过多的缺陷特征，这样才能保证最后的缺陷检测的准确性。
由聚集程度和差异程度的比值得到符合程度，该符合程度为该特征图对应的圆形LBP算子的半径与缺陷大小的符合程度。
对于该同一缺陷来说，不同半径的圆形LBP算子的合适程度，表现在其圆形LBP算子对应的特征图中，特征图中属于同一缺陷簇内的待选区域的异常程度越低，聚集度越大，则对应的该圆形LBP算子的半径和对应的特征图的符合程度就越高。
步骤S500，根据各缺陷簇对应的符合程度和缺陷簇内各待选区域对应的异常程度得到特征图的适配程度；根据适配程度从多个特征图中选取出目标特征图。
适配程度为由不同半径的圆形LBP算子重构的特征图的适配程度，确定了在后续的缺陷检测时，选择出最合适的特征图，达到准确检测出缺陷的目的。
对于任意特征图，计算该特征图对应的适配程度的步骤：具体的：
同一缺陷簇内属于同一特征图的多个待选区域的异常程度的和为异常程度累加值。缺陷簇对应的符合程度和异常程度累加值的乘积为缺陷簇的缺陷值。
该特征图中多个缺陷簇的缺陷值的和为缺陷累加值。特征图中多个缺陷簇对应的异常程度累加值的和为第一累加和。
缺陷累加值和第一累加和的比值为该特征图对应的适配程度。
该适配程度M的计算公式为：
Figure DEST_PATH_IMAGE038
其中，
Figure 304770DEST_PATH_IMAGE039
为第p个缺陷簇中第k个待选区域的异常程度；
Figure DEST_PATH_IMAGE040
为第p个缺陷簇的符合程度；K为第p个缺陷簇中的待选区域数量；P为特征图中的缺陷簇数量。
其中，该适配程度的计算公式中
Figure 792383DEST_PATH_IMAGE041
为特征图中表示同一缺陷的所有待选区域的异常程度的和，也即同一缺陷簇内属于同一特征图的待选区域对应的异常程度的和，也即为异常程度累加值；
Figure DEST_PATH_IMAGE042
为缺陷值；
Figure 470489DEST_PATH_IMAGE043
为缺陷累加值；
Figure DEST_PATH_IMAGE044
为第一累加和。
该适配程度越大，则对应的特征图为合适的特征图的概率越大，特征图越合适，后续对特征图进行缺陷检测得到缺陷的准确性越高。
根据适配程度从多个特征图中选取出目标特征图。具体的：选取最大适配程度对应的特征图作为目标特征图。
步骤S600，对目标特征图进行缺陷检测，得到屏蔽盒质量。
得到目标特征图对应的圆形LBP算子的最佳半径，利用该最佳半径的圆形LBP算子对屏蔽盒的各个平面区域对应的屏蔽盒图像进行图像重构，获取各个平面区域对应的目标特征图。
利用缺陷检测神经网络对得到的目标特征图进行缺陷检测得到缺陷区域及其对应的缺陷区域面积。该缺陷检测神经网络采用Encoder-Decoder结构。该缺陷检测神经网络的具体训练为：
（1）该缺陷检测神经网络的数据集为相机在各种角度下采集的屏蔽盒图像对应的目标特征图。
（2）该目标特征图中的缺陷区域标记为1，其他区域标记为0。
（3）该缺陷检测神经网络的损失函数为交叉熵损失函数。
根据该缺陷区域面积对屏蔽盒的涂装质量进行评价。
缺陷区域面积的占比为屏蔽盒评价值。该屏蔽盒评价值越大，则对应的屏蔽盒的缺陷区域越大，该屏蔽盒的涂装质量越差。
综上所述，本发明实施例利用图像处理技术，首先获取屏蔽盒图像，对屏蔽盒图像进行处理得到目标图像，对目标图像进行重构得到多张特征图。根据特征图中各像素点的坐标和灰度值对像素点分类，得到多个局部区域；计算各局部区域的异常程度，根据异常程度从多个局部区域中筛选出待选区域。获取各特征图中待选区域的中心点，根据中心点的距离对各特征图中的待选区域进行分类得到多个缺陷簇。计算缺陷簇内各待选区域的差异程度；计算缺陷簇内各待选区域的聚集程度；聚集程度和差异程度的比值为符合程度。根据各缺陷簇对应的符合程度和缺陷簇内各待选区域对应的异常程度得到特征图的适配程度；根据适配程度从多个特征图中选取出目标特征图。利用缺陷检测神经网络对目标特征图进行缺陷检测，得到屏蔽盒评价值。本发明通过计算各LBP算子与特征图的适配程度，从多张特征图中筛选出最能反映屏蔽盒图像缺陷的目标特征图，对该目标特征图进行缺陷检测，提高了缺陷检测的准确性。
本发明实施例还提出了一种基于图像处理的屏蔽盒涂装质量检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。由于一种基于图像处理的屏蔽盒涂装质量检测方法在上述给出了详细描述，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理的屏蔽盒涂装质量检测方法，其特征在于，该方法包括以下步骤：
采集屏蔽盒图像，对所述屏蔽盒图像进行语义分割得到目标图像；采用半径不同的LBP算子分别重构所述目标图像，得到多张特征图；
根据所述特征图中各像素点的坐标和灰度值对像素点分类，得到多个局部区域；根据各局部区域内像素点的像素均值的差值和局部区域的面积占比得到局部区域的异常程度，根据所述异常程度从多个局部区域中筛选出待选区域；
根据各待选区域之间的距离对各特征图中的待选区域进行分类得到多个缺陷簇；
根据所述缺陷簇内的待选区域数量、待选区域面积和待选区域内像素点的方差得到差异程度；计算缺陷簇内各待选区域的聚集程度；所述聚集程度和所述差异程度的比值为符合程度；
根据各缺陷簇对应的所述符合程度和缺陷簇内各待选区域对应的异常程度得到特征图的适配程度；根据所述适配程度从多个特征图中选取出目标特征图；
对所述目标特征图进行缺陷检测，得到屏蔽盒评价值。
2.根据权利要求1所述的一种基于图像处理的屏蔽盒涂装质量检测方法，其特征在于，所述根据所述特征图中各像素点的坐标和灰度值对像素点分类，得到多个局部区域，包括：
由所述特征图中各像素点的坐标和灰度值构建各像素点对应的样本集；
利用均值漂移聚类将所述样本集进行聚类得到多个聚类类别，属于同一聚类类别的样本集对应的像素点为同一类得到多个局部类别；所述局部类别包含多个像素点；
每个局部类别对应一个局部区域。
3.根据权利要求1所述的一种基于图像处理的屏蔽盒涂装质量检测方法，其特征在于，所述根据各局部区域内像素点的像素均值的差值和局部区域的面积占比得到局部区域的异常程度，包括：
选取任意局部区域作为目标局部区域；获取所述目标局部区域内像素点的像素均值和其他各局部区域内像素点的像素均值的差值的第一绝对值；
计算多个所述第一绝对值的第一均值；
所述第一均值和目标局部区域的面积占比的倒数相乘得到目标局部区域的异常程度。
4.根据权利要求1所述的一种基于图像处理的屏蔽盒涂装质量检测方法，其特征在于，所述根据所述缺陷簇内的待选区域数量、待选区域面积和待选区域内像素点的方差得到差异程度，包括：
获取各待选区域的待选区域面积；计算缺陷簇内的最大待选区域面积和最小待选区域面积的差值为缺陷簇的最大面积差；
获取各待选区域内像素点的像素值的方差，得到缺陷簇的最大方差；
所述待选区域数量、所述最大待选区域面积和最大方差的乘积为第一乘积；
所述第一乘积和所述最大面积差的比值为所述差异程度。
5.根据权利要求1所述的一种基于图像处理的屏蔽盒涂装质量检测方法，其特征在于，所述计算缺陷簇内各待选区域的聚集程度，包括：
融合所述缺陷簇内各待选区域得到融合区域；获取所述融合区域的融合中心点；
获取待选区域的中心点至所述融合中心点的中心距离；计算多个所述中心距离的距离均值；
所述距离均值的倒数和最大中心距离的乘积为缺陷簇对应的所述聚集程度。
6.根据权利要求1所述的一种基于图像处理的屏蔽盒涂装质量检测方法，其特征在于，所述根据各缺陷簇对应的所述符合程度和缺陷簇内各待选区域对应的异常程度得到特征图的适配程度，包括：
缺陷簇内多个待选区域的异常程度的和为异常程度累加值；缺陷簇对应的所述符合程度和所述异常程度累加值的乘积为缺陷簇的缺陷值；
特征图中多个缺陷簇的缺陷值的和为缺陷累加值；特征图中多个缺陷簇的异常程度累加值的和为第一累加和；
所述缺陷累加值和所述第一累加和的比值为特征图的适配程度。
7.根据权利要求1所述的一种基于图像处理的屏蔽盒涂装质量检测方法，其特征在于，所述对所述目标特征图进行缺陷检测，得到屏蔽盒评价值，包括：
利用缺陷检测神经网络对所述目标特征图进行缺陷检测得到缺陷区域及其对应的缺陷区域面积；
所述缺陷区域面积的占比为所述屏蔽盒评价值。
8.根据权利要求1所述的一种基于图像处理的屏蔽盒涂装质量检测方法，其特征在于，所述根据所述异常程度从多个局部区域中筛选出待选区域，包括：
保留异常程度大于预设异常阈值的局部区域作为待选区域。
9.根据权利要求1所述的一种基于图像处理的屏蔽盒涂装质量检测方法，其特征在于，所述根据各待选区域之间的距离对各特征图中的待选区域进行分类得到多个缺陷簇，包括：
获取各特征图中待选区域的中心点，根据中心点的距离对各特征图中的待选区域进行分类得到多个缺陷簇。
10.一种基于图像处理的屏蔽盒涂装质量检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~9任意一项所述方法的步骤。
CN202210279657.0A 2022-03-22 2022-03-22 一种基于图像处理的屏蔽盒涂装质量检测方法及系统 Active CN114372983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210279657.0A CN114372983B (zh) 2022-03-22 2022-03-22 一种基于图像处理的屏蔽盒涂装质量检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210279657.0A CN114372983B (zh) 2022-03-22 2022-03-22 一种基于图像处理的屏蔽盒涂装质量检测方法及系统

Publications (2)

Publication Number Publication Date
CN114372983A CN114372983A (zh) 2022-04-19
CN114372983B true CN114372983B (zh) 2022-05-24

Family

ID=81146607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210279657.0A Active CN114372983B (zh) 2022-03-22 2022-03-22 一种基于图像处理的屏蔽盒涂装质量检测方法及系统

Country Status (1)

Country Link
CN (1) CN114372983B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912832B (zh) * 2022-06-07 2023-08-08 无锡连枝横科技有限公司 一种镁钛合金表面涂装工艺质量的评估方法及系统
CN114782562B (zh) * 2022-06-18 2022-09-02 南通寝尚纺织品有限公司 基于数据识别的服装布料浸染监测方法及人工智能系统
CN114821133B (zh) * 2022-06-27 2022-09-09 江苏瑞立环保工程股份有限公司 一种基于人工智能的环保设备故障检测方法及系统
CN114918061B (zh) * 2022-07-20 2023-03-24 江苏奇成装配式建材科技有限公司 金属面保温装饰一体板生产计算机控制方法
CN115205296B (zh) * 2022-09-16 2022-12-13 海安玻克超硬材料有限公司 一种光伏磨轮磨料层生产缺陷识别方法
CN115294142B (zh) * 2022-10-10 2023-01-13 丰源纸业(南通)有限公司 一种用于化纤纸管的质量检测方法
CN115330757B (zh) * 2022-10-11 2023-05-05 江苏电博仕能源装备有限公司 一种电路板焊点缺陷检测方法及系统
CN116503393B (zh) * 2023-06-26 2023-09-08 深圳市创智捷科技有限公司 基于图像处理的线路板等离子纳米镀膜质量检测方法
CN116777911A (zh) * 2023-08-18 2023-09-19 深圳市华盛源机电有限公司 一种基于图像识别的双基板散热器表面缺陷检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122939A (ja) * 2007-11-14 2009-06-04 Bridgestone Corp タイヤ検査用特徴抽出プログラム作成装置及びタイヤ検査装置
CN104850858A (zh) * 2015-05-15 2015-08-19 华中科技大学 一种注塑制品缺陷检测识别方法
CN110084804A (zh) * 2019-04-30 2019-08-02 河海大学常州校区 一种基于弱监督深度学习的水下构筑物缺陷检测方法
CN112767398A (zh) * 2021-04-07 2021-05-07 惠州高视科技有限公司 晶圆缺陷的检测方法及装置
CN112862760A (zh) * 2021-01-19 2021-05-28 浙江大学 一种轴承外圈表面缺陷区域检测方法
CN113963042A (zh) * 2021-12-21 2022-01-21 派立锐汽车零部件(武汉)有限公司 基于图像处理的金属零件缺陷程度评估方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122939A (ja) * 2007-11-14 2009-06-04 Bridgestone Corp タイヤ検査用特徴抽出プログラム作成装置及びタイヤ検査装置
CN104850858A (zh) * 2015-05-15 2015-08-19 华中科技大学 一种注塑制品缺陷检测识别方法
CN110084804A (zh) * 2019-04-30 2019-08-02 河海大学常州校区 一种基于弱监督深度学习的水下构筑物缺陷检测方法
CN112862760A (zh) * 2021-01-19 2021-05-28 浙江大学 一种轴承外圈表面缺陷区域检测方法
CN112767398A (zh) * 2021-04-07 2021-05-07 惠州高视科技有限公司 晶圆缺陷的检测方法及装置
CN113963042A (zh) * 2021-12-21 2022-01-21 派立锐汽车零部件(武汉)有限公司 基于图像处理的金属零件缺陷程度评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的类圆形水果缺陷检测关键技术的研发与实现;高嘉轩;《信息科技》;20210215;全文 *

Also Published As

Publication number Publication date
CN114372983A (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN114372983B (zh) 一种基于图像处理的屏蔽盒涂装质量检测方法及系统
CN116168026B (zh) 基于计算机视觉的水质检测方法及系统
CN113963042B (zh) 基于图像处理的金属零件缺陷程度评估方法
CN109523529B (zh) 一种基于surf算法的输电线路缺陷识别方法
CN111080661B (zh) 基于图像的直线检测方法、装置以及电子设备
CN108648168A (zh) Ic晶圆表面缺陷检测方法
CN109975196B (zh) 一种网织红细胞检测方法及其系统
CN110414308B (zh) 一种针对输电线路上动态异物的目标识别方法
CN115330767A (zh) 一种腐蚀箔生产异常识别方法
CN115115613A (zh) 基于机器视觉的喷漆缺陷检测方法及系统
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
CN116228780B (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN115272335A (zh) 基于显著性检测的冶金金属表面缺陷检测方法
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN110659675A (zh) 一种基于AdaBoost算法的焊缝缺陷检测方法
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
CN115587966A (zh) 一种在光照不均匀条件下零件有无缺漏的检测方法及系统
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN113436218B (zh) 基于高斯滤波与均值滤波的sar图像边缘检测方法
CN108416358B (zh) 一种空间目标特征提取方法和装置
CN113408519A (zh) 一种基于模板旋转匹配的指针仪表读数的方法及系统
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
Zhu et al. Optimization of image processing in video-based traffic monitoring
CN115082449B (zh) 一种电子元器件缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant