CN116542975B - 一种玻璃面板的缺陷分类方法、装置、设备和介质 - Google Patents

一种玻璃面板的缺陷分类方法、装置、设备和介质 Download PDF

Info

Publication number
CN116542975B
CN116542975B CN202310818560.7A CN202310818560A CN116542975B CN 116542975 B CN116542975 B CN 116542975B CN 202310818560 A CN202310818560 A CN 202310818560A CN 116542975 B CN116542975 B CN 116542975B
Authority
CN
China
Prior art keywords
target defect
image
defect
target
glass panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310818560.7A
Other languages
English (en)
Other versions
CN116542975A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202310818560.7A priority Critical patent/CN116542975B/zh
Publication of CN116542975A publication Critical patent/CN116542975A/zh
Application granted granted Critical
Publication of CN116542975B publication Critical patent/CN116542975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本申请实施例公开了一种玻璃面板的缺陷分类方法、装置、设备和介质,涉及面板缺陷检测技术领域,解决了现有方法在对玻璃面板中缺陷进行检测时,效率较低的技术问题。所述方法包括:获取玻璃面板图像;将所述玻璃面板图像输入至已训练的目标检测模型中,以获得目标缺陷的坐标信息;基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值;将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果;基于对比结果,获得目标缺陷的类别信息。

Description

一种玻璃面板的缺陷分类方法、装置、设备和介质
技术领域
本申请涉及面板缺陷检测技术领域,尤其涉及一种玻璃面板的缺陷分类方法、装置、设备和介质。
背景技术
玻璃面板在制造过程中,通常是逐层进行制造的,但由于工艺波动、机台差异等因素,通常每层玻璃面板在制造过程中均会出现缺陷,如脏污、异物、油污或膜层残留等。而利用传统的缺陷检测技术只能人工逐步筛选,因此检测效率较低。
发明内容
本申请实施例提供了一种玻璃面板的缺陷分类方法、装置、设备和介质,解决了现有方法在对玻璃面板中缺陷进行检测时,效率较低的技术问题。
一方面,本申请实施例提供了一种玻璃面板的缺陷分类方法,包括以下步骤:
获取玻璃面板图像;
将所述玻璃面板图像输入至已训练的目标检测模型中,以获得目标缺陷的坐标信息;其中,所述目标检测模型基于样本图像集训练获得,所述样本图像集中包括玻璃面板样本图像;
基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值;将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果;其中,所述目标缺陷的尺寸比值是指目标缺陷的长度值和宽度值的比值;
基于对比结果,获得目标缺陷的类别信息;其中,所述类别信息包括严重缺陷和轻微缺陷。
作为本申请一些可选实施方式,所述基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值,包括:
基于所述目标缺陷的坐标信息对所述玻璃面板图像进行裁剪,获得目标缺陷图像;
基于所述目标缺陷图像,获得目标缺陷的尺寸比值。
在具体实施过程中,通过将所述玻璃面板图像进行裁剪后,获得只包含目标缺陷的图像,并基于上述图像获得目标缺陷的尺寸比值,以进行后续缺陷等级判断。
作为本申请一些可选实施方式,所述基于所述目标缺陷图像,获得目标缺陷的尺寸比值,包括:
将所述目标缺陷图像进行二值化处理,获得二值化图像;
对所述二值化图像进行边缘检测,获得所述目标缺陷的尺寸比值。
在具体实施过程中,通过对图像进行二值化处理,以对图像中的噪声进行消除,从而在后续进行边缘检测时,能获得更为准确的边缘像素点,进而获得更为准确的尺寸比值。
作为本申请一些可选实施方式,所述将所述目标缺陷图像进行二值化处理,获得二值化图像,包括:
将所述目标缺陷图像进行图像滤波处理后,进行二值化处理,获得二值化图像。
在具体实施过程中,通过上述的图像滤波处理和二值化处理,可以极大的压缩数据量,而且也大大简化了分析和处理步骤。
作为本申请一些可选实施方式,所述将所述目标缺陷图像进行图像滤波处理后,进行二值化处理,获得二值化图像,包括:
将所述目标缺陷图像进行高斯滤波处理和图像平滑处理后,获得第一目标缺陷图像;
采用直方图分布统计所述第一目标缺陷图像中的像素值,获得分割阈值;基于所述分割阈值对所述第一目标缺陷图像进行二值化处理,获得二值化图像。
在具体实施过程中,上述步骤是对图像滤波处理和二值化处理的细化步骤,因此通过上述步骤处理后的二值化图像,可以更为明显的突出缺陷区域,以便于后续操作。
作为本申请一些可选实施方式,所述采用直方图分布统计所述第一目标缺陷图像中的像素值,获得分割阈值,包括:
采用直方图分布统计所述第一目标缺陷图像中的像素值,以像素占比最高的像素值作为分割阈值。
在具体实施过程中,上述步骤可以理解为,设原始图像为f(x,y),按照一定的准则f(x,y)中找到特征值T,将图像分割为两个部分,分割后的图像为:g(x,y)=0,或g(x,y)=1,即为我们通常所说的图像二值化。
作为本申请一些可选实施方式,所述对所述二值化图像进行边缘检测,获得所述目标缺陷的尺寸比值,包括:
对所述二值化图像进行边缘检测,获得轮廓信息;
基于所述轮廓信息,获得目标缺陷的长度值和宽度值;
将所述目标缺陷的长度值和宽度值分别与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的尺寸比值。
在具体实施过程中,通过将所述目标缺陷的长度值和宽度值分别与目标缺陷所在的面板线路宽度值进行对比,可以判断所述目标缺陷是否对面板线路造成较为明显的区域遮挡。
作为本申请一些可选实施方式,所述将所述目标缺陷的长度值和宽度值分别与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的尺寸比值,包括:
将所述目标缺陷的长度值与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的第一尺寸比值;
将所述目标缺陷的宽度值与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的第二尺寸比值。
在具体实施过程中,上述步骤为获得尺寸比的细化步骤,因此目前与上述获得尺寸比的目的相同,即用于判断所述目标缺陷是否对面板线路造成较为明显的区域遮挡。
作为本申请一些可选实施方式,所述对所述二值化图像进行边缘检测,获得轮廓信息,包括:
对所述二值化图像的边缘进行检测,获得边缘点集合;
将所述边缘点集合进行筛选处理,获得轮廓信息。
在具体实施过程中,对图像进行边缘检测,有可能获取到的边缘点是无效的,因此可以对轮廓进行筛选(根据面积、长度等确定是否为有效轮廓)和拟合多边形,之后获得有效的轮廓信息。
作为本申请一些可选实施方式,所述将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果,包括:
将所述目标缺陷的第一尺寸比值与第一预设阈值进行对比,获得第一对比结果;
将所述目标缺陷的第二尺寸比值与第二预设阈值进行对比,获得第二对比结果;
基于所述第一对比结果和所述第二对比结果,获得对比结果。
在具体实施过程中,通过将所述第一尺寸比值和所述第二尺寸比值分别为预设阈值进行对比,以获得所述第一对比结果和所述第二对比结果,即分别将目标缺陷的长度值和宽度值与线路宽度进行对比后,再将所获得的比值与预设阈值进行对比,以判断所述目标缺陷的长度或宽度是否对目标线路造成较大的遮挡。
作为本申请一些可选实施方式,所述基于对比结果,获得目标缺陷的类别信息,包括:
基于对比结果,获得目标缺陷的类别信息;
若所述对比结果为所述目标缺陷的尺寸比值大于等于预设阈值,则所述目标缺陷的等级信息为严重缺陷;
若所述对比结果为所述目标缺陷的尺寸比值小于预设阈值,则所述目标缺陷的等级信息为轻微缺陷。
在具体实施过程中,通过上述对比标准,可以准确判断所述目前缺陷的等级信息。
作为本申请一些可选实施方式,所述玻璃面板图像是利用多个图像采集设备从玻璃面板的上方采集获得。
在具体实施过程中,通过利用多个图像采集设备从玻璃面板的上方采集,可以获得包含多个维度信息的玻璃面板,以在后续检测时出现漏检或过检情况。
作为本申请一些可选实施方式,所述目标检测模型通过以下步骤训练获得:
获取玻璃面板第一样本图像;
对所述玻璃面板第一样本图像中的缺陷类型信息、缺陷位置信息和缺陷大小信息进行标注,获得玻璃面板第二样本图像;
基于所述玻璃面板第二样本图像,获得样本图像集;
基于所述样本图像集对初始目标检测模型进行训练,以使得所述初始目标检测模型输出缺陷坐标信息。
在具体实施过程中,通过上述步骤训练获得的目标检测模型,在后续应用中,可以更准确的基于输入的待检测图像,获取得到该图像中所包含的目标缺陷的缺陷坐标信息,以便于后续使用。
再一方面,本申请实施例提供了一种玻璃面板的缺陷分类装置,其特征在于,包括:
第一获取模块,用于获取玻璃面板图像;
第二获取模块,用于将所述玻璃面板图像输入至已训练的目标检测模型中,以获得目标缺陷的坐标信息;基于所述目标缺陷的坐标信息对所述玻璃面板图像进行裁剪,获得目标缺陷图像;其中,所述目标检测模型基于样本图像集训练获得,所述样本图像集中包括玻璃面板样本图像;
对比模块,用于基于所述目标缺陷图像,获得目标缺陷的尺寸比值;将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果;
分类模块,用于基于对比结果,获得目标缺陷的类别信息;其中,所述类别信息包括严重缺陷和轻微缺陷。
再一方面,本申请实施例提供了一种电子设备,包括:存储器和处理器,所述存储器中存储有获取机程序,所述处理器执行所述获取机程序,实现前述方法。
再一方面,本申请实施例提供了一种获取机可读存储介质,所述获取机可读存储介质上存储有获取机程序,所述处理器执行所述获取机程序,实现前述方法。
与现有技术相比,本申请实施例提出了:一种玻璃面板的缺陷分类方法,包括以下步骤:获取玻璃面板图像;将所述玻璃面板图像输入至已训练的目标检测模型中,以获得目标缺陷的坐标信息;其中,所述目标检测模型基于样本图像集训练获得,所述样本图像集中包括玻璃面板样本图像;基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值;将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果;其中,所述目标缺陷的尺寸比值是指目标缺陷的长度值和宽度值的比值;基于对比结果,获得目标缺陷的类别信息;其中,所述类别信息包括严重缺陷和轻微缺陷。可以看出,本申请针对传统面板检测的不足,提出了一种基于目标检测模型对玻璃面板图像中的缺陷进行识别,以获得所述缺陷的坐标框信息,并基于所述缺陷的坐标框信息获得缺陷的尺寸值,再将缺陷尺寸与预设尺寸阈值进行对比,以判断所述缺陷的等级;即本申请基于目标检测模型对缺陷进行识别,不仅提高了检测效率,以提高了检测准确率;从而基于目标检测模型输出的信息对缺陷进行等级判断。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种玻璃面板的缺陷分类方法的流程示意图;
图3是本申请实施例提供的一种玻璃面板的缺陷分类装置结构示意图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例的主要解决方案是:一种玻璃面板的缺陷分类方法,包括以下步骤:获取玻璃面板图像;将所述玻璃面板图像输入至已训练的目标检测模型中,以获得目标缺陷的坐标信息;其中,所述目标检测模型基于样本图像集训练获得,所述样本图像集中包括玻璃面板样本图像;基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值;将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果;其中,所述目标缺陷的尺寸比值是指目标缺陷的长度值和宽度值的比值;基于对比结果,获得目标缺陷的类别信息;其中,所述类别信息包括严重缺陷和轻微缺陷。
玻璃面板的制造是逐层实现的,每个层的实现过程中都会出现缺陷,无论是脏污、异物、油污还是膜层残留等。传统的检测方法为人工逐步筛选,利用模板匹配技术,对整张图片进行匹配对比,检测出缺陷的位置,后续再对缺陷进行分类处理。面板行业需要耗费较大的物力和人力。人工的检测过程中,人为因素过多导致检测质量的降低,也会存在缺陷遗漏的情况,也没有办法针对严重缺陷进行细分,降低制造的损失。
为此,本申请提供了一种解决方案,即基于深度学习的缺陷检测方法,对玻璃面板的缺陷进行智能检测。其中目标检测模型可以快速实现玻璃面板缺陷的检测,从而提高检测效率,同时结合阈值法对所识别到的缺陷进行细化分类,以降低模型识别的过检率,进而节省人力和物力,提高玻璃面板行业的生产效率。
参照图1,图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示,该电子设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中,所述电子设备通过处理器1001调用存储器1005中存储的玻璃面板的缺陷分类装置,并执行本申请实施例提供的玻璃面板的缺陷分类方法。
参见图2,本申请的实施例提供了一种玻璃面板的缺陷分类方法,包括以下步骤:
步骤S10、获取玻璃面板图像。
需要说明的是,所述玻璃面板图像是指需要检测是否存在异物缺陷的玻璃面板图像。所述玻璃面板制造是逐层实现的,每个层的实现过程中都会出现缺陷,无论是脏污、异物、油污还是膜层残留等缺陷,因此需要对所述玻璃面板的缺陷进行分类。另外,所述玻璃面板图像是基于人工拍照或AOI(Automated Optical Inspection,自动光学检测)获得的,所述玻璃面板图像还可以是经过计算机视觉算法处理后获得的。其中,所述AOI是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。AOI是新兴起的一种新型测试技术,但发展迅速,很多厂家都推出了AOI测试设备。当自动检测时,机器通过摄像头自动扫描玻璃面板,采集图像等。所述计算机视觉算法是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器识别的图像。在实际应用中,所述玻璃面板图像还可以是利用多个图像采集设备从玻璃面板的上方采集获得。
步骤S20、将所述玻璃面板图像输入至已训练的目标检测模型中,以获得目标缺陷的坐标信息;其中,所述目标检测模型基于样本图像集训练获得,所述样本图像集中包括玻璃面板样本图像。
需要说明的是,所述目标检测模型通过以下步骤训练获得:
步骤S01、获取玻璃面板第一样本图像。其中,所述玻璃面板第一样本图像是指存在异物缺陷的玻璃面板图像,是基于人工拍照或AOI(Automated Optical Inspection,自动光学检测)获得的,所述玻璃面板图像还可以是经过计算机视觉算法处理后获得的,还可以是利用多个图像采集设备从玻璃面板的上方采集获得。
步骤S02、对所述玻璃面板第一样本图像中的缺陷类型信息、缺陷位置信息和缺陷大小信息进行标注,获得玻璃面板第二样本图像。其中,在对所述玻璃面板第一样本图像中的缺陷类型信息、缺陷位置信息和缺陷大小信息进行标注时,可以采用人工标注或机器标注,并将标注的信息放入缺陷信息中,以对目标检测模型进行训练。当所述目标检测模型基于所述缺陷信息进行深度学习时,会输出所识别到的缺陷尺寸的坐标框信息。从而便于后续利用所述缺陷尺寸信息和背景线路尺寸信息的比值,当比值大于一定的数值,则认为此缺陷为严重缺陷,否则为轻微缺陷。
具体地,上述对所述玻璃面板第一样本图像中的缺陷类型信息、缺陷位置信息和缺陷大小信息进行标注,获得玻璃面板第二样本图像,可以包括:采集实际玻璃面板中的缺陷,将不同的缺陷划分到类别文件中,同一形态的缺陷,按照严重程度也置于同一目录结构之下;分析缺陷特征在背景上的位置,如处于C线路、SOURCE线路、D极还是L极之上,标注设定为缺陷大小,同时扩大到线路的宽度尺寸,让标注信息既包含缺陷信息又包含线路宽度信息;将预处理之后的图片,进行模型训练和测试检测结果,输出缺陷坐标信息并且裁剪缺陷图片保存到类别文件中。
步骤S03、基于所述玻璃面板第二样本图像,获得样本图像集。需要说明的是,所述样本图像集中包括多张玻璃面板第二样本图像,所述多张玻璃面板第二样本图像所包含的标注信息不同,即每张玻璃面板的缺陷类型、缺陷大小、缺陷位置均不同,以便于所述目标检测模型更好的进行学习。
步骤S04、基于所述样本图像集对初始目标检测模型进行训练,以使得所述初始目标检测模型输出缺陷坐标信息。
基于上述训练获得的目标检测模型能准确对玻璃面板上所存在的缺陷类型、缺陷大小和缺陷位置进行准确识别,从而便于后续利用所述缺陷尺寸信息和背景线路尺寸信息的比值,当比值大于一定的数值,则认为此缺陷为严重缺陷,否则为轻微缺陷。
步骤S30、基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值;将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果;其中,所述目标缺陷的尺寸比值是指目标缺陷的长度值和宽度值的比值。
在实际应用中,所述基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值,包括:基于所述目标缺陷的坐标信息对所述玻璃面板图像进行裁剪,获得目标缺陷图像;基于所述目标缺陷图像,获得目标缺陷的尺寸比值。需要说明的是,所述目标缺陷的尺寸比值是指目标缺陷长度值和宽度值分别与面板线路宽度值的比值。
具体来说,所述基于所述目标缺陷图像,获得目标缺陷的尺寸比值,包括:将所述目标缺陷图像进行二值化处理,获得二值化图像。对所述二值化图像进行边缘检测,获得所述目标缺陷的尺寸比值。
在一些可选实施方式中,所述将所述目标缺陷图像进行二值化处理,获得二值化图像,包括:将所述目标缺陷图像进行图像滤波处理后,进行二值化处理,获得二值化图像。在一些可选实施方式中,所述将所述目标缺陷图像进行图像滤波处理后,进行二值化处理,获得二值化图像,包括:将所述目标缺陷图像进行高斯滤波处理和图像平滑处理后,获得第一目标缺陷图像;采用直方图分布统计所述第一目标缺陷图像中的像素值,获得分割阈值;基于所述分割阈值对所述第一目标缺陷图像进行二值化处理,获得二值化图像。其中,所述采用直方图分布统计所述第一目标缺陷图像中的像素值,获得分割阈值,包括:采用直方图分布统计所述第一目标缺陷图像中的像素值,以像素占比最高的像素值作为分割阈值。
通过上述处理后获得的二值化图像噪声值更低,以便于对其进行边缘检测,获得更为准确的目标缺陷尺寸比值。其中,通过所述高斯滤波处理是指二维高斯滤波处理,是指对整幅图像进行加权,针对每个像素点的值,都有其本身值和邻域内的其他像素值加权平均得到,即用一个模板(或称卷积、掩模)扫描图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。所述加权平均灰度值满足以下关系式:
其中,G(x,y)表示为加权平均灰度值,σ表示为尺度参数值,x表示横坐标值,y表示纵坐标值。
其中,所述阈值分割后的图像表达式满足以下关系式:
其中,g(x,y)表示阈值分割后的图像,f(x,y)表示原始图像,T表示特征值。所述阈值分割的基本原理是:通过设定不同的特征阈值,把图像像素点分为若干类。常用的特征包括:直接来自原始图像的灰度或彩色特征;由原始灰度或彩色值变换得到的特征。设原始图像为f(x,y),按照一定的准则f(x,y)中找到特征值T,将图像分割为两个部分,分割后的图像为:g(x,y)=0,或g(x,y)=1,即为我们通常所说的图像二值化。图像阈值化分割是一种传统的最常用的图像分割方法,因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量,而且也大大简化了分析和处理步骤,因此在很多情况下,是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。图像阈值化的目的是要按照灰度级,对像素集合进行一个划分,得到的每个子集形成一个与现实景物相对应的区域,各个区域内部具有一致的属性,而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。
在实际应用中,所述对所述二值化图像进行边缘检测,获得所述目标缺陷的尺寸比值,包括:对所述二值化图像进行边缘检测,获得轮廓信息;基于所述轮廓信息,获得目标缺陷的长度值和宽度值;将所述目标缺陷的长度值和宽度值分别与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的尺寸比值。
在实际应用中,所述将所述目标缺陷的长度值和宽度值分别与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的尺寸比值,包括:将所述目标缺陷的长度值与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的第一尺寸比值;将所述目标缺陷的宽度值与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的第二尺寸比值。
在实际应用中,所述对所述二值化图像进行边缘检测,获得轮廓信息,包括:对所述二值化图像的边缘进行检测,获得边缘点集合;将所述边缘点集合进行筛选处理,获得轮廓信息。需要说明的是,在对二值化图像进行边缘检测时,所获取的边缘像素点可能并不是实际轮廓的像素点,因此在获取像素点集合后,可以对像素点进行筛选,以获取有效的轮廓像素点信息。
具体地,上述技术方案可以理解为:对原图像进行边缘检测,获取边缘点;然后将点根据设定的规则归纳为轮廓,归纳过程中会对轮廓进行筛选(根据面积、长度等确定是否为有效轮廓)和拟合多边形,之后保存轮廓信息。对得到的轮廓计算长宽尺寸信息,将缺陷长宽和线路的宽度对比,得到尺寸比。
在实际应用中,所述将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果,包括:将所述目标缺陷的第一尺寸比值与第一预设阈值进行对比,获得第一对比结果;将所述目标缺陷的第二尺寸比值与第二预设阈值进行对比,获得第二对比结果;基于所述第一对比结果和所述第二对比结果,获得对比结果。具体地,可以通过实际需求对第一预设阈值和第二预设阈值进行设定;由于所述对比结果包括第一对比结果和第二对比结果,因此只有当所述第一对比结果和所述第二对比结果均为小于时,所述对比结果才为小于;若所述第一对比结果和所述第二对比结果存在任意一个大于时,则所述对比结果则为大于。
在实际应用中,所述基于对比结果,获得目标缺陷的类别信息,包括:基于对比结果,获得目标缺陷的类别信息;若所述对比结果为所述目标缺陷的尺寸比值大于等于预设阈值,则所述目标缺陷的等级信息为严重缺陷;若所述对比结果为所述目标缺陷的尺寸比值小于预设阈值,则所述目标缺陷的等级信息为轻微缺陷。具体地,若将尺寸比大于第一预设阈值/第二预设阈值判定为严重缺陷,小于第一预设阈值/第二预设阈值判定为轻微缺陷。
步骤S40、基于对比结果,获得目标缺陷的类别信息;其中,所述类别信息包括严重缺陷和轻微缺陷。具体地,所述基于对比结果,获得目标缺陷的类别信息,包括:基于对比结果,获得目标缺陷的类别信息;若所述对比结果为所述目标缺陷的尺寸比值大于等于预设阈值,则所述目标缺陷的等级信息为严重缺陷;若所述对比结果为所述目标缺陷的尺寸比值小于预设阈值,则所述目标缺陷的等级信息为轻微缺陷。
参见图3,基于相同的发明思路,本申请实施例提供了一种玻璃面板的缺陷分类装置,其特征在于,包括:
第一获取模块,用于获取玻璃面板图像;
第二获取模块,用于将所述玻璃面板图像输入至已训练的目标检测模型中,以获得目标缺陷的坐标信息;基于所述目标缺陷的坐标信息对所述玻璃面板图像进行裁剪,获得目标缺陷图像;其中,所述目标检测模型基于样本图像集训练获得,所述样本图像集中包括玻璃面板样本图像;
对比模块,用于基于所述目标缺陷图像,获得目标缺陷的尺寸比值;将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果;
分类模块,用于基于对比结果,获得目标缺陷的类别信息;其中,所述类别信息包括严重缺陷和轻微缺陷。
需要说明的是,本实施例中玻璃面板的缺陷分类装置中各模块是与前述实施例中的玻璃面板的缺陷分类方法中的各步骤一一对应,因此,本实施例的具体实施方式和达到的技术效果可参照前述玻璃面板的缺陷分类方法的实施方式,这里不再赘述。
此外,在一种实施例中,本申请还提供一种电子设备,所述电子设备包括处理器,存储器以及存储在所述存储器中的获取机程序,所述获取机程序被处理器运行时实现前述实施例中方法的步骤。
此外,在一种实施例中,本申请还提供一种获取机存储介质,所述获取机存储介质上存储有获取机程序,所述获取机程序被处理器运行时实现前述实施例中方法的步骤。
在一些实施例中,获取机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。获取机可以是包括智能终端和服务器在内的各种获取设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在获取环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个获取设备上执行,或者在位于一个地点的多个获取设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个获取设备上执行。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来,该获取机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光 盘)中,包括若干指令用以使得一台多媒体终端设备(可以是手机,获取机,电视接收机,或者网络设备等)执行本申请各个实施例所述的方法。
以上所揭露的仅为本申请的局部实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或局部流程,并依本申请权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (11)

1.一种玻璃面板的缺陷分类方法,其特征在于,包括以下步骤:
获取玻璃面板图像;
将所述玻璃面板图像输入至已训练的目标检测模型中,以获得目标缺陷的坐标信息;其中,所述目标检测模型基于样本图像集训练获得,所述样本图像集中包括玻璃面板样本图像;
基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值;将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果;其中,所述目标缺陷的尺寸比值是指目标缺陷的长度值和宽度值的比值;其中,所述基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值,包括:基于所述目标缺陷的坐标信息对所述玻璃面板图像进行裁剪,获得目标缺陷图像;基于所述目标缺陷图像,获得目标缺陷的尺寸比值;其中,所述基于所述目标缺陷图像,获得目标缺陷的尺寸比值,包括:将所述目标缺陷图像进行二值化处理,获得二值化图像;对所述二值化图像进行边缘检测,获得所述目标缺陷的尺寸比值;其中,所述对所述二值化图像进行边缘检测,获得所述目标缺陷的尺寸比值,包括:对所述二值化图像进行边缘检测,获得轮廓信息;基于所述轮廓信息,获得目标缺陷的长度值和宽度值;将所述目标缺陷的长度值和宽度值分别与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的尺寸比值;其中,所述将所述目标缺陷的长度值和宽度值分别与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的尺寸比值,包括:将所述目标缺陷的长度值与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的第一尺寸比值;将所述目标缺陷的宽度值与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的第二尺寸比值;其中,所述将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果,包括:将所述目标缺陷的第一尺寸比值与第一预设阈值进行对比,获得第一对比结果;将所述目标缺陷的第二尺寸比值与第二预设阈值进行对比,获得第二对比结果;基于所述第一对比结果和所述第二对比结果,获得对比结果;
基于对比结果,获得目标缺陷的类别信息;其中,所述类别信息包括严重缺陷和轻微缺陷。
2.根据权利要求1所述玻璃面板的缺陷分类方法,其特征在于,所述将所述目标缺陷图像进行二值化处理,获得二值化图像,包括:
将所述目标缺陷图像进行图像滤波处理后,进行二值化处理,获得二值化图像。
3.根据权利要求2所述玻璃面板的缺陷分类方法,其特征在于,所述将所述目标缺陷图像进行图像滤波处理后,进行二值化处理,获得二值化图像,包括:
将所述目标缺陷图像进行高斯滤波处理和图像平滑处理后,获得第一目标缺陷图像;
采用直方图分布统计所述第一目标缺陷图像中的像素值,获得分割阈值;基于所述分割阈值对所述第一目标缺陷图像进行二值化处理,获得二值化图像。
4.根据权利要求3所述玻璃面板的缺陷分类方法,其特征在于,所述采用直方图分布统计所述第一目标缺陷图像中的像素值,获得分割阈值,包括:
采用直方图分布统计所述第一目标缺陷图像中的像素值,以像素占比最高的像素值作为分割阈值。
5.根据权利要求1所述玻璃面板的缺陷分类方法,其特征在于,所述对所述二值化图像进行边缘检测,获得轮廓信息,包括:
对所述二值化图像的边缘进行检测,获得边缘点集合;
将所述边缘点集合进行筛选处理,获得轮廓信息。
6.根据权利要求1所述玻璃面板的缺陷分类方法,其特征在于,所述基于对比结果,获得目标缺陷的类别信息,包括:
基于对比结果,获得目标缺陷的类别信息;
若所述对比结果为所述目标缺陷的尺寸比值大于等于预设阈值,则所述目标缺陷的等级信息为严重缺陷;
若所述对比结果为所述目标缺陷的尺寸比值小于预设阈值,则所述目标缺陷的等级信息为轻微缺陷。
7.根据权利要求1所述玻璃面板的缺陷分类方法,其特征在于,所述玻璃面板图像是利用多个图像采集设备从玻璃面板的上方采集获得。
8.根据权利要求1所述玻璃面板的缺陷分类方法,其特征在于,所述目标检测模型通过以下步骤训练获得:
获取玻璃面板第一样本图像;
对所述玻璃面板第一样本图像中的缺陷类型信息、缺陷位置信息和缺陷大小信息进行标注,获得玻璃面板第二样本图像;
基于所述玻璃面板第二样本图像,获得样本图像集;
基于所述样本图像集对初始目标检测模型进行训练,以使得所述初始目标检测模型输出缺陷坐标信息。
9.一种玻璃面板的缺陷分类装置,其特征在于,包括:
第一获取模块,用于获取玻璃面板图像;
第二获取模块,用于将所述玻璃面板图像输入至已训练的目标检测模型中,以获得目标缺陷的坐标信息;基于所述目标缺陷的坐标信息对所述玻璃面板图像进行裁剪,获得目标缺陷图像;其中,所述目标检测模型基于样本图像集训练获得,所述样本图像集中包括玻璃面板样本图像;
对比模块,用于基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值;将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果;其中,所述目标缺陷的尺寸比值是指目标缺陷的长度值和宽度值的比值;其中,所述基于所述目标缺陷的坐标信息,获得目标缺陷的尺寸比值,包括:基于所述目标缺陷的坐标信息对所述玻璃面板图像进行裁剪,获得目标缺陷图像;基于所述目标缺陷图像,获得目标缺陷的尺寸比值;其中,所述基于所述目标缺陷图像,获得目标缺陷的尺寸比值,包括:将所述目标缺陷图像进行二值化处理,获得二值化图像;对所述二值化图像进行边缘检测,获得所述目标缺陷的尺寸比值;其中,所述对所述二值化图像进行边缘检测,获得所述目标缺陷的尺寸比值,包括:对所述二值化图像进行边缘检测,获得轮廓信息;基于所述轮廓信息,获得目标缺陷的长度值和宽度值;将所述目标缺陷的长度值和宽度值分别与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的尺寸比值;其中,所述将所述目标缺陷的长度值和宽度值分别与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的尺寸比值,包括:将所述目标缺陷的长度值与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的第一尺寸比值;将所述目标缺陷的宽度值与目标缺陷所在的面板线路宽度值进行对比,获得目标缺陷的第二尺寸比值;其中,所述将所述目标缺陷的尺寸比值与预设阈值进行对比,获得对比结果,包括:将所述目标缺陷的第一尺寸比值与第一预设阈值进行对比,获得第一对比结果;将所述目标缺陷的第二尺寸比值与第二预设阈值进行对比,获得第二对比结果;基于所述第一对比结果和所述第二对比结果,获得对比结果;
分类模块,用于基于对比结果,获得目标缺陷的类别信息;其中,所述类别信息包括严重缺陷和轻微缺陷。
10.一种电子设备,其特征在于,该电子设备包括存储器和处理器,所述存储器中存储有获取机程序,所述处理器执行所述获取机程序,实现如权利要求1-8中任一项所述的方法。
11.一种获取机可读存储介质,其特征在于,所述获取机可读存储介质上存储有获取机程序,处理器执行所述获取机程序,实现如权利要求1-8中任一项所述的方法。
CN202310818560.7A 2023-07-05 2023-07-05 一种玻璃面板的缺陷分类方法、装置、设备和介质 Active CN116542975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310818560.7A CN116542975B (zh) 2023-07-05 2023-07-05 一种玻璃面板的缺陷分类方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310818560.7A CN116542975B (zh) 2023-07-05 2023-07-05 一种玻璃面板的缺陷分类方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN116542975A CN116542975A (zh) 2023-08-04
CN116542975B true CN116542975B (zh) 2023-09-12

Family

ID=87445679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310818560.7A Active CN116542975B (zh) 2023-07-05 2023-07-05 一种玻璃面板的缺陷分类方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116542975B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058106A (zh) * 2023-08-16 2023-11-14 广东理工学院 基于随机森林的柔性玻璃平面度及表面缺陷的测量方法
CN117350985B (zh) * 2023-10-24 2024-04-19 云途信息科技(杭州)有限公司 井盖病害检测方法、装置、计算机设备及存储介质
CN117269180B (zh) * 2023-11-24 2024-03-12 成都数之联科技股份有限公司 车辆外观检测方法、装置、服务器和计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014002582A1 (de) * 2014-02-26 2015-08-27 Heye International Gmbh Verfahren zur Erkennung von Rissen in den Wandungen von Hohlglasartikeln
JP2015197319A (ja) * 2014-03-31 2015-11-09 AvanStrate株式会社 ガラス基板の製造方法及び欠陥検査装置
CN105405142A (zh) * 2015-11-12 2016-03-16 冯平 一种玻璃面板的边缺陷检测方法及系统
CN106990119A (zh) * 2017-04-27 2017-07-28 中科慧远视觉技术(洛阳)有限公司 一种自动检测白玻表面缺陷的视觉检测系统及检测方法
WO2017147223A1 (en) * 2016-02-25 2017-08-31 Corning Incorporated Methods and apparatus for edge surface inspection of a moving glass web
CN107169957A (zh) * 2017-04-28 2017-09-15 燕山大学 一种基于机器视觉的玻璃瑕疵在线检测系统及方法
CN109583293A (zh) * 2018-10-12 2019-04-05 复旦大学 星载sar图像中的飞机目标检测与鉴别方法
CN113221881A (zh) * 2021-04-30 2021-08-06 浙大城市学院 一种多层级的智能手机屏幕缺陷检测方法
CN114092389A (zh) * 2021-09-13 2022-02-25 浙江大学 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN114549512A (zh) * 2022-03-01 2022-05-27 成都数之联科技股份有限公司 一种电路板缺陷检测方法、装置、设备及介质
CN115965816A (zh) * 2023-01-05 2023-04-14 无锡职业技术学院 基于深度学习的玻璃缺陷分类与检测方法及系统
CN116091503A (zh) * 2023-04-10 2023-05-09 成都数之联科技股份有限公司 一种面板异物缺陷的判别方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867382B2 (en) * 2018-05-24 2020-12-15 Keysight Technologies, Inc. Detecting mura defects in master panel of flat panel displays during fabrication

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014002582A1 (de) * 2014-02-26 2015-08-27 Heye International Gmbh Verfahren zur Erkennung von Rissen in den Wandungen von Hohlglasartikeln
JP2015197319A (ja) * 2014-03-31 2015-11-09 AvanStrate株式会社 ガラス基板の製造方法及び欠陥検査装置
CN105405142A (zh) * 2015-11-12 2016-03-16 冯平 一种玻璃面板的边缺陷检测方法及系统
WO2017147223A1 (en) * 2016-02-25 2017-08-31 Corning Incorporated Methods and apparatus for edge surface inspection of a moving glass web
CN106990119A (zh) * 2017-04-27 2017-07-28 中科慧远视觉技术(洛阳)有限公司 一种自动检测白玻表面缺陷的视觉检测系统及检测方法
CN107169957A (zh) * 2017-04-28 2017-09-15 燕山大学 一种基于机器视觉的玻璃瑕疵在线检测系统及方法
CN109583293A (zh) * 2018-10-12 2019-04-05 复旦大学 星载sar图像中的飞机目标检测与鉴别方法
CN113221881A (zh) * 2021-04-30 2021-08-06 浙大城市学院 一种多层级的智能手机屏幕缺陷检测方法
CN114092389A (zh) * 2021-09-13 2022-02-25 浙江大学 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN114549512A (zh) * 2022-03-01 2022-05-27 成都数之联科技股份有限公司 一种电路板缺陷检测方法、装置、设备及介质
CN115965816A (zh) * 2023-01-05 2023-04-14 无锡职业技术学院 基于深度学习的玻璃缺陷分类与检测方法及系统
CN116091503A (zh) * 2023-04-10 2023-05-09 成都数之联科技股份有限公司 一种面板异物缺陷的判别方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于深度学习的玻璃盖板缺陷检测研究";罗丽兰;《中国优秀硕士学位论文全文数据库信息科技辑》;第I136-1355页 *

Also Published As

Publication number Publication date
CN116542975A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN116542975B (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN111179225B (zh) 一种基于灰度梯度聚类的试纸表面纹理缺陷检测方法
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN108648169B (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN114266773B (zh) 显示面板缺陷定位方法、装置、设备及存储介质
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及系统
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN111626249B (zh) 题目图像中几何图形的识别方法、装置和计算机存储介质
CN111899243A (zh) 一种图像清晰度评价方法、设备和计算机可读存储介质
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN110837809A (zh) 血液自动分析方法、系统、血细胞分析仪及存储介质
CN111415330A (zh) 基于深度学习的铜箔外观缺陷检测方法
CN115731493A (zh) 基于视频图像识别的降水微物理特征参量提取与分析方法
CN110276759B (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN116091503B (zh) 一种面板异物缺陷的判别方法、装置、设备及介质
CN115661810A (zh) 安检ct目标物识别方法和装置
CN113822836A (zh) 标记图像的方法
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
CN114241356A (zh) 木板颜色识别方法、装置、电子设备及存储介质
CN115719326A (zh) Pcb板缺陷检测方法及装置
CN114596243A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN112465817A (zh) 一种基于方向滤波器的路面裂缝检测方法
CN112287898A (zh) 一种图像的文本检测质量评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant