CN117437227A - 一种图像生成及缺陷检测方法、装置、介质、设备及产品 - Google Patents

一种图像生成及缺陷检测方法、装置、介质、设备及产品 Download PDF

Info

Publication number
CN117437227A
CN117437227A CN202311754865.2A CN202311754865A CN117437227A CN 117437227 A CN117437227 A CN 117437227A CN 202311754865 A CN202311754865 A CN 202311754865A CN 117437227 A CN117437227 A CN 117437227A
Authority
CN
China
Prior art keywords
image
defect detection
defect
noise
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311754865.2A
Other languages
English (en)
Other versions
CN117437227B (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202311754865.2A priority Critical patent/CN117437227B/zh
Publication of CN117437227A publication Critical patent/CN117437227A/zh
Application granted granted Critical
Publication of CN117437227B publication Critical patent/CN117437227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请的实施例公开了一种图像生成及缺陷检测方法、装置、介质、设备及产品,涉及缺陷检测技术领域,本申请首先通过对异常源图像进行阈值分割,从分割图像上获得模拟缺陷的生成位置,将分割图像与噪声图像相乘进行叠加,从而得到带有噪声数据的掩码图像,考虑到直接融合具有色彩的掩码图像与原始图像会产生的偏色失真问题,先将原始图像和噪声掩码图像灰度化后进行融合,由于三通道决策图根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性获得,最后以三通道决策图作为融合策略进行图像融合时,能够在保留图像清晰度的基础上对彩色图像进行融合,生成尽可能还原真实状态的高质量缺陷样本图像。

Description

一种图像生成及缺陷检测方法、装置、介质、设备及产品
技术领域
本申请涉及缺陷检测技术领域,具体涉及一种图像生成及缺陷检测方法、装置、介质、设备及产品。
背景技术
PCB板在生产制造的各工艺阶段中,会产生各种各样的缺陷,行业内制造商广泛采用基于人工智能技术的ADC系统(自动缺陷分类系统)来替代人力进行PCB板缺陷检测,ADC系统主要采用深度学习的方法来进行PCB板缺陷检测,该方法需要依赖较多的缺陷样本来支撑建模,实际情况中往往没有足够的缺陷样本,这就需要人为制造缺陷样本来平衡样本数量。
缺陷样本需要尽可能还原真实状态,但由于真实图像本身的复杂性和细节信息的多样性,使得制造的三通道的缺陷样本图像会出现偏色失真等问题,生成图像的质量降低,进而影响模型的训练以及缺陷检测的效果。
发明内容
本申请的主要目的在于提供一种图像生成及缺陷检测方法、装置、介质、设备及产品,旨在解决现有技术中人为制造的三通道的缺陷样本的质量偏低的问题。
为实现上述目的,本申请的实施例采用的技术方案如下:
第一方面,本申请实施例提供一种图像生成方法,包括以下步骤:
对异常源图像进行阈值分割,获得分割图像;
将噪声图像和分割图像基于像素值相乘,获得噪声掩码图像;
对原始图像和噪声掩码图像灰度化,获得灰度图像;
根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图;
根据三通道决策图,融合原始图像和噪声掩码图像,生成缺陷样本图像。
在第一方面的一种可能实现方式中,根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图之前,图像生成方法还包括:
根据灰度图像的融合策略,获得灰度决策图;
根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图,包括:
根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,转换灰度决策图以获得三通道决策图。
在第一方面的一种可能实现方式中,对异常源图像进行阈值分割,获得分割图像之后,图像生成方法还包括:
根据目标区域图像和分割图像,获得目标分割图像;
将噪声图像和分割图像基于像素值相乘,获得噪声掩码图像,包括:
将噪声图像和目标分割图像基于像素值相乘,获得噪声掩码图像。
在第一方面的一种可能实现方式中,根据目标区域图像和分割图像,获得目标分割图像之前,图像生成方法还包括:
对原始图像进行二值化,获得第一原始图像;
根据第一原始图像,获得目标区域图像。
在第一方面的一种可能实现方式中,根据目标区域图像和分割图像,获得目标分割图像,包括:
对目标区域图像和分割图像基于像素值相乘,获得目标分割图像。
在第一方面的一种可能实现方式中,对异常源图像进行阈值分割,获得分割图像之前,图像生成方法还包括:
基于噪声生成算法对异常图像进行采样,获得异常源图像。
在第一方面的一种可能实现方式中,根据三通道决策图,融合原始图像和噪声掩码图像,生成缺陷样本图像,包括:
根据三通道决策图,采用加权平均法融合原始图像和噪声掩码图像,生成缺陷样本图像。
第二方面,本申请实施例提供一种缺陷检测方法,包括以下步骤:
获取待检测样本图像;
将待检测样本图像输入缺陷检测模型,获得缺陷检测结果;其中,缺陷检测模型基于原始图像和缺陷样本图像训练获得,缺陷样本图像采用如上述第一方面中任一项提供的图像生成方法获得。
在第二方面的一种可能实现方式中,将待检测样本图像输入缺陷检测模型,获得缺陷检测结果之后,缺陷检测方法还包括:
根据缺陷检测结果中的错判结果对应的待检测样本图像,对缺陷检测模型进行迭代训练,获得目标缺陷检测模型。
在第二方面的一种可能实现方式中,将待检测样本图像输入缺陷检测模型,获得缺陷检测结果之前,缺陷检测方法还包括:
根据原始图像和缺陷样本图像,采用MemSeg基于记忆的分割网络进行训练,获得缺陷检测模型。
在第二方面的一种可能实现方式中,MemSeg基于记忆的分割网络包括记忆模块,记忆模块用于存储记忆特征,并将记忆特征与缺陷样本特征进行比对和融合。
第三方面,本申请实施例提供一种图像生成装置,用于实现如上述第一方面中任一项提供的图像生成方法,包括:
分割模块,分割模块用于对异常源图像进行阈值分割,获得分割图像;
叠加模块,叠加模块用于将噪声图像和分割图像基于像素值相乘,获得噪声掩码图像;
灰度模块,灰度模块用于对原始图像和噪声掩码图像灰度化,获得灰度图像;
决策模块,决策模块用于根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图;
生成模块,生成模块用于根据三通道决策图,融合原始图像和噪声掩码图像,生成缺陷样本图像。
第四方面,本申请实施例提供一种缺陷检测装置,用于实现如上述第二方面中任一项提供的缺陷检测方法,包括:
获取模块,获取模块用于获取待检测样本图像;
检测模块,检测模块用于将待检测样本图像输入缺陷检测模型,获得缺陷检测结果;其中,缺陷检测模型基于原始图像和缺陷样本图像训练获得,缺陷样本图像采用如上述第一方面中任一项提供的图像生成方法获得。
第五方面,本申请实施例提供一种计算机可读存储介质,储存有计算机程序,计算机程序被处理器加载执行时,实现如上述第一方面中任一项提供的图像生成方法或如上述第二方面中任一项提供的缺陷检测方法。
第六方面,本申请实施例提供一种电子设备,包括处理器及存储器,其中,
存储器用于存储计算机程序;
处理器用于加载执行计算机程序,以使电子设备执行如上述第一方面中任一项提供的图像生成方法或如上述第二方面中任一项提供的缺陷检测方法。
第七方面,本申请实施例提供一种计算机程序产品,包括计算机程序,当所述计算机程序被执行时,用于执行如上述第一方面中任一项提供的图像生成方法或如上述第二方面中任一项提供的缺陷检测方法。
与现有技术相比,本申请的有益效果是:
本申请实施例提出的一种图像生成及缺陷检测方法、装置、介质、设备及产品,图像生成方法包括:对异常源图像进行阈值分割,获得分割图像;将噪声图像和分割图像基于像素值相乘,获得噪声掩码图像;对原始图像和噪声掩码图像灰度化,获得灰度图像;根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图;根据三通道决策图,融合原始图像和噪声掩码图像,生成缺陷样本图像。本申请首先通过对异常源图像进行阈值分割,从分割图像上获得模拟缺陷的生成位置,将分割图像与噪声图像相乘进行叠加,从而得到带有噪声数据的掩码图像,考虑到直接融合具有色彩的掩码图像与原始图像会产生的偏色失真问题,先将原始图像和噪声掩码图像灰度化后进行融合,由于三通道决策图根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性获得,最后以三通道决策图作为融合策略进行图像融合时,能够在保留图像清晰度的基础上对彩色图像进行融合,生成尽可能还原真实状态的高质量缺陷样本图像。
附图说明
图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图;
图2为本申请实施例提供的图像生成方法的流程示意图;
图3为本申请实施例提供的图像生成方法中异常源图像的示意图;
图4为本申请实施例提供的图像生成方法中分割图像的示意图;
图5为本申请实施例提供的图像生成方法中一种噪声图像的示意图;
图6为本申请实施例提供的图像生成方法中另一种噪声图像的示意图;
图7为本申请实施例提供的图像生成方法中噪声掩码图像的示意图;
图8为本申请实施例提供的图像生成方法中原始图像的示意图;
图9为本申请实施例提供的图像生成方法中缺陷样本图像的示意图;
图10为本申请实施例提供的图像生成方法中第一原始图像的示意图;
图11为本申请实施例提供的图像生成方法中一种分割图像的示意图;
图12为本申请实施例提供的缺陷检测方法的流程示意图;
图13为本申请实施例提供的图像生成装置的模块示意图;
图14为本申请实施例提供的缺陷检测装置的模块示意图;
图中标记:101-处理器,102-通信总线,103-网络接口,104-用户接口,105-存储器。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例的主要解决方案是:对异常源图像进行阈值分割,获得分割图像;将噪声图像和分割图像基于像素值相乘,获得噪声掩码图像;对原始图像和噪声掩码图像灰度化,获得灰度图像;根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图;根据三通道决策图,融合原始图像和噪声掩码图像,生成缺陷样本图像。
PCB板在生产制造的各工艺阶段中,会产生各种各样的缺陷,工厂首先使用自动光学检测AOI机台拍摄海量图片,再通过人员判图对缺陷图片进行筛选过滤,由于人员的体力和能力有限,导致判图准确率和效率不高。因此,基于节省人力和时间成本的考虑,行业内制造商广泛采用基于人工智能技术的ADC系统(自动缺陷分类系统)来替代人力进行PCB板缺陷检测,并在实际生产活动中取得了良好的效果。
ADC系统主要采用深度学习的方法来进行PCB板缺陷检测,该方法需要依赖较多的缺陷样本来支撑建模,但实际产线中往往并没有产生足够的缺陷样本,部分严重缺陷样本甚至没有。如果没有缺陷样本,则无法训练模型,不能实现ADC系统。如果仅使用少量缺陷样本进行训练,必然使得模型特征提取能力薄弱,对未知缺陷识别能力差,最终导致模型漏检,给工厂造成损失。
比如现有的ADC自动缺陷分类系统,采用二阶段目标检测算法Faster rcnn,在产线持续采集形成大数量样本集,以此训练得到缺陷检测模型,针对大数量样本集,持续采集达到足量样本的等待周期长,冗余数据多,进行人工复判及标注的人力消耗大,样本分类及标注质量低,模型训练的耗时长;
实际中缺陷样本往往不足,部分缺陷样本甚至没有,当缺陷样本不足时,模型检测能力很差。
为了平衡样本数量,现有技术通过人为制造缺陷样本来实现,也就是常说的制造假数据,将制造的缺陷样本与无缺陷的原始图像作为有监督训练的样本,让模型能够有良好的检测能力,作为模拟真实缺陷样本的假数据,需要还原数据采集时的状态,也就是真实状态下带有色彩的图像,也就是RGB三通道图像。但是制造假数据过程中,用于叠加的图像本就是带有色彩的图像,单纯的将图像按照RGB分成三通道进行融合,会让融合后的图像出现偏色失真,尤其是PCB面板使用场景下,精密对象原始的彩色图像本身的复杂性和细节信息的多样性,让偏色失真问题更加严重,降低了生成的图像的质量,进而模型训练、应用的效果都受到影响。
为此,本申请提供一种解决方案,首先通过对异常源图像进行阈值分割,从分割图像上获得模拟缺陷的生成位置,将分割图像与噪声图像相乘进行叠加,从而得到带有噪声数据的掩码图像,考虑到直接融合具有色彩的掩码图像与原始图像会产生的偏色失真问题,先将原始图像和噪声掩码图像灰度化后进行融合,由于三通道决策图根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性获得,最后以三通道决策图作为融合策略进行图像融合时,能够在保留图像清晰度的基础上对彩色图像进行融合,生成尽可能还原真实状态的高质量缺陷样本图像。
参照附图1,附图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图,该电子设备可以包括:处理器101,例如中央处理器(Central Processing Unit,CPU),通信总线102、用户接口104,网络接口103,存储器105。其中,通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器105可选的可以是独立于前述处理器101的存储装置,存储器105可能是高速的随机存取存储器(Random Access Memory,RAM)存储器,也可能是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器;处理器101可以是通用处理器,包括中央处理器、网络处理器等,还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域技术人员可以理解,附图1中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如附图1所示,作为一种存储介质的存储器105中可以包括操作系统、网络通信模块、用户接口模块以及图像生成装置。
在附图1所示的电子设备中,网络接口103主要用于与网络服务器进行数据通信;用户接口104主要用于与用户进行数据交互;本申请中的处理器101、存储器105可以设置在电子设备中,电子设备通过处理器101调用存储器105中存储的图像生成装置,并执行本申请实施例提供的图像生成方法。
参照附图2,基于前述实施例的硬件设备,本申请的实施例提供一种图像生成方法,包括以下步骤:
S10:对异常源图像进行阈值分割,获得分割图像。
在具体实施过程中,异常源图像是模拟的缺陷生成位置的图像,可以人为在图像上标记一些区域,或者添加一些噪声渲染作为异常源图像,进而在阈值分割下得到模拟的缺陷生成的位置。阈值分割是一种基于区域的图像分割技术,目的是要按照灰度级,对像素集合进行一个划分,得到的每个子集形成一个与现实景物相对应的区域,各个区域内部具有一致的属性,而相邻区域不具有这种一致属性。
相比起人为得到异常源图像的方式,采用噪声生成算法的方式一方面可以提升效率,另一方面还可以使得模拟缺陷位置生成具有随机性,以使模拟效果更接近真实状态。比如对异常源图像进行阈值分割,获得分割图像之前,图像生成方法还包括:
基于噪声生成算法对异常图像进行采样,获得异常源图像。
在具体实施过程中,噪声生成算法如Gradient Noise梯度噪声、沃利噪声WorleyNoise,常见的梯度噪声如Simplex Noise单形噪声、Perlin Noise柏林噪声等,通过噪声生成算法对异常图像进行采样,在异常图像上生成随机噪声后即得到异常源图像如附图3所示,此处的异常图像并非特指有异常的图像,而是为了成为异常源图像而添加噪声的基础图像,可以是无异常的图像,也可以是有异常的图像。对如附图3所示的异常源图像进行阈值分割后对应的分割图像如附图4所示,很明显的,图上分割出来的区域即可作为添加缺陷的位置。
S20:将噪声图像和分割图像基于像素值相乘,获得噪声掩码图像。
在具体实施过程中,噪声图像可以是带有缺陷噪声的图像,也可以是一些纹理图像,或者是基于已有缺陷拼接形成的整板图像,目的是在分割图像分割出来的位置上填充不同于原始图像的噪音、纹理等作为模拟缺陷。填充的过程可以看作是两个图像叠加过程,如附图5、附图6所示,分别为不同形式的噪声图像,以附图5所示的噪声图像为例,将其与分割图像叠加之后得到如附图7所示的噪声掩码图像。叠加采用基于像素值相乘的方式,目的在于利用二值化的分割图像上像素的差异,在基于像素值相乘之后分割出来的区域上与噪声图像重叠位置将会被保留,也就实现了模拟缺陷的填充。
S30:对原始图像和噪声掩码图像灰度化,获得灰度图像。
在具体实施过程中,原始图像也即针对PCB面板拍摄的无缺陷图像,如附图8所示,由于图像的清晰度并不会随着其灰度变化发生改变,也就是对于灰度图与原始的彩图,在感官上仅存在颜色的差异,而基于清晰度的细节信息是完全一致的。
S40:根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图。
在具体实施过程中,三通道决策图也就是一种决定融合方式的决策图,根据该决策图对每张单层图下像进行加权即可以实现图像的融合,为了保留图像的清晰度,检验原始图像和噪声掩码图像的清晰度与灰度图像的一致性。具体来说:根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图之前,图像生成方法还包括:
根据灰度图像的融合策略,获得灰度决策图。
在具体实施过程中,将三通道决策图,也就是彩色图像的融合策略与灰度图像关联,以此来减少直接在彩色图像之间进行融合需要的时间。原始图像和噪声掩码图像的灰度化可以利用彩色空间转换公式将彩色图像分解为单通道下的灰度图像,然后根据灰度图像的融合策略得到灰度图像的决策图,也即灰度决策图。
基于前述步骤,根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图,包括:
根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,转换灰度决策图以获得三通道决策图。
在具体实施过程中,将三通道决策图与清晰度关联,根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,在保留图像清晰的基础上进行融合,转换单通道下的灰度决策图得到三通道下的彩色决策图,指导后续原始图像和噪声掩码图像的融合。
S50:根据三通道决策图,融合原始图像和噪声掩码图像,生成缺陷样本图像。
在具体实施过程中,图像融合的方案按照信息提取的层次由低到高可以分为像素级融合、特征级融合以及决策级融合,决策级是在进行融合之前,每一源图像都已独立地完成了分类、识别等自身的决策任务,融合过程是通过对前面每一独立决策结果进行综合分析,从而生成全局最优决策并依此形成融合图像的过程,具有灵活度高、通信量小、实时性最好、容错能力强、抗干扰能力强等优点。如附图9所示,为采用如附图8所示的原始图像与如附图7所示的噪声掩码图像融合生成的缺陷样本图像。
更为具体的,根据三通道决策图,融合原始图像和噪声掩码图像,生成缺陷样本图像,包括:
根据三通道决策图,采用加权平均法融合原始图像和噪声掩码图像,生成缺陷样本图像。
在具体实施过程中,提供一种采用加权平均法融合的方式,对原始图像和噪声掩码图像取相同的权值,然后进行加权平均得到融合图像的像素值,在不涉及其他色域转换下,加权平均法是最简单、直接的融合方式,并能够提高图像的信噪比,保留图像上更多的真实信息以提升生成的缺陷样本图像的质量。
本实施例中,首先通过对异常源图像进行阈值分割,从分割图像上获得模拟缺陷的生成位置,将分割图像与噪声图像相乘进行叠加,从而得到带有噪声数据的掩码图像,考虑到直接融合具有色彩的掩码图像与原始图像会产生的偏色失真问题,先将原始图像和噪声掩码图像灰度化后进行融合,由于三通道决策图根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性获得,最后以三通道决策图作为融合策略进行图像融合时,能够在保留图像清晰度的基础上对彩色图像进行融合,生成尽可能还原真实状态的高质量缺陷样本图像。
在一种实施例中,对异常源图像进行阈值分割,获得分割图像之后,图像生成方法还包括:
根据目标区域图像和分割图像,获得目标分割图像;
将噪声图像和分割图像基于像素值相乘,获得噪声掩码图像,包括:
将噪声图像和目标分割图像基于像素值相乘,获得噪声掩码图像。
在具体实施过程中,PCB面板的缺陷检测,可以是针对整板图像,也可以是针对面板上焊接的某些元器件。如果是后者,那么检测的区域就只需要落在元器件所在的区域,记作目标区域,标记了目标区域的图像即为目标区域图像。根据目标区域图像上的目标区域所在,结合分割图像上分割出的区域的重叠关系,可以选择性地保留位于目标区域中的分割图像部分,得到目标分割图像。具体来说,根据目标区域图像和分割图像,获得目标分割图像,包括:
对目标区域图像和分割图像基于像素值相乘,获得目标分割图像。
在具体实施过程中,同样可以采用基于像素值相乘的方式来叠加确定目标分割图像,基于像素值能够更准确的保留落在目标区域内的部分,如附图8所示的原始图像中,元器件覆盖的区域即为目标区域,为了避免其他色彩的干扰,更明确的叠加出目标区域,将原始图像进行二值化,获得第一原始图像;如附图10所示为附图8所示的原始图像二值化后的图像,也即第一原始图像,现假设经由如附图3所示异常源图像进行阈值分割得到的分割图像如附图11所示,也即分割图像的另一示例,根据第一原始图像,获得目标区域图像,将附图10所示的图像作为目标区域图像与如附图11所示的分割图像基于像素值相乘,目标分割图像上分割出来的区域保留了目标区域所覆盖的部分,可得到如附图4所示的分割图像作为目标分割图像。
参照附图12,基于与前述实施例中同样的发明构思,本申请实施例还提供一种缺陷检测方法,包括以下步骤:
S100:获取待检测样本图像;
S200:将待检测样本图像输入缺陷检测模型,获得缺陷检测结果;其中,缺陷检测模型基于原始图像和缺陷样本图像训练获得,缺陷样本图像采用如本申请实施例提供的图像生成方法获得。
在具体实施过程中,待检测样本图像也就是在产线上拍摄并收集的PCB面板的拍摄图像,将通过本申请实施例提供的图像生成方法生成的缺陷样本图像用于缺陷检测模型的训练,使其能够实现正负样本的均衡,有利于进行有监督顺训练以提升缺陷检测的效果,进而将待检测样本图像输入缺陷检测模型后即可实现高质量的检测。
在一种实施例中,将待检测样本图像输入缺陷检测模型,获得缺陷检测结果之后,缺陷检测方法还包括:
根据缺陷检测结果中的错判结果对应的待检测样本图像,对缺陷检测模型进行迭代训练,获得目标缺陷检测模型。
在具体实施过程中,由于训练阶段缺乏真实的缺陷样本,模型在投入应用后依然存在着对检测样本的错判,可以持续收集产线上被错判的待检测样本图像,并以此对缺陷检测模型进行参数优化,在迭代训练后进一步提升模型的检出、检测能力,得到目标缺陷检测模型。
在一种实施例中,将待检测样本图像输入缺陷检测模型,获得缺陷检测结果之前,缺陷检测方法还包括:
根据原始图像和缺陷样本图像,采用MemSeg基于记忆的分割网络进行训练,获得缺陷检测模型。
在具体实施过程中,提供一种MemSeg基于记忆的分割网络作为模型的网络构架,得益于端到端的网络结构,在推理速度上也有明显优势,MemSeg引入了多尺度特征融合模块和空间注意力模块,能够大幅提升异常定位的模型精度。MemSeg基于记忆的分割网络还可包括记忆模块,记忆模块用于存储记忆特征,并将记忆特征与缺陷样本特征进行比对和融合,在训练和推理阶段,通过比较输入样本和记忆模块中记忆特征的异同,为异常区域的定位提供更有效的信息。
参照附图13,基于与前述实施例中同样的发明构思,本申请实施例还提供一种图像生成装置,用于实现本申请实施例提供的图像生成方法,包括:
分割模块,分割模块用于对异常源图像进行阈值分割,获得分割图像;
叠加模块,叠加模块用于将噪声图像和分割图像基于像素值相乘,获得噪声掩码图像;
灰度模块,灰度模块用于对原始图像和噪声掩码图像灰度化,获得灰度图像;
决策模块,决策模块用于根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图;
生成模块,生成模块用于根据三通道决策图,融合原始图像和噪声掩码图像,生成缺陷样本图像。
参照附图14,基于与前述实施例中同样的发明构思,本申请实施例还提供一种缺陷检测装置,用于实现本申请实施例提供的缺陷检测方法,包括:
获取模块,获取模块用于获取待检测样本图像;
检测模块,检测模块用于将待检测样本图像输入缺陷检测模型,获得缺陷检测结果;其中,缺陷检测模型基于原始图像和缺陷样本图像训练获得,缺陷样本图像采用如本申请实施例提供的图像生成方法获得。
本领域技术人员应当理解,实施例中的各个模块的划分仅仅是一种逻辑功能的划分,实际应用时可以全部或部分集成到一个或多个实际载体上,且这些模块可以全部以软件通过处理单元调用的形式实现,也可以全部以硬件的形式实现,或是以软件、硬件结合的形式实现,需要说明的是,本实施例中图像生成装置、缺陷检测装置中各模块是分别与前述实施例中的图像生成方法、缺陷检测方法中的各步骤一一对应,因此,本实施例的具体实施方式可参照前述图像生成方法、缺陷检测方法的实施方式,这里不再赘述。
基于与前述实施例中同样的发明构思,本申请的实施例还提供一种计算机可读存储介质,储存有计算机程序,计算机程序被处理器加载执行时,实现如本申请实施例提供的图像生成方法或缺陷检测方法。
基于与前述实施例中同样的发明构思,本申请的实施例还提供一种电子设备,包括处理器及存储器,其中,
存储器用于存储计算机程序;
处理器用于加载执行计算机程序,以使电子设备执行如本申请实施例提供的图像生成方法或缺陷检测方法。
基于与前述实施例中同样的发明构思,本申请的实施例还提供一种计算机程序产品,包括计算机程序,当所述计算机程序被执行时,用于执行如本申请实施例提供的图像生成方法或缺陷检测方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光 盘)中,包括若干指令用以使得一台多媒体终端设备(可以是手机,计算机,电视接收机,或者网络设备等)执行本申请各个实施例所述的方法。
综上,本申请提供的一种图像生成及缺陷检测方法、装置、介质、设备及产品,包括:对异常源图像进行阈值分割,获得分割图像;将噪声图像和分割图像基于像素值相乘,获得噪声掩码图像;对原始图像和噪声掩码图像灰度化,获得灰度图像;根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性,获得三通道决策图;根据三通道决策图,融合原始图像和噪声掩码图像,生成缺陷样本图像。本申请首先通过对异常源图像进行阈值分割,从分割图像上获得模拟缺陷的生成位置,将分割图像与噪声图像相乘进行叠加,从而得到带有噪声数据的掩码图像,考虑到直接融合具有色彩的掩码图像与原始图像会产生的偏色失真问题,先将原始图像和噪声掩码图像灰度化后进行融合,由于三通道决策图根据原始图像和噪声掩码图像的清晰度与灰度图像的一致性获得,最后以三通道决策图作为融合策略进行图像融合时,能够在保留图像清晰度的基础上对彩色图像进行融合,生成尽可能还原真实状态的高质量缺陷样本图像。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (16)

1.一种图像生成方法,其特征在于,包括以下步骤:
对异常源图像进行阈值分割,获得分割图像;
将噪声图像和所述分割图像基于像素值相乘,获得噪声掩码图像;
对原始图像和所述噪声掩码图像灰度化,获得灰度图像;
根据所述原始图像和所述噪声掩码图像的清晰度与所述灰度图像的一致性,获得三通道决策图;
根据所述三通道决策图,融合所述原始图像和所述噪声掩码图像,生成缺陷样本图像。
2.根据权利要求1所述的图像生成方法,其特征在于,所述根据所述原始图像和所述噪声掩码图像的清晰度与所述灰度图像的一致性,获得三通道决策图之前,所述图像生成方法还包括:
根据所述灰度图像的融合策略,获得灰度决策图;
所述根据所述原始图像和所述噪声掩码图像的清晰度与所述灰度图像的一致性,获得三通道决策图,包括:
根据所述原始图像和所述噪声掩码图像的清晰度与所述灰度图像的一致性,转换所述灰度决策图以获得三通道决策图。
3.根据权利要求1所述的图像生成方法,其特征在于,所述对异常源图像进行阈值分割,获得分割图像之后,所述图像生成方法还包括:
根据目标区域图像和所述分割图像,获得目标分割图像;
所述将噪声图像和所述分割图像基于像素值相乘,获得噪声掩码图像,包括:
将噪声图像和所述目标分割图像基于像素值相乘,获得噪声掩码图像。
4.根据权利要求3所述的图像生成方法,其特征在于,所述根据目标区域图像和所述分割图像,获得目标分割图像之前,所述图像生成方法还包括:
对所述原始图像进行二值化,获得第一原始图像;
根据所述第一原始图像,获得所述目标区域图像。
5.根据权利要求3所述的图像生成方法,其特征在于,所述根据目标区域图像和所述分割图像,获得目标分割图像,包括:
对目标区域图像和所述分割图像基于像素值相乘,获得目标分割图像。
6.根据权利要求1所述的图像生成方法,其特征在于,所述对异常源图像进行阈值分割,获得分割图像之前,所述图像生成方法还包括:
基于噪声生成算法对异常图像进行采样,获得所述异常源图像。
7.根据权利要求1所述的图像生成方法,其特征在于,所述根据所述三通道决策图,融合所述原始图像和所述噪声掩码图像,生成缺陷样本图像,包括:
根据所述三通道决策图,采用加权平均法融合所述原始图像和所述噪声掩码图像,生成缺陷样本图像。
8.一种缺陷检测方法,其特征在于,包括以下步骤:
获取待检测样本图像;
将所述待检测样本图像输入缺陷检测模型,获得缺陷检测结果;其中,所述缺陷检测模型基于原始图像和缺陷样本图像训练获得,所述缺陷样本图像采用如权利要求1-7中任一项所述的图像生成方法获得。
9.根据权利要求8所述的缺陷检测方法,其特征在于,所述将所述待检测样本图像输入缺陷检测模型,获得缺陷检测结果之后,所述缺陷检测方法还包括:
根据所述缺陷检测结果中的错判结果对应的所述待检测样本图像,对所述缺陷检测模型进行迭代训练,获得目标缺陷检测模型。
10.根据权利要求8所述的缺陷检测方法,其特征在于,所述将所述待检测样本图像输入缺陷检测模型,获得缺陷检测结果之前,所述缺陷检测方法还包括:
根据所述原始图像和所述缺陷样本图像,采用MemSeg基于记忆的分割网络进行训练,获得所述缺陷检测模型。
11.根据权利要求10所述的缺陷检测方法,其特征在于,所述MemSeg基于记忆的分割网络包括记忆模块,所述记忆模块用于存储记忆特征,并将所述记忆特征与缺陷样本特征进行比对和融合。
12.一种图像生成装置,用于实现如权利要求1-7中任一项所述的图像生成方法,其特征在于,包括:
分割模块,所述分割模块用于对异常源图像进行阈值分割,获得分割图像;
叠加模块,所述叠加模块用于将噪声图像和所述分割图像基于像素值相乘,获得噪声掩码图像;
灰度模块,所述灰度模块用于对原始图像和所述噪声掩码图像灰度化,获得灰度图像;
决策模块,所述决策模块用于根据所述原始图像和所述噪声掩码图像的清晰度与所述灰度图像的一致性,获得三通道决策图;
生成模块,所述生成模块用于根据所述三通道决策图,融合所述原始图像和所述噪声掩码图像,生成缺陷样本图像。
13.一种缺陷检测装置,用于实现如权利要求8-11中任一项所述的缺陷检测方法,其特征在于,包括:
获取模块,所述获取模块用于获取待检测样本图像;
检测模块,所述检测模块用于将所述待检测样本图像输入缺陷检测模型,获得缺陷检测结果;其中,所述缺陷检测模型基于原始图像和缺陷样本图像训练获得,所述缺陷样本图像采用如权利要求1-7中任一项所述的图像生成方法获得。
14.一种计算机可读存储介质,储存有计算机程序,其特征在于,所述计算机程序被处理器加载执行时,实现如权利要求1-7中任一项所述的图像生成方法或如权利要求8-11中任一项所述的缺陷检测方法。
15.一种电子设备,其特征在于,包括处理器及存储器,其中,
所述存储器用于存储计算机程序;
所述处理器用于加载执行所述计算机程序,以使所述电子设备执行如权利要求1-7中任一项所述的图像生成方法或如权利要求8-11中任一项所述的缺陷检测方法。
16.一种计算机程序产品,其特征在于,包括计算机程序,当所述计算机程序被执行时,用于执行如权利要求1-7中任一项所述的图像生成方法或如权利要求8-11中任一项所述的缺陷检测方法。
CN202311754865.2A 2023-12-20 2023-12-20 一种图像生成及缺陷检测方法、装置、介质、设备及产品 Active CN117437227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311754865.2A CN117437227B (zh) 2023-12-20 2023-12-20 一种图像生成及缺陷检测方法、装置、介质、设备及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311754865.2A CN117437227B (zh) 2023-12-20 2023-12-20 一种图像生成及缺陷检测方法、装置、介质、设备及产品

Publications (2)

Publication Number Publication Date
CN117437227A true CN117437227A (zh) 2024-01-23
CN117437227B CN117437227B (zh) 2024-02-27

Family

ID=89555664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311754865.2A Active CN117437227B (zh) 2023-12-20 2023-12-20 一种图像生成及缺陷检测方法、装置、介质、设备及产品

Country Status (1)

Country Link
CN (1) CN117437227B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854072A (zh) * 2024-03-07 2024-04-09 德济智能科技(苏州)有限公司 一种工业视觉缺陷自动标注方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081215A1 (en) * 2001-01-09 2003-05-01 Ajay Kumar Defect detection system for quality assurance using automated visual inspection
CN114677346A (zh) * 2022-03-21 2022-06-28 西安电子科技大学广州研究院 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
CN115239734A (zh) * 2022-09-23 2022-10-25 成都数之联科技股份有限公司 模型训练方法、装置、存储介质、设备及计算机程序产品
CN115375614A (zh) * 2021-05-18 2022-11-22 三星显示有限公司 用于对通过制造过程制造的产品进行分类的系统和方法
CN115439442A (zh) * 2022-08-31 2022-12-06 湖北星盛电气装备研究院有限公司 基于共性和差异的工业品表面缺陷检测与定位方法及系统
CN115661156A (zh) * 2022-12-28 2023-01-31 成都数联云算科技有限公司 图像生成方法、装置、存储介质、设备及计算机程序产品
CN116580030A (zh) * 2023-07-13 2023-08-11 厦门微图软件科技有限公司 一种基于异常仿真的焊接质量异常检测方法
CN116596851A (zh) * 2023-04-21 2023-08-15 华南理工大学 一种基于知识蒸馏和异常模拟的工业瑕疵检测方法
CN116778269A (zh) * 2023-05-30 2023-09-19 沈阳化工大学 一种基于自编码器重构产品表面缺陷检测模型构建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081215A1 (en) * 2001-01-09 2003-05-01 Ajay Kumar Defect detection system for quality assurance using automated visual inspection
CN115375614A (zh) * 2021-05-18 2022-11-22 三星显示有限公司 用于对通过制造过程制造的产品进行分类的系统和方法
CN114677346A (zh) * 2022-03-21 2022-06-28 西安电子科技大学广州研究院 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
CN115439442A (zh) * 2022-08-31 2022-12-06 湖北星盛电气装备研究院有限公司 基于共性和差异的工业品表面缺陷检测与定位方法及系统
CN115239734A (zh) * 2022-09-23 2022-10-25 成都数之联科技股份有限公司 模型训练方法、装置、存储介质、设备及计算机程序产品
CN115661156A (zh) * 2022-12-28 2023-01-31 成都数联云算科技有限公司 图像生成方法、装置、存储介质、设备及计算机程序产品
CN116596851A (zh) * 2023-04-21 2023-08-15 华南理工大学 一种基于知识蒸馏和异常模拟的工业瑕疵检测方法
CN116778269A (zh) * 2023-05-30 2023-09-19 沈阳化工大学 一种基于自编码器重构产品表面缺陷检测模型构建方法
CN116580030A (zh) * 2023-07-13 2023-08-11 厦门微图软件科技有限公司 一种基于异常仿真的焊接质量异常检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALESSANDRO MASULLO 等: "Automated mask generation for PIV image analysis based on pixel intensity statistics", 《CROSSMARK》, 23 May 2017 (2017-05-23), pages 1 - 11, XP036267720, DOI: 10.1007/s00348-017-2357-3 *
NADJA GRUBER 等: "Single-Image based unsupervised joint segmentation and denoising", 《ARXIV》, 19 September 2023 (2023-09-19), pages 1 - 35 *
宋述斌: "基于生成对抗网络的工业产品表面缺陷检测算法研究", 《万方学位论文库》, 5 July 2023 (2023-07-05), pages 1 - 73 *
王正家 等: "基于Gabor滤波的软包电池表面缺陷检测", 《组合机床与自动化加工技术》, no. 11, 20 November 2023 (2023-11-20), pages 146 - 149 *
罗东亮 等: "工业缺陷检测深度学习方法综述", 《中国科学:信息科学》, vol. 52, no. 6, 17 June 2022 (2022-06-17), pages 1002 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854072A (zh) * 2024-03-07 2024-04-09 德济智能科技(苏州)有限公司 一种工业视觉缺陷自动标注方法
CN117854072B (zh) * 2024-03-07 2024-05-07 德济智能科技(苏州)有限公司 一种工业视觉缺陷自动标注方法

Also Published As

Publication number Publication date
CN117437227B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
KR101967089B1 (ko) 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가
CN117437227B (zh) 一种图像生成及缺陷检测方法、装置、介质、设备及产品
CN108683907A (zh) 光学模组像素缺陷检测方法、装置及设备
CN112215833B (zh) 图像质量评估方法、装置以及计算机可读存储介质
CN114202543B (zh) Pcb板脏污缺陷检测方法、装置、设备及介质
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN111339902A (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN109800151A (zh) 屏幕适配性自动测试方法、装置、计算机设备和存储介质
CN114677567B (zh) 模型训练方法、装置、存储介质及电子设备
CN115239734A (zh) 模型训练方法、装置、存储介质、设备及计算机程序产品
CN115359431A (zh) 一种大气环境污染源污染程度评估方法及系统
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN114066835A (zh) 图像检测、自动光学检测方法、装置、存储介质及设备
JP2020135051A (ja) 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル
CN115661156B (zh) 图像生成方法、装置、存储介质、设备及计算机程序产品
CN114419037B (zh) 工件缺陷检测方法和装置
CN116149987A (zh) 一种图形滑块的自动验证方法
CN116309526A (zh) 纸杯缺陷检测方法及装置
CN111402185A (zh) 一种图像检测方法及装置
CN112396083B (zh) 图像识别、模型训练与构建、检测方法、系统及设备
CN116415019A (zh) 虚拟现实vr图像识别方法及装置、电子设备、存储介质
CN115719326A (zh) Pcb板缺陷检测方法及装置
CN113315995A (zh) 提高视频质量的方法、装置、可读存储介质及电子设备
CN113076983A (zh) 一种图像的识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant