CN113139932A - 一种基于集成学习的深度学习缺陷图像识别方法及系统 - Google Patents

一种基于集成学习的深度学习缺陷图像识别方法及系统 Download PDF

Info

Publication number
CN113139932A
CN113139932A CN202110305533.0A CN202110305533A CN113139932A CN 113139932 A CN113139932 A CN 113139932A CN 202110305533 A CN202110305533 A CN 202110305533A CN 113139932 A CN113139932 A CN 113139932A
Authority
CN
China
Prior art keywords
training set
classifier
image
training
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110305533.0A
Other languages
English (en)
Other versions
CN113139932B (zh
Inventor
刘伟鑫
徐晨
周松斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Intelligent Manufacturing of Guangdong Academy of Sciences filed Critical Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority to CN202110305533.0A priority Critical patent/CN113139932B/zh
Publication of CN113139932A publication Critical patent/CN113139932A/zh
Application granted granted Critical
Publication of CN113139932B publication Critical patent/CN113139932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于集成学习的深度学习缺陷图像识别方法及系统。该方案包括获取所有的缺陷监测图像,生成样本训练集和样本测试集;获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集,并融合生成第五训练集;将第一训练集、第二训练集、第三训练集、第四训练集和第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器;将所述样本测试集中的图像进行投票,获得目标分类结果。该方案通过多训练集、集成学习方式提高网络模型缺陷识别通用性,实现对多类别缺陷图像识别。

Description

一种基于集成学习的深度学习缺陷图像识别方法及系统
技术领域
本发明涉及计算机视觉图像识别技术领域,更具体地,涉及一种基于集成学习的深度学习缺陷图像识别方法及系统。
背景技术
缺陷图像检测的目的是在样本文件中确定存在缺陷的图片,并将其标记。缺陷图像检测一直是工业视觉检测的一个难题。由于人为提取缺陷图像的特征时,很难达到精准切无遗漏的效果。因此,近年来随着深度学习技术的不断发展。越来越多领域中开始考虑采用深度学习方法实现对缺陷图像识别分类。其效果相对于传统的人工缺陷检测方式有了较明显的提升。
但是,在本发明技术之前,传统的基于深度学习的图像缺陷识别模型存在通用性较差的问题。因此当需要识别多类不同缺陷时,常常存在漏检或检测失败等情况。为此,亟需开发新型缺陷图像识别方法,提高网络模型缺陷识别通用性,实现对多类别缺陷图像识别,提高网络缺陷图像识别准确率。
发明内容
鉴于上述问题,本发明提出了一种基于集成学习的深度学习缺陷图像识别方法及系统,通过多训练集、集成学习方式提高网络模型缺陷识别通用性,实现对多类别缺陷图像识别。
根据本发明实施例第一方面,提供一种基于集成学习的深度学习缺陷图像识别方法。
所述的一种基于集成学习的深度学习缺陷图像识别方法具体包括:
获取所有的缺陷监测图像,生成样本训练集和样本测试集;
获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集;
根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集;
将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器;
将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果。
在一个或多个实施例中,优选地,所述获取所有的缺陷监测图像,生成样本训练集和样本测试集,具体包括:
获取所有的待缺陷检测图像,并将其压缩至预设大小,存储为预设大小彩色图像,其中,所述预设大小的长度和宽度均为100像素;
将所有的所述预设大小彩色图像存储到图片样本集;
从所述图片样本集中提取出预设数量的样本,保存到所述样本训练集,其中,预设数量不大于所述图片样本集中的图像总数;
将所述图片样本集中剩余的样本存储到所述样本测试集。
在一个或多个实施例中,优选地,所述获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集,具体包括:
将所述样本训练集中的所有彩色图像转换为所述灰度图,并保存到所述第一训练集;
对所述第一训练集中的所有所述灰度图进行傅里叶变换,生成所述频谱图,保存到所述第二训练集;
对所述第一训练集中的所有的所述灰度图进行边缘轮廓提取,生成所述边缘轮廓图,保存到所述第三训练集;
对所述第一训练集中的所有的所述灰度图进行梯度运算,获得所述梯度图,保存到所述第四训练集。
在一个或多个实施例中,优选地,所述根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集,具体包括:
获取所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集中的全部图像;
在所述第一训练集、所述第二训练集、所述第三训练集和所述第四训练集中对同一彩色图像对应的所述灰度图、所述频谱图、所述边缘轮廓图和所述梯度图进行提取,拼接为一张预设尺寸的合成训练图,其中,所述预设尺寸的长度和宽度均为200像素;
将所有的所述合成训练图保存到第五训练集。
在一个或多个实施例中,优选地,所述梯度运算采用sobel算子;所述边缘轮廓提取采用canny算子。
在一个或多个实施例中,优选地,所述将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器,具体包括:
获得所述第一训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第一分类器;
获得所述第二训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第二分类器;
获得所述第三训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第三分类器;
获得所述第四训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第四分类器;
获得所述第五训练集,通过融合图像神经网络进行训练,训练完成后,生成所述第五分类器。
在一个或多个实施例中,优选地,所述单类图像神经网络,具体包括:
单类图像输入层,用于输入100*100的图片;
单类图像第一卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
单类图像第一最大池化层,用于配置核大小为2*2;
单类图像第二卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
单类图像第二最大池化层,用于配置核大小为2*2;
单类图像第三卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
单类图像第三最大池化层,用于配置核大小为2*2;
单类图像第一全连接层,用于配置120个神经节点;
单类图像第二全连接层,用于配置84个神经节点;
单类图像输出层,用于按照第一预设分类数进行输出。
在一个或多个实施例中,优选地,所述融合图像神经网络,具体包括:
融合图像输入层,用于输入200*200的图片;
融合图像第一卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第一最大池化层,用于配置核大小为2*2;
融合图像第二卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第二最大池化层,用于配置核大小为2*2;
融合图像第三卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第三最大池化层,用于配置核大小为2*2;
融合图像第四卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第四最大池化层,用于配置核大小为2*2;
融合图像第一全连接层,用于配置120个神经节点;
融合图像第二全连接层,用于配置84个神经节点;
融合图像输出层,用于按照第二预设分类数进行输出。
在一个或多个实施例中,优选地,所述将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果,具体包括:
获得所述样本测试集中的每张图像,保存为图片顺序固定的基础测试集;
依次提取所述基础测试集中的每张图像对应的所述灰度图、所述频谱图、所述边缘轮廓图和所述梯度图;
将所述灰度图、所述频谱图、所述边缘轮廓图和所述梯度图组合为融合测试图;
将所述灰度图、所述频谱图、所述边缘轮廓图、所述梯度图和所述融合测试图依次分别输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票;
将所述第一分类器、所述第二分类器、所述第三分类器和所述第四分类器的投票权重都设置为0.15;
将所述第五分类器的投票权重设置为0.4;
根据所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得所述目标分类结果。
根据本发明实施例第二方面,提供一种基于集成学习的深度学习缺陷图像识别系统。
所述的一种基于集成学习的深度学习缺陷图像识别系统具体包括:
第一获取单元,用于获取所有的缺陷监测图像,生成样本训练集和样本测试集;
第二获取单元,用于获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集;
第一训练单元,用于根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集;
第二训练单元,用于将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器;
分类测试单元,用于将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果。
本发明的实施例提供的技术方案可以包括以下有益效果:
1)本发明实施例通过求取灰度图、频谱图、边缘轮廓图、梯度图、融合图等多种训练集,并结合多种网络进行集成学习,提高缺陷图像识别准确率,通用性较高,能实现对多种缺陷图像进行识别分类。
2)本发明实施例采用多训练集、集成学习方式,提高缺陷图像识别准确率,能实现对多种缺陷图像进行识别分类。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法的流程图。
图2是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的获取所有的缺陷监测图像,生成样本训练集和样本测试集的流程图。
图3是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集的流程图。
图4是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集的流程图。
图5是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器的流程图。
图6是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的单类图像神经网络的示意图。
图7是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的融合图像神经网络的示意图。
图8是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果的流程图。
图9是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别系统的结构图。
具体实施方式
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
缺陷图像检测的目的是在样本文件中确定存在缺陷的图片,并将其标记。缺陷图像检测一直是工业视觉检测的一个难题。由于人为提取缺陷图像的特征时,很难达到精准切无遗漏的效果。因此,近年来随着深度学习技术的不断发展。越来越多领域中开始考虑采用深度学习方法实现对缺陷图像识别分类。其效果相对于传统的人工缺陷检测方式有了较明显的提升。
但是,在本发明技术之前,传统的基于深度学习的图像缺陷识别模型存在通用性较差的问题。因此当需要识别多类不同缺陷时,常常存在漏检或检测失败等情况。为此,亟需开发新型缺陷图像识别方法,提高网络模型缺陷识别通用性,实现对多类别缺陷图像识别,提高网络缺陷图像识别准确率。
本发明实施例中,提供了一种基于集成学习的深度学习缺陷图像识别方法及系统。该方案通过多训练集、集成学习方式提高网络模型缺陷识别通用性,实现对多类别缺陷图像识别。
根据本发明实施例第一方面,提供一种基于集成学习的深度学习缺陷图像识别方法。
图1是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法的流程图。
如图1所示,所述的一种基于集成学习的深度学习缺陷图像识别方法具体包括:
S101、获取所有的缺陷监测图像,生成样本训练集和样本测试集;
S102、获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集;
S103、根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集;
S104、将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器;
S105、将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果。
在本发明实施例中,通过多级多类分类器和神经网络算法,进行了缺陷图像的精确提取,在提取过程中,对于不同类型的图像,均可以采用此通用方案,效率高,仅需要通过色彩转换、傅里叶变换等基础运算,则可实现基于全部的缺陷监测图像的样本训练集数据和样本测试集数据提取和数据采用,最终,生成目标分类。
图2是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的获取所有的缺陷监测图像,生成样本训练集和样本测试集的流程图。
如图2所示,在一个或多个实施例中,优选地,所述获取所有的缺陷监测图像,生成样本训练集和样本测试集,具体包括:
S201、获取所有的待缺陷检测图像,并将其压缩至预设大小,存储为预设大小彩色图像,其中,所述预设大小的长度和宽度均为100像素;
S202、将所有的所述预设大小彩色图像存储到图片样本集;
S203、从所述图片样本集中提取出预设数量的样本,保存到所述样本训练集,其中,预设数量不大于所述图片样本集中的图像总数;
S204、将所述图片样本集中剩余的样本存储到所述样本测试集。
在本发明实施例中,将全部的缺陷检测图像进行了通用化的处理方式,生成了图像样本集,并对此图像样本集数据进行了划分,分成了训练集和测试集,分别单独进行数据处理。
图3是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集的流程图。
如图3所示,在一个或多个实施例中,优选地,所述获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集,具体包括:
S301、将所述样本训练集中的所有彩色图像转换为所述灰度图,并保存到所述第一训练集;
S302、对所述第一训练集中的所有所述灰度图进行傅里叶变换,生成所述频谱图,保存到所述第二训练集;
S303、对所述第一训练集中的所有的所述灰度图进行边缘轮廓提取,生成所述边缘轮廓图,保存到所述第三训练集;
S304、对所述第一训练集中的所有的所述灰度图进行梯度运算,获得所述梯度图,保存到所述第四训练集。
在本发明实施例中,进一步对样本集中的数据进行了图像处理,处理方式分别为灰度处理、傅里叶变换、轮廓提取和梯度运算,形成了图像的时域、频域等多维度图片,这些多维度的图片增强了图像的效果,且没有使用剪切的方式,不会丢失图像中的部分特征。
图4是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集的流程图。
如图4所示,在一个或多个实施例中,优选地,所述根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集,具体包括:
S401、获取所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集中的全部图像;
S402、在所述第一训练集、所述第二训练集、所述第三训练集和所述第四训练集中对同一彩色图像对应的所述灰度图、所述频谱图、所述边缘轮廓图和所述梯度图进行提取,拼接为一张预设尺寸的合成训练图,其中,所述预设尺寸的长度和宽度均为200像素;
S403、将所有的所述合成训练图保存到第五训练集。
在一个或多个实施例中,优选地,所述梯度运算采用sobel算子;所述边缘轮廓提取采用canny算子。
具体的,Sobel算子为离散微分算子,全称为(discrete differentiationoperator),用来计算图像灰度的近似梯度,梯度越大越有可能是边缘。边缘检测计算理论为(computational theory of edge detection,简称为canny)是寻找一个最优边缘检测的算法。
在本发明实施例中,进一步对通过数据处理获得的数据,进行二次融合,产生第五数据集,这个数据集包含的数据具有全部的数据特征,能够有效的反应所有的训练信息。
图5是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器的流程图。
如图5所示,在一个或多个实施例中,优选地,所述将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器,具体包括:
S501、获得所述第一训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第一分类器;
S502、获得所述第二训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第二分类器;
S503、获得所述第三训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第三分类器;
S504、获得所述第四训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第四分类器;
S505、获得所述第五训练集,通过融合图像神经网络进行训练,训练完成后,生成所述第五分类器。
在本发明实施例中,分别对全部的训练集数据进行了神经网络训练,生成不同的分类器,具体的,分别包括所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器、所述第五分类器。
图6是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的单类图像神经网络的示意图。
如图6所示,在一个或多个实施例中,优选地,所述单类图像神经网络,具体包括:
单类图像输入层,用于输入100*100的图片;
单类图像第一卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
单类图像第一最大池化层,用于配置核大小为2*2;
单类图像第二卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
单类图像第二最大池化层,用于配置核大小为2*2;
单类图像第三卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
单类图像第三最大池化层,用于配置核大小为2*2;
单类图像第一全连接层,用于配置120个神经节点;
单类图像第二全连接层,用于配置84个神经节点;
单类图像输出层,用于按照第一预设分类数进行输出。
在本发明实施例中,本发明通过多层级的卷积和池化层的训练,最终输出单类型图像的分类数。
图7是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的融合图像神经网络的示意图。
如图7所示,在一个或多个实施例中,优选地,所述融合图像神经网络,具体包括:
融合图像输入层,用于输入200*200的图片;
融合图像第一卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第一最大池化层,用于配置核大小为2*2;
融合图像第二卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第二最大池化层,用于配置核大小为2*2;
融合图像第三卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第三最大池化层,用于配置核大小为2*2;
融合图像第四卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第四最大池化层,用于配置核大小为2*2;
融合图像第一全连接层,用于配置120个神经节点;
融合图像第二全连接层,用于配置84个神经节点;
融合图像输出层,用于按照第二预设分类数进行输出。
在本发明实施例中,本发明通过多层级的卷积和池化层的训练,最终输出融合图像的分类数。
图8是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别方法中的将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果的流程图。
如图8所示,在一个或多个实施例中,优选地,所述将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果,具体包括:
S801、获得所述样本测试集中的每张图像,保存为图片顺序固定的基础测试集;
S802、依次提取所述基础测试集中的每张图像对应的所述灰度图、所述频谱图、所述边缘轮廓图和所述梯度图;
S803、将所述灰度图、所述频谱图、所述边缘轮廓图和所述梯度图组合为融合测试图;
S804、将所述灰度图、所述频谱图、所述边缘轮廓图、所述梯度图和所述融合测试图依次分别输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票;
S805、将所述第一分类器、所述第二分类器、所述第三分类器和所述第四分类器的投票权重都设置为0.15;
S806、将所述第五分类器的投票权重设置为0.4;
S807、根据所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得所述目标分类结果。
在本发明实施例中,通过获取存在一定次序的多张图像基础测试集,按照固定磁吸进行灰度、频谱、边缘轮廓和梯度运算,并生成融合测试图。通过融合测试图和对应的灰度图、频谱图、边缘轮廓图和梯度图,进行分别输入对应的图片分类器进行投票,其中第五分类器的图片权重最大,主要原因是其为融合图像,存在更强的权重属性。
根据本发明实施例第二方面,提供一种基于集成学习的深度学习缺陷图像识别系统。
图9是本发明一个实施例的一种基于集成学习的深度学习缺陷图像识别系统的结构图。如图9所示,在一个或多个实施例中,所述的一种基于集成学习的深度学习缺陷图像识别系统具体包括:
第一获取单元901,用于获取所有的缺陷监测图像,生成样本训练集和样本测试集;
第二获取单元902,用于获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集;
第一训练单元903,用于根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集;
第二训练单元904,用于将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器;
分类测试单元905,用于将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果。
本发明实施例中,通过对图片进行多维度的数据处理,实现了通过数据融合的方式的分类运算,其中对应的分类结果将会以分值方式呈现区别,并在其中提取出能够体现出缺陷的指标分类。
本发明的实施例提供的技术方案可以包括以下有益效果:
1)本发明实施例通过求取灰度图、频谱图、边缘轮廓图、梯度图、融合图等多种训练集,并结合多种网络进行集成学习,提高缺陷图像识别准确率,通用性较高,能实现对多种缺陷图像进行识别分类。
2)本发明实施例采用多训练集、集成学习方式,提高缺陷图像识别准确率,能实现对多种缺陷图像进行识别分类。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于集成学习的深度学习缺陷图像识别方法,其特征在于,包括:
获取所有的缺陷监测图像,生成样本训练集和样本测试集;
获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集;
根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集;
将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器;
将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果。
2.如权利要求1所述的一种基于集成学习的深度学习缺陷图像识别方法,其特征在于,所述获取所有的缺陷监测图像,生成样本训练集和样本测试集,具体包括:
获取所有的待缺陷检测图像,并将其压缩至预设大小,存储为预设大小彩色图像,其中,所述预设大小的长度和宽度均为100像素;
将所有的所述预设大小彩色图像存储到图片样本集;
从所述图片样本集中提取出预设数量的样本,保存到所述样本训练集,其中,预设数量不大于所述图片样本集中的图像总数;
将所述图片样本集中剩余的样本存储到所述样本测试集。
3.如权利要求1所述的一种基于集成学习的深度学习缺陷图像识别方法,其特征在于,所述获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集,具体包括:
将所述样本训练集中的所有彩色图像转换为所述灰度图,并保存到所述第一训练集;
对所述第一训练集中的所有所述灰度图进行傅里叶变换,生成所述频谱图,保存到所述第二训练集;
对所述第一训练集中的所有的所述灰度图进行边缘轮廓提取,生成所述边缘轮廓图,保存到所述第三训练集;
对所述第一训练集中的所有的所述灰度图进行梯度运算,获得所述梯度图,保存到所述第四训练集。
4.如权利要求1所述的一种基于集成学习的深度学习缺陷图像识别方法,其特征在于,所述根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集,具体包括:
获取所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集中的全部图像;
在所述第一训练集、所述第二训练集、所述第三训练集和所述第四训练集中对同一彩色图像对应的所述灰度图、所述频谱图、所述边缘轮廓图和所述梯度图进行提取,拼接为一张预设尺寸的合成训练图,其中,所述预设尺寸的长度和宽度均为200像素;
将所有的所述合成训练图保存到第五训练集。
5.如权利要求1所述的一种基于集成学习的深度学习缺陷图像识别方法,其特征在于,所述梯度运算采用sobel算子;所述边缘轮廓提取采用canny算子。
6.如权利要求1所述的一种基于集成学习的深度学习缺陷图像识别方法,其特征在于,所述将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器,具体包括:
获得所述第一训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第一分类器;
获得所述第二训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第二分类器;
获得所述第三训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第三分类器;
获得所述第四训练集,通过单类图像神经网络进行训练,训练完成后,生成所述第四分类器;
获得所述第五训练集,通过融合图像神经网络进行训练,训练完成后,生成所述第五分类器。
7.如权利要求6所述的一种基于集成学习的深度学习缺陷图像识别方法,其特征在于,所述单类图像神经网络,具体包括:
单类图像输入层,用于输入100*100的图片;
单类图像第一卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
单类图像第一最大池化层,用于配置核大小为2*2;
单类图像第二卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
单类图像第二最大池化层,用于配置核大小为2*2;
单类图像第三卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
单类图像第三最大池化层,用于配置核大小为2*2;
单类图像第一全连接层,用于配置120个神经节点;
单类图像第二全连接层,用于配置84个神经节点;
单类图像输出层,用于按照第一预设分类数进行输出。
8.如权利要求6所述的一种基于集成学习的深度学习缺陷图像识别方法,其特征在于,所述融合图像神经网络,具体包括:
融合图像输入层,用于输入200*200的图片;
融合图像第一卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第一最大池化层,用于配置核大小为2*2;
融合图像第二卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第二最大池化层,用于配置核大小为2*2;
融合图像第三卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第三最大池化层,用于配置核大小为2*2;
融合图像第四卷积层,用于设置卷积核个数为10,其中,卷积核大小为3*3;
融合图像第四最大池化层,用于配置核大小为2*2;
融合图像第一全连接层,用于配置120个神经节点;
融合图像第二全连接层,用于配置84个神经节点;
融合图像输出层,用于按照第二预设分类数进行输出。
9.如权利要求1所述的一种基于集成学习的深度学习缺陷图像识别方法,其特征在于,所述将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果,具体包括:
获得所述样本测试集中的每张图像,保存为图片顺序固定的基础测试集;
依次提取所述基础测试集中的每张图像对应的所述灰度图、所述频谱图、所述边缘轮廓图和所述梯度图;
将所述灰度图、所述频谱图、所述边缘轮廓图和所述梯度图组合为融合测试图;
将所述灰度图、所述频谱图、所述边缘轮廓图、所述梯度图和所述融合测试图依次分别输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票;
将所述第一分类器、所述第二分类器、所述第三分类器和所述第四分类器的投票权重都设置为0.15;
将所述第五分类器的投票权重设置为0.4;
根据所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得所述目标分类结果。
10.一种基于集成学习的深度学习缺陷图像识别系统,其特征在于,包括:
第一获取单元,用于获取所有的缺陷监测图像,生成样本训练集和样本测试集;
第二获取单元,用于获取样本训练集通过色彩转换、傅里叶变换、梯度运算和边缘轮廓提取,获得灰度图、频谱图、边缘轮廓图和梯度图,生成第一训练集、第二训练集、第三训练集、第四训练集;
第一训练单元,用于根据所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集融合生成第五训练集;
第二训练单元,用于将所述第一训练集、所述第二训练集、所述第三训练集、所述第四训练集和所述第五训练集分别进行深度神经网络训练,生成第一分类器、第二分类器、第三分类器、第四分类器和第五分类器;
分类测试单元,用于将所述样本测试集中的图像输入所述第一分类器、所述第二分类器、所述第三分类器、所述第四分类器和所述第五分类器进行投票,获得目标分类结果。
CN202110305533.0A 2021-03-23 2021-03-23 一种基于集成学习的深度学习缺陷图像识别方法及系统 Active CN113139932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110305533.0A CN113139932B (zh) 2021-03-23 2021-03-23 一种基于集成学习的深度学习缺陷图像识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110305533.0A CN113139932B (zh) 2021-03-23 2021-03-23 一种基于集成学习的深度学习缺陷图像识别方法及系统

Publications (2)

Publication Number Publication Date
CN113139932A true CN113139932A (zh) 2021-07-20
CN113139932B CN113139932B (zh) 2022-12-20

Family

ID=76811579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110305533.0A Active CN113139932B (zh) 2021-03-23 2021-03-23 一种基于集成学习的深度学习缺陷图像识别方法及系统

Country Status (1)

Country Link
CN (1) CN113139932B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937109A (zh) * 2022-11-17 2023-04-07 创新奇智(上海)科技有限公司 硅片缺陷检测的方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650786A (zh) * 2016-11-14 2017-05-10 沈阳工业大学 基于多列卷积神经网络模糊评判的图像识别方法
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN108960281A (zh) * 2018-05-24 2018-12-07 浙江工业大学 一种基于非随机掩盖数据增强方式的黑色素瘤分类方法
WO2020129066A1 (en) * 2018-12-20 2020-06-25 Tracxone Ltd. System and method for classifier training and retrieval from classifier database for large scale product identification
CN111814873A (zh) * 2020-07-07 2020-10-23 广州市运通水务有限公司 用于分辨排水管道缺陷类型及自动鉴别缺陷等级的方法
US20200372404A1 (en) * 2019-05-20 2020-11-26 International Business Machines Corporation Data augmentation for text-based ai applications
CN112150417A (zh) * 2020-09-08 2020-12-29 苏州岩建智能科技有限公司 基于深度学习的涂布缺陷检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650786A (zh) * 2016-11-14 2017-05-10 沈阳工业大学 基于多列卷积神经网络模糊评判的图像识别方法
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN108960281A (zh) * 2018-05-24 2018-12-07 浙江工业大学 一种基于非随机掩盖数据增强方式的黑色素瘤分类方法
WO2020129066A1 (en) * 2018-12-20 2020-06-25 Tracxone Ltd. System and method for classifier training and retrieval from classifier database for large scale product identification
US20200372404A1 (en) * 2019-05-20 2020-11-26 International Business Machines Corporation Data augmentation for text-based ai applications
CN111814873A (zh) * 2020-07-07 2020-10-23 广州市运通水务有限公司 用于分辨排水管道缺陷类型及自动鉴别缺陷等级的方法
CN112150417A (zh) * 2020-09-08 2020-12-29 苏州岩建智能科技有限公司 基于深度学习的涂布缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡慧君等: "基于机器学习的带钢表面缺陷分类方法研究", 《计算机工程与设计》 *
邢芝涛: "基于并行分类器集成的板带钢表面缺陷图像识别", 《东北大学硕士学位论文》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937109A (zh) * 2022-11-17 2023-04-07 创新奇智(上海)科技有限公司 硅片缺陷检测的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113139932B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN110852316A (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
EP3798924A1 (en) System and method for classifying manufactured products
EP3905194A1 (en) Pose estimation method and apparatus
CN103136504A (zh) 人脸识别方法及装置
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN111275070B (zh) 一种基于局部特征匹配的签名验证方法及设备
CN110287125A (zh) 基于图像识别的软件例行化测试方法及装置
CN102982305A (zh) 信息处理设备和处理信息的方法、存储介质以及程序
CN109284700B (zh) 图像中多个人脸检测的方法、存储介质、设备及系统
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN112308148A (zh) 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN113468946A (zh) 用于交通灯检测的语义一致的增强训练数据
CN113139932B (zh) 一种基于集成学习的深度学习缺陷图像识别方法及系统
CN113763384B (zh) 工业质检中的缺陷检测方法、缺陷检测装置
CN110490056A (zh) 对包含算式的图像进行处理的方法和装置
CN113780287A (zh) 一种多深度学习模型的最优选取方法及系统
US20210089886A1 (en) Method for processing data based on neural networks trained by different methods and device applying method
CN116958031A (zh) 一种缺陷检测方法和相关装置
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN115358981A (zh) 胶水缺陷的确定方法、装置、设备及存储介质
CN112686277A (zh) 模型训练的方法和装置
CN113139578B (zh) 一种基于最优训练集的深度学习图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant