CN112581472B - 一种面向人机交互的目标表面缺陷检测方法 - Google Patents

一种面向人机交互的目标表面缺陷检测方法 Download PDF

Info

Publication number
CN112581472B
CN112581472B CN202110103262.0A CN202110103262A CN112581472B CN 112581472 B CN112581472 B CN 112581472B CN 202110103262 A CN202110103262 A CN 202110103262A CN 112581472 B CN112581472 B CN 112581472B
Authority
CN
China
Prior art keywords
intervention
human
target
prediction
computer interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110103262.0A
Other languages
English (en)
Other versions
CN112581472A (zh
Inventor
曾向荣
钟志伟
刘衍
张政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110103262.0A priority Critical patent/CN112581472B/zh
Publication of CN112581472A publication Critical patent/CN112581472A/zh
Application granted granted Critical
Publication of CN112581472B publication Critical patent/CN112581472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向人机交互的目标表面缺陷检测方法,包括以下步骤:S1:将图像纹理信息引入到YOLOv3卷积神经网络中,并计算出预测框;S2:根据预测框的置信度,设定置信度的干预阈值;S3:当干预阈值
Figure 571636DEST_PATH_IMAGE001
高于一定阈值
Figure 692039DEST_PATH_IMAGE002
,即
Figure 409459DEST_PATH_IMAGE003
时,不需要人的主观干预,
Figure 70248DEST_PATH_IMAGE004
;当干预阈值
Figure 87882DEST_PATH_IMAGE001
低于一定阈值
Figure 51290DEST_PATH_IMAGE005
,即
Figure 521586DEST_PATH_IMAGE006
时,不需要人的主观干预,
Figure 986065DEST_PATH_IMAGE007
;当
Figure 858206DEST_PATH_IMAGE008
时,需要人的主观干预;S4:对认为干预的样本,重新用于深度卷积神经网络的训练。本发明适合于目标缺陷样本较少的情况下,采用人机交互的方式,一方面提高识别的准确性,另一方面为后续的识别提供更多的训练样本,越来越减轻操作员的负担。

Description

一种面向人机交互的目标表面缺陷检测方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种面向人机交互的目标表面缺陷检测方法。
背景技术
机器视觉技术已经代替人眼深入到了社会的方方面面,彻底改变了人们的生活环境。机器视觉检测综合了机器视觉和自动化技术,广泛应用于制造行业的产品缺陷检测,例如产品的装配过程检测与定位、产品的包装检测、产品的外观质量检测、物流行业的货物分栋或水果分栋等,机器视觉能够代替人工快速、准确地完成各项工作。常用的视觉的检测方法主要采用基于深度学习的目标检测方法,深度学习方法包括R-CNN、Fast R-CNN、R-FCN、YOLO、SSD、YOLOv2、YOLOv3等,由于YOLOv3采用金字塔模型,适合于不同分辨率的目标检测,因此本发明采用YOLOv3模型。
发明内容
本发明提出的一种面向人机交互的目标表面缺陷检测方法,适合于目标缺陷样本较少的情况下,采用人机交互的方式,一方面提高识别的准确性,另一方面为后续的识别提供更多的训练样本,越来越减轻操作员的负担。
为了实现上述目的,本发明采用了如下技术方案:
一种面向人机交互的目标表面缺陷检测方法,包括以下步骤:
S1:将图像纹理信息引入到YOLOv3卷积神经网络中;
S2:根据预测框的置信度,设定置信度的干预阈值;
S3:当该阈值TC高于一定阈值T1,即Tc>T1时,不需要人的主观干预,T1=0.8;当该阈值TC低于一定阈值T3,即Tc<T3时,不需要人的主观干预,T3=0.3;当T3≤Tc≤T1时,需要人的主观干预;当干预时间Tt超过一定阈值Tt1,即Tt>Tt1时,自动进入下一次处理;
S4:对认为干预的样本,重新用于深度卷积神经网络的训练;
所述步骤S1中将图像纹理信息引入到YOLOv3卷积神经网络中的具体步骤为:
S11:YOLOv3将输入图像缩放至416×416,将图像划分为S×S个网格;每一网格负责预测目标中心落入该网格的目标,并计算出3个预测框;每一预测框对应5+C个值,C表示数据集中的类别总数,5代表预测边界框的属性信息:中心点坐标(x,y)、框的宽高尺寸(w,h)和置信度;
S12:网格预测的类别置信度得分中引入纹理信息为:
Figure GDA0003730061580000021
其中Pr(classi|object)为物体属于某一类的概率;Pr(object)为若有目标中心落入该网格,则Pr(object)=1,否则Pr(object)=0;
Figure GDA0003730061580000022
为预测边界框与真实框的交并比,Texture为纹理信息;
S13:使用非极大值抑制算法筛选出置信得分高的预测框,即为检测框。
优选的,所述步骤S3中采用不同方框标注不同类型的数据,需要人干预的数据采用深色方框,不需要人干预的数据采用浅色方框,对于Tt>Tt1的数据按照不同的文件夹进行分类。
优选的,所述步骤S4中对认为干预的样本按照图像和干预目标坐标统一保存,重新用于深度卷积神经网络的训练。
优选的,所述步骤S3及步骤S4中新增加的数据直接放入原本训练好的网络模型中训练,无需重新训练已有的数据。
与现有的技术相比,本发明的有益效果是:本发明适合于目标缺陷样本较少的情况下,采用人机交互的方式,一方面由于缺陷部分的特征较为明显,因此引入图像纹理信息作为的YOLO V3的类别置信度,使得当目标原有的检测概率很低时,也可以把检测概率提升上去,提高目标表面缺陷检测的识别准确性;另一方面面向人机交互的目标检测,针对样本数量较少的情况,采用人机交互的方式,把觉得可以的数据放入训练样本中再次训练,获得更优的模型,也为后续的识别提供更多的训练样本,越来越减轻操作员的负担。
附图说明
图1为本发明实施例1、实施例2的总体流程图;
图2为正常表面图;
图3为裂纹表面缺陷图;
图4为螺钉腐蚀表面缺陷图;
图5为意外损害表面缺陷图;
图6为本发明实施例2面向人机交互的目标表面缺陷检测界面图。
图7为本发明实施例1、实施例2的人机交互下目标缺陷检测的精度变化曲线图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上;术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1:
参照图1-5及图7,一种面向人机交互的目标表面缺陷检测方法,包括以下步骤:
S1:将图像纹理信息引入到YOLOv3卷积神经网络中;
由于目标缺陷部分的特征较为明显,因此引入图像纹理信息作为的YOLO V3的类别置信度,即使当目标原有的检测概率很低时,也可以把检测概率提升上去。
S2:根据预测框的置信度,设定置信度的干预阈值。
S3:当该阈值TC高于一定阈值T1,即Tc>T1时,不需要人的主观干预,T1=0.8;当该阈值TC低于一定阈值T3,即Tc<T3时,不需要人的主观干预,T3=0.3;当T3≤Tc≤T1时,需要人的主观干预;当干预时间Tt超过一定阈值Tt1,即Tt>Tt1时,自动进入下一次处理。
S4:对认为干预的样本按照图像和干预目标坐标统一保存,重新用于深度卷积神经网络的训练。
步骤S1中将图像纹理信息引入到YOLOv3卷积神经网络中的具体步骤为:
S11:YOLOv3将输入图像缩放至416×416,将图像划分为S×S个网格;每一网格负责预测目标中心落入该网格的目标,并计算出3个预测框;每一预测框对应5+C个值,C表示数据集中的类别总数,5代表预测边界框的属性信息:中心点坐标(x,y)、框的宽高尺寸(w,h)和置信度;
S12:网格预测的类别置信度得分中引入纹理信息为:
Figure GDA0003730061580000051
其中Pr(classi|object)为物体属于某一类的概率;Pr(object)为若有目标中心落入该网格,则Pr(object)=1,否则Pr(object)=0;
Figure GDA0003730061580000052
为预测边界框与真实框的交并比,Texture为纹理信息;
S13:使用非极大值抑制算法筛选出置信得分高的预测框,即为检测框。
如图2-5所示,分别为目标表面正常图片、目标表面裂纹图像、目标表面螺钉腐蚀的图像、目标表面意外损害的图像。其中目标表面裂纹图像重,裂纹的区域较小,利用肉眼不易区分,但是细节部分与周围的区别度较大;目标表面螺钉腐蚀的图像,腐蚀后的螺钉图像与周围的区分度也较大;目标表面意外损害的图像,意外损害的图像可能存在像素值较少但与周围的区别度较大。这些图表面的纹理信息都比较明显。
如图7所示,每隔100次统计一次,由于前期数据不够导致精度不高,因此一开始的时候准确性会有较大的提高,随着次数的增多,精度提高的不多。最后精度会稳定在90%左右。
实施例2
参照图1-7,一种面向人机交互的目标表面缺陷检测方法,包括以下步骤:
S1:将图像纹理信息引入到YOLOv3卷积神经网络中;
由于目标缺陷部分的特征较为明显,因此引入图像纹理信息作为的YOLO V3的类别置信度,即使当目标原有的检测概率很低时,也可以把检测概率提升上去。
S2:根据预测框的置信度,设定置信度的干预阈值。
S3:当该阈值TC高于一定阈值T1,即Tc>T1时,不需要人的主观干预,T1=0.8;当该阈值TC低于一定阈值T3,即Tc<T3时,不需要人的主观干预,T3=0.3;当T3≤Tc≤T1时,需要人的主观干预;当干预时间Tt超过一定阈值Tt1,即Tt>Tt1时,自动进入下一次处理。
S4:对认为干预的样本按照图像和干预目标坐标统一保存,重新用于深度卷积神经网络的训练。
新增加的数据直接放入原本训练好的网络模型中训练,无需重新训练已有的数据。
如图2-5所示,分别为目标表面正常图片、目标表面裂纹图像、目标表面螺钉腐蚀的图像、目标表面意外损害的图像。其中目标表面裂纹图像重,裂纹的区域较小,利用肉眼不易区分,但是细节部分与周围的区别度较大;目标表面螺钉腐蚀的图像,腐蚀后的螺钉图像与周围的区分度也较大;目标表面意外损害的图像,意外损害的图像可能存在像素值较少但与周围的区别度较大。这些图表面的纹理信息都比较明显。
如图6所示,1为采集的图像区域;2为检测结果区域,此区域采用不同方框标注不同类型的数据,需要人干预的数据采用深色方框(中部),不需要人干预的数据采用浅色方框,在浅色方框区域范围内也可以人为调整,以提高准确性,对于Tt>Tt1的数据按照不同的文件夹进行分类,以提高后续的处理能力;3为检测区域的类型和概率,其中C为类型,L为所处类型的概率。
如图7所示,每隔100次统计一次,由于前期数据不够导致精度不高,因此一开始的时候准确性会有较大的提高,随着次数的增多,精度提高的不多。最后精度会稳定在90%左右。
以上,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种面向人机交互的目标表面缺陷检测方法,其特征在于,包括以下步骤:
S1:将图像纹理信息引入到YOLOv3卷积神经网络中;
S2:根据预测框的置信度,设定置信度的干预阈值;
S3:当该阈值TC高于一定阈值T1,即Tc>T1时,不需要人的主观干预,T1=0.8;当该阈值TC低于一定阈值T3,即Tc<T3时,不需要人的主观干预,T3=0.3;当T3≤Tc≤T1时,需要人的主观干预;当干预时间Tt超过一定阈值Tt1,即Tt>Tt1时,自动进入下一次处理;
S4:对认为干预的样本,重新用于深度卷积神经网络的训练;
所述步骤S1中将图像纹理信息引入到YOLOv3卷积神经网络中的具体步骤为:
S11:YOLOv3将输入图像缩放至416×416,将图像划分为S×S个网格;每一网格负责预测目标中心落入该网格的目标,并计算出3个预测框;每一预测框对应5+C个值,C表示数据集中的类别总数,5代表预测边界框的属性信息:中心点坐标(x,y)、框的宽高尺寸(w,h)和置信度;
S12:网格预测的类别置信度得分中引入纹理信息为:
Figure FDA0003730061570000011
其中Pr(classi|object)为物体属于某一类的概率;Pr(object)为若有目标中心落入该网格,则Pr(object)=1,否则Pr(object)=0;
Figure FDA0003730061570000012
为预测边界框与真实框的交并比,Texture为纹理信息;
S13:使用非极大值抑制算法筛选出置信得分高的预测框,即为检测框。
2.根据权利要求1所述的一种面向人机交互的目标表面缺陷检测方法,其特征在于,所述步骤S3中采用不同方框标注不同类型的数据,需要人干预的数据采用深色方框,不需要人干预的数据采用浅色方框,对于Tt>Tt1的数据按照不同的文件夹进行分类。
3.根据权利要求1所述的一种面向人机交互的目标表面缺陷检测方法,其特征在于,所述步骤S4中对认为干预的样本按照图像和干预目标坐标统一保存,重新用于深度卷积神经网络的训练。
4.根据权利要求1所述的一种面向人机交互的目标表面缺陷检测方法,其特征在于,所述步骤S3及步骤S4中新增加的数据直接放入原本训练好的网络模型中训练,无需重新训练已有的数据。
CN202110103262.0A 2021-01-26 2021-01-26 一种面向人机交互的目标表面缺陷检测方法 Active CN112581472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110103262.0A CN112581472B (zh) 2021-01-26 2021-01-26 一种面向人机交互的目标表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110103262.0A CN112581472B (zh) 2021-01-26 2021-01-26 一种面向人机交互的目标表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112581472A CN112581472A (zh) 2021-03-30
CN112581472B true CN112581472B (zh) 2022-09-02

Family

ID=75145172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110103262.0A Active CN112581472B (zh) 2021-01-26 2021-01-26 一种面向人机交互的目标表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112581472B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118130464A (zh) * 2022-12-02 2024-06-04 华为技术有限公司 一种缺陷检测方法、装置及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223582A1 (en) * 2018-05-24 2019-11-28 Beijing Didi Infinity Technology And Development Co., Ltd. Target detection method and system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095860B2 (ja) * 2002-08-12 2008-06-04 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP4710635B2 (ja) * 2006-02-07 2011-06-29 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
CN110659657B (zh) * 2018-06-29 2024-05-24 北京京东尚科信息技术有限公司 训练模型的方法和装置
CN109165665A (zh) * 2018-07-06 2019-01-08 上海康斐信息技术有限公司 一种类别分析方法及系统
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
WO2020068868A1 (en) * 2018-09-24 2020-04-02 Chad Steelberg Object detection machine learning
CN109543731A (zh) * 2018-11-09 2019-03-29 江南大学 一种自训练框架下的三优选半监督回归算法
CN111401071A (zh) * 2019-01-02 2020-07-10 百度在线网络技术(北京)有限公司 模型的训练方法、装置、计算机设备和可读存储介质
CN109934814B (zh) * 2019-03-15 2022-02-01 英业达科技有限公司 表面缺陷侦测系统及其方法
CN110263934B (zh) * 2019-05-31 2021-08-06 中国信息通信研究院 一种人工智能数据标注方法和装置
CN111210024B (zh) * 2020-01-14 2023-09-15 深圳供电局有限公司 模型训练方法、装置、计算机设备和存储介质
CN111476756B (zh) * 2020-03-09 2024-05-14 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network
CN111881956B (zh) * 2020-07-15 2023-05-12 北京市商汤科技开发有限公司 网络训练方法及装置、目标检测方法及装置和电子设备
CN112100425B (zh) * 2020-09-17 2024-03-26 广州图普网络科技有限公司 基于人工智能的标签标注方法、装置、电子设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223582A1 (en) * 2018-05-24 2019-11-28 Beijing Didi Infinity Technology And Development Co., Ltd. Target detection method and system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Medical Images Texture Analysis: A Review;Shahabaz,et al;《2017 International Conference on Computer, Communications and Electronics (Comptelix)》;20170818;第436-441页 *
一种基于纹理和颜色置信融合的运动目标检测方法;钟忺 等;《计算机应用研究》;20160802;第34卷(第7期);第2196-2201页 *

Also Published As

Publication number Publication date
CN112581472A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
JP6794737B2 (ja) 情報処理装置、情報処理方法、プログラムおよび検査システム
CN110992329A (zh) 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN111833306A (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN113160192A (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN112308854B (zh) 一种芯片表面瑕疵的自动检测方法、系统及电子设备
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN107590512A (zh) 一种模板匹配中参数的自适应方法和系统
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
CN111753794A (zh) 水果品质分类方法、装置、电子设备及可读存储介质
US20220281177A1 (en) Ai-powered autonomous 3d printer
CN111488808A (zh) 基于交通违法图像数据的车道线检测方法
CN114627089A (zh) 缺陷识别方法、装置、计算机设备及计算机可读存储介质
CN115272234A (zh) 瓶盖质量检测方法、装置、计算机设备及存储介质
CN112581472B (zh) 一种面向人机交互的目标表面缺陷检测方法
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN116664540A (zh) 基于高斯线检测的橡胶密封圈表面缺陷检测方法
CN111583225A (zh) 缺陷检测方法、装置及存储介质
CN113470015B (zh) 一种基于图像处理的水体晃动检测分析方法及系统
JP6943381B1 (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant