CN108508022A - 多相机拼接成像检测方法 - Google Patents

多相机拼接成像检测方法 Download PDF

Info

Publication number
CN108508022A
CN108508022A CN201810267591.7A CN201810267591A CN108508022A CN 108508022 A CN108508022 A CN 108508022A CN 201810267591 A CN201810267591 A CN 201810267591A CN 108508022 A CN108508022 A CN 108508022A
Authority
CN
China
Prior art keywords
image
polyphaser
detection
forming
gamma correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810267591.7A
Other languages
English (en)
Other versions
CN108508022B (zh
Inventor
李华超
王小彬
张海生
徐以强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU JUNENG IMAGE INSPECTION TECHNOLOGY Co Ltd
Original Assignee
SUZHOU JUNENG IMAGE INSPECTION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU JUNENG IMAGE INSPECTION TECHNOLOGY Co Ltd filed Critical SUZHOU JUNENG IMAGE INSPECTION TECHNOLOGY Co Ltd
Priority to CN201810267591.7A priority Critical patent/CN108508022B/zh
Publication of CN108508022A publication Critical patent/CN108508022A/zh
Application granted granted Critical
Publication of CN108508022B publication Critical patent/CN108508022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)

Abstract

本发明多相机拼接成像检测方法，过均由四个相机构成的成像组件a和成像组件b分别对光伏组件的正面和背面进行拍摄，并进行检测，后分别于显示设备a和显示设备b上进行显示检测图像并在图像上标识出产品外观缺陷之处；检测包括如下步骤：1）多相机拼接成像亮度校正，并形成亮度校正表；2）使用亮度校正表进行多相机拼接；3）光伏组件正反面缺陷检测。

Description

多相机拼接成像检测方法
技术领域
本发明涉及自动化设备及自动化生产技术，具体的，其展示一种多相机拼接成像检测方法。
背景技术
光伏组件，包括TPT、EVA、电池片、EVA、玻璃五层，经高温高压的过层压工序，使其形成一整体，基本成型为最终组件；光伏组件整个生产过程中，涉及到诸多工艺步骤，如何在生产过程中及时的发现组件不良，能有效降低组件生产的不良率，此外，在第一时间发现组件的不良，及时进行维修，能大大降低制造成本。
传统的检测方式，对于层压前，由于组件的各部分尚未合成一个整体，不能随意翻动，因此，一般通过机械将组件顶升，人走到组件正下方抬头观察组件，检测是否有缺陷，并不成像组件背面缺陷；对于层压后，由于组件已经成为一个整体，通过翻转90度，人只需站立平视，即可成像组件。此种检测最大的缺点是：1. 工人检测疲劳，2. 由于组件较大，无法仔细观察组件所有位置 3. 人类视力有限，无法观察到细小的缺陷，尤其对于组件背面。
近些年，逐渐出现新的组件外观检测设备，一般通过多个高清摄像头多次拍照的方式，合成一副图像，并通过人工观察、图像算法自动检测的方式进行缺陷检测。目前设备的缺点：1. 针对组件正面进行检测，没有对组件背面的检测 2. 拼接得到的最终图像，亮度不均匀现象明显，主要由以下3个原因导致：A.多个相机之间必然存在的亮度差异，B.单个相机拍摄的图像，图像中的不同位置的亮度不同，这主要是由于相机镜头和相机ccd导致，C. 设备中的光源，无法保证组件表面所有位置都一致。
因此，有必要提供一种多相机拼接成像检测方法来解决上述问题。
发明内容
本发明的目的是提供一种多相机拼接成像检测方法。
技术方案如下：
一种多相机拼接成像检测方法，通过均由四个相机构成的成像组件a和成像组件b分别对光伏组件的正面和背面进行拍摄，并进行检测，后分别于显示设备a和显示设备b上进行显示检测图像并在图像上标识出产品外观缺陷之处；
检测包括如下步骤：
1）多相机拼接成像亮度校正，并形成亮度校正表；
2）使用亮度校正表进行多相机拼接；
3）光伏组件正反面缺陷检测。
进一步的，步骤1）具体包括：
S1）进行设备调整，确保检测的光学环境与正常生产时相同；
S2）将待测试的光伏组件，按正常生产的流程，移动到相机拍摄图像位置；
S3）调试相机的曝光时间、增益、光圈等参数，使得相机拍摄到的组件图像亮度适宜；
S4）对于每个相机，选择合适的灰度板，覆盖单个相机的全视野，使得拍摄的灰度板亮度与组件亮度相近；拍摄标定图像，PIMG1、PIMG2、PIMG3、PIMG4；
S5）对PIMG1、PIMG2、PIMG3、PIMG4，每一副图像，分别计算得到校正表M1、M2、M3、M4，计算亮度校正表如下：
S5-1）对标定图像srcImg，进行均值滤波，得到均值滤波后的图像filterImg，以去除图像上的小的异物对标定结果的影响；
S5-2）以标定图像中间附近位置的灰度值为基准值，设定亮度校正目标灰度值r；
S5-3）对于图像上每个像素点（像素坐标位置(x,y)），假定其在filterImg中的像素值为f(x,y)，则，像素位置(x,y)对应的校正系数为c(x,y) = r/f(x,y)；
S5-4）图像上每个像素点的校正系数c(x,y)构成了该幅图像的校正表M。
进一步的，步骤2）具体包括：
K1）4个相机分别采集图像，得到QIMG1、QIMG2、QIMG3、QIMG4；
K2）步骤1）中得到的校正表M1、M2、M3、M4，分别对QIMG1、QIMG2、QIMG3、QIMG4进行校正，得到校正图C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4；
K3）用户设置每副图像需要的范围；
K4）通过图像变换，将C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4虚线所框起来的范围投影到拼接图像中，得到拼接图像。
进一步的，步骤3）具体包括：
W1）将拼接图像分割成多幅子图像，保证相邻块之前有重叠，对分割子图像，使用多线程技术，进行并行处理；
W2）对子图像的每个像素点，设定其参考范围为边长为N的矩形范围，以此范围内的像素值均值为参考值，与当前像素值比较，差异越大，缺陷特征越强烈；
W3）将差异大的像素点进行集合，并作为缺陷于显示设备a或显示设备b上的显示图像上进行对应位置标示。
与现有技术相比，本发明高效进行光伏组件和背面的检测，同时检测精度高，保证检测效率同时，保证检测精度，进而保证产品生产效率和成品合格率。
附图说明
图1是本发明的结构示意图之一。
图2是本发明的结构示意图之二。
图3是本发明的结构示意图之三。
具体实施方式
实施例：
请参阅图1至图3，本实施例展示一种光伏组件双面外观检测仪，包括对应设置的一组输送组件1，一组所述输送组件1间设置有检测区域2，所述检测区域2的上下方分别设置有成像组件a 3和成像组件b 4，且所述成像组件a 3和所述成像组件b 4分别连通有显示设备a 5和显示设备b 6；
所述成像组件a 3和所述成像组件b 4均由四个相机构成；检测时，所述成像组件a 3和所述成像组件b 4分别对光伏组件100的正面和背面进行拍摄，并利用多相机拼接成像检测方法进行检测，后分别于所述显示设备a 5和所述显示设备b 6上进行显示检测图像并在图像上标识出产品外观缺陷之处；
多相机拼接成像检测方法包括如下步骤：
1）多相机拼接成像亮度校正，并形成亮度校正表；
2）使用亮度校正表进行多相机拼接；
3）光伏组件正反面缺陷检测。
步骤1）具体包括：
S1）进行设备调整，确保检测的光学环境与正常生产时相同；
S2）将待测试的光伏组件，按正常生产的流程，移动到相机拍摄图像位置；
S3）调试相机的曝光时间、增益、光圈等参数，使得相机拍摄到的组件图像亮度适宜；
S4）对于每个相机，选择合适的灰度板，覆盖单个相机的全视野，使得拍摄的灰度板亮度与组件亮度相近；拍摄标定图像，PIMG1、PIMG2、PIMG3、PIMG4；
S5）对PIMG1、PIMG2、PIMG3、PIMG4，每一副图像，分别计算得到校正表M1、M2、M3、M4，计算亮度校正表如下：
S5-1）对标定图像srcImg，进行均值滤波，得到均值滤波后的图像filterImg，以去除图像上的小的异物对标定结果的影响；
S5-2）以标定图像中间附近位置的灰度值为基准值，设定亮度校正目标灰度值r；
S5-3）对于图像上每个像素点（像素坐标位置(x,y)），假定其在filterImg中的像素值为f(x,y)，则，像素位置(x,y)对应的校正系数为c(x,y) = r/f(x,y)；
S5-4）图像上每个像素点的校正系数c(x,y)构成了该幅图像的校正表M。
步骤2）具体包括：
K1）4个相机分别采集图像，得到QIMG1、QIMG2、QIMG3、QIMG4；
K2）步骤1）中得到的校正表M1、M2、M3、M4，分别对QIMG1、QIMG2、QIMG3、QIMG4进行校正，得到校正图C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4；
K3）用户设置每副图像需要的范围；
K4）通过图像变换，将C_ QIMG1、C_ QIMG2、C_ QIMG3、C_ QIMG4虚线所框起来的范围投影到拼接图像中，得到拼接图像。
步骤3）具体包括：
W1）将拼接图像分割成多幅子图像，保证相邻块之前有重叠，对分割子图像，使用多线程技术，进行并行处理；
W2）对子图像的每个像素点，设定其参考范围为边长为N的矩形范围，以此范围内的像素值均值为参考值，与当前像素值比较，差异越大，缺陷特征越强烈；
W3）将差异大的像素点进行集合，并作为缺陷于显示设备a或显示设备b上的显示图像上进行对应位置标示。
所述成像组件a 3和所述成像组件b 4分别对应设置有光源7。
一组所述输送组件1上进设置有来料感应装置8。
所述检测区域2上设置有归正架9，所述归正架上设置有归正机构91。
与现有技术相比，本实施例高效进行光伏组件和背面的检测，同时检测精度高，保证检测效率同时，保证检测精度，进而保证产品生产效率和成品合格率。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (3)

1.一种多相机拼接成像检测方法，其特征在于：通过均由四个相机构成的成像组件a和成像组件b分别对光伏组件的正面和背面进行拍摄，并进行检测，后分别于显示设备a和显示设备b上进行显示检测图像并在图像上标识出产品外观缺陷之处；
检测包括如下步骤：
1)多相机拼接成像亮度校正，并形成亮度校正表；
2)使用亮度校正表进行多相机拼接；
3)光伏组件正反面缺陷检测。
2.根据权利要求1所述的一种多相机拼接成像检测方法，其特征在于：步骤1)具体包括：
S1)进行设备调整，确保检测的光学环境与正常生产时相同；
S2)将待测试的光伏组件，按正常生产的流程，移动到相机拍摄图像位置；
S3)调试相机的曝光时间、增益、光圈等参数，使得相机拍摄到的组件图像亮度适宜；
S4)对于每个相机，选择合适的灰度板，覆盖单个相机的全视野，使得拍摄的灰度板亮度与组件亮度相近；拍摄标定图像，PIMG1、PIMG2、PIMG3、PIMG4；
S5)对PIMG1、PIMG2、PIMG3、PIMG4，每一副图像，分别计算得到校正表M1、M2、M3、M4，计算亮度校正表如下：
S5-1)对标定图像srcImg，进行均值滤波，得到均值滤波后的图像filterImg，以去除图像上的小的异物对标定结果的影响；
S5-2)以标定图像中间附近位置的灰度值为基准值，设定亮度校正目标灰度值r；
S5-3)对于图像上每个像素点(像素坐标位置(x,y))，假定其在filterImg中的像素值为f(x,y)，则，像素位置(x,y)对应的校正系数为c(x,y)＝r/f(x,y)；
S5-4)图像上每个像素点的校正系数c(x,y)构成了该幅图像的校正表M。
3.根据权利要求2所述的一种多相机拼接成像检测方法，其特征在于：步骤2)具体包括：
K1)4个相机分别采集图像，得到QIMG1、QIMG2、QIMG3、QIMG4；
K2)步骤1)中得到的校正表M1、M2、M3、M4，分别对QIMG1、QIMG2、QIMG3、QIMG4进行校正，得到校正图C_QIMG1、C_QIMG2、C_QIMG3、C_QIMG4；
K3)用户设置每副图像需要的范围；
K4)通过图像变换，将C_QIMG1、C_QIMG2、C_QIMG3、C_QIMG4虚线所框起来的范围投影到拼接图像中，得到拼接图像。
CN201810267591.7A 2018-03-28 2018-03-28 多相机拼接成像检测方法 Active CN108508022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810267591.7A CN108508022B (zh) 2018-03-28 2018-03-28 多相机拼接成像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810267591.7A CN108508022B (zh) 2018-03-28 2018-03-28 多相机拼接成像检测方法

Publications (2)

Publication Number Publication Date
CN108508022A true CN108508022A (zh) 2018-09-07
CN108508022B CN108508022B (zh) 2021-07-13

Family

ID=63379044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810267591.7A Active CN108508022B (zh) 2018-03-28 2018-03-28 多相机拼接成像检测方法

Country Status (1)

Country Link
CN (1) CN108508022B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748128A (zh) * 2020-12-24 2021-05-04 凌云光技术股份有限公司 一种正反面同步检测系统
CN113218955A (zh) * 2021-05-06 2021-08-06 宁波星帆信息科技有限公司 一种检测装置及方法
CN114359055A (zh) * 2022-03-21 2022-04-15 湖南大学 一种多相机拍摄屏体的图像拼接方法及相关装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768443A (en) * 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US7623228B1 (en) * 2007-05-21 2009-11-24 Kla-Tencor Technologies Corporation Front face and edge inspection
CN104021540A (zh) * 2013-02-28 2014-09-03 宝山钢铁股份有限公司 一种用于机器视觉表面检测设备的静态标定装置和方法
CN105046700A (zh) * 2015-07-09 2015-11-11 北京农业智能装备技术研究中心 基于亮度校正与颜色分类的水果表面缺陷检测方法及系统
CN105044126A (zh) * 2015-07-22 2015-11-11 瑞安市质量技术监督检测院 宽幅连续表面缺陷视觉检测系统
CN105574845A (zh) * 2015-09-01 2016-05-11 湖南大学 一种多相机阵列烟标叠层数量测量方法及装置
CN106248679A (zh) * 2016-04-01 2016-12-21 上海众思电子设备有限公司 多线阵相机在线双面检测装置
CN106530219A (zh) * 2016-11-07 2017-03-22 青岛海信移动通信技术股份有限公司 图像拼接方法及装置
CN106596590A (zh) * 2016-12-24 2017-04-26 大连日佳电子有限公司 托盘ic检测方法
CN106706653A (zh) * 2017-01-12 2017-05-24 河北省自动化研究所 一种高速宽型板材检测方法
CN106910160A (zh) * 2015-12-17 2017-06-30 耐克创新有限合伙公司 用于鞋类部件处理的图像拼接
CN107220955A (zh) * 2017-04-24 2017-09-29 东北大学 一种基于重叠区域特征点对的图像亮度均衡方法
CN107240070A (zh) * 2017-06-08 2017-10-10 广东容祺智能科技有限公司 一种基于应急处理的无人机图像拼接系统及方法
CN206740668U (zh) * 2017-06-01 2017-12-12 江苏双星彩塑新材料股份有限公司 一种薄膜缺陷在线检测设备
CN107563987A (zh) * 2016-07-01 2018-01-09 北京疯景科技有限公司 标定成像差异的方法及装置
US9892488B1 (en) * 2015-08-28 2018-02-13 Amazon Technologies, Inc. Multi-camera frame stitching

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768443A (en) * 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US7623228B1 (en) * 2007-05-21 2009-11-24 Kla-Tencor Technologies Corporation Front face and edge inspection
CN104021540A (zh) * 2013-02-28 2014-09-03 宝山钢铁股份有限公司 一种用于机器视觉表面检测设备的静态标定装置和方法
CN105046700A (zh) * 2015-07-09 2015-11-11 北京农业智能装备技术研究中心 基于亮度校正与颜色分类的水果表面缺陷检测方法及系统
CN105044126A (zh) * 2015-07-22 2015-11-11 瑞安市质量技术监督检测院 宽幅连续表面缺陷视觉检测系统
US9892488B1 (en) * 2015-08-28 2018-02-13 Amazon Technologies, Inc. Multi-camera frame stitching
CN105574845A (zh) * 2015-09-01 2016-05-11 湖南大学 一种多相机阵列烟标叠层数量测量方法及装置
CN106910160A (zh) * 2015-12-17 2017-06-30 耐克创新有限合伙公司 用于鞋类部件处理的图像拼接
CN106248679A (zh) * 2016-04-01 2016-12-21 上海众思电子设备有限公司 多线阵相机在线双面检测装置
CN107563987A (zh) * 2016-07-01 2018-01-09 北京疯景科技有限公司 标定成像差异的方法及装置
CN106530219A (zh) * 2016-11-07 2017-03-22 青岛海信移动通信技术股份有限公司 图像拼接方法及装置
CN106596590A (zh) * 2016-12-24 2017-04-26 大连日佳电子有限公司 托盘ic检测方法
CN106706653A (zh) * 2017-01-12 2017-05-24 河北省自动化研究所 一种高速宽型板材检测方法
CN107220955A (zh) * 2017-04-24 2017-09-29 东北大学 一种基于重叠区域特征点对的图像亮度均衡方法
CN206740668U (zh) * 2017-06-01 2017-12-12 江苏双星彩塑新材料股份有限公司 一种薄膜缺陷在线检测设备
CN107240070A (zh) * 2017-06-08 2017-10-10 广东容祺智能科技有限公司 一种基于应急处理的无人机图像拼接系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONG-XIA CUI ET AL.: "Combined Static and Dynamic Platform Calibration for an Aerial Multi-Camera System", 《KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS》 *
李亚云等: "多镜头拼接式全景成像系统的整体标定", 《第七届全国交通工程测量学术研讨会论文集》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748128A (zh) * 2020-12-24 2021-05-04 凌云光技术股份有限公司 一种正反面同步检测系统
CN113218955A (zh) * 2021-05-06 2021-08-06 宁波星帆信息科技有限公司 一种检测装置及方法
CN114359055A (zh) * 2022-03-21 2022-04-15 湖南大学 一种多相机拍摄屏体的图像拼接方法及相关装置
CN114359055B (zh) * 2022-03-21 2022-05-31 湖南大学 一种多相机拍摄屏体的图像拼接方法及相关装置

Also Published As

Publication number Publication date
CN108508022B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN102413354B (zh) 一种手机摄像模组自动光学检测方法、装置及系统
CN108760767A (zh) 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN108508022A (zh) 多相机拼接成像检测方法
CN108489989A (zh) 基于多相机拼接成像检测的光伏组件双面外观检测仪
CN106770307A (zh) 一种电子产品外观表面缺陷检测装置及其检测方法
WO2019061608A1 (zh) 一种面板点灯机、面板点灯测试系统及测试方法
WO2016150112A1 (zh) 一种调节显示屏亮度的方法及装置
CN112885289B (zh) 一种显示屏的校准方法及设备
CN104345481A (zh) 一种液晶屏的质量检测方法、装置及设备
US20170214911A1 (en) Image-sticking inspection method for liquid crystal panel and device of the same
CN104931421B (zh) 液晶面板视觉检测系统的定位对焦方法
CN206248563U (zh) 一种电子产品外观表面缺陷检测装置
CN105092473A (zh) 一种多晶硅薄膜的质量检测方法和系统
JP2014164221A (ja) 表示パネルの欠陥検出方法及び表示パネルの欠陥検出装置
CN106405894B (zh) 一种液晶面板缺陷自动定位方法
CN204790240U (zh) 一种液晶屏检测设备
CN103134806A (zh) 基板成膜检查装置
CN204462030U (zh) 一种用于检测acf导电胶贴附效果的相机拍照取图装置
CN106249450A (zh) 一种液晶显示屏检测系统
CN207946371U (zh) 光伏组件双面外观检测仪
WO2019100551A1 (zh) 显示面板Mura的检测方法、检测装置及计算机可读存储介质
KR101668039B1 (ko) 디스플레이 패널 점등 검사방법
CN106446798B (zh) 一种基于双摄像头的人脸识别图像静态校正方法及系统
CN111665261A (zh) 一种基于机器视觉的芯片晶粒检测方法
CN111189849A (zh) 一种膜材缺陷的投影检验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant