CN111861889A - 基于语义分割的太阳能电池片图像自动拼接方法及系统 - Google Patents

基于语义分割的太阳能电池片图像自动拼接方法及系统 Download PDF

Info

Publication number
CN111861889A
CN111861889A CN202010763440.8A CN202010763440A CN111861889A CN 111861889 A CN111861889 A CN 111861889A CN 202010763440 A CN202010763440 A CN 202010763440A CN 111861889 A CN111861889 A CN 111861889A
Authority
CN
China
Prior art keywords
semantic segmentation
images
solar cell
image
welding area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010763440.8A
Other languages
English (en)
Other versions
CN111861889B (zh
Inventor
肖智恒
罗长志
张越超
郑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Matrixtime Robotics Shanghai Co ltd
Original Assignee
Matrixtime Robotics Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matrixtime Robotics Shanghai Co ltd filed Critical Matrixtime Robotics Shanghai Co ltd
Priority to CN202010763440.8A priority Critical patent/CN111861889B/zh
Publication of CN111861889A publication Critical patent/CN111861889A/zh
Application granted granted Critical
Publication of CN111861889B publication Critical patent/CN111861889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于语义分割的太阳能电池片图像自动拼接方法及系统,所述谅方法包括以下步骤:获取待拼接的两张图像,利用语义分割模型分别对所述两张图像进行处理生成对应掩码;将生成的掩码与对应的图像进行叠加提取各图像的初步焊接区域;对各所述初步焊接区域分别进行直线检测,将聚集在一簇的直线合并,获取最终定位焊接区域;基于两个所述最终定位焊接区域提取其中重合区域的角点,基于相似度获得匹配特征点集合;基于所述匹配特征点集合实现待拼接的两张原始图像的图像配准和图像融合。与现有技术相比,本发明具有抗干扰能力强、特征提取精度高等优点。

Description

基于语义分割的太阳能电池片图像自动拼接方法及系统
技术领域
本发明涉及一种太阳能电池片的自动化生产技术,尤其是涉及一种基于语义分割的太阳能电池片图像自动拼接方法及系统。
背景技术
随着人工智能方法的不断发展和改进,基于人工智能的自动化生产受到了越来越广泛的关注。图像拼接,作为自动化检测的基础,在工业质检、医学成像、遥感成像、军事目标自动识别等领域具有重要意义。
传统的图像拼接算法大致可以分为以下几个步骤:特征提取、图像配准、单应性矩阵计算、图像变形和融合。特征提取是在所有输入图像上检测特征点,通过图像配准建立图像之间的几何对应关系,使它们在一个共同的参考系中进行变换、比较和分析。然后将所有图像变形融合到一个复合全景平面中。图像拼接中的特征匹配通常采用角点匹配,角点的邻域具有强度突变的特性,可以进行定量测量,常用的角点检测器主要包括经典的Harris检测器、尺度不变特征变换(Scale-invariant Feature Transform,简称SIFT)、最稳定极值区域(Maximally Stable Extremal Region,简称MSER)等。
然而在很多工业场景下强度突变的特征点检测可能不是很适用,比如在匹配具有高频相似区域缺乏细节的图像(如太阳能电池片)时,精细尺度的特征存在大量的重复区域,同一张图片采用传统的角点检测提取出来的特征区域之间有较高的相似性,这给特征配准带来了极大的干扰。传统的特征配准的一个很大的缺陷在于很难将相似的特征点区分开来,从而造成特征点的匹配混乱。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种抗干扰能力强、特征提取精度高的基于语义分割的太阳能电池片图像自动拼接方法及系统。
本发明的目的可以通过以下技术方案来实现:
一种基于语义分割的太阳能电池片图像自动拼接方法,包括以下步骤:
获取待拼接的两张图像,利用语义分割模型分别对所述两张图像进行处理生成对应掩码;
将生成的掩码与对应的图像进行叠加提取各图像的初步焊接区域;
对各所述初步焊接区域分别进行直线检测,将聚集在一簇的直线合并,获取最终定位焊接区域;
基于两个所述最终定位焊接区域提取其中重合区域的角点,基于相似度获得匹配特征点集合;
基于所述匹配特征点集合实现待拼接的两张原始图像的图像配准和图像融合。
进一步地,所述语义分割模型生成的掩码将太阳能电池片图像分为焊接区域和背景两类。
进一步地,所述语义分割模型训练时采用的训练集通过以下方式获取:采集训练图像,图像与图像之间在某一焊接区域邻域存在重合,对采集的各训练图像进行数据增强,形成最终的训练集,有效提高训练精度,在较少采集图像的情况下能够获得更准确的语义分割模型,提高训练效率。
进一步地,所述语义分割模型采用Unet网络。
进一步地,所述初步焊接区域通过掩码与原始图像的对应元素相乘提取获得。
进一步地,采用Hough变换进行所述直线检测。
进一步地,所述角点通过ORB特征检测算法提取。
进一步地,提取两张图像的所述角点后,采用Hamming距离度量两组角点的特征相似性,选择相似度高的角点组成所述匹配特征点集合,有效提高特征点匹配精度。
进一步地,基于所述匹配特征点集合采用最小二乘法实现图像配准。
本发明还提供一种基于语义分割的太阳能电池片图像自动拼接系统,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器调用所述计算机程序执行如权利要求1所述方法的步骤。
与现有技术相比,本发明具有如下有益效果:
一、本发明首先生成掩码,并将其作用于原图提取电池片焊接区域,来消除其他电池片中其他直线对直线检测的干扰,弥补了传统直线检测方法中无法筛选直线的缺陷,有效提取特征点。
二、本发明采用UNet语义分割模型,能够消除电池片中纹理、裂痕等细节对直线检测的影响,加速了检测速度并且增强了直线检测的目的性。
三、本发明利用直线检测定位太阳能电池板重合区域的方法,该方法可以很好地解决拼接图像上高频相似区域导致的特征点匹配错乱的问题,另外精细特征的定位也使得特征点的检测变得更有目的性,从而提高角点检测的效率。
附图说明
图1为本发明的流程图;
图2为本发明采用的测试太阳能电池片样例图;
图3为本发明焊接区域的提取效果示意图;
图4为传统Hough检测效果与本发明的直线检测效果的对比图;
图5为传统特征匹配拼接效果与本发明拼接效果的对比图;
图6为本发明整张电池片的拼接效果。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本发明提供一种基于语义分割的太阳能电池片图像自动拼接方法,包括以下步骤:获取待拼接的两张图像,利用语义分割模型分别对所述两张图像进行处理生成对应掩码;将生成的掩码与对应的图像进行叠加,通过掩码与原始图像的对应元素相乘提取各图像的初步焊接区域;对各所述初步焊接区域分别采用Hough变换进行直线检测,将聚集在一簇的直线合并,获取最终定位焊接区域;基于两个所述最终定位焊接区域提取其中重合区域的角点,基于相似度获得匹配特征点集合;基于所述匹配特征点集合实现待拼接的两张原始图像的图像配准和图像融合。
语义分割模型采用Unet网络。语义分割模型生成的掩码将太阳能电池片图像分为焊接区域和背景两类。语义分割模型训练时采用的训练集通过以下方式获取:采集训练图像,图像与图像之间在某一焊接区域邻域存在重合,对采集的各训练图像进行数据增强,形成最终的训练集。
所述角点通过ORB(Oriented Fast and Rotated Brief)特征检测算法提取。提取两张图像的所述角点后,采用Hamming距离度量两组角点的特征相似性,选择相似度高的角点组成所述匹配特征点集合。
基于所述匹配特征点集合采用最小二乘法实现图像配准,获得平面参数变换矩阵。假设两张待拼接图片分别为A和B,{xi,x′i}为匹配的特征点集合,f(x,p)为A到B的平面参数变换,通过最小二乘
Figure BDA0002613719220000041
来估计运动参数p。
当测量值和未知参数p之间存在线性关系时,线性最小二乘问题可以转化为
Ells=∑i||J(xi)p-(x′i-xi)||2
=pT[∑iJT(xi)J(xi)]p-2pT[∑iJT(xi)(x′i-xi)]+∑i||x′i-xi||2
=pTAp-2pTb+c
其中
Figure BDA0002613719220000042
Figure BDA0002613719220000043
c为转化参数,J(xi)表示偏导函数。
当测量值和未知参数p之间不存在线性关系时,通过迭代的方式来最小化非线性最小二乘问题,假设对于当前参数的迭代更新为Δp,最小化
Figure BDA0002613719220000044
通过
p=p+Δp
来更新参数向量。
为了验证上述方法的性能,本实施例在太阳能电池板的工业数据上做了实验,该数据由三个摄像头滚动采集,一组图片有12张,分为上中下三个区域分别采集4张图像,图像与图像之间在某一条焊接区域附近有重合,图2给出了一组该数据集的示例。图2中,12张小片由多个摄像头采集,从图中可以看出每张电池片中都有相似的特征区域,拼接该类工业图片有两个难点:首先太阳能电池片图像缺乏高频细节,能用的特征只有电池片的栅线及焊带;其次单张图片高频细节之间存在极大的相似性,会使采集的特征点匹配混乱。
在本例中一共收集了6组这样的数据,经过旋转、亮度变换、高斯模糊等数据增强方式将训练集扩充了12倍,用于UNet的训练,2组数据用于测试本方法的效果,训练图像包含太阳能电池片图像及其对应的掩码,测试数据用来检测生成掩码的质量。基于训练集训练UNet的参数,设定最小批次(batch size)为2,最大迭代次数为2000。将训练好的UNet用于预测电池片的掩码,掩码与原图对应元素相乘来提取焊接区域大致的轮廓,图3展示了焊接区域的提取效果,用提取的轮廓来做Hough变换,定位焊接区域在电池片中的位置。通过焊缝的位置提取拼接图像的重合区域,对重合区域做角点匹配,用最小二乘计算参数变换矩阵。
实施例展示了上述方法在太阳能电池板拼接上的显著效果,为了验证本发明两个主要改进点的作用,本实施例首先对比了传统Hough变换的检测效果和本发明的直线检测效果。图4展示了两种检测方法的效果图,从中可以看出,本发明的检测方法不受电池片自身缺陷及栅线的影响,能很好的检测出电池片的焊接区域。
为了进一步展示本发明的效果,本实施例还在图5中对比了本发明方法和传统特征匹配方法的拼接效果,从中可看出本发明方法可以很好地定位出重合区域的位置,进行精准的角点检测,避免了高频相似特征带来的拼接错位。图6中展示了本发明方法完整的一组太阳能电池片的拼接效果。
在另一实施例中提供一种基于语义分割的太阳能电池片图像自动拼接系统,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器调用所述计算机程序执行如上述拼接方法的步骤。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于语义分割的太阳能电池片图像自动拼接方法,其特征在于,包括以下步骤:
获取待拼接的两张图像,利用语义分割模型分别对所述两张图像进行处理生成对应掩码;
将生成的掩码与对应的图像进行叠加提取各图像的初步焊接区域;
对各所述初步焊接区域分别进行直线检测,将聚集在一簇的直线合并,获取最终定位焊接区域;
基于两个所述最终定位焊接区域提取其中重合区域的角点,基于相似度获得匹配特征点集合;
基于所述匹配特征点集合实现待拼接的两张原始图像的图像配准和图像融合。
2.根据权利要求1所述的基于语义分割的太阳能电池片图像自动拼接方法,其特征在于,所述语义分割模型生成的掩码将太阳能电池片图像分为焊接区域和背景两类。
3.根据权利要求1所述的基于语义分割的太阳能电池片图像自动拼接方法,其特征在于,所述语义分割模型训练时采用的训练集通过以下方式获取:采集训练图像,图像与图像之间在某一焊接区域邻域存在重合,对采集的各训练图像进行数据增强,形成最终的训练集。
4.根据权利要求1所述的基于语义分割的太阳能电池片图像自动拼接方法,其特征在于,所述语义分割模型采用Unet网络。
5.根据权利要求1所述的基于语义分割的太阳能电池片图像自动拼接方法,其特征在于,所述初步焊接区域通过掩码与原始图像的对应元素相乘提取获得。
6.根据权利要求1所述的基于语义分割的太阳能电池片图像自动拼接方法,其特征在于,采用Hough变换进行所述直线检测。
7.根据权利要求1所述的基于语义分割的太阳能电池片图像自动拼接方法,其特征在于,所述角点通过ORB特征检测算法提取。
8.根据权利要求1所述的基于语义分割的太阳能电池片图像自动拼接方法,其特征在于,提取两张图像的所述角点后,采用Hamming距离度量两组角点的特征相似性,选择相似度高的角点组成所述匹配特征点集合。
9.根据权利要求1所述的基于语义分割的太阳能电池片图像自动拼接方法,其特征在于,基于所述匹配特征点集合采用最小二乘法实现图像配准。
10.一种基于语义分割的太阳能电池片图像自动拼接系统,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器调用所述计算机程序执行如权利要求1所述方法的步骤。
CN202010763440.8A 2020-07-31 2020-07-31 基于语义分割的太阳能电池片图像自动拼接方法及系统 Active CN111861889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010763440.8A CN111861889B (zh) 2020-07-31 2020-07-31 基于语义分割的太阳能电池片图像自动拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010763440.8A CN111861889B (zh) 2020-07-31 2020-07-31 基于语义分割的太阳能电池片图像自动拼接方法及系统

Publications (2)

Publication Number Publication Date
CN111861889A true CN111861889A (zh) 2020-10-30
CN111861889B CN111861889B (zh) 2023-03-21

Family

ID=72954132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010763440.8A Active CN111861889B (zh) 2020-07-31 2020-07-31 基于语义分割的太阳能电池片图像自动拼接方法及系统

Country Status (1)

Country Link
CN (1) CN111861889B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538503A (zh) * 2021-08-21 2021-10-22 西北工业大学 一种基于红外图像的太阳能板缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314676A (zh) * 2010-07-05 2012-01-11 汉王科技股份有限公司 用于电池板的图像拼接方法
CN104881841A (zh) * 2015-05-20 2015-09-02 南方电网科学研究院有限责任公司 基于边缘特征与点特征的航拍高压电力塔架图像拼接方法
CN109949209A (zh) * 2019-03-06 2019-06-28 武汉工程大学 一种基于深度学习的绳索检测与去除方法
CN110660023A (zh) * 2019-09-12 2020-01-07 中国测绘科学研究院 一种基于图像语义分割的视频拼接方法
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314676A (zh) * 2010-07-05 2012-01-11 汉王科技股份有限公司 用于电池板的图像拼接方法
CN104881841A (zh) * 2015-05-20 2015-09-02 南方电网科学研究院有限责任公司 基于边缘特征与点特征的航拍高压电力塔架图像拼接方法
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN109949209A (zh) * 2019-03-06 2019-06-28 武汉工程大学 一种基于深度学习的绳索检测与去除方法
CN110660023A (zh) * 2019-09-12 2020-01-07 中国测绘科学研究院 一种基于图像语义分割的视频拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
漆广文: "基于机器视觉的太阳能网版缺陷检测技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》, no. 1, 15 January 2019 (2019-01-15), pages 3 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538503A (zh) * 2021-08-21 2021-10-22 西北工业大学 一种基于红外图像的太阳能板缺陷检测方法
CN113538503B (zh) * 2021-08-21 2023-09-01 西北工业大学 一种基于红外图像的太阳能板缺陷检测方法

Also Published As

Publication number Publication date
CN111861889B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
Chen et al. Accurate and robust crack detection using steerable evidence filtering in electroluminescence images of solar cells
Wang et al. Surface defects detection using non-convex total variation regularized RPCA with kernelization
CN111797744B (zh) 一种基于共现滤波算法的多模态遥感图像匹配方法
Sovetkin et al. Automatic processing and solar cell detection in photovoltaic electroluminescence images
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN110426395B (zh) 一种太阳能el电池硅片表面检测方法及装置
CN111861889B (zh) 基于语义分割的太阳能电池片图像自动拼接方法及系统
Peng et al. Non-uniform illumination image enhancement for surface damage detection of wind turbine blades
CN113705564B (zh) 一种指针式仪表识别读数方法
CN115409814A (zh) 一种基于融合图像的光伏组件热斑检测方法及系统
CN116664565A (zh) 一种光伏太阳能电池片的隐裂检测方法及系统
CN116681879B (zh) 一种光学图像边界层转捩位置的智能判读方法
CN111369508A (zh) 一种金属三维点阵结构的缺陷检测方法及系统
Tong et al. Surface Defect Detection Method Based on Improved Faster-RCNN
CN112418210A (zh) 一种杆塔巡检信息智能分类方法
Cao et al. A visual surface defect detection method based on low rank and sparse representation
CN117690846B (zh) 太阳能硅片视觉检测方法、装置、设备及存储介质
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
Mingquan et al. Optimized detection method of automotive floor solder joints based on digital-analog information
CN117252840B (zh) 一种光伏阵列缺陷消除评定方法、装置及计算机设备
CN112907639B (zh) 一种电力设备x射线影像配准方法
CN116563772A (zh) 一种视觉巡查机器人的闭环检测方法、装置、记录媒体及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant