CN113658188A - 一种基于改进Unet模型的溶液结晶过程图像语义分割方法 - Google Patents

一种基于改进Unet模型的溶液结晶过程图像语义分割方法 Download PDF

Info

Publication number
CN113658188A
CN113658188A CN202110949340.9A CN202110949340A CN113658188A CN 113658188 A CN113658188 A CN 113658188A CN 202110949340 A CN202110949340 A CN 202110949340A CN 113658188 A CN113658188 A CN 113658188A
Authority
CN
China
Prior art keywords
model
feature
information
crystallization process
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110949340.9A
Other languages
English (en)
Other versions
CN113658188B (zh
Inventor
朱亚东洋
李心超
何运良
李婧莹
高梦楠
张立立
李晶
崔宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Petrochemical Technology
Original Assignee
Beijing Institute of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Petrochemical Technology filed Critical Beijing Institute of Petrochemical Technology
Priority to CN202110949340.9A priority Critical patent/CN113658188B/zh
Publication of CN113658188A publication Critical patent/CN113658188A/zh
Application granted granted Critical
Publication of CN113658188B publication Critical patent/CN113658188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于改进Unet模型的溶液结晶过程图像语义分割方法，包括：根据结晶影像数据构建晶体语义分割数据集；将预处理后的图片输入到改进Unet模型中；改进Unet模型为在Unet典型模型的下采样部分和上采样部分中间加入通道增强特征金字塔网络；通道增强特征金字塔网络在特征金字塔网络的基础上增加了上下增强模块和通道注意力模块；通过数据集对改进Unet模型进行训练，评估改进Unet模型的分割效果，获得训练后的改进Unet模型；将待分割的晶体影像数据输入训练后的改进Unet模型获得分割结果。本发明中的基于通道增强金字塔的改进Unet模型，较基于其他特征金字塔网络的Unet语义分割模型，可有效提高测量的准确度且没有增加额外的复杂运算。

Description

一种基于改进Unet模型的溶液结晶过程图像语义分割方法
技术领域
本发明涉及图像语义分割技术领域，具体涉及一种基于改进Unet模型的溶液结晶过程图像语义分割方法。
背景技术
结晶是将物质以晶体状态从溶液分离出来的操作，能够处理许多单元精馏、萃取、吸附等操作所不能解决的问题，在分离新产品的过程中得到广泛应用。在结晶过程中，过程检测的研究重点和目的在于描述和控制晶体形态和晶体尺寸等信息。通常，在结晶过程中测量晶体形态和尺寸分布是控制优化获得所需产品质量和生产效率的重要手段之一。目前，过程分析工具己开始应用到结晶过程中，如衰减全反射红外光谱、拉曼光谱、聚焦光束反射测量仪、超声衰减法等。这些过程分析技术有助于监测结晶过程的生长行为，可以为更好地控制结晶过程及为其产品质量的发展提供辅助。
传统的晶体尺寸测量定义尺寸为一个球体的直径，由于晶体的形态信息被完全忽略，因此球体体积等同于晶体体积，如果晶体偏离球形，则会造成较大的误差。相比之下，图像信号代表了一种直观的信息来源，被认为是测量晶体尺寸和形态最有前途的技术之一。图像测量技术作为一个重要的过程分析方法，利用视觉传感设备对结晶过程中的晶体形态和成像尺寸变化进行检测，结合图像分析与处理技术获得在结晶过程中的关于晶体形态特征、生长速率、生长状态等各项参数，可以更进一步研究晶体生长机制，识别晶习占比等，为调控晶体生长过程提供了有效的信息依据。
Unet是一种深度神经网络模型，已经被用于晶体测量方法，该网络模型通过反卷积与通道维度连接进行整合，优点在于可以得到更加平滑的结果，在Unet模型中应用特征金字塔网络结构，可以提升模型整合多尺度语义信息的能力。但是，特征融合中的固有缺陷会阻止特征金字塔网络进一步聚合更具区分性的特征。
为此，本发明提出了一种新的基于改进Unet模型的溶液结晶过程图像语义分割方法。
发明内容
为解决上述问题，本发明的目的在于提供一种基于通道增强特征金字塔网络的改进Unet模型的溶液结晶过程图像语义分割方法。发明中应用通道增强特征金字塔网络，可同时执行通道增强和上采样，减轻由于信道减少而导致的信息丢失，引入了通道注意力模块来优化每个级别上的最终集成特征，从而仅在少量计算负担的情况下减轻了混叠效应。
为实现上述目的，本发明提供了如下的技术方案。
一种基于改进Unet模型的溶液结晶过程图像语义分割方法，包括以下步骤：
获取待分割的溶液结晶过程图像；
通过Unet典型模型的下采样模块，获取溶液结晶过程图像的多个层级的特征信息；
将多个层级的特征信息，送入到通道增强特征金字塔网络中，通过通道增强特征金字塔网络中的上下文增强模块中的三个通道对下采样模块中第一个采样结构的输出进行特征挖掘，将三个通道挖掘后的特征信息进行融合；
融合后的特征信息，同特征金字塔网络提取的特征信息，经过合并后再送入通道注意力模块；
在通道注意力模块中，采用全局平均池化和全局最大池化，对输入的特征信息分别获取两组不同的空间上下文信息，在进行权重筛选后，应用损失函数进行特征合并；
合并后的特征向量，同特征金字塔网络的输出，再分别送入到Unet典型模型的上采样模块中；
通过上采样模块处理后，获得溶液结晶过程图像语义分割结果。
优选地，所述三个通道挖掘后的特征信息融合，具体包括以下步骤：
获取改进Unet模型中的下采样模块中第一个采样结构的输出，其特征的形状为2w×2h×8C；
分别通过所述上下文增强模块的三个通道挖掘上下文特征信息；其中：
通道一，应用3×3卷积提取局部信息，对提取后的信息进行上采样；
通道二，输入特征通过3×3最大池化下采样至特征w×h，并应用1×1卷积层扩展信道维度，再进行四倍上采样卷积；
通道三，输入特征应用全局平均池化获取全局上下文信息，之后将1×1×8C的全局特征压缩为1×1×C，再将其广播为4w×4h；
将三个通道的上下文信息的特征信息融合为4w×4h×C。
优选地，还包括：
对所述待分割的溶液结晶过程图像进行剪裁、校正、去噪和增强处理。
优选地，所述权重筛选的过程表达式为：
CA(x)＝σ(fc1(AvgPool(x))+fc2(MaxPool(x)))
Ri＝CA(I)⊙Pi
其中，CA()代表通道注意力功能；σ代表sigmoid函数；i代表特征金字塔的层数。通过上述设计，可通过简单的构架来增强模型的辨别能力。
本发明有益效果：
本发明在传统的Unet模型中，加入通道增强特征金字塔网络，减轻由于信道减少而导致的信息丢失，通过上下文增强模块提取更多的特征表示，通道注意力模块来优化每个级别上的最终集成特征，从而仅在少量计算负担的情况下减轻了混叠效应。本发明中的基于通道增强金字塔的关进Unet模型，较基于其他特征金字塔网络的Unet语义分割模型，可有效提高测量的准确度，且没有增加额外的复杂运算。
附图说明
图1是本发明实施例的基于增强特征金字塔网络的改进Unet语义分割模型的结构框图；
图2是本发明实施例的基于增强特征金字塔网络的改进Unet语义分割模型的示意图；
图3是本发明实施例的上下文增强模块的结构示意图；
图4是本发明实施例的通道注意力模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
一种基于改进Unet模型的溶液结晶过程图像语义分割方法，结构框图如图1所示，包括以下步骤：
S1：根据结晶影像数据构建晶体语义分割数据集，对数据集中的图片进行预处理；预处理包括图像的剪裁、校正、去噪和增强。
S2：预处理后的图片输入到后的改进Unet模型中；改进Unet模型为在Unet典型模型的下采样部分和上采样部分中间加入通道增强特征金字塔网络，如图2所示。
其中，通道增强特征金字塔网络包括上下文增强模块和通道注意力模块：
S2.1：上下文增强模块结构如图3所示，包括：
获取改进Unet模型中的下采样结构中第一个采样模块的输出，其特征的形状为2w×2h×8C，引入上下文增强模块，利用接收域挖掘上下文信息；
通道一，应用3×3卷积提取局部信息，对提取后的信息进行上采样；
通道二，输入特征通过3×3最大池化下采样至特征w×h，并应用1×1卷积层扩展信道维度，再进行四倍上采样卷积；
通道三，输入特征应用全局平均池化获取全局上下文信息，之后将1×1×8C的全局特征压缩为1×1×C，再将其广播为4w×4h；
根据三个通道获取的特征信息聚合为4w×4h×C。
S2.2：通道注意力模块具体结构如图4所示，包括以下步骤：
采用全局平均池化和全局最大池化聚合两个不同的空间上下文信息；
获取两组特征，分别通过全局平均池化和全局最大池化后，分别通过全连接层以及sigmoid函数进行合并；
对合并后的特征向量进行权重筛选；过程表达式为：
CA(x)＝σ(fc1(AvgPool(x))+fc2(MaxPool(x))),
Ri＝CA(I)⊙Pi
其中，CA()代表通道注意力功能；σ代表sigmoid函数；i代表特征金字塔的层数。通过上述设计，可通过简单的构架来增强模型的辨别能力。
S3：通过数据集对改进Unet模型进行训练，评估改进Unet模型的分割效果，获得训练后的改进Unet模型；
S4：将待分割的晶体影像数据输入训练后的改进Unet模型获得分割结果。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于改进Unet模型的溶液结晶过程图像语义分割方法，其特征在于，包括以下步骤：
获取待分割的溶液结晶过程图像；
通过Unet典型模型的下采样模块，获取溶液结晶过程图像的多个层级的特征信息；
将多个层级的特征信息，送入到通道增强特征金字塔网络中，通过通道增强特征金字塔网络中的上下文增强模块中的三个通道对下采样模块中第一个采样结构的输出进行特征挖掘，将三个通道挖掘后的特征信息进行融合；
融合后的特征信息，同特征金字塔网络提取的特征信息，经过合并后再送入通道注意力模块；
在通道注意力模块中，采用全局平均池化和全局最大池化，对输入的特征信息分别获取两组不同的空间上下文信息，在进行权重筛选后，应用损失函数进行特征合并；
合并后的特征向量，同特征金字塔网络的输出，再分别送入到Unet典型模型的上采样模块中；
通过上采样模块处理后，获得溶液结晶过程图像语义分割结果。
2.根据权利要求1所述的基于改进Unet模型的溶液结晶过程图像语义分割方法，其特征在于，所述三个通道挖掘后的特征信息融合，具体包括以下步骤：
获取改进Unet模型中的下采样模块中第一个采样结构的输出，其特征的形状为2w×2h×8C；
分别通过所述上下文增强模块的三个通道挖掘上下文特征信息；其中：
通道一，应用3×3卷积提取局部信息，对提取后的信息进行上采样；
通道二，输入特征通过3×3最大池化下采样至特征w×h，并应用1×1卷积层扩展信道维度，再进行四倍上采样卷积；
通道三，输入特征应用全局平均池化获取全局上下文信息，之后将1×1×8C的全局特征压缩为1×1×C，再将其广播为4w×4h；
将三个通道的上下文信息的特征信息融合为4w×4h×C。
3.根据权利要求1所述的基于改进Unet模型的溶液结晶过程图像语义分割方法，其特征在于，还包括：
对所述待分割的溶液结晶过程图像进行剪裁、校正、去噪和增强处理。
4.根据权利要求1所述的基于改进Unet模型的溶液结晶过程图像语义分割方法，其特征在于，所述权重筛选的过程表达式为：
CA(x)＝σ(fc1(AvgPool(x))+fc2(MaxPool(x)))
Ri＝CA(I)⊙Pi
其中，CA()代表通道注意力功能；σ代表sigmoid函数；i代表特征金字塔的层数。通过上述设计，可通过简单的构架来增强模型的辨别能力。
CN202110949340.9A 2021-08-18 2021-08-18 一种基于改进Unet模型的溶液结晶过程图像语义分割方法 Active CN113658188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110949340.9A CN113658188B (zh) 2021-08-18 2021-08-18 一种基于改进Unet模型的溶液结晶过程图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110949340.9A CN113658188B (zh) 2021-08-18 2021-08-18 一种基于改进Unet模型的溶液结晶过程图像语义分割方法

Publications (2)

Publication Number Publication Date
CN113658188A true CN113658188A (zh) 2021-11-16
CN113658188B CN113658188B (zh) 2022-04-01

Family

ID=78481032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110949340.9A Active CN113658188B (zh) 2021-08-18 2021-08-18 一种基于改进Unet模型的溶液结晶过程图像语义分割方法

Country Status (1)

Country Link
CN (1) CN113658188B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115845428A (zh) * 2023-02-28 2023-03-28 福建省龙德新能源有限公司 用于诱导六氟磷酸结晶的超声波装置及其控制方法
CN117392380A (zh) * 2023-08-31 2024-01-12 北京交通大学 多角度碲锌镉晶片图像语义分割方法
WO2024178947A1 (zh) * 2023-02-28 2024-09-06 福建省龙德新能源有限公司 超声波诱导六氟磷酸盐结晶的控制系统及其方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931225A (zh) * 2016-04-14 2016-09-07 大连理工大学 一种基于实时图像检测技术分析晶体生长形状和尺寸分布的方法
CN109685819A (zh) * 2018-12-11 2019-04-26 厦门大学 一种基于特征增强的三维医学图像分割方法
CN110458849A (zh) * 2019-07-26 2019-11-15 山东大学 一种基于特征修正的图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN111091524A (zh) * 2018-10-08 2020-05-01 天津工业大学 基于深度卷积神经网络的前列腺经直肠超声图像分割方法
CN111369568A (zh) * 2020-02-20 2020-07-03 苏州浪潮智能科技有限公司 一种图像分割的方法、系统、设备及可读存储介质
CN111626300A (zh) * 2020-05-07 2020-09-04 南京邮电大学 基于上下文感知的图像语义分割模型及建模方法
US20200349697A1 (en) * 2019-05-02 2020-11-05 Curacloud Corporation Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network
CN112116599A (zh) * 2020-08-12 2020-12-22 南京理工大学 基于弱监督学习的痰涂片结核杆菌语义分割方法及系统
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112750129A (zh) * 2021-03-11 2021-05-04 湘潭大学 一种基于特征增强位置注意力机制的图像语义分割模型
CN113125478A (zh) * 2019-12-30 2021-07-16 Fei 公司 用于晶带轴自动对准的方法和系统
CN113255676A (zh) * 2021-05-21 2021-08-13 福州大学 基于多源数据融合的高分遥感影像语义分割模型及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931225A (zh) * 2016-04-14 2016-09-07 大连理工大学 一种基于实时图像检测技术分析晶体生长形状和尺寸分布的方法
CN111091524A (zh) * 2018-10-08 2020-05-01 天津工业大学 基于深度卷积神经网络的前列腺经直肠超声图像分割方法
CN109685819A (zh) * 2018-12-11 2019-04-26 厦门大学 一种基于特征增强的三维医学图像分割方法
US20200349697A1 (en) * 2019-05-02 2020-11-05 Curacloud Corporation Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110458849A (zh) * 2019-07-26 2019-11-15 山东大学 一种基于特征修正的图像分割方法
CN113125478A (zh) * 2019-12-30 2021-07-16 Fei 公司 用于晶带轴自动对准的方法和系统
CN111369568A (zh) * 2020-02-20 2020-07-03 苏州浪潮智能科技有限公司 一种图像分割的方法、系统、设备及可读存储介质
CN111626300A (zh) * 2020-05-07 2020-09-04 南京邮电大学 基于上下文感知的图像语义分割模型及建模方法
CN112116599A (zh) * 2020-08-12 2020-12-22 南京理工大学 基于弱监督学习的痰涂片结核杆菌语义分割方法及系统
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN112750129A (zh) * 2021-03-11 2021-05-04 湘潭大学 一种基于特征增强位置注意力机制的图像语义分割模型
CN113255676A (zh) * 2021-05-21 2021-08-13 福州大学 基于多源数据融合的高分遥感影像语义分割模型及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KUNTAO CAO 等: ""Adaptive Feature Enhancement Network for Semantic Segmentation"", 《NEURAL INFORMATION PROCESSING》 *
YIHAO LUO 等: ""CE-FPN: Enhancing Channel Information for Object Detection"", 《ARXIV》 *
马震环 等: ""基于增强特征融合解码器的语义分割算法"", 《计算机工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115845428A (zh) * 2023-02-28 2023-03-28 福建省龙德新能源有限公司 用于诱导六氟磷酸结晶的超声波装置及其控制方法
CN115845428B (zh) * 2023-02-28 2023-04-25 福建省龙德新能源有限公司 用于诱导六氟磷酸结晶的超声波装置及其控制方法
WO2024178947A1 (zh) * 2023-02-28 2024-09-06 福建省龙德新能源有限公司 超声波诱导六氟磷酸盐结晶的控制系统及其方法
CN117392380A (zh) * 2023-08-31 2024-01-12 北京交通大学 多角度碲锌镉晶片图像语义分割方法
CN117392380B (zh) * 2023-08-31 2024-08-06 北京交通大学 多角度碲锌镉晶片图像语义分割方法

Also Published As

Publication number Publication date
CN113658188B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN113658188B (zh) 一种基于改进Unet模型的溶液结晶过程图像语义分割方法
Lu et al. A hybrid model of ghost-convolution enlightened transformer for effective diagnosis of grape leaf disease and pest
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN111461083A (zh) 基于深度学习的快速车辆检测方法
US20220215548A1 (en) Method and device for identifying abnormal cell in to-be-detected sample, and storage medium
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
Sakurai et al. Plant Growth Prediction using Convolutional LSTM.
CN114898284B (zh) 一种基于特征金字塔局部差异注意力机制的人群计数方法
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN115830471A (zh) 一种多尺度特征融合和对齐的域自适应云检测方法
CN116092179A (zh) 一种改进的yolox跌倒检测系统
CN113902945A (zh) 一种多模态乳腺磁共振图像分类方法及系统
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
CN113392937A (zh) 一种3d点云数据分类方法及其相关装置
Deb et al. LS-Net: A convolutional neural network for leaf segmentation of rosette plants
CN114612456A (zh) 一种基于深度学习的钢坯自动语义分割识别方法
CN115661459A (zh) 一种使用差异信息的2D mean teacher模型
CN114821346A (zh) 一种基于嵌入式平台的雷达图像智能识别方法和系统
Zhang et al. An industrial interference-resistant gear defect detection method through improved YOLOv5 network using attention mechanism and feature fusion
CN114463300A (zh) 钢材表面缺陷检测方法、电子设备、存储介质
Zhao et al. YOLO-Granada: A Lightweight Attentioned Yolo forPomegranates Fruit Detection
Zhou et al. Super-resolution image visual quality assessment based on structure–texture features
Luo et al. RBD-Net: robust breakage detection algorithm for industrial leather
Zhu et al. PODB: A learning-based polarimetric object detection benchmark for road scenes in adverse weather conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant