CN110517272B - 基于深度学习的血细胞分割方法 - Google Patents

基于深度学习的血细胞分割方法 Download PDF

Info

Publication number
CN110517272B
CN110517272B CN201910806358.6A CN201910806358A CN110517272B CN 110517272 B CN110517272 B CN 110517272B CN 201910806358 A CN201910806358 A CN 201910806358A CN 110517272 B CN110517272 B CN 110517272B
Authority
CN
China
Prior art keywords
blood cell
network
segmentation
layer
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910806358.6A
Other languages
English (en)
Other versions
CN110517272A (zh
Inventor
李万春
王敏
郭昱宁
王丽
邹炜钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910806358.6A priority Critical patent/CN110517272B/zh
Publication of CN110517272A publication Critical patent/CN110517272A/zh
Application granted granted Critical
Publication of CN110517272B publication Critical patent/CN110517272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习的血细胞分割方法，涉及生物医学图像处理和深度学习领域，包括如下步骤：构建数据集；构建血细胞显微图像数据集，并对其中的三类细胞(红细胞，白细胞，血小板)进行标注，训练神经网络：训练基于深度神经网络的血细胞显微图像的语义分割模型。本发明的有益效果是，将深度学习方法应用于血细胞显微图像的分割，提高了血细胞的分割准确率。

Description

基于深度学习的血细胞分割方法
技术领域
本发明属于生物医学图像处理和深度学习领域，尤其涉及基于深度学习的血细胞分割方法。
背景技术
细胞分割是生物医学图像领域里一个重要的问题。而图像语义分割是给每一个像素都赋予一个不同的标签(类别)，因此可以被认为是一个密集分类问题。
一直以来，细胞分割都是基于传统的图像处理算法，比如基于分水岭的分割方法，基于统计特征的分割方法，基于聚类的分割方法，但是自从深度学习出现以后，基于神经神经网络的图像语义分割方法开始成为主流，对细胞分割的方法最著名的时2015年夺得ISBIcell tracking challenge 2015冠军的U-Net神经网络模型.
U-Net通过预测每个像素点的类别来对细胞图像进行分割，得到了不错的分割精度，并且分割的速度很快。
近年来，绝大多数当前最佳的图像语义分割方法都是基于全卷积神经网络的。典型的语义分割网络结构是编码器-解码器结构，编码器是一个图像降采样过程，负责抽取图像粗糙的语义特征，紧接着就是一个解码器，解码器是一个图像上采样过程，负责对降采样得到的图像特征进行上采样恢复到输入图像原始维度。
使用深度神经网络来对医学图像进行处理，已经非常普遍，但是自然图像与医学图像还是有很大差别的。
对细胞进行准确分割对某些血液病的诊断具有重要意义，如果某一成分过高，则有致病的可能，如白细胞过高，则可能有炎症。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于深度学习的血细胞分割方法。
为实现上述目的，本发明采取的技术方案是：
基于深度学习的血细胞分割方法，如图1所示，包括如下步骤：
基于深度学习的血细胞分割方法，主要实现对血细胞中的三类主要细胞(红细胞，白细胞，血小板)进行分割提取。
步骤1：制作训练样本集：首先，获取血细胞显微图像，其次，对血细胞中的三类主要细胞(红细胞，白细胞，血小板)进行语义分割标注，构建血细胞显微图像数据集；
步骤2：构建基于深度神经网络的血细胞分割模型；分割模型主要有前端和后端网络组成，前端基础网络为图像分类领域通用的网络结构，后端网络由多个上采样层及卷积层组成，最后一层卷积层得输出用于输出一部分的预测；
步骤3：训练神经网络模型；利用步骤1制作好的训练样本集训练网络，并与语义分割标注计算误差，进行误差反向传播，更新模型参数。
步骤4：将待分割血细胞图像输入至模型中进行前向推理，自动输出分割结果。
具体为：
(1)网络由前端和后端网络组成。前端网络第一层的输入为图像，之后每层的输入为前一层输出的特征，每层输出的特征都分成两路，一路作为下一层的输入，另一路经过上采样至输入图像大小并与前一层经过维度不变层(用于降低通道数，减少计算量)输出的特征串联连接之后输出，前端网络输出的最后一层与维度不变层串联连接，经过一个空间通道压缩与激励模块,然后输出的特征图分别与维度不变层降采样后的特征图串联连接并进行后续的上采样，直至上采样至原图大小，后经softmax层输出。
(2)使用ImageNet上训练好的权重来初始化网络，并利用迁移学习的方法，更改损失函数，进行深度网络自适应，消除源域和目标域的不同带来的影响，训练神经网络，得到基于深度学习的血细胞分割模型。
进一步的，所述血细胞分割模型，前端网络主要用于提取特征，这里采用深度残差网络，作为前端网络，后端网络主要是将特征上采样至原图像大小，与语义分割标注计算损失，通过误差反向传播更新模型参数。
进一步的，所述的空间通道压缩激励模块是一个结合通道压缩激励模块与空间压缩激励模块的网络模块，同时在空间和通道上重新校正输入特征图，增强有意义的特征，同时抑制弱特征，激励网络去学习更有意义的特征图。
进一步的，在血细胞分割模型的交叉熵损失部分引入了动态注意力机制，主要是在计算损失的时候，避免由于类别不均衡导致，像素级的分割不准确，所以，给每个像素点都赋予一个动态的权重，构成动态注意力机制，提高分割的准确率。
本发明的方案训练整个图像语义分割模型的过程为：
步骤4.1：对训练数据集中的图像进行预处理，将图像剪裁为固定尺寸；
步骤4.2：利用在ImageNet上预训练好的权重对网络进行初始化；
步骤4.3：对训练数据集中的数据通过翻转，旋转角度，gamma变换等方式进行扩增；
步骤4.4：利用预先设计的损失函数计算损失，再使用随机剃度下降算法进行误差反向传播，更新模型参数，得到训练好的语义分割模型。
采用上述方案后，本发明的有益效果如下：
(1)本发明的血细胞分割模型的交叉熵损失部分引入了动态注意力机制，主要是在计算损失的时候，避免由于类别不均衡导致，像素级的分割不准确，所以，给每个像素点都赋予一个动态的权重，构成动态注意力机制，提高分割的准确率。
(2)本发明中引入特征重校正模块，对特征进行重校正，空间特征重校正能够更好的将空间中所有同一位置像素的重要性得到重新校正，并赋以相应的权值，提高语义分割的准确率，通道特征重校正能够将重要的通道赋以高权值，突出重要性；总之，特征重校正模块能够有效地解决图像语义分割准确率低、池化过程中细节信息丢失的问题，最终得到较好的语义分割结果。
(3)利用迁移学习，更改损失函数，进行深度网络自适应，消除源域和目标域的不同带来的影响，提高训练的精度，语义分割的准确率。
附图说明
图1为本发明的流程图；
图2为本发明的血细胞分割模型结构图；
图3为本发明的维度不变层的结构图；
图4为本发明的空间通道压缩与激励模块结构图；
图5为本发明的通道压缩激励模块结构图；
图6为本发明的空间压缩激励模块结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施与和附图，对本发明作进一步详细说明。
为提高血细胞分割的准确率，本发明提出的一种基于深度学习的血细胞分割方法，能够广泛应用于一般二维显微细胞图像的领域。
如图1所示，基于深度学习的血细胞分割方法，本发明包括如下步骤：
步骤1：构建数据集；本实施例中采用采集到的10000张血细胞显微图像，并随机对其中的7000张血细胞图像中的红细胞，白细胞以及血小板进行语义分割标注，并将其中5000张作为训练数据集，2000张作为验证集，剩下的3000张作为测试集。
步骤2：建基于深度神经网络的血细胞分割模型；分割网络由前端和后端网络组成。前端网络输出的每一层的特征都输出上采样至输入图像大小并与原输入图像串联连接，并经过一个维度不变层，前端网络输出的最后一层与维度不变层串联连接，经过一个空间通道压缩与激励模块,然后输出的特征图分别与维度不变层降采样后的特征图串联并进行后续的上采样，直至上采样至原图大小，并与语义分割标注计算误差，进行误差反向传播，更新模型参数。
如图2所示，前端网络的结构包括Conv1、Conv2_x、Conv3_x和Conv4_x，其中Conv1为1个7×7且步长为2的跨步卷积层，输出为原输入1/4大小的特征图output1，Conv2_x主要为1个3×3的最大池化层和3个残差块，输出为原输入1/16大小的特征图output2，Conv3_x主要为4个残差块，输出为原输入大小1/64大小的特征图output3，Conv4_x主要包含23个残差块，输出为原输入1/256大小的特征图output4，Conv1、Conv2_x、Conv3_x和Conv4_x的最后一层卷积层均采用步长为2的跨步卷积层，用于降维。
上述前端网络中，每个残差结构包含1个1×1的卷积、1个3×3的卷积、1个1×1的卷积和1条快捷连接(shortcut connection)。
步骤3：使用ImageNet上训练好的权重来初始化网络，并利用迁移学习的方法，更改损失函数，进行深度网络自适应，消除源域和目标域的不同带来的影响，训练神经网络，得到基于深度学习的血细胞分割模型
步骤4：将待分割显微图像输入至模型中进行前向推理，自动输出分割结果。
在步骤3中的迁移学习应用，具体为，采用在ImageNet预训练好的权值来初始化我们的血细胞分割模型，由于ImageNet的数据分布与我们的血细胞图像的分布差异很大，所以我们在训练过程中采用迁移学习的方法，进行深度网络自适应即定义一个自适应损失：
ltotal＝lc+λlA
其中，ltotal表示网络的最终损失，lc表示网络在源域(此例中为ImageNet)上的常规分类损失，lA表示网络的自适应损失，此部分就是我们引入迁移学习中的自适应损失，用来衡量源域和目标域(即本数据集，血细胞分割数据集)，λ用来衡量两部分的权重，此处取为0.5。
此处lc，表示神经网络的动态交叉熵损失，
Figure BDA0002183766960000051
式中，ys表示模型预测的分割结果，ps表示模型实际的分割结果,r表示调制系数。
此处lA，我们采用如下形式的定义，
Figure BDA0002183766960000052
式中，ω0表示源域中每一层的权重，ωt表示每次反向传播更新参数时的每一层的权重。t表示第t次迭代，||·||2表示矩阵的2-范数。
具体的，所述的空间通道压缩激励模块是结合通道压缩激励模块和空间压缩激励模块的网络模块。通道压缩激励模块(如图5所示)，将每个通道的特征图经过一个全局平均池化，然后经过两个全连接层，最后经过sigmoid层，将得出的每个通道的权值归一化到[0,1],就得到每个通道的权值，这样就能忽视不重要的通道，突出重要的通道。
空间压缩激励模块(如图6所示)，将每个特征图的空间信息在通道方向进行压缩，得到一个特征图，通过一个带权卷积得到沿着通道方向的空间上的每个点的投影，将投影值通过一个sigmoid函数，再归一化到[0,1],就得到空间每个点的权值。将修改过的残差网络的输出特征图(output1,output2,output3,output4)，降采样至14×14，通过空间通道压缩激励模块，重新校准之后学习到更多的特征信息。
步骤4：对整个图像语义分割模型进行训练；训练整个图像语义分割模型的过程为。
步骤4.1：对训练数据集中的图像进行预处理，将图像剪裁为固定尺寸512×512。
步骤4.2：利用在ImageNet上预训练好的权重对网络进行初始化。
步骤4.3：对训练数据集中的数据通过翻转，旋转角度，gamma变换等方式进行扩增；具体地，翻转为随机翻转；对图像在-10到10度之间进行随机旋转。
步骤4.4：采用预先设计好的损失函数，再使用随机剃度下降算法进行误差反向传播，用多项式学习策略，更新模型参数，得到训练好的语义分割模型。多项式学习策略中，学习率lr设置为：
Figure BDA0002183766960000061
其中，baselr为初始学习率，这里设置为0.001，power设置化0.9。

Claims (4)

1.基于深度学习的血细胞分割方法，其特征在于，包括如下步骤：
步骤1、获取血细胞显微图像，并对血细胞中的三类主要细胞红细胞、白细胞、血小板进行语义分割标注，构建血细胞显微图像数据集；
步骤2、构建基于深度神经网络的血细胞分割网络：
分割网络由前端和后端网络组成，前端网络包括多层特征提取层，第一层的输入为图像数据集，之后每层的输入为前一层输出的特征，每层输出的特征都分成两路，一路作为下一层的输入，另一路经过上采样至输入图像大小并与前一层经过维度不变层输出的特征串联连接之后输出，前端网络输出的最后一层与维度不变层串联连接，经过一个空间通道压缩与激励模块,然后输出的特征图分别与维度不变层降采样后的特征图串联连接并进入后端网络进行上采样，直至上采样至原图大小，后经softmax层输出；
步骤3：训练血细胞分割网络；利用步骤1得到的图像数据集作为训练样本集训练网络，并与语义分割标注计算误差，进行误差反向传播，更新模型参数，获得训练好的血细胞分割网络；
步骤4：将待分割血细胞图像输入至训练好的血细胞分割网络中进行前向推理，自动输出分割结果。
2.根据权利要求1所述的基于深度学习的血细胞分割方法，其特征在于，所述前端网络为深度残差网络。
3.根据权利要求1所述的基于深度学习的血细胞分割方法，其特征在于，所述的空间通道压缩与激励模块是一个结合通道压缩激励模块与空间压缩激励模块的网络模块，同时在空间和通道上重新校正输入特征图，增强有意义的特征，同时抑制弱特征，激励网络去学习更有意义的特征图。
4.根据权利要求1所述的基于深度学习的血细胞分割方法，其特征在于，在血细胞分割网络的交叉熵损失部分引入了动态注意力机制，即给每个像素点都赋予一个动态的权重，构成动态注意力机制，提高分割的准确率。
CN201910806358.6A 2019-08-29 2019-08-29 基于深度学习的血细胞分割方法 Active CN110517272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910806358.6A CN110517272B (zh) 2019-08-29 2019-08-29 基于深度学习的血细胞分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910806358.6A CN110517272B (zh) 2019-08-29 2019-08-29 基于深度学习的血细胞分割方法

Publications (2)

Publication Number Publication Date
CN110517272A CN110517272A (zh) 2019-11-29
CN110517272B true CN110517272B (zh) 2022-03-25

Family

ID=68628002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910806358.6A Active CN110517272B (zh) 2019-08-29 2019-08-29 基于深度学习的血细胞分割方法

Country Status (1)

Country Link
CN (1) CN110517272B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860406A (zh) * 2020-07-29 2020-10-30 福州大学 基于区域混淆机制神经网络的血细胞显微图像分类方法
CN112949646B (zh) * 2021-02-26 2023-12-19 平安科技（深圳）有限公司 电子显微断层数据的语义分割方法、装置、设备及介质
CN114255239B (zh) * 2021-12-17 2024-06-25 浙江大学 一种细胞分割微调方法
CN114663383A (zh) * 2022-03-18 2022-06-24 清华大学 一种血细胞分割与识别方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335305A (zh) * 2018-02-09 2018-07-27 北京市商汤科技开发有限公司 图像分割方法和装置、电子设备、程序和介质
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN109145920A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于深度神经网络的图像语义分割方法
WO2019084492A1 (en) * 2017-10-26 2019-05-02 Essenlix Corporation DEVICES AND METHODS FOR MONITORING LIQUID-SOLID CONTACT TIME
CN109977408A (zh) * 2019-03-27 2019-07-05 西安电子科技大学 基于深度学习的英语阅读分级和读物推荐系统的实现方法
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019084492A1 (en) * 2017-10-26 2019-05-02 Essenlix Corporation DEVICES AND METHODS FOR MONITORING LIQUID-SOLID CONTACT TIME
CN108335305A (zh) * 2018-02-09 2018-07-27 北京市商汤科技开发有限公司 图像分割方法和装置、电子设备、程序和介质
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN109145920A (zh) * 2018-08-21 2019-01-04 电子科技大学 一种基于深度神经网络的图像语义分割方法
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN109977408A (zh) * 2019-03-27 2019-07-05 西安电子科技大学 基于深度学习的英语阅读分级和读物推荐系统的实现方法
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep neural ensemble for retinal vessel segmentation in fundus images towards achieving label-free angiography;A. Lahiri;《2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)》;20161018;1340-1343 *
基于深度学习的图像语义分割方法;张建;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20180815(第08期);I138-632 *
视频流中运动对象提取与分割的研究;王丽;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20110815(第08期);I138-403 *

Also Published As

Publication number Publication date
CN110517272A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110517272B (zh) 基于深度学习的血细胞分割方法
CN109241972B (zh) 基于深度学习的图像语义分割方法
CN113159051B (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
CN109165660B (zh) 一种基于卷积神经网络的显著物体检测方法
CN111798416B (zh) 基于病理图像与深度学习的肾小球智能检测方法及系统
CN110097554B (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN111783782A (zh) 融合改进UNet和SegNet的遥感图像语义分割方法
CN113642390B (zh) 一种基于局部注意力网络的街景图像语义分割方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN111368935B (zh) 一种基于生成对抗网络的sar时敏目标样本增广方法
CN112364699A (zh) 基于加权损失融合网络的遥感图像分割方法、装置及介质
CN110717921B (zh) 改进型编码解码结构的全卷积神经网络语义分割方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN112270366B (zh) 基于自适应多特征融合的微小目标检测方法
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN111612789A (zh) 一种基于改进的U-net网络的缺陷检测方法
CN111881743A (zh) 一种基于语义分割的人脸特征点定位方法
CN115049945B (zh) 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN111222534B (zh) 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法
CN114972885A (zh) 基于模型压缩的多模态遥感图像分类方法
CN110647977B (zh) 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant