CN115272196B - 组织病理图像中病灶区域预测方法 - Google Patents

组织病理图像中病灶区域预测方法 Download PDF

Info

Publication number
CN115272196B
CN115272196B CN202210810912.XA CN202210810912A CN115272196B CN 115272196 B CN115272196 B CN 115272196B CN 202210810912 A CN202210810912 A CN 202210810912A CN 115272196 B CN115272196 B CN 115272196B
Authority
CN
China
Prior art keywords
attention
dyeing
image
feature map
staining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210810912.XA
Other languages
English (en)
Other versions
CN115272196A (zh
Inventor
谢怡宁
张宇明
陈晓凯
朱银平
龙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202210810912.XA priority Critical patent/CN115272196B/zh
Publication of CN115272196A publication Critical patent/CN115272196A/zh
Application granted granted Critical
Publication of CN115272196B publication Critical patent/CN115272196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

组织病理图像中病灶区域预测方法,本发明涉及组织病理图像分析诊断技术中,病灶区域难以检测的问题。细胞核和细胞质的结构外观信息是组织病理图像表型信息的重要体现,为其分类提供依据。染色分离是提取组织病理图像特征的关键所在。但组织病理图像存在大量阴性图块、包含复杂的模式和纹理、存在颜色变化和伪影,使得目前仍没有一个准确的阴阳性分类方法。针对这一问题,结合任务的特点,设计了模型,并利用颜色反卷积对组织病理图像进行染色初始化,再将训练好的模型迁移到病灶区域预测任务中,聚合阳性概率生成热力图。实验表明,这种方法能够有效地检测出病灶区域。该方法主要应用于细胞病理图像的病灶区域预测任务。

Description

组织病理图像中病灶区域预测方法
技术领域
本发明应用于组织病理图像分析技术中病灶区域预测问题。
背景技术
随着机器学习和深度学习方法的不断发展,计算机辅助诊断技术(CAD)在癌症早期的自动诊断方面取得了巨大的进步。CAD可以帮助医生和病理学家分析组织病理学图像,从而降低诊断成本。通过与深度学习的结合,CAD技术逐渐为医生的“第三只眼”,大大提高了医生诊断的敏感性和特异性。但这种系统在分析组织病理学图像时面临一些挑战:1.组织病理图像阳性区域只占一小部分,存在大背景和大量阴性图块;2.组织病理图像包含复杂的模式和纹理,需要采取不同于自然图像的处理方式进行识别;3.组织病理图像存在颜色变化和伪影。因此,如何充分利用表型信息,提高病理图像分类效果仍是一个值得研究的问题。
细胞核和细胞质的结构外观信息是组织病理图像表型信息的重要体现。在制备组织切片时,通常使用H&E染色使细胞核和细胞质的颜色产生强烈对比。通过颜色反卷积获得的色彩信息来观察细胞核和细胞质的结构外观变化,使病理图像分类过程集中关注细胞核和细胞质的结构特征,提高组织病理图像分类结果的准确性。采取自适应颜色反卷积,综合考虑了色斑的特异性、比例和整体强度等先验知识,可以降低组织病理图像颜色变化和伪影对分类准确度的影响。
本文着眼于组织病理图像分类问题,针对组织病理图像表型信息利用不充分的问题,聚焦于细胞核和细胞质信息,提出了基于自适应颜色反卷积的组织病理图像分类网络,即空间染色注意力网络SSANet,该网络结合染色分离技术,提出了空间染色注意力机制,构建了空间染色注意力模块,使网络能够关注图像中经过染色的细胞核和细胞质区域。通过迁移该网络模型实现组织病理图像的病灶区域预测。
发明内容
本发明的目的是为了解决组织病理图像中病灶区域预测问题,从而提出一种基于染色通道注意力的组织病理图像分类方法。
上述发明目的主要是通过以下技术方案实现的:
S1.选取组织病理图像数据集,划分数据集:训练集、验证集和测试集;
S2.染色注意力图初始化:利用自适应颜色反卷积算法对组织病理图像进行染色分离,提取出苏木精和伊红通道的染色分离图像,利用卷积、池化操作处理染色分离图像获得初始化的染色注意力图;
S3.搭建并训练模型:在残差网络主干上的每一个编码层加入空间染色注意力模块,该模块由空间注意力和染色注意力组成;主干后面连接一个分类器;训练时空间染色注意力块可以增强网络对染色信息的关注,不断将更深层次的染色特征馈送入下一层空间染色注意力块;
S4.用测试集测试模型,对达到要求的模型迁移到全切片病理图像病变区域检测任务中;否则,回到步骤S3重新训练模型;
S5.全视野数字切片病变区域检测:利用步骤S4中获得的模型预测从全视野数字切片(Whole Slide Image,WSI)中裁剪下来的小图块;根据其阳性概率聚合到WSI中,生成对应的热力图,激活响应最高的区域即为可能发生病变的区域。
发明效果
新提出的模型不同于传统的分类模型,新模型能够关注细胞核和细胞质染色后显著变化的特点;在细胞结构中,细胞核和细胞质经过H&E染色后能产生强烈的颜色对比,通过染色分离来进行组织图像预处理可有效获取细胞核质信息;同时在残差块基础上引入染色注意力并逐层传递,将染色信息馈送到模型深层,从而使分类结果更为精确。使用本发明能够准确地确定病灶区域的位置,可有效地帮助人工智能辅助医学诊断。
附图说明
图1为组织病理图像中病灶区域预测流程图;
图2为SSANet网络结构示意图;
图3为染色注意力图初始化图;
图4为空间染色注意力块示意图;
图5为WSI病变区域预测效果展示。
具体实施方法
具体实施方式一:
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本文提供的组织病理图像中病灶区域预测方法,如图1,主要包含以下步骤:
S1.选取组织病理图像数据集;
S2.染色注意力图初始化;
S3.搭建并训练模型;
S4.测试模型;
S5.全视野数字切片病变区域检测。
本发明实施例中,首先需要针对组织病理图像具体任务选取对应的数据集,并根据数据集大小划分训练集、验证集和测试集。本发明在ResNet模型的基础上对其进行了改进,包括染色注意力模块和空间注意力模块,通过自适应颜色反卷积生成的染色注意力图对模型进行训练,使得模型能够提前掌握细胞核质信息的先验知识。根据任务特点和模型结构设计模型损失函数,可以有效地改善模型的分类效果。
下面对本发明实施例进行详细的说明:
如图2所示算法的实现包含步骤:
S1.选取组织病理图像数据集,划分数据集;
选取BreakHis人类乳腺组织病理图像数据集;对标记数据进行数据增强,然后划分训练集、验证集和测试集。
S2.染色注意力图初始化:
如图3所示进行染色注意力图初始化,利用自适应颜色反卷积算法对组织病理图像进行染色分离,提取出苏木精和伊红通道的染色分离图像,利用卷积、池化操作处理染色分离图像获得初始化的染色注意力图;其中Ist=[Ih,Ie], Ist为染色分离图像,Ih为染色分离h通道图像,Ie为染色分离e通道图像,/>为原始图像尺寸,初始化过程如下式所示:
其中, 为初始化的染色注意图,/>为染色h通道注意图,/>为染色e通道注意图,/>为染色注意图尺寸,conv 和maxpool分别为卷积操作和最大池化操作。
S3.搭建并训练模型;
如图一所示搭建并训练模型包含步骤:
S31.通过卷积池化操作对输入组织病理图像进行处理得到输入特征图输入到空间染色注意力模块;
S32.将步骤S2生成的染色注意力图输入到空间染色注意力模块;
S33.搭建空间染色注意力块:如图4所示搭建空间染色注意力块(SSANet),将步骤S31得到的F输入到残差块,并将残差块输出与空间注意力机制并联,得到中间特征图F′;再将F′与染色注意力机制并联,得到最终输出特征图F″,如以下公式所示:
其中,为输入特征图,/>为输入染色注意图,/>表示空间注意图,/>与H、W分别为特征图的尺寸,空间注意图Msp(F)经过广播后按元素与特征图F相乘后得到中间特征图/> 为染色注意力权重,/>则表示F′与/>经过广播后按元素相乘后得到的最终输出特征图,输出特征图F″为下一个空间染色注意力块的输入特征图,输出染色注意图/>为下一个空间染色注意力块的输入染色注意图;
S34.将16个空间染色注意力块串联,得到7×7大小的特征图,然后通过全局平均池化操作得到1×1大小的特征图,最后利用全连接层和softmax概率映射层,得到阳性概率;
S35.设置模型超参数,输入组织病理图像,训练模型至损失函数收敛,记录查准率,查全率,分类准确率和F1值;
S4.测试模型;
在测试集上测试训练好的SSANet模型,模型将卷积神经网络输出的特征图经过全局平均池化后,经过全连接层,最后经过softmax回归,得到BreskHis组织病理图像分类结果。分别在BreskHis数据集上做阴阳性二分类实验和病变类型八分类实验,验证模型分类准确度。如果达不到任务指标要求,则返回步骤S3中对模型重新训练。
S5.全视野数字切片病变区域检测;
如图5所示全视野数字切片病变区域检测包含步骤如下:
S51.首先分割组织病理WSI的组织区域,然后裁剪组织区域,得到小图块;
S52.染色分离:获得小图块的染色分离图像并保存小图块在WSI中的坐标;
S53.利用步骤S3中训练好的模型预测步骤S2中提取的染色分离图像,得到小图块对应阳性的概率;
S54.将小图块阳性概率按照坐标聚合到相应WSI,即可得到标识可疑病变区域的热力图和掩码图,概率聚合规则如下:
其中,x和y为WSI中的像素坐标,v(x,y)表示该像素为肿瘤的概率,N为经过该像素的小图块个数,pi为经过该像素的第i个小图块为肿瘤的概率。

Claims (1)

1.组织病理图像中病灶区域预测方法,其特征在于,包含如下步骤:
S1、选取组织病理图像数据集,划分数据集:训练集、验证集和测试集;
S2、染色注意力图初始化:利用自适应颜色反卷积算法对组织病理图像进行染色分离,提取出苏木精和伊红通道的染色分离图像,利用卷积、最大池化操作处理染色分离图像获得初始化的染色注意力图;其中Ist=[Ih,Ie],Ist为染色分离图像,Ih为染色分离h通道图像,Ie为染色分离e通道图像,/>为原始图像尺寸,初始化过程如下式所示:
其中, 为初始化的染色注意图,/>为染色h通道注意图,/>为染色e通道注意图,/>为染色注意图尺寸,conv和maxpool分别为卷积操作和最大池化操作;
S3、搭建并训练染色空间注意力模型:在残差网络主干上的每一个编码层加入空间染色注意力模块,该模块由空间注意力和染色注意力组成;主干后面连接一个分类器;训练时空间染色注意力块可以增强网络对染色信息的关注,不断将更深层次的染色特征馈送入下一层空间染色注意力块,步骤如下:
S31、通过卷积池化操作对输入组织病理图像进行处理得到输入特征图输入空间染色注意力模块;
S32、将步骤S2生成的染色注意力图输入空间染色注意力模块;
S33、搭建空间染色注意力块:将步骤S31得到的输入特征图F输入到残差块,并将残差块输出与空间注意力模块Msp并联,得到中间特征图F′;再将F′与染色注意力模块Mst并联,得到最终输出特征图F″,如以下公式所示:
其中,为输入特征图,/>为输入染色注意图,/>表示空间注意图,C为特征图的通道数量,/>与H、W分别为特征图的尺寸,空间注意图Msp(F)经过广播后按元素与特征图F相乘后得到中间特征图/>为染色注意力权重,/>则表示F′与/>经过广播后按元素相乘后得到的最终输出特征图,输出特征图F″为下一个空间染色注意力块的输入特征图,同时输出染色注意图/>为下一个空间染色注意力块的输入染色注意图;
S34、将16个空间染色注意力模块串联,得到7×7大小的特征图,然后通过全局平均池化操作得到1×1大小的特征图,最后利用全连接层和softmax概率映射层,得到阳性概率;
S35、设置模型超参数,输入组织病理图像,训练模型至损失函数收敛,记录查准率,查全率,分类准确率和F1值;
S4、用测试集测试模型,对达到要求的模型迁移到全切片病理图像病变区域检测任务中;否则,回到步骤S4重新训练模型;
S5、全视野数字切片病变区域检测:利用步骤S4中模型预测从全视野数字切片(WholeSlide Image,WSI)中裁剪下来的小图块,根据其阳性概率聚合到WSI中,生成对应的热力图,激活响应最高的区域就是可能发生病变的区域,步骤如下:
S51、首先分割组织病理WSI的组织区域,然后裁剪组织区域,得到小图块;
S52、染色分离:获得小图块的染色分离图像并保存小图块在WSI中的坐标;
S53、利用步骤S3中训练好的模型预测步骤S52中染色分离图像,得到小图块对应阳性的概率;
S54、将小图块阳性概率按照坐标聚合到相应WSI,即可得到标识可疑病变区域的热力图和掩码图;概率聚合规则如下:
其中,x和y为WSI中的像素坐标,v(x,y)表示该像素为肿瘤的概率,N为经过该像素的小图块个数,pi为经过该像素的第i个小图块为肿瘤的概率。
CN202210810912.XA 2022-07-11 2022-07-11 组织病理图像中病灶区域预测方法 Active CN115272196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210810912.XA CN115272196B (zh) 2022-07-11 2022-07-11 组织病理图像中病灶区域预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210810912.XA CN115272196B (zh) 2022-07-11 2022-07-11 组织病理图像中病灶区域预测方法

Publications (2)

Publication Number Publication Date
CN115272196A CN115272196A (zh) 2022-11-01
CN115272196B true CN115272196B (zh) 2024-01-09

Family

ID=83766377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210810912.XA Active CN115272196B (zh) 2022-07-11 2022-07-11 组织病理图像中病灶区域预测方法

Country Status (1)

Country Link
CN (1) CN115272196B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410050B (zh) * 2022-11-02 2023-02-03 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法
CN115753107A (zh) * 2022-12-05 2023-03-07 东北林业大学 基于非线性量子信息熵的微弱滚动轴承故障诊断方法
CN116309551B (zh) * 2023-05-11 2023-08-15 浙江太美医疗科技股份有限公司 确定病灶取样区的方法、装置、电子设备及可读介质
CN116564556B (zh) * 2023-07-12 2023-11-10 北京大学 药物不良反应的预测方法、装置、设备及存储介质
CN116883397B (zh) * 2023-09-06 2023-12-08 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784767A (zh) * 2021-01-27 2021-05-11 天津理工大学 基于白细胞显微图像的细胞实例分割算法
CN113744251A (zh) * 2021-09-07 2021-12-03 上海桐树生物科技有限公司 基于自注意力机制从病理图片预测微卫星不稳定性的方法
CN114066874A (zh) * 2021-11-25 2022-02-18 福建师范大学 基于颜色反卷积与自注意力模型的组织病理学图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220108097A1 (en) * 2020-10-05 2022-04-07 Rakuten, Inc. Dual encoder attention u-net

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784767A (zh) * 2021-01-27 2021-05-11 天津理工大学 基于白细胞显微图像的细胞实例分割算法
CN113744251A (zh) * 2021-09-07 2021-12-03 上海桐树生物科技有限公司 基于自注意力机制从病理图片预测微卫星不稳定性的方法
CN114066874A (zh) * 2021-11-25 2022-02-18 福建师范大学 基于颜色反卷积与自注意力模型的组织病理学图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Dual Encoder Attention U-net for nuclei segmentation";Abhishek Vahadane等;《2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)》;第1-4页 *
"基于注意力机制的多发性硬化病灶分割方法研究";胡串;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;第E065-792页 *

Also Published As

Publication number Publication date
CN115272196A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN115272196B (zh) 组织病理图像中病灶区域预测方法
Raza et al. Micro-Net: A unified model for segmentation of various objects in microscopy images
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
Fu et al. DSAGAN: A generative adversarial network based on dual-stream attention mechanism for anatomical and functional image fusion
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
WO2018052586A1 (en) Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN110033032B (zh) 一种基于显微高光谱成像技术的组织切片分类方法
Cortina-Januchs et al. Detection of pore space in CT soil images using artificial neural networks
CN110503630A (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
Liang et al. Comparison detector for cervical cell/clumps detection in the limited data scenario
CN114022718B (zh) 消化系统病理图像识别方法、系统及计算机存储介质
Zhou et al. Embedding topological features into convolutional neural network salient object detection
Brancati et al. Gigapixel histopathological image analysis using attention-based neural networks
CN109376787A (zh) 流形学习网络及基于其的计算机视觉图像集分类方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN114119525A (zh) 一种细胞医学图像分割的方法和系统
CN115409832A (zh) 一种超声影像及组学大数据的三阴性乳腺癌分类方法
Liu et al. DCCAM-MRNet: mixed residual connection network with dilated convolution and coordinate attention mechanism for tomato disease identification
CN113807356B (zh) 一种端到端的低能见度图像语义分割方法
Zhang et al. The whole slide breast histopathology image detection based on a fused model and heatmaps
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN116543433A (zh) 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置
Guo et al. Pathological Detection of Micro and Fuzzy Gastric Cancer Cells Based on Deep Learning.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant