CN111461068B - 一种染色体中期图识别和分割方法 - Google Patents

一种染色体中期图识别和分割方法 Download PDF

Info

Publication number
CN111461068B
CN111461068B CN202010346157.5A CN202010346157A CN111461068B CN 111461068 B CN111461068 B CN 111461068B CN 202010346157 A CN202010346157 A CN 202010346157A CN 111461068 B CN111461068 B CN 111461068B
Authority
CN
China
Prior art keywords
chromosome
segmentation
masks
mask
metaphase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010346157.5A
Other languages
English (en)
Other versions
CN111461068A (zh
Inventor
韦广立
张娟
请求不公布姓名
李仪
穆阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zixing Wisdom Medical Technology Co ltd
Original Assignee
Hunan Zixing Wisdom Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zixing Wisdom Medical Technology Co ltd filed Critical Hunan Zixing Wisdom Medical Technology Co ltd
Priority to CN202010346157.5A priority Critical patent/CN111461068B/zh
Publication of CN111461068A publication Critical patent/CN111461068A/zh
Application granted granted Critical
Publication of CN111461068B publication Critical patent/CN111461068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

本发明公开了一种染色体中期图识别和分割方法,主要包括如下部分:识别并使用矩形框定位不同染色体实例在中期图中位置、基于矩形框区域按类别对染色体的分割掩码进行预测,对预测的分割掩码进行融合,最终根据融合的分割掩码从染色体中期图中分割出不同类别的染色体。本发明在不显著降低预测效率的情况下,有效解决了染色体中期图分割时存在的染色体分割不完整、“X”型交叉分割不稳定、长染色体被截断识别为短小染色体等问题,使得染色体中期图的自动分割结果具备实际应用价值,从而大大提升了染色体图像分析的自动化程度,让影像分析人员可以有更多的精力投入到染色体疾病诊断等专业的工作中。

Description

一种染色体中期图识别和分割方法
技术领域:
本发明涉及一种染色体中期图识别和分割的方法,属于图像处理领域。
背景技术:
因为染色体核型分析是诊断人类基因疾病的重要手段,而染色体中期图是染色体核型分析的主要依据。染色体图像分析是一项技术活同时也是体力活。在典型的染色体核型分析流程中,染色体图像的分割、分类等图像处理工作消耗了医生的大量精力。目前,随着技术及观念的普及,人们对于高效和准确的染色体检查的需求也迅速增长。因此本发明研究并提出一种自动对中期图进行处理、提取染色体区域和类别信息的方法,减少医生在图像处理方面的工作量,从而能把更多的精力投入到更专业的疾病诊断中。该发明在为医生的染色体核型分析工作提高效率的同时,也能提升其服务质量。
具体来说,进行染色体核型分析对象是带纹,而不同染色体的带纹存在较大的相似性,且其数量也是疾病诊断的重要依据,因此对染色体中期图的染色体成功提取率、分割完整性、分类准确性有较高要求。Mask R-CNN是优秀的通用实例分割神经网络,但由于其设计的原因,直接用于染色体中期图分割任务时,容易造成染色体分割不完整、“X”型交叉分割不稳定、长染色体被截断识别为短小染色体等问题,无法满足实际应用的要求。该发明着重讲述自动实现染色体中期图分割的方法:改进的Mask R-CNN算法。
名词解释:
Mask R-CNN(即本发明中提及的分割深度神经网络):文献[1]中提出的实例分割深度神经网络,包括多个子网络,在本发明涉及的染色体分割任务中,主要用到了兴趣区域推荐、类别识别、分割掩码预测这三个子网络,分别实现兴趣区域预测、类别识别概率预测以及不同类别染色体分割掩码的预测功能。
实例分割:一种像素级图像分割方法,要求把输入图像中每一个像素准确地对应到相应的个体实例或背景。
兴趣区域(Region Of Interest,以下简称ROI):在Mask R-CNN中,为提高运行效率,在做精确识别和分类之前,需从输入图像中挑选出一系列可能存在感兴趣目标的区域,这些挑出来的区域即为兴趣区域,在本发明中体现形式为染色体的外接矩形框。
交并比(Intersection over Union,以下简称IoU):用于量化两个图像区域匹配程度的一个评价指标,IoU大则表示两个区域匹配程度高,小则表示两个区域匹配程度低,记需评估匹配程度的两个图像区域分别为A和B,二者重叠区域(交集)的面积为IAB,二者共同覆盖区域(并集)的面积为UAB,则区域A和区域B的交并比:
分割掩码:与被分割的图像相同尺寸的二值化图像,用以标记出被分割图像中每一个像素是否属于当前关注的实例,像素值为“0”时表示像素不属于关注的实例,为“1”时表示像素属于关注的实例。
“X”型交叉:两条染色体在中期图中成类似“X”形的交叉,导致两条染色体区域(或分割掩码)的外接矩形框具有十分高的交并比,而不易区分的情形。
参考文献:
[1]K.He,G.Gkioxari,P.Dollar,R.Girshick,Mask r-cnn,in:ICCV,2017。
发明内容:
为解决上述问题,本发明公开了一种染色体中期图识别和分割方法,主要包括如下部分:识别并使用矩形框定位不同染色体实例在中期图中位置、基于矩形框区域按类别对染色体的分割掩码进行预测,对预测的分割掩码进行融合,最终融合的分割掩码从染色体中期图中分割出不同类别的染色体。这几个主要部分里面分别包含了一系列的图像算法处理步骤,来最终实现高鲁棒性、高完整度、高分类准确率染色体图像分割的目标。
为解决上述问题,本发明的技术方案是:.
一种染色体中期图识别和分割方法,包括如下步骤:
步骤一、训练神经网络参数:构造分割网络模型、制作染色体分类与分割数据集,并训练得到训练好的分割深度神经网络;
步骤二、识别并定位染色体位置及预测分割掩码:
将待分割的染色体中期图输入训练好的分割深度神经网络,得到若干兴趣区域、兴趣区域内染色体的若干最终外接矩形框及每个最终外接矩形框内染色体为某类染色体的概率;将最终外接矩形框内染色体为某类染色体的概率作为分类信息;
选取兴趣区域分类预测概率值中最大的两个分别记为PA和PB,PA>PB,计算PA和PB的近似度SimAB
选取阈值Th0,如果SimAB>Th0则同时保留PA和PB两个分类信息及两个最终外接矩形框;否则仅保留PA对应的分类信息和最终外接矩形框;
最终外接矩形框作为分割深度神经网络中分割掩码预测子网络的输入,得到同一矩形框中不同类别染色体的分割掩码,根据外接矩形区域的类别识别结果进行筛选即得到相应染色体的分割掩码;
步骤三、分割结果融合:
步骤四、得到处理后的染色体分割掩码,从待分割的染色体中期图中切割得到相应的染色体分割结果。
进一步的改进,所述步骤二中,最终外接矩形框的选取方法如下:外接矩形框选取时,对预测为同类别染色体且相互间交并比>Th1的外接矩形框,取两个外接矩形框区域并集的外接矩形,反复合并直至各矩形框无法进一步合并,得到最终外接矩形框。
进一步的改进,所述步骤三包括如下步骤:
a.将步骤二得到的分割掩码按染色体类别进行整理;
b.分割掩码类内融合:对于同一类染色体的不同掩码,基于掩码的精确范围计算掩码间的交并比,取交并比最大的两个掩码,若其交并比>Th2,则用该两个掩码区域的并集作为合并的掩码替换掉该两个掩码,反复执行上述合并操作直至无掩码可合并,即得到最终的染色体分割掩码;
c.对于不同类别的染色体分割掩码做抑制处理:两个不同类染色体的掩码从属度按如下方式计算:
A和B分别表示计算从属度的两个掩码,SI为A和B两个掩码重叠区域的面积,SA和SB分别表示A和B的面积,且SA>SB,BLAB表示A和B两个掩码的从属度;对于BLAB>Th3的掩码对,从分割结果中删除掩码B。
进一步的改进,,所述染色体为人染色体。
进一步的改进,Th0=0.8,Th1=0.7,Th2=0.3,Th3=0.5。
本发明优点:
可以自动的从染色体中期图中对染色体进行识别和分割,并且分割掩码更完整,消除了长染色体被错误截断并识别为短小染色体的问题,增加的对单区域多类别染色体预测的处理功能以及分类近似度计算方法,解决了步骤二中为“X”型交叉分割结果不稳定的问题,从而对于“X”型交叉也能很好的避免染色体被漏检,从而使的自动化的染色体分割与识别具备实际应用价值。
附图说明:
附图1:该发明的算法流程图
附图2:待处理的中期图
附图3:分割深度神经网络的兴趣区域预测结果
附图4:原Mask R-CNN单区域单矩形框处理结果
附图5:该发明提出的单区域多类别预测处理效果
附图6:同类染色体矩形框融合效果示意
附图7:分割掩码同类融合效果示意
附图:8:分割掩码类间融合效果示意
具体实施方式:
为了更具体地阐述该发明,以一张存在“X”型交叉的染色体中期图(以下简称“待处理中期图”)的分割处理过程为例(由于分割不完整、长染色体被截断的情况发生较为普遍,故无需特意挑选),详细地讲述本发明的实施方式。本发明的流程如附图1所示,通过以下三个部分的处理实现:
一、训练神经网络参数
准备好染色体中期图及其中每一条染色体的类别和相应的二值化分割掩码,按照文献[1]中推荐的方法构造网络、制作训练标签并训练至各loss收敛。
二、预测分割结果
该步骤包括两个特殊处理步骤,以解决原分割深度神经网络在执行染色体中期图识别分割任务时,处理“X”型交叉及分割完整性等方面存在的不足。子步骤分别如下:
a.将待处理中期图输入网络,选取Th0=0.8,得到按染色体类别整理的矩形框;
b.取Th1=0.7,将步骤a中的矩形框及分类信息作为输入,得到各分类及矩形框的分割结果。
三、分割结果融合
对于步骤二中得到的分割掩码,取阈值Th2=0.3,实现类内融合,基于类内掩码的融合结果,取阈值Th3=0.5,实现分割掩码的类间融合,即得到待识别分割染色体中期图的最终识别和分割结果。
该方法可以有效改进原始分割深度神经网络对染色体分割不完整、“X”型交叉分割效果不稳定、长染色体被错误截断并识别为短小染色体等问题,使得染色体实例分割具备实际应用价值。
具体示例如下:
1.首先,各子网络装载训练好的参数。
2.获取待处理中期图,如附图2所示。
3.将待处理中期图输入神经网络,得到上述步骤二a中按分类组织的染色体矩形框。为体现该发明的改进效果,取附图2中“X”型交叉区域,分别按文献[1]的方式处理和该发明中的处理方式得到的结果做比对。分别如附图3、附图4、附图5所示,对于“X”型交叉区域的兴趣区域,类别识别子网络对于两类染色体给出了相近的概率值,二者的分类近似度为0.35/0.41=0.85。因而与文献[1]中仅保留第23类染色体的矩形框的处理方法相比,改进的算法同时保留了第9类染色体的矩形框,因而避免了第9类染色体在后续分割中被遗漏,增强了结果的完整度。
4.将按分类组织的染色体矩形框执行类内融合,得到融合的矩形框,如附图6所示。显然融合后的矩形框相比任意一个单独的矩形框,对目标染色体的覆盖更完整。对各矩形框区域进行分割掩码预测,得到按染色体类别整理的分割掩码。
5.对分割掩码进行类内融合,如图7所示。为避免混淆,图中分割掩码采用不同灰度的轮廓表示,从图中可见,对于不同矩形框中预测的同一染色体的掩码,通过该过程可以很好地融合,实现了去重和补全的效果。
6.对不同类的掩码进行类间融合,如附图8所示。在初始分割结果中,长染色体的一部分被错误截断并识别为其他类型的染色体,通过类间掩码融合,可以将截断的染色体从识别结果中剔除。而对于与之发生交叉的染色体的掩码则被保留下来了,从而达到纠错的效果。
7.根据分割掩码从待处理中期图中将相应区域的像素分离出来及得到最终的中期图分割识别结果。
从上述过程可见,文献[1]中分割深度神经网络无法有效处理的问题均被合理解决,得到了较为准确的染色体中期图识别和分割效果。
上述实施例仅仅是本发明的一个具体实施方式,并不作为本发明的限定,任何对其进行的简单改进和替换均在本发明的保护范围内。

Claims (4)

1.一种染色体中期图识别和分割方法,其特征在于,包括如下步骤:
步骤一、训练神经网络参数:构造分割网络模型、制作染色体分类与分割数据集,并训练得到训练好的分割深度神经网络;
步骤二、识别并定位染色体位置及预测分割掩码:
将待分割的染色体中期图输入训练好的分割深度神经网络,得到若干兴趣区域、兴趣区域内染色体的若干最终外接矩形框及每个最终外接矩形框内染色体为某类染色体的概率;将最终外接矩形框内染色体为某类染色体的概率作为分类信息;
选取兴趣区域分类预测概率值中最大的两个分别记为PA和PB,PA>PB,计算PA和PB的近似度SimAB
选取阈值Th0,如果SimAB>Th0则同时保留PA和PB两个分类信息及两个最终外接矩形框;否则仅保留PA对应的分类信息和最终外接矩形框;
最终外接矩形框作为分割深度神经网络中分割掩码预测子网络的输入,得到同一矩形框中不同类别染色体的分割掩码,根据外接矩形区域的类别识别结果进行筛选即得到相应染色体的分割掩码;
步骤三、分割结果融合:
a.将步骤二得到的分割掩码按染色体类别进行整理;
b.分割掩码类内融合:对于同一类染色体的不同掩码,基于掩码的精确范围计算掩码间的交并比,取交并比最大的两个掩码,若其交并比>Th2,则用该两个掩码区域的并集作为合并的掩码替换掉该两个掩码,反复执行上述合并操作直至无掩码可合并,即得到最终的染色体分割掩码;
c.对于不同类别的染色体分割掩码做抑制处理:两个不同类染色体的掩码从属度按如下方式计算:
A和B分别表示计算从属度的两个掩码,SI为A和B两个掩码重叠区域的面积,SA和SB分别表示A和B的面积,且SA>SB,BLAB表示A和B两个掩码的从属度;对于BLAB>Th3的掩码对,从分割结果中删除掩码B;
步骤四、得到处理后的染色体分割掩码,从待分割的染色体中期图中切割得到相应的染色体分割结果。
2.如权利要求1所述的染色体中期图识别和分割方法,其特征在于,所述步骤二中,最终外接矩形框的选取方法如下:外接矩形框选取时,对预测为同类别染色体且相互间交并比>Th1的外接矩形框,取两个外接矩形框区域并集的外接矩形,反复合并直至各矩形框无法进一步合并,得到最终外接矩形框。
3.如权利要求1所述的染色体中期图识别和分割方法,其特征在于,所述染色体为人染色体。
4.如权利要求1所述的染色体中期图识别和分割方法,其特征在于,Th0=0.8,Th1=0.7,Th2=0.3,Th3=0.5。
CN202010346157.5A 2020-04-27 2020-04-27 一种染色体中期图识别和分割方法 Active CN111461068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010346157.5A CN111461068B (zh) 2020-04-27 2020-04-27 一种染色体中期图识别和分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010346157.5A CN111461068B (zh) 2020-04-27 2020-04-27 一种染色体中期图识别和分割方法

Publications (2)

Publication Number Publication Date
CN111461068A CN111461068A (zh) 2020-07-28
CN111461068B true CN111461068B (zh) 2023-10-17

Family

ID=71681321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010346157.5A Active CN111461068B (zh) 2020-04-27 2020-04-27 一种染色体中期图识别和分割方法

Country Status (1)

Country Link
CN (1) CN111461068B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037174B (zh) * 2020-08-05 2024-03-01 湖南自兴智慧医疗科技有限公司 染色体异常检测方法、装置、设备及计算机可读存储介质
CN112037180B (zh) * 2020-08-12 2023-08-08 湖南自兴智慧医疗科技有限公司 染色体分割方法及装置
CN112487942A (zh) * 2020-11-26 2021-03-12 华南师范大学 染色体实例分割方法、系统和存储介质
CN113160263A (zh) * 2021-03-30 2021-07-23 电子科技大学 一种基于yolact实例分割的改进方法
CN113408505B (zh) * 2021-08-19 2022-06-14 北京大学第三医院(北京大学第三临床医学院) 一种基于深度学习的染色体极性识别方法和系统
CN113723370B (zh) * 2021-11-01 2022-01-18 湖南自兴智慧医疗科技有限公司 基于斜框的染色体检测方法及装置
CN114170218B (zh) * 2021-12-16 2022-12-06 易构智能科技(广州)有限公司 一种染色体图像实例标签生成方法及系统
CN115049686B (zh) * 2022-08-15 2022-11-29 湖南自兴智慧医疗科技有限公司 一种基于辅助信息的复杂染色体区域分割方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN109117822A (zh) * 2018-08-31 2019-01-01 贵州大学 一种基于深度学习的零件实例分割识别方法
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004090100A2 (en) * 2003-04-04 2004-10-21 Agilent Technologies, Inc. Visualizing expression data on chromosomal graphic schemes
EP3432198B1 (en) * 2017-07-19 2024-04-17 Tata Consultancy Services Limited Crowdsourcing and deep learning based segmenting and karyotyping of chromosomes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN109117822A (zh) * 2018-08-31 2019-01-01 贵州大学 一种基于深度学习的零件实例分割识别方法
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络和几何优化的统计染色体核型分析方法;李康;谢宁;李旭;谭凯;;南京大学学报(自然科学)(第01期);全文 *
李康 ; 谢宁 ; 李旭 ; 谭凯 ; .基于卷积神经网络和几何优化的统计染色体核型分析方法.南京大学学报(自然科学).2020,(第01期),全文. *

Also Published As

Publication number Publication date
CN111461068A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111461068B (zh) 一种染色体中期图识别和分割方法
CN109242864B (zh) 基于多分支网络的图像分割结果质量评价方法
EP2302583B1 (en) Image segmentation
CN108596038B (zh) 一种结合形态学分割和神经网络的粪便中红细胞识别方法
CN110264454B (zh) 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法
CN110647875A (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN112819821B (zh) 一种细胞核图像检测方法
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN109117703A (zh) 一种基于细粒度识别的混杂细胞种类鉴定方法
CN108776823A (zh) 基于细胞图像识别的宫颈癌病灶分析方法
US20220230748A1 (en) Artificial intelligence cloud diagnosis platform
CN110837809A (zh) 血液自动分析方法、系统、血细胞分析仪及存储介质
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
CN113888462A (zh) 一种裂纹识别方法、系统、可读介质及存储介质
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN110796661A (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN113762265B (zh) 肺炎的分类分割方法及系统
CN109147932B (zh) 癌细胞her2基因扩增分析方法及系统
CN112819834B (zh) 基于人工智能的胃部病理图像的分类方法和装置
CN115775226B (zh) 基于Transformer的医学图像分类方法
CN115131590B (zh) 目标检测模型的训练方法、目标检测方法及相关设备
CN114037868B (zh) 图像识别模型的生成方法及装置
Chang et al. Batch-invariant nuclear segmentation in whole mount histology sections
CN116912872A (zh) 图纸识别方法、装置、设备及可读存储介质
CN113158950B (zh) 一种重叠染色体自动分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant