CN111754489A - 一种胎儿超声心动图中四腔心分割方法 - Google Patents

一种胎儿超声心动图中四腔心分割方法 Download PDF

Info

Publication number
CN111754489A
CN111754489A CN202010596235.7A CN202010596235A CN111754489A CN 111754489 A CN111754489 A CN 111754489A CN 202010596235 A CN202010596235 A CN 202010596235A CN 111754489 A CN111754489 A CN 111754489A
Authority
CN
China
Prior art keywords
rois
segmentation
fetal
score
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010596235.7A
Other languages
English (en)
Inventor
朱皞罡
安山
杨汀阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010596235.7A priority Critical patent/CN111754489A/zh
Publication of CN111754489A publication Critical patent/CN111754489A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请为一种胎儿超声心动图中四腔心分割方法,为了在小数据量数据集上快速精确胎儿超声心动图中四个心房/心室,首先使用数据增强策略来增加数据的多样性,例如平移、翻转、旋转、扭曲;其次利用基于Faster R‑CNN的Mask R‑CNN来产出精确的分割掩膜;最后通过ROI聚类重新计算每个ROI的得分,成功召回候选目标。与之前使用的语义分割方法不同,不仅可以利用实例分割方法来同时分割四腔心,而且伴随候选目标召回策略来召回丢失的部件,此项实例分割方法是第一个在胎儿超声心动图中实现四腔心的同时分割,这将帮助心脏病专家更好的分析胎儿心脏的结构和功能。

Description

一种胎儿超声心动图中四腔心分割方法
技术领域
本发明涉及一种胎儿超声心动图中四腔心分割方法。
背景技术
先天性心脏病(Congenital Heart Disease(CHD))是最重要的引起胎儿死亡的疾病原因。它是胎儿出生时一种或多种心脏结构或者功能的异常。对胎儿超声心动图的分析对心脏病专家非常有用,可以用来测量胎儿心脏的大小和功能,以及做出心脏病诊断。四个心室/心房的分割可以作为额外信息用于诊断多种类型的先天性心脏病。
近年来,随着深度学习技术的发展,多种分割方法被用于超声心动图。之前的方法主要用于单心室,例如左心室,左心房或者右心室分割。目前,没有一种方法能够同时分割四个心房/心室。此外,之前的研究多关注于成年病人,只有很少的方法用于胎儿超声心动图。
发明内容
本发明提供了一种胎儿超声心动图中四腔心分割方法,提供一种可用于胎儿超声心动图中的心房与心室分割方法,与之前使用的语义分割方法不同,不仅可以利用实例分割方法来同时分割四腔心,而且伴随候选目标召回策略来召回丢失的部件,此项实例分割方法是第一个在胎儿超声心动图中实现四腔心的同时分割,这将帮助心脏病专家更好的分析胎儿心脏的结构和功能;解决了现有技术中存在的问题。
本发明为解决上述技术问题所采用的技术方案是:
一种胎儿超声心动图中四腔心分割方法,所述方法包括下列步骤:
通过胎儿超声心动图采集经数据增强策略增加的多样性的超声心动序列图像数据;
对输入的多样性的超声心动序列图像数据自动做逐像素标记;
通过候选目标召回方法召回在获取心室或心房过程中丢失的心室或心房的部分;以获得更好的四腔心切面分割效果;该方法通过以下步骤实现:
计算每个感兴趣区域ROI的中心,以及中心之间的L2距离;
如果2个中心之间的距离小于一个阈值,该感兴趣区域即为一个簇cluster;
如果一个簇中的感兴趣区域都属于同一个类别,它们被标记为这个类;否则,计算这些感兴趣区域的总的分数,将其判别为最大分数的那个类;如果一个类在之前环节已经出现,在分数计算环节中将不做考虑。
所述数据增强策略是利用旋转和扭曲模拟胎儿心脏在收缩和扩张时的有规律的运动。
所述旋转操作通过仿射变换方式实现;同时通过随机且弹性的扭曲方式增强图片。
所述标记方式为给图片的每个像素标记一个类别相关和实例相关的标签。
利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜;其中Faster R-CNN有2个输出,分别为类别标签和包围框偏移量;在Mask R-CNN中增加一个掩膜分支,该掩膜分支用来预测每个感兴趣区域的分割掩膜。
用ROI聚类算法重新计算每个感兴趣区域ROI的中心得分;
假设一个ROIs簇包含了N个ROI,每个ROI在四个类别中的得分为:
Figure BDA0002557476900000021
则ROIs的得分为:
Figure BDA0002557476900000031
比较每个ROIs簇的四个类别得分,并将所有ROIs簇的所有类别得分排序,最后每个ROIs簇的类别计算方式如下:
输入ROIs簇的个数M
score:所有ROIs簇的所有类别得分排序,大小为M*4;
ROIs_id:得分排序后对应的ROIs簇的索引,大小为M*4;
Class:得分排序后的类别索引,大小为M*4;
初始化ROIs_class=-ones(M)每个ROIs簇的类别,初始化为-1
Figure BDA0002557476900000032
输出每个ROIs簇的类别ROIs_class;即成功召回候选目标。
本发明的有益效果体现在:为了在小数据量数据集上快速精确胎儿超声心动图中四个心房/心室,首先使用数据增强策略来增加数据的多样性,例如平移、翻转、旋转、扭曲;其次利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜;最后通过ROI聚类重新计算每个ROI的得分,成功的召回候选目标。
本发明采用不同于之前使用的语义分割方法的实例分割方法,结合创新的候选目标召回方法,不仅可以同时分割四腔心,而且伴随候选目标召回策略来召回丢失的部件,分割相关的指标有明显提升;此项实例分割方法是第一个在胎儿超声心动图中实现四腔心的同时分割,这将帮助心脏病专家更好的分析胎儿心脏的结构和功能。
附图说明
图1为本发明所述胎儿超声心动图中四腔心分割方法的流程示意图。
图2为胎儿超声心动图的四腔心视图,可见四个心房/心室分别是左心房(LA)、右心房(RA)、左心室(LV)和右心室(RV)。
图3为本发明所用的数据增强中的图片扭曲方法,左图为原始图片,右图为随机扭曲的图片。
图4为本发明使用候选目标召回方法如右侧一列所示和不使用该方法如左侧一列所示的分割结果。
图5为本发明中的8张胎儿超声心动图分割结果,每张图的左上为原始图像,右上为真实标注,左下为叠加的分割效果,右下为分割示意图;其中红色表示左心房,黄色表示左心室,绿色右心房,蓝色右心室。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
如图1-5中所示,一种胎儿超声心动图中四腔心分割方法,所述方法包括下列步骤:
通过胎儿超声心动图采集经数据增强策略增加的多样性的超声心动序列图像数据;
对输入的多样性的超声心动序列图像数据自动做逐像素标记;
通过候选目标召回方法召回在获取心室或心房过程中丢失的心室或心房的部分;以获得更好的四腔心切面分割效果;该方法通过以下步骤实现:
计算每个感兴趣区域ROI的中心,以及中心之间的L2距离;
如果2个中心之间的距离小于一个阈值,该感兴趣区域即为一个簇cluster;
如果一个簇中的感兴趣区域都属于同一个类别,它们被标记为这个类;否则,计算这些感兴趣区域的总的分数,将其判别为最大分数的那个类;如果一个类在之前环节已经出现,在分数计算环节中将不做考虑。
所述数据增强策略是利用旋转和扭曲模拟胎儿心脏在收缩和扩张时的有规律的运动。
所述旋转操作通过仿射变换方式实现;同时通过随机且弹性的扭曲方式增强图片。
所述标记方式为给图片的每个像素标记一个类别相关和实例相关的标签。利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜;其中Faster R-CNN有2个输出,分别为类别标签和包围框偏移量;在Mask R-CNN中增加一个掩膜分支,该掩膜分支用来预测每个感兴趣区域的分割掩膜。
用ROI聚类算法重新计算每个感兴趣区域ROI的中心得分;
假设一个ROIs簇包含了N个ROI,每个ROI在四个类别中的得分为
Figure BDA0002557476900000051
则ROIs的得分为
Figure BDA0002557476900000061
比较每个ROIs簇的四个类别得分,并将所有ROIs簇的所有类别得分排序,最后每个ROIs簇的类别计算方式如下:
输入ROIs簇的个数M
score:所有ROIs簇的所有类别得分排序,大小为M*4;
ROIs_id:得分排序后对应的ROIs簇的索引,大小为M*4;
Class:得分排序后的类别索引,大小为M*4;
初始化ROIs_class=-ones(M)每个ROIs簇的类别,初始化为-1
Figure BDA0002557476900000062
输出每个ROIs簇的类别ROIs_class;即成功召回候选目标。
本发明基于四个心室/心房的分割作为额外信息用于诊断多种类型的先天性心脏病的工作原理,为了将胎儿超声心动图采集的数据在小数据量数据集上快速精确胎儿分割超声心动图中四个心房/心室,首先使用数据增强策略来增加数据的多样性,例如平移、翻转、旋转、扭曲;这是因为由于标注非常困难,通常的胎儿超声心动图中只有少于1000张标注图像,这对于训练深度神经网络是不足的,所以需要使用数据增强策略来增加数据的多样性。基于胎儿心脏在收缩和扩张时的有规律的运动,利用旋转和扭曲来模拟心脏的运动;旋转操作能够通过仿射变换实现,同时我们使用随机且弹性的扭曲来增强图片。其次利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜;实例分割的任务是给图片的每个像素标记一个类别相关和实例相关的标签。为了分割四腔心,利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜;其中Mask R-CNN有2个输出,分别为类别标签和包围框偏移量;即在Mask R-CNN中增加了一个掩膜分支,用来预测每个感兴趣区域的分割掩膜。最后通过ROI聚类重新计算每个ROI的得分,成功的召回候选目标。因为在超声心动图中,一类心室只能出现一次,例如左心房只能出现一次。因此,如果仅保留每类中最大得分的候选目标,这将会在Mask R-CNN的最终分割结果中丢失个别心室。这是因为一个更高得分的目标可能被错误分类,挤掉了一个属于该类而分数较低的目标。而通过计算每个感兴趣区域的中心这个算法,可以成功召回丢失的部分和获得更好的分割结果,如图4所示。
如图5所示;本发明通过上述四腔心分割方法,能够获得很好的四腔心分割效果。即本发明采用不同于之前使用的语义分割方法的实例分割方法,结合创新的候选目标召回方法,不仅可以同时分割四腔心,而且伴随候选目标召回策略来召回丢失的部件,分割相关的指标有明显提升;此项实例分割方法是第一个在胎儿超声心动图中实现四腔心的同时分割,这将帮助心脏病专家更好的分析胎儿心脏的结构和功能。
上述具体实施方式不能作为对本发明保护范围的限制,对于本技术领域的技术人员来说,对本发明实施方式所做出的任何替代改进或变换均落在本发明的保护范围内。
本发明未详述之处,均为本技术领域技术人员的公知技术。

Claims (6)

1.一种胎儿超声心动图中四腔心分割方法,其特征在于:所述方法包括下列步骤:
(1)、通过胎儿超声心动图采集经数据增强策略增加的多样性的超声心动序列图像数据;
(2)、对输入的多样性的超声心动序列图像数据自动做逐像素标记;
(3)、通过候选目标召回方法召回在获取心室或心房过程中丢失的心室或心房的部分;以获得更好的四腔心切面分割效果;该方法通过以下步骤实现:
1)、计算每个感兴趣区域ROI的中心,以及中心之间的L2距离;
2)、如果2个中心之间的距离小于一个阈值,该感兴趣区域即为一个簇cluster;
3)、如果一个簇中的感兴趣区域都属于同一个类别,它们被标记为这个类;否则,计算这些感兴趣区域的总的分数,将其判别为最大分数的那个类;如果一个类在之前环节已经出现,在分数计算环节中将不做考虑。
2.根据权利要求1所述的胎儿超声心动图中四腔心分割方法,其特征在于:所述数据增强策略是利用旋转和扭曲模拟胎儿心脏在收缩和扩张时的有规律的运动。
3.根据权利要求2所述的胎儿超声心动图中四腔心分割方法,其特征在于:所述旋转操作通过仿射变换方式实现;同时通过随机且弹性的扭曲方式增强图片。
4.根据权利要求1所述的胎儿超声心动图中四腔心分割方法,其特征在于:所述标记方式为给图片的每个像素标记一个类别相关和实例相关的标签。
5.根据权利要求4所述的胎儿超声心动图中四腔心分割方法,其特征在于:利用基于Faster R-CNN的Mask R-CNN来产出精确的分割掩膜;其中Faster R-CNN有2个输出,分别为类别标签和包围框偏移量;在Mask R-CNN中增加一个掩膜分支,该掩膜分支用来预测每个感兴趣区域的分割掩膜。
6.根据权利要求1所述的胎儿超声心动图中四腔心分割方法,其特征在于:
用ROI聚类算法重新计算每个感兴趣区域ROI的中心得分;
假设一个ROIs簇包含了N个ROI,每个ROI在四个类别中的得分为
Figure FDA0002557476890000021
则ROIs的得分为
Figure FDA0002557476890000022
比较每个ROIs簇的四个类别得分,并将所有ROIs簇的所有类别得分排序,最后每个ROIs簇的类别计算方式如下:
输入ROIs簇的个数M
score:所有ROIs簇的所有类别得分排序,大小为M*4;
ROIs_id:得分排序后对应的ROIs簇的索引,大小为M*4;
Class:得分排序后的类别索引,大小为M*4;
初始化ROIs_class=-ones(M)每个ROIs簇的类别,初始化为-1
Figure FDA0002557476890000023
Figure FDA0002557476890000031
输出每个ROIs簇的类别ROIs_class;即成功召回候选目标。
CN202010596235.7A 2020-06-28 2020-06-28 一种胎儿超声心动图中四腔心分割方法 Pending CN111754489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010596235.7A CN111754489A (zh) 2020-06-28 2020-06-28 一种胎儿超声心动图中四腔心分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010596235.7A CN111754489A (zh) 2020-06-28 2020-06-28 一种胎儿超声心动图中四腔心分割方法

Publications (1)

Publication Number Publication Date
CN111754489A true CN111754489A (zh) 2020-10-09

Family

ID=72677535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010596235.7A Pending CN111754489A (zh) 2020-06-28 2020-06-28 一种胎儿超声心动图中四腔心分割方法

Country Status (1)

Country Link
CN (1) CN111754489A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642667A (zh) * 2021-08-30 2021-11-12 重庆紫光华山智安科技有限公司 一种增强策略确定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106230891A (zh) * 2016-07-18 2016-12-14 上海市第人民医院 一种传输超声心动图报告的方法和系统
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法
CN111062948A (zh) * 2019-11-18 2020-04-24 北京航空航天大学合肥创新研究院 一种基于胎儿四腔心切面图像的多组织分割方法
CN111297399A (zh) * 2019-03-26 2020-06-19 华南理工大学 一种基于超声视频的胎心定位和胎心率提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106230891A (zh) * 2016-07-18 2016-12-14 上海市第人民医院 一种传输超声心动图报告的方法和系统
CN111297399A (zh) * 2019-03-26 2020-06-19 华南理工大学 一种基于超声视频的胎心定位和胎心率提取方法
CN110619632A (zh) * 2019-09-18 2019-12-27 华南农业大学 一种基于Mask R-CNN的芒果实例对抗分割方法
CN111062948A (zh) * 2019-11-18 2020-04-24 北京航空航天大学合肥创新研究院 一种基于胎儿四腔心切面图像的多组织分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈侃: "基于局部阈值和聚类中心迭代的肺结节检测算法", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642667A (zh) * 2021-08-30 2021-11-12 重庆紫光华山智安科技有限公司 一种增强策略确定方法、装置、电子设备及存储介质
CN113642667B (zh) * 2021-08-30 2024-02-02 重庆紫光华山智安科技有限公司 一种图片增强策略确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
Du et al. Deep regression segmentation for cardiac bi-ventricle MR images
CN101111865A (zh) 用于在心脏图像中分割左心室的系统和方法
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
Mahapatra Cardiac MRI segmentation using mutual context information from left and right ventricle
CN110059730A (zh) 一种基于胶囊网络的甲状腺结节超声图像分类方法
Snaauw et al. End-to-end diagnosis and segmentation learning from cardiac magnetic resonance imaging
Chang et al. Medical image segmentation using a contextual-constraint-based Hopfield neural cube
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
CN110197206A (zh) 图像处理的方法及装置
Zyuzin et al. Segmentation of 2D echocardiography images using residual blocks in U-net architectures
Yang et al. Segmentation of five components in four chamber view of fetal echocardiography
CN111754489A (zh) 一种胎儿超声心动图中四腔心分割方法
Howard et al. Machine learning with convolutional neural networks for clinical cardiologists
Sengan et al. Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning
CN106952268A (zh) 一种基于关联矩阵自学习及显式秩约束的医学图像分割方法
Kumar et al. Echocardiogram view classification using edge filtered scale-invariant motion features
CN114445328A (zh) 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统
Chen et al. Mu-Net: Multi-Path Upsampling Convolution Network for Medical Image Segmentation.
Liu et al. Toward automated right ventricle segmentation via edge feature-induced self-attention multiscale feature aggregation full convolution network
Yang et al. Toward unpaired multi-modal medical image segmentation via learning structured semantic consistency
CN111951252B (zh) 多时序图像处理方法、电子设备及存储介质
Kumar et al. Cardiac disease detection from echocardiogram using edge filtered scale-invariant motion features
Yuan et al. Fully automatic segmentation of the left ventricle using multi-scale fusion learning
Lv et al. An improved residual U-Net with morphological-based loss function for automatic liver segmentation in computed tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201009