CN112991315A - 一种血管病变的识别方法、系统、存储介质及电子设备 - Google Patents

一种血管病变的识别方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN112991315A
CN112991315A CN202110339633.5A CN202110339633A CN112991315A CN 112991315 A CN112991315 A CN 112991315A CN 202110339633 A CN202110339633 A CN 202110339633A CN 112991315 A CN112991315 A CN 112991315A
Authority
CN
China
Prior art keywords
blood vessel
neural network
convolutional neural
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110339633.5A
Other languages
English (en)
Inventor
李睿
张妙其
陈硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110339633.5A priority Critical patent/CN112991315A/zh
Publication of CN112991315A publication Critical patent/CN112991315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种血管病变的识别方法、系统、存储介质及电子设备,其方法包括如下步骤:对获取的多张磁共振成像的血管图像进行标签数据处理,所述血管图像包括亮血成像图像和黑血成像图像;将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型;将待识别的各所述血管图像输入到所述卷积神经网络模型进行识别,获得所述血管病变的识别结果。本发明提升了血管图像分割的DSC系数,提高了多对比度血管病变磁共振影像分割的准确率,避免了误判血管病变的大小,从而减少误判血管破裂的风险。

Description

一种血管病变的识别方法、系统、存储介质及电子设备
技术领域
本发明涉及医疗图像处理技术领域,尤其涉及一种血管病变的识别方法、系统、存储介质及电子设备。
背景技术
颅内动脉瘤(或血管病变)是大脑动脉的异常扩张,在人群中患病率为5-8%。动脉瘤破裂会导致蛛网膜下腔出血,这是一种危及生命的疾病,具有较高的发病率和死亡率。在动脉瘤破裂的患者中,有三分之二的患者会出现突然死亡或患有严重的终身疾病。由于医学成像技术的不断进步,现在可以通过先进的医学成像技术检测到越来越多的未破裂的颅内动脉瘤。
在临床上颅内动脉瘤破裂的风险可以通过PHASES评分进行预测,PHASES评分中是采用六个变量,即人群,高血压,年龄,动脉瘤的大小,蛛网膜下腔出血史和动脉瘤的位置来评估动脉瘤破裂风险。在这六个变量中,动脉瘤大小是最重要的影响破裂的因素。在临床上数字减影血管造影被认为是评估动脉瘤位置和形态的金标准。然而,数字减影血管造影是一种具有电离辐射和使用碘化造影剂的侵入性手术,对人体的健康有一定的影响。此外,传统的PHASES评分无法区分直径相同的动脉瘤的其他形态学特征。
而磁共振成像是一种非侵入性成像方式,可以提供有关动脉瘤样的形态,功能和血流动力学信息,并且没有电离辐射。为了减少误诊的发生率和放射科医生的工作量,现有技术中基于时间飞跃血管造影(Time-of-Flight Magnetic Resonance Angiography,缩写为TOF-MRA,也称为亮血成像)已经有几种用于动脉瘤分割和检测的机器学习模型。现有技术采用了用于动脉瘤分割的深度学习卷积神经网络,其平均Dice相似系数(DiceSimilariy Coefficient,缩写为DSC)为53%。还有一些现有技术先将血管从TOF-MRA图像中分割出来,然后在血管上再进行动脉瘤部分的分割,平均DSC系数为89%。
但前面的现有技术忽略了TOF-MRA的一些特点,即TOF-MRA是一种基于血流的成像方式,它会产生血流伪影并低估一些动脉瘤的大小。
此外,与TOF-MRA相比,现有技术中的磁共振黑血成像(Black-Blood MagneticResonance Imaging,缩写为BB-MRI)能够更好地描绘动脉瘤的边界信息,并能够更精确地进行动脉瘤尺寸的测量,尤其是对于大动脉瘤或血流速度缓慢的位置。但仅使用磁共振黑血成像不足以将动脉瘤与正常血管区分开,因为正常血管和动脉瘤区域在黑血成像中都具有类似的低强度特征的区域,从而无法区分黑血成像图中的正常血管和动脉瘤。
故需要一种更好的磁共振影像动脉瘤(或血管病变)的识别方法,以便提高多对比度动脉瘤(或血管病变)磁共振影像分割的准确率,避免误判动脉瘤(或血管病变)的大小,造成PHASES评分失真,从而误判颅内动脉瘤(或血管病变)破裂的风险。
发明内容
本发明提供了一种血管病变的识别方法,解决了现有技术血管病变单一磁共振影像血管图像分割的准确率不够高的技术问题,提升了血管图像分割的DSC系数。
本发明提供了一种血管病变的识别方法,包括如下步骤:
对获取的多张磁共振成像的血管图像进行标签数据处理,所述血管图像包括亮血成像图像和黑血成像图像;
将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型;
将待识别的各所述血管图像输入到所述卷积神经网络模型进行识别,获得所述血管病变的识别结果。
在本发明的实施例中,
所述对获取的多张磁共振成像的血管图像进行标签数据处理的步骤之前还包括:
对所述血管图像进行数据预处理。
在本发明的实施例中,
所述对所述血管图像进行数据预处理的步骤包括:
对所述血管图像采用N4算法进行不均匀性校正;
将所述亮血成像图像和所述黑血成像图像按预设阈值进行配准。
在本发明的实施例中,
所述预设阈值范围为大于或等于85%。
在本发明的实施例中,
所述将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练的步骤之前还包括:
对所述标签数据处理后的各所述血管图像及各所述标签数据进行数据增殖处理。
在本发明的实施例中,
所述卷积神经网络为高密度全卷积神经网络,其中,对于未标签有所述血管病变的血管图像进行随机抽样的次数是标签有所述血管病变的血管图像进行随机抽样的次数的2倍。
在本发明的实施例中,
所述预设要求为DSC系数为大于或等于90%。
本发明提供了一种血管病变的识别系统,包括:
标签数据处理模块:用于对获取的多张磁共振成像的血管图像进行标签数据处理,所述血管图像包括亮血成像图像和黑血成像图像;
图像训练模块:用于将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型;
图像识别模块:用于将待识别的各所述血管图像输入到所述卷积神经网络模型进行识别,获得所述血管病变的识别结果。
本发明提供了一种存储介质,其上存储有计算机程序,
该程序被处理器执行时实现以上内容中任一项所述血管病变的识别方法的步骤。
本发明提供了一种电子设备,包括:
存储器,其上存储有计算机程序;以及
处理器,用于执行所述存储器中的所述计算机程序,以实现以上内容中任一项所述血管病变的识别方法的步骤。
与现有技术相比,本发明的一个或多个实施例可以具有如下优点:
本发明通过将亮血成像和黑血成像的血管图像进行标签数据处理后,再采用高密度全卷积神经网络进行训练获得训练好的卷积神经网络模型,再将待识别的血管图像进行预测识别,获得血管病变的识别结果。本发明提升了血管图像分割的DSC系数,提高了多对比度血管病变磁共振影像分割的准确率,避免了误判血管病变的大小,避免造成PHASES评分失真,从而减少误判血管破裂的风险。
本发明的其它特征和优点将在随后的说明书中阐述,并且部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明实施例1的血管病变的识别方法的流程示意图;
图2是本发明实施例2的动脉瘤的分割过程流程示意图;
图3是本发明实施例2的应用于多对比度图像分割的卷积神经网络结构的框架示意图;
图4是本发明实施例2的动脉瘤识别方法
图5是本发明实施例3的血管病变的识别系统框架示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下结合附图对本发明作进一步地详细说明,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
第一实施例
图1是本实施例的血管病变的识别方法的流程示意图;
图3是本实施例的应用于多对比度图像分割的卷积神经网络结构的框架示意图;
本实施例提供了一种血管病变的识别方法,包括如下步骤:
对获取的多张磁共振成像的血管图像进行标签数据处理,所述血管图像包括亮血成像图像和黑血成像图像;
将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型;
将待识别的各所述血管图像输入到所述卷积神经网络模型进行识别,获得所述血管病变的识别结果。
具体地,一种血管病变的识别方法,包括如下步骤:
S100,对获取的多张磁共振成像的血管图像进行标签数据处理,血管图像包括亮血成像图像和黑血成像图像。
在本实施例中,鉴于单一的多对比度亮血成像血管图像(也叫时间飞跃血管造影,Time-of-flight Magnetic resonance angiography,简称TOF-MRA)或单一的多对比度黑血成像血管图像(black-blood Magnetic resonance imaging,简称BB-MRI)作为输入图像进行训练再对原始的血管图像进行预测分割的时候,DSC系数还不够高。故本实施例把亮血成像和黑血成像的多对比度血管图像一起拿来进行训练,用于提高DSC系数。
具体地,先获取磁共振亮血成像图像和磁共振黑血成像图像,所有的磁共振成像均在飞利浦带有32通道头部线圈的Achieva TX 3.0T磁共振扫描仪上进行。
获取亮血成像(TOF-MRA)图像的扫描参数设置为:重复时间/回波时间(TR/TE)设置为25/3.5ms,视野范围(FOV)设置为119x159x168mm3,体素大小设置为0.357x0.357x0.7mm3
获取黑血成像(BB-MRI)图像的扫描参数设置为:使用3D T1-VISTA序列,成像数TR/TE设置为800/21ms,视野范围(FOV)设置为200x180x40mm3,体素大小设置为0.6x0.6x0.6mm3
在本实施例中,以上的参数设置仅是一个示例,对于获取亮血成像(TOF-MRA)图像或黑血成像(BB-MRI)图像扫描参数设置不限于以上参数范围的设置。
在本实施例中,再对获取的多张磁共振成像的亮血成像和黑血成像的血管图像进行标签数据处理。
在本实施例中血管病变是否存在,或血管病变的位置分别由两名判读人员来判定,他们分别在神经血管成像领域拥有六年和四年的经验。
第一个判读人员使用开源软件ITK-SNAP(www.itksnap.org)进行了手动的血管病变体素分割。依靠亮血成像(TOF-MRA)和黑血成像(BB-MRI)这两种对比度的血管成像图像,首先使用TOF-MRA图像大致识别血管病变的位置,然后在BB-MRI(也称为T1-VISTA图像)磁共振扫描成像的血管图像上划定边界,从而清晰地勾勒出血管病变的边界。
第二位判读人员通过回顾患者诊断的原始报告以及患者的临床病史来确认血管病变的位置。
如果上述两位判读者之间存在分歧,则通过联合审查和讨论该病例更具体的细节来达成共识,完成测试集中每张亮血成像和黑血成像的血管图像的数据标签处理,从而获得多份数据标签。
进一步地,在本实施例中,对获取的多张磁共振成像的血管图像进行标签数据处理的步骤之前还包括:
对血管图像进行数据预处理。
具体地,在本实施例中,对血管图像进行数据预处理的步骤包括:
1)对血管图像采用N4算法进行不均匀性校正;
诸如扫描仪中的患者位置,扫描仪本身以及许多未知问题等因素可导致MR图像上的亮度差异。换句话说,强度值(从黑色到白色)可以在同一组织内变化。这被称为偏置场。这是一种低频平滑的不良信号,会破坏MR图像。偏置场导致MRI机器的磁场中的不均匀性。如果未校正偏置字段将导致所有成像处理算法(例如,分段(例如,Freesurfer)和分类)输出不正确的结果。在进行分割或分类之前,需要预处理步骤来校正偏置场的影响。N4算法即N4BiasFieldCorrection函数,使用N4偏置场校正可以对原始图像进行不均匀性的校正。
2)将亮血成像图像和黑血成像图像按预设阈值进行配准。
将已经完成不均匀性校正的亮血成像和黑血成像的血管图像按预设阈值进行配准,配准即将TOF-MRA图像严格配准到BB-MRI图像上,配准成功的阈值范围设置为大于或等于85%,配准不成功的血管图像将被剔除出测试集。测试集中的亮血成像图像和黑血成像的血管图像的体素长×宽×高分别设置为:160~200mm3×160~200mm3×40~60mm3
S200,将标签数据处理后的各血管图像及各标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型。
具体地,将标签数据处理后的亮血成像和黑血成像的多张血管图像,以及各标签数据输入到预构的卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型。
深度学习是一种基于神经网络的人工智能方法,通过模拟人脑中神经元的连接,实现学习过程。卷积神经网络为一种特殊的神经网络结构,通过空间参数共享,能够有效地降低神经网络中的参数数量,可以对图像数据进行有效的建模。卷积神经网络是深度学习的重要技术,能够对图像数据进行有效地建模、学习和预测。相比于传统的机器学习算法,在大样本的场景下,卷积神经网络往往能够展现出更优的性能。卷积神经网络是一种端到端的学习方法,能够在模型内部自动进行特征加工,这一过程不需要人的参与。因此,在本实施例中,将经过预处理的亮血成像和黑血成像的两个对比度的血管磁共振影像输入卷积神经网络,就可以得到有效的建模。采用卷积神经网络可以避免复杂的特征工程,实现端到端的训练学习。
为了适应任意大小输入样本的训练和预测,本实施例采用全卷积的神经网络结构,即神经网络中不包含全连接层。将测试集中标签数据处理后的亮血成像和黑血成像两个对比度的血管病变磁共振影像以及各标签数据输入到全卷积的神经网络结构中进行训练,直到满足预设要求获得卷积神经网络模型,其中,所述预设要求为DSC系数为大于或等于90%。
在测试集训练的时候每隔50个单位的时间计算一次分割准确度(即计算DSC系数),选择具有最佳总体准确度(即最高DSC系数)的卷积神经网络模型。
进一步地,在本实施例中,将标签数据处理后的各血管图像及各标签数据输入到卷积神经网络中进行训练的步骤之前还包括:
对标签数据处理后的各血管图像及各标签数据进行数据增殖处理。
具体地,为防止神经网络结构过拟合,提高神经网络结构的泛化能力,对亮血成像和黑血成像的血管图像及各标签数据进行数据增殖处理,所述的数据增殖具体操作包括:(1)对待训练的亮血成像和黑血成像的两个对比度血管病变磁共振影像进行随机左右翻转(例如,以0.5的概率);(2)对影像放大或缩小后随机裁剪(例如,放大1.25倍)。这两步操作同时作用于亮血成像和黑血成像的两个对比度的血管病变磁共振影像和对应的标签数据上。
S300,将待识别的各血管图像输入到卷积神经网络模型进行识别,获得血管病变的识别结果。
具体地,将待识别的未经过任何处理的各种对比度的多张血管图像输入到已经训练好的卷积神经网络模型对血管病变进行预测识别分割,从而获得血管病变的识别结果。将任意对比度的血管图像输入卷积神经网络的图像分割模型后,模型会输出一张与输入图像大小相同的图像,输出的图像中包含有原始输入图像的血管病变的分割结果。
在本实施例中,采用的卷积神经网络模型是高密度全卷积神经网络模型(hyperdensenet),高密度卷积神经网络模型是一种最新开发的用于多模态输入进行医学图像后处理的卷积神经网络模型,用于分割血管病变。图3中所示的高密度卷积神经网络通过利用密集的连通性这一思想,在所有层中使用交叉模式进行交互。为了防止严重的类别不平衡,在本实施例中修改了高密度卷积神经网络模型中对于原始“块”的选择策略,对没有标签血管病变的“块”进行随机抽样的次数比带有标签血管病变的“块”的抽样频率高两倍,即对于未标签有血管病变的血管图像进行随机抽样的次数是标签有血管病变的血管图像进行随机抽样的次数的2倍,以防止在体素方面的高假阳性率。
亮血成像和黑血成像这两个对比度的血管病变磁共振影像输入到卷积神经网络模型后,会经过若干层卷积层的作用,不断提取出更高层级的特征,以完成最终的预测识别分割。在卷积神经网络模型中,前面的卷积层通常会提取图像的基本纹理信息,后面的卷积层能够提取更高层次的语义信息用于分割血管病变。
卷积神经网络模型进行亮血成像和黑血成像的双对比度血管病变磁共振影像的自动识别,实现了端到端的学习过程,避免了复杂的特征工程,相比于传统的机器学习系统有更优的性能。卷积神经网络模型的可移植性好,具有通用性,能够简单应用于其他类似的医学图像分割情景。由于不需要复杂的特征工程,因此通过学习其他影像,卷积神经网络模型能够被应用于相似的辅助诊断场景中,扩展了卷积神经网络模型的通用性。
通过卷积神经网络对亮血成像和黑血成像的双对比度血管病变磁共振影像进行学习和建模,从而对新的样本进行有效的识别,辅助医师的诊断过程,能够大幅提高医生的工作效率,所获得的技术方案可以方便地推广到其他器官的磁共振影像辅助诊断过程中。
本实施例采用有监督学习的方案,在卷积神经网络模型的训练过程中,机器通过对亮血成像和黑血成像的双对比度血管病变磁共振影像和对应的分割标签数据进行学习。标签后的亮血成像和黑血成像双对比度血管病变磁共振影像输入到卷积神经网络中进行模型的训练,模型训练完毕后得到的模型可以用于未来新样本的预测,从而得到多对比度血管病变磁共振影像的分割识别结果。
综上所述,本实施例通过将亮血成像和黑血成像的血管图像进行标签数据处理后,再采用高密度全卷积神经网络进行训练获得卷积神经网络模型,再将待识别的血管图像输入训练好的卷积神经网络模型进行预测识别,获得血管病变的识别结果。本发明提升了血管图像分割的DSC系数,提高了多对比度血管病变磁共振影像分割的准确率,避免了误判血管病变的大小,从而减少误判血管破裂的风险。
第二实施例
图2是本实施例2的动脉瘤的分割过程流程示意图;
图3是本实施例2的应用于多对比度图像分割的卷积神经网络结构的框架示意图;
图4是本实施例2的动脉瘤识别方法的输入输出结果示意图。
本实施例提供了一种动脉瘤的识别方法,包括如下步骤:
对获取的多张磁共振成像的血管图像进行标签数据处理,所述血管图像包括亮血成像图像和黑血成像图像;
将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型;
将待识别的各所述血管图像输入到所述卷积神经网络模型进行识别,获得所述动脉瘤的识别结果。
具体地,一种动脉瘤的识别方法,包括如下步骤:
S100,对获取的多张磁共振成像的血管图像进行标签数据处理,血管图像包括亮血成像图像和黑血成像图像。
在本实施例中,鉴于单一的多对比度亮血成像血管图像(也叫时间飞跃血管造影,Time-of-flight Magnetic resonance angiography,简称TOF-MRA)或单一的多对比度黑血成像血管图像(black-blood Magnetic resonance imaging,简称BB-MRI)作为输入图像进行训练再对原始的血管图像进行预测分割的时候,DSC系数还不够高。故本实施例把亮血成像和黑血成像的多对比度血管图像一起拿来进行训练,用于提高DSC系数。
具体地,先获取磁共振亮血成像图像和磁共振黑血成像图像,所有的磁共振成像均在飞利浦带有32通道头部线圈的Achieva TX 3.0T磁共振扫描仪上进行。
获取亮血成像(TOF-MRA)图像的扫描参数设置为:重复时间/回波时间(TR/TE)设置为25/3.5ms,视野范围(FOV)设置为119x159x168mm3,体素大小设置为0.357x0.357x0.7mm3
获取黑血成像(BB-MRI)图像的扫描参数设置为:使用3D T1-VISTA序列,成像数TR/TE设置为800/21ms,视野范围(FOV)设置为200x180x40mm3,体素大小设置为0.6x0.6x0.6mm3
在本实施例中,以上的参数设置仅是一个示例,对于获取亮血成像(TOF-MRA)图像或黑血成像(BB-MRI)图像扫描参数设置不限于以上参数范围的设置。
在本实施例中,再对获取的多张磁共振成像的亮血成像和黑血成像的血管图像进行标签数据处理。
在本实施例中动脉瘤是否存在,或动脉瘤的位置分别由两名判读人员来判定,他们分别在神经血管成像领域拥有六年和四年的经验。
第一个判读人员使用开源软件ITK-SNAP(www.itksnap.org)进行了手动的动脉瘤体素分割。依靠亮血成像(TOF-MRA)和黑血成像(BB-MRI)这两种对比度的血管成像图像,首先使用TOF-MRA图像大致识别动脉瘤的位置,然后在BB-MRI(也称为T1-VISTA图像)磁共振扫描成像的血管图像上划定边界,从而清晰地勾勒出动脉瘤的边界。
第二位判读人员通过回顾患者诊断的原始报告以及患者的临床病史来确认动脉瘤的位置。
如果上述两位判读者之间存在分歧,则通过联合审查和讨论该病例更具体的细节来达成共识,完成测试集中每张亮血成像和黑血成像的血管图像的数据标签处理,从而获得多份数据标签。
进一步地,在本实施例中,对获取的多张磁共振成像的血管图像进行标签数据处理的步骤之前还包括:
对血管图像进行数据预处理。
具体地,在本实施例中,对血管图像进行数据预处理的步骤包括:
1)对血管图像采用N4算法进行不均匀性校正;
诸如扫描仪中的患者位置,扫描仪本身以及许多未知问题等因素可导致MR图像上的亮度差异。换句话说,强度值(从黑色到白色)可以在同一组织内变化。这被称为偏置场。这是一种低频平滑的不良信号,会破坏MR图像。偏置场导致MRI机器的磁场中的不均匀性。如果未校正偏置字段将导致所有成像处理算法(例如,分段(例如,Freesurfer)和分类)输出不正确的结果。在进行分割或分类之前,需要预处理步骤来校正偏置场的影响。N4算法即N4BiasFieldCorrection函数,使用N4偏置场校正可以对原始图像进行不均匀性的校正。
2)将亮血成像图像和黑血成像图像按预设阈值进行配准。
将已经完成不均匀性校正的亮血成像和黑血成像的血管图像按预设阈值进行配准,配准即将TOF-MRA图像严格配准到BB-MRI图像上,配准成功的阈值范围设置为大于或等于85%,配准不成功的血管图像将被剔除出测试集。测试集中的亮血成像图像和黑血成像的血管图像的体素长×宽×高分别设置为:160~200mm3×160~200mm3×40~60mm3
S200,将标签数据处理后的各血管图像及各标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型。
具体地,将标签数据处理后的亮血成像和黑血成像的多张血管图像,以及各标签数据输入到预构的卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型。
深度学习是一种基于神经网络的人工智能方法,通过模拟人脑中神经元的连接,实现学习过程。卷积神经网络为一种特殊的神经网络结构,通过空间参数共享,能够有效地降低神经网络中的参数数量,可以对图像数据进行有效的建模。卷积神经网络是深度学习的重要技术,能够对图像数据进行有效地建模、学习和预测。相比于传统的机器学习算法,在大样本的场景下,卷积神经网络往往能够展现出更优的性能。卷积神经网络是一种端到端的学习方法,能够在模型内部自动进行特征加工,这一过程不需要人的参与。因此,在本实施例中,将经过预处理的亮血成像和黑血成像的两个对比度的血管磁共振影像输入卷积神经网络,就可以得到有效的建模。采用卷积神经网络可以避免复杂的特征工程,实现端到端的训练学习。
为了适应任意大小输入样本的训练和预测,本实施例采用全卷积的神经网络结构,即神经网络中不包含全连接层。将测试集中标签数据处理后的亮血成像和黑血成像两个对比度的动脉瘤磁共振影像以及各标签数据输入到全卷积的神经网络结构中进行训练,直到满足预设要求获得卷积神经网络模型,其中,所述预设要求为DSC系数为大于或等于90%。
在测试集训练的时候每隔50个单位的时间计算一次分割准确度(即计算DSC系数),选择具有最佳总体准确度(即最高DSC系数)的卷积神经网络模型。
进一步地,在本实施例中,将标签数据处理后的各血管图像及各标签数据输入到卷积神经网络中进行训练的步骤之前还包括:
对标签数据处理后的各血管图像及各标签数据进行数据增殖处理。
具体地,为防止神经网络结构过拟合,提高神经网络结构的泛化能力,对亮血成像和黑血成像的血管图像及各标签数据进行数据增殖处理,所述的数据增殖具体操作包括:(1)对待训练的亮血成像和黑血成像的两个对比度动脉瘤磁共振影像进行随机左右翻转(例如,以0.5的概率);(2)对影像放大或缩小后随机裁剪(例如,放大1.25倍)。这两步操作同时作用于亮血成像和黑血成像的两个对比度的动脉瘤磁共振影像和对应的标签数据上。
S300,将待识别的各血管图像输入到卷积神经网络模型进行识别,获得动脉瘤的识别结果。
图4是本实施例的动脉瘤识别方法的输入输出结果示意图。
在本实施例中,将各患者获得的动脉瘤磁共振成像图像随机按7:3分为训练集和测试集。
具体地,将待识别的未经过任何处理的各种对比度的多张血管图像输入到已经训练好的卷积神经网络模型对动脉瘤进行预测识别分割,从而获得动脉瘤的识别结果。将任意对比度的血管图像输入卷积神经网络的图像分割模型后,模型会输出一张与输入图像大小相同的图像,输出的图像中包含有原始输入图像的动脉瘤的分割结果。
在本实施例中,采用的卷积神经网络模型是高密度全卷积神经网络模型(hyperdensenet),高密度卷积神经网络模型是一种最新开发的用于多模态输入进行医学图像后处理的卷积神经网络模型,用于分割动脉瘤。图3中所示的高密度卷积神经网络通过利用密集的连通性这一思想,在所有层中使用交叉模式进行交互。为了防止严重的类别不平衡,在本实施例中修改了高密度卷积神经网络模型中对于原始“块”的选择策略,对没有标签动脉瘤的“块”进行随机抽样的次数比带有标签动脉瘤的“块”的抽样频率高两倍,即对于未标签有动脉瘤的血管图像进行随机抽样的次数是标签有动脉瘤的血管图像进行随机抽样的次数的2倍,以防止在体素方面的高假阳性率。
亮血成像和黑血成像这两个对比度的动脉瘤磁共振影像输入到卷积神经网络模型后,会经过若干层卷积层的作用,不断提取出更高层级的特征,以完成最终的预测识别分割。在卷积神经网络模型中,前面的卷积层通常会提取图像的基本纹理信息,后面的卷积层能够提取更高层次的语义信息用于分割动脉瘤。
卷积神经网络模型进行亮血成像和黑血成像的双对比度动脉瘤磁共振影像的自动识别,实现了端到端的学习过程,避免了复杂的特征工程,相比于传统的机器学习系统有更优的性能。卷积神经网络模型的可移植性好,具有通用性,能够简单应用于其他类似的医学图像分割情景。由于不需要复杂的特征工程,因此通过学习其他影像,卷积神经网络模型能够被应用于相似的辅助诊断场景中,扩展了卷积神经网络模型的通用性。
通过卷积神经网络对亮血成像和黑血成像的双对比度动脉瘤磁共振影像进行学习和建模,从而对新的样本进行有效的识别,辅助医师的诊断过程,能够大幅提高医生的工作效率,所获得的技术方案可以方便地推广到其他器官的磁共振影像辅助诊断过程中。
本实施例采用有监督学习的方案,在卷积神经网络模型的训练过程中,机器通过对亮血成像和黑血成像的双对比度动脉瘤磁共振影像和对应的分割标签数据进行学习。标签后的亮血成像和黑血成像双对比度动脉瘤磁共振影像输入到卷积神经网络中进行模型的训练,模型训练完毕后得到的模型可以用于未来新样本的预测,从而得到多对比度动脉瘤磁共振影像的分割识别结果。
综上所述,本实施例通过将亮血成像和黑血成像的血管图像进行标签数据处理后,再采用高密度全卷积神经网络进行训练获得卷积神经网络模型,再将待识别的血管图像输入训练好的卷积神经网络模型进行预测识别,获得动脉瘤的识别结果。本发明提升了血管图像分割的DSC系数,提高了多对比度动脉瘤磁共振影像分割的准确率,避免了误判动脉瘤的大小,避免造成PHASES评分失真,从而减少误判颅内动脉瘤破裂的风险。
第三实施例
图5是本实施例3的血管病变的识别系统框架示意图。
本实施例提供了一种血管病变的识别系统,包括:
标签数据处理模块:用于对获取的多张磁共振成像的血管图像进行标签数据处理,所述血管图像包括亮血成像图像和黑血成像图像;
图像训练模块:用于将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型;
图像识别模块:用于将待识别的各所述血管图像输入到所述卷积神经网络模型进行识别,获得所述血管病变的识别结果。
综上所述,本实施例提供了一种血管病变的识别系统,通过将亮血成像和黑血成像的血管图像进行标签数据处理后,再采用高密度全卷积神经网络进行训练获得卷积神经网络模型,再将待识别的血管图像输入训练好的卷积神经网络模型进行预测识别,获得血管病变的识别结果。本发明提升了血管图像分割的DSC系数,提高了多对比度血管病变磁共振影像分割的准确率,避免了误判血管病变的大小,从而减少误判血管破裂的风险。
第四实施例
本发明提供了一种存储介质,其上存储有计算机程序,
该程序被处理器执行时实现以上内容中任一项所述血管病变的识别方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或综合软件和硬件方面的实施例的形势。而且,本发明可采用再一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
第五实施例
本发明提供了一种电子设备,包括:
存储器,其上存储有计算机程序;以及
处理器,用于执行所述存储器中的所述计算机程序,以实现以上内容中任一项所述血管病变的识别方法的步骤。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现再流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储再能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得再计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然本发明公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所述技术领域内的技术人员,在不脱离本发明所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,本发明的保护范围并不局限于文中公开的特定实施例,而是包括落入权利要求范围内的所有技术方案。

Claims (10)

1.一种血管病变的识别方法,其特征在于,包括如下步骤:
对获取的多张磁共振成像的血管图像进行标签数据处理,所述血管图像包括亮血成像图像和黑血成像图像;
将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型;
将待识别的各所述血管图像输入到所述卷积神经网络模型进行识别,获得所述血管病变的识别结果。
2.如权利要求1所述的识别方法,其特征在于,所述对获取的多张磁共振成像的血管图像进行标签数据处理的步骤之前还包括:
对所述血管图像进行数据预处理。
3.如权利要求2所述的识别方法,其特征在于,所述对所述血管图像进行数据预处理的步骤包括:
对所述血管图像采用N4算法进行不均匀性校正;
将所述亮血成像图像和所述黑血成像图像按预设阈值进行配准。
4.如权利要求3所述的识别方法,其特征在于,
所述预设阈值范围为大于或等于85%。
5.如权利要求1所述的识别方法,其特征在于,所述将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练的步骤之前还包括:
对所述标签数据处理后的各所述血管图像及各所述标签数据进行数据增殖处理。
6.如权利要求1所述的识别方法,其特征在于,
所述卷积神经网络为高密度全卷积神经网络,其中,对于未标签有所述血管病变的血管图像进行随机抽样的次数是标签有所述血管病变的血管图像进行随机抽样的次数的2倍。
7.如权利要求1所述的识别方法,其特征在于,
所述预设要求为DSC系数为大于或等于90%。
8.一种血管病变的识别系统,其特征在于,包括:
标签数据处理模块:用于对获取的多张磁共振成像的血管图像进行标签数据处理,所述血管图像包括亮血成像图像和黑血成像图像;
图像训练模块:用于将所述标签数据处理后的各所述血管图像及各所述标签数据输入到卷积神经网络中进行训练,直到满足预设要求获得卷积神经网络模型;
图像识别模块:用于将待识别的各所述血管图像输入到所述卷积神经网络模型进行识别,获得所述血管病变的识别结果。
9.一种存储介质,其上存储有计算机程序,其特征在于,
该程序被处理器执行时实现权利要求1至7中任一项所述血管病变的识别方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;以及
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1至7中任一项所述血管病变的识别方法的步骤。
CN202110339633.5A 2021-03-30 2021-03-30 一种血管病变的识别方法、系统、存储介质及电子设备 Pending CN112991315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110339633.5A CN112991315A (zh) 2021-03-30 2021-03-30 一种血管病变的识别方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110339633.5A CN112991315A (zh) 2021-03-30 2021-03-30 一种血管病变的识别方法、系统、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN112991315A true CN112991315A (zh) 2021-06-18

Family

ID=76338208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110339633.5A Pending CN112991315A (zh) 2021-03-30 2021-03-30 一种血管病变的识别方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112991315A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113872186A (zh) * 2021-09-06 2021-12-31 广西电网有限责任公司电力科学研究院 基于模仿学习的微电网控制策略推荐模型训练系统
CN114663362A (zh) * 2022-03-04 2022-06-24 强联智创(北京)科技有限公司 一种融合方法、装置以及设备
CN115620062A (zh) * 2022-10-24 2023-01-17 推想医疗科技股份有限公司 一种肝脏血管分类的方法、装置、设备和介质
CN117372439A (zh) * 2023-12-08 2024-01-09 天津市肿瘤医院(天津医科大学肿瘤医院) 一种基于核磁和ct融合的子宫病变位置识别方法、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681224A (zh) * 2020-06-09 2020-09-18 上海联影医疗科技有限公司 获取血管参数的方法和装置
CN111681226A (zh) * 2020-06-09 2020-09-18 上海联影医疗科技有限公司 基于血管识别的目标组织定位方法和装置
CN112508869A (zh) * 2020-11-23 2021-03-16 西安科锐盛创新科技有限公司 颅内血管图像融合方法和计算机可读存储介质
CN112508882A (zh) * 2020-11-23 2021-03-16 西安科锐盛创新科技有限公司 一种脑血管图像预处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681224A (zh) * 2020-06-09 2020-09-18 上海联影医疗科技有限公司 获取血管参数的方法和装置
CN111681226A (zh) * 2020-06-09 2020-09-18 上海联影医疗科技有限公司 基于血管识别的目标组织定位方法和装置
CN112508869A (zh) * 2020-11-23 2021-03-16 西安科锐盛创新科技有限公司 颅内血管图像融合方法和计算机可读存储介质
CN112508882A (zh) * 2020-11-23 2021-03-16 西安科锐盛创新科技有限公司 一种脑血管图像预处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. DOLZ等: "HyperDense-Net: A Hyper-Densely Connected CNN for Multi-Modal Image Segmentation", 《EEE TRANSACTIONS ON MEDICAL IMAGING》 *
ZHANG MIAOQI等: "Associations between morphology and hemodynamics of intracranial aneurysms based on 4D flow and black-blood magnetic resonance imaging", 《QUANTITATIVE IMAGING IN MEDICINE AND SURGERY》 *
郭渊博: "磁共振黑血结合亮血技术对急性缺血性脑卒中双侧颈内动脉斑块的差异性研究", 《基层医学论坛》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113872186A (zh) * 2021-09-06 2021-12-31 广西电网有限责任公司电力科学研究院 基于模仿学习的微电网控制策略推荐模型训练系统
CN114663362A (zh) * 2022-03-04 2022-06-24 强联智创(北京)科技有限公司 一种融合方法、装置以及设备
CN114663362B (zh) * 2022-03-04 2024-03-29 强联智创(北京)科技有限公司 一种融合方法、装置以及设备
CN115620062A (zh) * 2022-10-24 2023-01-17 推想医疗科技股份有限公司 一种肝脏血管分类的方法、装置、设备和介质
CN117372439A (zh) * 2023-12-08 2024-01-09 天津市肿瘤医院(天津医科大学肿瘤医院) 一种基于核磁和ct融合的子宫病变位置识别方法、系统及介质
CN117372439B (zh) * 2023-12-08 2024-03-12 天津市肿瘤医院(天津医科大学肿瘤医院) 一种基于核磁和ct融合的子宫病变位置识别方法、系统及介质

Similar Documents

Publication Publication Date Title
CN110197493B (zh) 眼底图像血管分割方法
Li et al. Deep learning for hemorrhagic lesion detection and segmentation on brain CT images
Veena et al. A novel optic disc and optic cup segmentation technique to diagnose glaucoma using deep learning convolutional neural network over retinal fundus images
CN112991315A (zh) 一种血管病变的识别方法、系统、存储介质及电子设备
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
US20230281809A1 (en) Connected machine-learning models with joint training for lesion detection
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
Xu et al. Anti-interference from noisy labels: Mean-teacher-assisted confident learning for medical image segmentation
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
Dong et al. Identifying carotid plaque composition in MRI with convolutional neural networks
CN115018863A (zh) 基于深度学习的图像分割方法及装置
Lin et al. High-throughput 3dra segmentation of brain vasculature and aneurysms using deep learning
CN112419282B (zh) 脑部医学影像中动脉瘤的自动检测方法及系统
CN113706451A (zh) 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质
Park et al. Selective ensemble methods for deep learning segmentation of major vessels in invasive coronary angiography
Zhang et al. Harmonizing pathological and normal pixels for pseudo-healthy synthesis
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
CN115841472A (zh) 大脑中动脉高密度征识别方法、装置、设备及存储介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
Stoean et al. An assessment of the usefulness of image pre-processing for the classification of first trimester fetal heart ultrasound using convolutional neural networks
CN115063351A (zh) 一种基于深度学习的胎儿mri脑组织分割方法及装置
CN113160256A (zh) 一种多任务生成对抗模型的mr影像胎盘分割方法
CN114612373A (zh) 一种图像识别方法及服务器
Brown et al. Deep learning for computer-aided diagnosis in ophthalmology: a review
KR20210054140A (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618

RJ01 Rejection of invention patent application after publication