CN112190250B - 垂体瘤影像分类方法、系统及电子设备 - Google Patents

垂体瘤影像分类方法、系统及电子设备 Download PDF

Info

Publication number
CN112190250B
CN112190250B CN202010906556.2A CN202010906556A CN112190250B CN 112190250 B CN112190250 B CN 112190250B CN 202010906556 A CN202010906556 A CN 202010906556A CN 112190250 B CN112190250 B CN 112190250B
Authority
CN
China
Prior art keywords
nuclear magnetic
image
classification model
classification
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010906556.2A
Other languages
English (en)
Other versions
CN112190250A (zh
Inventor
任间
蒋小兵
李弘于
赵齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University Cancer Center
Original Assignee
Sun Yat Sen University Cancer Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University Cancer Center filed Critical Sun Yat Sen University Cancer Center
Priority to CN202010906556.2A priority Critical patent/CN112190250B/zh
Publication of CN112190250A publication Critical patent/CN112190250A/zh
Application granted granted Critical
Publication of CN112190250B publication Critical patent/CN112190250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开一种垂体瘤影像分类方法、系统及电子设备,该方法包括:获取待分类的脑部核磁影像;将所述待分类的脑部核磁影像输入分类模型,所述分类模型是包括注意力模块的人工神经网络,所述分类模型是以提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本进行训练后得到的;通过所述分类模型提取所述脑部核磁影像中的图像特征,并通过所述注意力模块确定所述脑部核磁影像中每个图像特征的重要程度,并基于所述每个图像特征的重要程度得到所述脑部核磁影像对应的分类结果。实施本申请实施例,能够通过注意力模块根据各个图像特征对分类任务的贡献确定图像特征的重要程度,从而提高分类准确率。

Description

垂体瘤影像分类方法、系统及电子设备
技术领域
本发明涉及图像处理技术领域,具体涉及垂体瘤影像分类方法、系统及电子设备。
背景技术
垂体瘤是神经系统中常见的原发性肿瘤,占所有原发脑肿瘤的10%-25%,仅次于胶质瘤和脑膜瘤。垂体瘤的诊断主要基于核磁共振增强扫描和垂体激素检查,这需要临床经验丰富的医生做出初步的诊断。由此存在着以下的不足:垂体瘤发病率高,分类繁多。在对垂体瘤进行分类时一般依赖经验丰富的医生进行人工解读,因而容易受到医生认知能力和主观因素的干扰,分类准确率较低。因此,如何提高垂体瘤的分类准确率成了亟需解决的问题。
发明内容
本申请实施例公开了一种垂体瘤影像分类方法、系统及电子设备,能够提高垂体瘤的分类准确率。
本申请实施例公开一种垂体瘤影像分类方法,所述方法包括:获取待分类的脑部核磁影像;将所述待分类的脑部核磁影像输入分类模型,所述分类模型是包括注意力模块的人工神经网络,所述分类模型是以提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本进行训练后得到的;通过所述分类模型提取所述脑部核磁影像中的图像特征,并通过所述注意力模块确定所述脑部核磁影像中每个图像特征的重要程度,并基于所述每个图像特征的重要程度得到所述脑部核磁影像对应的分类结果。
本申请实施例公开一种用于垂体瘤影像分类的分类模型训练方法,所述分类模型至少包括:注意力模块和与所述注意力模块连接的第一编码层;所述方法包括:利用已训练好的分割模型中的第二编码层的参数对所述分类模型的所述第一编码层的参数进行初始化;所述分割模型是利用包括垂体瘤的原始核磁影像作为第二训练样本训练得到的人工神经网络,所述分割模型用于从核磁影像中预测分割出垂体瘤所在区域;将提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对所述分类模型进行训练,以迭代调整所述分类模型包括的所述注意力模块和所述第一编码层的参数,直至满足预设结束条件。
本申请实施例公开一种垂体瘤影像分类系统,包括:获取单元,用于获取待分类的脑部核磁影像;分类单元,用于将所述待分类的脑部核磁影像输入分类模型,所述分类模型是包括注意力模块的人工神经网络,所述分类模型是以提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本进行训练后得到的;以及,通过所述注意力模块确定所述脑部核磁影像中每个图像特征的重要程度,并基于所述每个图像特征的重要程度得到所述脑部核磁影像对应的分类结果。
本申请实施例公开一种用于垂体瘤影像分类的分类模型训练系统,所述分类模型至少包括:注意力模块和与所述注意力模块连接的第一编码层;所述系统包括:初始化单元,用于利用已训练好的分割模型中的第二编码层的参数对所述分类模型的所述第一编码层的参数进行初始化;所述分割模型是利用包括垂体瘤的原始核磁影像作为第二训练样本训练得到的人工神经网络,所述分割模型用于从核磁影像中预测分割出垂体瘤所在区域;调整单元,用于将提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对所述分类模型进行训练,以迭代调整所述分类模型包括的所述注意力模块和所述第一编码层的参数,直至满足预设结束条件。
本申请实施例公开一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现本申请实施例公开的垂体瘤影像分类方法。
与现有技术相比,本申请实施例具有以下有益效果:
将待分类的脑部核磁影像输入至包括注意力模块的分类模型,可以通过注意力模块确定脑部核磁影像中每个图像特征的重要程度,并基于每个图像特征的重要程度得到所述脑部核磁影像对应的分类结果。注意力模块可以预先学习到相对于垂体瘤分类任务而言较为重要的图像特征,通过注意力模块根据各个图像特征对分类任务的贡献确定图像特征的重要程度,可以在对垂体瘤进行分类时获得更高的分类准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例公开的一种垂体瘤影像分类方法的流程示意图;
图2是本申请实施例公开的一种分类模型的结构示意图;
图3是本申请实施例公开的一种CBAM模块的结构示意图;
图4是本申请实施例公开的一种残差单元的结构示意图;
图5是本申请实施例公开的一种分类模型训练方法的流程示意图;
图6是本申请实施例公开的一种执行步骤520对原始核磁影像进行预处理的流程示意图;
图7是本申请实施例公开的一种分割模型的结构示意图;
图8是本申请实施例公开的另一种分类模型的结构示意图;
图9A是本申请实施例公开的基于轴位的三种不同模型在训练集上得到的ROC曲线;
图9B是本申请实施例公开的基于矢状位的三种不同模型在训练集上得到的ROC曲线;
图9C是本申请实施例公开的基于冠状位的三种不同模型在训练集上得到的ROC曲线;
图9D是本申请实施例公开的组合后的三种不同模型在训练集上得到的ROC曲线;
图10A是本申请实施例公开的组合后的Att模型在验证集上得到的ROC曲线;
图10B是本申请实施例公开的组合后的Att模型在验证集上得到的PR曲线;
图10C是本申请实施例公开的组合后的Att模型在测试集上得到的ROC曲线;
图10D是本申请实施例公开的组合后的Att模型在测试集上得到的PR曲线;
图11是本申请实施例公开的一种垂体瘤影像分类系统的结构示意图;
图12是本申请实施例公开的一种用于垂体瘤影像分类的分类模型训练系统的结构示意图;
图13为本申请公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
垂体瘤是一种颅内肿瘤,可以分为功能性垂体瘤和非功能性垂体瘤。功能性垂体瘤根据瘤细胞分泌的激素又可再进一步分为生长激素(Growth Hormone,GH)分泌型垂体瘤、垂体泌乳素(Prolactin,PRL)分泌型垂体瘤、促肾上腺皮质激素(Adrenocorticotropichormone,ACTH)分泌型垂体瘤等。
在相关的技术中,可以通过深度学习(Deep Learning,DL)的机器学习方法对垂体瘤的医学影像数据进行识别,从而实现对垂体瘤的分类。人工神经网络是当前最成熟的深度学习算法之一,基于人工神经网络的分类模型不再需要人工去设计、提取特征,而是由模型自己去挖掘影像数据中的深层特征,从而可以构建出更加精准分类的模型。为了提升网络的性能,使得分类模型的分类结果更加准确,通常会从以下三个方向进行改进:1)增加网络深度;2)增加网络宽度;3)增加网络感受野(Receptive Filed)。然而,这些改进方向无一例外都会增加网络的复杂程度,从而需要更多的训练数据以及更多的硬件资源,才能训练出分类准确的模型。然而,医学影像数据的数量相对稀少,且缺少标注信息,利用数据量较小的医学影像数据往往无法训练得到较好的分类模型,导致对垂体瘤的分类准确率下降。
本申请实施例公开的垂体瘤影像分类方法、系统及电子设备,能够提高对垂体瘤进行分类的准确率。
请参阅图1,图1是本申请实施例公开的一种垂体瘤影像分类方法的流程示意图。如图1所示,该垂体瘤影像分类方法可以包括以下步骤:
110、获取待分类的脑部核磁影像。
在本申请实施例中,脑部核磁影像可以指通过核磁共振成像(Nuclear MagneticResonance Imaging,NMRI)技术扫描得到的脑部影像数据。NMRI成像技术具有三维成像,解剖学背景清晰,组织分辨率高,无骨伪影,无创伤等优点。因此,基于NMRI技术得到的脑部影像是垂体瘤临床诊断的重要依据之一。
120、将待分类的脑部核磁影像输入分类模型。
130、通过分类模型提取脑部核磁影像中的图像特征,并通过注意力模块确定脑部核磁影像中每个图像特征的重要程度,并基于每个图像特征的重要程度得到脑部核磁影像对应的分类结果。
在本申请实施例中,分类模型可以是包括注意力模块(Attention Module)的人工神经网络。上述的人工神经网络,可以是卷积神经网络(Convolutional Neural Networks,CNN)、循环神经网络(Recurrent Neural Networks,RNN)等,具体不做限定。
在一个实施例中,下面结合图2对本申请实施例公开的分类模型进行说明。图2是本申请实施例公开的一种分类模型的结构示意图。如图2所示,分类模型可包括:注意力模块210、第一编码层(Encoder)220、平均池化层(Average Pool)230、压平层(FlattenLayer)240、正则化层250、全连接层(Dense Layer)260和归一化层270。
注意力模块210,其原理基于注意力机制(Attention Mechanism),注意力机制的灵感来源于人类对环境的生理感知。人类的视觉系统更倾向于去挑选影像中的部分信息进行集中分析而忽略掉图像中的无关信息。通过引入注意力模块210,基于人工神经网络的分类模型可以通过学习的方式来获取到输入的核磁影像上每个图像特征的重要程度,从而可以提高对于当前的垂体瘤分类任务有意义的图像特征的重要程度,降低对垂体瘤分类任务贡献较小的图像特征的重要程度。
在本申请实施例中,分类模型包括的注意力模块210可以为卷积块注意力模块(Convolution Block Attention Module,CBAM),但不限于此。请一并参阅图3,图3是本申请实施例公开的一种CBAM模块的结构示意图。如图3所示,CBAM模型可以包括:通道注意力模块211(Channel Attention Module)和空间注意力模块212(Spatial AttentionModule)。
通道注意力模块211,可以利用图像特征的通道间关系生成通道注意力特征图(Feature Map)。通道注意力模块211主要用于关注输入图像中哪些图像特征对分类任务是有意义的。
空间注意力模块212,可以利用图像特征的空间关系生成空间注意力特征图。空间注意力模块212主要用于关注对分类任务有意义的图像特征在图像中的位置。
如图3所示,通道注意力模块211和空间注意力模块212可以为串联关系,输入特征(Input Feature)先经过通道注意力模块211,再经过空间注意模块212,最终计算得到注意力模块210生成的注意力特征图。在注意力特征图中,可以包括注意力模块210学习到的各个图像特征相对于垂体瘤分类任务的重要程度。注意力模块210可以将注意力特征图输入至第一编码层220。
第一编码层220,可以包括用于进行卷积操作的残差单元(ResBlock),以及用于进行降采样操作的卷积核。请参阅图4,图4是本申请实施例公开的一种残差单元的结构示意图。如图4所示,残差单元可以包括:第一卷积核410、第一激活及归一化单元420、第二卷积核430、第二归一化单元440、加法单元(addition)450和第二激活单元460。
第一卷积核410可以用于对输入的脑部核磁影像进行第一次卷积操作,提取出第一图像特征。第一卷积核410的大小可以为3×3×3,但不限于此。
第一激活及归一化单元420可以用于对第一次卷积操作后得到第一图像特征进行第一次归一化处理以及进行第一次激活处理。归一化时,可以采用群体归一化(GroupNormalization,GN)方法,GN可以按照图像特征所在的通道进行分组,并在每组内计算归一化的均值和方差。激活时,可以采用带参数的线性修正单元(Parametric RectifiedLinear Unit,PReLU),但不限于此。PReLU可以用于对第一次卷积操作后得到的第一图像特征进行第一次线性修正。
第二卷积核430可以用于对进行了第一次归一化处理和第一次线性修正后的第一图像特征进行第二次卷积操作,以得到第二图像特征。第二卷积核的大小可以为3×3×3,但不限于此。
第二归一化单元440可以用于对第二次卷积操作后得到第二图像特征进行第二次归一化处理。第二归一化单元也可以采用GN方法进行归一化,但不限于此。
加法单元450,可以用于融合第二图像特征和脑部核磁影像,得到融合后的图像特征。
第二激活单元460,可以为PReLU单元,但不限于此。第二激活单元可以对融合后的图像特征进行第二次线性修正。在第二次线性修正后,可以得到残差单元的输出结果。
通过残差单元的卷积操作,可以对脑部核磁影像进行初步压缩。在图2所示的分类模型中,第一编码层220上每经过两次残差单元的卷积操作后可以通过降采样操作的卷积核执行一次降采样操作。降采样操作的步长可以为2×2×2,降采样操作的卷积核大小可以为3×3×3,但不限于此。在经过多次残差单元的卷积操作以及多次降采样操作之后,第一编码层220可以将高维度的脑部核磁影像编码为低维度的图像特征,并将编码后的图像特征输入至平均池化层230。
平均池化层230,可以用于对图像邻域内的特征点求平均值,从而可以降低在特征提取的过程中由于邻域大小受限而造成的估计值方差增大的误差。
压平层240,可以用于将卷积层输出的数据“压平”,即将多维的图像特征压缩为一维的数据,一般用于连接卷积层和全连接层。
正则化层250,可以用于控制人工神经网络的过拟合(overfitting)问题。正则化层250可以使用随机失活(Dropout)方法,但不限于此。Dropout方法可以随机丢弃人工神经网络中的部分神经元,从而控制过拟合问题。
全连接层260,可以起到分类器的作用,可以将学习到的分布式特征表示映射到样本标记空间。
归一化层270,可以用于对数据进行归一化,以将最后的输出调整为二。归一化层270可以使用softmax函数,但不限于此。
在本申请实施例中,在构建出如图2所示的分类模型之后,若需要分类模型能够准确地对垂体瘤进行分类,需要先对分类模型进行训练。在对分类模型进行训练时,可以利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对分类模型进行训练。训练的过程可以包括将足够多的第一训练样本输入至分类模型,并通过一定的规则调整分类模型中各层的参数,使得分类模型输出的分类结果与预期的分类结果相符。
训练结束后,若利用如图2所示的分类模型对待分类的脑部核磁影像进行分类,由于注意力模块210可以预先学习到相对于垂体瘤分类任务而言较为重要的图像特征,并提高重要的图像特征在分类任务中的权重。因此,可以先通过注意力模块210确定影像数据中各个图像特征相对于垂体瘤分类任务的重要程度,并生成包含各个图像特征的重要程度的注意力特征图。其中,对垂体瘤分类任务有意义的特征的重要程度较高。基于注意力模块210确定出的各个图像特征的重要程度,第一编码层220可以对注意力特征图进行编码,并将编码后的图像特征输入至平均池化层230进行池化操作,并分别经过压平层240、正则化层250和全连接层260的处理,最终得到归一化层270输出的分类结果。在同样的训练数据量和硬件资源下,相较于不包括注意力模块的分类模型,引入注意力模块的分类模型可以得到较高的分类准确率。
在一个实施例中,由于脑部核磁影像具有三维特性,可以将待分类的脑部核磁影像基于轴位(Axial)、矢状位(Sagittal)和冠状位(Coronal)三个方向分别提取核磁影像块,从而可以分别利用三个方向上的数据作为第一训练样本对分类模型进行训练,得到与三个方向分别对应的分类模型。其中,若利用基于轴位从垂体瘤核磁影像中提取出的影像块作为第一训练样本,则可训练得到基于轴位的分类模型;若利用基于矢状位从垂体瘤核磁影像中提取出的影像块作为第一训练样本,则可训练得到基于矢状位的分类模型;若利用基于冠状位从垂体瘤核磁影像中提取出的影像块作为第一训练样本,则可训练得到基于冠状位的分类模型。
在一个实施例中,上述的步骤120的实施方式可以包括:
分别基于轴位、矢状位和冠状位三个方向从待分类的脑部核磁影像中提取出三个方向的脑部核磁影像;
将上述三个方向的脑部核磁影像分别对应输入至基于轴位、矢状位和冠状位的分类模型;其中,将上述三个方向的脑部核磁影像分别输入至对应的分类模型,包括:将基于轴位的脑部核磁影像输入至基于轴位的分类模型,将基于矢状位的脑部核磁影像输入至基于矢状位的脑部核磁影像,将基于冠状位的脑部核磁影像输入至基于冠状位的脑部核磁影像。
相应地,上述的步骤130的实施方式可以包括:
通过基于轴位的分类模型中的注意力模块确定基于轴位的脑部核磁影像中每个图像特征的重要程度,并根据基于轴位的脑部核磁影像中每个图像特征的重要程度得到基于轴位的脑部核磁影像对应的第一分类结果;
通过基于矢状位的分类模型中的注意力模块确定基于矢状位的脑部核磁影像中每个图像特征的重要程度,并根据基于矢状位的脑部核磁影像中每个图像特征的重要程度得到基于矢状位的脑部核磁影像对应的第二分类结果;
通过基于冠状位的分类模型中的注意力模块确定基于冠状位的脑部核磁影像中每个图像特征的重要程度,并根据基于冠状位的脑部核磁影像中每个图像特征的重要程度得到基于冠状位的脑部核磁影像对应的第三分类结果;
对第一分类结果、第二分类结果和第三分类结果进行融合,得到待分类的脑部核磁影像最终的分类结果。其中,融合的方式可以为对第一分类结果、第二分类结果和第三分类结果取合集,并以合集的平均值作为最终的分类结果,但不限于此。
在本申请实施例中,通过对三个不同方向的分类模型的输出进行融合,可以得到组合后的分类模型。相较于单一方向的分类模型,组合的分类模型在垂体瘤的分类任务上可以取得更优的性能,分类准确率更高。
如前所述,若需要分类模型能够准确地对垂体瘤进行分类,需要先对分类模型进行训练。以下内容进一步对本申请实施例公开的分类模型的训练过程进行介绍。请一并参阅图5,图5是本申请实施例公开的一种分类模型训练方法的流程示意图。如图5所示,该训练方法可以包括以下步骤:
510、收集原始核磁影像。
在本申请实施例中,原始核磁影像可以包括功能性垂体瘤样本的核磁影像和非功能性垂体瘤样本的核磁影像。进一步地,可以从收集到的原始核磁影像中提取出垂体瘤所在区域,以便于进行分类。其中,可以由影像科医生手动勾画垂体瘤所在区域。手动勾画需要耗费较多的人力成本,并且需要具有医学知识的专家支持,这增加了获取大量第一训练样本的难度。可选的,也可以由影像科医生在第一数量的原始核磁影像中勾画出垂体瘤所在区域。然后,可以通过数据转换或者数据增强技术(如数据加噪、旋转、平移和缩放)来增加可用的原始核磁影像的数量。
此外,可以将收集到的原始核磁影像划分为训练集、验证集和测试集。
训练集,可以是用于训练分类模型的数据样本;
验证集,可以是训练分类模型的过程中单独留出的数据样本,用于调整分类模型的超参数和对分类模型的分类准确率进行初步评估;
测试集,可以是用于评估分类模型的泛化能力的数据样本。
在本申请实施例中,分类模型是以提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本进行训练得到的,即训练集中的数据样本可以作为第一训练样本。
示例性的,下表为原始核磁数据收集情况的统计表,训练集中包括100例垂体瘤样本的核磁影像,验证集中包括44例垂体瘤样本的核磁影像,测试集中包括17例垂体瘤样本的核磁影像。
表1原始核磁数据收集情况统计表
520、对收集到的原始核磁影像进行预处理。
在本申请实施例中,对原始核磁影像进行预处理,可以提高原始核磁影像的图像质量,使得基于原始核磁影像进行的分类更加准确。
请一并参阅图6,图6是本申请实施例公开的一种执行步骤520对原始核磁影像进行预处理的流程示意图。如图6所示,预处理可以包括以下步骤:
601、对原始核磁影像进行格式转换。
在本申请实施例中,可以将原始核磁影像的格式转换为便于进行图像识别的图像格式。示例性的,采集到的原始核磁影像可能为DICOM格式,可以将DICOM格式的核磁影像转换为NIFTY格式。需要说明的是,在一些实施例中,步骤601并非是必须的,若收集到的原始核磁影像的原始格式便于进行图像识别,则可以跳过格式转换的步骤。
602、对格式转换后的原始核磁影像进行基于标准模板的刚性配准。
由于人脑存在个体差异,在对人脑进行扫描时图像在空间中的坐标也不同,因此,为了消除个体差异,统一空间坐标,需要先将原始核磁影像中被试人员的脑部配准到标准模板上,即基于标准模板进行刚性配准。在本申请实施例中,标准模板可以为目前国际上最广泛使用的蒙特利尔神经科学研究中心提供的MNI152或者脑成像国际联盟提供的MNI305或者ICBM152,但不限于此。
603、对配准后的影像提取脑组织。
在本申请实施例中,可以通过脑组织表面提取算法、分水岭算法、混合分水岭算法、图割算法、鲁棒脑组织提取算法等方法从配准后的影像中提取出脑组织。
604、对配准后的影像进行梯度场校正。
在本申请实施例中,梯度场校正可指对图像中由于梯度磁场缺陷造成的影响进行校正。示例性的,可以采用N4算法进行梯度场校正,但不限于此。
在本申请实施例中,步骤603和步骤604没有逻辑上的先后顺序,在一些实施例中,可以先执行步骤603再执行步骤604。在另一些可能的实施例中,也可以先执行步骤604,再执行步骤603。
在执行步骤520对收集到的原始核磁影像进行预处理之后,可以继续执行下述步骤:
530、对分类模型中的参数进行初始化。
在本申请实施例中,对分类模型中的参数进行初始化,可指对分类模型包括的注意力模块、第一编码层、平均池化层、全连接层和归一化层中的各个参数进行初始化。其中,可以对参数进行随机初始化、Xavier初始化、He初始化等。
作为一种可选的实施方式,也可以利用迁移学习的方式对分类模型中的参数进行初始化。迁移学习(Transfer Learning)是指将在解决一个问题(Source Domain)时获得的知识应用到解决另一个不同但相关的问题(Target Domain)当中,以期在新的任务中获得更好的学习效果。在本申请实施例中,可以认为垂体瘤的分割任务和垂体瘤的分类任务是同一个领域下的不同任务,而垂体瘤的分割任务可以通过已训练好的人工神经网络,即已训练好的分割模型进行。因此,可以使用迁移学习中参数迁移的方法,利用已训练好的分割模型对分类模型进行初始化。
在对分类模型进行训练时,采用的第一训练样本可以是从上述的原始核磁影像中以垂体瘤所在区域为中心提取出的垂体瘤核磁影像。而在对分割模型进行训练时,可以从收集到的原始核磁影像中随机抽取预设大小(如96×96×96)的核磁影像块作为第二训练样本,利用第二训练样本对分割模型进行训练。可见,虽然在训练分类模型时,可用的训练样本的数据量相对稀少,但是,在与分类任务相关联的分割任务上,分割模型可用的训练样本数量较为充足,训练出的分割模型性能较好,分割准确率较高。因此,通过迁移学习的方法,利用已训练好的分割模型对分类模型进行初始化,可以减少可用的训练样本数量稀少对分类模型的性能影响。
在介绍如何使用迁移学习中参数迁移的方法利用已训练好的分割模型对分类模型进行初始化之前,首先对分割模型的网络结构进行介绍。在本申请实施例中,分割模型可以为改进的U-net网络。请一并参阅图7,图7是本申请实施例公开的一种分割模型的结构示意图。如图7所示,该分割模型可以包括:第二编码层(Encoder)和第二解码层(Decoder)。
第二编码层,也可以称为收缩路径(Analysis Path),可以包括用于进行卷积操作的残差单元,以及用于进行降采样操作的卷积核。在本申请实施例中,分割模型中第二解码层的结构可以和分类模型中第一编码层的结构相同。即第二编码层上每经过两次残差单元的卷积操作后,可以通过降采样操作的卷积核执行一次降采样操作。降采样操作的步长可以为2×2×2,降采样操作的卷积核大小可以为3×3×3,但不限于此。
第二解码层,也可以称为解码路径(Synthesis Path),可以包括用于进行卷积操作的残差单元,以及用于进行上采样操作的卷积核。第二解码层720,可以先执行上采样操作,再通过残差单元进行卷积操作。其中,上采样操作通过反卷积实现。每执行一次上采样操作,可以再执行两次残差单元的卷积操作。上采样操作的步长可以为2×2×2,上采样操作的卷积核大小可以为3×3×3,但不限于此。此外,每一次的上采样操作都融合了第二编码层710中与该次上采样操作对称的特征图,上述的融合可以是拼接操作。
卷积层,卷积层的通道数可以为2,卷积核大小可以为3×3×3,但不限于此。通过卷积层,可以将特征图转换为分割种类数为2的特征图,从而完成垂体瘤的分割,提取出垂体瘤的所在区域。
在对分割模型进行训练时,可以通过预先设置的超参数控制训练的进度。示例性的,下表为分割模型使用的超参数。
表2分割模型使用的超参数
在本申请实施例中,在训练好分割模型之后,可以利用已训练好的分割模型中的第二编码层的参数对分类模型的第一编码层的参数进行初始化。即,以分割模型中第二编码层的参数作为分类模型中第一编码层的初始参数,以使用迁移学习中参数迁移的方法,利用已训练好的分割模型对分类模型进行初始化。示例性的,请一并参阅图8,图8是本申请实施例公开的另一种分类模型的结构示意图。如图8所示,该分类模型包括CMBA模块、第一编码层、Average Pool平均池化层、Flatten层、Dropout层、Dense层和Softmax层。其中,第一编码层的结构与图7所示的分割模型中第二编码层的结构相同,是从分割模型中迁移至分类模型中的。
在执行步骤530对分类模型中的参数进行初始化之后,可以继续执行下述步骤:
540、利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对分类模型中的注意力模块、平均池化层和全连接层的参数进行第一阶段迭代训练。
550、在第一阶段迭代训练结束后,利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对整个分类模型中的参数进行第二阶段迭代训练。
在本申请实施例中,第一训练样本可以为上述训练集中的数据样本,或者可以为训练集和验证集中的数据样本。
从上述的步骤540和步骤550中可以看出,对分类模型进行训练时可以包括两阶段的迭代训练,第一阶段迭代训练和第二阶段迭代训练调整的参数不同。
在进行第一阶段迭代训练时,可以将分类模型中第一编码层的参数进行固定。即,在进行第一阶段迭代训练时,不调整第一编码层中的参数,如图8所示,将第一编码层冻结(frozen)。而对于注意力模块、平均池化层和全连接层中的参数,则可以在第一阶段迭代训练时根据分类模型的分类结果和预期的分类结果对注意力模块、平均池化层和全连接层中的参数进行调整。
在进行第二阶段迭代训练时,可以开放整个分类模型中的参数进行训练。即,可以对第一编码层中的参数进行调整,同时还可以调整注意力模块、平均池化层、全连接层等其他层中的参数。
在上述的两阶段迭代训练中,第一阶段迭代训练的迭代次数可以不同于第二阶段迭代训练的迭代次数。可选的,若第一阶段迭代训练的最大迭代次数为第一数量,第二阶段迭代训练的最大迭代次数为第二数量,则第一数量大于第二数量,即第一阶段迭代训练的最大迭代次数大于第二阶段迭代训练的最大迭代次数。在进行第一阶段迭代训练时,若迭代次数到达上述的第一数量,则可以结束迭代,第一阶段迭代训练完成。同理,在进行第二阶段迭代训练时,第二阶段迭代训练的结束条件可以为迭代次数到达上述的第二数量。
此外,在对分类模型进行训练时,也需要通过预先设置的超参数控制训练的进度。示例性的,下表为分类模型使用的超参数。
表3分类模型使用的超参数
/>
在本申请实施例中,第一阶段迭代训练的最大迭代次数和第二阶段迭代训练的最大迭代次数之和可以为上述超参数中的分类模型的最大迭代次数。示例性的,如表3所示,分类模型的最大训练迭代次数为3000,可以将第一阶段迭代训练的最大迭代次数设置为2500,将第二阶段迭代训练的最大迭代次数设置为500。在进行第一阶段迭代训练时,若加权交叉熵损失函数收敛,或者迭代次数到达2500,则可以结束迭代,完成第一阶段迭代训练。同理,在进行第二阶段迭代训练时,若加权交叉熵损失函数或者迭代次数到达500次,则可以结束迭代,完成第二阶段迭代训练。
在本申请实施例中,在完成分类模型的构建之后,可以利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对分类模型进行训练,以使分类模型可以适用于分类任务,对垂体瘤进行准确分类。在对分类模型进行训练时,可以采用迁移学习中参数迁移的方法,将已训练好的分割模型的第二编码层中的参数迁移至分类模型中,利用第二编码层中的参数对分类模型的第一编码层中的参数进行初始化,从而可以在分类模型可用的训练样本数据量稀少的情况下达到较好的训练效果,得到分类准确率较高的分类模型。此外,在对分类模型进行训练时,可以进行两阶段的迭代训练,在进行第一阶段迭代训练时冻结第一编码层的参数,对注意力模块、平均池化层和全连接层中的参数进行训练;在进行第二阶段迭代训练时,开放整个网络中的参数进行训练。通过两阶段的迭代训练,可以有针对性地对分类模型中的参数进行调整,提高训练效率。
在前述内容中,对本申请实施例公开的分类模型的网络结构、分割模型的网络结构、分类模型的训练过程以及分割模型的训练过程进行了介绍。为了更好地说明本申请实施例公开的分类模型和分割模型的性能,以下内容结合实验数据,对利用分类模型进行垂体瘤分类任务的实验结果和利用分割模型进行垂体瘤分割任务的实验结果进行介绍。
下面先对利用分类模型进行垂体分类任务的实验结果进行介绍。
在本申请实施例中,分类模型的网络结构引入了注意力模块,分类模型的训练过程使用了迁移学习的方法。因此,为了更好地展示本申请实施例公开的分类模型在分类任务上的性能提高,本申请实施例公开两个基线模型。
基线模型一:完全随机初始化模型(Random Initialization model,RI model)。其中,RI模型的网络结构与本申请实施例公开的分类模型的网络结构相同,但网络中参数的初始化方式采用随机初始化。
基线模型二:基于迁移学习但不引入注意力机制的模型(Transfer-only model,TF model)。其中,TF模型的网络结构与本申请实施例公开的分类模型的网络结构不同,与本申请公开的分类模型相比,TF模块缺少注意力模块。但TF模型中参数的初始化方式可以采用迁移学习,利用已训练好的分割模型中编码层的参数对TF模型中编码层的参数进行初始化。
为了便于描述,以下内容中以Att(Attention)模型指代本申请实施例公开的引入了注意力模块且使用了迁移学习进行训练的分类模型。
其次,对医学影像分类任务中常用的评价指标进行介绍。在医学影像的分类任务中,常用的评价指标包括但不限于:特异性(Specificity),灵敏度(Sensitivity),查全率(Precision),查准率(Recall),准确度(Accuracy)和约登指数(Youden index)。以下为上述各个评价指标的计算方式可以为:
Youden index=Specificity+Sensitivity–1。
上述的TN为真阴性(True Negative,TN),FP为假阳性(False Positive,FP),TP为真阳性(True Positive,TP),FN为假阴性(False Negative,FN)。
同时,在评价分类模型的性能时,还可以引入接收者操作特征(ReceiverOperating Characteristic,ROC)曲线以及准确率-召回率(Precision Recall,PR)曲线。分类任务的评价指标还可以包括:ROC曲线的线下面积(Area Under the ReceiverOperating Characteristic curve,AUROC)、PR曲线的线下面积。(Area Under thePrecision Recall curve,AUPR)。AUROC越大,分类越准确,AUPR越大,分类越准确。
在本申请实施例中,基于轴位、矢状位和冠状位三个不同的方向,首先在训练集中对每个方向各自对应的RI模型、TF模型、Att模型进行4折(4-fold)交叉验证。请一并参阅图9A-图9C。
图9A是本申请实施例公开的基于轴位的三种不同模型在训练集上得到的ROC曲线。基于轴位的三个模型分别为基于轴位的RI模型(Ax_RI)、基于轴位的TF模型(Ax_TF)、基于轴位的Att模型(Ax_Att)。
图9B是本申请实施例公开的基于矢状位的三种不同模型在训练集上得到的ROC曲线。基于矢状位的三个模型分别为基于矢状位的RI模型(Sg_RI)、基于矢状位的TF模型(Sg_TF)、基于矢状位的Att模型(Sg_Att)。
图9C是本申请实施例公开的基于冠状位的三种不同模型在训练集上得到的ROC曲线。基于冠状位的三个模型分别为基于冠状位的RI模型(Cr_RI)、基于冠状位的TF模型(Cr_TF)、基于冠状位的Att模型(Cr_Att)。
如图9A、图9B和图9C所示,在轴位、矢状位和冠状位上Att模型的ROC曲线都取得了最大的曲线下面积(Area Under the Curve,AUC)。可见,本申请实施例公开的Att模型在垂体瘤的分类任务上的表现显著优于RI模型和TF模型。从Att模型和TF模型的AUROC对比中可以看出,引入注意力模块有利于提高分类的准确率;从Att模型和RI模型的AUROC对比中可以看出,利用迁移学习可以在可用的训练样本数据量较少时训练得到性能较好,分类准确率较高的分类模型。
在本申请实施例中,还可以对组合后的RI模型(Combine_RI)、组合后的TF模型(Combine_TF)和组合后的Att模型(Combine_Att)在训练集上进行4折交叉验证。与组合后的Att模型类似,组合后的RI模型为分别利用基于轴位的RI模型、基于矢状位的RI模型和基于冠状位的Att模型的输出结果进行融合后得到的模型,组合后的TF模型同理。
请一并参阅9D,图9D是本申请实施例公开的组合后的三种不同模型在训练集上得到的ROC曲线。从图9D中可以看出,组合后的Att模型仍然可以取得最大的AUC,即组合后的Att模型在垂体瘤的分类任务上的表现也优于组合后的RI模型和TF模型。
此外,在本申请实施例中,可以使用Delong’s Test对进行AUC显著性的校验。下表为对AUC进行比较的结果。
表4使用Delong’s Test对AUC进行比较的比较结果
视野View RI~TF TF~Att RI~Att
轴位Axial P=0.2482 P=0.0009 P=0.0055
矢状位Sagittal P=0.5146 P=0.0002 P=0.0004
冠状位Coronal P=0.2941 P=0.0100 P=0.0028
组合Combined P=0.8527 P<0.0001 P<0.0001
从表4中可以看出,组合后的Att模型比单独使用某一种方向(轴位、矢状位或冠状位)的数据训练得到的模型在垂体瘤的分类任务上取得更好的性能,分类准确率更高。
在本申请实施例中,为了评估Att模型的泛化能力,可以进一步将上述组合后的RI模型、组合后的TF模型和组合后的Att模型在验证集和测试集中进行验证。请一并参阅图10A-图10D。
图10A是组合后的Att模型在验证集上得到的ROC曲线,图10B是组合后的Att模型在验证集上得到的PR曲线。
图10C是组合后的Att模型在测试集上得到的ROC曲线,图10D是组合后的Att模型在测试集上得到的PR曲线。
从图10A-图10D中可以看出,不管是在验证集还是在测试集上,组合的Att模型都取得到最高的AUROC以及AUPR。
此外,在验证集和测试集中对组合的Att模型进行验证时,可以得到如下表所示的性能评估数据。
表5组合的Att模型在验证集和测试集上的性能评估表
可见,不管在验证集还是测试集上,组合后的Att模型在特异性、灵敏度、查全率、准确率和约登指数上都取得较好的表现,可以反映出组合后的Att模型在两个数据集上都具有良好的分类性能,分类准确率较高。
以上内容为利用本申请实施例公开的分类模型进行垂体分类任务的实验结果。
下面对利用本申请实施例公开的分割模型进行垂体瘤分割任务的实验结果进行介绍。首先,先对医学影像分割任务中常用的评价指标进行介绍。
在医学影像分割任务中,常用的评价指标包括但不限于:Dice相关系数(DiceScore)和豪斯多夫距离(Hausdorff Distance,HD)。
Dice相关系数,一般用于度量两个数据集合的相似性。Dice相关系数的计算方式可以如下:
其中,A是真实值(Ground Truth),可以是由影像科医生勾画的垂体瘤所在区域的图像。B是预测的结果值,可以是由分割模型预测分割出来的垂体瘤所在区域的图像。Dice相关系数的范围可以是[0,1],Dice相关系数的值越接近1,表明分割模型预测分割出来的垂体瘤所在区域与真实值越接近。
Hausdorff距离,可指在二维平面中,一个集合到另一个集合之间最近点的所有距离的最大值。给定两个有限点集A={a1,…,ap}和B={b1,…,bq},它们之间的Hausdorff距离可以被定义为:
HD(A,B)=max{h(A,B),h(B,A)};
其中,上述的||a-b||是一种定义在点集A和点集B上的距离范数,含义为两个点之间的欧式距离。
HD的值越小,可以说明分割模型在垂体瘤分割任务上的性能较好,分割较为准确。但当分割模型预测的图像中存在某一部分与真实值的偏差较大时,HD会增长为较大的值。
下面对分割模型的性能进行评估。
在验证集上对基于轴位、矢状位和冠状位影像数据训练得到的基于轴位、矢状位和冠状位的分割模型进行验证,以及在验证集上对组合的分割模型进行验证,可以得到如下表所示的性能评估数据。
表6分割模型在验证集上的性能评估表
可见,在本申请实施例中,基于轴位、矢状位和冠状位的分割模型在验证集上分别取得了0.7942、0.8024、0.8082的Dice相关系数,以及分别取得了7.9551、7.984、7.177的Hausdorff距离,上述三个分割模型预测的垂体瘤所在区域都较为准确。而组合后的分割模型取得了0.8188的Dice相关系数和9.3599的Hausdorff距离,相较于使用单一方向的数据训练得到的分割模型,组合后的分割模型取得到了更优的性能,分割准确率更高。
在本申请实施例中,为了进一步评估分割模型的泛化能力,可以进一步在验证集上对上述的三个分割模型和一个组合模型进行验证,以得到如下表所示的性能评估数据。
表7分割模型在测试集上的性能评估表
可见,在本申请实施例中,基于轴位、矢状位、冠状位的分割模型在测试集上也取得较好的Dice相关系数和Hausdorff距离,说明上述三个分割模型在测试集上也取得较好的分割准确率。并且,组合后的分割模型也在测试集上取得了最佳的Dice相关系数和Hausdorff距离,进一步验证了组合后的分割模型的相较于使用单一方向的数据训练得到的分割模型的分割准确率更高。
请一并参阅图11,图11是本申请实施例公开的一种垂体瘤影像分类系统的结构示意图。如图11所示,该垂体瘤影像分类系统1100可以包括:获取单元1110和分类单元1120。
获取单元1110,用于获取待分类的脑部核磁影像;
分类单元1120,用于将待分类的脑部核磁影像输入分类模型,分类模型是包括注意力模块的人工神经网络,分类模型是以提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本进行训练后得到的;以及,通过注意力模块确定脑部核磁影像中每个图像特征的重要程度,并基于每个图像特征的重要程度得到脑部核磁影像对应的分类结果。
作为一种可选的实施方式,在本申请实施例中,分类可以模型包括:基于轴位的分类模型、基于矢状位的分类模型以及基于冠状位的分类模型。其中,基于轴位、矢状位、冠状位的分类模型分别以基于轴位、矢状位、冠状位三个方向从垂体瘤核磁影像中提取出的核磁影像作为第一训练样本进行训练后得到。
分类单元1120,还可以用于分别基于轴位、矢状位和冠状位三个方向从待分类的脑部核磁影像中提取出基于轴位、矢状位、冠状位的脑部核磁影像;以及,将基于轴位、矢状位、冠状位的脑部核磁影像分别对应输入至基于轴位、矢状位、冠状位的分类模型;
以及,还可以用于通过基于轴位的分类模型中的注意力模块确定基于轴位的脑部核磁影像中每个图像特征的重要程度,并根据基于轴位的脑部核磁影像中每个图像特征的重要程度得到基于轴位的脑部核磁影像对应的第一分类结果;
以及,还可以用于通过基于矢状位的分类模型中的注意力模块确定基于矢状位的脑部核磁影像中每个图像特征的重要程度,并根据基于矢状位的脑部核磁影像中每个图像特征的重要程度得到基于矢状位的脑部核磁影像对应的第二分类结果;
以及,还可以用于通过基于冠状位的分类模型中的注意力模块确定基于冠状位的脑部核磁影像中每个图像特征的重要程度,并根据基于冠状位的脑部核磁影像中每个图像特征的重要程度得到基于冠状位的脑部核磁影像对应的第三分类结果;
以及,还可以用于对第一分类结果、第二分类结果和第三分类结果进行融合,得到待分类的脑部核磁影像最终的分类结果。
作为一种可选的实施方式,上述的垂体瘤影像分类系统除了可以包括获取单元1110和分类单元1120,还可以包括参数初始化单元和调整单元。
参数初始化单元,用于在对分类模型进行训练时,利用已训练好的分割模型中的第二编码层的参数对分类模型的第一编码层的参数进行初始化;分割模型是利用包括垂体瘤的原始核磁影像作为第二训练样本训练得到的人工神经网络,分割模型用于从核磁影像中预测分割出垂体瘤所在区域。
调整单元,将提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对分类模型进行训练,以迭代调整分类模型包括的注意力模块和第一编码层的参数,直至满足预设结束条件。
作为一种可选的实施方式,分类模型至少还包括:平均池化层、全连接层和归一化层;平均池化层分别与第一编码层和全连接层连接,全连接层还与归一化层连接,归一化层的输出为分类模型的分类结果。
以及,上述的预设结束条件包括:
第一阶段迭代训练的第一结束条件;第一结束条件包括:第一阶段迭代训练的迭代次数到达第一数量;和/或,分类模型的损失函数收敛;
第二阶段迭代训练第二结束条件;第二结束条件包括:第二阶段迭代训练的迭代次数到达第二数量;和/或,分类模型的损失函数收敛。
调整单元,还用于利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对所述注意力模块、所述平均池化层和所述全连接层的参数进行第一阶段迭代训练,直至满足所述第一结束条件;在进行所述第一阶段迭代训练时,不调整所述第一编码层的参数;
在所述第一阶段迭代训练结束后,利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对整个所述分类模型中的参数进行第二阶段迭代训练,直至满足所述第二结束条件。
作为一种可选的实施方式,上述的第一数量可以大于第二数量。
在本申请实施例中,通过在分类模型中引入注意力模块,使得注意力模块可以预先学习到相对于垂体分类任务较为重要的图像特征,并提高重要的图像特征在分类任务中的权重。在同样的训练数据量和硬件资源下,相较于不包括注意力模块的分类模型,引入注意力模块的分类模型可以得到较高的分类准确率。同时,利用已训练好的分割模型中的参数对分类模型进行初始化,可以通过迁移学习的减少可用的训练样本数量稀少对分类模型的性能影响,进一步提高分类模型的分类准确率。
请一并参阅图12,图12是本申请实施例公开的一种用于垂体瘤影像分类的分类模型训练系统的结构示意图。如图12所示,该用于垂体瘤影像分类的分类模型训练系统1200可以包括:
初始化单元1210,用于利用已训练好的分割模型中的第二编码层的参数对分类模型的第一编码层的参数进行初始化;分割模型是利用包括垂体瘤的原始核磁影像作为第二训练样本训练得到的人工神经网络,分割模型用于从核磁影像中预测分割出垂体瘤所在区域;
调整单元1220,用于将提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对分类模型进行训练,以迭代调整分类模型包括的注意力模块和所述第一编码层的参数,直至满足预设结束条件。
作为一种可选的实施方式,上述的预设结束条件可以包括:
第一阶段迭代训练的第一结束条件;第一结束条件包括:第一阶段迭代训练的迭代次数到达第一数量;和/或,分类模型的损失函数收敛;
第二阶段迭代训练第二结束条件;第二结束条件包括:第二阶段迭代训练的迭代次数到达第二数量;和/或,分类模型的损失函数收敛。
上述的调整单元1220,还可以用于利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对注意力模块、平均池化层和全连接层的参数进行第一阶段迭代训练,直至满足第一结束条件;在进行第一阶段迭代训练时,不调整第一编码层的参数;
在第一阶段迭代训练结束后,利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对整个分类模型中的参数进行第二阶段迭代训练,直至满足第二结束条件。
在本申请实施例中,利用迁移学习的方法对分类模型进行训练,可以在硬件资源和可用的训练样本数据量稀少的条件下训练得到性能较好的分类模型。此外,还可以进一步地过两阶段的迭代训练,有针对性地对分类模型中的参数进行调整,提高训练效率。
请一并参阅13,图13为本申请公开的一种电子设备的结构示意图。电子设备可以是手机、平板电脑、智能穿戴设备、PC、笔记本电脑等设备。如图13所示,电子设备1300可以包括一个或多个如下部件:处理器1310、与处理器1310耦合的存储器1320,其中存储器1320可存储有一个或多个应用程序,一个或多个应用程序可以被配置为由一个或多个处理器1310执行,一个或多个程序配置用于执行如上述各实施例中所描述的垂体瘤影像分类方法。
处理器1310可以包括一个或者多个处理核。处理器1310利用各种接口和线路连接整个电子设备1300内的各个部分,通过运行或执行存储在存储器1320内的指令、程序、代码集或指令集,以及调用存储在存储器1320内的数据,执行电子设备1300的各种功能和处理数据。可选地,处理器1310可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1310可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1310中,单独通过一块通信芯片进行实现。
存储器1320可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器1320可用于存储指令、程序、代码、代码集或指令集。存储器1320可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备1300在使用中所创建的数据等。
可以理解地,电子设备1300可包括比上述结构框图中更多或更少的结构元件,例如,包括电源、输入按键、摄像头、扬声器、屏幕、RF(Radio Frequency,射频)电路、Wi-Fi(Wireless Fidelity,无线保真)模块、蓝牙模块、传感器等,还可在此不进行限定。
本申请实施例还提供一种电子设备,包括存储器及处理器,该存储器中存储有计算机程序,该计算机程序被处理器执行时,使得处理器实现如上述各实施例中描述的用于垂体瘤影像分类的分类模型训练方法。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现如上述各实施例中描述的垂体瘤影像分类方法。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现如上述各实施例中描述的用于垂体瘤影像分类的分类模型训练方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可被处理器执行时实现如上述各实施例描述的垂体瘤影像分类方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可被处理器执行时实现如上述各实施例描述的用于垂体瘤影像分类的分类模型训练方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM,PROM)、可擦除PROM(Erasable PROM,EPROM)、电可擦除PROM(Electrically ErasablePROM,EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory,RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(Static RAM,SRAM)、动态RAM(Dynamic Random Access Memory,DRAM)、同步DRAM(synchronous DRAM,SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM,DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM,ESDRAM)、同步链路DRAM(Synchlink DRAM,SLDRAM)、存储器总线直接RAM(Rambus DRAM,RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM,DRDRAM)。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
以上对本申请实施例公开的垂体瘤影像分类方法、系统及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种垂体瘤影像分类方法,其特征在于,所述方法包括:
获取待分类的脑部核磁影像;
将所述待分类的脑部核磁影像输入分类模型,所述分类模型是包括注意力模块的人工神经网络,所述分类模型是以提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本进行训练后得到的;
通过所述分类模型提取所述脑部核磁影像中的图像特征,并通过所述注意力模块确定所述脑部核磁影像中每个图像特征的重要程度,并基于所述每个图像特征的重要程度得到所述脑部核磁影像对应的分类结果;
所述分类模型包括所述注意力模块、第一编码层、平均池化层、压平层、正则化层、全连接层及归一化层;所述归一化层的输出为所述分类模型的分类结果;
所述第一编码层包括用于进行卷积操作的残差单元,所述残差单元包括第一卷积核、第一激活及归一化单元、第二卷积核、第二归一化单元、加法单元及第二激活单元;
所述第一卷积核,用于对输入的脑部核磁影像进行第一次卷积操作,提取出第一图像特征;
所述第一激活及归一化单元,用于对所述第一图像特征进行第一次归一化处理以及进行第一次线性修正;
所述第二卷积核,用于对进行了第一次归一化处理和第一次线性修正后的第一图像特征进行第二次卷积操作,以得到第二图像特征;
所述第二归一化单元,用于对所述第二图像特征进行第二次归一化处理;
所述加法单元,用于融合所述第二图像特征和所述脑部核磁影像,得到融合后的图像特征;
所述第二激活单元,用于对所述融合后的图像特征征进行第二次线性修正,以得到所述残差单元的输出结果。
2.根据权利要求1所述的方法,其特征在于,所述分类模型包括:基于轴位的分类模型、基于矢状位的分类模型以及基于冠状位的分类模型;基于轴位、矢状位、冠状位的分类模型分别以基于轴位、矢状位、冠状位三个方向从所述垂体瘤核磁影像中提取出的核磁影像作为第一训练样本进行训练后得到;
以及,所述将所述待分类的脑部核磁影像输入分类模型,包括:
分别基于轴位、矢状位和冠状位三个方向从所述待分类的脑部核磁影像中提取出基于轴位的脑部核磁影像、基于矢状位的脑部核磁影像、基于冠状位的脑部核磁影像;
将所述基于轴位的脑部核磁影像输入至所述基于轴位的分类模型,将所述基于矢状位的脑部核磁影像输入至所述基于矢状位的分类模型,并将所述基于冠状位的脑部核磁影像输入至所述基于冠状位的分类模型;
以及,所述通过所述注意力模块确定所述脑部核磁影像中每个图像特征的重要程度,并基于所述每个图像特征的重要程度得到所述脑部核磁影像对应的分类结果,包括:
通过所述基于轴位的分类模型中的注意力模块确定基于轴位的脑部核磁影像中每个图像特征的重要程度,并根据基于轴位的脑部核磁影像中每个图像特征的重要程度得到基于轴位的脑部核磁影像对应的第一分类结果;
通过所述基于矢状位的分类模型中的注意力模块确定基于矢状位的脑部核磁影像中每个图像特征的重要程度,并根据基于矢状位的脑部核磁影像中每个图像特征的重要程度得到基于矢状位的脑部核磁影像对应的第二分类结果;
通过所述基于冠状位的分类模型中的注意力模块确定基于冠状位的脑部核磁影像中每个图像特征的重要程度,并根据基于冠状位的脑部核磁影像中每个图像特征的重要程度得到基于冠状位的脑部核磁影像对应的第三分类结果;
对所述第一分类结果、所述第二分类结果和所述第三分类结果进行融合,得到待分类的脑部核磁影像最终的分类结果。
3.根据权利要求1所述的方法,其特征在于,所述第一编码层与所述注意力模块连接;
以及,在所述将所述待分类的脑部核磁影像输入分类模型之前,所述方法还包括:
在对所述分类模型进行训练时,利用已训练好的分割模型中的第二编码层的参数对所述分类模型的第一编码层的参数进行初始化;所述分割模型是利用包括垂体瘤的原始核磁影像作为第二训练样本训练得到的人工神经网络,所述分割模型用于从核磁影像中预测分割出垂体瘤所在区域;
将提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对初始化后的分类模型进行训练,以迭代调整所述初始化后的分类模型包括的所述注意力模块和所述第一编码层的参数,直至满足预设结束条件。
4.根据权利要求3所述的方法,其特征在于,所述平均池化层分别与所述第一编码层及所述压平层连接,所述全连接层与所述归一化层连接;
以及,所述预设结束条件包括:
第一阶段迭代训练的第一结束条件;所述第一结束条件包括:第一阶段迭代训练的迭代次数到达第一数量;和/或,所述分类模型的损失函数收敛;
第二阶段迭代训练第二结束条件;所述第二结束条件包括:第二阶段迭代训练的迭代次数到达第二数量;和/或,所述分类模型的损失函数收敛;
以及,所述将提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对所述分类模型进行训练,以迭代调整所述分类模型包括的所述注意力模块和所述第一编码层的参数,直至满足预设结束条件,包括:
利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对所述注意力模块、所述平均池化层和所述全连接层的参数进行第一阶段迭代训练,直至满足所述第一阶段迭代训练的第一结束条件;所述第一结束条件包括:第一阶段迭代训练的迭代次数到达第一数量;和/或,所述分类模型的损失函数收敛;在进行所述第一阶段迭代训练时,不调整所述第一编码层的参数;
在所述第一阶段迭代训练结束后,利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对整个所述分类模型中的参数进行第二阶段迭代训练,直至满足所述第二阶段迭代训练的第二结束条件;所述第一结束条件包括:第二阶段迭代训练的迭代次数到达第二数量;和/或,所述分类模型的损失函数收敛。
5.根据权利要求4所述的方法,其特征在于,所述第一数量大于所述第二数量。
6.一种用于垂体瘤影像分类的分类模型训练方法,其特征在于,所述分类模型包括如权利要求1~5任一所述的垂体瘤影像分类方法中的分类模型;所述方法包括:
利用已训练好的分割模型中的第二编码层的参数对所述分类模型的所述第一编码层的参数进行初始化;所述分割模型是利用包括垂体瘤的原始核磁影像作为第二训练样本训练得到的人工神经网络,所述分割模型用于从核磁影像中预测分割出垂体瘤所在区域;
将提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对所述分类模型进行训练,以迭代调整所述分类模型包括的所述注意力模块和所述第一编码层的参数,直至满足预设结束条件。
7.根据权利要求6所述的方法,其特征在于,所述平均池化层分别与所述第一编码层和所述压平层连接,所述全连接层与所述归一化层连接;
以及,所述预设结束条件包括:
第一阶段迭代训练的第一结束条件;所述第一结束条件包括:第一阶段迭代训练的迭代次数到达第一数量;和/或,所述分类模型的损失函数收敛;
第二阶段迭代训练第二结束条件;所述第二结束条件包括:第二阶段迭代训练的迭代次数到达第二数量;和/或,所述分类模型的损失函数收敛;
以及,所述将提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对所述分类模型进行训练,以迭代调整所述分类模型包括的所述注意力模块和所述第一编码层的参数,直至满足预设结束条件,包括:
利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对所述注意力模块、所述平均池化层和所述全连接层的参数进行第一阶段迭代训练,直至满足所述第一结束条件;在进行所述第一阶段迭代训练时,不调整所述第一编码层的参数;
在所述第一阶段迭代训练结束后,利用提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本,对整个所述分类模型中的参数进行第二阶段迭代训练,直至满足所述第二结束条件。
8.一种垂体瘤影像分类系统,其特征在于,包括:
获取单元,用于获取待分类的脑部核磁影像;
分类单元,用于将所述待分类的脑部核磁影像输入分类模型,所述分类模型是包括注意力模块的人工神经网络,所述分类模型是以提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本进行训练后得到的;以及,通过所述注意力模块确定所述脑部核磁影像中每个图像特征的重要程度,并基于所述每个图像特征的重要程度得到所述脑部核磁影像对应的分类结果;
所述分类模型包括所述注意力模块、第一编码层、平均池化层、压平层、正则化层、全连接层及归一化层;所述归一化层的输出为所述分类模型的分类结果;
所述第一编码层包括用于进行卷积操作的残差单元,所述残差单元包括第一卷积核、第一激活及归一化单元、第二卷积核、第二归一化单元、加法单元及第二激活单元;
所述第一卷积核,用于对输入的脑部核磁影像进行第一次卷积操作,提取出第一图像特征;
所述第一激活及归一化单元,用于对所述第一图像特征进行第一次归一化处理以及进行第一次线性修正;
所述第二卷积核,用于对进行了第一次归一化处理和第一次线性修正后的第一图像特征进行第二次卷积操作,以得到第二图像特征;
所述第二归一化单元,用于对所述第二图像特征进行第二次归一化处理;
所述加法单元,用于融合所述第二图像特征和所述脑部核磁影像,得到融合后的图像特征;
所述第二激活单元,用于对所述融合后的图像特征征进行第二次线性修正,以得到所述残差单元的输出结果。
9.一种用于垂体瘤影像分类的分类模型训练系统,其特征在于,所述分类模型包括如权利要求1~5任一所述的垂体瘤影像分类方法中的分类模型;所述系统包括:
初始化单元,用于利用已训练好的分割模型中的第二编码层的参数对所述分类模型的所述第一编码层的参数进行初始化;所述分割模型是利用包括垂体瘤的原始核磁影像作为第二训练样本训练得到的人工神经网络,所述分割模型用于从核磁影像中预测分割出垂体瘤所在区域;
调整单元,用于将提取出垂体瘤所在区域的垂体瘤核磁影像作为第一训练样本对所述分类模型进行训练,以迭代调整所述分类模型包括的所述注意力模块和所述第一编码层的参数,直至满足预设结束条件。
10.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至5任一所述的方法。
CN202010906556.2A 2020-09-01 2020-09-01 垂体瘤影像分类方法、系统及电子设备 Active CN112190250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010906556.2A CN112190250B (zh) 2020-09-01 2020-09-01 垂体瘤影像分类方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010906556.2A CN112190250B (zh) 2020-09-01 2020-09-01 垂体瘤影像分类方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN112190250A CN112190250A (zh) 2021-01-08
CN112190250B true CN112190250B (zh) 2023-10-03

Family

ID=74006372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010906556.2A Active CN112190250B (zh) 2020-09-01 2020-09-01 垂体瘤影像分类方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN112190250B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255451B (zh) * 2021-04-25 2023-04-07 西北工业大学 遥感图像的变化检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN110415234A (zh) * 2019-07-29 2019-11-05 北京航空航天大学 基于多参数磁共振成像的脑部肿瘤分割方法
CN111275714A (zh) * 2020-01-13 2020-06-12 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111458148A (zh) * 2020-04-26 2020-07-28 上海电机学院 一种基于cbam的卷积神经网络滚动轴承故障诊断方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754404A (zh) * 2019-01-02 2019-05-14 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法
CN110415234A (zh) * 2019-07-29 2019-11-05 北京航空航天大学 基于多参数磁共振成像的脑部肿瘤分割方法
CN111275714A (zh) * 2020-01-13 2020-06-12 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111458148A (zh) * 2020-04-26 2020-07-28 上海电机学院 一种基于cbam的卷积神经网络滚动轴承故障诊断方法

Also Published As

Publication number Publication date
CN112190250A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN111627019B (zh) 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN109389585B (zh) 一种基于全卷积神经网络的脑组织提取方法
CN115661144B (zh) 基于可变形U-Net的自适应医学图像分割方法
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
CN110559009B (zh) 基于gan的多模态低剂量ct转换高剂量ct的方法
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN116402865B (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
EP3799647A1 (en) Fast and robust friction ridge impression minutiae extraction using feed-forward convolutional neural network
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN112634273B (zh) 一种基于深度神经网络的脑转移瘤分割系统及其构建方法
CN112949654A (zh) 图像检测方法及相关装置、设备
CN113989551A (zh) 一种基于改进ResNet网络的阿尔茨海默病分类方法
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN112190250B (zh) 垂体瘤影像分类方法、系统及电子设备
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
US20240005508A1 (en) Systems and methods for image segmentation
CN117475268A (zh) 一种基于sgdd gan的多模态医学图像融合方法
CN115861716B (zh) 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
CN114612478B (zh) 一种基于深度学习的女性盆腔mri自动勾画系统
CN115953420A (zh) 深度学习网络模型以及医疗图像分割方法、装置和系统
CN114331996A (zh) 基于自编码解码器的医学影像分型方法及系统
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Zhong et al. Denoising auto-encoder network combined classfication module for brain tumors detection
Bansal et al. A superpixel powered autoencoder technique for detecting dementia

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant