CN111767952A - 一种可解释的肺结节良恶性分类方法 - Google Patents
一种可解释的肺结节良恶性分类方法 Download PDFInfo
- Publication number
- CN111767952A CN111767952A CN202010608458.0A CN202010608458A CN111767952A CN 111767952 A CN111767952 A CN 111767952A CN 202010608458 A CN202010608458 A CN 202010608458A CN 111767952 A CN111767952 A CN 111767952A
- Authority
- CN
- China
- Prior art keywords
- medical
- feature
- learning
- symptom
- nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000003211 malignant effect Effects 0.000 title claims abstract description 46
- 230000002685 pulmonary effect Effects 0.000 title claims abstract description 8
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 73
- 238000003745 diagnosis Methods 0.000 claims abstract description 59
- 238000001228 spectrum Methods 0.000 claims abstract description 48
- 208000024891 symptom Diseases 0.000 claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 26
- 238000013135 deep learning Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 101100261000 Caenorhabditis elegans top-3 gene Proteins 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 4
- 206010054107 Nodule Diseases 0.000 description 12
- 238000011160 research Methods 0.000 description 6
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 201000005202 lung cancer Diseases 0.000 description 5
- 208000020816 lung neoplasm Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 101100261006 Salmonella typhi topB gene Proteins 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 101150032437 top-3 gene Proteins 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 210000004883 areola Anatomy 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种可解释的肺结节良恶性分类方法，具体包括：S1、首先将肺结节的各医学征象进行划分，构建医学征象谱；S2、然后利用传统图像特征方法提取肺结节特征集，即图像特征谱；S3、通过对抗学习的医学征象和图像特征谱映射网络，来建立医学征象谱与肺结节图像特征的映射关系；S4、构建可解释的CNN的征象属性学习和分类诊断联合优化网络模型，最终通过设计可解释的卷积神经网络学习获得结节征象属性和良恶性的分类。本发明利用传统图像特征方法提取肺结节特征集，即图像特征谱，并建立医学征象谱与图像特征谱之间的内在关系，然后设计可解释的卷积神经网络进行的结节征象属性学习和良恶性预测，为结节的预测结果提供可解释性。
Description
技术领域
本发明涉及肺结辅助诊断良恶性分类的技术领域，特别涉及一种可解释的肺结节良恶性分类方法。
背景技术
肺结节辅助诊断在临床实践中面临诸多瓶颈。肺结节筛查用于肺癌早期防控的形势依然严峻。我国患肺癌人数多，发病率高，医疗花费大。按发病人数顺位排序，肺癌占所有癌症的20.3％，位居恶性肿瘤发病首位。据国家肿瘤质控中心发布的《2019年全国癌症报告》，恶性肿瘤死亡高达居民全部死因的23.91％，且近十几年来恶性肿瘤的发病死亡呈持续上升态势,每年恶性肿瘤所致的医疗花费超过2200亿。
近几年，随着深度学习相关技术的发展，深度学习智能技术辅助肺结节筛查为严峻的肺癌防控工作带来了新机遇。自深度学习技术应用于医学影像以来，在肺癌防控强烈需求驱动下，肺结节计算机辅助筛查技术表现出深度学习、数据驱动、特征自学习、处理端到端等新特征。肺结节计算机辅助诊断系统的工作流程可以大致分为结节检测、假阳性去除、结节分割以及结节良恶性分类。结节的良恶性分类是在检测、假阳性去除和分割的基础之上，对结节的良恶性做出最终判断，是必不可少也是至关重要的一个环节。医生可以综合辅助诊断系统的结果和临床经验，快速做出诊断结果，所以精准的辅助分类结果可以大幅减少医生的诊断时间。但是肺结节辅助诊断在临床实践中面临诸多瓶颈，其中最重要的一点就是现有的辅助诊断系统可解释性较差，对肺结节关键属性特征提取能力较差，诊断结果脱离专家共识，难于被医生理解，导致医生“会用，但是不敢用”。这严重制约了影像辅助诊断系统在实际推广过程中的应用，导致了肺结节辅助诊断系统在科研、概念上火热，在临床应用中不温不火的尴尬境地。因此，无论是过去的探索期，还是现在的发展期，对肺结节的良性分类以及分类可解释研究依然是一门热门的研究内容。本发明设计了一种具有可解释性良恶性分类方法，为提高肺结节辅助诊断系统的可用性提供理论和技术支撑。
肺结节良恶性分类的可解释性是指算法能同时给出诊断结果和相应的医学征象判定。提供可解释的良恶性诊断结果是保证医生和病人可用、敢用的重要前提。但是现有的研究对模型构建研究多，对模型的可解释性表征学习研究少。传统的肺结节辅助诊断，运用深度学习方法提高计算机辅助医学影像诊断的能力。目前已经有一些工作利用大规模的数据训练深度学习模型，使得模型能够达到甚至超过医生的诊断水平。然而，它是像一个“黑箱”，只能看到输入输出，看不到内部的结构原理。在临床实践中，要让计算机系统能真正有效地辅助医生进行诊断，则系统的输出结果必须让医生理解和信服。此外，结节的各个属性特征是支撑良恶性分类判断的重要依据，但肺结节单任务分类模型并没有综合利用结节的各属性特征信息，导致现有的分类模型的准确率还有较大的提升空间，因此有必要设计结节特征提取和良恶性分类联合优化模型，以提升模型的表现，同时结合专家共识对肺结节属性特征进行完整的提取，构建用于辅助医生依据医学影像做出诊断的语义特征集，即医学征象谱，用于定性描述或解释肺结节良恶分类和恶性等级分级，以提高分类效果。
发明内容
针对现有技术存在的上述问题，本发明的要解决的技术问题是：现有肺结节辅助诊断系统可解释低，导致医生不敢用的问题，以及单任务结节良恶性分类没有综合利用到结节各个属性的问题，最终导致分类效果差。
如何解决上述问题：首先利用传统图像特征方法提取肺结节特征集，即图像特征谱，用于定量刻画肺结节的像素、纹理、空间和形态特征，并建立医学征象谱与图像特征谱之间的内在关系，然后设计可解释的卷积神经网络进行的结节征象属性学习和良恶性预测，具体通过先建立肺结节医学征象谱和影像特征谱的映射关系，以及设计影像特征自动提取的方法，联合优化结节特征提取和良恶性分类诊断2个子任务，在提升属性预测、良恶性预测准确率的同时，为结节的预测结果提供可解释性。
本发明公开了一种可解释的肺结节良恶性分类方法，具体包括以下步骤：
S1、首先将肺结节的各医学征象进行划分，构建医学征象谱；
S2、然后利用传统图像特征方法提取肺结节特征集，即图像特征谱，用于定量刻画肺结节的像素特征、纹理特征、空间特征和形态特征；
S3、通过对抗学习的医学征象和图像特征谱映射网络，来建立医学征象谱与肺结节图像特征的映射关系，具体包括以下步骤：
S3-1、将模型的输入定义为医学征象X，利用可学习的参数W和V，然后加权融合并生成医学征象：具体通过利用可学习的参数W先获得图像特征Y，然后利用可学习的参数V合成医学特征X'；
S3-2、然后利用卷积网络构建判别器，评价合成的医学特征X'是否能够真实的反应相关的医学征象X，将合成的医学特征作为损失函数，使用训练神经网络方法中的梯度下降算法进行训练调参最终获得医学征象谱与肺结节图像特征的映射关系，具体公式如下：
X'＝F(X,W,V|Y0,Y1,L,Ym) (1)；
Loss＝Dis(X,X') (2)；
其中，F表示特征选择网络，X表示需要进行映射的医学征象，W和V表示可学习的权重为预设的常数m表示自然数，Y0-Ym表示m个手工构建的传统图像特征，Dis表示判别器模型，图像特征选择网络以医学征象X为输入，利用基于神经网络的特征映射层，选择合适的图像特征Y0-Ym来表达医学征象X'；Loss表示损失函数；
S4、构建可解释的CNN的征象属性学习和分类诊断联合优化网络模型，最终通过设计可解释的卷积神经网络学习获得结节征象属性和良恶性的分类，具体根据以下步骤获得：
S4-1、针对易于学习的医学征象，先利用现有的多分枝的深度学习网络来提取特征的方法步骤进行学习；
S4-2、针对不易学习的医学征象，可利用步骤S3中已经学习到的映射关系，完成这部分医学征象的提取特征；
S4-3、最后，再利用多层感知机进行优化，融合步骤S4-1和S4-2的组合学习的模式提取医学征象，然后学习得到每一个医学征象的重要性，对每一个医学征象赋予相应的权重，并作为诊断依据，最终给出精确的诊断结果，作为输出。
作为优选，为了提高检测精度，在步骤S4构建的可解释的CNN的征象属性学习和分类诊断联合优化网络模型过程中以肺结节影像作为输入，然后根据步骤S4-1和S4-2进行属性分类学习，分类学习过程中对易于提取的特征，就用卷积方法提取，难于提取的特征利用S3学习到的映射关系进行提取，也就是对难于提取的特征使用传统方法进行特征提取，并生成特定的医学征象，同时每一个卷积分枝都由卷积神经网络构成，在完成医学征象的提取后，将医学征象转换成维度相同的向量用S表示，为每一个医学征象设置一个学习权重，构成权重矩阵W，加权融合后输入多层感知机，并训练学习诊断过程。所述的CNN就是卷积神经网络的缩写。
作为优选，为了方便学习，对于每一个医学征象来说其在诊断过程中的重要性由与其自身对应的权重矩阵W的均值决定，最后将各医学征象按照权重大小排序输出，获得最终的诊断结果，具体计算公式如下：
A{a1,a2,L,an}＝C(X)+T(X) (3)；
σ＝D(∑ai·Wi) (4)；
其中，C和T分别表示深度学习分枝和现有的深度学习网络方法分枝，A为两种分枝所提取的所有医学征象，D表示综合决策过程，包含了权重优化选择和多层感知机，σ为诊断结果，X表示需要进行映射的医学征象；其中，ai表示第i个医学特征，W表示其对应的权重矩阵，i表示自然数。
作为优选，为了方便学习，在计算诊断结果的过程中还需要考虑损失函数，所述损失函数的计算公式如下：
Loss＝λ1Cr(attri)+λ2Cr(mali)+λ3Top3(attti) (5)；
其中，λ1，λ2和λ3为三个可训练的权重，Cr(attri)是计算医学征象提取的交叉熵损失，Cr(malig)是计算诊断结果的交叉熵损失，Top3(attri)是关键医学征象Top3损失，由预测的征象排名和实际的征象排名计算最小平方误差后获得。
本发明得到的一种可解释的肺结节良恶性分类方法的优点是利用传统图像特征方法提取肺结节特征集，然后并建立医学征象谱与图像特征谱之间的内在关系，然后设计可解释的卷积神经网络进行的结节征象属性学习和良恶性预测，具体通过先建立肺结节医学征象谱和影像特征谱的映射关系，以及设计影像特征自动提取的方法，联合优化结节特征提取和良恶性分类诊断2个子任务，在提升属性预测、良恶性预测准确率的同时，为结节的预测结果提供可解释性，最终实现一方面缓解了现有辅助诊断系统可解释性不足，医生不敢用的尴尬境地，另一方面通过属性学习和良恶性联合调优，在良恶性分类和属性预测中都取得了优异效果。
附图说明
图1为本发明医学征象与图像特征的映射过程图；
图2为本发明的特征映射网络图；
图3为基于CNN的征象属性学习和分类诊断联合优化网络模型图。
具体实施方式
下面对本发明作进一步详细说明。
实施例1：参见图1-图3，本实施例公开了一种可解释的肺结节良恶性分类方法，首先利用传统图像特征方法提取肺结节特征集，即图像特征谱，用于定量刻画肺结节的像素、纹理、空间和形态特征，并建立医学征象谱与图像特征谱之间的内在关系，然后设计可解释的卷积神经网络进行的结节征象属性学习和良恶性预测，具体通过先建立肺结节医学征象谱和影像特征谱的映射关系，以及设计影像特征自动提取的方法，联合优化结节特征提取和良恶性分类诊断2个子任务，在提升属性预测、良恶性预测准确率的同时，为结节的预测结果提供可解释性。
具体包括以下步骤：
S1、首先将肺结节的各医学征象进行划分，构建医学征象谱；
S2、然后利用传统图像特征方法提取肺结节特征集，即图像特征谱，用于定量刻画肺结节的像素特征、纹理特征、空间特征和形态特征；
S3、通过对抗学习的医学征象和图像特征谱映射网络，来建立医学征象谱与肺结节图像特征的映射关系，具体包括以下步骤：
S3-1、将模型的输入定义为医学征象X，利用可学习的参数W和V，然后加权融合并生成医学征象：具体通过利用可学习的先获得图像特征Y，然后利用可学习的参数合成医学特征X'；
S3-2、然后利用卷积网络构建判别器，评价合成的医学特征X'是否能够真实的反应相关的医学征象X，将合成的医学特征X'作为损失函数，使用训练神经网络方法中的梯度下降算法进行训练调参最终获得医学征象谱与肺结节图像特征的映射关系，具体公式如下：
X'＝F(X,W,V|Y0,Y1,L,Ym) (1)；
Loss＝Dis(X,X') (2)；
其中，F表示特征选择网络，X表示需要进行映射的医学征象，W和V表示可学习的权重为预设的常数m表示自然数，Y0-Ym表示m个手工构建的传统图像特征，Dis表示判别器模型，图像特征选择网络以医学征象X为输入，利用基于神经网络的特征映射层，选择合适的图像特征Y0-Ym来表达医学征象X'；Loss表示损失函数；
其中损失函数是判别器的分类精准度，本发明使用采用交叉熵作为损失函数。利用对抗学习的思想，以期望映射的特征尽可能地“欺骗”卷积判别器Dis，判别器损失越低，生成的X就越接近X'，W和V就越能够准确的刻画映射的过程；
S4、构建可解释的CNN的征象属性学习和分类诊断联合优化网络模型，最终通过设计可解释的卷积神经网络学习获得结节征象属性和良恶性的分类，具体根据以下步骤获得：
S4-1、针对易于学习的医学征象，先利用现有的多分枝的深度学习网络来提取特征的方法步骤进行学习(即采用传统图像特征方法来学习)；
S4-2、针对不易学习的医学征象，可利用步骤S3中已经学习到的映射关系，完成这部分医学征象的提取特征；
S4-3、最后，再利用多层感知机进行优化，融合步骤S4-1和S4-2的组合学习的模式提取医学征象，然后学习得到每一个医学征象的重要性，对每一个医学征象赋予相应的权重，并作为诊断依据，最终给出精确的诊断结果，作为输出。
作为优选，为了提高检测精度，在步骤S4构建的可解释的CNN的征象属性学习和分类诊断联合优化网络模型过程中以肺结节影像作为输入，然后根据步骤S4-1和S4-2进行属性分类学习，分类学习过程中对易于提取的特征，就用卷积方法提取，难于提取的特征利用S3学习到的映射关系进行提取，也就是对难于提取的特征使用传统方法进行特征提取，并生成特定的医学征象，同时每一个卷积分枝都由卷积神经网络构成，在完成医学征象的提取后，将医学征象转换成维度相同的向量用S表示(方便后续网络输入维度统一的设定)，为每一个医学征象设置一个学习权重，构成权重矩阵W，加权融合后输入多层感知机，并训练学习诊断过程。所述的CNN就是卷积神经网络的缩写。
作为优选，为了方便学习，对于每一个医学征象来说其在诊断过程中的重要性由与其自身对应的权重矩阵W的均值决定，最后将各医学征象按照权重大小排序输出，获得最终的诊断结果，具体计算公式如下：
A{a1,a2,L,an}＝C(X)+T(X) (3)；
σ＝D(∑ai·Wi) (4)；
其中，C和T分别表示深度学习分枝和现有的深度学习网络方法分枝，A为两种分枝所提取的所有医学征象，D表示综合决策过程，包含了权重优化选择和多层感知机，σ为诊断结果，X表示需要进行映射的医学征象；其中，ai表示第i个医学特征，W表示其对应的权重矩阵，i表示自然数。
作为优选，为了方便学习，在计算诊断结果的过程中还需要考虑损失函数，所述损失函数的计算公式如下：
Loss＝λ1Cr(attri)+λ2Cr(mali)+λ3Top3(attti) (5)；
其中，λ1，λ2和λ3为三个可训练的权重，Cr(attri)是计算医学征象提取的交叉熵损失，Cr(malig)是计算诊断结果的交叉熵损失，Top3(attri)是关键医学征象Top3损失，由预测的征象排名和实际的征象排名计算最小平方误差后获得。
在构建医学征象谱中根据专家共识将肺结节的各医学征象划分为3大类，就是一个划分过程，见图一右侧；
医学征象谱是医生根据医学影像做出诊断的语义特征集，用于定性描述或解释肺结节良恶分类和恶性等级分级。本发明根据肺结节专家共识，首先将医学征象划分为形状特征、边缘特征和纹理特征，然后将结节的各征象依次归类到这3类中；
其中，形状特征包括肺结节的直径、面积、圆形度等征象；边缘特征包括肺结节与肺部组织相结合的毛刺征、分叶征、球状凸起、胸膜凹陷、棘状突起和晕征等征象；纹理特征包括反映肺结节自身特征的磨玻璃状、空洞等征象；
然后在构建图像特征谱中利用传统图像特征方法从医学征象谱提取结节各特征，以构建图像特征谱，用于定量刻画肺结节的像素、纹理、空间和形态特征，本发明利用传统图像特征提取方法，提取并量化肺结节的像素特征、纹理特征、空间特征和形态特征，构建图像特征谱：具体步骤如下：
首先，使用直方灰度图、区域灰度图、像素均匀程度提取像素特征；
其次，纹理特征主要是一些纹理描述方法，使用提取边界区域特征的边缘区域灰度值，多尺度方向提取特征的Gabor小波(属于现有技术，故此不做具体描述)，刻画内外部纹理复杂程度的灰度共生矩阵等方法提取结节的纹理特征；
再次，空间特征主要是关于肺结节位置信息的一些特征，比如邻近切片信息等。我们使用欧氏距离、曼哈顿距离和切比雪夫距离计算当前切片与其上、下切片相应区域的特征向量的相似度，以提取出结节的空间特征；
最后，形态特征则主要包含大小形态，边界弯曲程度、对称度、关键点、分形维数等。首先使用大津法进行图像分割，接着进行区域边界标记，找到边界曲线最大的作为肺结节所在区域，然后获得轮廓关键点，得到轮廓关键点序列，根据关键点序列得到结节的关键点个数、最小凹角、分叶等级、毛刺等级等特征，见图一左侧部分；
本实施例的公式5中的模型损失函数分为三个部分，第一个部分为医学征象提取损失，利用预测结果的损失衡量医学征象提取的准确率；第二个部分为良恶性诊断的准确率；第三个部分为关键医学征象损失，由于很难对关键医学征象进行排序，因此这部分采用top3准确率来衡量，即前三重要的征象预测准确率。其中，医学征象提取损失越小，其提取精度就越高；诊断的准确率和关键医学征象top3准确率越高，模型对于各个属性在诊断过程中的影响因素就把握的越好。
本实施例选择目前最大的公开数据集LIDC-IDRI(数据集名字，为现有公知数据集)验证方法的先进性。LIDC-IDRI数据集里共包含1010个患者的1018个胸部扫描CT序列，并且每个CT序列都至少由1位经验丰富的放射科医生标注结节的良恶性和各属性信息，共包含检测难度、圆形度、边缘、分叶征、毛刺征、纹理、钙化、内部组织等8种结节属性特征信息，每一种属性特性都分为六个等级，等级越高表示结节的该种属性特征越明显。因内部结构包括软组织、液体、脂肪和空气四类，数据集中大部分结节为软组织、数值不连续且对良恶性分类结果的关联性较低，所以在本实施例中不考虑该属性。数据集中的属性分布情况如下表：
实验预处理中，我们抽取出每个结节的中心切片，然后以结节为中心裁剪出128*128大小的图片作为数据集。预处理之后，数据集中共计2616张结节图片用于模型训练和测试。我们随机按照7:3的比例划分训练集和测试集，共1831张图片用于模型训练，785张图片用于模型测试。我们使用等级3作为正负样本划分的阈值，将每个属性大于3的样本划分为正例，小于等于3的划分为负例。
评价指标为准确率Accuracy、敏感度Sensitivity和特异性Specificity。使用P表示正例，N表示负例；使用TP表示被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数；FP表示被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；FN表示被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数。则准确率基于公式Accuracy＝(TP+TN)/(P+N)计算,灵敏度基于公式Sensitivity＝TP/P计算，特异性基于公式Specificity＝TN/N计算。
为了使得本发明的性能达到最优，首先对模型的学习率(learning rate)和优化器(optimizer)进行优化和选择。通过对比实验发现，最优参数组合为学习率设置为0.0001，优化器设置为Adam(优化器名字，没有中文)。我们在实验过程中使用提前终止(early stop)策略防止模型的过拟合。实验结果见下表：
为了进一步验证本实施例的有效性，我们将实验结果同2项有代表性的肺结节可解释工作的结果进行了对比，他们分别是：
HSCNN：现有的一种肺结节良恶性和属性分类的3D可解释卷积神经网络
X-Caps：现有的一种胶囊网络进行肺结节良恶性和属性分类
对比结果如下：
通过对比实验发现，得益于出色的属性特性学习，本发明的良恶性分类准确率大幅超越了同类方法。同时在7种属性的预测结果中，本发明在纹理、毛刺征、分叶征、边缘、球形度、钙化属性的预测上都取得了最高值。值得说明的是，本发明与HSCNN方法都是基于卷积神经网络的分类方法，但我们方法的实验效果远优于HSCNN，充分说明本发明的优越性。同时得益于联合调优以及传统算法的特征提取，本发明模型的参数量远小于HSCNN和X-Caps，大幅降低了模型的训练时间以及在实际临床应用中需要的诊断时间。
简而言之，本实施例提出了一种具有可解释性的肺结节良恶性分类方法，一方面缓解了现有辅助诊断系统可解释性不足，医生不敢用的尴尬境地，另一方面通过属性学习和良恶性联合调优，在良恶性分类和属性预测中都取得了优异效果。本发明可以运用至实际的医疗场景，为减轻医生的工作做出贡献，因此本发明的创新点是利用传统图像特征方法提取肺结节特征集，即图像特征谱，用于定量刻画肺结节的像素、纹理、空间和形态特征，并建立医学征象谱与图像特征谱之间的内在关系，然后设计可解释的卷积神经网络进行的结节征象属性学习和良恶性预测，具体通过先建立肺结节医学征象谱和影像特征谱的映射关系，以及设计影像特征自动提取的方法，联合优化结节特征提取和良恶性分类诊断2个子任务，在提升属性预测、良恶性预测准确率的同时，为结节的预测结果提供可解释性。
最后说明的是，上述实施案例只是用以阐明本发明的技术方案而非限制。本领域的普通技术人员可以通过对本发明的理解，从形式上或者细节上对其进行改变和扩展，而不偏离所附权利要求书所限定的本发明的精神和范围。
Claims (5)
1.一种可解释的肺结节良恶性分类方法，其特征在于：具体包括以下步骤：
S1、首先将肺结节的各医学征象进行划分，构建医学征象谱；
S2、然后利用传统图像特征方法提取肺结节特征集，即图像特征谱，用于定量刻画肺结节的像素特征、纹理特征、空间特征和形态特征；
S3、通过对抗学习的医学征象和图像特征谱映射网络，来建立医学征象谱与肺结节图像特征的映射关系；
S4、构建可解释的CNN的征象属性学习和分类诊断联合优化网络模型，最终通过设计可解释的卷积神经网络学习获得结节征象属性和良恶性的分类，具体根据以下步骤获得：
S4-1、针对易于学习的医学征象，先利用现有的多分枝的深度学习网络来提取特征的方法步骤进行学习；
S4-2、针对不易学习的医学征象，可利用步骤S3中已经学习到的映射关系，完成这部分医学征象的提取特征；
S4-3、最后，再利用多层感知机进行优化，融合步骤S4-1和S4-2的组合学习的模式提取医学征象，然后学习得到每一个医学征象的重要性，对每一个医学征象赋予相应的权重，并作为诊断依据，最终给出精确的诊断结果，作为输出。
2.根据权利要求1所述的一种可解释的肺结节良恶性分类方法，其特征在于：所述步骤S3的具体包括以下步骤：
S3-1、将模型的输入定义为医学征象X，利用可学习的参数W和V，然后加权融合并生成医学征象：具体通过利用可学习的参数W先获得图像特征Y，然后利用可学习的参数V合成医学特征X'；
S3-2、然后利用卷积网络构建判别器，评价合成的医学特征X'是否能够真实的反应相关的医学征象X，将合成的医学特征X'作为损失函数，使用训练神经网络方法中的梯度下降算法进行训练调参最终获得医学征象谱与肺结节图像特征的映射关系，具体公式如下：
X'＝F(X,W,V|Y0,Y1,L,Ym) (1)；
Loss＝Dis(X,X') (2)；
其中，F表示特征选择网络，X表示需要进行映射的医学征象，W和V表示可学习的权重为预设的常数m表示自然数，Y0-Ym表示m个手工构建的传统图像特征，Dis表示判别器模型，图像特征选择网络以医学征象X为输入，利用基于神经网络的特征映射层，选择合适的图像特征Y0-Ym来表达医学征象X'；Loss表示损失函数。
3.根据权利要求1所述的一种可解释的肺结节良恶性分类方法，其特征在于：在步骤S4构建的可解释的CNN的征象属性学习和分类诊断联合优化网络模型过程中以肺结节影像作为输入，然后根据步骤S4-1和S4-2进行属性分类学习，分类学习过程中对易于提取的特征，就用卷积方法提取，难于提取的特征利用S3学习到的映射关系进行提取，也就是对难于提取的特征使用传统方法进行特征提取，并生成特定的医学征象，同时每一个卷积分枝都由卷积神经网络构成，在完成医学征象的提取后，将医学征象转换成维度相同的向量用S表示，为每一个医学征象设置一个学习权重，构成权重矩阵W，加权融合后输入多层感知机，并训练学习诊断过程。
4.根据权利要求3所述的一种可解释的肺结节良恶性分类方法，其特征在于：对于每一个医学征象来说其在诊断过程中的重要性由与其自身对应的权重矩阵W的均值决定，最后将各医学征象按照权重大小排序输出，获得最终的诊断结果，具体计算公式如下：
A{a1,a2,L,an}＝C(X)+T(X) (3)；
σ＝D(∑ai·Wi) (4)；
其中，C和T分别表示深度学习分枝和现有的深度学习网络方法分枝，A为两种分枝所提取的所有医学征象，D表示综合决策过程，包含了权重优化选择和多层感知机，σ为诊断结果，X表示需要进行映射的医学征象；其中，ai表示第i个医学特征，W表示其对应的权重矩阵，i表示自然数。
5.根据权利要求4所述的一种可解释的肺结节良恶性分类方法，其特征在于：在计算诊断结果σ的过程中还需要考虑损失函数，所述损失函数的计算公式如下：
Loss＝λ1Cr(attri)+λ2Cr(mali)+λ3Top3(attti) (5)；
其中，λ1，λ2和λ3为三个可训练的权重，Cr(attri)是计算医学征象提取的交叉熵损失，Cr(malig)是计算诊断结果的交叉熵损失，Top3(attri)是关键医学征象Top3损失，由预测的征象排名和实际的征象排名计算最小平方误差后获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010608458.0A CN111767952B (zh) | 2020-06-30 | 2020-06-30 | 一种可解释的肺结节良恶性分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010608458.0A CN111767952B (zh) | 2020-06-30 | 2020-06-30 | 一种可解释的肺结节良恶性分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111767952A true CN111767952A (zh) | 2020-10-13 |
| CN111767952B CN111767952B (zh) | 2024-03-29 |
Family
ID=72724731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010608458.0A Active CN111767952B (zh) | 2020-06-30 | 2020-06-30 | 一种可解释的肺结节良恶性分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767952B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077427A (zh) * | 2021-03-29 | 2021-07-06 | 北京深睿博联科技有限责任公司 | 一种类别预测模型的生成方法及装置 |
| CN113450309A (zh) * | 2021-05-28 | 2021-09-28 | 北京大学人民医院 | 乳腺癌的超声图像处理方法、电子设备及存储介质 |
| CN113763332A (zh) * | 2021-08-18 | 2021-12-07 | 上海建桥学院有限责任公司 | 一种基于三元胶囊网络算法的肺结节分析方法、装置及存储介质 |
| CN114529760A (zh) * | 2022-01-25 | 2022-05-24 | 北京医准智能科技有限公司 | 一种针对甲状腺结节的自适应分类方法及装置 |
| CN114677383A (zh) * | 2022-03-03 | 2022-06-28 | 西北工业大学 | 基于多任务学习的肺结节检测分割方法 |
| CN115187805A (zh) * | 2022-02-22 | 2022-10-14 | 数坤(北京)网络科技股份有限公司 | 一种征象识别方法、装置、电子设备和存储介质 |
| CN113763332B (zh) * | 2021-08-18 | 2024-05-31 | 上海建桥学院有限责任公司 | 一种基于三元胶囊网络算法的肺结节分析方法、装置及存储介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014134569A1 (en) * | 2013-02-28 | 2014-09-04 | Knopp Biosciences Llc | Compositions and methods for treating amyotrophic lateral sclerosis in responders |
| US20150025329A1 (en) * | 2013-07-18 | 2015-01-22 | Parkland Center For Clinical Innovation | Patient care surveillance system and method |
| CN107220373A (zh) * | 2017-06-19 | 2017-09-29 | 太原理工大学 | 一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法 |
| US20170337681A1 (en) * | 2016-03-09 | 2017-11-23 | Shenzhen Smart Imaging Healthcare Co., Ltd. | System and method for the classification of healthiness index from chest radiographs of a healthy person |
| CN107563383A (zh) * | 2017-08-24 | 2018-01-09 | 杭州健培科技有限公司 | 一种医学影像辅助诊断及半监督样本生成系统 |
| US20180240235A1 (en) * | 2017-02-23 | 2018-08-23 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
| US20180268292A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
| CN108648179A (zh) * | 2018-04-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种分析肺结节的方法及装置 |
| CN108776962A (zh) * | 2018-04-11 | 2018-11-09 | 浙江师范大学 | 一种构建肺肿瘤良恶性预测模型的方法 |
| US20200005460A1 (en) * | 2018-06-28 | 2020-01-02 | Shenzhen Imsight Medical Technology Co. Ltd. | Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium |
| CN110825819A (zh) * | 2019-09-24 | 2020-02-21 | 昆明理工大学 | 一种处理有缺失值和不平衡非小细胞肺癌数据的二分类方法 |
| CN110969613A (zh) * | 2019-12-06 | 2020-04-07 | 广州柏视医疗科技有限公司 | 一种具有影像征象解释的肺结核智能识别方法及系统 |
| CN111144474A (zh) * | 2019-12-25 | 2020-05-12 | 昆明理工大学 | 基于多视图、多尺度、多任务肺结节分类方法 |
| CN111192682A (zh) * | 2019-12-25 | 2020-05-22 | 上海联影智能医疗科技有限公司 | 一种影像操练数据处理方法、系统及存储介质 |
| CN111199566A (zh) * | 2019-12-31 | 2020-05-26 | 上海联影智能医疗科技有限公司 | 医疗图像处理方法、装置、存储介质及计算机设备 |
| CN111223076A (zh) * | 2019-12-30 | 2020-06-02 | 北京深睿博联科技有限责任公司 | 神经系统影像分析方法和装置 |
-
2020
- 2020-06-30 CN CN202010608458.0A patent/CN111767952B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014134569A1 (en) * | 2013-02-28 | 2014-09-04 | Knopp Biosciences Llc | Compositions and methods for treating amyotrophic lateral sclerosis in responders |
| US20150025329A1 (en) * | 2013-07-18 | 2015-01-22 | Parkland Center For Clinical Innovation | Patient care surveillance system and method |
| US20170337681A1 (en) * | 2016-03-09 | 2017-11-23 | Shenzhen Smart Imaging Healthcare Co., Ltd. | System and method for the classification of healthiness index from chest radiographs of a healthy person |
| US20180240235A1 (en) * | 2017-02-23 | 2018-08-23 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
| US20180268292A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
| CN107220373A (zh) * | 2017-06-19 | 2017-09-29 | 太原理工大学 | 一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法 |
| CN107563383A (zh) * | 2017-08-24 | 2018-01-09 | 杭州健培科技有限公司 | 一种医学影像辅助诊断及半监督样本生成系统 |
| CN108776962A (zh) * | 2018-04-11 | 2018-11-09 | 浙江师范大学 | 一种构建肺肿瘤良恶性预测模型的方法 |
| CN108648179A (zh) * | 2018-04-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种分析肺结节的方法及装置 |
| US20200005460A1 (en) * | 2018-06-28 | 2020-01-02 | Shenzhen Imsight Medical Technology Co. Ltd. | Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium |
| CN110825819A (zh) * | 2019-09-24 | 2020-02-21 | 昆明理工大学 | 一种处理有缺失值和不平衡非小细胞肺癌数据的二分类方法 |
| CN110969613A (zh) * | 2019-12-06 | 2020-04-07 | 广州柏视医疗科技有限公司 | 一种具有影像征象解释的肺结核智能识别方法及系统 |
| CN111144474A (zh) * | 2019-12-25 | 2020-05-12 | 昆明理工大学 | 基于多视图、多尺度、多任务肺结节分类方法 |
| CN111192682A (zh) * | 2019-12-25 | 2020-05-22 | 上海联影智能医疗科技有限公司 | 一种影像操练数据处理方法、系统及存储介质 |
| CN111223076A (zh) * | 2019-12-30 | 2020-06-02 | 北京深睿博联科技有限责任公司 | 神经系统影像分析方法和装置 |
| CN111199566A (zh) * | 2019-12-31 | 2020-05-26 | 上海联影智能医疗科技有限公司 | 医疗图像处理方法、装置、存储介质及计算机设备 |
Non-Patent Citations (5)
| Title |
|---|
| JING YANG等: ""Semantic Features Prediction for Pulmonary Nodule Diagnosis Based on Online Streaming Feature Selection"", 《IEEE ACCESS》, vol. 7, pages 61121 - 61135, XP011726430, DOI: 10.1109/ACCESS.2019.2903682 * |
| SHEN S等: ""An interpretabel deep hierarchical semantic convolutional neural network for lung nodule malignancy classification"", 《EXPERT SYSTEMS WITH APPLICATIONS》, vol. 128, pages 84 - 95 * |
| 巩萍等: ""基于语义属性的肺结节良恶性分类"", 《电子学报》, vol. 43, no. 12, pages 2476 - 2483 * |
| 张战成等: ""带有语义特征得分的肺结节检测方法"", 《计算机应用》, vol. 40, no. 3, pages 925 - 930 * |
| 杨晓兰等: ""基于医学征象和卷积神经网络的肺结节CT图像哈希检索"", 《智能系统学报》, vol. 12, no. 6, pages 857 - 864 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077427A (zh) * | 2021-03-29 | 2021-07-06 | 北京深睿博联科技有限责任公司 | 一种类别预测模型的生成方法及装置 |
| CN113077427B (zh) * | 2021-03-29 | 2023-04-25 | 北京深睿博联科技有限责任公司 | 一种类别预测模型的生成方法及装置 |
| CN113450309A (zh) * | 2021-05-28 | 2021-09-28 | 北京大学人民医院 | 乳腺癌的超声图像处理方法、电子设备及存储介质 |
| CN113763332A (zh) * | 2021-08-18 | 2021-12-07 | 上海建桥学院有限责任公司 | 一种基于三元胶囊网络算法的肺结节分析方法、装置及存储介质 |
| CN113763332B (zh) * | 2021-08-18 | 2024-05-31 | 上海建桥学院有限责任公司 | 一种基于三元胶囊网络算法的肺结节分析方法、装置及存储介质 |
| CN114529760A (zh) * | 2022-01-25 | 2022-05-24 | 北京医准智能科技有限公司 | 一种针对甲状腺结节的自适应分类方法及装置 |
| CN114529760B (zh) * | 2022-01-25 | 2022-09-02 | 北京医准智能科技有限公司 | 一种针对甲状腺结节的自适应分类方法及装置 |
| CN115187805A (zh) * | 2022-02-22 | 2022-10-14 | 数坤(北京)网络科技股份有限公司 | 一种征象识别方法、装置、电子设备和存储介质 |
| CN114677383A (zh) * | 2022-03-03 | 2022-06-28 | 西北工业大学 | 基于多任务学习的肺结节检测分割方法 |
| CN114677383B (zh) * | 2022-03-03 | 2024-03-15 | 西北工业大学 | 基于多任务学习的肺结节检测分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111767952B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109493308B (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| CN108364006B (zh) | 基于多模式深度学习的医学图像分类装置及其构建方法 | |
| Hariraj et al. | Fuzzy multi-layer SVM classification of breast cancer mammogram images | |
| CN111767952B (zh) | 一种可解释的肺结节良恶性分类方法 | |
| Wan et al. | Accurate segmentation of overlapping cells in cervical cytology with deep convolutional neural networks | |
| Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
| CN109658411A (zh) | 一种基于ct影像学特征与非小细胞肺癌患者预后情况的相关性分析方法 | |
| CN111291789B (zh) | 基于多阶段多特征深度融合的乳腺癌图像识别方法及系统 | |
| CN112381178B (zh) | 一种基于多损失特征学习的医学影像分类方法 | |
| Balamurugan et al. | Brain tumor segmentation and classification using hybrid deep CNN with LuNetClassifier | |
| JP2004536367A (ja) | コンピュータ利用画像分析 | |
| CN105760874A (zh) | 面向尘肺的ct图像处理系统及其ct图像处理方法 | |
| CN109214397A (zh) | 一种肺部ct图像中肺结节的分割方法 | |
| Jin et al. | Construction of retinal vessel segmentation models based on convolutional neural network | |
| Venmathi et al. | An automatic brain tumors detection and classification using deep convolutional neural network with VGG-19 | |
| Zuo et al. | An embedded multi-branch 3D convolution neural network for false positive reduction in lung nodule detection | |
| CN115471701A (zh) | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 | |
| CN114398979A (zh) | 一种基于特征解耦的超声图像甲状腺结节分类方法 | |
| Wang et al. | A ResNet‐based approach for accurate radiographic diagnosis of knee osteoarthritis | |
| Fazilov et al. | Patch-based lesion detection using deep learning method on small mammography dataset | |
| Liu et al. | Automated classification of cervical Lymph-Node-Level from ultrasound using depthwise separable convolutional swin transformer | |
| Yektaei et al. | Diagnosis of breast cancer using multiscale convolutional neural network | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Lu et al. | Breast tumor computer-aided detection system based on magnetic resonance imaging using convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |