CN112364920B - 基于深度学习的甲状腺癌病理图像分类方法 - Google Patents
基于深度学习的甲状腺癌病理图像分类方法 Download PDFInfo
- Publication number
- CN112364920B CN112364920B CN202011259621.3A CN202011259621A CN112364920B CN 112364920 B CN112364920 B CN 112364920B CN 202011259621 A CN202011259621 A CN 202011259621A CN 112364920 B CN112364920 B CN 112364920B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- network
- capsule
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000001575 pathological effect Effects 0.000 title claims abstract description 25
- 201000002510 thyroid cancer Diseases 0.000 title claims abstract description 23
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 22
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 239000002775 capsule Substances 0.000 claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 49
- 230000007170 pathology Effects 0.000 claims abstract description 32
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 18
- 238000011176 pooling Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims abstract description 5
- 230000006835 compression Effects 0.000 claims abstract description 3
- 238000007906 compression Methods 0.000 claims abstract description 3
- 238000013145 classification model Methods 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004195 computer-aided diagnosis Methods 0.000 abstract description 3
- 238000005096 rolling process Methods 0.000 abstract 1
- 238000004088 simulation Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 5
- 230000003211 malignant effect Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 208000016842 benign thyroid gland neoplasm Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000120 cytopathologic effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000849 parathyroid Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的甲状腺癌病理图像分类方法，主要解决现有方法对甲状腺癌病理图像分类效果差的问题。其实现方案是：读取甲状腺病理图像数据库，通过感受野网络提取低层卷积和池化特征并融合，得到融合后的低层特征；将融合后的低层特征通过胶囊网络提取高层特征，即预测的类别向量；通过动态路由算法对类别向量更新，得到最终的类别向量，通过压缩激活函数计算类别向量的模；将模值最大的向量通过解码重构网络进行图像重构；迭代更新感受野网络和胶囊网络中的权值完成模型训练；最后将待分类的甲状腺病理图像输入到训练好的模型中，得到最终分类结果。本发明提高了对甲状腺癌病理图像的分类精准，可用于计算机辅助诊断。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及甲状腺癌病理图像的分类方法，可用于甲状腺癌病理图像特征提取与甲状腺癌病理图像的分类。
背景技术
近年来，甲状腺癌在全球的发病率逐步提升，甲状腺癌的发病率在我国城镇地区女性的恶性肿瘤中处于第4位，从上世纪九十年代以来，我国的甲状腺癌的发病率增长约三倍，平均年增幅达到5％，甲状腺癌带来的危害越来越大。甲状腺癌的主要诊断方法有状腺自身抗体及肿瘤标志物检查、电子计算机断层成像CT、磁共振成像MRI及甲状腺癌细胞病理诊断等，其中甲状腺癌细胞病理诊断是最有效的癌症诊断方法，其诊断结果是判断甲状腺肿瘤良恶性的重要指标。
目前，国内外已经有越来越多的大学、医疗机构等与相应的医院进行合作，力争能将机器视觉技术应用到计算机辅助诊断上，从而创造出巨大的工业、商业价值。细胞病理诊断是被广泛关注的热点。病理图像的自动分类是甲状腺癌细胞病理诊断中尤为重要的一项工作。病理图像的自动分类是利用计算机辅助诊断，自动将病理图像分为良性和恶性，不仅能提高分类准确性，而且在一定程度上可提高医生诊断的效率，具有很大的临床应用价值。
由于图像之间差异较小、细胞间的重叠，使得甲状腺癌病理图像的自动分类成为一项具有挑战性的任务。现有的病理图像分类方法包括基于人工设计特征的方法和基于深度学习的方法。
基于人工设计特征的方法已经有十几年的发展历史。2007年，Kovach等人提出基于梯度直方图特征的方法对病理图像进行检测以及分类。2014年，Zhang等人提出一种基于单类核的主成分分析法，对病理图像进行分类。2015年，Xu等人利用HOG特征和滑动窗口的细胞检测方法,能快速，准确的检测高分辨率病理组织图像中的细胞。2016年，基于在颜色空间下的四种特征，Wang等人提出一种基于支持向量机的方法，对病理图像进行分类并得到较好效果。2017年，Usman等人采用强度差、邻域和小波纹理作为输入特征向量，来训练随机森林分类器对病理图像进行分类。
随着大规模训练数据的使用以及硬件GPU的发展，基于深度学习的病理图像分类方法在近年来迅速发展。2016年，Spanhol等人使用AlexNet网络，采取了多种特征融合的策略，在准确度上比传统方法高6％。2017年，Jamaluddin等人设计了一种CNN网络，该网络由12个卷积层以及池化层组成，在整幅病理切片WSI分类中取得不错的效果。2018年，Ren J使用有对抗训练，使用无监督的训练方法提高网络的分类能力。2019年，Xie J等人将自编码器与Inception网络结合，并采用K-mean算法对病理图像进行聚类，并取得良好效果。然而，上述方法在特征提取时损失了大量的特征信息，并且在训练分类网络时需要大量的数据，造成甲状腺癌病理图像的分类效果较差。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种基于深度学习的甲状腺病理图像分类方法，提高对甲状腺病理图像的分类准确率。
为实现上述目的，本发明使用了感受野网络和胶囊网络，并在网络结构中添加了并使用新的损失函数，其具体实现包括如下：
(1)构建由第一卷积特征层Conv1和两个分支组成的感受野网络，其中第一分支1为第二卷积特征层Conv2，第二分支2由第三卷积特征层Conv3和最大池化层Max_P1串联组成；
(2)将从甲状腺病理图像数据库读取128×128大小的病理图像输入到感受野网络，通过该网络的不同分支提取这些病理图像的低层特征，并将不同分支提取的低层特征进行融合，得到融合后的低层特征；
(3)将融合后的低层特征输入胶囊网络中的第四卷积特征层Conv4得到局部特征；并通过胶囊网络中的子代胶囊层从局部特征中提取其低层表示特征；再将低层表示特征输入到胶囊网络的父代胶囊分类层中得到高层特征即预测类别向量；通过动态路由算法对预测类别向量进行迭代更新，得到最终的类别向量；
(4)构建由三层全连接层串联组成的解码重构网络；
(5)通过解码重构网络对最终的类别向量进行图像重构，并计算重构损失Lr；
(6)通过压缩激活函数将(3)得到的最终类别向量的模压缩在[0,1)之间，其中模的大小表示每种类别的概率，即为分类结果，并计算分类损失LC：
其中，n为待分类样本的索引，yn甲状腺癌细胞分类的真实标签，pn为每种类别的分类概率，λ为全局惩罚系数，
C为惩罚参数，C＝2，ε为预测惩罚系数，ε＝0.05；
(7)将重构损失Lr与分类损失LC相加，得到总损失函数L的值；
(8)将胶囊网络和解码重构网络串联，通过反向传播迭代更新胶囊网络和解码重构网络中的权值8万次，使总损失函数L的值逐渐减小，完成对串联后网络的训练，得到最终的分类模型；
(9)将待分类的甲状腺病理图像输入到最终的分类模型中，得到最终的分类结果。
本发明与现有技术相比具有如下优点：
第一，本发明从提取甲状腺癌病理图像低层特征出发，构建感受野网络，提取了低层卷积特征和低层池化特征，并对两种特征进行叠加融合，得到对病理图像分类更有利的特征信息，解决了现有技术在特征提取时损失大量特征的问题，提高了分类准确率。
第二，本发明由于提出了新的分类损失函数，且增加有对分类样本的惩罚系数，解决了现有技术对分类样本的不敏感问题，提高了对分类样本的敏感度，并进一步提高了分类准确率。
附图说明
图1是本发明的实现流程图；
图2是本发明中构建的感受野网络示意图；
图3是本发明中构建的解码重构网络示意图；
图4是现有的胶囊网络示意图。
具体实施方式
以下结合附图对本发明实施例和效果做进一步详细描述。
参照图1，本发明的具体实施步骤如下：
步骤1，构建感受野网络。
1.1)设置三个卷积特征层和一个最大池化层：
第一卷积特征层Conv1的卷积核大小为9×9，步长为2，用于将原始128×128大小的特征图缩小为60×60；
第二卷积特征层Conv2的卷积核大小为5×5，步长为2，用于将第一卷积特征层Conv1卷积操作后的特征图缩小为28×28；
第三卷积特征层Conv3的卷积核的大小为5×5，步长为1；
最大池化层Max_P1的池化核大小为2×2，用于将第一卷积特征层Conv1卷积操作后的特征图缩小为28×28。
1.2)将所述3个卷积特征层与最大池化层相互连接，即将第一卷积特征层Conv1分别与第二卷积特征层Conv2左端和第三卷积特征层Conv3左端串联；将第二卷积特征层Conv2右端与最大池化层Max_P1右端并联；将第三卷积特征层Conv3右端与最大池化层Max_P1左端串联，构成感受野网络，如图2所示。
步骤2，提取图像的低层卷积特征和低层池化特征，并叠加融合。
2.1)将从甲状腺病理图像数据库读取128×128大小的病理图像输入到感受野网络中的第一卷积特征层Conv1，从原始128×128大小的特征图中获得60×60大小的特征图；
2.2)将60×60大小的特征图输入到感受野网络中第二卷积特征层Conv2，获得缩小为28×28的低层卷积特征；
2.3)将60×60大小的特征图输入到感受野网络中第三卷积特征层Conv3，从该特征图中获得56×56大小的特征图；
2.4)将56×56大小的特征图输入到最大池化层Max_P1中，获得缩小为28×28的低层池化特征；
2.5)将获得的低层卷积特征与低层池化特征通过叠加融合操作，获得融合后的低层特征。
步骤3，将感受野网络得到的低层特征通过胶囊网络得到预测类别向量：
所述胶囊网络，由第四卷积层Conv4、子代胶囊层和父代胶囊层依次串联组成，如图4所示。图4中第四卷积特征层Conv4的卷积核大小为9×9，步长为2；子代胶囊层由8个8通道的卷积层组成，每个卷积层的卷积核大小为9×9，步长为2；父代胶囊层由两个长度为16的向量组成。
3.1)将融合后的低层特征通过胶囊网络中第四卷积特征层Conv4得到缩小为20×20局部特征；
3.3)将局部特征输入到子代胶囊层中，获得由8个子代胶囊组成的低层表示特征，每个子代胶囊由8个通道的特征图组成，其中每个通道的特征图大小为6×6；
3.4)将低层表示特征输入到父代胶囊层中，获得由2个父代胶囊组成的高层特征，即预测类别向量，每个父代胶囊是长度为16的向量：
其中，
表示第j个父代胶囊的预测类别向量，Wij表示第i个子代胶囊和第j个父代胶囊通过反向传播计算得到的权重，μi表示第i个子代胶囊的低层表示特征。
步骤4，通过路由算法更新预测类别向量，得到最终的类别向量。
4.1)设第i个子代胶囊与第j个父代胶囊的可能性系数为bij，并将其初始值设置为0；
4.2)通过第j个类别向量的模vj和第j个父代胶囊的预测类别向量
迭代更新三次可能性系数bij：
其中，
为前一次迭代更新得到的可能性系数；
4.3)通过可能性系数bij计算得到第i个子代胶囊与第j个父代胶囊的耦合系数cij：
其中，
4.4)通过第j个父代胶囊的预测类别向量
和耦合系数cij得到第j个类别的类别向量sj：
步骤5，通过激活函数计算类别向量的模，并计算分类损失LC：
5.1)由压缩激活函数计算类别向量的模：
其中，sj表示第j个类别向量，vj表示第j个类别向量的模，即第j个类别的分类概率，其大小在[0,1)之间。
5.2)从类别向量的模vj中取其最大模值为
5.3)通过最大模值
计算分类损失LC：
其中，n为分类样本的索引，yn为图像的真实标签，λ为全局惩罚系数，
C为惩罚参数，ε为预测惩罚系数，本实例取C＝2，ε＝0.05。
步骤6，构建解码重构网络，并进行图像重构。
6.1)设置三个全连接层，并依次串联，构成解码重构网络，如图3所示。图3中第一个全连接层的大小为512，第二个全连接层的大小为1024，第三个全连接层的大小为16384，该第三个全连接层的大小与输入原始图像的像素数量一致，以保证重建结果与输入图像之间的差异最小。
6.2)将最终类别向量sj中模值最大的类别向量smax输入到解码重构网络中进行图像重构；
6.3)从类别向量的模vj中取最大模值为
6.4)通过最大模值
计算重构损失Lr：
其中，n为待分类样本的索引，N为样本总数，yn为图像的真实标签。
步骤7，根据重构损失Lr和分类损失LC，得到总损失函数L的值为：
L＝Lr+LC。
步骤8，迭代更新胶囊网络和解码重构网络中的权值，完成模型训练。
将胶囊网络与解码重构网络进行串联，通过反向传播迭代算法更新胶囊网络和解码重构网络中的权值8万次，使总损失函数L的值逐渐减小，完成对串联后网络的训练，得到最终的分类模型。
步骤9，将待分类的甲状腺病理图像输入到最终的分类模型中，得到最终的分类结果。
以下结合仿真实验对本发明的效果做进一步的描述。
1.仿真条件
硬件设施上，配有搭载内存为128GB的I7-5930K处理器及4块泰坦X显卡的高性能计算机。
实验使用甲状腺病理图像数据集，数据集包括7928幅正常病理图像和8572幅癌变病理图像。病理图像从55例甲状腺癌病理切片图像中收集获得，病理切片均由KF-PRO-005扫描仪扫描获取。
将数据集按照患者级别随机分为训练数据集和测试数据集，使用80％数据进行训练，20％的数据集作为测试数据集。
仿真实验方法：本发明和现有的四种基于深度学习的分类方法，其中现有的第一种方法是发表在ICLR2015的VGG-16网络，第二种方法是发表在CVPR2016的Inception-v3网络，第三种方法是发表在CVPR2017的密集卷积网络DenseNet，第四种方法是发表在CVPR2018的神经架构搜索网络NASNet。
2.仿真实验内容：
仿真实验1：用本发明和现有的四种方法对甲状腺病理图像数据集进行分类实验，得到各类评价指标，如表1所示：
表1
表1中Accuracy表示不同方法在分类病理图像的恶性或良性的性能；Recall指正确识别的恶性和良性病理图像的比例；Precision指真实阳性病理图像在检索到的阳性病理图像中所占的比例；F-score是测试准确度的衡量标准。
从表1可见，本发明对甲状腺病理图像的各个分类指标结果都要优于其它现有的四种方法。验证了本发明对甲状腺病理图像分类有良好的效果。
仿真实验2：用本发明和现有的四种方法对甲状腺病理图像数据集进行分类敏感性实验，如表2所示：
表2
表2中FNR指恶性被错分类为良性的概率，FPR指良性错分为恶性的概率。
从表2可见，本发明对甲状腺病理图像分类敏感性要优于其它现有的四种方法，验证了本发明对错分样本的准确率有良好的改善效果。
上述仿真结果表明本发明具有对甲状腺病理图像分类的准确性、有效性和可靠性。
Claims (8)
1.一种基于深度学习的甲状腺癌病理图像分类方法，其特征在于，包括如下：
(1)构建由第一卷积特征层Conv1和两个分支组成的感受野网络，其中第一分支1为第二卷积特征层Conv2，第二分支2由第三卷积特征层Conv3和最大池化层Max_P1串联组成；
(2)将从甲状腺病理图像数据库读取128×128大小的病理图像输入到感受野网络，通过该网络的不同分支提取这些病理图像的低层特征，并将不同分支提取的低层特征进行融合，得到融合后的低层特征；
(3)将融合后的低层特征输入胶囊网络中的第四卷积特征层Conv4得到局部特征；并通过胶囊网络中的子代胶囊层从局部特征中提取其低层表示特征；再将低层表示特征输入到胶囊网络的父代胶囊分类层中得到高层特征即预测类别向量；通过动态路由算法对预测类别向量进行迭代更新，得到最终的类别向量；
(4)构建由三层全连接层串联组成的解码重构网络；
(5)通过压缩激活函数将(3)得到的最终类别向量的模压缩在[0,1)之间，其中模的大小表示每种类别的概率，即为每个类别的分类概率，并计算分类损失LC：
其中，n为分类样本的索引，yn图像的真实标签，
为类别向量的模值最大的值，λ为全局惩罚系数，/>
C为惩罚参数，C＝2，ε为预测惩罚系数，ε＝0.05；
(6)通过解码重构网络对最终的类别向量进行图像重构，并计算重构损失Lr；
(7)将重构损失Lr与分类损失LC相加，得到总损失函数L的值；
(8)将胶囊网络和解码重构网络串联，通过反向传播迭代更新胶囊网络和解码重构网络中的权值8万次，使总损失函数L的值逐渐减小，完成对串联后网络的训练，得到最终的分类模型；
(9)将待分类的甲状腺病理图像输入到最终的分类模型中，得到最终的分类结果。
2.根据权利要求1所述的方法，其中(1)中构建的感受野网络，结构关系为：第一卷积特征层Conv1分别与第二卷积特征层Conv2左端和第三卷积特征层Conv3左端串联；第二卷积特征层Conv2右端与最大池化层Max_P1右端并联；第三卷积特征层Conv3右端与最大池化层Max_P1左端串联；
该第一卷积特征层Conv1的卷积核大小为9×9，步长为2，用于将原始128×128大小的特征图缩小为60×60；
该第二卷积特征层Conv2的卷积核大小为5×5，步长为2，用于将第一卷积特征层Conv1卷积操作后的特征图缩小为28×28；
该第三卷积特征层Conv3的卷积核的大小为5×5，步长为1；最大池化层Max_P1的池化核大小为2×2，用于将第一卷积特征层Conv1卷积操作后的特征图缩小为28×28。
3.根据权利要求1所述的方法，其中(2)中感受野网络的不同分支提取甲状腺病理图像的低层特征，实现如下：
2a)通过感受野网络中的第一卷积特征层Conv1从原始128×128大小的特征图中获得60×60大小的特征图；
2b)通过感受野网络中第一分支1的第二卷积特征层Conv2从60×60大小的特征图中获得低层卷积特征，并将60×60大小的特征图缩小为28×28；
2c)通过感受野网络中第二分支2的第三卷积特征层Conv3从60×60大小的特征图中获得56×56大小的特征图；通过最大池化层Max_P1从56×56大小的特征图中获得低层池化特征，并将该特征图缩小为28×28；
2d)将第一分支1获得的低层卷积特征与第二分支2获得的低层池化特征通过叠加融合操作，获得融合后的低层特征。
4.根据权利要求1所述的方法，其中(3)中胶囊网络提取高层特征，实现如下：
3a)将(2)中融合后的低层特征通过第四卷积特征层Conv4得到局部特征，并将特征图缩小为20×20；
3b)通过子代胶囊层从局部特征中提取低层表示特征，并获得8个子代胶囊，每个子代胶囊由8通道的特征图组成，特征图大小为6×6；
3c)通过如下式计算父代胶囊层从低层表示特征中获取的高层特征，即预测类别向量，得到2个父代胶囊，每个父代胶囊是长度为16的向量：
其中，
表示第j个父代胶囊的预测类别向量，Wij表示第i个子代胶囊和第j个父代胶囊通过反向传播计算得到的权重，μi表示第i个子代胶囊的低层表示特征。
5.根据权利要求1所述的方法，其中(3)中通过动态路由算法对预测类别向量进行迭代更新，实现如下：
3d)设第i个子代胶囊与第j个父代胶囊的可能性系数为bij，并将其初始值设置为0；
3e)通过第j个类别向量的模vj和第j个父代胶囊的预测类别向量
迭代更新三次可能性系数bij：
其中，
为前一次迭代更新得到的可能性系数；
3f)通过可能性系数bij得到第i个子代胶囊与第j个父代胶囊的耦合系数cij：
3g)通过第j个父代胶囊的预测类别向量
和耦合系数cij得到第j个类别的类别向量sj：
6.根据权利要求1所述的方法，其中(4)中解码重构网络的各层大小如下：
第一个全连接层的大小为512；
第二个全连接层的大小为1024；
第三个全连接层的大小为16384，其与输入原始图像的像素数量一致，以保证重建结果与输入图像之间的差异最小。
7.根据权利要求1所述的方法，其中(5)中类别向量的模，由压缩激活函数计算如下：
其中，sj表示第j个类别向量，vj表示第j个类别向量的模，其大小在[0,1)之间。
8.根据权利要求1所述的方法，其中(6)中计算重构损失Lr，通过下式计算：
其中，n为分类样本的索引，N为样本总数，yn图像的真实标签，
为类别向量sj中向量最大的模值。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011259621.3A CN112364920B (zh) | 2020-11-12 | 2020-11-12 | 基于深度学习的甲状腺癌病理图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011259621.3A CN112364920B (zh) | 2020-11-12 | 2020-11-12 | 基于深度学习的甲状腺癌病理图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112364920A CN112364920A (zh) | 2021-02-12 |
| CN112364920B true CN112364920B (zh) | 2023-05-23 |
Family
ID=74514458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011259621.3A Active CN112364920B (zh) | 2020-11-12 | 2020-11-12 | 基于深度学习的甲状腺癌病理图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364920B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052236A (zh) * | 2021-03-22 | 2021-06-29 | 山西三友和智慧信息技术股份有限公司 | 一种基于NASNet的肺炎图像分类方法 |
| CN113205137B (zh) * | 2021-04-30 | 2023-06-20 | 中国人民大学 | 一种基于胶囊参数优化的图像识别方法及系统 |
| CN113314215A (zh) * | 2021-05-21 | 2021-08-27 | 北京航空航天大学 | 超声甲状腺结节样例丰富及良恶性自动辅助识别系统 |
| CN113506287A (zh) * | 2021-07-27 | 2021-10-15 | 陕西师范大学 | 全视野病理切片图像分类方法、装置、设备及存储介质 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915676A (zh) * | 2015-05-19 | 2015-09-16 | 西安电子科技大学 | 基于深层特征学习和分水岭的sar图像分类 |
| CN107194336A (zh) * | 2017-05-11 | 2017-09-22 | 西安电子科技大学 | 基于半监督深度距离度量网络的极化sar图像分类方法 |
| CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
| CN108764283A (zh) * | 2018-04-20 | 2018-11-06 | 北京达佳互联信息技术有限公司 | 一种分类模型的损失值获取方法及装置 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN109325528A (zh) * | 2018-09-05 | 2019-02-12 | 浙江长兴笛卡尔科技有限公司 | 基于统计概率的损失函数计算方法、电子设备、存储介质 |
| CN109800817A (zh) * | 2019-01-25 | 2019-05-24 | 西安电子科技大学 | 基于融合语义神经网络的图像分类方法 |
| CN109840560A (zh) * | 2019-01-25 | 2019-06-04 | 西安电子科技大学 | 基于胶囊网络中融入聚类的图像分类方法 |
| CN110059741A (zh) * | 2019-04-15 | 2019-07-26 | 西安电子科技大学 | 基于语义胶囊融合网络的图像识别方法 |
| CN110084320A (zh) * | 2019-05-08 | 2019-08-02 | 广东工业大学 | 甲状腺乳头状癌超声图像识别方法、装置、系统及介质 |
| CN110097104A (zh) * | 2019-04-22 | 2019-08-06 | 安徽大学 | 基于深度学习的苹果叶片病害分类方法及其自动识别装置 |
| CN110110668A (zh) * | 2019-05-08 | 2019-08-09 | 湘潭大学 | 一种基于反馈权重卷积神经网络和胶囊神经网络的步态识别方法 |
| CN110288555A (zh) * | 2019-07-02 | 2019-09-27 | 桂林电子科技大学 | 一种基于改进的胶囊网络的低照度增强方法 |
| CN110599457A (zh) * | 2019-08-14 | 2019-12-20 | 广东工业大学 | 一种基于bd胶囊网络的柑橘黄龙病分类方法 |
| CN110657984A (zh) * | 2019-09-27 | 2020-01-07 | 重庆大学 | 一种基于强化胶囊网络的行星齿轮箱故障诊断方法 |
| CN111046916A (zh) * | 2019-11-20 | 2020-04-21 | 上海电机学院 | 一种基于空洞卷积胶囊网络的电机故障诊断方法及系统 |
| CN111079862A (zh) * | 2019-12-31 | 2020-04-28 | 西安电子科技大学 | 基于深度学习的甲状腺乳头状癌病理图像分类方法 |
| CN111191660A (zh) * | 2019-12-30 | 2020-05-22 | 浙江工业大学 | 一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法 |
| CN111275103A (zh) * | 2020-01-19 | 2020-06-12 | 浙江工业大学之江学院 | 多视角信息协作的肾脏良恶性肿瘤分类方法 |
| CN111582393A (zh) * | 2020-05-13 | 2020-08-25 | 山东大学 | 基于三维深度学习网络预测肺结节良恶性的多种病理类型的分类方法 |
| CN111798464A (zh) * | 2020-06-30 | 2020-10-20 | 天津深析智能科技有限公司 | 基于深度学习的淋巴瘤病理图像智能识别方法 |
-
2020
- 2020-11-12 CN CN202011259621.3A patent/CN112364920B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915676A (zh) * | 2015-05-19 | 2015-09-16 | 西安电子科技大学 | 基于深层特征学习和分水岭的sar图像分类 |
| CN107194336A (zh) * | 2017-05-11 | 2017-09-22 | 西安电子科技大学 | 基于半监督深度距离度量网络的极化sar图像分类方法 |
| CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
| CN108764283A (zh) * | 2018-04-20 | 2018-11-06 | 北京达佳互联信息技术有限公司 | 一种分类模型的损失值获取方法及装置 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN109325528A (zh) * | 2018-09-05 | 2019-02-12 | 浙江长兴笛卡尔科技有限公司 | 基于统计概率的损失函数计算方法、电子设备、存储介质 |
| CN109800817A (zh) * | 2019-01-25 | 2019-05-24 | 西安电子科技大学 | 基于融合语义神经网络的图像分类方法 |
| CN109840560A (zh) * | 2019-01-25 | 2019-06-04 | 西安电子科技大学 | 基于胶囊网络中融入聚类的图像分类方法 |
| CN110059741A (zh) * | 2019-04-15 | 2019-07-26 | 西安电子科技大学 | 基于语义胶囊融合网络的图像识别方法 |
| CN110097104A (zh) * | 2019-04-22 | 2019-08-06 | 安徽大学 | 基于深度学习的苹果叶片病害分类方法及其自动识别装置 |
| CN110084320A (zh) * | 2019-05-08 | 2019-08-02 | 广东工业大学 | 甲状腺乳头状癌超声图像识别方法、装置、系统及介质 |
| CN110110668A (zh) * | 2019-05-08 | 2019-08-09 | 湘潭大学 | 一种基于反馈权重卷积神经网络和胶囊神经网络的步态识别方法 |
| CN110288555A (zh) * | 2019-07-02 | 2019-09-27 | 桂林电子科技大学 | 一种基于改进的胶囊网络的低照度增强方法 |
| CN110599457A (zh) * | 2019-08-14 | 2019-12-20 | 广东工业大学 | 一种基于bd胶囊网络的柑橘黄龙病分类方法 |
| CN110657984A (zh) * | 2019-09-27 | 2020-01-07 | 重庆大学 | 一种基于强化胶囊网络的行星齿轮箱故障诊断方法 |
| CN111046916A (zh) * | 2019-11-20 | 2020-04-21 | 上海电机学院 | 一种基于空洞卷积胶囊网络的电机故障诊断方法及系统 |
| CN111191660A (zh) * | 2019-12-30 | 2020-05-22 | 浙江工业大学 | 一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法 |
| CN111079862A (zh) * | 2019-12-31 | 2020-04-28 | 西安电子科技大学 | 基于深度学习的甲状腺乳头状癌病理图像分类方法 |
| CN111275103A (zh) * | 2020-01-19 | 2020-06-12 | 浙江工业大学之江学院 | 多视角信息协作的肾脏良恶性肿瘤分类方法 |
| CN111582393A (zh) * | 2020-05-13 | 2020-08-25 | 山东大学 | 基于三维深度学习网络预测肺结节良恶性的多种病理类型的分类方法 |
| CN111798464A (zh) * | 2020-06-30 | 2020-10-20 | 天津深析智能科技有限公司 | 基于深度学习的淋巴瘤病理图像智能识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| A Deep Learning Iris Recognition Method Based on Capsule Network Architecture;Tianming Zhao等;《IEEE Access》;20190412;第7卷;49691-49701 * |
| Knowledge-based Collaborative Deep Learning for Benign-Malignant Lung Nodule Classification on Chest CT;Yutong Xie等;《IEEE Transactions on Medical Imaging》;20181017;第38卷(第4期);991-1004 * |
| Multi-channel EEG-based emotion recognition via a multi-level features guided capsule network;Yu Liu等;《Computers in Biology and Medicine》;20200722;第123卷;1-11 * |
| 基于胶囊网络的甲状腺结节超声图像分类研究;刘凯;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20200615;第2020年卷(第6期);E060-70 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112364920A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112364920B (zh) | 基于深度学习的甲状腺癌病理图像分类方法 | |
| CN109615636B (zh) | Ct影像的肺叶段分割中的血管树构造方法、装置 | |
| He et al. | Automated model design and benchmarking of deep learning models for covid-19 detection with chest ct scans | |
| Alzubaidi et al. | Robust application of new deep learning tools: an experimental study in medical imaging | |
| Li et al. | Classification of breast mass in two‐view mammograms via deep learning | |
| Ghosh et al. | Deep transfer learning for automated intestinal bleeding detection in capsule endoscopy imaging | |
| CN111553892A (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| Niyaz et al. | Advances in deep learning techniques for medical image analysis | |
| Yao et al. | Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| Liang et al. | Dense networks with relative location awareness for thorax disease identification | |
| Molahasani Majdabadi et al. | Capsule GAN for prostate MRI super-resolution | |
| CN114119516A (zh) | 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法 | |
| Feng et al. | Automatic localization and segmentation of focal cortical dysplasia in FLAIR‐negative patients using a convolutional neural network | |
| Sun et al. | Two‐view attention‐guided convolutional neural network for mammographic image classification | |
| Malibari et al. | Artificial intelligence based prostate cancer classification model using biomedical images | |
| CN113269799A (zh) | 一种基于深度学习的宫颈细胞分割方法 | |
| CN112233106A (zh) | 一种基于残差胶囊网络的甲状腺癌超声影像分析方法 | |
| CN111582330A (zh) | 基于肺部肿瘤影像划分样本空间下的集成ResNet-NRC方法 | |
| Yan et al. | Two and multiple categorization of breast pathological images by transfer learning | |
| CN115984257A (zh) | 一种基于多尺度transformer的多模态医学图像融合方法 | |
| Liu et al. | Transparency-guided ensemble convolutional neural network for the stratification between pseudoprogression and true progression of glioblastoma multiform in MRI | |
| CN115330600A (zh) | 一种基于改进srgan的肺部ct图像超分辨率方法 | |
| CN114782532A (zh) | 一种用于pet-ct多模态肿瘤分割的空间注意力方法及装置 | |
| CN113889235A (zh) | 一种三维医学影像无监督特征抽取系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |