CN110059730A - 一种基于胶囊网络的甲状腺结节超声图像分类方法 - Google Patents
一种基于胶囊网络的甲状腺结节超声图像分类方法 Download PDFInfo
- Publication number
- CN110059730A CN110059730A CN201910237702.4A CN201910237702A CN110059730A CN 110059730 A CN110059730 A CN 110059730A CN 201910237702 A CN201910237702 A CN 201910237702A CN 110059730 A CN110059730 A CN 110059730A
- Authority
- CN
- China
- Prior art keywords
- capsule network
- layer
- thyroid nodule
- image
- ultrasound image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000002775 capsule Substances 0.000 title claims abstract description 57
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 48
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 47
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 14
- 230000004069 differentiation Effects 0.000 claims abstract description 7
- 210000002569 neuron Anatomy 0.000 claims description 15
- 241000033695 Sige Species 0.000 claims description 12
- 238000013519 translation Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 235000009854 Cucurbita moschata Nutrition 0.000 description 2
- 240000001980 Cucurbita pepo Species 0.000 description 2
- 235000009852 Cucurbita pepo Nutrition 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000505 pernicious effect Effects 0.000 description 2
- 235000020354 squash Nutrition 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 208000013076 thyroid tumor Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于胶囊网络的甲状腺结节超声图像分类方法，所述方法包括以下步骤：对甲状腺超声影像进行预处理，通过神经网络结合图像微分识别超声影像中的人工标记；通过边界调整获取用于界定甲状腺结节位置的矩形框；构建胶囊网络应用于甲状腺结节超声影像的分类中，并对胶囊网络结构进行调整；将Dropout加入调整后的胶囊网络中，稳定训练过程、改进分类效果。本发明有效克服传统卷积神经网络分类技术在池化过程中丢失重要信息、训练出的模型不具有平移、旋转不变性等问题，提高了胶囊网络在甲状腺超声影像分类任务中的准确率。
Description
技术领域
本发明涉及深度学习、计算机辅助医疗和医学影像处理领域，尤其涉及一种基于胶囊网络的甲状腺结节超声图像分类方法。
背景技术
目前，许多研究将机器学习分类方法应用到医学图像分类等方面，为医生的诊断提供有效的辅助。在相关技术中，在甲状腺结节超声图像分类主要有两种方法：一种是传统的机器学习方法。Si Luo等人[1]提出一种基于甲状腺结节超声图像特征对甲状腺结节进行分类的方法，通过使用从超声成像图像序列提取的应变速率波形的功率谱对甲状腺结节进行分类，并在实验中获得了0.88的AUC评判分数。Jieming Ma等人[2]提出一种基于SVM的甲状腺结节超声图像分类方法，通过在代价函数中增加惩罚项而有效地防止了过拟合，达到了86.6％的准确率。
另一类方法是深度学习方法。Jianning Chi等人[3]提出一种用深度卷积神经网络对甲状腺结节超声图像进行分类的方法，该方法首先对超声图像进行预处理，去除超声结果以外的影响，然后用GoogLeNet这种深度卷积神经网络对预处理后的图像进行良恶性分类，实验表明这种方法表现出了优异的分类结果。Jinlian Ma等人[4]提出了一种基于深度卷积神经网络进行甲状腺结节超声图像分类的方法，该研究者认为不同结构的卷积神经网络能够学习到图像的不同特征，因此采用两个卷积神经网络同时对超声图像进行特征提取。为了让训练过程有一个更友好的初始化参数，该研究人员先在ImageNet数据集上对卷积神经网络进行了预训练，将预训练的模型作为甲状腺超声图像分类模型的初始参数。实验证明，两个单独的卷积神经网络分别达到了81.94％和82.34的准确率，而融合两个卷积神经网络后，准确率则达到了83.02％。
近几年来，深度卷积神经网络在图像分类方面取得了非常不错的表现，但是卷积神经网络存在以下几个缺点：
1)模型的构建需要大量的训练数据；2)池化操作损失了很多重要信息；3)没有考虑对象之间的重要空间层次关系，模型不具有平移、旋转不变性。
针对以上问题，胶囊网络只需要较少的训练数据，便可达到甚至超过深度卷积神经网络的结果；采用路由协议算法代替了池化操作，映射目标的层次结构，因此每个部分都分配给一个整体。它对旋转、平移和其他仿射变换有很强的健壮性。Rodney LaLonde和UlasBagci[5]将胶囊网络和UNet网络结构相结合，提出了用于分割医学图像的分割模型SegCaps，在肺部CT图像的分割实验表明，与UNet网络相比，SegCaps在分割准确性方面有一定的提高。Parnian Afshar等人[6]、Tomas Iesmantas等人[7]、Amara Dinesh Kumar等人[8]分别将胶囊网络应用到了脑肿瘤分类、乳腺癌组织学图像分类以及交通标志图像分类任务上面，和传统的方法相比，均得到了较好的分类结果。
然而目前在甲状腺超声诊断领域，还未有基于胶囊网络的方法被提出。此外，胶囊网络仍存在训练不稳定的问题。
参考文献
[1]Luo S,Kim E H,Dighe M,et al.Thyroid nodule classification usingultrasound elastography via linear discriminant analysis[J].Ultrasonics,2011,51(4):425-431.
[2]Ma J,Luo S,Dighe M,et al.Differential diagnosis of thyroid noduleswith ultrasound elastography based on support vector machines[C].UltrasonicsSymposium(IUS),2010IEEE.IEEE,2010:1372-1375.
[3]Chi J,Walia E,Babyn P,et al.Thyroid nodule classification inultrasound images by fine-tuning deep convolutional neural network[J].Journalof digital imaging,2017,30(4):477-486.
[4]Ma J,Wu F,Zhu J,et al.A pre-trained convolutional neural networkbased method for thyroid nodule diagnosis[J].Ultrasonics,2017,73:221-230.
[5]LaLonde R,Bagci U.Capsules for Object Segmentation[J].arXivpreprint arXiv:1804.04241,2018.
[6]Afshar P,Mohammadi A,Plataniotis K N.Brain tumor typeclassification via capsule networks[J].arXiv preprint arXiv:1802.10200,2018.
[7]Iesmantas T,Alzbutas R.Convolutional capsule network forclassification of breast cancer histology images[C].International ConferenceImage Analysis and Recognition.Springer,Cham,2018:853-860.
[8]Kumar A D.Novel Deep Learning Model for Traffic Sign DetectionUsing Capsule Networks[J].arXiv preprint arXiv:1805.04424,2018.
[9]Srivastava N,Hinton G,Krizhevsky A,et al.Dropout:A Simple Way toPrevent Neural Networks from Overfitting[J].Journal of Machine LearningResearch,2014,15(1):1929-1958.
发明内容
本发明提供了一种基于胶囊网络的甲状腺结节超声图像分类方法，本发明有效克服传统卷积神经网络分类技术在池化过程中丢失重要信息、训练出的模型不具有平移、旋转不变性等问题，提高了胶囊网络在甲状腺超声影像分类任务中的准确率，详见下文描述：
一种基于胶囊网络的甲状腺结节超声图像分类方法，所述方法包括以下步骤：
对甲状腺超声影像进行预处理，通过神经网络结合图像微分识别超声影像中的人工标记；通过边界调整获取用于界定甲状腺结节位置的矩形框；
构建胶囊网络应用于甲状腺结节超声影像的分类中，并对胶囊网络结构进行调整；将Dropout加入调整后的胶囊网络中，稳定训练过程、改进分类效果。
所述神经网络具体为：
输入层是19×19的图像，通过一层3×3的卷积层与一层2×2的池化层降低图像的尺寸并学习浅层的特征；
通过一层5×5的卷积层与一层2×2的池化层来学习深层次的特征，最后是两层全连接层，分别具有256个神经元与2个神经元，其中最后一层全连接层的2个神经元是神经网络的分类输出，用来表示输入图像是否是一个符号。
其中，所述结合图像微分识别超声影像中的人工标记具体为：
其中，C＝R×L，L为拉普拉斯算子，R为图像，η为用于图像二值化的阈值。
进一步地，所述通过边界调整获取用于界定甲状腺结节位置的矩形框具体为：
情况一找到多于两个加号：给出每个位置上的符号是加号的概率，通过对比不同位置的概率来确定选取哪两个位置作为加号；
情况二未找到乘号：根据加号的位置确定矩形框的左右边界，以两个加号的连线作为水平中轴线做一个正方形估计甲状腺结节的位置；
情况三只找到一个乘号：如果当前乘号位于两个加号连接的线段的一侧，则以连接线为对称轴估计另一侧的乘号所在的位置，若另一侧不存在乘号，则当前乘号是错误识别的，根据情况二估计甲状腺结节的位置；
情况四找到两个或多个乘号：按照情况三逐个处理找到的乘号，直到一侧最多留下一个乘号为止。
所述方法还包括：
若错误识别出的乘号与加号的距离大于阈值，此时丢弃较远的乘号；
所述阈值取为图像上边界中点和左边界中点之间的距离。
其中，所述将Dropout加入调整后的胶囊网络具体为：
将Dropout引入到主胶囊层中，在动态路由开始之前，丢弃掉一部分向量神经元。
本发明提供的技术方案的有益效果是：
1、本发明可以准确、快速地判断超声图像中的某个位置是否存在一个人工标记的符号，并给出符号的类别和属于该类别的概率；
2、本发明在训练过程中，验证集准确率变化曲线波动情况更加稳定，准确率基本维持在较高水平。
附图说明
图1为一种基于胶囊网络的甲状腺结节超声图像分类方法的流程图；
图2为甲状腺超声标记识别情况的示意图；
图3为甲状腺结节定位结果的示意图；
图4为胶囊网络结构模型在不同Dropout[9]情况下的分类准确率的示意图；
图5为采用和不采用Dropout对训练过程的影响示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提供了一种基于胶囊网络的甲状腺结节超声图像分类方法，参见图1，该方法包括以下步骤：
101：将甲状腺超声影像进行预处理，识别超声影像中的人工标记；
102：通过边界调整获取用于界定甲状腺结节位置的矩形框；
103：构建胶囊网络应用于甲状腺结节超声影像的分类中，并对胶囊网络结构进行调整；
104：将Dropout方法加入调整后的胶囊网络中，稳定训练过程、改进分类效果。
在一个实施例中，通过步骤101对甲状腺超声影像进行了预处理，具体步骤如下：
在超声图像中，通常采用一对“+”符号(加符号)来表示甲状腺结节的左右边界，用一对“×”符号(乘符号)来表示甲状腺结节的上下边界。这些人工标记通常会有较高的亮度。对于这种变化幅度大且变化急促的区域，采用图像微分的方法会有不错的效果。但是，由于超声图像中噪声较大，同时还会有其它标记的影响，上述方法找到的位置不一定都是人工标记符号所在的位置，还有可能找到一些错误的位置。
因此，本发明实施例采用神经网络的方法对找到的人工标记进行精确识别，以确定甲状腺结节所在的位置。
在一个实施例中，步骤102在步骤101的基础上进行边界调整，具体步骤如下：
为了标注出甲状腺结节的位置，需要一对“+”和一对“×”的坐标来确定边界，本发明实施例对找到多于两个“+”、未找到“×”、找到一个“×”和找到两个或多个“×”，这四种情况分别设计了不同的算法进行处理。此外，本发明实施例将得出的甲状腺结节的边界向外扩展了5个像素的距离，以保证甲状腺结节的边界也位于算法给出的矩形框内部。
在一个实施例中，步骤103对处理后的甲状腺结节超声影像进行分类，具体步骤如下：
因为胶囊网络相较卷积网络具有目标的层次结构，且对旋转、平移和其他仿射变换有很强的健壮性，所以本发明实施例使用胶囊网络作为甲状腺超声影像辅助诊断的基础，提取影像中的结节特征，用于良恶性分类。
在一个实施例中，步骤104上在得到的胶囊网络结构中加入Dropout，具体步骤如下：
为了减弱分类胶囊层对主胶囊层中特定向量神经元的依赖，本发明实施例将Dropout引入到主胶囊层中，在动态路由开始之前，随机丢弃掉一部分向量神经元，让整个网络学习更多的特征，获得更好的泛化能力。
在一个实施例中，本发明实施例还包括：通过使用准确率计算公式衡量本发明提出的分类算法与现存分类算法在甲状腺结节辅助诊断领域的表现，具体步骤如下：
通过准确率指标对模型进行评估，将的到的评分与现有分类算法在甲状腺结节分类中的评分进行比较，以衡量本发明实施例的辅助诊断表现。
综上所述，本发明实施例有效克服传统卷积神经网络分类技术在池化过程中丢失重要信息、训练出的模型不具有平移、旋转不变性等问题，提高了胶囊网络在甲状腺超声影像分类任务中的准确率。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：采用图像微分识别人工标记；
其中，拉普拉斯算子是一个二阶微分算子，将一个拉普拉斯算子L应用到图像R上，可以得到图像R的二阶微分，为了便于进一步的处理，将二阶微分后得到的图像进行了二值化处理，并记为图像G。该过程如式(1)所示，其中，η是用于图像二值化的阈值，变换后的图像G是一个二值图，只包含0和255这两个灰度值。其中，C＝R×L。
202：采用的神经网络的结构如表1所示，在每个卷积层之后，添加了一个ReLU作为激活函数；
表1识别人工标记的神经网络结构
其中，输入层是19×19的图像，然后通过一层3×3的卷积层与一层2×2的池化层降低图像的尺寸并学习其浅层的特征，再通过一层5×5的卷积层与一层2×2的池化层来学习深层次的特征，最后是两层全连接层，分别具有256个神经元与2个神经元，其中最后一层全连接层的2个神经元是神经网络的分类输出，用来表示输入图像是否是一个符号。
203：根据实际情况，超声图像中加号往往不会被漏掉，并且算法识别加号的正确率很高，所以本发明假设识别算法至少会找到两个加号来确定结节的左右边界位置，否则无法给出结节的位置。基于以上问题，讨论以下可能发生的情况。
1)若找到多于两个加号：
本发明的分类模型会给出每个位置上的符号是加号的概率，在这里通过对比不同位置的概率来确定选取哪两个位置作为加号。
参见图2(a)所示，图中共有3个位置，概率分别为0.9、0.8和0.2，本发明实施例选择将概率0.9、0.8对应的位置作为加号。
2)若未找到乘号：
具体实现时，根据加号的位置确定矩形框的左右边界，由于没有办法确定上下边界，可以以两个加号的连线作为水平中轴线做一个正方形来估计甲状腺结节的大致位置。
参见图2(b)所示，图中已经给出两个加号所在的位置，通过两个加号所在的位置可以确定矩形框的左右边界，以两个加号的连线作为水平中轴线做一个正方形，甲状腺结节位于该正方形内。
3)若只找到一个乘号：
如果该乘号恰好位于两个加号连接的线段的一侧，则应该以连接线为对称轴估计另一侧的乘号所在的位置，否则这个乘号可能是错误识别的，应当按照情况2)处理。
参见图2(c)所示，图中已经给出左右两个加号所在的位置，将左右两个加号进行连线，在连线的上侧存在一个乘号，则以连接线为对称轴估计下侧乘号所在的位置，若下侧不存在乘号，则上侧的乘号是错误识别的，认为当前状态未找到乘号，就根据左右两个加号所在的位置做正方形估计出甲状腺结节的大致位置。
4)找到两个或多个乘号：
按照情况3)的方法逐个处理找到的乘号，直到一侧最多留下一个乘号为止。在一些情况下，错误识别出来的乘号与加号的距离大于阈值时(阈值取为图像上边界中点和左边界中点的距离)，应该丢弃这种不合理的位置。
204：胶囊网络中的向量神经元的计算方法如式(2)(3)所示，其中ui表示上一层胶囊网络的输出结果，也就是当前层的输入向量，向量通过与wij相乘得到向量，cij表示向量对当前向量神经元贡献的权值，Squash(·)表示应用于向量的Squash激活函数，wij为权值矩阵。
在两个胶囊层之间，胶囊网络采用了两个权值矩阵对输入向量进行加权，即wij矩阵和cij矩阵。为了保证ui向量对所有的输出向量v的贡献总和为1，在更新权值矩阵cij时需要通过式(4)进行。
其中，b为动态路由的权重，i，j，k为矩阵的行列数。
205：在胶囊网络的损失函数计算方法如式(5)所示：
其中，若当前类别为k则Tk为1，否则为0，例如：当前一共有2类a和b，当前类别为a时，Tk为[1,0]。类别为b时，Tk为[0,1]。
其中，vk表示类别k的输出向量，m为向量长度的边界，m+取接近于1的值，m-取接近于0的值，λ是为了减小分类错误导致的误差而引入的权值，一般取0到1之间的实数值。
Lk＝Tk·max(0，m+-||vk||)2+λ(1-Tk)·max(0，||vk||-m-)2 (5)
206：在胶囊网络结构中加入Dropout，并尝试不同Dropout比率，记录不同比率下的模型表现。
综上所述，本发明实施例通过上述步骤对原始超声影像进行预处理，提取感兴趣区域，进而将其作为胶囊网络的输入图像；同时将Dropout引入胶囊网络，在稳定训练过程的同时，提高了胶囊网络在甲状腺超声影像分类任务中的准确率。
实施例3
下面结合图3-图5，以及具体的计算公式对实施例1和2中的方案进行可行性验证，详见下文描述：
首先，本发明实施例提出的方法与其他传统方法相比，可以准确、快速地判断超声图像中的某个位置是否存在一个人工标记的符号，并给出符号的类别和属于该类别的概率。与其他方法相比，本方法的表现如表2所示。结合图像预处理和边界调整的方法，可以实现在超声图像中用矩形框来定位甲状腺结节的位置，如图3所示。本发明实施例使用准确率、精确率、召回率和F1分数作为评价指标，其计算公式如(6)-(9)所示。
其中，TP为真正例个数；TN为真负例个数；FP为假正例个数；FN为假负例个数
具体实现时，Dropout可以通过随机去掉一些特征来迫使神经网络学习更多的特征向量来表达更丰富的特征，进而缓解过拟合问题。实验将Dropout的比例从0.0、0.05、0.1、…、0.95共20组情况分别进行了设置，并统计了网络结构模型在不同情况下的分类准确率。实验结果如图4所示，总体上呈现先上升后下降的趋势，且在Dropout比例达到0.8时，准确率达到最大值。
为了展示Dropout的确缓解了胶囊模型训练过程不稳定的问题，实验选取了不采取Dropout(比例为0)和达到最优准确率的Dropout比例(0.8)两种情况，分析Dropout对训练过程的影响，如图5所示，其中虚线表示的是不采取Dropout的情况，实线表示的采取上述最佳Dropout的情况。
根据实验结果可以看出，在对胶囊网络应用了Dropout结构以后，在训练过程中，验证集准确率变化曲线波动情况更加稳定，且在训练过程稳定后，准确率基本维持在较高水平；而对于没有采用Dropout的胶囊网络结构中，在训练过程中，验证集准确率变化曲线波动明显，有时还会掉落到更低的水平。
表2不同人工标记识别的算法效果的比较
在表2中，本方法与其他传统方法相比，可以准确地识别超声图像中的人工标记符号，并给出符号的类别和属于该类别的概率。
在图3中，子图(a)中只包含两个加号标记，本方法估计出了结节的上下边界；子图(b)中虽然包含两个乘号标记，但由于标记识别算法给出了错误的信息而只识别出了一个乘号，但依然根据识别出的乘号估计出结节大致的下边界；子图(c)中完整地识别出两个加号标记和两个乘号标记，用矩形框给出了甲状腺结节准确的位置。
实验设置了不同的Dropout比例，从0.0、0.05、0.1、…、0.95共20组情况，分别进行了甲状腺结节超声影像分类实验。实验结果总体上呈现先上升后下降的趋势，且在Dropout比例达到0.8时，准确率达到最大值。
图5中，虚线表示的是不采取Dropout，实线表示的采取Dropout为0.8。本部分实验证明了将Dropout引入胶囊网络结构中是有效的，不同比例的Dropout会对训练过程和结果产生不同程度的影响，同时实验也表明了采用Dropout的方法后，网络的训练过程更加稳定，相比于不采用Dropout的网络结构，其最终结果的准确率也有一定程度的提高。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于胶囊网络的甲状腺结节超声图像分类方法，其特征在于，所述方法包括以下步骤：
对甲状腺超声影像进行预处理，通过神经网络结合图像微分识别超声影像中的人工标记；通过边界调整获取用于界定甲状腺结节位置的矩形框；
构建胶囊网络应用于甲状腺结节超声影像的分类中，并对胶囊网络结构进行调整；将Dropout加入调整后的胶囊网络中，稳定训练过程、改进分类效果。
2.根据权利要求1所述的一种基于胶囊网络的甲状腺结节超声图像分类方法，其特征在于，所述神经网络具体为：
输入层是19×19的图像，通过一层3×3的卷积层与一层2×2的池化层降低图像的尺寸并学习浅层的特征；
通过一层5×5的卷积层与一层2×2的池化层来学习深层次的特征，最后是两层全连接层，分别具有256个神经元与2个神经元，其中最后一层全连接层的2个神经元是神经网络的分类输出，用来表示输入图像是否是一个符号。
3.根据权利要求1所述的一种基于胶囊网络的甲状腺结节超声图像分类方法，其特征在于，所述结合图像微分识别超声影像中的人工标记具体为：
其中，C＝R×L，L为拉普拉斯算子，R为图像，η为用于图像二值化的阈值。
4.根据权利要求1所述的一种基于胶囊网络的甲状腺结节超声图像分类方法，其特征在于，所述通过边界调整获取用于界定甲状腺结节位置的矩形框具体为：
情况一找到多于两个加号：给出每个位置上的符号是加号的概率，通过对比不同位置的概率来确定选取哪两个位置作为加号；
情况二未找到乘号：根据加号的位置确定矩形框的左右边界，以两个加号的连线作为水平中轴线做一个正方形估计甲状腺结节的位置；
情况三只找到一个乘号：如果当前乘号位于两个加号连接的线段的一侧，则以连接线为对称轴估计另一侧的乘号所在的位置，若另一侧不存在乘号，则当前乘号是错误识别的，根据情况二估计甲状腺结节的位置；
情况四找到两个或多个乘号：按照情况三逐个处理找到的乘号，直到一侧最多留下一个乘号为止。
5.根据权利要求4所述的一种基于胶囊网络的甲状腺结节超声图像分类方法，其特征在于，所述方法还包括：
若错误识别出的乘号与加号的距离大于阈值，此时丢弃较远的乘号；
所述阈值取为超声图像上边界中点和左边界中点之间的距离。
6.根据权利要求1所述的一种基于胶囊网络的甲状腺结节超声图像分类方法，其特征在于，所述将Dropout加入调整后的胶囊网络具体为：
将Dropout引入到主胶囊层中，在动态路由开始之前，丢弃掉一部分向量神经元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910237702.4A CN110059730A (zh) | 2019-03-27 | 2019-03-27 | 一种基于胶囊网络的甲状腺结节超声图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910237702.4A CN110059730A (zh) | 2019-03-27 | 2019-03-27 | 一种基于胶囊网络的甲状腺结节超声图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110059730A true CN110059730A (zh) | 2019-07-26 |
Family
ID=67317446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910237702.4A Pending CN110059730A (zh) | 2019-03-27 | 2019-03-27 | 一种基于胶囊网络的甲状腺结节超声图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059730A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458852A (zh) * | 2019-08-13 | 2019-11-15 | 四川大学 | 基于胶囊网络的肺组织分割方法、装置、设备及存储介质 |
| CN110659692A (zh) * | 2019-09-26 | 2020-01-07 | 重庆大学 | 基于强化学习和深度神经网络的病理图像自动标注方法 |
| CN110706793A (zh) * | 2019-09-25 | 2020-01-17 | 天津大学 | 一种基于注意力机制的甲状腺结节半监督分割方法 |
| CN111160413A (zh) * | 2019-12-12 | 2020-05-15 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
| CN111724314A (zh) * | 2020-05-08 | 2020-09-29 | 天津大学 | 一种医疗影像中特殊标记的检测与去除方法 |
| CN118097312A (zh) * | 2024-04-25 | 2024-05-28 | 昆明理工大学 | 基于卷积神经网络和胶囊网络的乳腺超声图像的分类方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018094381A1 (en) * | 2016-11-21 | 2018-05-24 | Tecumseh Vision, Llc | System and method for automatic assessment of disease condition using oct scan data |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| GB201819329D0 (en) * | 2018-11-27 | 2019-01-09 | Kheiron Medical Tech Ltd | Second reader |
| CN109376636A (zh) * | 2018-10-15 | 2019-02-22 | 电子科技大学 | 基于胶囊网络的眼底视网膜图像分类方法 |
| CN109410917A (zh) * | 2018-09-26 | 2019-03-01 | 河海大学常州校区 | 基于改进型胶囊网络的语音数据分类方法 |
-
2019
- 2019-03-27 CN CN201910237702.4A patent/CN110059730A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018094381A1 (en) * | 2016-11-21 | 2018-05-24 | Tecumseh Vision, Llc | System and method for automatic assessment of disease condition using oct scan data |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN109410917A (zh) * | 2018-09-26 | 2019-03-01 | 河海大学常州校区 | 基于改进型胶囊网络的语音数据分类方法 |
| CN109376636A (zh) * | 2018-10-15 | 2019-02-22 | 电子科技大学 | 基于胶囊网络的眼底视网膜图像分类方法 |
| GB201819329D0 (en) * | 2018-11-27 | 2019-01-09 | Kheiron Medical Tech Ltd | Second reader |
Non-Patent Citations (3)
| Title |
|---|
| CANQUN XIANG，ET AL: "MS-CapsNet: A Novel Multi-Scale Capsule Network", 《IEEE SIGNAL PROCESSING LETTERS》 * |
| PARNIAN AFSHAR,ET AL: "Brain Tumor Type Classification Via Capsule Networks", 《ARXIV》 * |
| RUIGUO YU,ET AL: "Localization of Thyroid Nodules in Ultrasonic Images", 《INTERNATIONAL CONFERENCE ON WIRELESS ALGORITHMS, SYSTEMS, AND APPLICATIONS WASA 2018》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458852A (zh) * | 2019-08-13 | 2019-11-15 | 四川大学 | 基于胶囊网络的肺组织分割方法、装置、设备及存储介质 |
| CN110706793A (zh) * | 2019-09-25 | 2020-01-17 | 天津大学 | 一种基于注意力机制的甲状腺结节半监督分割方法 |
| CN110659692A (zh) * | 2019-09-26 | 2020-01-07 | 重庆大学 | 基于强化学习和深度神经网络的病理图像自动标注方法 |
| CN111160413A (zh) * | 2019-12-12 | 2020-05-15 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
| CN111160413B (zh) * | 2019-12-12 | 2023-11-17 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
| CN111724314A (zh) * | 2020-05-08 | 2020-09-29 | 天津大学 | 一种医疗影像中特殊标记的检测与去除方法 |
| CN118097312A (zh) * | 2024-04-25 | 2024-05-28 | 昆明理工大学 | 基于卷积神经网络和胶囊网络的乳腺超声图像的分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059730A (zh) | 一种基于胶囊网络的甲状腺结节超声图像分类方法 | |
| Muhammad et al. | Eigen-cam: Class activation map using principal components | |
| Chouhan et al. | Soft computing approaches for image segmentation: a survey | |
| CN112529042B (zh) | 一种基于双重注意力多示例深度学习的医学图像分类方法 | |
| CN106682696B (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
| CN106023220B (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
| CN109635846B (zh) | 一种多类医学图像判断方法和系统 | |
| WO2016110005A1 (zh) | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 | |
| CN109376636A (zh) | 基于胶囊网络的眼底视网膜图像分类方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN106529188B (zh) | 应用于手术导航的图像处理方法 | |
| CN107944431A (zh) | 一种基于运动变化的智能识别方法 | |
| CN103996018A (zh) | 基于4dlbp的人脸识别方法 | |
| CN107808376A (zh) | 一种基于深度学习的举手检测方法 | |
| CN109165658B (zh) | 一种基于Faster-RCNN的强负样本水下目标检测方法 | |
| Hu et al. | Detection and recognition for life state of cell cancer using two-stage cascade CNNs | |
| CN111968124B (zh) | 基于半监督语义分割的肩部肌骨超声结构分割方法 | |
| CN107330883A (zh) | 一种医学图像病变区域定位和分类方法 | |
| CN109614869A (zh) | 一种基于多尺度压缩奖惩网络的病理图像分类方法 | |
| Azmat et al. | An elliptical modeling supported system for human action deep recognition over aerial surveillance | |
| CN106203373B (zh) | 一种基于深度视觉词袋模型的人脸活体检测方法 | |
| CN110197206A (zh) | 图像处理的方法及装置 | |
| Gao et al. | Real-time visual tracking with compact shape and color feature | |
| CN106960199A (zh) | 一种真彩色眼象图白睛区域的完整提取方法 | |
| CN108830222A (zh) | 一种基于信息性和代表性主动学习的微表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |
|
| RJ01 | Rejection of invention patent application after publication |