CN113610859A - 一种基于超声图像的甲状腺结节自动分割方法 - Google Patents
一种基于超声图像的甲状腺结节自动分割方法 Download PDFInfo
- Publication number
- CN113610859A CN113610859A CN202110629829.8A CN202110629829A CN113610859A CN 113610859 A CN113610859 A CN 113610859A CN 202110629829 A CN202110629829 A CN 202110629829A CN 113610859 A CN113610859 A CN 113610859A
- Authority
- CN
- China
- Prior art keywords
- thyroid nodule
- image
- convolution
- input
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 86
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 82
- 230000011218 segmentation Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000002790 cross-validation Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 17
- 238000002604 ultrasonography Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 210000001685 thyroid gland Anatomy 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 239000011800 void material Substances 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 238000004422 calculation algorithm Methods 0.000 description 36
- 238000003709 image segmentation Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 241000209094 Oryza Species 0.000 description 4
- 235000007164 Oryza sativa Nutrition 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 235000009566 rice Nutrition 0.000 description 4
- 208000024799 Thyroid disease Diseases 0.000 description 3
- 206010054107 Nodule Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明是一种基于超声图像的甲状腺结节自动分割方法，包括以下步骤：步骤1：利用公开甲状腺结节数据集建立训练集及测试集；包括对图像和XML文件进行处理，再经过裁剪得到图像与其对应的标签，按比例分为训练集、测试集和交叉验证集；步骤2：建立甲状腺结节分割网络：其中使用空洞卷积、密集连接以及repair‑module(修正模块)等网络结构；步骤3：利用训练集对甲状腺结节分割网络进行训练，得到训练好的分割模型；步骤4：在测试集中验证分割模型，对甲状腺结节进行分割，得到结节病灶信息。本发明利用训练集对甲状腺结节分割网络进行训练，得到训练好的分割模型，辅助医生提高诊断效率。
Description
技术领域
本发明是一种基于超声图像的甲状腺结节自动分割方法，涉及医学影像计算机辅助诊断领域。
技术背景
甲状腺是人体内最大的内分泌器官，是人体内极为重要的调节代谢的器官。由于人们的饮食习惯、生活习惯的不规律以及精神压力大等因素的影响，甲状腺疾病的发病率逐年上升。甲状腺疾病发病率在50％以上，并且各个年龄段都有发病的可能。甲状腺结节的发病率高，但超过90％的概率为良性结节，并且药物治疗对恶性结节十分有效。因此只要在早期通过医学检查发现，并尽早地进行临床治疗，可将治愈率提高到95％以上。
超声检查的敏感性极高，并且具有实时性、无放射性、无创低价等优点，检查方便且对人体无伤害，因此在临床上应用极为广泛，是目前甲状腺结节性疾病检查的首选方式。然而医生数量较为紧缺，这些枯燥且较为机械的超声图像检查不仅会消耗医生大量的时间和精力，也是对医疗资源的一种浪费。所以对于甲状腺结节类型的疾病而言，利用计算机进行辅助诊断是十分有必要的。
传统的图像分割方法在甲状腺结节上表现并不理想，离实际应用有较远的距离。自从2012年AlexNet提出，深度学习在计算机视觉任务上取得了巨大的成功。深度学习中的卷积网络结构具备自动学习样本特征的能力，可以充分利用图像中的高阶语义信息，减少人工特征的设计。在甲状腺结节分割领域，使用深度学习方法替代传统方法实现自动化和智能化的检测，具有良好的发展前景，并且已经得到广泛的关注。
然而，现有的深度学习甲状腺结节分割算法，尚存在以下不足：
1)由于甲状腺结节超声图像较为模糊，在医学图像处理中属于较难的分割任务，现有的分割算法在甲状腺结节分割上表现仍不是十分理想，一些研究者采取空洞卷积来增大感受野，效果有所提升，但是使用空洞卷积的分割算法假阴性率较高，会出现较为明显的孔洞现象。
2)现有的大部分分割算法都是来源于自然图像分割，没有针对甲状腺图像的特点进行优化，尤其是必要的轻量化处理，网络结构较为复杂，因此训练和测试的速度都比较慢。
3)现有开源的甲状腺结节数据集一般较小，而现有分割算法中采取的批归一化(Batch Normalization)在批量(Batch size)较小时的效果不如批量较大时理想，导致分割算法的表现不尽如人意。
4)现有的分割算法损失函数通常都是交叉熵，这是一种通用的损失函数，但是对于甲状腺结节分割来说却并不是最适合的。
发明内容
本发明的目的是提供一种基于超声图像的甲状腺结节自动分割方法，利用训练集对甲状腺结节分割网络进行训练，得到训练好的检测模型。本发明能够在保证分割效果的同时，提升分割效率，有助于减轻医生阅片压力，提高医生诊断效率。
为实现本发明的目的所采用的技术方案是：
一种基于超声图像的甲状腺结节自动分割方法，其特征在于，包括以下步骤：
步骤1：利用公开甲状腺结节数据集建立训练集及测试集：包括对图像和 XML文件进行处理，再经过裁剪得到图像与其对应的标签，按比例分为训练集、测试集和交叉验证集；
步骤2：建立甲状腺结节分割网络：其中使用空洞卷积、密集连接以及 repair-module(修正模块)等网络结构；
步骤3：利用训练集对甲状腺结节分割网络进行训练，得到训练好的分割模型；
步骤4：在测试集中验证分割模型，对甲状腺结节进行分割，得到其病灶信息。
本发明的有益效果是：
1.本发明采用空洞卷积代替普通卷积，并且采用了密集连接的策略，建立了一个参数量不大但提取特征能力较强的网络，本发明分割算法的效率显著高于现有分割算法。
2.本发明在网络的后端连接了repair-module(修正模块)，消除了现有包含空洞卷积的分割算法常常出现的孔洞现象，进一步提升了分割效果。
3.本发明针对标准化处理这一方面，本发明采用了组归一化(GroupNormalization)替代原有的批归一化方法，使得批量的大小不再影响到标准化处理的效果。
4.本发明采用了dice函数作为本发明的损失函数，dice损失函数是一种与交并比有关的损失函数，该损失函数对于甲状腺结节超声图像来说更有针对性，进一步提高了分割算法的效果。
附图说明
为了使本发明的技术方案更加清晰，下面结合附图对本发明进行详细描述，其中：
图1为甲状腺结节图像分割算法流程图。
图2a为甲状腺结节超声图像数据集原始图像。
图2b为甲状腺结节坐标信息标注图像。
图2c为甲状腺结节超声图像数据集标签图像。
图3为甲状腺结节超声图像数据集结节与背景示意图。
图4为本发明算法网络结构示意图。
图5为密集连接的空洞卷积块示意图。
图6为repair-module(修正模块)整体网络结构示意图。
图7为IoU及dice损失函数示意图。
图8为孔洞现象与消除孔洞现象的分割结果图对比。
图9为分割实验结果。
具体实施方式
下面结合图1、图2a、图2b、图2c、图3-9及具体实施方式对本发明做进一步的详细说明。此处描述的具体实施方式仅用来解释本发明，并限定于本发明。本发明亦可通过其他具体实施方法进行应用。可根据相似需求背景，在不背离本发明思路下进行修饰或修改。
如图1所示，本发明提出一种基于超声图像的甲状腺结节自动分割方法，具体包括以下步骤：
步骤1建立训练集；
具体包括以下步骤：
步骤1.1对原始的甲状腺结节病灶图像，进行灰度化处理和高斯平滑，并且进行降噪处理，获得清晰的甲状腺结节病灶图像；
步骤1.2读取国际光学工程学会(Society of Photo-Optical InstrumentationEngineers)提供的开源甲状腺结节超声图像数据集的XML文件，从其中获取到甲状腺结节轮廓坐标信息，该数据集提供的甲状腺结节超声图像原图如图2a所示，将坐标信息显示到该甲状腺结节原图上，如图2b所示，然后以该轮廓线为甲状腺结节与背景的分界线，将甲状腺结节设为白色，将其背景设为黑色，得到甲状腺结节分割的标签图像，如图2c所示；
步骤1.3将甲状腺结节图像和其相对应的二值化标签统一成通用图像格式(.png)，并且将图片大小从原图的560×360pixel统一缩放为256×256pixel，图3 所示，便是一张处理好的甲状腺结节超声图像，其中圆圈部分即是甲状腺结节的位置，然后采用随机分配的方法按8:1:1的比例将数据集分为训练集、测试集以及交叉验证集。
步骤2建立甲状腺结节分割网络，包括采用密集连接和空洞卷积策略的前端网络，以及后端网络repair-module(修正模块)，如图4所示，具体包含以下步骤：
步骤2.1如图4所示，采用ResNet50对甲状腺超声图像进行特征提取得到尺寸为32×32pixel、通道数为256的特征图一(该特征图一即是图5中的特征图一)；
步骤2.2：如图5所示，对特征图一自顶向下进行空洞卷积操作，分别采用卷积扩张率d＝3、d＝6、d＝12、d＝18、d＝24的空洞卷积，所有空洞卷积卷积核尺寸均为3×3pixel，卷积核个数均为64，依次得到特征图二、特征图三、特征图四、特征图五、特征图六，其尺寸均为32×32pixel，通道数均为64；
步骤2.3在步骤2.2的基础上，采用密集连接的方式，将卷积扩张率d＝3、 d＝6、d＝12、d＝18、d＝24的空洞卷积之前特征图，与后续的每一个空洞卷积之后得到的特征图进行拼接(如特征图一将拼接到特征图二、特征图三、特征图四、特征图五，而特征图二将拼接到特征图三、特征图四、特征图五，其余以此类推)，图5中符号C即代表通道维度上的拼接，最终得到经过密集连接处理过的通道数为128的特征图七、通道数为256的特征图八、通道数为512的特征图九、通道数为1024的特征图十、通道数为2048的特征图十一，其尺寸均为32×32pixel；
步骤2.4对步骤2.3所得到的特征图十一使用repair-module提取整合信息，repair-module的结构如图6所示，该模块的输入为特征图十一，输出为特征图十二，其整个网络结构分为三条支路，第一条支路对输入依次进行ReLU函数、卷积核个数为256的1×1pixel卷积，ReLU函数和卷积核个数为256的3×3pixel 卷积操作；第二条支路对输入依次进行ReLU函数和卷积核个数为256的3×3 pixel卷积操作；而第三条支路为原始输入，最后将这三条支路的输出在通道维度上进行拼接，得到通道数为768，尺寸为32×32pixel的特征图十二。之后再经过一个上采样操作，即可得到最终的输出，输出图像通道数为768，尺寸为 256×256pixel。
下面首先介绍特征图十二中其中一个像素点的计算公式，由点及面，最终推出repair-module(修正模块)整体的公式。
第一条支路上半部分公式如式(1)所示：
其中x表示输入，xj代表输入特征图中第j个像素点，H1×1(xj)表示第一条支路上半部分的输出中第j个像素点的值，h(.)指代ReLU非线性函数，N表示输入通道数，xj，n表示输入第n个通道中第j个像素点，c表示1×1pixel卷积核。
第一条支路下半部分的公式如下式(2)所示：
其中H3×3(x′j)代表输出特征图中第j个像素点的值，x′表示下半部分的输入，x′j代表该部分输入特征图中第j个像素点，h(.)指代ReLU非线性函数，N表示输入通道数，x′j，n表示输入第n个通道中第j个像素点，c′i表示3×3pixel卷积核中第i个元素的值。
因此，可得第一条支路数学表达式如下式(3)所示：
其中H1(xj)表示第一条支路的输出中第j个像素点的值。
第二条支路的数学表达式如下式(4)所示：
其中H2(xj)代表输出特征图中第j个像素点的值，x表示输入，xj代表输入特征图中第j个像素点，h(.)指代ReLU非线性函数，N表示输入通道数，xj，n表示输入第n个通道中第j个像素点，c′i表示3×3pixel卷积核中第i个元素的值。
因此，可得repair-module模块整体的数学表达式如式(5)所示：
y＝[x,H1(x),H2(x)] (5)
其中，x指代repair-module模块的输入，也即第三条支路的输出，式中H1(x)代表第一条支路输出，H2(x)代表第二条支路的输出，[..]代表通道维度上的拼接。之后再通过一个上采样层，最终得到尺寸为256×256pixel的预测图像。
步骤2.5本发明采用标准化的处理方式，确保每一层卷积得到的特征图都具有相同或者相似的概率分布，具体操作方法为在各个空洞卷积层之间加入组归一化层，对经由空洞卷积得到的特征图像进行正则化和归一化处理；
步骤2.6对步骤2.4得到的输出图像使用dice损失函数作为损失函数，dice 损失函数是一种混合损失函数，与交并比具有很强的相关性，其公式如下：
如图7所示，其中A指代真实的甲状腺结节区域，B指代预测为甲状腺结节区域；
步骤3利用训练集对甲状腺结节分割网络训练，具体包括以下步骤：
步骤3.1将甲状腺结节图像裁剪，去除文字以及白色边缘等不重要信息，去除图像干扰；
步骤3.2将训练集、测试集、交叉验证集的图像和标签一一对应的放置在对应的文件夹下，再统一放到一个大的文件夹中，将整个文件夹转化为TFRecords 格式；
步骤3.3使用步骤2得到的神经网络对甲状腺结节进行多次训练，进行超参数调优，调试出最佳学习率，取得最佳模型。
步骤4在测试集中验证分割模型，得到甲状腺结节病灶信息，并且利用 jacarrd系数、dice系数和mIoU等评价指标对其性能进行评估。
检测结果与实验对比结果，在对甲状腺结节分割算法进行评价时，需要根据合理的评价标准对算法性能进行判断。图像分割实际上来说就是对所有像素点的二分类的一个集合，所以性能指标与分类算法的性能指标是有一定的关联的。
现在常用的分割性能指标都是和交并比有一定关联的。交并比，英文缩写为 IoU，是一种测量在特定数据集中检测相应物体准确度的一个标准。假设真实标签为A，预测图像为B，那么IoU的值为A和B的交集与A和B的并集的比值。可知，当A与B重合时，IoU的值为1；当A与B没有任何重叠部分的时候， IoU的值为0。因此，IoU能够作为一个比较模型识别精度的指标，并且在目标检测和图像分割领域都得到了广泛的运用。
常用的图像分割算法性能的评价指标是jacarrd指标，实际上与交并比基本一致，其公式如下：
另外有一个评价指标是dice，dice评价指标与前文所述dice损失函数的公式是一样的，此处不再赘述。
在图像分割中，存在真实标签很大而预测范围较小的情况，这种情况下即使预测范围都在真实标签范围内，jacarrd系数的值也不会很高，那么此时dice指标或许能更好的表示此模型的性能。
在图像分类中，存在真阳性、假阳性、真阴性、假阴性四个概念，图像分割中的这四个概念与之类似但不完全相同。
真阳性(TP)：分割算法判定该像素点为结节区域，且真实标签也为结节区域，此时分割算法与医生诊断相符。
假阳性(FP)：分割算法判定该像素点为结节区域，但真实标签为非结节区域，此时分割算法与医生诊断不相符。
真阴性(TN)：分割算法判定该像素点为非结节区域，且真实标签也为非结节区域，此时分割算法与医生诊断相符。
假阴性(FN)：分割算法判定该像素点为非结节区域，但真实标签为结节区域，此时分割算法与医生诊断不相符。
在此基础上，有一个评价分割性能的特别重要的指标mIoU，同时也是评价甲状腺结节超声图像分割性能的一个常用指标，其公式如下所示：
设pij表示真实值为i，被预测为j的数量，k+1是类别个数(包含空类)。pii是真正的数量。pij、pji则分别表示假阳和假阴，可将公式展开，如下所示：
(1)分割过程实验结果。
图8是孔洞现象与消除孔洞现象之后的对比图，可以看到消除掉孔洞现象之后，预测图像更加清晰直观。本发明利用训练后的分割算法对多张甲状腺结节超声图像进行分割。不同甲状腺结节所在位置大小以及形态的变化都有很大的区别，所以分割出来的结果区别也很大，其结果如图9所示。由检测结果可以看出，本算法在针对不同位置、形态和尺寸的甲状腺结节都有着较好的分割效果。
(2)图像分割算法性能指标分析。
本发明使用mIoU、dice和jacarrd作为图像分割算法性能的三个指标。另外，本发明按8：1：1的比例划分了具有475张图像的甲状腺结节分割数据集，所以共划分了50张图像作为测试集，50张图像作为验证集。在测试集和验证集上多次测试，取其平均值。
本发明首先采取了密集连接和空洞卷积的策略，搭建了基础的分割网络框架，并与U-Net、Mobile-UNet、FC-DenseNet、deeplabV3+等现有先进分割网络算法做了对比实验，本发明基础算法在mIoU、dice和jacarrd三个性能指标上都比现有的分割算法领先很多，如表1所示：
表1神经网络对比实验结果
从表中不难看出，本发明基础算法mIoU指标达到82.49％，dice指标达到83.37％，jacarrd指标达到76.88％，均超过了现有深度学习图像分割算法。
表2改进denseASPP对比实验结果
在基础算法的框架之上，本发明逐步进行改进，加入repair-module(修正模块)模块，使用GN层替代BN层，使用新的损失函数，并且进行了严格的控制变量对比实验来探究这些改进的作用效果。表2为实验结果，从表中可以看出，本发明最终算法mIoU指标达到85.69％，dice指标达到87.82％，jacarrd指标达到 80.28％，相比基础算法性能有了进一步的提升。
Claims (5)
1.一种基于超声图像的甲状腺结节自动分割方法，其特征在于，包括以下步骤：
步骤1利用公开甲状腺结节数据集建立训练集及测试集：包括对图像和XML文件进行处理，再经过裁剪得到图像与其对应的标签，按比例分为训练集、测试集和交叉验证集；
步骤2建立甲状腺结节分割网络：
步骤3利用训练集对甲状腺结节分割网络进行训练，得到训练好的分割模型；
步骤4在测试集中验证分割模型，对甲状腺结节进行分割，得到其病灶信息。
2.根据权利要求1所述的一种基于超声图像的甲状腺结节自动分割方法，其特征在于，所述的步骤1中建立训练集，包括以下步骤：
步骤1.1对原始的甲状腺结节病灶图像，进行灰度化处理和高斯平滑，并且进行降噪处理，获得清晰的甲状腺结节病灶图像；
步骤1.2读取开源甲状腺结节超声图像数据集的XML文件，从中获取到甲状腺结节轮廓坐标信息，将坐标信息显示到该甲状腺结节原图上，然后以该轮廓线为甲状腺结节与背景的分界线，将甲状腺结节设为白色，将其背景设为黑色，得到甲状腺结节分割的标签图像；
步骤1.3将甲状腺结节超声图像和其相对应的二值化标签统一成通用图像格式，并且将图片大小从原图的560×360pixel统一缩放为256×256pixel，便是一张处理好的甲状腺结节超声图像，其中圆圈部分即是甲状腺结节的位置，然后采用随机分配的方法按8:1:1的比例，将公开甲状腺结节数据集分为训练集、测试集以及交叉验证集。
3.根据权利要求1所述的一种基于超声图像的甲状腺结节自动分割方法，其特征在于，所述的步骤2中建立甲状腺结节分割网络，包括采用密集连接和空洞卷积策略的前端网络，以及后端网络repair-module，具体步骤如下：
步骤2.1采用ResNet50对甲状腺超声图像进行特征提取得到尺寸为32×32pixel、通道数为256的特征图一；
步骤2.2对特征图一自顶向下进行空洞卷积操作，分别采用卷积扩张率d＝3、d＝6、d＝12、d＝18、d＝24的空洞卷积，所有空洞卷积卷积核尺寸均为3×3pixel，卷积核个数均为64，依次得到特征图二、特征图三、特征图四、特征图五、特征图六，其尺寸均为32×32pixel，通道数均为64；
步骤2.3在步骤2.2的基础上，采用密集连接的方式，将卷积扩张率d＝3、d＝6、d＝12、d＝18、d＝24的空洞卷积之前特征图，与后续的每一个空洞卷积之后得到的特征图进行拼接，最终得到经过密集连接处理过的通道数为128的特征图七、通道数为256的特征图八、通道数为512的特征图九、通道数为1024的特征图十、通道数为2048的特征图十一，其尺寸均为32×32pixel；
步骤2.4对步骤2.3所得到的特征图十一使用repair-module提取整合信息，该模块的输入为特征图十一，输出为特征图十二，其整个网络结构分为三条支路，第一条支路对输入依次进行ReLU函数、卷积核个数为256的1×1pixel卷积，ReLU函数和卷积核个数为256的3×3pixel卷积操作；第二条支路对输入依次进行ReLU函数和卷积核个数为256的3×3pixel卷积操作；而第三条支路为原始输入，最后将这三条支路的输出在通道维度上进行拼接，得到通道数为768，尺寸为32×32pixel的特征图十二；之后再经过一个上采样操作，即可得到最终的输出，输出图像通道数为768，尺寸为256×256pixel。
4.根据权利要求3所述的一种基于超声图像的甲状腺结节自动分割方法，其特征在于，
特征图十二中一个像素点的计算公式，由点及面，最终推出repair-module(修正模块)整体的公式；
第一条支路上半部分公式如式(1)所示：
其中，x表示输入，xj代表输入特征图中第j个像素点，H1×1(xj)表示第一条支路上半部分的输出中第j个像素点的值，h(.)指代ReLU非线性函数，N表示输入通道数，xj，n表示输入第n个通道中第j个像素点，c表示1×1pixel卷积核；
第一条支路下半部分的公式如下式(2)所示：
其中，H3×3(x′j)代表输出特征图中第j个像素点的值，x′表示下半部分的输入，x′j代表该部分输入特征图中第j个像素点，h(.)指代ReLU非线性函数，N表示输入通道数，x′j，n表示输入第n个通道中第j个像素点，c′i表示3×3pixel卷积核中第i个元素的值；
因此，得到第一条支路数学表达式如下式(3)所示：
其中，H1(xj)表示第一条支路的输出中第j个像素点的值；
第二条支路的数学表达式如下式(4)所示：
其中，H2(xj)代表输出特征图中第j个像素点的值，x表示输入，xj代表输入特征图中第j个像素点，h(.)指代ReLU非线性函数，N表示输入通道数，xj，n表示输入第n个通道中第j个像素点，c′i表示3×3pixel卷积核中第i个元素的值。
因此，得到repair-module模块整体的数学表达式如式(5)所示：
y＝[x,H1(x),H2(x)] (5)
其中，x指代repair-module模块的输入，也即第三条支路的输出，式中H1(x)代表第一条支路输出，H2(x)代表第二条支路的输出，[..]代表通道维度上的拼接；之后再通过一个上采样层，最终得到尺寸为256×256pixel的预测图像；
步骤2.5采用标准化的处理方式，确保每一层卷积得到的特征图都具有相同或者相似的概率分布，具体操作方法为在各个空洞卷积层之间加入组归一化层，对经由空洞卷积得到的特征图像进行正则化和归一化处理；
步骤2.6对步骤2.4得到的输出图像使用dice损失函数作为损失函数，dice损失函数是一种混合损失函数，与交并比具有很强的相关性，其公式如下：
其中，A指代真实的甲状腺结节区域，B指代预测为甲状腺结节区域。
5.根据权利要求1所述的一种基于超声图像的甲状腺结节自动分割方法，其特征在于，所述的步骤3具体包括以下步骤：
步骤3.1将甲状腺结节图像裁剪，去除文字以及白色边缘等不重要信息，去除图像干扰；
步骤3.2将训练集、测试集、交叉验证集的图像和标签一一对应的放置在对应的文件夹下，再统一放到一个大的文件夹中，将整个文件夹转化为TFRecords格式；
步骤3.3使用步骤2得到的神经网络对甲状腺结节进行多次训练，进行超参数调优，调试出最佳学习率，取得最佳分割模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110629829.8A CN113610859B (zh) | 2021-06-07 | 2021-06-07 | 一种基于超声图像的甲状腺结节自动分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110629829.8A CN113610859B (zh) | 2021-06-07 | 2021-06-07 | 一种基于超声图像的甲状腺结节自动分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610859A true CN113610859A (zh) | 2021-11-05 |
| CN113610859B CN113610859B (zh) | 2023-10-31 |
Family
ID=78303438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110629829.8A Active CN113610859B (zh) | 2021-06-07 | 2021-06-07 | 一种基于超声图像的甲状腺结节自动分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610859B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926486A (zh) * | 2022-05-12 | 2022-08-19 | 哈尔滨工业大学人工智能研究院有限公司 | 一种基于多层级改进的甲状腺超声图像智能分割方法 |
| CN115018780A (zh) * | 2022-05-30 | 2022-09-06 | 太原理工大学 | 一种融合全局推理和mlp架构的甲状腺结节分割方法 |
| CN115100652A (zh) * | 2022-08-02 | 2022-09-23 | 北京卫星信息工程研究所 | 基于高分遥感图像的电子地图自动化生成方法 |
| CN116934738A (zh) * | 2023-08-14 | 2023-10-24 | 威朋（苏州）医疗器械有限公司 | 基于超声图像的器官与结节联合分割方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490892A (zh) * | 2019-07-03 | 2019-11-22 | 中山大学 | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 |
| CN111179275A (zh) * | 2019-12-31 | 2020-05-19 | 电子科技大学 | 一种医学超声图像分割方法 |
| US20200160997A1 (en) * | 2018-11-02 | 2020-05-21 | University Of Central Florida Research Foundation, Inc. | Method for detection and diagnosis of lung and pancreatic cancers from imaging scans |
| CN111243042A (zh) * | 2020-02-28 | 2020-06-05 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
| CN111798455A (zh) * | 2019-09-25 | 2020-10-20 | 天津大学 | 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法 |
| CN112381846A (zh) * | 2020-12-11 | 2021-02-19 | 江南大学 | 一种基于非对称网络的超声甲状腺结节分割方法 |
| WO2021037724A1 (en) * | 2019-08-29 | 2021-03-04 | Ava Ag | System and method for determining time interval of fertility |
| US10993653B1 (en) * | 2018-07-13 | 2021-05-04 | Johnson Thomas | Machine learning based non-invasive diagnosis of thyroid disease |
-
2021
- 2021-06-07 CN CN202110629829.8A patent/CN113610859B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10993653B1 (en) * | 2018-07-13 | 2021-05-04 | Johnson Thomas | Machine learning based non-invasive diagnosis of thyroid disease |
| US20200160997A1 (en) * | 2018-11-02 | 2020-05-21 | University Of Central Florida Research Foundation, Inc. | Method for detection and diagnosis of lung and pancreatic cancers from imaging scans |
| CN110490892A (zh) * | 2019-07-03 | 2019-11-22 | 中山大学 | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 |
| WO2021037724A1 (en) * | 2019-08-29 | 2021-03-04 | Ava Ag | System and method for determining time interval of fertility |
| CN111798455A (zh) * | 2019-09-25 | 2020-10-20 | 天津大学 | 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法 |
| CN111179275A (zh) * | 2019-12-31 | 2020-05-19 | 电子科技大学 | 一种医学超声图像分割方法 |
| CN111243042A (zh) * | 2020-02-28 | 2020-06-05 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
| CN112381846A (zh) * | 2020-12-11 | 2021-02-19 | 江南大学 | 一种基于非对称网络的超声甲状腺结节分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡屹杉;秦品乐;曾建潮;柴锐;王丽芳;: "结合分段频域和局部注意力的超声甲状腺分割", 中国图象图形学报, no. 10 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926486A (zh) * | 2022-05-12 | 2022-08-19 | 哈尔滨工业大学人工智能研究院有限公司 | 一种基于多层级改进的甲状腺超声图像智能分割方法 |
| CN115018780A (zh) * | 2022-05-30 | 2022-09-06 | 太原理工大学 | 一种融合全局推理和mlp架构的甲状腺结节分割方法 |
| CN115018780B (zh) * | 2022-05-30 | 2024-04-09 | 太原理工大学 | 一种融合全局推理和mlp架构的甲状腺结节分割方法 |
| CN115100652A (zh) * | 2022-08-02 | 2022-09-23 | 北京卫星信息工程研究所 | 基于高分遥感图像的电子地图自动化生成方法 |
| CN116934738A (zh) * | 2023-08-14 | 2023-10-24 | 威朋（苏州）医疗器械有限公司 | 基于超声图像的器官与结节联合分割方法及系统 |
| CN116934738B (zh) * | 2023-08-14 | 2024-03-22 | 威朋（苏州）医疗器械有限公司 | 基于超声图像的器官与结节联合分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610859B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113610859B (zh) | 一种基于超声图像的甲状腺结节自动分割方法 | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| CN106056595A (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法 | |
| CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| CN115601602A (zh) | 癌症组织病理图像分类方法、系统、介质、设备及终端 | |
| CN114972254A (zh) | 一种基于卷积神经网络的宫颈细胞图像分割方法 | |
| Yonekura et al. | Improving the generalization of disease stage classification with deep CNN for glioma histopathological images | |
| CN112381846A (zh) | 一种基于非对称网络的超声甲状腺结节分割方法 | |
| Dong et al. | A novel feature fusion based deep learning framework for white blood cell classification | |
| Leng et al. | Knowledge distillation-based deep learning classification network for peripheral blood leukocytes | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN114494215A (zh) | 基于Transformer的甲状腺结节检测方法 | |
| CN115601330A (zh) | 一种基于多尺度空间反向注意力机制的结肠息肉分割方法 | |
| CN116758336A (zh) | 一种基于人工智能的医学图像智能分析系统 | |
| CN117593253A (zh) | 乳腺病理图像有丝分裂检测方法、系统、存储介质、设备 | |
| CN115239655A (zh) | 一种甲状腺超声影像肿瘤分割分类方法及装置 | |
| Rajput et al. | A transfer learning-based brain tumor classification using magnetic resonance images | |
| CN113011436A (zh) | 一种基于卷积神经网络的中医舌色苔色协同分类方法 | |
| CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
| CN116778250A (zh) | 基于迁移学习和cbam的冠脉病变分类方法 | |
| CN116188455A (zh) | 一种基于U-Net的乳腺癌细胞图像分割方法 | |
| CN110765908A (zh) | 基于深度学习的级联式癌细胞检测系统 | |
| Parraga et al. | A review of image-based deep learning algorithms for cervical cancer screening | |
| CN112668668B (zh) | 一种术后医学影像评估方法、装置、计算机设备及存储介质 | |
| CN114897057A (zh) | 基于多模态数据融合的阴虚证智能诊断系统、方法、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |