CN112381846B - 一种基于非对称网络的超声甲状腺结节分割方法 - Google Patents
一种基于非对称网络的超声甲状腺结节分割方法 Download PDFInfo
- Publication number
- CN112381846B CN112381846B CN202011448794.XA CN202011448794A CN112381846B CN 112381846 B CN112381846 B CN 112381846B CN 202011448794 A CN202011448794 A CN 202011448794A CN 112381846 B CN112381846 B CN 112381846B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- result
- segmentation
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 27
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims abstract description 14
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 9
- 210000001685 thyroid gland Anatomy 0.000 claims abstract description 10
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 239000011800 void material Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000003709 image segmentation Methods 0.000 abstract description 5
- 238000000354 decomposition reaction Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000002604 ultrasonography Methods 0.000 description 4
- 208000024799 Thyroid disease Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010054107 Nodule Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000021510 thyroid gland disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于非对称网络的超声甲状腺结节分割方法，属于深度学习图像分割领域。编码层是一个U‑Net网络，可以获取更多的上下文语义的特征信息，能都准确检测尺度、形状和位置等多变的甲状腺结节，解码层使用空洞卷积，残差连接和卷积核分解的组合，可以将高维全局上下文语义特征信息逐步还原细节纹理及边缘信息。本发明构造的模型在甲状腺数据集上达到了与高精度模型类似的分割精度，IOU比U‑Net模型高2％左右，且平均分割一张图片的时间为1.9s左右，比医生手动分割效率得到了大大的提升。解决了传统方法中干扰因素过多和图像边缘信息丢失严重的问题，具有较好的准确性和泛化能力。
Description
技术领域
本发明属于深度学习图像分割领域，具体涉及一种基于非对称网络的甲状腺结节超声图像分割方法。
背景技术
甲状腺疾病是目前发病率最高的结节性疾病，超声检查是诊断甲状腺结节的首要方式。然而目前医学仪器采集到的超声医学图像对比度较低，散斑噪声较多，而且甲状腺结节形状多变，位置多变，这给甲状腺疾病的确诊带来了很大的难度。
近年来，医疗影像技术的不断发展，计算机辅助诊断已逐渐受到研究人员重视，采用神经网络建立医学影像分割模型得到广泛的应用,针对甲状腺超声图像辅助诊断的研究也得到了长足的发展。2015年，Ronneberger等人提出了U-net的编码解码结构的深度卷积网络，使其能够使用很少的训练图像和较少的参数就能得到精确的分割结果。Unet添加上采样阶段和特征通道，得到图像的上下文信息；添加跳跃连接，使解码结构上特征图融合更多low-level的特征和不同尺寸的特征，从而可以进行多尺度预测和深度监督。2018年，Wang等人实验表明不同空洞率的感受野大小不同，通过组合不同空洞率的空洞卷积，可以获得不同感受野信息。2019年，Nandamuri等人通过一种全卷积神经网络SUMNet实现对超声甲状腺的快速分割。
上述方法通过卷积神经网络提取图像特征信息，结合图像的浅层信息和深层信息，使其在生物医学图像分割任务上得到了较高的性能。但是对于甲状腺超声图像来说，图像对比度低，甲状腺结节较小，前景与背景的比例极度不平衡，结节的边界有许多毛刺，容易受到甲状腺周围组织器官的干扰,不能得到好的分割结果。针对该问题，本文提出了非对称的网络结构，将Unet作为编码层，捕获全局上下文信息，精准获取结节位置，解码层可以完全访问编码层的层次结构，进一步提取对于最终目标更具区分性的特征，细化边缘信息。
发明内容
为了精确定位甲状腺的位置，实现甲状腺结节的快速分割，本发明设计一个非对称的网络模型，用于协助医生进行甲状腺疾病诊断，实现更快、更准确地识别患者结节位置。
为了实现上述目的，本发明采用的技术方案：
一种基于非对称网络的超声甲状腺结节分割方法，步骤如下：
(1)将从医院采集到的甲状腺超声图像，裁剪成大小一致的单通道灰度图像，来减轻网络模型的参数量。将数据进行预处理，并按比例分为训练集和测试集。进一步的，由于数据集较少，对数据进行翻转、旋转、增强对比度等一系列数据增强操作。
(2)构建非对称网络，将处理好的训练集数据送入非对称网络中训练，得到网络模型。
(3)在测试集上验证步骤(2)得到的网络模型的分割效果，并输出分割结果。
所述第(2)步构建非对称网络的步骤如下:
非对称网络包括编码层和解码层。
(2.1)编码层是一个U-Net网络。包括4个下卷积和4个上卷积，每个下卷积包括两个3×3的卷积层(conv2d)、两个归一化层(BatchNorm2d)、两个修正线性单元(relu)和一个最大池化层(maxpooling)，最大池化层采用2×2的卷积,步长为2。每个上卷积包括两个3×3的卷积层、两个归一化层、两个修正线性单元和一个上采样层，上采样层卷积核大小为2×2，卷积层的核大小为3×3。
单通道数据经过四个下卷积，图像通道数依次变为64、128、256、512，获取高级语义特征，之后经过四个上卷积将图像恢复到原图像的分辨率，通道数依次变为256、128、64、1，得到一个特征图。
(2.2)拆分混洗模块分为3个分支，第一个分支是经过卷积核为1的卷积层；第二个分支是包含两个3×3的卷积层(空洞率(dilation rate)分别为2和4)、归一化层(BatchNorm2d)、修正线性单元，第三个分支是先经过卷积核为3、空洞率为2的卷积层、归一化层、修正线性单元，再经过1×1的卷积层。将三个分支得到的结果进行连接，再和初始特征图相加，得到输出结果。经过编码层得到的特征图与步骤(2.1)下卷积得到的结果进行拼接，得到初始特征图，将初始特征图送入拆分混洗模块，得到新的特征结果，接着新的特征结果与编码层中对应相同层的卷积得到的结果拼接，继续送入拆分混洗模块，依次循环，直至得到最终预测分割结果图。该拆分混洗模块的作用是关注特征图上的关键信息，增强图像边缘信息，来弥补编码层局部信息不足的缺点。
(2.3)网络的解码层就是编码层中每层卷积得到的结果与拆分混洗模块的结果拼接，送入下一个拆分混洗模块中，依次循环。
采用上述技术方案带来的有益效果：
编码层是一个U-Net网络，可以获取更多的上下文语义的特征信息，能都准确检测尺度、形状和位置等多变的甲状腺结节，解码层使用空洞卷积，残差连接和卷积核分解的组合，可以将高维全局上下文语义特征信息逐步还原细节纹理及边缘信息。本发明构造的模型在甲状腺数据集上达到了与高精度模型类似的分割精度，IOU比U-Net模型高2％左右，且平均分割一张图片的时间为1.9s左右，比医生手动分割效率得到了大大的提升。解决了传统方法中干扰因素过多和图像边缘信息丢失严重的问题，具有较好的准确性和泛化能力。
附图说明
图1为本发明的流程图。
图2为本发明的神经网络结构图。
图3为本发明的神经网络内部模块结构图。其中，(a)表示下卷积，(b)表示上卷积，(c)表示拆分混洗模块。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的详细说明。
本发明构造了一种基于非对称网络的超声甲状腺结节方法，具体步骤如下:
(1)将从医院采集到的甲状腺超声图像，裁剪成256×256大小的单通道灰度图像，来减轻网络模型的参数量。将数据按照8：2分为训练集和测试集。由于数据集较少，对数据进行翻转、旋转、增强对比度等一系列数据增强操作。
(2)构建非对称网络，将处理好的数据送入网络中训练，网络使用Adam的梯度下降法进行网络优化，对学习率进行自动调参得到网络模型。
所述第二步构建非对称网络的步骤如下:
(2.1)编码层是一个U-Net网络，4个下卷积和4个上卷积，每个下卷积包含两个3×3的卷积层(conv2d)、归一化层(BatchNorm2d)、修正线性单元(relu)，最后一个最大池化(maxpooling)，池化层采用2×2的卷积,步长为2。每个上卷积包含两个3×3的卷积层、归一化层、修正线性单元和上采样层，上采样层卷积核大小为2×2，卷积层的核大小为3×3。
(2.2)经过编码层得到的特征结果与下卷积得到的结果进行拼接，送入拆分混洗模块。该模块分为3个分支，第一个分支是经过卷积核为1的卷积层，第二个分支是包含两个3×3的卷积层、归一化层(BatchNorm2d)、修正线性单元，其空洞率(dilation rate)分别为2和4，第三个分支是先经过卷积核为3、空洞率为2的卷积层、归一化层、修正线性单元，再经过1×1的卷积层。将三个分支得到的结果进行连接，再和初始特征图相加，得到输出结果
(2.3)网络的解码层就是编码层中每层卷积得到的结果与拆分混洗模块的结果拼接，送入下一个拆分混洗模块中，依次循环8次，得到与标签样本一样大小的分割概率图。
(2.4)使用sigmoid函数将(2.3)得到的分割概率图归一化到0到1之间。
(2.5)因为目标与背景高度不平衡，所以使用Dice损失函数,获取损失值。Diceloss公式如下：
(2.6)得到(2.5)的损失值，根据Adam算法进行反向传播，更新网络中的参
数值。学习率设置为0.001，训练的批大小为10。本次实验的硬件环境为NVIDIAGTX1080Ti,Intel Core i7处理器，软件环境为pytorch 3.0。
(2.7)验证模型分割甲状腺结节的性能，以Dice和IOU作为评价标准，其公式如下,P代表预测的分割结果，T代表真实的分割图：
(3)在测试集上验证步骤2得到的网络模型的分割效果，并输出分割结果。
表1将非对称网络的分割效果与其他模型进行对比分析，从每个模型的IOU和DSC来看，本发明提出的模型分割效果最好，评价标准比Unet网络高了2％左右。
Claims (1)
1.一种基于非对称网络的超声甲状腺结节分割方法，其特征在于，步骤如下：
(1)将从医院采集到的甲状腺超声图像，裁剪成大小一致的单通道灰度图像，来减轻网络模型的参数量；将数据进行预处理，并按比例分为训练集和测试集；进一步的，由于数据集较少，对数据进行翻转、旋转、增强对比度一系列数据增强操作；
(2)构建非对称网络，将处理好的训练集数据送入非对称网络中训练，得到网络模型；
(3)在测试集上验证步骤(2)得到的网络模型的分割效果，并输出分割结果；
所述第(2)步构建非对称网络的步骤如下:非对称网络包括编码层和解码层；
(2.1)编码层是一个U-Net网络；包括4个下卷积和4个上卷积，每个下卷积包括两个3×3的卷积层、两个归一化层、两个修正线性单元和一个最大池化层，最大池化层采用2×2的卷积,步长为2；每个上卷积包括两个3×3的卷积层、两个归一化层、两个修正线性单元和一个上采样层，上采样层卷积核大小为2×2，卷积层的核大小为3×3；
单通道数据经过四个下卷积，图像通道数依次变为64、128、256、512，获取高级语义特征，之后经过四个上卷积将图像恢复到原图像的分辨率，通道数依次变为256、128、64、1，得到一个特征图；
(2.2)解码层是拆分混洗模块，拆分混洗模块分为3个分支，第一个分支是经过卷积核为1的卷积层；第二个分支是包含两个3×3的卷积层、归一化层、修正线性单元，卷积层的空洞率分别为2和4，第三个分支是先经过卷积核为3、空洞率为2的卷积层、归一化层、修正线性单元，再经过1×1的卷积层；将三个分支得到的结果进行连接，再和初始特征图相加，得到输出结果；经过编码层得到的特征图与步骤(2.1)下卷积得到的结果进行拼接，得到初始特征图，将初始特征图送入拆分混洗模块，得到新的特征结果，接着新的特征结果与编码层中对应相同层的卷积得到的结果拼接，继续送入拆分混洗模块，依次循环，直至得到最终预测分割结果图；该拆分混洗模块的作用是关注特征图上的关键信息，增强图像边缘信息，来弥补编码层局部信息不足的缺点；
(2.3)网络的解码层就是编码层中每层卷积得到的结果与拆分混洗模块的结果拼接，送入下一个拆分混洗模块中，依次循环。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011448794.XA CN112381846B (zh) | 2020-12-11 | 2020-12-11 | 一种基于非对称网络的超声甲状腺结节分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011448794.XA CN112381846B (zh) | 2020-12-11 | 2020-12-11 | 一种基于非对称网络的超声甲状腺结节分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381846A CN112381846A (zh) | 2021-02-19 |
| CN112381846B true CN112381846B (zh) | 2024-03-08 |
Family
ID=74589674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011448794.XA Active CN112381846B (zh) | 2020-12-11 | 2020-12-11 | 一种基于非对称网络的超声甲状腺结节分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381846B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967293B (zh) * | 2021-03-04 | 2024-07-12 | 江苏中科重德智能科技有限公司 | 一种图像语义分割方法、装置及存储介质 |
| CN113205523A (zh) * | 2021-04-29 | 2021-08-03 | 浙江大学 | 多尺度表征优化的医学影像分割识别系统、终端及存储介质 |
| CN113610859B (zh) * | 2021-06-07 | 2023-10-31 | 东北大学 | 一种基于超声图像的甲状腺结节自动分割方法 |
| CN113537211B (zh) * | 2021-06-21 | 2023-06-02 | 电子科技大学 | 一种基于非对称iou的深度学习车牌框定位方法 |
| CN118172557A (zh) * | 2024-05-13 | 2024-06-11 | 南昌康德莱医疗科技有限公司 | 一种甲状腺结节超声图像分割方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091130A (zh) * | 2019-12-13 | 2020-05-01 | 南京邮电大学 | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 |
| CN111798455A (zh) * | 2019-09-25 | 2020-10-20 | 天津大学 | 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和系统 |
-
2020
- 2020-12-11 CN CN202011448794.XA patent/CN112381846B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和系统 |
| CN111798455A (zh) * | 2019-09-25 | 2020-10-20 | 天津大学 | 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法 |
| CN111091130A (zh) * | 2019-12-13 | 2020-05-01 | 南京邮电大学 | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| TPUAR-Net: Two Parallel U-Net with Asymmetric Residual-Based Deep Convolutional Neural Network for Brain Tumor Segmentation;Mahmoud Khaled Abd-Ellah等;《https://link.springer.com/chapter/10.1007/978-3-030-27272-2_9》;第1-11页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381846A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112381846B (zh) | 一种基于非对称网络的超声甲状腺结节分割方法 | |
| CN111311592A (zh) | 一种基于深度学习的三维医学图像自动分割方法 | |
| CN110689543A (zh) | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| CN112750137B (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
| CN113256641A (zh) | 一种基于深度学习的皮肤病灶图像分割方法 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN113610859B (zh) | 一种基于超声图像的甲状腺结节自动分割方法 | |
| CN112862805B (zh) | 听神经瘤图像自动化分割方法及系统 | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN114782350A (zh) | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN112420170A (zh) | 一种提高计算机辅助诊断系统图片分类准确度的方法 | |
| Zhong et al. | Segmentation of the thoracic aorta using an attention-gated u-net | |
| CN116309615A (zh) | 一种多模态mri脑肿瘤图像分割方法 | |
| CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
| Ding et al. | Efficient Unet with depth-aware gated fusion for automatic skin lesion segmentation | |
| CN116486156A (zh) | 融合多尺度特征上下文的全视野数字切片图像分类方法 | |
| Das et al. | Attention-UNet architectures with pretrained backbones for multi-class cardiac MR image segmentation | |
| CN116188455A (zh) | 一种基于U-Net的乳腺癌细胞图像分割方法 | |
| CN116433586A (zh) | 一种乳腺超声断层图像分割模型建立方法及分割方法 | |
| CN114937044A (zh) | 一种轻量化图像分割方法、装置及存储介质 | |
| Yerachmiel et al. | Weakly supervised brain tumor segmentation via semantic affinity deep neural network | |
| CN115115628B (zh) | 一种基于三维精细化残差网络的腔隙性脑梗死识别系统 | |
| Yu et al. | Full-automatic Segmentation Algorithm of Brain Tumor Based on RFE-UNet and Hybrid Focal Loss Function. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |