CN112529894A - 一种基于深度学习网络的甲状腺结节的诊断方法 - Google Patents

一种基于深度学习网络的甲状腺结节的诊断方法 Download PDF

Info

Publication number
CN112529894A
CN112529894A CN202011533385.XA CN202011533385A CN112529894A CN 112529894 A CN112529894 A CN 112529894A CN 202011533385 A CN202011533385 A CN 202011533385A CN 112529894 A CN112529894 A CN 112529894A
Authority
CN
China
Prior art keywords
thyroid
image
nodule
thyroid nodule
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011533385.XA
Other languages
English (en)
Other versions
CN112529894B (zh
Inventor
唐璐
徐凯
张珂
赵英红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Medical University
Original Assignee
Xuzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Medical University filed Critical Xuzhou Medical University
Priority to CN202011533385.XA priority Critical patent/CN112529894B/zh
Publication of CN112529894A publication Critical patent/CN112529894A/zh
Application granted granted Critical
Publication of CN112529894B publication Critical patent/CN112529894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习网络的甲状腺结节的诊断方法，属于图像处理和人工智能辅助诊断疾病领域，包括如下步骤：搜集甲状腺患者甲状腺结节的超声原始图像和病理报告，构建甲状腺结节数据库；超声图像预处理；基于Xception‑JFT的Deeplab v3+方法对步骤二中预处理后的超声图像进行语义分割，形成语义分割结果图；基于深度学习网络进行甲状腺结节的良恶性判别；形成甲状腺结节诊断信息报告。本发明采用基于Xeption‑JFT的Deeplab v3+算法建立甲状腺超声图像分割网络模型，通过不断改进主干网络Xception达到最优的分割效果，能够在高准确率和高鲁棒性下，自动快速识别结节信息，自动提取图像特征进行准确分割以获得更好的诊断结果，为临床诊断提供客观参考。

Description

一种基于深度学习网络的甲状腺结节的诊断方法
技术领域
本发明属于图像处理和人工智能辅助诊断疾病领域，具体涉及一种基于深度学习网络的甲状腺结节的诊断方法。
背景技术
甲状腺结节，是甲状腺内的肿块，它发病原因复杂，患病基数大。据调查，全国有68％都是甲状腺结节的潜在患者，同时过度诊断治疗现象严重，逐渐成为威胁人类健康的疾病之一。
目前，结节可以通过医生触诊，穿刺活检和超声图像的方式诊出。超声因其灵敏度高，无创伤，无辐射，实时性的特点成为诊断首选，对于超声无法定性的甲状腺结节，需要通过有创的FNA(细针穿刺活检)来确定，然而FNA检查不确定率也高达30％，大多数医生往往选择保守治疗进行不必要的外科手术切除术，致使患者终生服用药物，对患者造成无法挽回的伤害。
据统计，甲状腺结节超声诊断误诊、漏诊率达34％，此外，由于甲状腺疾病门诊量巨大，每个超声医生平均每天需要诊断120～150个患者，并且超声诊断的整个过程长达20分钟，每天大约需要花费10小时专注阅片工作，工作量巨大。此外，目前全国超声专业医生缺口达20万，医生资源匮乏。
由于超声图像噪声较多，且不同人群甲状腺大小、位置有显著差异，传统的图像处理方法往往难以取得较好的结果。深度学习算法是较为有效的处理医学图像工具，利用深度学习算法的甲状腺超声图像自动识别诊断的效果优于传统图像处理方法。
利用深度学习算法进行图像分割和图像性质分类往往最重要的在于分割结果和分类结果的准确性，目前被应用在图像分割上的网络算法在池化或反池化过程中忽略有价值的信息从而生成分割边界不准确模糊的图像，这对医生判断结节的大小和具体位置存在较大的影响，因此分割和分类的准确性成为追求目标，为临床医生提供客观的参考报告，能够提高医生的诊断准确率并且缩短医生检查时间，大大降低了医护人员和患者的压力。
发明内容
本发明所要解决的技术问题是，提供一种基于深度学习网络的甲状腺结节的诊断方法，采用基于Xception-JFT的Deeplab v3+算法建立甲状腺超声图像分割网络模型，通过不断改进主干网络Xception达到最优的分割效果，能够在高准确率和高鲁棒性下，自动快速识别结节信息，自动提取图像特征进行准确分割以获得更好的诊断结果，为临床诊断提供客观参考。
为解决上述技术问题，本发明采用的技术方案为：
一种基于深度学习网络的甲状腺结节的诊断方法，包括如下步骤：
步骤一：搜集甲状腺患者甲状腺结节的超声原始图像和病理报告，对照病理报告的结果标注勾画甲状腺结节外轮廓和甲状腺实质区域的外轮廓，获得超声勾画图像，构建甲状腺结节数据库；
步骤二：对甲状腺结节的超声勾画图像进行预处理，形成预处理图像；
步骤三：基于Xception-JFT的Deeplab v3+方法对预处理图像进行语义分割，形成语义分割结果图；
步骤四：基于深度学习网络对语义分割结果图进行甲状腺结节的良恶性判别，输出分类概率结果；
步骤五：根据步骤三中的语义分割结果图和步骤四中的分类概率结果，形成甲状腺结节诊断信息报告。
所述步骤一中超声原始图像和病理报告预先进行脱敏处理。
所述步骤二中的预处理包括如下步骤：
步骤2.1：将超声勾画图像通过处理软件处理后生成包含像素点的标签图像；
步骤2.2：转化标签图像为灰度图像；
步骤2.3：消除灰度图像中与甲状腺结节无关部分，获得优化图像；
步骤2.4：对优化图像进行直方图均衡化、小波去噪预处理和图像大小调整处理。
步骤三包括如下步骤：
步骤3.1：将预处理图像输入到以Xception为主干网络的Xception-JFT分割模型中；
步骤3.2：通过3×3卷积层对分割模型进行特征提取和缩小，四倍采样后将特征矩阵输入Decoder部分；
步骤3.3：输入特征矩阵到包含ASPP和池化的网络中，多尺度上提取特征信息，拼接提取的特征信息形成一个新的特征矩阵，新的特征矩阵与卷积核尺寸为1×1的卷积层相卷积；
步骤3.4：输入Decoder部分进行放大四倍的上采样，上采样后的矩阵与主干网络先输出的特征矩阵拼接，并与卷积核尺寸为3×3的卷积层相卷积；
步骤3.5：输出上采样语义分割结果图。
所述特征矩阵包括甲状腺纹理、边缘、细节、形状和整体布局，甲状腺纹理为结节表面的纹路，边缘为结节边缘是否清晰，细节为结节细节图案，形状为结节区域是否规则，整体布局为结节所在位置和大小。
步骤四包括如下步骤：
步骤4.1：通过深度学习网络对于预处理后输入的语义分割结果图经过3×3的卷积核进行特征提取和缩小；
步骤4.2：使用N组移动反向瓶颈卷积在不同尺度上进行特征提取；
步骤4.3：使用全连接层整合特征并进行分类；
步骤4.4：输出包含甲状腺结节良性概率和恶性概率的二维向量，完成甲状腺结节良恶性判断。
步骤4.1深度学习网络模型选用Efficient Net B7。
步骤五中诊断信息报告包括甲状腺结节大小、甲状腺结节形状图像和甲状腺结节良恶性判断结果。
步骤一中勾画通过Anaconda 2的labelme标注工具对甲状腺结节进行勾画标注并以josn格式保存数据，步骤二中预处理过程选用python和opencv工具。
本发明与现有技术相比，具有如下有益效果：
本发明所要解决的技术问题是，提供一种基于深度学习网络的甲状腺结节的诊断方法，采用基于Xception-JFT的Deeplab v3+算法建立甲状腺超声图像分割网络模型，通过不断改进主干网络Xception达到最优的分割效果，能够在高准确率和高鲁棒性下，自动快速识别结节信息，自动提取图像特征进行准确分割以获得更好的诊断结果，为临床诊断提供客观参考。
(1)以病理报告为金标准，对收集的甲状腺病人的超声图像进行标注，完成对于多类型甲状腺结节的分割，建立超声甲状腺结节数据库。测试训练甲状腺超声图像分割和良恶性分类的网络模型以达到最优效果，不仅有利于甲状腺结节相关疾病的治疗，同时也有利于其他疾病判别模型的建立。
(2)用过收集甲状腺病人超声影像数据建立甲状腺超声图像分割和良恶性分类的网络模型，可以提高对甲状腺结节识别的准确率，减少了患者因影像学检查不明确而进行穿刺检查和外科手术的必要性，降低患者的经济和心理负担，提高了患者的满意度。
(3)通过搜集甲状腺病人超声影像建立的超声图像数据库，建立甲状腺病人超声影像数据建立甲状腺超声图像分割和良恶性分类的网络模型，有效的提高了甲状腺良恶性判断的准确度，降低甲状腺疾病的漏诊和误诊率。
(4)通过建立甲状腺病人超声影像数据建立甲状腺超声图像分割和良恶性分类的网络模型，使得与真实的甲状腺疾病的超声图像达到高度的一致与有效。
(5)超声图像易受斑点和回声影响、不同年资的医师拍摄手法更是有所差别，通过对甲状腺结节的良恶性判别模型的建立，在自动诊断前有效的减少了这些情况对结果的影响。
(6)通过建立甲状腺结节良恶性判别模型能够辅助医生做甲状腺结节的诊断，帮助年资青的医生提高了对甲状腺结节良恶性判断的准确率。
(7)建立甲状腺超声图像分割和良恶性分类的网络模型，大大减少医生对甲状腺筛查的时间，从而减轻医护人员的工作强度及压力。
附图说明
图1是本发明工作流程示意图；
图2是本发明基于Xception-JFT的Deeplab v3+分割网络结构图；
图3是本发明的结节和实质语义分割示例图；
图4是本发明的Efficient Net网络结构图。
具体实施方式
下面结合附图对本发明作更进一步地说明。
实施例1：
如图1所示，本发明一种基于深度学习网络的甲状腺结节的诊断方法的一种实施例，包括如下步骤：
A.建立甲状腺超声图像数据库
通过收集病理科和影像科甲状腺病人超声图像和病理报告，利用Anaconda2的labelme标注工具对甲状腺结节进行勾画标注并以josn格式保存数据，以便后续使用。
B基于Xception-JFT的Deeplab v3+语义分割
a.将预处理过的超声图像输到入Xception-JFT以Xception为主干网络的分割模型中；
b.网络首先通过3×3卷积层进行特征提取和下采样，同时在进行四倍下采样后将特征矩阵输入Decoder部分；
c.完成特征提取后将特征矩阵输入包含ASPP和池化的网络中，在多尺度上对输入矩阵进行结节边缘是否清晰、结节区域是否规则的特征信息进行提取，被提取的特征拼接为一个新的特征矩阵并与卷积核尺寸为1×1的卷积层相卷积；
d.输入Decoder部分进行放大四倍的上采样，上采样后的矩阵与主干网络先输出的特征矩阵拼接，并与卷积核尺寸为3×3的卷积层相卷积，最后进行放大四倍的上采样输出语义分割的结果图。
如图3所示，对于训练好的分割网络，输入标注完成的图像实现语义分割。
C.Efficient Net B7良恶性判别
对于预处理后输入的甲状腺超声图像经过3×3的卷积核进行特征提取和上采样，然后使用七组移动反向瓶颈卷积在不同尺度上进行特征提取，最后使用全连接层整合特征并用softmax进行分类，输出包含甲状腺结节良性概率和恶性概率的二维向量，完成甲状腺结节良恶性判断。
D.根据以上分割和分类概率结果，形成一份具有结节大小、形状和性质的诊断报告。
实施例2
在本发明的另一些具体实施方式中，其余与上述实施方式相同，不同之处在于，如图1所示，对步骤A中标注完成的图像进行预处理过程可以增强网络运行的稳定性；所述预处理包括如下步骤
a.将标记完成的图像利用python和opencv进行处理生成格式为BMP的两份标签图像，对甲状腺结节、实质及其他部位置于不同像素值，从而显示不同亮度区分甲状腺各部位；
b.将标记完成的图像生成灰度图像，灰白色通道的值为灰度图像与包含结节的甲状腺实质的掩模的特征矩阵对应元素相乘得到的矩阵，灰色通道仅包含结节，对于多结节的情况将每个结节分布在每张图像的红色通道上，保证每个红色通道只有一个结节；
c.消除样本图样中无关部分，对图像进行直方图均衡化、小波去噪预处理；
d.对图像进行尺寸的调整。
实施例3
在本发明的另一些具体实施方式中，其余与上述实施方式相同，不同之处在于，如图4所示，用于分类深度学习网络选用Efficient Net B7：
a.通过Efficient Net B7模型对于预处理后输入的甲状腺超声图像经过3×3的卷积核进行特征提取和缩小，
b.然后使用七组移动反向瓶颈卷积在不同尺度上进行特征提取，
c.最后使用全连接层整合特征并用softmax进行分类，
d.输出包含甲状腺结节良性概率和恶性概率的二维向量，完成甲状腺结节良恶性判断。
Efficient Net是一项新型模型缩放方法，具备极高的参数效率和速度，该方法使用一种简单但高效的复合系数(compound coefficient)以更加结构化的方式扩展，CNNEfficient Net模型实现了比现有CNN更高的精度和更高的效率，将参数大小和FLOPS降低了一个数量级，Efficient Net模型的准确率超越了当前最优模型，且效率是后者的10倍，此模型更小，速度更快。Efficient Net B1至B7都是在复合调整B0的矩阵宽度、矩阵通道数、网络深度的基础上扩展而来。从B0到B7，网络不断变大，可训练参数大致以两倍的倍率不断增加，网络训练时间也大致以两倍的速率不断增加。一般而言，从B0到B7，网络分类效果也呈梯度式上升。通过对比Efficient Net一系列网络，即Efficient Net B0至Efficient Net B7共计8个网络。
表1良恶性判断结果
准确率 灵敏度 特异度 阳性预测值 阴性预测值
B0 0.825 0.769 0.875 0.756 0.886
B1 0.841 0.730 0.902 0.808 0.857
B2 0.866 0.820 0.898 0.852 0.875
B3 0.872 0.815 0.906 0.836 0.892
B4 0.881 0.817 0.917 0.847 0.900
B5 0.916 0.875 0.943 0.911 0.919
B6 0.922 0.905 0.931 0.881 0.945
B7 0.928 0.877 0.963 0.942 0.920
基于表1，根据在相同测试集中的分类结果选用Efficient Net B7作为最适合甲状腺结节进行良恶性判断的网络。
实施例4
在本发明的另一些具体实施方式中，其余与上述实施方式相同，不同之处在于，所述样本数据进行脱敏处理。对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。这样就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。
实施例5
实施例5为综合实施例1-4所有技术特征构成的技术方案。
对数据库4226例报告中，其中良性报告2023例，恶性报告2203例，随机选取60％的数据进行网络训练，40％的数据进行网络性能测试，经测试集试验表明采用本发明的技术方案：Deeplab v3+分割网络能够在较高准确率下进行图像分割，有效辅助临床医生进行疾病诊断，提高医生工作效率，减轻医生工作量。在4226例病例中使用剩余的40％测试集的图像数据进行测试，在此测试集数量的基础上，Deeplab v3+对良恶性结节分割的均准确率已经达到93.3％，病灶的结节交并比及总体的均交并比平均至少达到0.85。在原本需花费10分钟左右的诊断时间大大缩短，较大程度上提高了医生的工作效率，结节良恶性分类网络的诊断结果准确性已达到93.3％。
通过计算结果比对FCN、Segnet、U-net网络，发现Deeplab v3+在分割甲状腺结节中，分类准确率、结节的均交并比、交并比均为最优，其中结节分割可通过均交并比进行比对。具体计算结果如下表2所示。
表2本发明方法与其他传统方法指标对比如下：
Figure BDA0002852579090000081
综上，本发明方法相较于传统方法具有一定的优势，良恶性判断网络主要达到如下指标，数值越大表明网络性能越好：
(1)敏感性，真阳性例数/(真阳性例数+假阴性例数)*100％；敏感性是网络能识别恶性病灶的能力指标，本系统的敏感性达到87.7％。
(2)特异性，真阴性例数/(真阴性例数+假阳性例数)*100％；特异性是网络能识别良性病灶的能力指标，本系统的特异性达到96.3％。
(3)均准确率，网络准确判定的例数/全部测定的例数*100％；均准确率是网络能识别恶性及良性病灶的能力指标，本系统的特异性至少达到93.3％。
(4)阳性预测值(PPV),真阳性预测例数/(真阳性预测例数+假阳性预测例数)*100％；阳性预测值是网络判断恶性病灶准确率的指标，本系统的阳性预测值达到94.2％。
(5)阴性预测值(NPV)，真阴性预测例数/(真阴性预测例数+假阴性预测例数)*100％；阴性预测值是网络判断良性病灶准确率的指标，本系统的阴性预测值达到92.0％。
(6)结节交并比，网络自动勾画的结节区域面积/医生手工标注的结节区域面积*100％；结节交并比可表现分割网络自动勾画甲状腺结节区域的准确性，本系统的结节交并比达85.8％。
(7)均交并比，指45120张测试集图像中网络自动勾画的结节区域面积/医生手工标注的结节区域面积的平均值，体现了系统的稳定性和分割的准确性达86.4％。
当然，上述实施例仅是本发明的优选方案，具体并不局限于此，在此基础上可根据实际需要作出具有针对性的调整，从而得到不同的实施方式。由于可能实现的方式较多，这里就不再一一举例说明。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于深度学习网络的甲状腺结节的诊断方法，其特征在于：包括如下步骤：
步骤一：搜集甲状腺患者甲状腺结节的超声原始图像和病理报告，对照病理报告的结果标注勾画甲状腺结节外轮廓和甲状腺实质区域的外轮廓，获得超声勾画图像，构建甲状腺结节数据库；
步骤二：对甲状腺结节的超声勾画图像进行预处理，形成预处理图像；
步骤三：基于Xception-JFT的Deeplab v3+方法对预处理图像进行语义分割，形成语义分割结果图；
步骤四：基于深度学习网络对语义分割结果图进行甲状腺结节的良恶性判别，输出分类概率结果；
步骤五：根据步骤三中的语义分割结果图和步骤四中的分类概率结果，形成甲状腺结节诊断信息报告。
2.根据权利要求1所述的一种基于深度学习网络的甲状腺结节的诊断方法，其特征在于：所述步骤一中超声原始图像和病理报告预先进行脱敏处理。
3.根据权利要求2所述的一种基于深度学习网络的甲状腺结节的诊断方法，其特征在于：所述步骤二中的预处理包括如下步骤：
步骤2.1：将超声勾画图像通过处理软件处理后生成包含像素点的标签图像以便网络进行图像特征的识别；
步骤2.2：转化标签图像为灰度图像；
步骤2.3：消除灰度图像中与甲状腺结节无关部分，获得优化图像；
步骤2.4：对优化图像进行直方图均衡化、小波去噪预处理和图像大小调整处理。
4.根据权利要求1所述的一种基于深度学习网络的甲状腺结节的诊断方法，其特征在于：步骤三包括如下步骤：
步骤3.1：将预处理图像输入到以Xception为主干网络的Xception-JFT分割模型中；
步骤3.2：通过3×3卷积层对分割模型进行特征提取和下采样，四倍采样后将特征矩阵输入 Decoder 部分；
步骤3.3：输入特征矩阵到包含 ASPP 和池化的网络中，多尺度上提取特征信息，拼接提取的特征信息形成一个新的特征矩阵，新的特征矩阵与卷积核尺寸为 1×1 的卷积层相卷积；
步骤3.4：输入 Decoder 部分进行放大四倍的上采样，上采样后的矩阵与主干网络先输出的特征矩阵拼接，并与卷积核尺寸为 3×3 的卷积层相卷积；
步骤3.5：输出上采样语义分割结果图。
5.根据权利要求5所述的一种基于深度学习网络的甲状腺结节的诊断方法，其特征在于：所述特征矩阵包括甲状腺纹理、边缘、细节、形状和整体布局，甲状腺纹理为结节表面的纹路，边缘为结节边缘是否清晰，细节为结节细节图案，形状为结节区域是否规则，整体布局为结节所在位置和大小。
6.根据权利要求1所述的一种基于深度学习网络的甲状腺结节的诊断方法，其特征在于：步骤四包括如下步骤：
步骤4.1：通过深度学习网络对于预处理后输入的语义分割结果图经过3×3的卷积核进行特征提取和下采样；
步骤4.2：使用N组移动反向瓶颈卷积在不同尺度上进行特征提取；
步骤4.3：使用全连接层整合特征并进行分类；
步骤4.4：输出包含甲状腺结节良性概率和恶性概率的二维向量，完成甲状腺结节良恶性判断。
7.根据权利要求7所述的一种基于深度学习网络的甲状腺结节的诊断方法，其特征在于：步骤4.1深度学习网络模型选用Efficient Net B7。
8.根据权利要求1所述的一种基于深度学习网络的甲状腺结节的诊断方法，其特征在于：步骤五中诊断信息报告包括甲状腺结节大小、甲状腺结节形状图像和甲状腺结节良恶性判断结果。
9.根据权利要求8所述的一种基于深度学习网络的甲状腺结节的诊断方法，其特征在于：步骤一中勾画通过Anaconda 2的labelme标注工具对甲状腺结节进行人为手工勾画标注并以josn格式保存数据，步骤二中预处理过程选用 python 和 opencv工具。
CN202011533385.XA 2020-12-22 2020-12-22 一种基于深度学习网络的甲状腺结节的诊断方法 Active CN112529894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011533385.XA CN112529894B (zh) 2020-12-22 2020-12-22 一种基于深度学习网络的甲状腺结节的诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011533385.XA CN112529894B (zh) 2020-12-22 2020-12-22 一种基于深度学习网络的甲状腺结节的诊断方法

Publications (2)

Publication Number Publication Date
CN112529894A true CN112529894A (zh) 2021-03-19
CN112529894B CN112529894B (zh) 2022-02-15

Family

ID=74975861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011533385.XA Active CN112529894B (zh) 2020-12-22 2020-12-22 一种基于深度学习网络的甲状腺结节的诊断方法

Country Status (1)

Country Link
CN (1) CN112529894B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950615A (zh) * 2021-03-23 2021-06-11 内蒙古大学 一种基于深度学习分割网络的甲状腺结节侵袭性预测方法
CN113223716A (zh) * 2021-05-20 2021-08-06 复旦大学附属中山医院 一种甲状腺微小癌消融术前颈部淋巴结良恶性预测方法
CN113299374A (zh) * 2021-06-03 2021-08-24 广东财经大学 一种基于深度学习的甲状腺结节超声图像自动分割系统
CN113392917A (zh) * 2021-06-23 2021-09-14 山东科技大学 一种基于改进EfficientDet网络的海面军事目标检测与分类方法
CN113408595A (zh) * 2021-06-09 2021-09-17 北京小白世纪网络科技有限公司 病理图像处理的方法、装置、电子设备及可读存储介质
CN113450325A (zh) * 2021-06-28 2021-09-28 什维新智医疗科技(上海)有限公司 一种甲状腺结节良恶性识别装置
CN113689927A (zh) * 2021-10-26 2021-11-23 湖北经济学院 一种基于深度学习模型的超声图像处理方法及装置
CN114708236A (zh) * 2022-04-11 2022-07-05 徐州医科大学 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法
CN115984188A (zh) * 2022-12-09 2023-04-18 脉得智能科技(无锡)有限公司 皮肤病多病种超声图像识别方法、识别设备、存储介质
CN116739992A (zh) * 2023-05-17 2023-09-12 福州大学 一种甲状腺被膜侵犯智能辅助判读方法
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032520A1 (en) * 2015-07-29 2017-02-02 University Of Louisville Research Foundation, Inc. Computer aided diagnostic system for mapping of brain images
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法
CN110060235A (zh) * 2019-03-27 2019-07-26 天津大学 一种基于深度学习的甲状腺结节超声图像分割方法
CN110060774A (zh) * 2019-04-29 2019-07-26 赵蕾 一种基于生成式对抗网络的甲状腺结节识别方法
CN110084810A (zh) * 2019-05-06 2019-08-02 成都医云科技有限公司 一种肺结节图像检测方法、模型训练方法、装置及存储介质
CN110232696A (zh) * 2019-06-20 2019-09-13 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置
CN110738662A (zh) * 2019-10-29 2020-01-31 徐州医科大学 基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级方法
CN111243042A (zh) * 2020-02-28 2020-06-05 浙江德尚韵兴医疗科技有限公司 基于深度学习的超声甲状腺结节良恶性特征可视化的方法
CN111476802A (zh) * 2020-04-09 2020-07-31 山东财经大学 一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，设备及可读存储介质
CN111489364A (zh) * 2020-04-08 2020-08-04 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法
CN111539930A (zh) * 2020-04-21 2020-08-14 浙江德尚韵兴医疗科技有限公司 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN111612752A (zh) * 2020-05-15 2020-09-01 江苏省人民医院（南京医科大学第一附属医院） 基于Faster-RCNN的超声图像甲状腺结节智能检测系统
CN111920440A (zh) * 2020-09-23 2020-11-13 内蒙古医科大学附属人民医院(内蒙古自治区肿瘤医院) 一种基于深度学习的早期肺癌检测分类一体化设备及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032520A1 (en) * 2015-07-29 2017-02-02 University Of Louisville Research Foundation, Inc. Computer aided diagnostic system for mapping of brain images
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法
CN110060235A (zh) * 2019-03-27 2019-07-26 天津大学 一种基于深度学习的甲状腺结节超声图像分割方法
CN110060774A (zh) * 2019-04-29 2019-07-26 赵蕾 一种基于生成式对抗网络的甲状腺结节识别方法
CN110084810A (zh) * 2019-05-06 2019-08-02 成都医云科技有限公司 一种肺结节图像检测方法、模型训练方法、装置及存储介质
CN110232696A (zh) * 2019-06-20 2019-09-13 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置
CN110738662A (zh) * 2019-10-29 2020-01-31 徐州医科大学 基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级方法
CN111243042A (zh) * 2020-02-28 2020-06-05 浙江德尚韵兴医疗科技有限公司 基于深度学习的超声甲状腺结节良恶性特征可视化的方法
CN111489364A (zh) * 2020-04-08 2020-08-04 重庆邮电大学 基于轻量级全卷积神经网络的医学图像分割方法
CN111476802A (zh) * 2020-04-09 2020-07-31 山东财经大学 一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，设备及可读存储介质
CN111539930A (zh) * 2020-04-21 2020-08-14 浙江德尚韵兴医疗科技有限公司 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN111612752A (zh) * 2020-05-15 2020-09-01 江苏省人民医院（南京医科大学第一附属医院） 基于Faster-RCNN的超声图像甲状腺结节智能检测系统
CN111920440A (zh) * 2020-09-23 2020-11-13 内蒙古医科大学附属人民医院(内蒙古自治区肿瘤医院) 一种基于深度学习的早期肺癌检测分类一体化设备及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FAHDI KANAVATI 等: "Weakly-supervised learning for lung carcinoma classification using deep learning", 《SCIENTIFIC REPORTS》 *
LIANG-CHIEH CHEN 等: "Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION（ECCV 2018）》 *
MINGXING TAN 等: "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks", 《INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
刘平: "基于深度学习的运动模糊图像分割", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950615B (zh) * 2021-03-23 2022-03-04 内蒙古大学 一种基于深度学习分割网络的甲状腺结节侵袭性预测方法
CN112950615A (zh) * 2021-03-23 2021-06-11 内蒙古大学 一种基于深度学习分割网络的甲状腺结节侵袭性预测方法
CN113223716A (zh) * 2021-05-20 2021-08-06 复旦大学附属中山医院 一种甲状腺微小癌消融术前颈部淋巴结良恶性预测方法
CN113299374A (zh) * 2021-06-03 2021-08-24 广东财经大学 一种基于深度学习的甲状腺结节超声图像自动分割系统
CN113299374B (zh) * 2021-06-03 2023-08-29 广东财经大学 一种基于深度学习的甲状腺结节超声图像自动分割系统
CN113408595A (zh) * 2021-06-09 2021-09-17 北京小白世纪网络科技有限公司 病理图像处理的方法、装置、电子设备及可读存储介质
CN113408595B (zh) * 2021-06-09 2022-12-13 北京小白世纪网络科技有限公司 病理图像处理的方法、装置、电子设备及可读存储介质
CN113392917B (zh) * 2021-06-23 2022-06-07 山东科技大学 一种基于改进EfficientDet网络的海面军事目标检测与分类方法
CN113392917A (zh) * 2021-06-23 2021-09-14 山东科技大学 一种基于改进EfficientDet网络的海面军事目标检测与分类方法
CN113450325A (zh) * 2021-06-28 2021-09-28 什维新智医疗科技(上海)有限公司 一种甲状腺结节良恶性识别装置
CN113689927A (zh) * 2021-10-26 2021-11-23 湖北经济学院 一种基于深度学习模型的超声图像处理方法及装置
CN114708236A (zh) * 2022-04-11 2022-07-05 徐州医科大学 一种基于tsn和ssn在超声图像中的甲状腺结节良恶性分类方法
CN115984188A (zh) * 2022-12-09 2023-04-18 脉得智能科技(无锡)有限公司 皮肤病多病种超声图像识别方法、识别设备、存储介质
CN115984188B (zh) * 2022-12-09 2023-11-24 脉得智能科技(无锡)有限公司 皮肤病多病种超声图像识别方法、识别设备、存储介质
CN116739992A (zh) * 2023-05-17 2023-09-12 福州大学 一种甲状腺被膜侵犯智能辅助判读方法
CN116739992B (zh) * 2023-05-17 2023-12-22 福州大学 一种甲状腺被膜侵犯智能辅助判读方法
CN116934738A (zh) * 2023-08-14 2023-10-24 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统
CN116934738B (zh) * 2023-08-14 2024-03-22 威朋（苏州）医疗器械有限公司 基于超声图像的器官与结节联合分割方法及系统

Also Published As

Publication number Publication date
CN112529894B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN110060774B (zh) 一种基于生成式对抗网络的甲状腺结节识别方法
CN111243042A (zh) 基于深度学习的超声甲状腺结节良恶性特征可视化的方法
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN109447940B (zh) 卷积神经网络训练方法、超声图像识别定位方法及系统
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
Saikumar et al. A novel implementation heart diagnosis system based on random forest machine learning technique.
CN112396621B (zh) 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN112085113B (zh) 一种重症肿瘤影像识别系统及方法
CN111681210A (zh) 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN112508884A (zh) 一种癌变区域综合检测装置及方法
CN114494215A (zh) 基于Transformer的甲状腺结节检测方法
Aslam et al. Liver-tumor detection using CNN ResUNet
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法
CN116630680B (zh) 一种x线摄影联合超声的双模态影像分类方法及系统
Radhi et al. An automatic segmentation of breast ultrasound images using u-net model
CN114418999B (zh) 基于病变关注金字塔卷积神经网络的视网膜病变检测系统
Azli et al. Ultrasound image segmentation using a combination of edge enhancement and kirsch’s template method for detecting follicles in ovaries
CN116524315A (zh) 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant