CN113537357A - 一种基于深度残差网络的甲状腺癌ct影像分类系统 - Google Patents

一种基于深度残差网络的甲状腺癌ct影像分类系统 Download PDF

Info

Publication number
CN113537357A
CN113537357A CN202110812511.3A CN202110812511A CN113537357A CN 113537357 A CN113537357 A CN 113537357A CN 202110812511 A CN202110812511 A CN 202110812511A CN 113537357 A CN113537357 A CN 113537357A
Authority
CN
China
Prior art keywords
image
tumor
thyroid cancer
residual error
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110812511.3A
Other languages
English (en)
Inventor
宋西成
毛宁
张海程
武欣欣
李静静
王彩
张文彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Yuhuangding Hospital
Original Assignee
Yantai Yuhuangding Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Yuhuangding Hospital filed Critical Yantai Yuhuangding Hospital
Priority to CN202110812511.3A priority Critical patent/CN113537357A/zh
Publication of CN113537357A publication Critical patent/CN113537357A/zh
Priority to NL2029876A priority patent/NL2029876B1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种基于深度残差网络的甲状腺癌CT影像分类系统，包括甲状腺癌CT影像获取模块，用于获取带标签的多位甲状腺癌症患者的CT影像；多尺度分割模块，用于对CT影像按不同尺度进行分割，依次截取肿瘤、肿瘤外扩5mm、肿瘤外扩10mm的立方体区域，得到肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像；预处理模块，用于对所述图像进行预处理，得到训练数据集；深度残差网络训练模块，用于利用训练数据集对深度残差网络进行训练和优化；甲状腺癌CT影像分类模块，用于将待分类甲状腺癌CT影像输入优化后的深度残差网络进行分类，获得甲状腺癌CT影像的分类结果。本发明能够对甲状腺癌CT影像进行准确分类。

Description

一种基于深度残差网络的甲状腺癌CT影像分类系统
技术领域
本发明涉及医学影像和人工智能技术领域，特别是涉及一种基于深度残差网络的甲状腺癌CT影像分类系统。
背景技术
近年来，计算机技术广泛应用于医学领域，特别是计算机辅助诊断技术，依靠医学影像、医学图像处理技术，结合计算机相关算法，辅助影像科医生进行诊断，提高诊断的准确率和效率。
甲状腺癌是一种发病率比较高的癌症，据报道高达60％-70％的患者存在淋巴结转移。因此，在初次手术前需要准确地确定淋巴结清扫所需的范围，确定淋巴结转移风险，临床上通常需要通过CT检查来确定，因为需要对CT影像进行鉴别，帮助医生做出判断。
目前，人工智能方法辅助诊断技术，主要包括基于影像组学和深度学习的方法。影像组学的方法需要从医学影像上提取手工设计的特征，再通过特征选择和传统机器学习方法建立模型。然而手工设计的特征难以准确地表征影像内在的特征。
深度学习方法能够自动提取图像的高维特征，比传统的机器学习方法有着很大的优越性，可以避免手动提取图像特征带来的问题。虽然随着深度学习的发展，已经出现了许多针对图像分类的框架，但是目前还没有针对甲状腺癌患者的CT影像进行分类的深度学习模型。由于甲状腺癌患者的CT图像(甲状腺癌CT影像)中含有病灶影像，因此甲状腺癌患者的CT影像比普通图像更复杂，特征更多。若采用目前现有的针对普通图像分类的框架，无法准确实现甲状腺癌CT影像分类，从而无法辅助医生判断甲状腺癌CT影像中淋巴结是否发生转移。因此，本领域亟需一种针对甲状腺癌患者的CT影像进行分类的深度学习模型以解决上述问题。
发明内容
本发明的目的是提供一种基于深度残差网络的甲状腺癌CT影像分类系统，能够对甲状腺癌CT影像进行准确分类，辅助医生判断甲状腺癌CT影像中淋巴结是否发生转移。
为实现上述目的，本发明提供了如下方案：
一种基于深度残差网络的甲状腺癌CT影像分类系统，所述系统包括：
甲状腺癌CT影像获取模块，用于获取带标签的多位甲状腺癌症患者的CT影像；
多尺度分割模块，与所述甲状腺癌CT影像获取模块连接，用于分别对每位甲状腺癌症患者的CT影像按不同尺度进行分割，依次截取肿瘤、肿瘤外扩5mm、肿瘤外扩10mm的立方体区域，得到肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像；
预处理模块，与所述多尺度分割模块连接，用于分别对所述肿瘤图像、所述肿瘤外扩5mm图像和所述肿瘤外扩10mm图像进行预处理，得到训练数据集；
深度残差网络训练模块，与所述预处理模块连接，用于利用所述训练数据集对深度残差网络进行训练和优化，得到优化后的深度残差网络；
甲状腺癌CT影像分类模块，与所述深度残差网络训练模块连接，用于将待分类甲状腺癌CT影像输入所述优化后的深度残差网络进行分类，获得甲状腺癌CT影像的分类结果；所述分类结果包括甲状腺癌CT影像中淋巴结转移和淋巴结未转移。
可选地，所述每位甲状腺癌症患者的CT影像均是由不同期相对应的多个连续图像切片组成；所述不同期相包括平扫期、动脉期和静脉期。
可选地，所述每位甲状腺癌症患者的CT影像均包括有感兴趣区域；所述感兴趣区域是沿平扫期、动脉期和静脉期三期中甲状腺原发病灶的边缘逐层勾画出的；每期的感兴趣区域逐层叠加组成了一个三维的感兴趣容积。
可选地，所述多尺度分割模块具体包括：
体素间距转换单元，与所述甲状腺癌CT影像获取模块连接，用于对所述每位甲状腺癌症患者的CT影像的体素间距进行转换，得到转换后的CT影像；
感兴趣容积确定单元，与所述体素间距转换单元连接，用于根据感兴趣容积在转换后的CT影像中的位置确定感兴趣容积的长、宽、高以及中心点坐标；
截取单元，与所述感兴趣容积确定单元连接，用于根据所述感兴趣容积的长、宽、高以及中心点坐标，从所述转换后的CT影像上将肿瘤区域截取出来，并截取肿瘤外扩5mm和10mm的立方体区域，得到肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像。
可选地，所述预处理模块具体包括：
归一化单元，与所述多尺度分割模块连接，用于分别对所述肿瘤图像、所述肿瘤外扩5mm图像和所述肿瘤外扩10mm图像中每个体素进行归一化处理，得到归一化后的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像；
数据缩放单元，与所述归一化单元连接，用于分别将所述归一化后的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像统一到设定图像尺寸，得到设定图像尺寸的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像；
数据增强单元，与所述数据缩放单元连接，用于分别对所述设定图像尺寸的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像按翻转、旋转、平移和缩放进行数据增强，得到训练数据集；所述训练数据集包括数据增强后的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像。
可选地，所述深度残差网络训练模块具体包括：
深度残差网络构建单元，与所述预处理模块连接，用于构建深度残差网络；
深度残差网络训练单元，与所述深度残差网络构建单元连接，用于接收所述预处理模块发送的训练数据集，并利用所述训练数据集对所述深度残差网络进行训练和优化，得到优化后的深度残差网络。
可选地，所述深度残差网络具体包括：
浅层特征提取层，与所述预处理模块连接，用于利用64个通道的3×3×3的卷积核以及与所述3×3×3的卷积核连接的整流线性单元对所述训练数据集中图像的浅层特征进行提取，得到浅层特征图；
深层特征提取层，与所述浅层特征提取层连接，用于对所述浅层特征图中的深层特征进行提取，得到深层特征图；
跳跃连接层，分别与所述浅层特征提取层和所述深层特征提取层连接，用于将所述浅层特征图和所述深层特征图连接起来；
卷积层，与所述跳跃连接层连接，用于利用一个7×7×7的卷积核以及与所述7×7×7的卷积核连接的整流线性单元对连接后的浅层特征图和深层特征图进一步提取特征，生成128个通道的特征图；
分类层，与所述卷积层连接，用于对所述128个通道的特征图进行3D全局平均池化操作，计算甲状腺癌CT影像中淋巴结转移和淋巴结未转移的概率，将概率最大的类别作为分类结果。
可选地，所述深层特征提取层具体包括：
多个残差密集块，与所述浅层特征提取层连接，各所述残差密集块依次连接，每个所述残差密集块用于利用9个3×3×3的卷积核以及与每个3×3×3的卷积核分别连接的整流线性单元对所述浅层特征图中的深层特征进行提取；
1×1×1的卷积层，与所述多个残差密集块连接，用于融合各所述残差密集块提取的深层特征，得到深层特征图。
可选地，所述分类层具体包括互相连接的全连接层和Softmax；所述全连接层与所述卷积层连接；所述全连接层用于对所述128个通道的特征图进行3D全局平均池化操作；所述Softmax用于计算甲状腺癌CT影像中淋巴结转移和淋巴结未转移的概率，并将概率最大的类别作为甲状腺癌CT影像的分类结果。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开的基于深度残差网络的甲状腺癌CT影像分类系统，设置多尺度分割模块对每位甲状腺癌症患者的CT影像按不同尺度进行分割，依次截取肿瘤、肿瘤外扩5mm、肿瘤外扩10mm的立方体区域，得到肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像，设置深度残差网络训练模块利用不同尺度的图像对深度残差网络进行训练和优化，利用优化后的深度残差网络对甲状腺癌CT影像进行分类，通过将多尺度分割与深度残差网络结合，提取甲状腺癌CT影像中甲状腺癌肿瘤的多种尺度的信息，融合肿瘤与肿瘤瘤周之间的特征，提高了模型分类的准确度，与ResNet、DenseNet等传统深度学习框架相比，更加加强了特征之间的融合与传播，充分学习到了图像的高频和细节特征，使得能够对甲状腺癌CT影像进行准确分类，从而辅助医生判断甲状腺癌CT影像中淋巴结是否发生转移。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于深度残差网络的甲状腺癌CT影像分类系统实施例的结构图；
图2是本发明基于深度残差网络分类的结构示意图；
图3是本发明残差密集网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于深度残差网络的甲状腺癌CT影像分类系统，能够对甲状腺癌CT影像进行准确分类，辅助医生判断甲状腺癌CT影像中淋巴结是否发生转移。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于深度残差网络的甲状腺癌CT影像分类系统实施例的结构图。参见图1，该基于深度残差网络的甲状腺癌CT影像分类系统包括甲状腺癌CT影像获取模块101，与甲状腺癌CT影像获取模块101连接的多尺度分割模块102，与多尺度分割模块102连接的预处理模块103，与预处理模块103连接的深度残差网络训练模块104，以及与深度残差网络训练模块104连接的甲状腺癌CT影像分类模块105。
甲状腺癌CT影像获取模块(甲状腺癌CT影像收集模块)101用于获取带标签的多位甲状腺癌症患者的CT影像。每位甲状腺癌症患者的CT影像均是由不同期相对应的多个连续图像切片组成；不同期相包括平扫期、动脉期和静脉期。每位甲状腺癌症患者的CT影像均包括有感兴趣区域；感兴趣区域是沿平扫期、动脉期和静脉期三期中甲状腺原发病灶的边缘逐层勾画出的；每期的感兴趣区域逐层叠加组成了一个三维的感兴趣容积。CT影像的感兴趣区域(region ofinterest，ROI)的勾画由一位具有10年以上诊断经验的影像科医师完成，沿CT平扫期、动脉期和静脉期三期中甲状腺原发病灶的边缘(甲状腺癌肿瘤的边缘)进行逐层勾画，每期的ROI区域逐层叠加组成了一个三维的感兴趣容积(volume ofinterest,VOI)，其中每个患者的图像都标注有标签信息(淋巴结转移/淋巴结未转移)。
通过收集甲状腺癌CT影像数据，根据CT扫描的间隔，建立三维立体图像，并逐层勾画甲状腺癌的肿瘤区域，得到带标记的原始三维CT影像，即带标签的多位甲状腺癌症患者的CT影像。甲状腺癌CT影像是从烟台毓璜顶医院2017-2020年度做过甲状腺CT检查的913例甲状腺癌症患者中收集的，通过病理样本检测得到甲状腺癌CT影像中淋巴结转移/淋巴结未转移的标签数据，即淋巴结是否转移的标签是以病理为金标准来确定的。由于每个病人的每一期的三维结构均由多层连续切片表示，这就得到了3D原始CT影像矩阵，为了减少肿瘤周围组织对网络模型的干扰，本发明根据勾画的VOI的位置对原始CT影像按不同尺寸进行切割。
多尺度分割模块(多尺度剪切模块)102用于分别对每位甲状腺癌症患者的CT影像(三维立体图像)按不同尺度进行分割，依次截取肿瘤、肿瘤外扩5mm、肿瘤外扩10mm的立方体区域，得到肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像。多尺度分割模块102根据肿瘤坐标和中心点，即肿瘤在原始图像中的坐标和中心位置，将肿瘤、肿瘤外扩5mm和肿瘤外扩10mm的区域进行切割，得到输入深度残差网络的多尺度三维数据，即甲状腺肿瘤区域三个不同尺度的立体图像。
多尺度分割模块102具体包括与甲状腺癌CT影像获取模块101连接的体素间距转换单元，与体素间距转换单元连接的感兴趣容积确定单元，以及与感兴趣容积确定单元连接的截取单元。
体素间距转换单元用于对每位甲状腺癌症患者的CT影像(原始CT影像)的体素间距进行转换，将体素间距转换为(1mm,1mm,5mm)，得到转换后的CT影像。
感兴趣容积确定单元用于根据感兴趣容积(VOI)在转换后的CT影像中的位置确定感兴趣容积(VOI)的长、宽、高以及中心点坐标L(x,y,z)。
截取单元用于根据感兴趣容积的长、宽、高以及中心点坐标L(x,y,z)，从转换后的CT影像上将肿瘤区域截取出来，并截取肿瘤外扩5mm和10mm的立方体区域，得到肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像。截取单元根据肿瘤中心位置从3D影像上将肿瘤本身区域截取出来，有研究表明肿瘤的瘤周也有意义，因此依次截取肿瘤外扩5mm和10mm的立方体区域，得到多尺度的三维数据。
通过将CT影像按不同尺度进行分割，依次截取肿瘤、肿瘤外扩5mm(包括肿瘤区域以及肿瘤区域外扩5mm的区域)、肿瘤外扩10mm(包括肿瘤区域以及肿瘤区域外扩10mm的区域)的立方体区域，得到三个不同尺度的三维数据。
预处理模块103用于分别对肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像进行预处理，得到训练数据集。
预处理模块103具体包括与多尺度分割模块102连接的归一化单元，与归一化单元连接的数据缩放单元，以及与数据缩放单元连接的数据增强单元。
归一化单元用于分别对肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像中每个体素进行归一化处理，得到归一化后的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像。归一化单元(标准化单元)通过对每个体素根据公式Ni＝(Vi-μ)/σ归一化到[0，1]，便于所有图像缩放到统一尺寸，以进行网络学习。式中，Vi表示第i个体素未经标准化的CT值，μ和σ分别表示未经标准化的第一图像块中各个体素的CT值的均值和标准差，Ni表示第i个体素标准化(归一化)后的CT值。
数据缩放单元用于分别将归一化后的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像统一到设定图像尺寸，得到设定图像尺寸的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像。具体的，数据缩放单元通过将不同尺度的图像分别统一到该尺度所有图像的平均大小，使所有图像缩放到统一尺寸，便于网络学习。之后进行数据集划分，包括：按照8:2的比例随机划分为训练集和测试集，训练集用做模型的训练，测试集用来测试模型的有效性。
数据增强单元用于分别对设定图像尺寸的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像按翻转、旋转、平移和缩放进行数据增强，得到训练数据集；训练数据集包括数据增强后的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像。数据增强单元为提升模型泛化能力，通过对训练集按翻转、旋转、平移、缩放等方式进行数据样本的增强，以防止过拟合。其中训练集做数据增强处理，测试集不做增强。
预处理模块103通过对不同尺度的影像进行标准化、数据缩放、数据增强、数据集划分等预处理操作，得到对深度残差网络进行训练和优化的训练数据集。
深度残差网络训练模块(深度学习网络训练模块)104用于利用训练数据集对深度残差网络进行训练和优化，得到优化后的深度残差网络。深度残差网络训练模块104将三个尺度的CT影像分别输入到构建的深度残差分类模型中，得到每个尺度病灶中淋巴结无转移和有转移的概率。
深度残差网络训练模块104具体包括与预处理模块103连接的深度残差网络构建单元以及与深度残差网络构建单元连接的深度残差网络训练单元。
深度残差网络构建单元用于构建深度残差网络。图2是本发明基于深度残差网络分类的结构示意图，参见图2，通过构建的深度残差网络，对甲状腺CT影像进行分类。
深度残差网络具体包括与预处理模块103连接的浅层特征提取层，与浅层特征提取层连接的深层特征提取层，分别与浅层特征提取层和深层特征提取层连接的跳跃连接层，与跳跃连接层连接的卷积层，以及与卷积层连接的分类层。
浅层特征提取层用于利用一个64个通道的3×3×3的卷积核以及与3×3×3的卷积核连接的整流线性单元对训练数据集中图像的浅层特征进行提取，得到浅层特征图。其中，64个通道的3×3×3的卷积核进行卷积操作，后面加入的整流线性单元(RectifiedLinear Unit，ReLU)进行非线性映射。由于浅层特征提取层仅采用一个卷积核，提取到的仅是图像的浅层特征。
深层特征提取层(深度特征提取层)用于对浅层特征图中的深层特征进行提取，得到深层特征图。
深层特征提取层具体包括与浅层特征提取层连接的多个残差密集块，以及与多个残差密集块连接的1×1×1的卷积层。
多个残差密集块中各残差密集块依次连接，每个残差密集块用于利用9个3×3×3的卷积核以及与每个3×3×3的卷积核分别连接的整流线性单元对浅层特征图中的深层特征进行提取。通过使用多个残差密集块(Residual dense block，RDB)来充分提取来自原始图像的深层特征。每个RDB的网络结构如图3所示，从图3中可以看出，RDB由9个3×3×3大小的卷积和ReLU操作组成，每一层都与后续层紧密相连，以增加每个网络层内部的感受野，使得网络充分学习每一层的特征，设有S个RDB，第s个RDB的输出可以通过公式Fs＝Ls(Fs-1)＝Ls(Ls-1(…(L1(F0))))得到。式中，Ls是第s个RDB操作，相当于卷积神经网络中的卷积操作和ReLU操作，Fs是第s个RDB，完全由RDB内部的每个卷积层产生，前面的层能够对后面的层进行访问。第s个RDB的第i个卷积层的输出可以由公式Fs，i＝max(0，ws，i×[Fs，1，Fs，2，…，Fs，i-1]+bi)表示。式中，ws，i表示RDB中第i个卷积层的权重，[Fs，1，Fs，2，…，Fs，i-1]表示第s-1个RDB的[1，2，…，(i-1)]卷积层在第s个RDB中生成的特征图。
1×1×1的卷积层用于融合各残差密集块提取的深层特征，得到深层特征图。将所有RDB输出都被级联输入到一个1×1×1的卷积层，融合了各个RDB的特征并为了减少特征图的数量和参数，特征图的数量减少到64。最后引入残差网络的恒等映射来提高网络的收敛速度，改善信息流的梯度，网络深度越深，更易提取到更丰富的、深层次的特征。随着RDB中数量和卷积层数的增加，易于达到更优的性能，而且高的增长率也有助于提高模型的性能，因此可设置16个RDB块。
跳跃连接层用于将浅层特征图和深层特征图连接起来。为了将浅层特征与深层特征融合，通过使用跳跃连接将浅层特征图添加到所有RDB级联特征后的输出中，这样所有的特征图都被连接起来，从而提取到丰富的鉴别性的图像特征。本发明提取了CT影像高鉴别性的深度特征，对甲状腺癌CT影像进行分类，有很大的应用价值。
卷积层用于利用一个7×7×7的卷积核以及与7×7×7的卷积核连接的整流线性单元对连接后的浅层特征图和深层特征图进一步提取特征，生成128个通道的特征图。通过7×7×7大小的卷积层进一步提取图像特征，生成128个通道的特征图，使用ReLU进行非线性映射。
分类层用于对128个通道的特征图进行3D全局平均池化操作，计算甲状腺癌CT影像中淋巴结转移和淋巴结未转移的概率，将概率最大的类别作为分类结果。所述分类层具体包括互相连接的全连接层和Softmax；全连接层与卷积层连接；全连接层用于对128个通道的特征图进行3D全局平均池化操作；Softmax用于计算甲状腺癌CT影像中淋巴结转移和淋巴结未转移的概率，并将概率最大的类别作为分类结果。通过将提取的特征映射(特征图)进行3D全局平均池化操作，最后经全连接层(Fully Connected,FC)和softmax得到淋巴结转移和淋巴结未转移的分类概率，将分类概率最大的类别作为是否转移的最终分类结果，从而确定甲状腺癌CT影像中淋巴结是否转移。
残差网络的优点主要是缓解了梯度消失问题，解决特征冗余，但是特征之间的连接较差，而密集网络可以解决这一问题，通过接收所有层的特征图来增强特征之间的传播，而RDB网络完美融合了这两个网络的优点，最大限度地挖掘高鉴别性的深度特征。
深度残差网络训练单元用于接收预处理模块103发送的训练数据集，并利用训练数据集对深度残差网络进行训练和优化，得到优化后的深度残差网络。深度残差网络训练单元将不同尺度的训练集输入深度残差网络中，通过深度残差网络中的激活函数softmax和网络参数进行模型训练，模型训练使用交叉熵损失作为损失函数，用Adam作为优化算法迭代求解，网络参数初始化采用He初始化，迭代轮数epoch设为200，网络批量(batch size)大小为32。初始学习率设置为1e-5，到epoch的一半学习率下降10％，到3/4处学习率下降1％，如果数据比例差别较大，可以对数量进行类别不平衡处理，对于三维的数据来说，可以采用重采样的方法，即在训练过程中控制每批次随机抽取图像的数量，使得抽取到的两类的类别相同；通过损失函数对训练得到的结果与真实值的结果进行误差拟合，使得损失函数最小，当损失函数逐渐收敛，最低点对应的模型即是最佳分类模型；选取最优网络参数，得到最佳分类模型(三个最优网络模型)。将对应尺度的训练集输入对应的网络模型中，训练最优模型，得到每个多尺度网络的预测结果，即三个尺度图像的预测概率。在得到三个尺度图像的预测概率后，进行多尺度网络加权融合，即对得到的三个尺度图像的预测概率进行加权融合，得到甲状腺癌CT影像中淋巴结有无转移的最终预测概率。多尺度网络加权融合是以参数搜索的方式寻找权重的，每个网络的输出概率给定一个权重，最后每个网络输出概率的加权和就是最终的融合概率，如公式Score＝a*Model1+b*Model2+c*Model3所示。式中，a+b+c＝1，且1>a>0，1>b>0，1>c>0，Model1、Model2、Model3分别为肿瘤内部、肿瘤和周围5mm、肿瘤和周围10mm预测淋巴结为转移的概率值，Score为最终融合的淋巴结为恶性的概率值。优选地，可以通过以0.01为间隔遍历0～1中所有的参数空间，搜索出AUC最大的值。通过对多尺度网络的预测结果进行加权融合，得到淋巴结转移最终的预测概率。
甲状腺癌CT影像分类模块105用于将待分类甲状腺癌CT影像输入优化后的深度残差网络进行分类，获得甲状腺癌CT影像的分类结果；分类结果包括甲状腺癌CT影像中淋巴结转移和淋巴结未转移。
本发明提供了一种基于深度残差网络的甲状腺癌CT影像分类系统，克服了现有甲状腺癌CT影像诊断中存在的不足，通过计算机对甲状腺癌CT影像进行预测，提高了预测的准确度，避免了人工肉眼判断的误差，辅助医生做出诊断。本发明应用深度学习技术，提出了一种新的深度学习网络分类框架(基于深度学习的模型)，提取甲状腺癌CT影像的深度分层和高鉴别性的深度特征，使得能够对甲状腺癌CT影像进行准确分类，辅助医生判断甲状腺癌CT影像中淋巴结是否发生转移，进而辅助医生对甲状腺癌CT影像进行自动化地分析和诊断。
本发明与现有技术相比的优点在于：
1)本发明应用深度学习图像分类技术，提出了一种新的深度学习网络分类框架，使用残差密集网络，提取甲状腺癌CT影像病灶的深度分层特征，前面的每一层都与后面的层相连，能够充分学习各个层之间的特征以及关系，引入跳跃连接，解决了梯度消失/梯度梯度爆炸问题，全局残差使得浅层特征与深层特征充分融合。
2)与ResNet、DenseNet等传统深度学习框架相比，更加加强了特征之间的融合与传播，充分学习到图像的高频和细节特征。
3)提取甲状腺癌CT影像中甲状腺癌肿瘤的多种尺度的信息，融合肿瘤与肿瘤瘤周之间的特征，提高了模型分类的准确度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于深度残差网络的甲状腺癌CT影像分类系统，其特征在于，所述系统包括：
甲状腺癌CT影像获取模块，用于获取带标签的多位甲状腺癌症患者的CT影像；
多尺度分割模块，与所述甲状腺癌CT影像获取模块连接，用于分别对每位甲状腺癌症患者的CT影像按不同尺度进行分割，依次截取肿瘤、肿瘤外扩5mm、肿瘤外扩10mm的立方体区域，得到肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像；
预处理模块，与所述多尺度分割模块连接，用于分别对所述肿瘤图像、所述肿瘤外扩5mm图像和所述肿瘤外扩10mm图像进行预处理，得到训练数据集；
深度残差网络训练模块，与所述预处理模块连接，用于利用所述训练数据集对深度残差网络进行训练和优化，得到优化后的深度残差网络；
甲状腺癌CT影像分类模块，与所述深度残差网络训练模块连接，用于将待分类甲状腺癌CT影像输入所述优化后的深度残差网络进行分类，获得分类结果；所述分类结果包括甲状腺癌CT影像中淋巴结转移和淋巴结未转移。
2.根据权利要求1所述的甲状腺癌淋巴结CT影像分类系统，其特征在于，所述每位甲状腺癌症患者的CT影像均是由不同期相对应的多个连续图像切片组成；所述不同期相包括平扫期、动脉期和静脉期。
3.根据权利要求2所述的甲状腺癌淋巴结CT影像分类系统，其特征在于，所述每位甲状腺癌症患者的CT影像均包括有感兴趣区域；所述感兴趣区域是沿平扫期、动脉期和静脉期三期中甲状腺原发病灶的边缘逐层勾画出的；每期的感兴趣区域逐层叠加组成了一个三维的感兴趣容积。
4.根据权利要求3所述的甲状腺癌淋巴结CT影像分类系统，其特征在于，所述多尺度分割模块具体包括：
体素间距转换单元，与所述甲状腺癌CT影像获取模块连接，用于对所述每位甲状腺癌症患者的CT影像的体素间距进行转换，得到转换后的CT影像；
感兴趣容积确定单元，与所述体素间距转换单元连接，用于根据感兴趣容积在转换后的CT影像中的位置确定感兴趣容积的长、宽、高以及中心点坐标；
截取单元，与所述感兴趣容积确定单元连接，用于根据所述感兴趣容积的长、宽、高以及中心点坐标，从所述转换后的CT影像上将肿瘤区域截取出来，并截取肿瘤外扩5mm和10mm的立方体区域，得到肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像。
5.根据权利要求1所述的基于深度残差网络的甲状腺癌CT影像分类系统，其特征在于，所述预处理模块具体包括：
归一化单元，与所述多尺度分割模块连接，用于分别对所述肿瘤图像、所述肿瘤外扩5mm图像和所述肿瘤外扩10mm图像中每个体素进行归一化处理，得到归一化后的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像；
数据缩放单元，与所述归一化单元连接，用于分别将所述归一化后的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像统一到设定图像尺寸，得到设定图像尺寸的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像；
数据增强单元，与所述数据缩放单元连接，用于分别对所述设定图像尺寸的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像按翻转、旋转、平移和缩放进行数据增强，得到训练数据集；所述训练数据集包括数据增强后的肿瘤图像、肿瘤外扩5mm图像和肿瘤外扩10mm图像。
6.根据权利要求1所述的甲状腺癌淋巴结CT影像分类系统，其特征在于，所述深度残差网络训练模块具体包括：
深度残差网络构建单元，与所述预处理模块连接，用于构建深度残差网络；
深度残差网络训练单元，与所述深度残差网络构建单元连接，用于接收所述预处理模块发送的训练数据集，并利用所述训练数据集对所述深度残差网络进行训练和优化，得到优化后的深度残差网络。
7.根据权利要求6所述的甲状腺癌淋巴结CT影像分类系统，其特征在于，所述深度残差网络具体包括：
浅层特征提取层，与所述预处理模块连接，用于利用64个通道的3×3×3的卷积核以及与所述3×3×3的卷积核连接的整流线性单元对所述训练数据集中图像的浅层特征进行提取，得到浅层特征图；
深层特征提取层，与所述浅层特征提取层连接，用于对所述浅层特征图中的深层特征进行提取，得到深层特征图；
跳跃连接层，分别与所述浅层特征提取层和所述深层特征提取层连接，用于将所述浅层特征图和所述深层特征图连接起来；
卷积层，与所述跳跃连接层连接，用于利用一个7×7×7的卷积核以及与所述7×7×7的卷积核连接的整流线性单元对连接后的浅层特征图和深层特征图进一步提取特征，生成128个通道的特征图；
分类层，与所述卷积层连接，用于对所述128个通道的特征图进行3D全局平均池化操作，计算甲状腺癌CT影像中淋巴结转移和淋巴结未转移的概率，将概率最大的类别作为分类结果。
8.根据权利要求7所述的甲状腺癌淋巴结CT影像分类系统，其特征在于，所述深层特征提取层具体包括：
多个残差密集块，与所述浅层特征提取层连接，各所述残差密集块依次连接，每个所述残差密集块用于利用9个3×3×3的卷积核以及与每个3×3×3的卷积核分别连接的整流线性单元对所述浅层特征图中的深层特征进行提取；
1×1×1的卷积层，与所述多个残差密集块连接，用于融合各所述残差密集块提取的深层特征，得到深层特征图。
9.根据权利要求7所述的甲状腺癌淋巴结CT影像分类系统，其特征在于，所述分类层具体包括互相连接的全连接层和Softmax；所述全连接层与所述卷积层连接；所述全连接层用于对所述128个通道的特征图进行3D全局平均池化操作；所述Softmax用于计算甲状腺癌CT影像中淋巴结转移和淋巴结未转移的概率，并将概率最大的类别作为甲状腺癌CT影像的分类结果。
CN202110812511.3A 2021-07-19 2021-07-19 一种基于深度残差网络的甲状腺癌ct影像分类系统 Pending CN113537357A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110812511.3A CN113537357A (zh) 2021-07-19 2021-07-19 一种基于深度残差网络的甲状腺癌ct影像分类系统
NL2029876A NL2029876B1 (en) 2021-07-19 2021-11-23 Deep residual network-based classification system for thyroid cancer computed tomography (ct) images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110812511.3A CN113537357A (zh) 2021-07-19 2021-07-19 一种基于深度残差网络的甲状腺癌ct影像分类系统

Publications (1)

Publication Number Publication Date
CN113537357A true CN113537357A (zh) 2021-10-22

Family

ID=78128656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110812511.3A Pending CN113537357A (zh) 2021-07-19 2021-07-19 一种基于深度残差网络的甲状腺癌ct影像分类系统

Country Status (2)

Country Link
CN (1) CN113537357A (zh)
NL (1) NL2029876B1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549413A (zh) * 2022-01-19 2022-05-27 华东师范大学 基于ct图像的多尺度融合全卷积网络淋巴结转移检测方法
CN115116625A (zh) * 2022-06-30 2022-09-27 苏州大学 胰腺癌淋巴结转移分期预测方法、装置和存储介质
CN116416239A (zh) * 2023-04-13 2023-07-11 中国人民解放军海军军医大学第一附属医院 胰腺ct图像分类方法、图像分类模型、电子设备及介质
CN116797879A (zh) * 2023-06-28 2023-09-22 脉得智能科技(无锡)有限公司 一种甲状腺癌转移淋巴结预测模型构建方法、系统、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680678B (zh) * 2017-10-18 2020-12-01 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节诊断系统
US11937973B2 (en) * 2018-05-31 2024-03-26 Mayo Foundation For Medical Education And Research Systems and media for automatically diagnosing thyroid nodules

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549413A (zh) * 2022-01-19 2022-05-27 华东师范大学 基于ct图像的多尺度融合全卷积网络淋巴结转移检测方法
CN114549413B (zh) * 2022-01-19 2023-02-03 华东师范大学 基于ct图像的多尺度融合全卷积网络淋巴结转移检测方法
CN115116625A (zh) * 2022-06-30 2022-09-27 苏州大学 胰腺癌淋巴结转移分期预测方法、装置和存储介质
CN116416239A (zh) * 2023-04-13 2023-07-11 中国人民解放军海军军医大学第一附属医院 胰腺ct图像分类方法、图像分类模型、电子设备及介质
CN116416239B (zh) * 2023-04-13 2024-03-12 中国人民解放军海军军医大学第一附属医院 胰腺ct图像分类方法、图像分类模型、电子设备及介质
CN116797879A (zh) * 2023-06-28 2023-09-22 脉得智能科技(无锡)有限公司 一种甲状腺癌转移淋巴结预测模型构建方法、系统、设备及介质

Also Published As

Publication number Publication date
NL2029876A (en) 2023-01-23
NL2029876B1 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
CN107886514B (zh) 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
CN107016665B (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
CN113537357A (zh) 一种基于深度残差网络的甲状腺癌ct影像分类系统
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN111144474B (zh) 基于多视图、多尺度、多任务肺结节分类方法
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
Zeng et al. Imagecas: A large-scale dataset and benchmark for coronary artery segmentation based on computed tomography angiography images
CN116091490A (zh) 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
CN116797609A (zh) 全局-局部特征关联融合的肺部ct图像分割方法
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
Ramachandran et al. Mutual informative MapReduce and minimum quadrangle classification for brain tumor big data
Pham et al. Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks
CN112233106A (zh) 一种基于残差胶囊网络的甲状腺癌超声影像分析方法
CN115132275B (zh) 基于端到端三维卷积神经网络预测egfr基因突变状态方法
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN113139627B (zh) 纵隔肿物识别方法、系统及装置
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
KR20230092947A (ko) 의료용 이미지 내에서 적어도 하나의 관상 구조체를 세그멘트화하고 식별하기 위한 방법 및 시스템
Xiong et al. Fully Automated Neural Network Framework for Pulmonary Nodules Detection and Segmentation
CN111815554A (zh) 一种基于边缘搜索mrf模型的宫颈细胞图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination