CN112862783A - 一种基于神经网络的甲状腺ct图像结节自动诊断系统 - Google Patents
一种基于神经网络的甲状腺ct图像结节自动诊断系统 Download PDFInfo
- Publication number
- CN112862783A CN112862783A CN202110171111.9A CN202110171111A CN112862783A CN 112862783 A CN112862783 A CN 112862783A CN 202110171111 A CN202110171111 A CN 202110171111A CN 112862783 A CN112862783 A CN 112862783A
- Authority
- CN
- China
- Prior art keywords
- image
- nodule
- thyroid
- module
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001685 thyroid gland Anatomy 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 29
- 238000003745 diagnosis Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 230000003211 malignant effect Effects 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 208000009453 Thyroid Nodule Diseases 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 208000024770 Thyroid neoplasm Diseases 0.000 claims abstract description 9
- 230000007704 transition Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000007306 turnover Effects 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000003014 reinforcing effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 238000002372 labelling Methods 0.000 abstract description 2
- 206010054107 Nodule Diseases 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000003372 endocrine gland Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000003248 secreting effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000005495 thyroid hormone Substances 0.000 description 1
- 229940036555 thyroid hormone Drugs 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络的甲状腺CT图像结节自动诊断系统，依次包括图像预处理模块，对原始甲状腺CT图像进行预处理，对预处理图像进行结节信息的标记；图像数据增强模块，用于扩充甲状腺CT图像数据集；结节语义分割模块，通过神经网络进行图像语义分割，分割出结节部分；图像算法优化模块，使语义分割网络输出平滑过渡，适配到分类网络中；分类预测模块，使用混合网络模型对分割出的各个甲状腺结节进行良恶性分类判断。本发明能够实现端到端的甲状腺结节诊断，无需额外对CT图像进行图像处理及数据标注工作，可以实现高准确率和高效率的甲状腺结节自动识别和良恶性分类。
Description
技术领域
本发明涉及医学图像处理领域，尤其是涉及一种基于神经网络的甲状腺良恶性自动识别及分类系统。
背景技术
甲状腺位于人体颈部正前方的位置，在喉结下方，形似蝴蝶，是人体最大的内分泌腺。甲状腺具有分泌甲状腺激素的功能，该激素在人体生长发育和新陈代谢方面扮演着重要角色。而甲状腺结节是甲状腺细胞异常增生后出现的团块。美国甲状腺学会将甲状腺结节定义为甲状腺上一种离散型的病变，借助影像学检查，可观察到结节与正常甲状腺组织结构不同，存在相对的边界。发病时，甲状腺结节可以是一个，也可以是多个，结节的质地可能是实性的，也可能是囊性的，通过超声、CT、核磁和正电子发射计算机断层显像可以判断其大小和类型。甲状腺结节病变是甲状腺最为常见的病变之一，其主要区分为良性和恶性。相比与良性结节，恶性结节对于人体健康有着不可挽回的影响，因此准确区分良恶性结节有着重要意义。
对于甲状腺结节病情，早期的治疗效果是最为明显的，所以甲状腺结节患者一定要及时做好甲状腺结节的诊断。目前国内外处理甲状腺结节病变问题主要依靠超声图像，但是超声图像存在清晰度不高，有用信息少等问题。而X射线计算机断层成像(CT)技术已成为广泛应用于甲状腺结节诊断和复诊的影像学方法，但是传统的CT图像判别需要通过医生读取大量的甲状腺CT切片图片，无法快速有效诊断，诊断效率低下。采用人工智能深度学习技术则能够自动标注出结节的位置、大小及性质等信息，极大缩短诊疗时间，可以充当医生的医疗辅助工具。因此采用人工智能技术与传统的CT图像临床评估相结合，能够实现甲状腺CT图像的结节快速检测与分类，减少主观因素造成的影响，为后续治疗提供参考，同时降低检测时间和费用的开销。
发明内容
为解决现有技术的不足，实现提高诊断效率、减少主观因素对诊断的影响、降低诊断成本的目的，本发明采用如下的技术方案：
一种基于神经网络的甲状腺CT图像结节自动诊断系统，包括依次连接的图像预处理模块、图像数据增强模块、结节语义分割模块、图像算法优化模块、分类预测模块；
所述图像预处理模块，对原始甲状腺CT图像进行预处理，对预处理图像进行结节信息的标记；
所述图像数据增强模块，用于扩充甲状腺CT图像数据集；
所述结节语义分割模块，通过神经网络进行图像语义分割，分割出结节部分；
所述图像算法优化模块，使语义分割网络输出平滑过渡，适配到分类网络中；
所述分类预测模块，使用混合网络模型对分割出的各个甲状腺结节进行良恶性分类判断。
进一步地，所述图像预处理模块，包括依次连接的图像预处理单元、结节信息标记单元、甲状腺CT图像归一化单元和标准化单元；
所述图像预处理单元，初始图像大小为512x512，剪切图像有效中心区域，获得剪切后的图像，大小为256x256；
所述结节信息标记单元，对剪切后的图像，标记图像的结节位置和结节状态，其中良性标记为0，恶性标记为1；
所述甲状腺CT图像归一化单元，为了模型性能，使用灰度图读取原有的三通道图片，将各个像素点原有数值为[0,255]之间的整数归一化，将其映射至[0,1]之间的浮点数，加快损失函数收敛，归一化的公式为：
其中xi表示每个像素点的原有像素值，Xi表示每个像素点归一化后的像素值，N表示图像的像素个数；
所述标准化单元，使用标准化图像来加快梯度下降求最优解的速度，标准化的公式为：
其中X为单个像素点的像素值，μ为图像全部像素值的均值，σ为图像全部像素值的标准差。
所述图像数据增强模块，包括翻转模块、缩放模块和调整模块；
所述翻转模块，随机翻转甲状腺CT图像，翻转方式包括水平翻转和垂直翻转；
所述缩放模块，随机缩放甲状腺CT图像，缩放方式以图像中心为轴，缩放大小为原始大小的85％和115％，缩小时用0像素值填充多余区域；
所述调整模块，调整甲状腺CT图像的亮度和饱和度。
进一步地，所述结节语义分割模块，使用Eff-Unet神经网络作为语义分割网络，结合U-Net的跳跃连接结构和U型结构网络以及EfficientNet的深度、宽度、输入图片分辨率共同调节，实现在较少参数的情况下，高速高效提取图片特征，结合高分辨率的局部信息，和低分辨率更大面积的信息，精准实现甲状腺结节的分割；
Eff-Unet神经网络包括改进的损失函数BCE-Dice Loss和Adam优化器，训练时，输入为甲状腺CT图像和标记好的掩膜图像，在训练过程中，使用的改进的损失函数BCE-DiceLoss包括Binary Cross Entropy和Dice Loss，所述Binary Cross Entropy的计算公式为：
其中，其中N代表输出种类大小，yi代表像素标签，
代表该类标签预测准确的概率。
所述Dice Loss的公式为：
X和Y分别表示标记好的真实掩膜图像和模型预测的输出图像，其中，分子中的系数是2，因为分母存在重复计算X和Y之间的共同元素的原因；改进的损失函数，可以更恰当地实现分割的真正目标，直接优化评价标准，更好地处理数据的不平衡，也缓解了单独DiceLoss会对反向传播造成的负面影响。
进一步地，所述Eff-Unet神经网络，性能评估指数为IOU，初始学习率为0.001，使用回调函数动态调整学习速率，衰减系数设置为0.5。训练总次数为200次，每次迭代的步数为200，训练的批次大小，即每次输入模型的甲状腺CT图像数，为32。
进一步地，所述图像算法优化模块，针对语义分割网络输出图像的像素值为浮点值的情况，为了便于分类网络学习，根据多次验证，设定0.3的阈值，将输出图像的背景和结节部分进行二元化；
进一步地，所述图像算法优化模块，在不排除小面积结节的条件下，设定长、宽比和总面积限制，用于消除语义分割网络的输出时因错误判断导致的噪声色块。
进一步地，所述图像算法优化模块，单个甲状腺CT图像可能有多个结节，为了避免由于多个结节和单结节的混合性导致分类效果的退化，使用Opencv分析所有掩膜图像的最小连接域，找出所有结节，并根据原始甲状腺CT图像的位置将它们放在256*256的黑色背景中，以便于随后映射到原始甲状腺CT图像进行可视化，根据原始甲状腺CT图像的ROI区域给出标记，当平均像素值趋于1时，则标记为良性结节，当该标记为2时，则标记为恶性结节。
进一步地，所述分类预测模块，将分割出的结节图像分别输入多个神经网络模型，包括VGG16模型、Inception-ResNet-v2模型、MobileNet模型和EfficientNetB4模型，分别删除各模型的原有输出层，改成64个全连接层，将4个模型的输出进行堆叠，最后添加一层2个全连接层输出，每个输出表示良性结节和恶性结节共2类的概率值，取其中数值最大的输出对应的种类作为模型预测的结果。
进一步地，在训练过程中，使用损失函数为多分类交叉熵，优化器为Adam，性能评估指数为Acc，初始学习率为0.0005，使用回调函数动态调整学习速率，衰减系数设置为0.5。训练总次数为200次，每次迭代的步数为200，训练的批次大小为32，使用5折交叉验证增强稳定性。
本发明的优势和有益效果在于：
1)本发明在传统的Unet网络的基础上，提出了一种改进的Eff-Unet网络用于甲状腺CT增强图像的分割，通过改进的损失函数来提高语义分割性能；
2)本发明提出了一种多模型混合的分类神经网络，包括VGG16模型、Inception-ResNet-v2模型、MobileNet模型和EfficientNetB4模型，将四种模型进行融合训练，得到混合神经网络，从而预测结节的良恶性概率。
3)本发明设计了图像处理算法，使分割网络的输出图像适应分类网络的输入，实现多结节CT图像的智能分割。无需任何额外的标记任务，即可实现对每个结节的端到端诊断和分类。
附图说明
图1是本发明的系统框图。
图2为本发明的系统流程示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，一种基于神经网络的甲状腺CT图像结节自动诊断系统，包括依次连接的图像预处理模块、图像数据增强模块、结节语义分割模块、图像算法优化模块、分类预测模块；
所述图像预处理模块，对原始CT图像进行剪切、标记、归一化和标准化等预处理。
所述数据增强模块，对CT图像进行翻转、缩放和调整图像的亮度和饱和度等数据增强。
所述结节语义分割模块，利用神经网络自动分割出CT图片中的结节部分
所述图像算法优化模块，利用cv算法优化图像，平滑过渡分割与分类。
所述分类预测模块，将优化过后的分类网络输出做为输入，使用混合神经网络，实现精确至各个结节的良恶性分类预测。
如图2所示，一种基于神经网络的甲状腺CT图像结节自动诊断方法，包括如下步骤：
S1，使用图像预处理方法对采集原始的CT图像进行处理，对预处理图像进行结节信息的标记；
S2，使用数据增强的方法扩充甲状腺CT图像数据集；
S3，使用Eff-Unet神经网络进行图像语义分割，分割出结节部分；
S4，使用图像算法优化，使得分割网络输出平滑过渡适配到分类网络中；
S5，使用混合网络模型对分割出的各个甲状腺结节进行良恶性分类判断。
进一步地，所述步骤S1使用图像预处理方法对采集原始的CT图像进行处理，预处理的具体方法为：
1)初始图像大小为512x512，剪切图像有效中心区域，获得剪切后的图像，大小为256x256；
2)标记每张图片的结节位置和结节状态，其中良性标记为0，恶性标记为1；
3)对甲状腺CT图像进行归一化和标准化。为了模型性能，使用灰度图读取原有的三通道图片，将各个像素点原有数值为[0,255]之间的整数，归一化将其映射至[0,1]之间的浮点数，加快损失函数收敛。归一化的公式为：
其中xi表示每个像素点的原有像素值，Xi表示每个像素点归一化后的像素值，N表示图像的像素个数。
使用标准化图像来加快梯度下降求最优解的速度，标准化的公式为：
其中X为单个像素点的像素值，μ为图像全部像素值的均值，σ为图像全部像素值的标准差。
进一步地，所述步骤S2使用数据增强的方法扩充甲状腺CT图像数据集，数据增强具体包括：
1)随机翻转甲状腺CT图像，翻转方式包括水平翻转和垂直翻转；
2)随机缩放甲状腺CT图像，缩放方式以图像中心为轴，缩放大小为原始大小的85％和115％，缩小时用0像素值填充多余区域；
3)调整甲状腺CT图像的亮度和饱和度。
进一步地，所述步骤S3使用Eff-Unet神经网络进行图像语义分割，分割出结节部分。使用Eff-Unet网络作为语义分割网络，结合U-Net的跳跃连接结构和U型结构网络以及EfficientNet的深度、宽度、输入图片分辨率共同调节技术，实现在较少参数的情况下，高速高效提取图片特征，结合高分辨率的局部信息，和低分辨率更大面积的信息，精准实现甲状腺结节的分割。
模型的训练时输入为CT图像和标记好的掩膜图像。在训练过程中，使用改进的损失函数BCE-Dice Loss，由两部分组成，分别为Binary Cross Entropy和Dice Loss，BinaryCross Entropy的计算公式为
其中，其中N代表输出种类大小，yi代表像素标签，
代表该类标签预测准确的概率。
Dice Loss的公式为：
X和Y分别表示标记好的真实淹没图像和模型预测的输出图像，其中，分子中的系数是2，是因为分母存在重复计算X和Y之间的共同元素的原因。
改进的损失函数，可以更恰当地实现分割的真正目标，直接优化评价标准，更好地处理数据的不平衡，也缓解了单独Dice Loss会对反向传播造成的负面影响。
优化器为Adam，性能评估指数为IOU，初始学习率为0.001，使用回调函数动态调整学习速率，衰减系数设置为0.5。训练总次数为200次，每次迭代的步数为200，训练的批次大小，即每次输入模型的甲状腺CT图像数，为32。
进一步地，所述步骤S4设计了一种的特定的图像处理算法，使用图像算法优化，使得分割网络输出平滑过渡适配到分类网络中。首先针对分割网络输出图像的像素值为浮点值的情况，为了便于分类网络学习，根据多次验证，设计了0.3的阈值，将输出图像的背景和结节部分进行二元化。其次分割网络的输出会存在一些因错误判断导致的少量噪声色块，在不排除小面积结节的条件下，设计长、宽比和总面积限制，旨在消除干扰。最后单个CT图像可能有多个结节。为了避免由于多个结节和单结节的混合性导致分类效果的退化，使用Opencv分析所有掩膜图像的最小连接域，找出所有结节，并根据原始图像的位置将它们放在256*256的黑色背景中，以便于随后映射到原始图像进行可视化，根据原始图像的ROI区域给出标记，当平均像素值趋于1时，则标记为良性结节，当该标记为2时，则标记为恶性结节。
进一步地，所述步骤S5使用混合网络模型对分割出的各个甲状腺结节进行良恶性分类判断。将分割出的结节图像分别输入多个神经网络模型，包括VGG16模型、Inception-ResNet-v2模型、MobileNet模型和EfficientNetB4模型。对于各个网络模型，分别删除模型的原有输出层，改成64个全连接层，之后将4个模型的输出进行堆叠，最后添加一层2个全连接层输出。其中每个输出表示良性结节和恶性解决共2类的概率值。在训练过程中，使用损失函数为多分类交叉熵，优化器为Adam，性能评估指数为Acc，初始学习率为0.0005,使用回调函数动态调整学习速率，衰减系数设置为0.5。训练总次数为200次，每次迭代的步数为200，训练的批次大小为32，使用5折交叉验证增强稳定性。基于混合神经网络，实现对甲状腺CT图像中的结节部分进行良恶性分类的诊断。模型输出为结节本身良恶性的概率，取其中数值最大的输出对应的种类作为模型预测的结果。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.一种基于神经网络的甲状腺CT图像结节自动诊断系统，包括依次连接的图像预处理模块、图像数据增强模块、结节语义分割模块、图像算法优化模块、分类预测模块，其特征在于：
所述图像预处理模块，对原始甲状腺CT图像进行预处理，对预处理图像进行结节信息的标记；
所述图像数据增强模块，用于扩充甲状腺CT图像数据集；
所述结节语义分割模块，通过神经网络进行图像语义分割，分割出结节部分；
所述图像算法优化模块，使语义分割网络输出平滑过渡，适配到分类网络中；
所述分类预测模块，使用混合网络模型对分割出的各个甲状腺结节进行良恶性分类判断。
2.如权利要求1所述的一种基于神经网络的甲状腺CT图像结节自动诊断系统，其特征在于所述图像预处理模块，包括依次连接的图像预处理单元、结节信息标记单元、甲状腺CT图像归一化单元和标准化单元；
所述图像预处理单元，剪切图像有效中心区域，获得剪切后的图像；
所述结节信息标记单元，对剪切后的图像，标记图像的结节位置和结节状态，其中良性标记为0，恶性标记为1；
所述甲状腺CT图像归一化单元，使用灰度图读取原有的三通道图片，将各个像素点原有数值为[0,255]之间的整数归一化，将其映射至[0,1]之间的浮点数，归一化的公式为：
其中xi表示每个像素点的原有像素值，Xi表示每个像素点归一化后的像素值，N表示图像的像素个数；
所述标准化单元，标准化的公式为：
其中X为单个像素点的像素值，μ为图像全部像素值的均值，σ为图像全部像素值的标准差。
3.如权利要求1所述的一种基于神经网络的甲状腺CT图像结节自动诊断系统，其特征在于所述图像数据增强模块，包括翻转模块、缩放模块和调整模块；
所述翻转模块，随机翻转甲状腺CT图像，翻转方式包括水平翻转和垂直翻转；
所述缩放模块，随机缩放甲状腺CT图像，缩放方式以图像中心为轴，缩放大小为原始大小的85％和115％，缩小时用0像素值填充多余区域；
所述调整模块，调整甲状腺CT图像的亮度和饱和度。
4.如权利要求1所述的一种基于神经网络的甲状腺CT图像结节自动诊断系统，其特征在于所述结节语义分割模块，使用Eff-Unet神经网络作为语义分割网络，结合U-Net的跳跃连接结构和U型结构网络以及EfficientNet的深度、宽度、输入图片分辨率共同调节，结合高分辨率的局部信息和低分辨率更大面积的信息，对甲状腺结节分割；
Eff-Unet神经网络包括改进的损失函数BCE-Dice Loss和Adam优化器，训练时，输入为甲状腺CT图像和标记好的掩膜图像，在训练过程中，使用的改进的损失函数BCE-Dice Loss包括Binary Cross Entropy和Dice Loss，所述Binary Cross Entropy的计算公式为：
其中，其中N代表输出种类大小，yi代表像素标签，
代表该类标签预测准确的概率。
所述Dice Loss的公式为：
X和Y分别表示标记好的真实掩膜图像和模型预测的输出图像，其中，分子中的系数是2，因为分母存在重复计算X和Y之间的共同元素的原因。
5.如权利要求4所述的一种基于神经网络的甲状腺CT图像结节自动诊断系统，其特征在于所述Eff-Unet神经网络，性能评估指数为IOU，初始学习率为0.001，使用回调函数动态调整学习速率，衰减系数设置为0.5。
6.如权利要求1所述的一种基于神经网络的甲状腺CT图像结节自动诊断系统，其特征在于所述图像算法优化模块，针对语义分割网络输出图像的像素值为浮点值，设定0.3的阈值，将输出图像的背景和结节部分进行二元化。
7.如权利要求1所述的一种基于神经网络的甲状腺CT图像结节自动诊断系统，其特征在于所述图像算法优化模块，在不排除小面积结节的条件下，设定长、宽比和总面积限制。
8.如权利要求1所述的一种基于神经网络的甲状腺CT图像结节自动诊断系统，其特征在于所述图像算法优化模块，使用Opencv分析所有掩膜图像的最小连接域，找出所有结节，并根据原始甲状腺CT图像的位置将它们放在黑色背景中，根据原始甲状腺CT图像的ROI区域给出标记，当平均像素值趋于1时，则标记为良性结节，当该标记为2时，则标记为恶性结节。
9.如权利要求1所述的一种基于神经网络的甲状腺CT图像结节自动诊断系统，其特征在于所述分类预测模块，将分割出的结节图像分别输入多个神经网络模型，包括VGG16模型、Inception-ResNet-v2模型、MobileNet模型和EfficientNetB4模型，分别删除各模型的原有输出层，改成64个全连接层，将4个模型的输出进行堆叠，最后添加一层2个全连接层输出，每个输出表示良性结节和恶性结节共2类的概率值，取其中数值最大的输出对应的种类作为模型预测的结果。
10.如权利要求9所述的一种基于神经网络的甲状腺CT图像结节自动诊断系统，其特征在于在训练过程中，使用损失函数为多分类交叉熵，优化器为Adam，性能评估指数为Acc，初始学习率为0.0005，使用回调函数动态调整学习速率，衰减系数设定为0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171111.9A CN112862783A (zh) | 2021-02-08 | 2021-02-08 | 一种基于神经网络的甲状腺ct图像结节自动诊断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171111.9A CN112862783A (zh) | 2021-02-08 | 2021-02-08 | 一种基于神经网络的甲状腺ct图像结节自动诊断系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112862783A true CN112862783A (zh) | 2021-05-28 |
Family
ID=75989087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110171111.9A Pending CN112862783A (zh) | 2021-02-08 | 2021-02-08 | 一种基于神经网络的甲状腺ct图像结节自动诊断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112862783A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781497A (zh) * | 2021-08-10 | 2021-12-10 | 东莞市人民医院 | 一种甲状腺结节的分割方法、装置、存储介质及终端设备 |
| CN113855079A (zh) * | 2021-09-17 | 2021-12-31 | 上海仰和华健人工智能科技有限公司 | 基于乳腺超声影像的实时检测和乳腺疾病辅助分析方法 |
| CN116258735A (zh) * | 2023-05-16 | 2023-06-13 | 四川省肿瘤医院 | 一种宫颈癌组织间插植针重建系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458249A (zh) * | 2019-10-10 | 2019-11-15 | 点内（上海）生物科技有限公司 | 一种基于深度学习与概率影像组学的病灶分类系统 |
| CN111243042A (zh) * | 2020-02-28 | 2020-06-05 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 |
| CN111524144A (zh) * | 2020-04-10 | 2020-08-11 | 南通大学 | 一种基于GAN和Unet网络的肺结节智能诊断方法 |
-
2021
- 2021-02-08 CN CN202110171111.9A patent/CN112862783A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458249A (zh) * | 2019-10-10 | 2019-11-15 | 点内（上海）生物科技有限公司 | 一种基于深度学习与概率影像组学的病灶分类系统 |
| CN111243042A (zh) * | 2020-02-28 | 2020-06-05 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 |
| CN111524144A (zh) * | 2020-04-10 | 2020-08-11 | 南通大学 | 一种基于GAN和Unet网络的肺结节智能诊断方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781497A (zh) * | 2021-08-10 | 2021-12-10 | 东莞市人民医院 | 一种甲状腺结节的分割方法、装置、存储介质及终端设备 |
| CN113855079A (zh) * | 2021-09-17 | 2021-12-31 | 上海仰和华健人工智能科技有限公司 | 基于乳腺超声影像的实时检测和乳腺疾病辅助分析方法 |
| CN116258735A (zh) * | 2023-05-16 | 2023-06-13 | 四川省肿瘤医院 | 一种宫颈癌组织间插植针重建系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN112862783A (zh) | 一种基于神经网络的甲状腺ct图像结节自动诊断系统 | |
| CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
| CN110265141B (zh) | 一种肝脏肿瘤ct影像计算机辅助诊断方法 | |
| CN107886514A (zh) | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN108549912A (zh) | 一种基于机器学习的医学图像肺结节检测方法 | |
| CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
| CN106780453A (zh) | 一种基于深度信任网络实现对脑肿瘤分割的方法 | |
| CN112819747A (zh) | 一种基于肺部断层扫描图片自动诊断结节良恶性的方法 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN114677511A (zh) | 一种残差ECA通道注意力UNet结合TRW-S的肺结节分割方法 | |
| CN112907581A (zh) | 一种基于深度学习的mri多类脊髓肿瘤分割方法 | |
| CN114581474A (zh) | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 | |
| CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
| CN116884597A (zh) | 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统 | |
| CN118172552A (zh) | 一种空腔器官图像分割的方法与系统 | |
| CN113052857A (zh) | 一种基于CovSegNet的肺部病变图像分割方法 | |
| CN112801970A (zh) | 一种乳腺超声图像肿瘤分割方法 | |
| CN112634308A (zh) | 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法 | |
| CN116681883A (zh) | 基于Swin Transformer改进的乳腺影像病灶检测方法 | |
| CN115018780B (zh) | 一种融合全局推理和mlp架构的甲状腺结节分割方法 | |
| CN114648509B (zh) | 一种基于多分类任务的甲状腺癌检出系统 | |
| CN114693698B (zh) | 一种基于神经网络的计算机辅助肺气道分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |