CN112669320B - 一种基于深度神经网络的spect甲状腺显像智能识别方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的SPECT甲状腺显像智能识别方法，涉及图像分析处理技术领域，本发明包含如下三个步骤:数据获取、深度神经网络模型构建和模型验证；本发明利用计算机技术来处理SPECT甲状腺图像，代替医生完成甲状腺摄取模式的识别，可减少人工操作，有一致的处理结果以及相当的准确度，便于集成和大规模的应用。

Description

一种基于深度神经网络的SPECT甲状腺显像智能识别方法

技术领域

本发明涉及图像分析处理技术领域，更具体的是涉及基于深度神经网络的SPECT甲状腺显像智能识别方法技术领域。

背景技术

近年来，甲状腺疾病发病率急速攀升，根据中华医学会内分泌学会进行的《社区居民甲状腺疾病流行病学调查》结果显示，甲亢的患病率为1.3%，甲减的患病率是6.5%，甲状腺结节的患病率是18.6%，甲状腺结节中有5%-15%是恶性的，也就是甲状腺癌。据此估计，我国甲亢患者有1000万， 甲状腺功能减退(甲减)患者9000万，甲状腺结节及甲状腺癌患者超过1亿，目前我国有超过2亿的甲状腺病人，已成为内分泌领域的第二大疾病。因此，能否对甲状腺疾病进行准确诊断，对于患者的临床治疗方案制定，预后和生活质量有着重要的影响。

甲状腺疾病诊断的影像学方法中，应用最多的是超声，但超声和CT主要是对甲状腺的位置、大小等解剖学信息的显示，而对甲状腺功能状态的显示，甲状腺核素图像显像有优势。

然而，通过阅读甲状腺核素图像诊断时仍然存在耗时长、经验依赖比重高、病灶易漏诊、误诊等问题，如何进一步提高甲状腺核素的精确性与时效性，成为目前核医学影像界需要解决的难题。

发明内容

本发明的目的在于：为了解决医生通过阅读甲状腺核素图像诊断时存在的耗时长、经验依赖比重高、病灶易漏诊、误诊的技术问题，本发明提供一种基于深度神经网络的SPECT甲状腺显像智能识别方法，用来提高甲状腺核素图像诊断的精确性与时效性。

本发明为了实现上述目的具体采用以下技术方案：

一种基于深度神经网络的SPECT甲状腺显像智能识别方法，包括如下步骤：

步骤1、数据获取：采集SPECT甲状腺显像图像,然后进行数据标注和数据集划分：

步骤1a、数据标注：将SPECT甲状腺显像图像上呈现出的摄取模式分为弥漫增高、弥漫减低、局部增高、局部减低、分布不均和正常的六种，确认每一张SPECT甲状腺显像图像的呈现出的摄取模式；基于获取到的SPECT甲状腺显像图像，每一张SPECT甲状腺显像图像同时由多个专业的放射医师共同讨论确定患者甲状腺的摄取模式为六种中的一种；

步骤2b、数据集划分:将数据标注后的SPECT甲状腺显像图像集分为训练集和验证集;

步骤2、深度神经网络模型构建:

步骤2a、数据预处理：将步骤1处理的SPECT甲状腺显像图像根据窗宽窗位进行归一化操作，包含人体肩部以上范围的标准的SPECT甲状腺显像图像表示为原始图像；甲状腺区域通常表现为比其它区域更亮，使用基于阈值的方法从原始图像中提取出甲状腺区域，甲状腺区域用ROI图像表示；

步骤2b、深度神经网络模型设计：设计的深度神经网络模型，深度神经网络模型包含深度特征提取模块、人工设计特征提取模块和特征融合与分类模块；首先使用深度特征提取模块从原始图像和ROI图像进行深度特征提取，然后使用人工特征提取模块从ROI图像中提取人工特征，最后使用特征融合与分类模块对深度特征和人工特征进行融合再进行分类；

步骤2c、深度神经网络模型训练：使用训练集的数据采用反向传播算法对深度神经网络模型进行训练；

步骤3、模型验证：在神经网络模型训练完成之后，通过验证集的数据评价神经网络模型，直至深度神经网络模型能够自动识别SPECT甲状腺显像图像为六种甲状腺摄取模式的一种为止，得到最优深度神经网络模型，评价指标包括Accuracy、Sensitivity、Precision三个指标，其定义如下：

式中，TP表示真阳性样本的数量、TN表示真阴性样本数量、FP表示假阳性样本数量、FN表示假阴性样本数量；

步骤4、输入采集到的SPECT甲状腺显像图像到最优深度神经网络模型，诊断出SPECT甲状腺显像图像的甲状腺摄取模式。

进一步地，步骤1中，SPECT甲状腺显像图像采集：收集由SPECT/CT设备采集的患者甲状腺显像图像。

进一步地，步骤1中，所述数据集划分：将标注后的数据集按照4：1分为训练集和验证集。

进一步地，步骤2b中，深度特征提取模块由一系列卷积层、批标注化层、ReLU激活函数、最大池化层和全连接层构成，用于从原始图像和ROI图像中提取抽象特征。

进一步地，步骤2b中，对ROI图像进行人工特征提取，提取了五个基于灰度共生矩阵（GLCM）的特征，五个特征分别是能量、熵、相关性、同质度和对比度，同时还提取了hu不变矩，将这些特征拼接后，再使用一个包含两层全连接层的网络对特征进行非线性映射，得到最终的人工特征。

进一步地，步骤（2b）中，特征融合与分类模块首先将深度特征和人工特征通过拼接进行融合，然后使用一个浅层网络对齐进行分类，这个浅层网络由一个Dropout层、一个ReLU激活函数和一个全连接层构成。

本发明的有益效果如下：

1、利用计算机技术来处理SPECT甲状腺图像，代替医生完成甲状腺摄取模式的识别，可减少人工操作，有一致的处理结果以及相当的准确度，便于集成和大规模的应用。

2、本发明针对每张SPECT甲状腺显像图像进行甲状腺摄取模式的诊断，每一张图像会被归类到弥漫增高、弥漫减低、局部增高、局部减低、分布不均、和正常这六类中的一种。这一过程完全由计算机自动完成，仅需输入检查时采集到的SPECT甲状腺显像图像，就能自动诊断出SPECT甲状腺显像图像的甲状腺摄取模式，不需要其他的人为参数设置和特征指定。

3、利用计算机技术来处理SPECT甲状腺图像，代替医生完成甲状腺摄取状态的识别，可减少人工操作，有一致的处理结果以及相当的准确度，便于集成和大规模的应用。

4、深度神经网络模型包含了一个深度特征提取模块和一个甲状腺区域人工特征提取模块，可有效提取不同特征。深度神经网络模型包含一个特征融合模块，可以有效融合深度特征和人工特征，结合两者可以大大提升模型的鲁棒性，一定程度上避免实际应用过程中的过拟合现象。

附图说明

图1是本发明的整体流程图；

图2是甲状腺六种摄取模式示意图;

图3是对数据进行预处理，提取甲状腺区域的示意图；

图4是深度神经网络模型的整体架构示意图；

图5是深度特征提取模块详细结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

实施例1

如图1到4所示，本实施例一种基于深度神经网络的SPECT甲状腺显像智能识别方法，包括如下步骤：

步骤1、数据获取：采集SPECT甲状腺显像图像,然后进行数据标注和数据集划分：

步骤1a、数据标注：将SPECT甲状腺显像图像上呈现出的摄取模式分为弥漫增高、弥漫减低、局部增高、局部减低、分布不均和正常的六种，确认每一张SPECT甲状腺显像图像的呈现出的摄取模式；基于获取到的SPECT甲状腺显像图像，每一张SPECT甲状腺显像图像同时由多个专业的放射医师共同讨论确定患者甲状腺的摄取模式为六种中的一种；

步骤2b、数据集划分:将数据标注后的SPECT甲状腺显像图像集分为训练集和验证集;

步骤2、深度神经网络模型构建:

步骤2a、数据预处理：将步骤1处理的SPECT甲状腺显像图像根据窗宽窗位进行归一化操作，包含人体肩部以上范围的标准的SPECT甲状腺显像图像表示为原始图像；甲状腺区域通常表现为比其它区域更亮，使用基于阈值的方法从原始图像中提取出甲状腺区域，甲状腺区域用ROI图像表示；

步骤2b、深度神经网络模型设计：设计的深度神经网络模型，深度神经网络模型包含深度特征提取模块、人工设计特征提取模块和特征融合与分类模块；首先使用深度特征提取模块从原始图像和ROI图像进行深度特征提取，然后使用人工特征提取模块从ROI图像中提取人工特征，最后使用特征融合与分类模块对深度特征和人工特征进行融合再进行分类；

步骤2c、深度神经网络模型训练：使用训练集的数据采用反向传播算法对深度神经网络模型进行训练；

步骤3、模型验证：在神经网络模型训练完成之后，通过验证集的数据评价神经网络模型，直至深度神经网络模型能够自动识别SPECT甲状腺显像图像为六种甲状腺摄取模式的一种为止，得到最优深度神经网络模型，评价指标包括Accuracy、Sensitivity、Precision三个指标，其定义如下：

式中，TP表示真阳性样本的数量、TN表示真阴性样本数量、FP表示假阳性样本数量、FN表示假阴性样本数量；

步骤4、输入采集到的SPECT甲状腺显像图像到最优深度神经网络模型，诊断出SPECT甲状腺显像图像的甲状腺摄取模式。

步骤1中，SPECT甲状腺显像图像采集：收集由SPECT/CT设备采集的患者甲状腺显像图像。

步骤1中，所述数据集划分：将标注后的数据集按照4：1分为训练集和验证集。

实施例2

本实施是在实施例1的基础上做了进一步优化，具体是：

步骤2b中，深度特征提取模块由一系列卷积层（Convolutional layer）、批标注化层（Batch normalization）、ReLU激活函数、最大池化层（Max pooling）和全连接层（Fullyconnected layer）构成，用于从原始图像和ROI图像中提取抽象特征。

具体来说，首先使用两个子网络分别对原始图像和ROI图像进行特征提取, 两个子网络提取到的特征分别用和表示，这两个子网络均由一个卷积层、一个批标注化层、一个ReLU激活函数和一个最大池化层构成；将提取到的特征和使用一个特征聚合模块进行聚合，聚合后的特征再使用8个串联的残差模块进行更深层的抽象特征提取，最后使用一个全连接层得到一个一维的深度特征向量。

深度特征提取模块的整体结构如图5所示，其中Conv 7x7 表示一个卷积核大小为7X7的卷积层，FC 2048x27 表示一个输入为2048个神经元输出为27个神经元的全连接层。

步骤2b中，对甲状腺区域图像进行人工特征提取，提取了五个基于灰度共生矩阵（GLCM）的特征，分别是：能量（energy）、 熵(entropy)、 相关性(correlation)、 同质度（local homogeneity）和对比度（inertia），同时还提取了hu不变矩，将这些特征拼接后，再使用一个包含两层全连接层的网络对特征进行非线性映射，得到最终的人工特征。

步骤2b中，特征融合与分类模块首先将深度特征和人工特征通过拼接进行融合，然后使用一个浅层网络对齐进行分类，这个浅层网络由一个Dropout层、一个ReLU激活函数和一个全连接层构成。

Claims (6)

1.一种基于深度神经网络的SPECT甲状腺显像智能识别方法，其特征在于，包括如下步骤：

步骤1、数据获取：采集SPECT甲状腺显像图像,然后进行数据标注和数据集划分：

步骤1a、数据标注：将SPECT甲状腺显像图像上呈现出的摄取模式分为弥漫增高、弥漫减低、局部增高、局部减低、分布不均和正常的六种，确认每一张SPECT甲状腺显像图像的呈现出的摄取模式；

步骤2b、数据集划分:将数据标注后的SPECT甲状腺显像图像集分为训练集和验证集；

步骤2、深度神经网络模型构建:

步骤2a、数据预处理：将步骤1处理的SPECT甲状腺显像图像根据窗宽窗位进行归一化操作，包含人体肩部以上范围的标准的SPECT甲状腺显像图像表示为原始图像；甲状腺区域通常表现为比其它区域更亮，使用基于阈值的方法从原始图像中提取出甲状腺区域，甲状腺区域用ROI图像表示；

步骤2b、深度神经网络模型设计：设计的深度神经网络模型，深度神经网络模型包含深度特征提取模块、人工设计特征提取模块和特征融合与分类模块；首先使用深度特征提取模块从原始图像和ROI图像进行深度特征提取，然后使用人工特征提取模块从ROI图像中提取人工特征，最后使用特征融合与分类模块对深度特征和人工特征进行融合再进行分类；

步骤2c、深度神经网络模型训练：使用训练集的数据采用反向传播算法对深度神经网络模型进行训练；

步骤3、模型验证：在神经网络模型训练完成之后，通过验证集的数据评价神经网络模型，直至深度神经网络模型能够自动识别SPECT甲状腺显像图像为六种甲状腺摄取模式的一种为止，得到最优深度神经网络模型；评价指标包括Accuracy、Sensitivity、Precision三个指标，其定义如下：

式中，TP表示真阳性样本的数量、TN表示真阴性样本数量、FP表示假阳性样本数量、FN表示假阴性样本数量；

步骤4、输入采集到的SPECT甲状腺显像图像到最优深度神经网络模型，诊断出SPECT甲状腺显像图像的甲状腺摄取模式。

2.根据权利要求1所述的一种基于深度神经网络的SPECT甲状腺显像智能识别方法，其特征在于，步骤1中，SPECT甲状腺显像图像采集：收集由SPECT/CT设备采集的患者甲状腺显像图像。

3.根据权利要求2所述的一种基于深度神经网络的SPECT甲状腺显像智能识别方法，其特征在于，步骤1中，所述数据集划分：将标注后的数据集按照4：1分为训练集和验证集。

4.根据权利要求1所述的一种基于深度神经网络的SPECT甲状腺显像智能识别方法，其特征在于，步骤2b中，深度特征提取模块由一系列卷积层、批标注准 层、ReLU激活函数、最大池化层和全连接层构成，用于从原始图像和ROI图像中提取抽象特征。

5.根据权利要求4所述的一种基于深度神经网络的SPECT甲状腺显像智能识别方法，其特征在于，步骤2b中，对ROI图像进行人工特征提取，提取了五个基于灰度共生矩阵的特征，五个特征分别是能量、熵、相关性、同质度和对比度，同时还提取了hu不变矩，将这些特征拼接后，再使用一个包含两层全连接层的网络对特征进行非线性映射，得到最终的人工特征。

6.根据权利要求5所述的一种基于深度神经网络的SPECT甲状腺显像智能识别方法，其特征在于，步骤2b中，特征融合与分类模块首先将深度特征和人工特征通过拼接进行融合，然后使用一个浅层网络对齐进行分类，这个浅层网络由一个Dropout层、一个ReLU激活函数和一个全连接层构成。

Images