CN110021022A - 一种基于深度学习的甲状腺核医学图像诊断方法 - Google Patents

Abstract

一种基于深度学习的甲状腺核医学图像诊断方法，属于信息技术领域。本发明为了解决现有技术对于甲状腺核图像诊断存在一定限制，诊断效率低的问题；本发明方法包括利用三通道阈值检测法确定ROI区域，进行图片裁剪；对病灶图像集进行缩放，旋转和加入高斯噪声处理，组成扩充样本数据集；搭建卷积神经网络用于图像诊断，利用训练集对网络进行训练，得到训练好的新型诊断模型；用训练好的诊断模型对测试集进行疾病诊断，得到每张医学图像的甲状腺疾病诊断结果；本发明使训练的模型拥有更高的鲁棒性，增强了其在医院推广的可能性。

Description

一种基于深度学习的甲状腺核医学图像诊断方法

技术领域

本申请属于一种图像诊断方法，属于信息技术领域，具体涉及一种基于深度学习的甲状腺核医学图像诊断方法。

背景技术

甲状腺是位于人体颈部前下方的一个产生激素的腺体，它控制使用能量的速度、制造蛋白质、调节身体对其他荷尔蒙的敏感性，调控代谢、生长速率还有调解其他的身体方法。近些年来，各个国家甲状腺癌的发病率逐渐增高，全球发病率正以每年6.2％的幅度增加；在国内，甲状腺的发病率更是呈现明显地上升趋势。甲状腺是人体最大的内分泌腺体，其疾病检出率日益升高，且随着年龄的增加这种趋势更加明显。目前SPECT医学影像是辅助诊断甲状腺的有效手段，对于影像的分析，由于缺乏严格细化的参照标准，每个医师对于影像细节特征上的描述存在着主观差异，导致诊断模糊化。对于较小的特征纹理，人的肉眼无法分辨，而这些特征却又是病情早期发现的有效鉴定依据。有必要对SPECT影像诊断的现状进行改善。此外，因固有的超声成像机制，临床采集到的超声甲状腺肿瘤图像质量一般较差，使得良、恶性结节特征界限更是难以主观把握。

特别地，我国高水平医疗人才极度短缺，每万人拥有的医生数量不及医疗发达国家平均水平的50％，三甲医院临床医生平均日接诊量超过30人次，远大于行业内8人次的标准。而且，我国高水平医院和高水平医生过度集中在大城市的大医院，集中在发达地区。中西部地区以及全国范围的基层医院严重缺乏优质医疗资源，不足全国医院数量3％的三甲医院就诊量超过总量的30％，20％的城市医疗资源负担了全国80％的医疗服务问题。所以，目前我国医疗卫生事业发展面临高水平医疗人才短缺、优质医疗资源分布失衡、恶性医患纠纷持续高发三大突出问题，这也是导致“看病难、看病贵”问题连续多年成为城乡居民公认的突出社会问题之一的主要原因。

近年深度学习的这一新领域的开发，为医学图像带来了新的解决问题的途径。深度学习，旨在通过模拟人脑自动地学习数据各个层次的抽象特征，从而更好地反应数据的本质特征正是由于对这种本质特征的把握，使深度学习在医学图像诊断上具有广阔的应用前景。目前使用CNN分类患有阿尔茨海默病的大脑和正常大脑，模型分类准确率高达96.85％；使用基于CNN的Deep-TEE网络训练识别围术期食管超声心动图(TEE),测试准确度达到96.8％。基于CNN的恶性肿瘤检测方法，其对肝癌的识别精度是放射医师的5倍。在甲状腺疾病诊断过程中，问题对象的本质纹理细节决定了网络的构型，深度学习模型的鲁棒性是存在一定限制，诊断效率低，不宜在医院推广。

发明内容

本申请的一种基于深度学习的甲状腺核医学图像诊断方法，将ROI区域分割，图像增强，神经网络训练和辅助诊断进行集成，便于非专业人士进行使用与拓展，增加了其在医院推广的可能性。

本发明的一种基于深度学习的甲状腺核医学图像诊断方法，包括如下步骤：

步骤1、采集n张原始医学图像样本，并对其进行诊断，根据诊断结果给予医学图像标签，所述标签包括甲亢病、桥本氏病、亚甲炎和正常人四类；

步骤2、对步骤1所述的原始医学图像样本进行分割，得到n张病灶图像；

步骤3、采用旋转、放缩、增加白噪声手段对上述病灶图形进行扩增，将步骤2的n张病灶图像扩增为m张，将m张扩增图像分成训练集和测试集；

步骤4、搭建卷积神经网路，将训练集作为输入得到图像诊断模型；

步骤5、利用图像诊断模型对测试集中的图像进行诊断，得到每种疾病患病概率和最可能类型；

步骤6、利用程序对步骤5中的图像名称和诊断结果进行整理输出诊断结果表格。

进一步的，步骤2的图像分割方法包括：

2.1、利用三通道阈值方法对原始医学图像样本进行像素比较，筛选出所有满足阈值的像素点；

2.2、求得各像素点坐标中心点；

2.3、以所述中心点为中心切割ROI区域，得到病灶图像。

进一步的，步骤2.2利用最小二乘法求得坐标中心点。

进一步的，所述旋转扩增方式包括0度、90度、180度和270度四种方式。

进一步的，所述方所扩增方式包括0.90倍、0.95倍、1倍、1.05倍和1.10倍放缩方式。

进一步的，所述增加白噪声扩增方式为添加至少五种白噪声。

进一步的，步骤4具体包括：

4.1搭建卷积神经网络；

4.2、将训练集作为输入进行训练，训练过程中对训练模型进行校正，得到最终诊断模型；

进一步的，所述卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和输出层，所述全连接层设置dropout。

进一步的，步骤4.2所述模型修正方法包括：

将总训练代数等份分成x份，每份包括y代，每y代使用测试集的图像进行一次准确度测试，比较第i次测试的准确度与第i-1次测试准确度；

若第i次测试准确度高于第i-1次测试准确度时保存第i次训练集的诊断模型，并继续训练；

若第i次测试准确度低于第i-1次测试准确度时，保留第i-1次的诊断模型，并重新开始该份y代的训练；

记录每份训练准确度和测试准确度，训练完成时绘制训练准确度变换曲线。

与现有技术相比，具有如下有益效果：

1、本发明针对现有的甲状腺核医学图像数据量较少的情况，对含有甲状腺核医学图像通过旋转，放缩，添加白噪声进行数据扩充，保证了数据的充足性，随机性，也使得训练的模型可以拥有更高的鲁棒性。

2、本发明利用卷积神经网络进行疾病诊断，通过在全连接层设置dropout，提高网络在训练时的鲁棒性，减少过拟合情况。

3、本发明将生成ROI区域，图像增强，网络训练，辅助诊断进行集成，便于非专业人士进行使用与拓展，增加了其在医院推广的可能性。

4、本发明准确度较高，各类疾病测试集诊断准确度均达到了90％，相比于刘凤华等使用核医学图像联合B超检查的人工诊断达到90％的准确率，本发明只使用核医学图像，可以减少病人的诊断所需的检查内容，且诊断快速节约人工，速度相比于周敏使用核医学图像人工诊断达到85.71％的准确度，本发明准确度更高。

附图说明

图1为本发明实施例的整体流程示意图。

图2为本发明实施例的卷积神经网络示意图。

图3为本发明实施例的一张病灶图像。

图4为图3旋转放缩增强后的图像。

图5为图4增加白噪声增强后的图像。

图6为本发明实施例卷积神经网络进行训练时的准确度变换曲线。

图7为本发明实施例卷积神经网络进行测试时的准确度变换曲线。

图8为本发明实施例的CNN、Inception、VGG16、RNN模型测试集混淆矩阵。

图9为本发明实施例的CNN、Inception、VGG16、RNN模型测试集ROC曲线。

具体实施方式

以下参照附图对本实施例进行详细的描述。

本实施例的一种基于深度学习的甲状腺核医学图像诊断方法，如图1所示，包括如下步骤：

步骤1、使用采像仪器为西门子SPECT单探头E.CAM方法、配低能通用准直器，能峰140Kev、窗宽20％、矩阵128*128、放大3.2倍，药物选用新鲜淋洗99mTcO4-185Mbg标记率99％，静脉注射20分钟后进行静态前位显像，采集136张原始医学图像样本，考虑了核医学图像中甲状腺的形态、大小、位置和功能状况，对其进行诊断，根据诊断结果给予医学图像标签，所述标签包括甲亢病、桥本氏病、亚甲炎和正常人四类；

步骤2、为了减少神经网络的图像处理工作量，使用三通道热点阈值中心检测法，对原始图像样本进行ROI切割，得到病灶图像，具体包括：

2.1、设置HSV三通道阈值，对原始医学图像样本进行逐像素比较，筛选出所有满足阈值的像素点，考虑到甲状腺区域在核医学图像下色调(H)，饱和度(S)，明度(V)都较高，设定H＝80,S＝80,V＝80的阈值，将图像中满足这阈值限制的像素点进行提出；

2.2、对筛选出的像素点利用各点的坐标求坐标的中心点；

2.3、以所述中心点为中心切割500*500的ROI区域，得到病灶图像，切割ROI区域可以使后续神经网络系统运算量减少，统一的大小便于规模化处理，选取500*500的ROI区域大小保证了病灶的完整性和后续运算的高效性。

步骤3、在深度学习过程中，一个鲁棒的模式识别系统应当具有良好的泛化能力，能够应对多变的待测输入，对深度学习系统而言，更多的有效数据意味着模型能学习到更多的信息，然而，甲状腺诊断图像的数量远远不能满足样本可以覆盖整个样本空间的要求，因此，本实施例采用图像扩增方法对病灶图像进行扩增，由一张原病灶图得到一百张增强图像，将随机110张原始医学图像样本产生的增强图像作为训练集，将其余26张原图产生的增强图像作为测试集；

由于样本对抗这一难题的存在，在扩增的同时要保证不会出现对杨，因此，怎样通过图像样本扩增扩大样本容量并在扩增过程中避免样本对抗是一个关键性的难题，为了保留不同甲状腺图像样本的纹理特征同时避免样本对抗，由于适当的旋转、合理的放缩和恰当的噪声添加都不会对病灶纹理产生影响，而三种扩增方式可以在一定程度上引起图像的混淆，提高模型的泛化能力，所以本申请选择的图像扩增方法为旋转，放缩，噪声添加的方法来增强图像，以增加训练集测试集的样本容量，增加神经网络的稳定性，防止训练过程出现过拟合问题，三种扩增方法的选择并无必然先后顺序；

本实施例采用先旋转扩增，再放缩扩增，最后添加白噪声扩增的增强方案，具体扩增方法包括依次进行的如下操作：

3.1旋转扩增，旋转操作能使系统对随机角度拍摄的测试图表现更加稳健，弥补样本中姿态较少的问题，本实施例将原病灶图想分别按照0度、90度、180度和270度四种旋转方式操作，由一张原病灶图像得到四张增强图像A；

3.2放缩扩增，对于步骤3.1中的增强图像分别采用0.90倍、0.95倍、1倍、1.05倍和1.10倍放缩方式进行放缩操作，由步骤3.1中的四张增强图像得到二十张增强图像B。

3.3白噪声添加扩增，对于步骤3.2中增强图像B进行白噪声添加，添加的白噪声均值为0、方差为0.2的五中随机白噪声，由二十张增强图片B得到一百张增强图像C。

步骤4、搭建卷积神经网路，将训练集作为输入得到图像诊断模型；

进一步的，步骤4具体包括：

4.1搭建卷积神经网络，所述卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层、dropout和输出层，本实施例的卷积层使用2*2的卷积核，池化层使用5*5的池化核；

4.2、将训练集作为输入进行训练，训练过程中对训练模型进行校正，得到最终诊断模型；

具体的，模型修正方法包括：对于步骤4.1中搭建神经网络的训练过程中，总共训练10000代，每代训练50张训练集图像，所以将总训练代数等份分成100份，每份包括100代，每100代使用500张测试集图像进行一次测试，比较本次测试的准确度与上一次测试准确度；

若本次测试准确度高于上次测试准确度时保存本次测试的训练集的诊断模型，并继续进行训练；

若本次测试准确度低于上次测试准确度时，保留上次的诊断模型，并重新开始该100代的训练；

记录每份训练准确度和测试准确度，训练完成时绘制训练准确度变换曲线。

步骤5、利用图像诊断模型对测试集中的图像进行诊断，得到每种疾病患病概率和最可能类型；

步骤6、利用现有程序对步骤5中的图像名称和诊断结果进行整理输出诊断结果表格。

如图6所示，为本实施例卷积神经网络进行训练时的准确度变换曲线，由图可见训练准确率收敛速度较快，这是卷积神经网络模型对病灶特征提取能力的体现，模型在训练了800代后基本趋近于100％准确率，这反映了本申请的卷积神经网络深度学习方法在甲状腺疾病分类上的能力。

图8为混淆矩阵，也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等，这些精度指标从不同的侧面反映了图像分类的精度。在人工智能中，混淆矩阵(confusion matrix)是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵是通过将每个实测像元的位置和分类与分类图像中的相应位置和分类相比较计算的。

图9为受试者工作特征曲线(receiver operating characteristic curve，简称ROC曲线)，又称为感受性曲线(sensitivity curve)。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在两种不同的判定标准下所得的结果而已。受试者工作特征曲线就是以假阳性概率(False positive rate)为横轴，真阳性(True positive rate)为纵轴所组成的坐标图，和受试者在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。

ROC曲线是根据一系列不同的二分类方式(分界值或决定阈)，以真阳性率(灵敏度)为纵坐标，假阳性率(1-特异度)为横坐标绘制的曲线。传统的诊断试验评价方法有一个共同的特点，必须将试验结果分为两类，再进行统计分析。ROC曲线的评价方法与传统的评价方法不同，无须此限制，而是根据实际情况，允许有中间状态，可以把试验结果划分为多个有序分类，如正常、大致正常、可疑、大致异常和异常五个等级再进行统计分析。因此，ROC曲线评价方法适用的范围更为广泛。

本发明的实施例的上述描述是为了示例和说明的目的而给出的。它们并不是穷举性，也不意于将本发明限制于这些精确描述的内容，在上述教导的指引下，还可以有许多改动和变化。这些实施例被选中和描述仅是为了最好解释本发明的原理以及它们的实际应用，从而使得本领域技术人员能够更好地在各种实施例中并且使用适合于预期的特定使用的各种改动来应用本发明。因此，应当理解的是，本发明意欲覆盖在下面权利要求范围内的所有改动和等同。

Claims (9)

1.一种基于深度学习的甲状腺核医学图像诊断方法，其特征在于：包括如下步骤：

步骤1、采集n张原始医学图像样本，并对其进行诊断，根据诊断结果给予医学图像标签，所述标签包括甲亢病、桥本氏病、亚甲炎和正常人四类；

步骤2、对步骤1所述的原始医学图像样本进行分割，得到n张病灶图像；

步骤3、采用旋转、放缩、增加白噪声手段对上述病灶图形进行扩增，将步骤2的n张病灶图像扩增为m张，将m张扩增图像分成训练集和测试集；

步骤4、搭建卷积神经网路，将训练集作为输入得到图像诊断模型；

步骤5、利用图像诊断模型对测试集中的图像进行诊断，得到每种疾病患病概率和最可能类型；

步骤6、利用程序对步骤5中的图像名称和诊断结果进行整理输出诊断结果表格。

2.根据权利要求1所述一种基于深度学习的甲状腺核医学图像诊断方法，其特征在于：步骤2的图像分割方法包括：

2.1、利用三通道阈值方法对原始医学图像样本进行像素比较，筛选出所有满足阈值的像素点；

2.2、求得各像素点坐标中心点；

2.3、以所述中心点为中心切割ROI区域，得到病灶图像。

3.根据权利要求2所述一种基于深度学习的甲状腺核医学图像诊断方法，其特征在于：步骤2.2利用最小二乘法求得坐标中心点。

4.根据权利要求1所述一种基于深度学习的甲状腺核医学图像诊断方法，其特征在于：所述旋转扩增方式包括0度、90度、180度和270度四种方式。

5.根据权利要求1所述一种基于深度学习的甲状腺核医学图像诊断方法，其特征在于：所述方所扩增方式包括0.90倍、0.95倍、1倍、1.05倍和1.10倍放缩方式。

6.根据权利要求1所述一种基于深度学习的甲状腺核医学图像诊断方法，其特征在于：所述增加白噪声扩增方式为添加至少五种白噪声。

7.根据权利要求1所述一种基于深度学习的甲状腺核医学图像诊断方法，其特征在于：步骤4具体包括：

4.1搭建卷积神经网络；

4.2、将训练集作为输入进行训练，训练过程中对训练模型进行校正，得到最终诊断模型。

8.根据权利要求7所述一种基于深度学习的甲状腺核医学图像诊断方法，其特征在于：所述卷积神经网络包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和输出层，所述全连接层后设置dropout层。

9.根据权利要求7所述一种基于深度学习的甲状腺核医学图像诊断方法，其特征在于：步骤4.2所述模型修正方法包括：

将总训练代数等份分成x份，每份包括y代，每y代使用测试集的图像进行一次准确度测试，比较第i次测试的准确度与第i-1次测试准确度；

若第i次测试准确度高于第i-1次测试准确度时保存第i次训练集的诊断模型，并继续训练；

若第i次测试准确度低于第i-1次测试准确度时，保留第i-1次的诊断模型，并重新开始该份y代的训练；

记录每份训练准确度和测试准确度，训练完成时绘制训练准确度变换曲线。