CN114358154A - 人工智能在核素心肌灌注显像中的辅助诊断系统、方法及应用 - Google Patents

Abstract

本发明属于医学影像处理技术领域，公开了人工智能在核素心肌灌注显像中的辅助诊断系统、方法及应用。将标注后的图像放入深度学习网络进行特征提取，从而对辅助诊断模型进行训练；基于特征提取训练完毕后的辅助诊断模型对输入被检测图像进行不同病变位置和不同病变程度进行判断；同时应用改进的分割网络进行靶心图检测，统计出心肌缺血部位的面积占比；将统计后的结果进行可视化显示。本发明通过逐步完善此人工智能网络，以提高其诊断准确性，之后将其拓展到核医学其它检查部位图像的辅助诊断以及推广到云端辅助诊断，为基层医院及检查量大的医院或其他第三方机构提供支持，为核素心肌灌注显像的辅助诊断提供一种全新的手段。

Description

人工智能在核素心肌灌注显像中的辅助诊断系统、方法及 应用

技术领域

本发明属于医学影像处理技术领域，尤其涉及一种人工智能在核素心肌灌注显像中的辅助诊断系统、方法及应用。

背景技术

目前，心肌核素灌注显像作为无创检查中最常用的冠心病影像学诊断方法，它可以较为准确的对心肌缺血的程度、面积以及部位作出评估。随着近些年心肌核素灌注显像的成熟，其在对冠心病的危险分级、各级预防、治疗方案及预后评估等方面积累了大量的临床资料，具有良好的参考意义。

基于人工智能的学习网络过去在医学中的应用存在一定难度,限制了它在医学领域中的应用。而近些年来，随着人工智能神经网络的发展，已较为普遍的应用于各行各业。人工智能在保证工作正确有效进行的前提下，大幅度的减少了不必要的劳动支出和时间成本，提高了工作效率。在这样的人工智能大背景下，如何实现人工智能网络学习与医学临床应用的有效结合成为亟待探索与解决的问题。

尽管人工智能在一些诸如超声、CT、核磁共振、病理检测等图像诊断领域已经得到了部分程度的验证与应用，但其目前在核医学心肌灌注图像的辅助诊断方面仍处于空白阶段，因此其应用具有很大的可行性和必要性。在中外文献数据库中通过检索相关关键词(中文数据库检索词为：“心肌灌注显像”and“人工智能”；英文数据库检索词为：“Myocardialperfusion imaging and”and“Artificial intelligence”)，共搜索到0篇中文文献，37篇英文文献。其中，这些研究中主要有三个不足点：1、部分研究只针对心脏靶心图进行人工智能网络模型进行训练；2、大多数研究并没有针对心肌三个心腔轴17分区不同部位进行高准确度的诊断；3、没有利用人工智能对不同心腔轴不同部位、不同程度病变进行综合辅助诊断。目前，对于核医学心肌灌注和AI的结合运用尚未得到验证，并未有相关文献或报道。如果将两者的结合应用具有一定的新颖性和创新性。同时，通过特殊的诊断流程和方法可以作为一种有效的智能化辅助诊断的解决手段。

通过上述分析，现有技术存在的问题及缺陷为：

(1)对于核医学心肌灌注和AI的结合运用于医学图像处理，现有技术没有给出全面的心肌核素灌注显像诊断技术路线。

(2)现有技术医学领域图像处理中，传统的神经学习网络有其局限性，使得图像处理的准确度较低。

(3)现有技术医学领域图像处理中，临床医学图像诊断效率低，劳动成本高。

解决以上问题及缺陷的难度为：核医学心肌灌注图像诊断的难点在于其图像诊断的复杂性和综合性，对医师的临床经验要求较高，同时需对照多个轴位的图像综合作出评判。而AI可以在已知标注图像中获取特征，从而使诊断效率最大化。由于医学领域图像的特殊性，传统的神经学习网络有其局限性，因而不能直接应用于医学领域，而要对其进行必要的改进。本发明将建立与验证一种基于深度学习网络和检测流程的新的辅助诊断模式。

解决以上问题及缺陷的意义为：使用新的神经学习网络进行辅助诊断，一方面可以使诊断具备综合性，能够从心肌整体核素摄取状态进行综合评判；另一方面，可以使这种综合评判更好的建立在诊断效率上，进而使诊断效率和综合性最大化。

发明内容

为克服相关技术中存在的问题，本发明公开实施例提供了一种人工智能在核素心肌灌注显像中的辅助诊断系统、方法及应用。所述技术方案如下：

一种人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法，包括：

步骤一，将标注后的图像放入人工智能网络(YOLO v3)进行特征提取以及训练；

步骤二，基于特征提取训练完毕后的辅助诊断模型对输入被检测图像进行不同病变位置和不同病变程度进行判断；同时应用改进的UNet分割网络进行靶心图检测，统计出心肌缺血部位的面积占比；

步骤三，将统计后的结果进行可视化显示。

在本发明一实施例中，所述步骤一图像标注包括：

对心肌异常部位的标注，将左心室分为17个分区，短轴心腔轴、水平长轴心腔轴、垂直长轴心腔轴分别对应左心室17个分区，标注具体位置；标注靶心图异常区域以评判心肌病变的面积。

在本发明一实施例中，所述步骤一图像模型进行训练中，训练集占图像数量的70％，测试集占30％。

在本发明一实施例中，所述步骤二应用YOLO v3深度学习网络进行对图像模型某部位进行四个等级病变程度的判断；

所述YOlO v3网络以darknet-53为backbone，去掉最后一层全连接层，输出部分并通过较小分辨率特征图上采样，利用更深层次的特征又不至于输出尺度太小，通过相同分辨率特征图的concate操作，使得不同层次间特征融合，最终有32倍上采样，16倍上采样，8倍上采样三种分辨率输出。

在本发明一实施例中，YOLO v3网络对三种分辨率的输出图中每一个像素值采取三个边界框的预测，输出的通道数为(n+4+1)*3，其中n为预测分类类别，4是中心点的横纵坐标和预测框宽高x、y、w、h，1是分类准确的置信度得分；该网络具有检测精度高、检测速度快、易于部署等优点，适用于核医学图像对网络检测的准确度和效率的高要求。

对三种轴向图(包括短轴、水平长轴、垂直长轴)分别有6种、3种、7种类别输出；三种不同尺度的输出对应的先验框大小不同；同时利用每个分辨率的特征图中心点生成的预测框的感受野效果对目标预测进行定位。

在本发明一实施例中，所述步骤三将统计后的结果进行可视化显示中，进行内部、外部验证及灵敏度与特异度的分析。

本发明的另一目的在于提供一种人工智能在核素心肌灌注显像中的辅助诊断系统包括：

图像标注模块，用于对心肌异常部位的标注，将左心室分为17区，短轴心腔轴、水平长轴心腔轴、垂直长轴心腔轴分别对应左心室17区，标注具体位置；标注靶心图异常区域以评判心肌病变的面积占比；

图像模型训练及特征提取模块，用于将标注后的图像模型放入深度学习网络中进行训练以及特征提取；

病变图像分析模块，用于基于特征提取训练完毕后的辅助诊断模型对输入被检测图像进行不同病变位置和不同病变程度进行判断；同时应用改进的分割网络进行靶心图检测，统计出心肌缺血部位的面积占比；

图像输出模块，用于将统计后的结果进行可视化显示。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法。

本发明的另一目的在于提供一种所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法在核医学心肌灌注和AI的结合图像分析中的应用。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：

本发明将核医学心肌灌注与AI相结合，通过验证具有较高的诊断准确度，能够作为一种有效的辅助诊断方法，具有较大的实用性。通过网络的不断学习，其诊断意义将逐步增大，从而实现核医学图像的智能化诊断。

本发明为使用人工智能深度学习网络实现心肌核素灌注显像的机器辅助诊断的新用途。

相比于现有技术，本发明的优点进一步包括：

本发明所涉及的技术应用于临床将大幅度的提高诊断效率，为核医学诊断医师大幅度减轻工作量，提高诊断服务能力。通过逐步完善此人工智能网络，以提高其诊断准确性，之后将其拓展到核医学其它检查部位图像的辅助诊断以及推广到云端辅助诊断，为基层医院及检查量大的医院或其他第三方机构提供支持，为心肌核素灌注显像的诊断提供一种全新的手段，提高就诊效率，对核医学的发展及病人就诊舒适度有极大的促进作用。

当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本发明实施例提供的人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法流程图。

图2是本发明实施例提供的人工智能在核素心肌灌注显像中的辅助诊断系统示意图。

图中：A、图像标注模块；B、图像模型训练及特征提取模块；C、病变图像分析模块；D、图像输出模块。

图3是本发明实施例提供的心肌缺血程度效果图。

图4是本发明实施例提供的将左心室分为17区效果图(短轴)。

图5是本发明实施例提供的水平长轴和垂直长轴分别对应左心室17区的效果图。

图6是本发明实施例提供的YOlO v3网络示意图。

图7是改进的U-Net整体结构图。

图8是本发明实施例提供的在测试集ROC分析中，短轴的灵敏度、特异度及曲线下面积分别为88.9％，89.4％，和89.5％图。

图9是本发明实施例提供的水平长轴的灵敏度、特异度及曲线下面积分别为72.2％，75.3％，和75.7图。

图10是本发明实施例提供的垂直长轴的灵敏度、特异度及曲线下面积分别为85.7％，86.9％，和90.8％图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

如图1所示，本发明实施例提供一种人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法，包括：

S101，将标注后的图像放入人工智能网络(YOLO v3)进行特征提取以及训练；

S102，基于特征提取训练完毕后的辅助诊断模型对输入被检测图像进行不同病变位置和不同病变程度进行判断；同时应用改进的UNet分割网络进行靶心图检测，统计出心肌缺血部位的面积占比；

S103，将统计后的结果进行可视化显示。

如图2所示，本发明提供一种人工智能在核素心肌灌注显像中的辅助诊断系统包括：

图像标注模块A，用于对心肌模型异常部位的标注，将左心室分为17区，短轴心腔轴、水平长轴心腔轴、垂直长轴心腔轴分别对应左心室17区，标注具体位置；标注靶心图异常区域以评判心肌病变的面积占比；

图像模型训练及特征提取模块B，用于将标注后的图像放入人工智能网络进行特征提取和训练；

病变图像分析模块C，用于基于特征提取训练完毕后的辅助诊断模型对输入被检测图像进行不同病变位置和不同病变程度进行判断；同时应用改进的分割网络进行靶心图检测，统计出心肌缺血部位的面积占比；

图像输出模块D，用于将统计后的结果进行可视化显示。

下面结合具体实施例对本发明的技术方案作进一步描述。

实施例

本发明提供一种人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法包括：

(1)资料准备

通过回顾性的筛选出500例接受心肌核素灌注显像检查的病人检查图片，对人工智能网络进行训练，其中70％的病例为阳性病例(包括心肌摄取提示轻度稀疏、中度稀疏、重度稀疏及缺损，如图3)，30％的病例为阴性病例。病人资料通过四个中心的不同SPECT设备进行采集获取，设备型号分别为：Discovery NM/CT 670 CZT(GE公司)、Discovery NM/CT670(GE公司)、Discovery NM530c(GE公司)、Symbia T16(西门子公司)。图像采集参数无特殊限制，按各家设备的默认参数进行采集。图像分辨率标准为300*300；靶心图分辨率标准为512*512。

(2)图像标注

对准备资料中心肌异常部位进行标注，依据2002年美国心脏病协会(AHA)提出统一影像学(MRI、CT、ECT及UCG等)左室分区的建议，将左心室分为17区，目前该方法已广泛应用于临床。三个心腔轴(短轴、水平长轴、垂直长轴)分别对应左心室17区(图4对应短轴17节段分区；图5(a)水平长轴所对应17节段分区；图5(b)垂直长轴所对应17节段分区；其中，图4、图5中，包括：前壁基底1、前间隔基底2、后间隔基底3、下壁基底4、后侧壁基底部5、前侧壁基底部6、前壁中段7、前间隔中段8、后间隔中段9、下壁中段10、下后壁中段11、前侧壁中段12、前壁心尖13、间隔心尖14、下壁心尖15、侧壁心尖16、心尖17)，标出其具体位置；标出靶心图异常区域以评判心肌病变的面积。

(3)模型训练模块

将上述标注图像放入人工智能网络进行特征提取和训练，其中训练集占图像数量的70％，测试集占30％。应用YOLO v3检测网络实现心脏某部位是否患病及四个等级患病程度的诊断，应用改进的U-Net分割网络实现靶心图患病程度部位的面积统计，进而生成病人的辅助诊断报告。

在本发明一实施例中，YOLO v3网络结构

YOlO v3网络(图6)以darknet-53为backbone，去掉最后一层全连接层，输出部分并通过较小分辨率特征图上采样，利用更深层次的特征又不至于输出尺度太小，通过相同分辨率特征图的concate操作，使得不同层次间特征融合，最终有32倍上采样，16倍上采样，8倍上采样三种分辨率输出。

在本发明一实施例中，边界框预测：

YOLO v3对三种分辨率的输出图中每一个像素值采取了3个边界框的预测，输出的通道数为(n+4+1)*3，其中n为预测分类类别，4是中心点的横纵坐标和预测框宽高x、y、w、h，1是分类准确的置信度得分。针对三种轴向图，短轴、水平长轴、垂直长轴分别有6种、3种、7种类别输出，因此输出通道数分别为33、24、36.三种不同尺度的输出对应的先验框大小不同(表1)。每个分辨率的特征图中心点生成的预测框对图像中目标大小具有针对性，感受野大的针对大目标预测效果更好，感受野小的对小目标检测效果更好，而中等感受野对中等大小的目标预测定位更准确。

表1：三个尺度输出图对应的预测框尺寸及感受野关系

特征图	13*13	26*26	52*52
				感受野	大	中	小
先验框	(116*90)(156*198)(373*326)	(30 61)(62*45)(59*119)	(10*13)(16*30)(33*23)

对UNet分割网络进行改进以进行心肌核素灌注显像靶心图的检测，其中包括：

以U-Net为骨干，整体结构如图7所示，其中

表示按通道拼接(concatenate)操作，橙红色的虚线框内为改进设计的分支网络。U-Net解码器生成的特征图与编码器中对应分辨率的特征图进行skip connection操作后，再进行上采样操作。生成的特征图F₁、F₂、F₃具有不同层次的特征，靠近像素级分类结果的特征图F₃具有较浅层次的特征，U-Net网络底部的特征图F₁具有较深层次的特征。其基本思想是设计分支网络，更充分地利用上述包含不同丰富信息的特征图，将分支输出Y₁与U-Net的主干输出X₄拼接，并通过一层卷积操作实现分支输出对主干输出细节特征的补充和融合，从而达到最佳的分割效果。分支网络主要包含两部分：①对F₁、F₂、F₃进行多层转置卷积上采样拼接操作；②将拼接后的特征图X_{1，2，3_c}输入到四通路可加权通道注意力模块(WCAM，weightedchannelsattention module)，而模块的输出作为特征图X_{1，2，3_c}在通道上的权重与X_{1，2，3_c}加权。

(4)结果输出模块

综合评判诊断准确性：评估内部测试集的网络自动诊断效果，进行内部验证及灵敏度与特异度的分析；评估外部图像的诊断效果，进行外部验证及灵敏度与特异度的分析；对靶心图分割效果进行Jaccard系数分析；输出软件模块。

下面结合具体测试效果对本发明的技术方案作进一步描述。

实际测试结果

在短轴中，准确度范围为74.37％-84.73％，召回率范围为94.04％-98.76％，平均精确度范围为90.04％-98.15％(表2)；在水平长轴中，准确度范围为66.20％-79.32％，召回率为88.50％-92.77％，平均精确度为81.90％-90.34％(表3)；在垂直长轴中，准确度为88.02％-94.64％，召回率为76.96％-91.8％，平均精确度为80.17％-93.37(表4)。在测试集ROC分析中，短轴的灵敏度、特异度及曲线下面积分别为88.9％，89.4％，和89.5％(图8)；水平长轴的灵敏度、特异度及曲线下面积分别为72.2％，75.3％，和75.7(图9)；垂直长轴的灵敏度、特异度及曲线下面积分别为85.7％，86.9％，和90.8％(图10)。在靶心图不同分割网络的验证中，均取得了较高的分割精度。其中，优化U-Net法Jaccard系数高于U-Net5.00％，在靶心图数据集上表现最好，且参数量是表现同样出色的16层H-DenseUNet(H-DenseUNet-16)的51.6％，与U-Net参数量基本相同(表5)。

表2：短轴训练准确度

	准确度(％)	召回率(％)	平均精确度(％)
				前壁(1区)	78.78	98.01	96.88
前间壁(2区)	77.67	96.26	94.64
				下间壁(3区)	81.37	95.31	93.16
后壁(4区)	84.73	98.76	98.15
				下侧壁(5区)	74.37	96.10	93.78
前侧壁(6区)	74.73	94.04	90.04

表3：水平长轴训练准确度

	准确度(％)	召回率(％)	平均精确度(％)
				侧壁(14区)	66.20	88.50	81.90
心尖(17区)	79.32	92.77	90.34
				间隔部(16区)	70.83	88.85	87.02

表4：垂直长轴训练准确度

表5：靶心图数据集的精度交叉验证结果

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。

Claims (10)

1.一种人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法，其特征在于，所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法包括：

步骤一，将标注后的图像放入人工智能网络进行特征提取以及训练；

步骤二，基于特征提取训练完毕后的辅助诊断模型对输入被检测图像进行不同病变位置和不同病变程度进行判断；同时应用改进的UNet分割网络进行靶心图检测，统计出心肌缺血部位的面积占比；

步骤三，将统计后的结果进行可视化显示。

2.根据权利要求1所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法，其特征在于，所述步骤一图像标注包括：

对心肌病变异常部位的标注，将左心室分为17区，短轴心腔轴、水平长轴心腔轴、垂直长轴心腔轴不同部位分别对应左心室17区，标注具体位置；标注靶心图异常区域以评判心肌病变的面积。

3.根据权利要求1所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法，其特征在于，所述步骤一图像模型进行训练中，训练集占图像数量的70％，测试集占30％。

4.根据权利要求1所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法，其特征在于，所述步骤二应用YOLO v3深度学习网络对心肌图像病变部位进行四个等级病变程度的判断；

所述YOlO v3网络以darknet-53为backbone，去掉最后一层全连接层，输出部分并通过较小分辨率特征图上采样，利用更深层次的特征又不至于输出尺度太小，通过相同分辨率特征图的concate操作，使得不同层次间特征融合，最终有32倍上采样，16倍上采样，8倍上采样三种分辨率输出。

5.根据权利要求3所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法，其特征在于，YOLO v3网络对三种分辨率的输出图中每一个像素值采取三个边界框的预测，输出的通道数为(n+4+1)*3，其中n为预测分类类别，4是中心点的横纵坐标和预测框宽高x、y、w、h，1是分类准确的置信度得分；

对三种轴向图，短轴、水平长轴、垂直长轴分别有6种、3种、7种类别输出；三种不同尺度的输出对应的先验框大小不同；同时利用每个分辨率的特征图中心点生成的预测框的感受野效果对目标预测进行定位。

6.根据权利要求2所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法，其特征在于，所述步骤三将统计后的结果进行可视化显示中，进行内部、外部验证及灵敏度与特异度的分析。

7.一种实施权利要求1～6任意一项所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法的人工智能在核素心肌灌注显像中的辅助诊断系统，其特征在于，所述人工智能在核素心肌灌注显像中的辅助诊断系统包括：

图像标注模块，用于对心肌异常部位的标注，将左心室分为17区，短轴心腔轴、水平长轴心腔轴、垂直长轴心腔轴分别对应左心室17区，标注具体位置；标注靶心图异常区域以评判心肌病变的面积；

图像特征提取及模型训练模块，用于将标注后的图像放入人工智能网络进行特征提取以及训练；

病变图像分析模块，用于基于特征提取训练完毕后的辅助诊断模型对输入被检测图像进行不同病变位置和不同病变程度进行判断；同时应用改进的分割网络进行靶心图检测，统计出心肌缺血部位的面积占比；图像输出模块，用于将统计后的结果进行可视化显示。

8.一种信息数据处理终端，其特征在于，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6任意一项所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～6任意一项所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法。

10.一种如权利要求1～6任意一项所述人工智能在核素心肌灌注显像中的辅助诊断系统的图像处理方法在核医学心肌灌注和AI的结合图像分析中的应用。

Images