CN110808096B - 基于卷积神经网络的心脏病变自动检测系统 - Google Patents

Abstract

本发明基于卷积神经网络的心脏病变自动检测系统，其特征在于，包括：数据库、病变信息处理模块、关键帧提取模块、数据清洗模块、信息融合及存储模块、卷积神经网络学习模块、模型存储及筛选模块以及病变检测模块；涉及深度学习、医疗以及计算机视觉等领域，通过科学优化的设计，创建并实现了一套基于卷积神经网络的心脏冠状动脉钙化、完全闭塞及血栓病变全自动智能检测系统，针对诊断对结果准确率以及时效性的需求，设计结构巧妙，无需任何人工辅助便可以输出高质量辅助诊断检测结果，为冠状动脉患者以及医生带来便利。

Description

基于卷积神经网络的心脏病变自动检测系统

技术领域

本发明涉及心脏病变检测装置技术领域，尤其是一种基于卷积神经网络的心脏病变自动检测系统。

背景技术

冠状动脉疾病是一种严重危害人体健康的疾病，它具有高死亡率、高残疾率、高发病率，即使现在医疗水平有所提高，冠状动脉疾病依旧会给患者带来很大的创伤，每年全球约有1500万的人死于这种疾病，位居各种死因首位；

目前，利用冠状动脉造影成像技术是进行心脏冠状动脉检查及诊断的主要方法，然而对造影成像图片的分析需要大量的专业医疗人员，对他们的医疗经验，职业素质也具有较高的要求；与此同时，再专业的医师也可能会忽略掉某些细节信息，而且造影图片还会受到拍摄环境、设备状态等非人为因素的影响，此外造影图片还会出现复杂的结构如组织重叠、病理多变；若要对患者的病变情况做出完全无误的诊断还存在一定的难度；

为了提高医务人员的诊断准确率，现有技术中，提供了一套智能辅助诊断系统。使用深度学习模型，配合系统输出结果给医生提供诊断帮助，例如：公开号为CN 109360646 A的专利技术，发明名称为：基于人工智能的病理辅助诊断系统，该发明公开了一种基于人工智能的病理辅助诊断系统，采用分布式异构集群系统，包括：数据存储模块、分布式计算模块和任务调度模块；分布式计算模块与数据存储模块和任务调度模块通信连接；其中，数据存储模块用于：接收客户端触发的操作指令，存储全扫描病理图像，并在图像分析任务进行时，为全图读取的病理图像提供缓存空间；分布式计算模块用于：按照异构计算的方式，并行执行病理图像的分析任务和深度学习模型对应的计算任务；任务调度模块用于：管理所述分布式计算模块对应执行的各项任务；能够解决多层级、大尺寸、高分辨率的图像的分析处理问题，提高了分析效率，由于采用了集群系统，使得系统能够增量扩展，同时也提高系统的容错性；

但该发明设计存在着以下不足：

缺陷1：该发明使用逐像素学习的方式进行辅助诊断，这种方式会花费大量的时间，虽然该发明使用CPU结合GPU异构的方式，从物理性能角度出发解决耗时长的问题，但是这种方式并没有从算法根本上解决问题；

而本发明使用非像素学习方式，利用卷积神经网络对冠状动脉病变进行检测，检测一张图片的时间仅为0.4秒；

缺陷2：该发明利用像素之间的变化趋势来突出病例图片中的纹理特征，利用这种方式提取的特征过于单一，不能获取充分信息；

而本发明强调了特征学习的重要性，通过特征变换，将输入的原始特征映射变换到新特征空间，并使用自主学习的方式，让网络本身根据输入数据的特点学习病变特征，通过减小损失函数，不断迭代来优化网络模型的检测效果；同时，本发明还设计了巧妙的模块结构，加强不同层特征的融合以及局部特征的融合，这便从根本上解决了特征单一问题，因此本发明会具有更好的检测效果。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于卷积神经网络的心脏病变自动检测系统，涉及深度学习、医疗以及计算机视觉等领域，主要针对人工心脏冠状动脉病变诊断存在的费时费力，且准确率不高的问题，通过科学优化的设计，创建并实现了一套基于卷积神经网络的心脏冠状动脉钙化、完全闭塞及血栓病变全自动智能检测系统，针对诊断对结果准确率以及时效性的需求，设计结构巧妙，无需任何人工辅助便可以输出高质量辅助诊断检测结果，为冠状动脉患者以及医生带来便利。

基于卷积神经网络的心脏病变自动检测系统，包括：数据库、病变信息处理模块、关键帧提取模块、数据清洗模块、信息融合及存储模块、卷积神经网络学习模块、模型存储及筛选模块以及病变检测模块；

进一步的，创建所述数据库：从服务器获取医院上传的心脏冠状动脉钙化、完全闭塞及血栓患者的造影dicom视频，并由专业医生进行手工标注，对每个患者分别使用专用的文本文档记录医生的标注信息，所述标注信息包括：患者的病变类型以及病变的位置信息；

作为一种举例说明，所述专业医生包括：心内科医生与心外科医生；

作为一种举例说明，所述病变类型包括：钙化、完全闭塞及血栓；

作为一种举例说明，所述病变位置信息以坐标的形式进行记录，为病变所在的左上及右下横纵坐标；

进一步的，所述所有患者的文本文档和dicom视频共同构成完整数据库；

进一步的，所述病变信息处理模块用于：

1)从所述数据库获取记录患者病变信息的文本文档；

2)针对每位患者，提取其所述文本文档中专业医生标注的所述标注信息；

3)完成对所有患者信息的统一管理，对所有患者的信息进行统一保存，使得患者病历号对应患者的病变信息；

4)将整理后的所有患者的所述病变信息输入到所述信息融合及存储模块；

进一步的，所述关键帧提取模块包括：

为了充分展现每种病变的特征，需要在每位患者的dicom视频中选取对病变特征展现最明显的一帧，即关键帧造影图片，因此关键帧提取模块具有重要的意义，所述关键帧提取模块工作标准流程为：

1)根据医生对每种病变的诊断经验，提出并制定了病变充分显现准则；钙化病变在造影未充盈前具有最好的显现效果，血栓及完全闭塞病变在造影剂充分充盈时具有最好的显现效果；

2)从所述数据库获取所有患者的dicom造影视频；

3)对dicom视频进行造影图片的提取；根据病变显现准则，对每位患者的dicom视频进行关键帧提取，每位患者主要提取造影剂最充盈以及未充盈两帧；

作为一种举例说明，本发明根据dicom视频中每帧的全局像素值大小来判断造影剂是否充盈，并在未充盈以及完全充盈时刻完成视频帧提取；这样的方法简单灵活，在具有高质量输出的同时也降低了数据处理的时间，在整体上提高了检测的实时性；提取后造影图片如图1a与图1b所示；

4)将所有患者的关键帧造影图片统一输入到所述数据清洗模块，完成对关键帧造影图片的过滤工作；

进一步的，良好的输入数据是系统正常工作的重要前提保证，考虑到病变数据集中会存在大量的低质量数据，特别是造影图片中可能会存在部分患者进行导丝导通治疗后的数据；这样的数据会破坏病变原有的特征，给网络学习造成巨大的挑战；因此，为了提高系统的检测性能，本发明首次使用卷积神经网络实现了一个数据清洗模块；

所述数据清洗模块的工作标准流程包括：

首先，使用输入的有、无导丝的关键帧造影图片，对有、无导丝这两类图片的特征进行提取与学习，以降低判断损失函数为目标，不断调整网络参数，使在所述数据清洗模块训练得到的有无导丝的分类模型最终输出的判断有、无导丝的结果更加准确，之后使用训练与测试效果均较好的网络模型便可实现对造影图片中有、无导丝的自动检测，再剔除数据集中被判断为有导丝的患者关键帧造影图片，便可以在不存在任何额外开销的情况下，实现数据清洗的功能，输出高质量检测造影图片；

作为一种举例说明，经数学建模实验验证，所述数据清洗模块在有、无导丝的判断上准确率可高达94.1％，召回率达到93.3％；

进一步的，所述数据清洗模块具体结构如图2所示，设置有语义融合处理层，也是本发明极具创新性的部分；本发明在所述语义融合处理层利用不同尺寸的池化层来获取不同大小的特征图，池化层尺寸不同便会在原有输入的特征图中采集不同的局部特征，这些局部特征彼此之间具有不同的语义信息；为了融合来自不同层特征图的语义信息，提高特征信息的利用率，本模块使用上采样技术将每层特征统一到相同尺寸后完成聚合操作，这样获得的特征图相比于其他普通特征图具有更加丰富的语义信息，这也是本发明之所以具有较高准确率的重要原因之一；

本模块具有较少的参数存储量，计算量小，对图片有无导丝的分类速度极快，在保证全自动输出高质量造影图片的同时，也可以很好地兼顾系统实时性，这也是本发明的突出优势所在；经过本模块后，被判定为有导丝的患者造影图片便被自动清除，不再参与系统的学习与检测过程，剩余的高质量造影图片则可以顺利的进入接下来的信息融合及存储模块；

进一步的，所述信息融合及存储模块用于：

①获取所述病变信息处理模块输出的每位患者的病变信息以及所述数据清洗模块输出的每位患者经过过滤后的两张关键帧造影图片；

作为一种举例说明，所述两张造影图片为未充盈帧造影图片和最充盈帧造影图片；

②每名患者保留一张造影图片；

将患者病变信息与关键帧提取模块输出的造影图片进行匹配，根据患者的病变种类信息舍弃该名患者的其中一张造影图片；舍弃准则为：若为钙化，则舍弃最充盈帧的造影图片；若为血栓及完全闭塞，则舍弃未充盈帧的造影图片；

③制作测试集；

随机选取一少部分患者，并将其病变信息可视化于对应的关键帧造影图片，方便为后续的系统检测结果作对比，并将此部分患者的关键帧造影图片和病变信息共同作为测试集进行存储；可视化后的关键帧造影图片如图3a、图3b、图3c所示；

④制作训练集；将未参与测试集的剩余患者的关键帧造影图片的ID信息同步到对应的病变信息中，完成患者病变信息与关键帧造影图片的匹配工作；将这部分患者的病变信息以及关键帧造影图片共同作为训练集进行存储；

⑤将所述训练集输入进所述卷积神经网络学习模块，将所述测试集输入进所述模型存储及筛选模块；

进一步的，所述卷积神经网络学习模块是本系统最核心的部分，通过所述卷积神经网络对输入数据的特征进行学习来获得泛化能力强、检测准确度高的模型；

作为一种举例说明，本发明首次将目前最为流行的pytorch深度学习框架应用于搭建所述卷积神经网络学习模块，并实现对患者病变的自动检测；针对病变以及造影图片的特点；

进一步的，所述卷积神经网络学习模块搭建结构包括：

①残差单元学习结构：为了提高卷积神经网络对病变特征的提取精度，通常的想法就是增加卷积神经网络的深度，但这样便不可避免的存在信息丢失及损耗的现象，伴随而来的还有梯度丢失以及梯度爆炸的难题，反而不能让卷积神经网络学到很多有用信息，从而降低卷积神经网络的学习效果；为了解决这个矛盾，本发明使用了一种残差单元学习结构，在所述卷积神经网络学习模块的卷积神经网络中添加直接连通的通道；

进一步的，如图4所示，所述残差单元学习结构包括：1*1第一卷积层、第一批处理层、第一非线性激活层、3*3卷积层、第二批处理层、第二非线性激活层、1*1第二卷积层、第三批处理层、1*1第三卷积层、第四批处理层以及第三非线性激活层；

通过堆叠这种残差单元学习结构可以在增加所述卷积神经网络深度的同时，不断补充原有输入信息，针对卷积神经网络上一个输出的残差进行学习，在加速网络训练速度，提高系统时效性的同时，本发明的检测准确率也会大幅度提高，从而改善基于卷积神经网络的心脏病变自动检测系统对病变的识别效果；

图中卷积层完成对造影图片的特征提取；非线性激活层加入非线性因素，增加模型的表达能力；批处理层对输入进行归一化，加速模型收敛速度；通过反复堆叠残差单元学习结构可以生成不同尺寸的特征图，这样可以增加对检测目标大小的适应性；

作为一种举例说明，本系统所要检测的钙化、完全闭塞与血栓这三种病变具有较大的尺寸差异，因此本发明使用的堆叠残差单元学习结构这种模型是具有实际意义的；

②特征交叉互补模块：不同层的所述残差单元学习结构输出的不同尺寸的特征是具有不同意义的，高层特征图具有较强的语义信息，低层特征图具有较高的分辨率；

为了加强各层特征融合，丰富每层特征图所包含的信息，实现特征共享，本发明独自设计并实现了特征交叉互补模块，如图5所示，相比于其他普通神经网络，本发明送入后续模块用于检测的每层特征均具有更加全面的信息，从而进一步提高了对各种病变判断的准确性；

作为一种举例说明，所述特征交叉互补模块包括：特征合并互补层，高斯非局部特征精炼层以及特征合并反变换层；

进一步的，当输入的各层特征图在特征合并互补层通过特征通道合并的方式进行特征融合后，为了加强每层特征图全局信息的相关性，提高全局信息的利用率，本发明通过高斯非局部特征精炼层，将局部信息进行拓展，利用周边信息辅助判断病变位置及类别，这样便使得每层特征的全局信息更具有流动性，且在一定程度上降低了各层信息之间的重复性；特征图经过高斯非局部特征精炼层后，经过特征合并反变换层将聚合的特征图映射到原始输入大小，这种方法实现容易，计算简单，输出的特征图看似与输入特征图相同，但所包含的特征信息却有大幅度提升，这在一定程度上突破了应用原生特征图进行检测的局限性，而这样的突破与本发明的系统设计息息相关。

③卷积神经网络学习模块结构搭建

在所述残差单元学习结构前顺序加入一层卷积层、一层批处理层、一层非线性激活层、一层池化层后，再将残差单元学习结构反复堆叠后与所述特征交叉互补模块相连，之后连接区域提取层、池化层、全连接层完成心脏冠状动脉病变检测系统中卷积神经网络学习模块的搭建，模块具体设计示意图如图6所示；

本模块中，造影图片在进入残差学习结构前，先进入一层卷积层、归一化层、非线性激活层以及池化层完成初步原生特征图的提取，后经过一系列堆叠的残差学习模块以及特征交叉互补模块后，将融合的特征输入进区域提取层，完成对每层特征图高质量前景区域的提取；所谓前景是指特征图中可能存在病变的区域，只有在提取到有效的学习区域后，才能输入到后续由池化层及全连接层构成的检测器中，完成最终对造影图片中钙化、完全闭塞及血栓病变的分类及定位工作。

进一步的，所述卷积神经网络学习模块训练学习流程：

a)设置模型基本参数，主要包括学习率、模型学习次数以及损失函数；

b)使用在coco公开数据集上的预训练模型初始化卷积神经网络模块的参数；

c)输入训练数据，使用随机梯度下降算法，以降低优化损失函数为目标，开始训练；

d)每学习一次完整的数据集，将所学模型输出到模型存储及筛选模块进行暂时保存；

e)若训练次数达到所设定的学习次数阈值，输出最后一个病变检测模型后，停止训练；

进一步的，所述模型存储及筛选模块用于完成对模型的筛选工作；

由于在所述卷积神经网络学习模块中每学习完一次完整数据集就会输出一个模型到本模块，为了筛选更加适合心脏冠状动脉钙化、完全闭塞及血栓三种病变检测的模型，在本模块使用测试集进行筛选；

为了对模型检测效果进行客观的评估，本发明制定了两个评估指标：精确率和召回率；将测试集输入进所有模型，利用非极大值抑制算法获得Top1检测框位置，剔除分数低的检测框，最终使用这两个指标对模型的病变检测框结果进行全方位评估；

作为一种举例说明，所述精确率是指所有检测框中正确框所占的比例，体现了模型检测的准确率；

作为一种举例说明，所述召回率是指所有标注框中被检测正确框所占的比例，体现了模型检测的全面性；

在测试完所有模型后，本模块还会自动对比每个模型的指标结果，只保留测试效果最好的模型，输入到后续的病变检测模块，其他模型便可以删除，完成模型的筛选工作，从而减少整个系统对存储空间的要求。同时，为了更加直观的反应模型的检测效果，本模块还将输出结果可视化，并与医生标注的病变可视化关键帧造影图片同时输出，进行对比，输出结果如图7a、图7b、图7c所示，目前最好的测试结果如表1所示：

	精确率	召回率
			完全闭塞	0.7728	0.784
钙化	0.7905	0.75
			血栓	0.7303	0.8025

表1本发明系统之测试结果图

进一步的，所述病变检测模块用于完成对待检测造影图片最终的病变定位及分类工作；本模块使用所述模型存储及筛选模块输出的最优模型，对造影图片进行测试，输出可视化结果与图7a、图7b、图7c相同；

值得注意的是，为了更好地方便医生及患者使用本系统，本发明的最终输出结果不仅仅只包括患者病变的位置及种类，还会包括本系统对该处存在该病变的判定概率，这样使用者便可以更加客观的借鉴系统结果，给患者一个更加准确的诊断意见。

有益效果：

1、本发明具有较高的检测准确率；冠状动脉病变检测是医疗诊治的辅助手段。本发明首次提出通过应用计算机视觉等方面的手段，设计并实现了一种基于卷积神经网络的心脏冠状动脉钙化、完全闭塞及血栓病变自动检测系统，完成对患者造影图片的全自动检测，并具有较高的检测结果，钙化、完全闭塞及血栓病变检测精确率分别为79.09％，77.28％，73.03％，超越了医生诊断的平均水平；

2、本发明具有较强的稳定性：用于诊断的造影图片会受到拍摄环境、设备状态等非人为因素的影响，使用人工诊断的方式便会不可避免的受到这些因素的干扰。本发明可以自动对输入的造影图片进行处理，去除不良因素的干扰。因此，本发明可以不受拍摄设备及拍摄环境影响，任何造影图片都可以进行正常检测；

3、本发明实现了检测全自动化：本发明首次使用深度学习的方法实现对冠状动脉病变的智能诊断，采用网络自主学习的方式，提高输入信息的利用率，在具有一定准确率的基础上，将最后的结果输出提供给医生，为其诊断提供一定的帮助，这样不仅可以大幅度的降低对专业诊断者数量的依赖，还可以减少在诊断以及手术过程中手工交互；与此同时，目前其他计算机辅助诊疗系统使用的都是手工制作的特征，这些特征一方面具有较强的主观因素，另一方面还不够全面，每种病变都具有不同的特征，单一的手工制作总不能做到面面俱到，并且会花费的大量的人力资源。而本发明使用卷积神经网络，自动学习并获取病变特征，在不断迭代的过程中，不断优化病变特征，这样可以使得病变检测不需要任何人工辅助，在很大程度上降低了对人工的依赖性，实现病变检测自动化；

4、本发明实现了实时性检测：很多其他使用深度网络的辅助诊断系统是通过检测每个像素完成分类任务的，这种方式虽然提高了检测的准确度，但计算量极大，检测一张造影图片也就需要更长的时间；而心脏冠状动脉病变检测对时效性要求极高，检测时间长也是目前辅助诊断系统的一大弊端，但本发明使用基于非像素检测的模型，可以做到实时检测，目前检测一张造影图片平均仅需4毫秒，这也是本发明又一突出优势；

5、本发明具有较强的针对性:本发明的检测目标是冠状动脉病变目前在医疗领域中最受关注的病变：钙化、血栓以及完全闭塞，对这种三种病变进行实时检测，将输出结果作为医生诊断的参考，这说明本发明是具有实际意义的；

6、本发明具有较高的应用价值：目前冠状动脉疾病诊断者中存在部分低资历医师，他们的诊断水平并没有达到很高水平，而且有些病变之间相似度极高，比如血栓和完全闭塞，没有丰富的临床经验极容易误诊，本发明可以给医生提供可视化检测结果及其对应可信度，这样便可以辅助低资历医生，使其快速具有较强的诊断能力，从而提高诊断效率。

附图说明

图1a为本发明基于卷积神经网络的心脏病变自动检测系统之关键帧提取模块提取的造影剂未充盈的造影图片

图1b为本发明基于卷积神经网络的心脏病变自动检测系统之关键帧提取模块提取的造影剂最充盈的造影图片

图2为本发明基于卷积神经网络的心脏病变自动检测系统之数据清洗模块示意图。

图3a为本发明基于卷积神经网络的心脏病变自动检测系统之可视化后的关键帧造影图片之钙化造影图片

图3b为本发明基于卷积神经网络的心脏病变自动检测系统之可视化后的关键帧造影图片之血栓造影图片

图3c为本发明基于卷积神经网络的心脏病变自动检测系统之可视化后的关键帧造影图片之完全闭塞造影图片

图4为本发明基于卷积神经网络的心脏病变自动检测系统之残差单元学习结构整体示意图

图5为本发明基于卷积神经网络的心脏病变自动检测系统之特征交叉互补模块整体示意图

图6为本发明基于卷积神经网络的心脏病变自动检测系统之卷积神经网络学习模块完整结构搭建结构示意图

图7a为本发明基于卷积神经网络的心脏病变自动检测系统之钙化病变测试结果图，其中：该图的左侧为医生标注图片，右侧为本系统测试结果图；

图7b为本发明基于卷积神经网络的心脏病变自动检测系统之血栓病变测试结果图，其中：该图的左侧为医生标注图片，右侧为本系统测试结果图；

图7c为本发明基于卷积神经网络的心脏病变自动检测系统之完全闭塞病变测试结果图，其中：左侧为医生标注图片，右侧为本系统测试结果图

图8为本发明基于卷积神经网络的心脏病变自动检测系统之整体结构示意图

具体实施方式

下面对本发明的技术方案进行具体阐述，需要指出的是，本发明的技术方案不限于实施例所述的实施方式，本领域的技术人员参考和借鉴本发明技术方案的内容，在本发明的基础上进行的改进和设计，应属于本发明的保护范围。

本发明是基于卷积神经网络而设计的心脏冠状动脉钙化、完全闭塞及血栓病变自动检测系统；系统可以根据输入的患者dicom视频来自动判断造影图片中是否有钙化、完全闭塞及血栓这三种病变的存在并完成对应的定位；为了提高本系统的检测准确率，建立完备的检测系统，本发明具体实施方式使用约3200张造影图片训练网络，并用800张造影图片完成对模型的测试，检验系统的检测效果，举例如下：

参照图1-图8所示，基于卷积神经网络的心脏病变自动检测系统，包括：数据库、病变信息处理模块、关键帧提取模块、数据清洗模块、信息融合及存储模块、卷积神经网络学习模块、模型存储及筛选模块以及病变检测模块；

进一步的，创建所述数据库：从服务器获取医院上传的心脏冠状动脉钙化、完全闭塞及血栓患者的造影dicom视频，并由专业医生进行手工标注，对每个患者分别使用专用的文本文档记录医生的标注信息，所述标注信息包括：患者的病变类型以及病变的位置信息；

作为一种举例说明，所述专业医生包括：心内科医生与心外科医生；

作为一种举例说明，所述病变类型包括：钙化、完全闭塞及血栓；

作为一种举例说明，所述病变位置信息以坐标的形式进行记录，为病变所在的左上及右下横纵坐标；

进一步的，所述所有患者的文本文档和dicom视频共同构成完整数据库；

进一步的，所述病变信息处理模块用于：

从所述数据库获取记录患者病变信息的文本文档；

针对每位患者，提取其所述文本文档中专业医生标注的所述标注信息；

完成对所有患者信息的统一管理，对所有患者的信息进行统一保存，使得患者病历号对应患者的病变信息；

将整理后的所有患者的所述病变信息输入到所述信息融合及存储模块；

进一步的，所述关键帧提取模块包括：

为了充分展现每种病变的特征，需要在每位患者的dicom视频中选取对病变特征展现最明显的一帧，即关键帧造影图片，因此关键帧提取模块具有重要的意义，所述关键帧提取模块工作标准流程为：

根据医生对每种病变的诊断经验，提出并制定了病变充分显现准则；钙化病变在造影未充盈前具有最好的显现效果，血栓及完全闭塞病变在造影剂充分充盈时具有最好的显现效果；

从所述数据库获取所有患者的dicom造影视频；

对dicom视频进行造影图片的提取；根据病变显现准则，对每位患者的dicom视频进行关键帧提取，每位患者主要提取造影剂最充盈以及未充盈两帧；

作为一种举例说明，本发明根据dicom视频中每帧的全局像素值大小来判断造影剂是否充盈，并在未充盈以及完全充盈时刻完成视频帧提取；这样的方法简单灵活，在具有高质量输出的同时也降低了数据处理的时间，在整体上提高了检测的实时性；提取后造影图片如图1a与图1b所示；

将所有患者的关键帧造影图片统一输入到所述数据清洗模块，完成对关键帧造影图片的过滤工作；

进一步的，良好的输入数据是系统正常工作的重要前提保证，考虑到病变数据集中会存在大量的低质量数据，特别是造影图片中可能会存在部分患者进行导丝导通治疗后的数据；这样的数据会破坏病变原有的特征，给网络学习造成巨大的挑战；因此，为了提高系统的检测性能，本发明首次使用卷积神经网络实现了一个数据清洗模块，如图2所示；

所述数据清洗模块的工作标准流程包括：

首先，使用输入的有、无导丝的关键帧造影图片，对有、无导丝这两类图片的特征进行提取与学习，以降低判断损失函数为目标，不断调整网络参数，使在所述数据清洗模块训练得到的有无导丝的分类模型最终输出的判断有、无导丝的结果更加准确，之后使用训练与测试效果均较好的网络模型便可实现对造影图片中有、无导丝的自动检测，再剔除数据集中被判断为有导丝的患者关键帧造影图片，便可以在不存在任何额外开销的情况下，实现数据清洗的功能，输出高质量检测造影图片；

作为一种举例说明，经数学建模实验验证，所述数据清洗模块在有、无导丝的判断上准确率可高达94.1％，召回率达到93.3％；

进一步的，所述数据清洗模块设置有语义融合处理层，也是本发明极具创新性的部分；本发明在所述语义融合处理层利用不同尺寸的池化层来获取不同大小的特征图，池化层尺寸不同便会在原有输入的特征图中采集不同的局部特征，这些局部特征彼此之间具有不同的语义信息；为了融合来自不同层特征图的语义信息，提高特征信息的利用率，本模块使用上采样技术将每层特征统一到相同尺寸后完成聚合操作，这样获得的特征图相比于其他普通特征图具有更加丰富的语义信息，这也是本发明之所以具有较高准确率的重要原因之一；

本模块具有较少的参数存储量，计算量小，对图片有无导丝的分类速度极快，在保证全自动输出高质量造影图片的同时，也可以很好地兼顾系统实时性，这也是本发明的突出优势所在；经过本模块后，被判定为有导丝的患者造影图片便被自动清除，不再参与系统的学习与检测过程，剩余的高质量造影图片则可以顺利的进入接下来的信息融合及存储模块；

进一步的，所述信息融合及存储模块用于：

①获取所述病变信息处理模块输出的每位患者的病变信息以及所述数据清洗模块输出的每位患者经过过滤后的两张关键帧造影图片；

作为一种举例说明，所述两张造影图片为未充盈帧造影图片和最充盈帧造影图片；

②每名患者保留一张造影图片；

将患者病变信息与关键帧提取模块输出的造影图片进行匹配，根据患者的病变种类信息舍弃该名患者的其中一张造影图片；舍弃准则为：若为钙化，则舍弃最充盈帧的造影图片；若为血栓及完全闭塞，则舍弃未充盈帧的造影图片；

③制作测试集；

随机选取一少部分患者，并将其病变信息可视化于对应的关键帧造影图片，方便为后续的系统检测结果作对比，并将此部分患者的关键帧造影图片和病变信息共同作为测试集进行存储；可视化后的关键帧造影图片如图3a、图3b、图3c所示；

其中，图3a的方框内标注出了serious-cal，即严重钙化区域；图3b的方框内标注出了thrombus，即血栓区域；图3c的方框内标注出了initial lesion-CTO,即起始端完全闭塞区域；

④制作训练集；将未参与测试集的剩余患者的关键帧造影图片的ID信息同步到对应的病变信息中，完成患者病变信息与关键帧造影图片的匹配工作；将这部分患者的病变信息以及关键帧造影图片共同作为训练集进行存储；

⑤将所述训练集输入进所述卷积神经网络学习模块，将所述测试集输入进所述模型存储及筛选模块；

进一步的，所述卷积神经网络学习模块是本系统最核心的部分，通过所述卷积神经网络对输入数据的特征进行学习来获得泛化能力强、检测准确度高的模型；

作为一种举例说明，本发明首次将目前最为流行的pytorch深度学习框架应用于搭建所述卷积神经网络学习模块，并实现对患者病变的自动检测；针对病变以及造影图片的特点；

进一步的，所述卷积神经网络学习模块搭建结构包括：

①残差单元学习结构：为了提高卷积神经网络对病变特征的提取精度，通常的想法就是增加卷积神经网络的深度，但这样便不可避免的存在信息丢失及损耗的现象，伴随而来的还有梯度丢失以及梯度爆炸的难题，反而不能让卷积神经网络学到很多有用信息，从而降低卷积神经网络的学习效果；为了解决这个矛盾，本发明使用了一种残差单元学习结构，在所述卷积神经网络学习模块的卷积神经网络中添加直接连通的通道；

进一步的，如图4所示，所述残差单元学习结构包括：1*1第一卷积层、第一批处理层、第一非线性激活层、3*3卷积层、第二批处理层、第二非线性激活层、1*1第二卷积层、第三批处理层、1*1第三卷积层、第四批处理层以及第三非线性激活层；

通过堆叠这种残差单元学习结构可以在增加所述卷积神经网络深度的同时，不断补充原有输入信息，针对卷积神经网络上一个输出的残差进行学习，在加速网络训练速度，提高系统时效性的同时，本发明的检测准确率也会大幅度提高，从而改善基于卷积神经网络的心脏病变自动检测系统对病变的识别效果；

图中卷积层完成对造影图片的特征提取；非线性激活层加入非线性因素，增加模型的表达能力；批处理层对输入进行归一化，加速模型收敛速度；通过反复堆叠残差单元学习结构可以生成不同尺寸的特征图，这样可以增加对检测目标大小的适应性；

作为一种举例说明，本系统所要检测的钙化、完全闭塞与血栓这三种病变具有较大的尺寸差异，因此本发明使用的堆叠残差单元学习结构这种模型是具有实际意义的；

②特征交叉互补模块：不同层的所述残差单元学习结构输出的不同尺寸的特征是具有不同意义的，高层特征图具有较强的语义信息，低层特征图具有较高的分辨率；

为了加强各层特征融合，丰富每层特征图所包含的信息，实现特征共享，本发明独自设计并实现了特征交叉互补模块，如图5所示，相比于其他普通神经网络，本发明送入后续模块用于检测的每层特征均具有更加全面的信息，从而进一步提高了对各种病变判断的准确性；

作为一种举例说明，所述特征交叉互补模块包括：特征合并互补层，高斯非局部特征精炼层以及特征合并反变换层；

进一步的，当输入的各层特征图在特征合并互补层通过特征通道合并的方式进行特征融合后，为了加强每层特征图全局信息的相关性，提高全局信息的利用率，本发明通过高斯非局部特征精炼层，将局部信息进行拓展，利用周边信息辅助判断病变位置及类别，这样便使得每层特征的全局信息更具有流动性，且在一定程度上降低了各层信息之间的重复性；特征图经过高斯非局部特征精炼层后，经过特征合并反变换层将聚合的特征图映射到原始输入大小，这种方法实现容易，计算简单，输出的特征图看似与输入特征图相同，但所包含的特征信息却有大幅度提升，这在一定程度上突破了应用原生特征图进行检测的局限性，而这样的突破与本发明的系统设计息息相关。

③卷积神经网络学习模块结构搭建

在所述残差单元学习结构前顺序加入一层卷积层、一层批处理层、一层非线性激活层、一层池化层后，再将残差单元学习结构反复堆叠后与所述特征交叉互补模块相连，之后连接区域提取层、池化层、全连接层完成心脏冠状动脉病变检测系统中卷积神经网络学习模块的搭建，模块具体设计示意图如图6所示；

本模块中，造影图片在进入残差学习结构前，先进入一层卷积层、归一化层、非线性激活层以及池化层完成初步原生特征图的提取，后经过一系列堆叠的残差学习模块以及特征交叉互补模块后，将融合的特征输入进区域提取层，完成对每层特征图高质量前景区域的提取；所谓前景是指特征图中可能存在病变的区域，只有在提取到有效的学习区域后，才能输入到后续由池化层及全连接层构成的检测器中，完成最终对造影图片中钙化、完全闭塞及血栓病变的分类及定位工作。

进一步的，所述卷积神经网络学习模块训练学习流程：

设置模型基本参数，主要包括学习率、模型学习次数以及损失函数；

使用在coco公开数据集上的预训练模型初始化卷积神经网络模块的参数；

输入训练数据，使用随机梯度下降算法，以降低优化损失函数为目标，开始训练；

每学习一次完整的数据集，将所学模型输出到模型存储及筛选模块进行暂时保存；

若训练次数达到所设定的学习次数阈值，输出最后一个病变检测模型后，停止训练；

进一步的，所述模型存储及筛选模块用于完成对模型的筛选工作；

由于在所述卷积神经网络学习模块中每学习完一次完整数据集就会输出一个模型到本模块，为了筛选更加适合心脏冠状动脉钙化、完全闭塞及血栓三种病变检测的模型，在本模块使用测试集进行筛选；

为了对模型检测效果进行客观的评估，本发明制定了两个评估指标：精确率和召回率；将测试集输入进所有模型，利用非极大值抑制算法获得Top1检测框位置，剔除分数低的检测框，最终使用这两个指标对模型的病变检测框结果进行全方位评估；

作为一种举例说明，所述精确率是指所有检测框中正确框所占的比例，体现了模型检测的准确率；

作为一种举例说明，所述召回率是指所有标注框中被检测正确框所占的比例，体现了模型检测的全面性；

在测试完所有模型后，本模块还会自动对比每个模型的指标结果，只保留测试效果最好的模型，输入到后续的病变检测模块，其他模型便可以删除，完成模型的筛选工作，从而减少整个系统对存储空间的要求。同时，为了更加直观的反应模型的检测效果，本模块还将输出结果可视化，并与医生标注的病变可视化关键帧造影图片同时输出，进行对比，输出结果如图7a、图7b、图7c所示，其中，图7a左图对方框内的标识为医生标注时使用的钙化病变的标记，右图对方框内的标识为本发明输出检测框的钙化病变表达；图7b左图对方框内的标识为医生标注时使用的血栓病变标记，右图对方框内的标识为本发明输出检测框的血栓病变的表达形式；图7c左图对方框内的标识为医生标注时使用的完全闭塞病变的标记形式，右图对方框内的标识为本发明输出检测框的起始端完全闭塞病变的表达形式；

目前最好的测试结果如表1所示：

	精确率	召回率
			完全闭塞	0.7728	0.784
钙化	0.7905	0.75
			血栓	0.7303	0.8025

表1本发明系统之测试结果图

进一步的，所述病变检测模块用于完成对待检测造影图片最终的病变定位及分类工作；本模块使用所述模型存储及筛选模块输出的最优模型，对造影图片进行测试，输出可视化结果与图7a、图7b、图7c相同；

值得注意的是，为了更好地方便医生及患者使用本系统，本发明的最终输出结果不仅仅只包括患者病变的位置及种类，还会包括本系统对该处存在该病变的判定概率，这样使用者便可以更加客观的借鉴系统结果，给患者一个更加准确的诊断意见；

本发明具有较高的检测准确率；冠状动脉病变检测是医疗诊治的辅助手段。本发明首次提出通过应用计算机视觉等方面的手段，设计并实现了一种基于卷积神经网络的心脏冠状动脉钙化、完全闭塞及血栓病变自动检测系统，完成对患者造影图片的全自动检测，并具有较高的检测结果，钙化、完全闭塞及血栓病变检测精确率分别为79.09％，77.28％，73.03％，超越了医生诊断的平均水平；本发明具有较强的稳定性：用于诊断的造影图片会受到拍摄环境、设备状态等非人为因素的影响，使用人工诊断的方式便会不可避免的受到这些因素的干扰。本发明可以自动对输入的造影图片进行处理，去除不良因素的干扰。因此，本发明可以不受拍摄设备及拍摄环境影响，任何造影图片都可以进行正常检测；本发明实现了检测全自动化：本发明首次使用深度学习的方法实现对冠状动脉病变的智能诊断，采用网络自主学习的方式，提高输入信息的利用率，在具有一定准确率的基础上，将最后的结果输出提供给医生，为其诊断提供一定的帮助，这样不仅可以大幅度的降低对专业诊断者数量的依赖，还可以减少在诊断以及手术过程中手工交互；与此同时，目前其他计算机辅助诊疗系统使用的都是手工制作的特征，这些特征一方面具有较强的主观因素，另一方面还不够全面，每种病变都具有不同的特征，单一的手工制作总不能做到面面俱到，并且会花费的大量的人力资源。而本发明使用卷积神经网络，自动学习并获取病变特征，在不断迭代的过程中，不断优化病变特征，这样可以使得病变检测不需要任何人工辅助，在很大程度上降低了对人工的依赖性，实现病变检测自动化；本发明实现了实时性检测：很多其他使用深度网络的辅助诊断系统是通过检测每个像素完成分类任务的，这种方式虽然提高了检测的准确度，但计算量极大，检测一张造影图片也就需要更长的时间；而心脏冠状动脉病变检测对时效性要求极高，检测时间长也是目前辅助诊断系统的一大弊端，但本发明使用基于非像素检测的模型，可以做到实时检测，目前检测一张造影图片平均仅需4毫秒，这也是本发明又一突出优势；本发明具有较强的针对性:本发明的检测目标是冠状动脉病变目前在医疗领域中最受关注的病变：钙化、血栓以及完全闭塞，对这种三种病变进行实时检测，将输出结果作为医生诊断的参考，这说明本发明是具有实际意义的。本发明具有较高的应用价值：目前冠状动脉疾病诊断者中存在部分低资历医师，他们的诊断水平并没有达到很高水平，而且有些病变之间相似度极高，比如血栓和完全闭塞，没有丰富的临床经验极容易误诊，本发明可以给医生提供可视化检测结果及其对应可信度，这样便可以辅助低资历医生，使其快速具有较强的诊断能力，从而提高诊断效率。

以上所述的仅为本发明的优选实施例，所应理解的是，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，并不用于限定本发明的保护范围，凡在本发明的思想和原则之内所做的任何修改、等同替换等等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于卷积神经网络的心脏病变自动检测系统，其特征在于，包括：数据库、病变信息处理模块、关键帧提取模块、数据清洗模块、信息融合及存储模块、卷积神经网络学习模块、模型存储及筛选模块以及病变检测模块；

创建所述数据库：从服务器获取医院上传的心脏冠状动脉钙化、完全闭塞及血栓患者的dicom视频，并由专业医生进行手工标注，对每个患者分别使用专用的文本文档记录医生的标注信息，所述标注信息包括：患者的病变类型以及病变的位置信息；

所述病变信息处理模块用于：

从所述数据库获取记录患者病变信息的文本文档；

针对每位患者，提取其所述文本文档中专业医生标注的所述标注信息；

完成对所有患者信息的统一管理，对所有患者的信息进行统一保存，使得患者病历号对应患者的病变信息；

将整理后的所有患者的所述病变信息输入到所述信息融合及存储模块；

所述关键帧提取模块工作标准流程为：

制定病变充分显现准则为：钙化病变在造影剂未充盈前具有最好的显现效果，血栓及完全闭塞病变在造影剂充分充盈时具有最好的显现效果；

从所述数据库获取所有患者的dicom视频；

对dicom视频进行造影图片的提取；根据病变充分显现准则，对每位患者的dicom视频进行关键帧提取，每位患者提取造影剂最充盈以及未充盈两帧；

将所有患者的关键帧造影图片统一输入到所述数据清洗模块，完成对关键帧造影图片的过滤工作；

所述数据清洗模块的工作标准流程包括：

使用输入的有、无导丝的关键帧造影图片，对有、无导丝这两类图片的特征进行提取与学习，以降低判断损失函数为目标，不断调整网络参数，使在所述数据清洗模块训练得到的有、无导丝的分类模型最终输出的判断有、无导丝的结果更加准确，之后使用训练与测试效果均较好的分类模型便可实现对造影图片中有、无导丝的自动检测，再剔除数据集中被判断为有导丝的患者关键帧造影图片，输出无导丝检测造影图片；

所述数据清洗模块设置有语义融合处理层，所述语义融合处理层利用不同尺寸的池化层来获取不同大小的特征图，使用上采样技术将每层特征统一到相同尺寸后完成聚合操作；

所述信息融合及存储模块用于：

获取所述病变信息处理模块输出的每位患者的病变信息以及所述数据清洗模块输出的每位患者经过过滤后的两张关键帧造影图片；

将患者病变信息与关键帧提取模块输出的造影图片进行匹配，根据患者的病变种类信息舍弃该患者的其中一张造影图片；舍弃准则为：若为钙化，则舍弃最充盈帧的造影图片；若为血栓及完全闭塞，则舍弃未充盈帧的造影图片；

制作测试集：随机选取一少部分患者，将其病变信息可视化于对应的关键帧造影图片，并将此部分患者的关键帧造影图片和病变信息共同作为测试集进行存储；

制作训练集：将未参与测试集的剩余患者的关键帧造影图片的ID信息同步到对应的病变信息中，完成患者病变信息与关键帧造影图片的匹配工作；将这部分患者的病变信息以及关键帧造影图片共同作为训练集进行存储；

将所述训练集输入进所述卷积神经网络学习模块，将所述测试集输入进所述模型存储及筛选模块；

所述卷积神经网络学习模块包括：残差单元学习结构和特征交叉互补模块；所述残差单元学习结构用于：在所述卷积神经网络学习模块的卷积神经网络中添加直接连通的通道；

所述残差单元学习结构包括：1*1第一卷积层、第一批处理层、第一非线性激活层、3*3卷积层、第二批处理层、第二非线性激活层、1*1第二卷积层、第三批处理层、1*1第三卷积层、第四批处理层以及第三非线性激活层；

所述特征交叉互补模块用于：当输入的各层特征图在特征合并互补层通过特征通道合并的方式进行特征融合后，通过高斯非局部特征精炼层，将局部信息进行拓展，利用周边信息辅助判断病变位置及类别；

在所述残差单元学习结构前顺序加入一层卷积层、一层批处理层、一层非线性激活层、一层池化层后，再将残差单元学习结构反复堆叠后与所述特征交叉互补模块相连，之后连接区域提取层、池化层、全连接层完成心脏冠状动脉病变检测系统中卷积神经网络学习模块的搭建；所述卷积神经网络学习模块训练学习流程包括：

设置模型基本参数，包括学习率、模型学习次数以及损失函数；

使用在coco公开数据集上的预训练模型初始化卷积神经网络模块的参数；

输入训练数据，使用随机梯度下降算法，以降低优化损失函数为目标，开始训练；

每学习一次完整的数据集，将所学模型输出到模型存储及筛选模块进行暂时保存；

若训练次数达到所设定的学习次数阈值，输出最后一个模型后，停止训练；

所述模型存储及筛选模块用于完成对模型的筛选工作；

将测试集输入进所有模型，利用非极大值抑制算法获得Top1检测框位置，剔除分数低的检测框，最终使用精确率和召回率这两个指标对模型的检测框结果进行全方位评估；

在测试完所有模型后，自动对比每个模型的指标结果，只保留测试效果最好的模型，输入到后续的病变检测模块，删除其他模型，完成模型的筛选工作，将模型的检测结果可视化输出，并与医生标注的病变可视化关键帧造影图片同时输出，进行对比；

所述病变检测模块用于使用所述模型存储及筛选模块输出的最优模型，对造影图片进行测试，完成对待检测造影图片最终的病变定位及分类工作。

2.根据权利要求1所述的基于卷积神经网络的心脏病变自动检测系统，其特征在于，所述病变类型包括：钙化、完全闭塞及血栓。

3.根据权利要求2所述的基于卷积神经网络的心脏病变自动检测系统，其特征在于，所述病变位置信息以坐标的形式进行记录，为病变所在的左上及右下横纵坐标。

4.根据权利要求3所述的基于卷积神经网络的心脏病变自动检测系统，其特征在于，所述所有患者的文本文档和dicom视频共同构成完整数据库。

5.根据权利要求1所述的基于卷积神经网络的心脏病变自动检测系统，其特征在于，根据dicom视频中每帧的全局像素值大小来判断造影剂是否充盈，并在未充盈以及完全充盈时刻完成视频帧提取。

6.根据权利要求1所述的基于卷积神经网络的心脏病变自动检测系统，其特征在于，将pytorch深度学习框架应用于搭建所述卷积神经网络学习模块，并实现对患者病变的自动检测。

7.根据权利要求1所述的基于卷积神经网络的心脏病变自动检测系统，其特征在于，所述特征交叉互补模块包括：特征合并互补层，高斯非局部特征精炼层以及特征合并反变换层。

8.根据权利要求1所述的基于卷积神经网络的心脏病变自动检测系统，其特征在于，所述精确率是指所有检测框中正确框所占的比例。

9.根据权利要求1所述的基于卷积神经网络的心脏病变自动检测系统，其特征在于，所述召回率是指所有标注框中被检测正确框所占的比例。

Images