CN117197594B - 一种基于深度神经网络的心脏分流分类系统 - Google Patents
一种基于深度神经网络的心脏分流分类系统 Download PDFInfo
- Publication number
- CN117197594B CN117197594B CN202311472735.XA CN202311472735A CN117197594B CN 117197594 B CN117197594 B CN 117197594B CN 202311472735 A CN202311472735 A CN 202311472735A CN 117197594 B CN117197594 B CN 117197594B
- Authority
- CN
- China
- Prior art keywords
- module
- heart
- microbubble
- ultrasonic
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 238000002592 echocardiography Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 201000010099 disease Diseases 0.000 claims abstract description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 7
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 210000005246 left atrium Anatomy 0.000 claims description 20
- 210000005240 left ventricle Anatomy 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 17
- 210000005242 cardiac chamber Anatomy 0.000 claims description 16
- 230000000747 cardiac effect Effects 0.000 claims description 16
- 238000002604 ultrasonography Methods 0.000 claims description 10
- 238000002601 radiography Methods 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 4
- 230000036962 time dependent Effects 0.000 claims description 4
- 241000512668 Eunectes Species 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000002107 myocardial effect Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 10
- 230000004807 localization Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002169 extracardiac Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000010967 transthoracic echocardiography Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013175 transesophageal echocardiography Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013155 cardiography Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001839 systemic circulation Effects 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能领域，尤其涉及一种基于深度神经网络的心脏分流分类系统，包括：超声心动图预处理模块，对原始超声心动图预处理；杂波滤除模块，去除超声图像噪声；超声微泡定位模块，在超声图像中定位微泡；分割训练模块，利用U‑Net网络来训练心脏左心腔分割模型；心脏左心腔分割模块，利用训练好的U‑Net分割模型对预处理后的超声心动图分割心腔；微泡数量多元时间序列数据生成模块，结合超声微泡定位模块和心脏左心腔分割模块结果生成微泡数量多元时间序列数据；分类训练模块，利用LSTM‑FCN网络来训练分类模型；分类模块，利用已训练好的LSTM‑FCN分类模型对原始超声心动生成的微泡数量多元时间序列数据进行分类。本发明提高心脏分流疾病分类的准确性。
Description
技术领域
本发明属于人工智能领域，具体涉及一种基于深度神经网络的心脏分流分类系统。
背景技术
心脏分流是一种心脏异常情况，患者由于心腔存在异常通道，导致部分血液由右心流入左心，产生分流现象。这种分流现象根据病变的位置可以分为心内分流和心外分流。由于右心未氧合血液进入体循环，血液中血氧含量下降，不能满足全身需要，常常导致周围组织缺氧，从而影响脏器功能和脑组织的发育。心脏分流引起的疾病发病率逐年升高，原因复杂且造成的疾病负担沉重。
目前，通过常规经胸超声心动图（TTE）可以检测心脏右向左分流及其来源，但其检出率较低。经食管超声心动图（TEE）又具有半入侵性，患者的耐受性较差，常常出现无法有效配合检查的情况。因此，具有高灵敏度和无创特点的经胸右心声学造影（C-TTE），已成为诊断心脏右向左分流的首选方法。
对于心脏分流的经胸右心声学造影超声心动图检查，由于患者分流情况的多变性，极易出现误诊和漏诊的情况。此外，心脏相关疾病患者数量庞大，心脏超声检测的需求量也随之攀升，而心脏超声诊断的整个过程需要耗费长达30分钟的时间，此外还需要花费大量的时间进行阅片工作，因此整体工作量较大。另外，目前全国超声专业医生缺口达20万，医生资源匮乏。
通常超声图像存在大量噪声，且人体组织和伪影对微泡计数造成影响，因此直接对超声图像进行微泡计数较为困难。为了提高计数的准确性，可通过对超声图像序列进行杂波滤除，然后使用微泡定位算法对微泡质心进行定位，并在此基础上对处理后的超声图像进行微泡计数，从而得到更为准确的结果。
传统的心脏分流的分类是通过注射造影剂后观察在右心充满后左心出现微泡的心动周期间隔来判断的，即间隔的心动周期数在3-6内则被认为存在心内分流，间隔的心动周期数在3-6个心动周期后则被认为存在心外分流。这种基于单一特征的心脏分流分类方法（即3-6拍规则）存在一些明显的局限性，其中主要问题之一是其高度依赖于心动周期的精确测量。对心动周期测量的准确性要求非常高，因为任何测量误差都可能对最终的分类结果产生较大的影响。
深度神经网络对非线性关系建模的强大能力及其强大的学习泛化能力可以显著增强特征建模和分类。因此，本发明提出了一种基于深度神经网络的心脏分流分类系统，能够有效解决或者缓解上述问题。
发明内容
基于此，有必要针对上述问题，提供一种基于深度神经网络的心脏分流分类系统。第一方面，一种基于深度神经网络的心脏分流分类系统，所述系统包括：
超声心动图预处理模块，用于基于原始经胸右心声学造影超声心动图数据库实现超声心动图数据的预处理；
杂波滤除模块，用于将预处理后的超声心动图经过杂波滤除算法从多帧时空数据中滤除掉非微泡的杂波信号；
超声微泡定位模块，用于从滤波后的超声心动图中使用超声微泡定位算法定位出微泡的位置；
分割训练模块，用于基于已标注好的心脏左心腔超声心动图数据和U-Net深度神经网络来训练心脏左心腔分割模型；
心脏左心腔分割模块，利用已训练好的U-Net深度神经网络来实现对预处理后的超声心动图分割出左心腔；
微泡数量多元时间序列数据生成模块，用于将超声微泡定位模块的定位结果和心脏左心腔分割模块的心脏左心腔分割结果相结合，计算每帧图像中左心房和左心室的微泡数量，生成微泡数量多元时间序列数据；
分类训练模块，用于基于已标注好的微泡数量多元时间序列数据和LSTM-FCN深度神经网络来训练分类模型；
分类模块，利用已训练好的LSTM-FCN深度神经网络模型对原始超声心动图生成的微泡数量多元时间序列数据进行分类。
在一实施例中，所述超声心动图预处理模块具体用于对所述原始经胸右心声学造影超声心动图数据库中的静息和Valsalva两种状态下的超声心动图数据使用python和OpenCV逐帧提取为灰度图像，并对每帧图像去除敏感信息、裁剪感兴趣区域（ROI）并统一调整大小为512*512像素大小。
在一实施例中，所述杂波滤除模块是通过时空滤波算法实现从多帧时空数据中滤除掉非微泡的杂波信号的，具体为，首先对每个固定长度帧数的滑动窗口应用时空中值滤波，得到各个窗口的背景图像，然后将超声心动图图像帧与背景图像相减得到对应的前景帧，再用二维高斯核卷积对应的前景帧，最后得到杂波滤除后的超声图像序列。
在一实施例中，所述超声微泡定位模块使用超声微泡定位算法定位出微泡的位置，其中超声微泡定位算法为径向对称算法，具体为对一个微泡区域，先求区域图像中每个点的局部梯度，然后对于区域图像中的每个点，再构造一条过该点且方向与局部梯度平行的直线，到所有所述直线之间的距离最小的点即为微泡的质心。
在一实施例中，所述分割训练模块中标注好的心脏左心腔超声心动图数据是从原始经胸右心声学造影超声心动图数据库中，随机抽取的500帧由专业医生使用Anaconda 3的labelme标注工具标注左心房、左心室和心肌区域所形成的数据集，并将数据集使用Augmentor数据增强工具库扩充至2000帧作为最终训练数据；所述分割训练模块中U-Net深度神经网络是编码器-解码器结构，前半部分编码器用于从图像中进行特征提取，后半部分解码器用于上采样，模型训练时采用逐像素交叉熵损失和L2正则化项作为损失函数。
在一实施例中，所述微泡数量多元时间序列数据生成模块，是先将超声微泡定位模块中获取到的超声微泡定位结果作为待处理微泡定位结果图像，再将心脏左心腔分割模块获取到的心脏左心腔分割结果中的分割出的左心房和左心室区域分别映射到待处理微泡定位结果图像上，得出左心房和左心室两个区域的微泡定位结果图像，并根据此结果分别计算左心房和左心室的微泡数量，得出微泡数量多元时间序列数据。
在一实施例中，所述分类训练模块中已标注好的微泡数量多元时间序列数据是根据原始经胸右心声学造影超声心动图数据库中带有标签的超声心动图经过系统中的超声心动图预处理模块、杂波滤除模块、超声微泡定位模块、心脏左心腔分割模块、微泡数量多元时间序列数据生成模块后生成的微泡数量多元时间序列数据，其对应的标签即为心脏分流疾病的类别；所述分类训练模块中LSTM-FCN深度神经网络是由全卷积块(FCN)和长短期记忆循环神经网络块(LSTM)组成的深度神经网络模型框架，全卷积块作为特征提取器，长短期记忆循环神经网络块用于获取时间序列前后文信息，模型训练时采用交叉熵损失作为损失函数。
与现有技术相比，所描述的系统首先将原始的胸部右心声学造影超声心动图通过杂波滤除和超声微泡定位进行处理。这一过程消除了超声心动图数据中的非微泡噪声，实现了微泡的准确定位。接下来，通过心脏左心腔的分割，系统提取所需的左心房和左心室感兴趣区域（ROI）。微泡的定位结果与ROI区域的分割结果相结合，得到了左心室和左心房微泡数量的多元时间序列数据。最后，这些多元时间序列数据用于进行分类。这种方法将高维度的超声心动图数据转换为低维度的微泡数量多元时间序列数据，从而降低了分类复杂性。同时，针对微泡数量随时间变化的特征进行了有针对性的提取，并利用这些特征进行分类，提高了分类准确性。
附图说明
图1为一实施例中基于深度神经网络的心脏分流分类系统的结构示意图；
图2为一实施例中杂波滤除和声微泡定位结果图；
图3为一实施例中心脏左心腔分割流程图；
图4为一实施例中分割所用的U-Net网络模型的结构示意图；
图5为一实施例中分类所用的LSTM-FCN网络模型的结构示意图。
具体实施方式
为了更清楚地说明本发明的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本发明应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般来说，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
应当理解的是，当单元或模块被描述为“连接”、“耦接”其它单元、模块或块时，其可以指直接连接或耦接,或者与其它单元、模块或块通信，或者可以存在中间的单元、模块或块，除非上下文明确指明其它方式。本文所使用的术语“和/或”可包括一个或多个相关列出项目的任意与所有组合。
如图1所示，本发明实施例提供了一种基于深度神经网络的心脏分流分类系统，所述系统包括：超声心动图预处理模块101，用于基于原始经胸右心声学造影超声心动图数据库实现超声心动图数据的预处理；杂波滤除模块102，用于将预处理后的超声心动图经过杂波滤除算法从多帧时空数据中滤除掉非微泡的杂波信号；超声微泡定位模块103，用于从滤波后的超声心动图中使用超声微泡定位算法定位出微泡的位置；分割训练模块104，用于基于已标注好的心脏左心腔超声心动图数据和U-Net深度神经网络来训练心脏左心腔分割模型；心脏左心腔分割模块105，利用已训练好的U-Net深度神经网络来实现对预处理后的超声心动图分割出左心腔；微泡数量多元时间序列数据生成模块106，用于将超声微泡定位模块的定位结果和心脏左心腔分割模块的心脏左心腔分割结果相结合，计算每帧图像中左心房和左心室的微泡数量，生成微泡数量多元时间序列数据；分类训练模块107，用于基于已标注好的微泡数量多元时间序列数据和LSTM-FCN深度神经网络来训练分类模型；分类模块108，利用已训练好的LSTM-FCN深度神经网络模型对原始超声心动图生成的微泡数量多元时间序列数据进行分类。
本实施例中，首先将原始的经胸右心声学造影超声心动图通过杂波滤除和超声微泡定位进行处理。这一过程消除了超声心动图数据中的非微泡噪声，实现了微泡的准确定位。接下来，通过心脏左心腔的分割，系统提取所需的左心房和左心室感兴趣区域（ROI）。微泡的定位结果与ROI区域的分割结果相结合，得到了左心室和左心房微泡数量的多元时间序列数据。最后，这些多元时间序列数据用于进行分类。这种方法将高维度的超声心动图数据转换为低维度的微泡数量多元时间序列数据，从而降低了分类复杂性。同时，针对微泡数量随时间变化的特征进行了有针对性的提取，并利用这些特征进行分类，提高了分类准确性。
具体的，原始经胸右心声学造影超声心动图数据库包括静息（Rest）和瓦氏（Valsalva）两种状态下的心脏心尖四腔（A4C）音频视频（AVI）或医学数字成像和通信标准（Dicom）格式数据。
在一实施例中，所述超声心动图预处理模块具体为：对原始经胸右心声学造影超声心动图数据库中的每个超声心动图使用python和OpenCV对音频视频（AVI）或医学数字成像和通信标准（Dicom）格式数据逐帧提取为灰度图像，并对每帧图像去除敏感信息、裁剪感兴趣区域（ROI）并将其统一调整大小为512*512像素大小。其中去除敏感信息是指将原始数据中的患者信息及其他涉敏信息抹去，裁剪感兴趣区域是指裁剪保留超声图像中的心脏心尖四腔区域。
如图2所示，图2是本发明实施例提供的杂波滤除和声微泡定位结果图，其中每个图像的右上角正方形区域是图像中间正方形区域放大后的图像，以便于查看效果，所述杂波滤除模块对预处理后的图像进行杂波滤除可以保证后续微泡定位结果的准确性，同时超声微泡定位模块可以为后续计算心腔微泡数量提供可靠的保障。
所述杂波滤除模块中滤波算法过程包括如下步骤：
a. 将一个超声图像序列按照时间维度方向取3~10帧长度作为滑动窗口的长度，此处长度的具体取值应该取足够小，使其能够有更好的过滤效果，但同时也应该足够大，使得计算出的背景不包含运动的物体；
b. 对滑动窗口内的三维图像矩阵（将多帧的二维图像按照时间维度拼接为三维，第三维度为时间维度）应用时空中值滤波（在时间维度的中值滤波），得到该滑动窗口的背景图像；
c. 将滑动窗口内超声图像的中间帧与其对应的背景图像相减得到滑动窗口的前景帧；
d. 通过拟合超声设备和传感器阵列生成的超声图像中的微泡大小，来获取二维高斯核函数的参数；
e. 用拟合生成的二维高斯核来对前景帧卷积，得到最终滤波后的图像；
f. 以一帧的步长移动滑动窗口，并在每个窗口内执行以上步骤b、步骤c、步骤e的操作，直至窗口遍历完整个序列，获取整个序列杂波滤除后的图像序列。
所述超声微泡定位模块中超声定位算法即径向对称算法流程包括如下步骤：
a. 对一张杂波滤除后的超声微泡图像，将其划分为5*5像素的小区域；
b. 对每个小区域图像中的每个点求局部梯度；
c. 对于小区域图像中的每个点，构造过该点并平行于梯度方向的直线；
d. 对于每个小区域，找到一个点使得这个点到所有构造的直线距离最短，这个点就是微泡的质心；
e. 对图像的所有小区域执行以上步骤b、步骤c、步骤d操作，再统计并依据像素值强度排序整个图像计算出微泡质心，保留强度阈值以上的微泡质心作为微泡定位结果。
在一实施例中，所述心脏左心腔分割模块，利用已训练好的U-Net深度神经网络来实现对预处理后的超声心动图分割出左心腔。如图3所示，图3是本发明实施例提供的心脏左心腔分割流程图。具体为将预处理后的超声心动图经过训练好的U-Net网络模型得出分割结果。其中U-Net网络模型结构如图4所示，网络接受512×512像素固定大小的图像作为输入，由收缩路径和拓展路径组成，共有19个卷积层。收缩路径由10个带有3×3滤波器的卷积层组成，后跟一个整流线性单元（ReLU）和4个最大池化层，每个使用一个2×2窗口和步长0进行下采样。拓展路径由8个带有3×3滤波器的卷积层和一个整流线性单元以及4个2×2上卷积层组成。拓展路径中的每个上卷积层都与来自收缩路径的具有相同维度的特征图连接。执行此操作是为了恢复由于对图像和特征局部性损失，从而实现像素级分类。最后一层使用1×1卷积将每个特征向量映射到输出类。
另外，所述分割训练模块的U-Net网络模型的训练数据是从原始经胸右心声学造影超声心动图数据库中，随机抽取的500帧由专业医生使用Anaconda 3的labelme标注工具标注左心房、左心室和心肌区域所形成的数据集，并将数据集使用Augmentor数据增强工具库通过随机旋转图像（-10°~10°）、图像镜像操作、图像放大缩小和涂黑图像的随机区域等方式扩充至2000帧作为最终训练数据，这样使得在有限的数量的训练数据设置下提高模型性能；U-Net网络模型训练时所采用的损失函数为交叉熵损失函数和L2正则化项，这有效的提高了模型的精确度，减少了图像中错误像素预测，损失函数数学公式为：
上述公式中为交叉熵损失函数用于衡量预测分布与实际分布之间的差异，其中，预测的分割结果为/>，实际分割结果为/>，/>表示每个像素的索引；上述公式中/>为L2正则化项，用于控制模型的复杂度，防止过拟合，/>为网络中的权重参数，/>为正则化系数；/>为U-Net网络的总损失函数。
在一实施例中，所述微泡数量多元时间序列数据生成模块，用于将超声微泡定位模块的定位结果和心脏左心腔分割模块的心脏左心腔分割结果相结合，计算每帧图像中左心房和左心室的微泡数量，生成微泡数量多元时间序列数据。具体实现方式为：先将超声微泡定位模块中获取到的超声微泡定位结果作为待处理微泡定位结果图像，再将心脏左心腔分割模块获取到的心脏左心腔分割结果中的分割出的左心房和左心室区域分别映射到待处理微泡定位结果图像上，得出左心房和左心室两个区域的微泡定位结果图像，并根据此结果分别计算左心房和左心室的微泡数量，得出微泡数量多元时间序列数据。
所述分类训练模块中LSTM-FCN网络的训练数据是将从原始经胸右心声学造影超声心动图数据库中带有标签的超声心动图经过所述系统的超声心动图预处理模块、杂波滤除模块、超声微泡定位模块、心脏左心腔分割模块、微泡数量多元时间序列数据生成模块处理后生成的微泡数量多元时间序列数据，其标签即为原始经胸右心声学造影超声心动图数据库记录的心脏分流疾病的类别。
另外所述所述分类训练模块中分类网络使用的是LSTM-FCN网络，其网络结构如图5所示，网络是由全卷积块(FCN)和长短期记忆循环神经网络块(LSTM)组成的深度神经网络模型框架，全卷积块作为空间特征提取器，长短期记忆循环神经网络块用于获取时间序列时间依赖特征，网络接受4条向量长度为200即4*200大小的多元时间序列数据作为输入，多元时间序列数据首先经过维度混洗将多元维度顺序打乱，然后送入长短期记忆递归神经网络块中，再将结果输入到Dropout块缓解过拟合，以获取多元时间序列数据的时间依赖特征；同样的，将输入的多元时间序列数据经过3个一维卷积层，再经过全局池化以获取多元时间序列数据空间特征；最终将时间依赖特征和空间特征进行连接，后接Softmax函数将原始输出归一化并转换为各个类别的概率。LSTM-FCN网络模型训练时所采用的损失函数为交叉熵损失函数，交叉熵损失函数衡量了模型的预测概率分布与真实标签之间的差异，其函数数学公式为：
其中，代表类别数，模型的输出是一个包含/>个类别分数的向量；/>是损失函数；/>是真实类别标签向量中的第/>个元素，如果样本属于第/>个类别，则为1，否则为0；/>是模型的输出向量中的第/>个元素，表示模型对第/>个类别的预测概率。
在一实施例中，对从原始经胸右心声学造影超声心动图数据库收集到的236例样本中，其中心内分流91例，心外分流81例，正常84例，经过系统的超声心动图预处理模块、杂波滤除模块、超声微泡定位模块、心脏左心腔分割模块、微泡数量多元时间序列数据生成模块处理后，将微泡数量多元时间序列数据随机选取70%的数据进行网络训练，30%的数据进行网络性能测试，经测试集试验表明本发明所提出的分类模块中的LSTM-FCN网络模型能够在较高准确率下进行心脏分流分类；从对30%测试集的数据进行测试的结果来看，分类模块中的LSTM-FCN网络模型对心内分流分类的准确率已经达到87%，心外分流分类的准确率已经达到90%。
通过计算深度神经网络分类模型常用的指标来对分类模块中LSTM-FCN网络模型进行评估，包括：准确性（Accuracy）、敏感性（Sensitivity）、特异性（Specificity）、F1评分（F1 Scorce）、Kappa值和受试者工作特征曲线下的面积（AUC），具体计算结果如下表1所示：
综上，本发明提出一种基于深度神经网络的心脏分流分类系统有较好的分类性能。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而，只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进,这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于深度神经网络的心脏分流分类系统，其特征在于，所述系统包括：
超声心动图预处理模块，用于基于原始经胸右心声学造影超声心动图数据库实现超声心动图数据的预处理；
杂波滤除模块，用于将预处理后的超声心动图经过杂波滤除算法从多帧时空数据中滤除掉非微泡的杂波信号；
超声微泡定位模块，用于从滤波后的超声心动图中使用超声微泡定位算法定位出微泡的位置；
分割训练模块，用于基于已标注好的心脏左心腔超声心动图数据和U-Net深度神经网络来训练心脏左心腔分割模型；
心脏左心腔分割模块，利用已训练好的U-Net深度神经网络来实现对预处理后的超声心动图分割出左心腔；
微泡数量多元时间序列数据生成模块，用于将超声微泡定位模块的定位结果和心脏左心腔分割模块的心脏左心腔分割结果相结合，计算每帧图像中左心房和左心室的微泡数量，生成微泡数量多元时间序列数据；
分类训练模块，用于基于已标注好的微泡数量多元时间序列数据和LSTM-FCN深度神经网络来训练分类模型；
分类模块，利用已训练好的LSTM-FCN深度神经网络模型对原始超声心动图生成的微泡数量多元时间序列数据进行分类。
2.根据权利要求1所述的系统，其特征在于，所述超声心动图预处理模块具体用于对所述原始经胸右心声学造影超声心动图数据库中的静息（Rest）和瓦氏（Valsalva）两种状态下的超声心动图数据使用python和OpenCV逐帧提取为灰度图像，并对每帧图像去除敏感信息、裁剪感兴趣区域（ROI）并统一调整大小为512*512像素大小。
3.根据权利要求1所述的系统，其特征在于，所述杂波滤除模块是通过杂波滤除算法实现从多帧时空数据中滤除掉非微泡的杂波信号的，具体为，首先对每个固定长度帧数的滑动窗口应用时空中值滤波，得到各个窗口的背景图像，然后将超声心动图图像帧与背景图像相减得到对应的前景帧，再用二维高斯核卷积对应的前景帧，最后得到杂波滤除后的超声图像序列。
4.根据权利要求1所述的系统，其特征在于，所述超声微泡定位模块使用超声微泡定位算法定位出微泡的位置，其中超声微泡定位算法为径向对称算法，具体为对一个微泡区域，先求区域图像中每个点的局部梯度，然后对于区域图像中的每个点，再构造一条过该点且方向与局部梯度平行的直线，到所有所述直线之间的距离最小的点即为微泡的质心。
5.根据权利要求1所述的系统，其特征在于，所述分割训练模块中标注好的心脏左心腔超声心动图数据是从原始经胸右心声学造影超声心动图数据库中，随机抽取的500帧由专业医生使用Anaconda 3的labelme标注工具标注左心房、左心室和心肌区域所形成的数据集，并将数据集使用Augmentor数据增强工具库扩充至2000帧作为最终训练数据；
所述分割训练模块中U-Net深度神经网络是编码器-解码器结构，前半部分编码器用于从图像中进行特征提取，后半部分解码器用于上采样，模型训练时采用逐像素交叉熵损失和L2正则化项作为损失函数。
6.根据权利要求1所述的系统，其特征在于，所述微泡数量多元时间序列数据生成模块，是先将超声微泡定位模块中获取到的超声微泡定位结果作为待处理微泡定位结果图像，再将心脏左心腔分割模块获取到的心脏左心腔分割结果中的分割出的左心房和左心室区域分别映射到待处理微泡定位结果图像上，得出左心房和左心室两个区域的微泡定位结果图像，并根据此结果分别计算左心房和左心室的微泡数量，得出微泡数量多元时间序列数据。
7.根据权利要求1所述的系统，其特征在于，所述分类训练模块中已标注好的微泡数量多元时间序列数据是根据原始经胸右心声学造影超声心动图数据库中带有标签的超声心动图经过系统中的超声心动图预处理模块、杂波滤除模块、超声微泡定位模块、心脏左心腔分割模块、微泡数量多元时间序列数据生成模块后生成的微泡数量多元时间序列数据，其对应的标签即为心脏分流疾病的类别；
所述分类训练模块中LSTM-FCN深度神经网络是由全卷积块(FCN)和长短期记忆循环神经网络块(LSTM)组成的深度神经网络模型框架，全卷积块作为空间特征提取器，长短期记忆循环神经网络块用于获取时间依赖特征，模型训练时采用交叉熵损失作为损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311472735.XA CN117197594B (zh) | 2023-11-07 | 2023-11-07 | 一种基于深度神经网络的心脏分流分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311472735.XA CN117197594B (zh) | 2023-11-07 | 2023-11-07 | 一种基于深度神经网络的心脏分流分类系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197594A CN117197594A (zh) | 2023-12-08 |
| CN117197594B true CN117197594B (zh) | 2024-01-02 |
Family
ID=88985449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311472735.XA Active CN117197594B (zh) | 2023-11-07 | 2023-11-07 | 一种基于深度神经网络的心脏分流分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197594B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117918889B (zh) * | 2024-03-20 | 2024-07-19 | 中国医学科学院北京协和医院 | 经食管超声心动图四腔心切面左室心输出量自动计算方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435247A (zh) * | 2020-11-30 | 2021-03-02 | 中国科学院深圳先进技术研究院 | 一种卵圆孔未闭检测方法、系统、终端以及存储介质 |
| CN113180737A (zh) * | 2021-05-06 | 2021-07-30 | 中国人民解放军总医院 | 基于人工智能的卵圆孔闭合检测方法、系统、设备及介质 |
| US11278261B1 (en) * | 2017-06-01 | 2022-03-22 | PFOmetrix, LLC | Apparatus, system and method for the detection and quantification of conductance of right-to-left cardiac shunts |
| CN114612421A (zh) * | 2022-03-07 | 2022-06-10 | 河南科技大学 | 一种基于深度学习的卵圆孔未闭微泡计数方法 |
| CN116167957A (zh) * | 2021-11-15 | 2023-05-26 | 四川大学华西医院 | cTTE图像处理方法、计算机设备、系统和存储介质 |
| CN116433649A (zh) * | 2023-05-05 | 2023-07-14 | 河南科技大学 | 一种卵圆孔未闭的微泡计数方法及智能诊断装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107773273B (zh) * | 2013-11-19 | 2023-12-01 | 港大科桥有限公司 | 超声流体向量成像装置及其方法 |
-
2023
- 2023-11-07 CN CN202311472735.XA patent/CN117197594B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11278261B1 (en) * | 2017-06-01 | 2022-03-22 | PFOmetrix, LLC | Apparatus, system and method for the detection and quantification of conductance of right-to-left cardiac shunts |
| CN112435247A (zh) * | 2020-11-30 | 2021-03-02 | 中国科学院深圳先进技术研究院 | 一种卵圆孔未闭检测方法、系统、终端以及存储介质 |
| CN113180737A (zh) * | 2021-05-06 | 2021-07-30 | 中国人民解放军总医院 | 基于人工智能的卵圆孔闭合检测方法、系统、设备及介质 |
| CN116167957A (zh) * | 2021-11-15 | 2023-05-26 | 四川大学华西医院 | cTTE图像处理方法、计算机设备、系统和存储介质 |
| CN114612421A (zh) * | 2022-03-07 | 2022-06-10 | 河南科技大学 | 一种基于深度学习的卵圆孔未闭微泡计数方法 |
| CN116433649A (zh) * | 2023-05-05 | 2023-07-14 | 河南科技大学 | 一种卵圆孔未闭的微泡计数方法及智能诊断装置 |
Non-Patent Citations (5)
| Title |
|---|
| 3种不同手振声学造影剂在右心声学造影中应用的对比研究;冯坤;唐炯;范新荣;何川;黄深;龙小滨;范忠才;;《临床心血管病杂志》;第33卷(第12期);1175-1179 * |
| Contrast-enhanced transthoracic echocardiography applied in evaluation of pulmonary right-to-left shunt:A preliminary study;Cheng Feng 等;《Computerized Medical Imaging and Graphics》;55-60 * |
| cTTE与TEE诊断成人单纯PFO的对比分析;杨燕;梁春香;孙梦语;孙玉坤;;《中国超声医学杂志》;第36卷(第09期);814-817 * |
| Dual Generative Adversarial Network For Ultrasound Localization Microscopy;Yachuan Zhao 等;《2022 IEEE International Conference on Systems，Man，and Cybernetics》;3125-3130 * |
| The efficiency of a Machine learning approach based on Spatial-Temporal information in the detection of patent foramen ovale from contrast transthoracic echocardiography Images:A primary study;Jing Yang 等;《Biomedical Signal Processing and Control》;1-7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197594A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Saikumar et al. | A novel implementation heart diagnosis system based on random forest machine learning technique. | |
| US20230104045A1 (en) | System and method for ultrasound analysis | |
| CN111539930B (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
| CN110288597B (zh) | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 | |
| CN112529894B (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
| CN107993221B (zh) | 心血管光学相干断层oct图像易损斑块自动识别方法 | |
| Hernandez et al. | Deep learning in spatiotemporal cardiac imaging: A review of methodologies and clinical usability | |
| WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN117197594B (zh) | 一种基于深度神经网络的心脏分流分类系统 | |
| CN113012173A (zh) | 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置 | |
| US11769594B2 (en) | Deep learning model learning device and method for cancer region | |
| de Siqueira et al. | Artificial intelligence applied to support medical decisions for the automatic analysis of echocardiogram images: A systematic review | |
| Irum et al. | Morphological techniques for medical images: A review | |
| CN109003280B (zh) | 一种双通道血管内超声影像的血管中内膜分割方法 | |
| CN111178369A (zh) | 一种医学影像的识别方法及系统、电子设备、存储介质 | |
| CN114492519B (zh) | 一种基于超声回波射频信号的肺超声特殊征象b线识别分类方法 | |
| Wang et al. | Deep learning based fetal middle cerebral artery segmentation in large-scale ultrasound images | |
| Sapitri et al. | Segmentation atrioventricular septal defect by using convolutional neural networks based on U-NET architecture | |
| Huang et al. | POST-IVUS: A perceptual organisation-aware selective transformer framework for intravascular ultrasound segmentation | |
| Sengan et al. | Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning | |
| Kulkarni et al. | Fully automatic segmentation of LV from echocardiography images and calculation of ejection fraction using deep learning | |
| Shaaf et al. | A Convolutional Neural Network Model to Segment Myocardial Infarction from MRI Images. | |
| Muthiah et al. | Fusion of MRI and PET images using deep learning neural networks | |
| Niu et al. | Improving automated tissue characterization in optical coherence tomography by melding attenuation compensation with deep learning | |
| Zhang et al. | Improving the quality of fetal heart ultrasound imaging with multihead enhanced self-attention and contrastive learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |