CN109377470A - 一种心脏病风险预测系统 - Google Patents

Abstract

本发明公开了一种心脏病风险预测系统，包括处理心脏超声的计算机视觉流水线，所述处理心脏超声的计算机视觉流水线包括视图标识分类、用于心腔结构识别的U‑Net卷积神经网络、心肌形状追踪、心肌形状特征向量提取、心电图特征数据的提取、临床特征数据提取、深度学习网络架构和数据采集和训练得出预测的概率；通过人工智能协助自动超声图像识辨和诊断、计算多维心肌斑点跟踪和缺血心衰预测、病史，临床数据，生物标记综合高量数据在机器学习平台上实现对疾病的预测，建立了首个人工智能协助的准确，敏感，高效率，自动化可规模化的心血管病筛选实现了低成本，高准确度的心脏病预测和早期诊断系统。

Description

一种心脏病风险预测系统

技术领域

本发明涉及一种心脏病风险预测系统，具体涉及过人工智能的方法从超声图像，心电图等无创检查数据中自动分析心脏病的可能性，从而实现是无创，低成本，高精确率的心脏病风险预测。

背景技术

血管病是中国所有疾病中的第一杀手。随着经济发展和人民生活水平提高，心血管病的发病率也俱增，是全民健康的第一大威胁。心血管病的致命率虽高，但可预防性和可治愈性也很高，其中关键是早期心脏病诊断，筛查和预测。准确的诊断，筛查和预测能够让及时预防成为可能，是全民健康的决定性策略。

目前国内和国际上对心血管病的预测和早期诊断局限于有限已知病史的风险积分。比如美国心脏病学会(ACC)和美国心脏协会(AHA)的冠心病算法 (ACC/AHA CAD riskscore or Framingham risk score).这些风险积分根据有限病史，比如年龄，有无高血压，有无糖尿病等，利用多项回归multivariate regression的简单统计学算法来估计疾病风险。这些技术没有整合更为重要的心脏影像，生物标记及以其他重要临床信息，所以准确性低，敏感性不佳，无法达到疾病预测和早期诊断的目的。目前心脏病的常规筛选技术也局限于心电图和超声人力为主的小规模，高成本，低效率的方法，缺乏自动化，和恒定性。而且现有的心脏超声等技术并无对相关心脏衰竭，心脏缺血的预测功能。

发明内容

本发明要解决的技术问题是克服现有技术中对心血管病的预测和早期诊断局限于有限已知病史的风险积分没有整合更为重要的心脏影像，生物标记及以其他重要临床信息，所以准确性低，敏感性不佳，无法达到疾病预测和早期诊断的目的缺陷，提供一种心脏病风险预测系统。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明的心脏病风险预测系统，包括处理心脏超声的计算机视觉流水线，所述处理心脏超声的计算机视觉流水线包括视图标识分类、用于心腔结构识别的U-Net卷积神经网络、心肌形状追踪、心肌形状特征向量提取、心电图特征数据的提取、临床特征数据提取、深度学习网络架构和数据采集和训练得出预测的概率。

由于心脏超声的快速和廉价，一次超声检查会产生几十个不同视角的视频和静态图像；其次，训练人工智能系统需要成千上万的案例；最后，让超声技术员提取特征是不可行的，因为数据的大量和缺乏有经验的技术员。而且人工智能算法可能需要与传统方法截然不同的特征提取。

所述视图标识分类用于把超声视频根据视角分类，并从每个视频中随机提取10至20帧图像；

所述心肌形状追踪为通过在左心室心壁进一步分区，每个区对应一支分动脉和/或者心肌边界内找到斑点来监测左心室心肌或心壁的运动。

进一步的，所述的视图标识分类采用卷积神经网络构架。

进一步的，所述用于心腔结构识别的U-Net卷积神经网络包括一个扩大路径，扩大路径中每一步包括上取样去恢复数据大小，且上取样生成的数据会与下取样生成的数据汇合。

进一步的，所述的心肌形状特征向量提取的方法为从心脏超声的切面视频中提取K个等间距斑点或心壁分区随时间变化的数据 [x1(t),x2(t), … xK(t)]，将一个心脏周期内的所有数据按等时机间距采样N个点，每个心脏超声切面视频转化成一个(N,K) 的矩阵，病人有V个切面，全部超声数据就是V个(N,K)的矩阵，即超声特征数据(FU)。

进一步的，所述的心电图特征数据的提取的方法为采取J个导联的心电图，每个导联心电图按一个心脏周期等距采样M个点，J个导联的心电图数据就转化为一个(M,J)的心电图特征数据(EU)。

进一步的，临床特征数据提取为提取年龄，性别，全部胆固醇，高密度脂蛋白胆固醇(HDL)，是否吸烟，是否有高血压病并在治疗中，是否吸烟，HDL和是否有高血压病但未治疗和是否糖尿病，然后把是与否的数据转化为1和0，其他数据线性缩放到(0,1)的区间，即得临床特征数据(FC)。

进一步的，临床特征数据提取还包括提取是否有房颤、种族、是否有慢性肾病、是否有慢性阻塞性肺疾病和严重精神病、是否服用皮质类固醇和/或甘油三酯水平。

进一步的，所述深度学习网络架构为超声特征数据(FU)通过深度残差网络DRNU生成一个长度为NU的向量；所述深度残差网络DRNU有R个残差模块，每个残差模块有两个卷积层(CONV)，卷积层的滤波器大小是(16xV)，每一层有64A个滤波器，第一层的A值是1，然后每4个残差模块A值翻一倍；每隔一个残差模块，输入下采样一倍，在每个卷机层(CONV)前安排批标准化和线性整流激活函数，或采用前激活方法来实现残差模块或激活函数后应用丢弃，最终产生的长度为NU的向量；

心电图特征数据(FE)通过深度残差网络DRNE生成一个长度为NE的心电潜在特征向量，合并超声潜在特征向量，心电潜在特征向量以及临床特征数据，从而形成一个长度为NF=NU+NE+FC的特征向量；

再通过一个全连接层和sigmoid激活层来生成各个诊断和预测结果。

进一步的，数据采集和训练的方法为：

采集每个病人的V个超声切面视频，然后通过自动斑点识别算法计算超声特征矩阵；同时采集J个导联的心电图数据计算心电图特征矩阵，对于每个病人我们同时采集临床数据输入向量，病人是否有冠心病诊断(PCHD)、心脏衰竭诊断(PCHF)、心率失常诊断(PARR)、或主动脉病诊断(PAD)均作为输出数据记录下来；对于目前没有心脏病的病人，经过一定时期后，再对其进行诊断，看其是否有得冠心病、心脏衰竭、心率失常、主动脉病；讲得到的数据将通过时间进行加权：PCHD= 0.5 PCHD(1) + 0.25 PCHD(2) ；其中(1)和(2)代表检测时间点；

临床应用时提取每个病人的超声特征数据和临床特征数据，通过训练后的神经网络得出预测的输出值。

现有的对心脏病的检查方法大致可以分为有创和无创两类。有创技术比如心脏血管照影将造影剂通过心导管快速注入心腔或血管，使心脏和血管腔在X线照射下显影。这项技术准确度高但是需要手术，病人也可能对造影剂有过敏，出血，中风和心梗的风险。无创技术比如心脏血管CT，心脏超声，和心电图。无创技术可以应用在很多种心脏病的诊断中，但对心衰，冠心病等重要心脏疾病的准确诊断取决于医生的临床经验，主观性强而且没有和预测功能。相比之下，我们的方法通过人工智能的方法和创新超声技术，能够有效并准确的诊断和预测心衰和冠心病等心脏疾病。

本发明采取人工智能的算法基于创新心脏超声技术以及病人的临床数据来进行预测，通过人工智能协助自动超声图像识辨和诊断；通过人工智能计算多维心肌斑点跟踪和缺血心衰预测；和基于病史，临床数据，生物标记综合高量数据在机器学习平台上实现对疾病的预测。建立了首个人工智能协助的准确，敏感，高效率，自动化可规模化的心血管病筛选，预测和早期诊断系统。

本发明的利用人工智能和创新性技术来无创预测疾病，低成本，高准确度，为大范围心脏病普查奠定技术基础。应用本发明在心脏病高危人群中进行普查。可以有效预防心脏病的发生，提高人民生活水平，减少医疗费用。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的处理心脏超声的计算机视觉流水线；

图2是用于视图标识分类的卷积神经网络；

图3是用于心腔结构识别的U-Net卷积神经网络；

图4是超声特征数据的提取；

图5是心电图特征数据的提取；

图6是特征向量F的生成；

图7是深度残差网络；

图8是心脏病诊断和预测神经网络结构。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例

本发明提出一个全自动的处理心脏超声的计算机视觉流水线（见图1），这个流水线的输入是一个患者的心脏超声视频系列（来自于与医院或第三方影像中心共享的医疗数据库。由于这些超声视频一般没有视角标注，我们首先需要把它们分类到不同的类别，比如根尖四室（A4C：apical 4-chamber）切面图， 根尖三室（A3C）切面图，胸骨旁长轴 (PLAX:parasternal long axis) 切面图，胸骨旁短轴 (PSAX: parasternal short axis) 切面图，等等。这个视图标识分类系统可基于目前对图像处理最有效的卷积神经网络 (CNN:convolutional neural network)。

一旦一个切面图被确定视角，下一步是在视频的每帧图像中识别心腔结构。比如，根尖四室（A4C）切面图需要被分区成：左心房血池，左心室血池，左心室肌肉，右心房血池，右心室血池。这是一个经典的图像分割（image segmentation) 问题。目前最有效的解决方案还是基于神经网络。

在心腔结构确定以后，我们需要提取与诊断最有关联的特征：心肌形状的动态变化。首先要在每帧图像找出细化特征。这里有两种做法：1）直接在心腔结构识别出的心肌边界内进一步分区(zones)；2）在心肌边界内找到斑点（speckle）。下一步就是追踪细化特征在多帧中的变化，生成时序数据，作为人工智能系统的输入。

视图标识分类

把超声视频根据视角分类是一个监督式学习的任务。训练数据集来自已标识好的几百个超声视频，再从每个视频随机提取10至20帧图像。由于这个任务难度不是很高，卷积神经网络构架（如图2）相对简单，只需要十几个卷积层（conv）（跟联线性整流激活层(ReLU)）和几个最大池化层（max pooling）。输出是各种类别的概率 （对应最大概率的类别就是结果）。

心腔结构识别

心腔结构识别是一个图像分割问题。我们这里把它映射一个图像识别的任务（监督式学习）。它比上一个任务难度更大的地方是局部化（localization）：图像中每个像素都需要自己的标签（也称为语义分割（semantic segmentation）)。换句话说，这个神经网络的输出是一个与原始数据一样大小（空间上稠密）的标签图。

近几年，卷积神经网络已经被成功地应用于语义分割。这里我们采用卷积神经网络的一个变种：U-Net。为了使输出与原始数据一样大小，U-Net在收缩路径（图3左半边）的基础上加入一个扩大路径（图3右半边）。扩大路径中每一步包括上取样（up-sampling）去恢复数据大小。另外一个特点是上取样生成的数据会与下取样生成的数据汇合来提高准确度。由于这些特点，U-Net只需要100左右人工分割的图像作为训练数据集，就能达到很高的准确度，因而大大减少人工成本。

心肌形状追踪

对冠心病诊断和预测最有效的途径是监测左心室心肌（或心壁）的运动。上一步可在每帧图像找到左心室心肌边界。类似于科学计算，为提高精度，我们需要在心肌边界内提出细化特征。

这里有两种做法。第一种是，直接在左心室心壁进一步分区(zones)。这样做的好处是，每个区对应一支分动脉，更容易解释人工智能系统的诊断结果；坏处是，这对心肌边界的精度的要求很高。

第二种是，在心肌边界内找到斑点（speckle）。斑点是超声波随机散射的结果，但在帧与帧之间有很好的连贯性，可作为有效追踪特征。而且，粒子物理学中很成熟的算法可用来做斑点识别和追踪。这样做的好处是，对心肌边界的精度的要求不用太高；坏处是，斑点比较随机，对人工智能系统的诊断结果解释力差一些。

这两种方法各有利弊，都需要放在系统里互相补充。需要提的是，以下的人工智能算法，为描述方便，是基于心肌斑点。这套系统也可以心壁分区作为特征数据。

心脏病自动诊断和预测的人工智能算法

本发明的目标是自动诊断和预测心血管疾病和心脏衰竭的可能性。我们采取人工智能的算法基于心脏超声，心电图以及病人的临床数据来进行预测。

特征向量提取

首先我们通过前面提到的方法从心脏超声的切面视频中提取K个等间距斑点（speckle）的随时间变化的数据 [x1(t),x2(t), … xK(t)]。 我们将一个心脏周期内的所有数据按等时机间距采样N个点，比方说N=256。这样我们每个心脏超声切面视频就转化成一个(N,K) 的矩阵。一般我们每个病人都有几个个切面：左室长轴切面，左室短轴切面等等。每个截面我们都按等间距采样K个斑点。如果我们一共有V个切面，那么我们的全部超声数据就是V个(N,K)的矩阵。也可以理解为输入矩阵(N,K)的每个元素有V个通道(Channel)。这里定义为超声特征数据(FU)。超声特征数据的提取如图4所示。

和超声特征数据的提取类似，我们也需要提取心电图的特征数据。我们可以采取J个导联的心电图。每个导联心电图可以按一个心脏周期等距采样M个点，比方说M=256.这样我们的J个导联的心电图数据就转化为一个(M,J)的心电图特征数据(EU)，通道数为1。心电图特征数据的提取如图5所示。

我们可以根据美国心脏病学会(ACC)和美国心脏协会(AHA)的心血管疾病算法选择以下临床数据：

年龄，性别，全部胆固醇，高密度脂蛋白胆固醇(HDL)，是否吸烟，年龄X全部胆固醇，是否有高血压病并在治疗中，年龄 X 是否吸烟，年龄 X HDL， 是否有高血压病但未治疗，糖尿病。

因为我们描述的通用学习方法，也可以选择其他的临床数据。比如说可以加入以下一些数据：是否有房颤、种族、是否有慢性肾病、是否有慢性阻塞性肺疾病和严重精神病等疾病，以及是否服用皮质类固醇，以及甘油三酯水平等。

这样临床数据是一个长度为M的向量。这里定义为临床特征数据(FC)。我们对于这些临床数据需要进行预处理。把是与否的数据转化为1和0，其他数据线性缩放到(0,1)的区间。

我们采用深度学习网络来对数据进行训练和预测。当然别的人工智能方法比如说：随机森林(random forest)、逻辑回归(logistic regression)、梯度提升(gradientboosting)，支持向量机(Support Vector Machine) 也可以采用。

深度学习网络架构

有了超声特征数据(FU)，心电图特征数据(EU)和临床特征数据(FC)，我们就可以如图6，7，8所示构建深度学习网络来诊断和预测心脏病。

首先，超声特征数据(FU)通过深度残差网络(Deep Residue Network) DRNU生成一个长度为NU的向量。DRNU的构造如图7所示。这是一个典型的深度残差网络。残差网络的快捷连接(shortcut connection)可以有效帮助深度网络的训练。这个网络可以有R个残差模块，每个残差模块有两个卷积层(CONV)。卷积层的滤波器大小是(16xV)。每一层有64A个滤波器。第一层的A值是1，然后每4个残差模块A值翻一倍。

每隔一个残差模块，输入下采样(sub-sampling)一倍。在每个卷机层(CONV)前我们可以安排批标准化(Batch Normalization)和线性整流(ReLu)激活函数。我们也可以采用前激活(pre-activation)方法来实现残差模块。我们同时也可以在激活函数后应用丢弃(dropout)。最终产生的长度为NU的向量可以理解为超声数据的潜在特征(latentfeature)。

同样，心电图特征数据(FE)通过深度残差网络(Deep Residue Network) DRNE生成一个长度为NE的心电潜在特征向量。合并超声潜在特征向量，心电潜在特征向量以及临床特征数据，我们就生成了一个长度为NF=NU+NE+FC的特征向量。

有了特征向量F，如图8所示，我们再通过一个全连接层和sigmoid激活层来生成各个诊断和预测结果。我们可以生成冠心病预测(PCHD)，心脏衰竭预测(PCHF)，心率失常预测(PARR)，颈动脉病预测(PCAD)， 主动脉病预测(PAD), 冠心病诊断(DCHD)，心脏衰竭诊断(DCHF)，心率失常诊断(DARR)，颈动脉病诊断(DCAD)， 主动脉病诊断(DAD)等输出。输出网络的损失函数(loss function)是均方误差(mean-square error, MSE)。

数据采集和训练

在采集训练数据时，我们采集每个病人的V个超声切面视频。然后通过自动斑点识别算法计算超声特征矩阵。同时我们也采集J个导联的心电图数据计算心电图特征矩阵。 对于每个病人我们同时采集临床数据输入向量。病人是否有冠心病诊断(PCHD)，心脏衰竭诊断(PCHF)，心率失常诊断(PARR)，主动脉病诊断(PAD)也作为输出数据记录下来。它们的数值是0或者1，表示是否有此疾病。对于目前没有心脏病的病人，经过一定时期后，比如说每隔半年，我们再对其进行诊断，看其是否有得冠心病，心脏衰竭，心率失常， 主动脉病；得到的数据将通过时间进行加权：PCHD= 0.5 PCHD(1) + 0.25 PCHD(2) ；其中(1)和(2)代表检测时间点 。

网络训练完毕后，在临床应用此神经网络时，我们提取每个病人的超声特征数据和临床特征数据，通过训练后的神经网络得出冠心病预测(PCHD)，心脏衰竭预测(PCHF)，心率失常预测(PARR)，主动脉病预测(PAD) 等输出值。他们应该介于0和1之间，表示发生的概率。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种心脏病风险预测系统，其特征在于，包括处理心脏超声的计算机视觉流水线，所述处理心脏超声的计算机视觉流水线包括视图标识分类、用于心腔结构识别的U-Net卷积神经网络、心肌形状追踪、心肌形状特征向量提取、心电图特征数据的提取、临床特征数据提取、深度学习网络架构和数据采集和训练得出预测的概率；

所述视图标识分类用于把超声视频根据视角分类，并从每个视频中随机提取10至20帧图像；

所述心肌形状追踪为通过在左心室心壁进一步分区，每个区对应一支分动脉和/或者心肌边界内找到斑点来监测左心室心肌或心壁的运动。

2.如权利要求1所述的心脏病风险预测系统，其特征在于所述的心腔结构识别采用U-Net卷积神经网络。

3.如权利要求1所述的心脏病风险预测系统，其特征在于，包括以下步骤：

所述用于心腔结构识别的U-Net卷积神经网络包括一个扩大路径，扩大路径中每一步包括上取样去恢复数据大小，且上取样生成的数据会与下取样生成的数据汇合。

4.如权利要求1所述的心脏病风险预测系统，其特征在于，所述的心肌形状特征向量提取的方法为从心脏超声的切面视频中提取K个等间距斑点或心壁分区随时间变化的数据[x1(t),x2(t), … xK(t)]，将一个心脏周期内的所有数据按等时机间距采样N个点，每个心脏超声切面视频转化成一个(N,K) 的矩阵，病人有V个切面，全部超声数据就是V个(N,K)的矩阵，即超声特征数据(FU)。

5.如权利要求1所述的心脏病风险预测系统，其特征在于，所述的心电图特征数据的提取的方法为采取J个导联的心电图，每个导联心电图按一个心脏周期等距采样M个点，J个导联的心电图数据就转化为一个(M,J)的心电图特征数据(EU)。

6.如权利要求1所述的心脏病风险预测系统，其特征在于，临床特征数据提取为提取年龄，性别，全部胆固醇，高密度脂蛋白胆固醇(HDL)，是否吸烟，是否有高血压病并在治疗中，是否吸烟，HDL和是否有高血压病但未治疗和是否糖尿病，然后把是与否的数据转化为1和0，其他数据线性缩放到(0,1)的区间，即得临床特征数据(FC)。

7.如权利要求6所述的心脏病风险预测系统，其特征在于，临床特征数据提取还包括提取是否有房颤、种族、是否有慢性肾病、是否有慢性阻塞性肺疾病和严重精神病、是否服用皮质类固醇和/或甘油三酯水平。

8.如权利要求1所述的心脏病风险预测系统，其特征在于，所述深度学习网络架构为超声特征数据(FU)通过深度残差网络DRNU生成一个长度为NU的向量；所述深度残差网络DRNU有R个残差模块，每个残差模块有两个卷积层(CONV)，卷积层的滤波器大小是(16xV)，每一层有64A个滤波器，第一层的A值是1，然后每4个残差模块A值翻一倍；每隔一个残差模块，输入下采样一倍，在每个卷机层(CONV)前安排批标准化和线性整流激活函数，或采用前激活方法来实现残差模块或激活函数后应用丢弃，最终产生的长度为NU的向量；

心电图特征数据(FE)通过深度残差网络DRNE生成一个长度为NE的心电潜在特征向量，合并超声潜在特征向量，心电潜在特征向量以及临床特征数据，从而形成一个长度为NF=NU+NE+FC的特征向量；

再通过一个全连接层和sigmoid激活层来生成各个诊断和预测结果。

9.如权利要求1所述的心脏病风险预测系统，其特征在于，数据采集和训练的方法为：

采集每个病人的V个超声切面视频，然后通过自动斑点识别算法计算超声特征矩阵；同时采集J个导联的心电图数据计算心电图特征矩阵，对于每个病人我们同时采集临床数据输入向量，病人是否有冠心病诊断(PCHD)、心脏衰竭诊断(PCHF)、心率失常诊断(PARR)、或主动脉病诊断(PAD)均作为输出数据记录下来；对于目前没有心脏病的病人，经过一定时期后，再对其进行诊断，看其是否有得冠心病、心脏衰竭、心率失常、主动脉病；讲得到的数据将通过时间进行加权：PCHD= 0.5 PCHD(1) + 0.25 PCHD(2) ；其中(1)和(2)代表检测时间点；

临床应用时提取每个病人的超声特征数据和临床特征数据，通过训练后的神经网络得出预测的输出值。