CN114010227B - 一种右心室特征信息识别方法及装置 - Google Patents

Abstract

本发明公开了一种右心室特征信息识别方法及装置，通过获取待识别的目标超声心动图影像；基于目标识别模型对所述目标超声心动图影像进行识别，获得关键帧的概率曲线和解剖学结构点热力图；分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得关键帧位置信息和解剖学结构点坐标。在本发明中利用了预先训练得到的目标识别模型以及后处理对关键帧和解剖学结构点坐标进行识别，无需医生人工识别，提升了识别的效率和精度，进而提升了右心室功能参数确定的效率和准确性。

Description

一种右心室特征信息识别方法及装置

技术领域

本发明涉及医学影像处理技术领域，特别是涉及一种右心室特征信息识别方法及装置。

背景技术

射血分数是指每搏输出量占心室舒张末期容积的百分比，其是评估心脏功能的重要指标之一。超声心动图是心脏临床检查中最常用的成像手段之一，右心室因其解剖学结构复杂，在超声心动图上很难被测定。通用做法是医生首先找到超声序列上右心室舒张末期(End-diastolic，ED)和收缩末期(end-systolic，ES)的帧，然后在这两帧上标记好相关的解剖学结构点，最后根据这些结构点，利用基于知识库的方法重建出右心室三维模型，从而得到右心室舒张末期和收缩末期容积以及右心室射血分数。

然而医生手动查找ED和ES帧以及标记结构点的过程繁琐且耗时，并且不同医生的经验不同会使得查找到ED和ES帧以及标记结构点的信息不同，使得上述信息会产生一定的偏差，从而得到右心室舒张末期和收缩末期容积以及右心室射血分数的值并不准确，生成的右心室三维模型也不准确，无法满足实际的临床需求。

发明内容

针对于上述问题，本发明提供一种右心室特征信息识别方法及装置，实现了提升右心室功能参数确定的效率和准确性。

为了实现上述目的，本发明提供了如下技术方案：

一种右心室特征信息识别方法，包括：

获取待识别的目标超声心动图影像；

基于目标识别模型对所述目标超声心动图影像进行识别，获得关键帧的概率曲线和解剖学结构点热力图，其中，所述目标识别模型为基于超声心动图影像数据训练得到的神经网络模型，且具有将预测得到的关键帧的概率曲线和解剖学结构点概率热力图趋于所述超声心动影像数据对应的实际的关键帧的概率曲线和解剖学结构点概率热力图的能力；所述关键帧包括表征右心室舒张末期的第一图像帧和表征右心室收缩末期的第二图像帧；

分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得右心室目标特征信息，所述右心室目标特征信息包括关键帧位置信息和解剖学结构点坐标。

可选地，所述方法还包括：

获取目标训练样本集，所述目标训练样本集包括超声心动图影像数据以及标注信息，所述标注信息包括关键帧位置和解剖学结构点坐标；

基于所述标注信息，生成超声心动图序列的关键帧概率曲线以及解剖学结构点概率热力图，并将所述关键帧概率曲线和所述解剖学结构点概率热力图确定为训练目标；

确定神经网络模型的目标结构，所述目标结构包括编码器、结构点定位分支以及关键帧检测分支；

基于所述训练目标和所述目标结构进行模型训练，得到目标识别模型。

可选地，所述基于所述标注信息，生成超声心动图序列的关键帧概率曲线以及解剖学结构点概率热力图，包括：

基于标注的第一图像帧的位置信息和第二图像帧的位置信息，分别生成右心室舒张末期的概率曲线和收缩末期的概率曲线，所述右心室舒张末期的概率曲线是从舒张末期位置向两边衰减的曲线，所述收缩末期的概率曲线是从收缩末期向两边衰减的曲线；

基于标注的解剖学结构点坐标信息，生成多张概率热力图，所述概率热力图的数量为解剖学结构点的种类数量与背景热力图的数量之和，所述概率热力图中的像素值与该像素是否为解剖学结构点相关。

可选地，所述基于所述训练目标和所述目标结构进行模型训练，得到目标识别模型，包括：

将所述超声心动图影像数据进行预处理，得到超声心动图序列；

将所述超声心动图序列输入至所述目标结构的编码器中，获得特征图；

对所述特征图进行池化处理，得到特征向量，并将所述特征向量输入到关键帧检测分支，预测获得关键帧概率曲线；

将所述特征图输入到结构点定位分支中，预测获得解剖学结构点概率热力图；

基于预测获得关键帧概率曲线和解剖学结构点概率热力图，以及实际生成的关键帧概率曲线和解剖学结构点概率热力图，对所述目标结构的结构参数进行调整，获得目标识别模型。

可选地，所述分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得右心室目标特征信息包括：

对所述解剖学结构点概率热力图进行二值化处理，得到连通域；

对所述连通域进行过滤，得到目标连通域；

在所述目标连通域中取像素值最大的像素点坐标确定为解剖学结构点坐标；

获取所述关键帧概率曲线中的最大值对应位置信息，将所述位置信息确定为关键帧位置信息。

一种右心室特征信息识别装置，包括：

获取单元，用于获取待识别的目标超声心动图影像；

识别单元，用于基于目标识别模型对所述目标超声心动图影像进行识别，获得关键帧的概率曲线和解剖学结构点热力图，其中，所述目标识别模型为基于超声心动图影像数据训练得到的神经网络模型，且具有将预测得到的关键帧的概率曲线和解剖学结构点概率热力图趋于所述超声心动影像数据对应的实际的关键帧的概率曲线和解剖学结构点概率热力图的能力；所述关键帧包括表征右心室舒张末期的第一图像帧和表征右心室收缩末期的第二图像帧；

处理单元，用于分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得右心室目标特征信息，所述右心室目标特征信息包括关键帧位置信息和解剖学结构点坐标。

可选地，所述装置还包括：

样本获取单元，用于获取目标训练样本集，所述目标训练样本集包括超声心动图影像数据以及标注信息，所述标注信息包括关键帧位置和解剖学结构点坐标；

生成单元，用于基于所述标注信息，生成超声心动图序列的关键帧概率曲线以及关键帧上的解剖学结构点概率热力图，并将所述关键帧概率曲线和所述解剖学结构点概率热力图确定为训练目标；

确定单元，用于确定神经网络模型的目标结构，所述目标结构包括编码器、结构点定位分支以及关键帧检测分支；

训练单元，用于基于所述训练目标和所述目标结构进行模型训练，得到目标识别模型。

可选地，所述生成单元包括：

第一生成子单元，用于基于标注的第一图像帧的位置信息和第二图像帧的位置信息，分别生成右心室舒张末期的概率曲线和收缩末期的概率曲线，所述右心室舒张末期的概率曲线是从舒张末期位置向两边衰减的曲线，所述收缩末期的概率曲线是从收缩末期向两边衰减的曲线；

第二生成子单元，用于基于标注的解剖学结构点坐标信息，生成多张概率热力图，所述概率热力图的数量为解剖学结构点的种类数量与背景热力图的数量之和，所述概率热力图中的像素值与该像素是否为解剖学结构点相关。

可选地，所述训练单元包括：

预处理子单元，用于将所述超声心动图影像数据进行预处理，得到超声心动图序列；

第一输入子单元，用于将所述超声心动图序列输入至所述目标结构的编码器中，获得特征图；

第二输入子单元，用于对所述特征图进行池化处理，得到特征向量，并将所述特征向量输入到关键帧检测分支，预测获得关键帧概率曲线；

第三输入子单元，用于将所述特征图输入到结构点定位分支中，预测获得解剖学结构点概率热力图；

调整子单元，用于基于预测获得关键帧概率曲线和解剖学结构点概率热力图，以及实际生成的关键帧概率曲线和解剖学结构点概率热力图，对所述目标结构的结构参数进行调整，获得目标识别模型。

可选地，所述处理单元具体用于：

对所述解剖学结构点概率热力图进行二值化处理，得到连通域；

对所述连通域进行过滤，得到目标连通域；

在所述目标连通域中取像素值最大的像素点坐标确定为解剖学结构点坐标；

获取所述关键帧概率曲线中的最大值对应位置信息，将所述位置信息确定为关键帧位置信息。

相较于现有技术，本发明提供了一种右心室特征信息识别方法及装置，通过获取待识别的目标超声心动图影像；基于目标识别模型对所述目标超声心动图影像进行识别，获得关键帧的概率曲线和解剖学结构点热力图；分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得关键帧位置信息和解剖学结构点坐标。在本发明中利用了预先训练得到的目标识别模型以及后处理对关键帧和解剖学结构点坐标进行识别，无需医生人工识别，提升了识别的效率和精度，进而提升了右心室功能参数确定的效率和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种右心室特征信息识别方法的流程示意图；

图2为本发明实施例提供的一种ED、ES帧概率曲线示意图；

图3为本发明实施例提供的一种结构点定位效果示意图；

图4为本发明实施例提供的一种网络整体结构的示意图；

图5为本发明实施例提供的一种右心室特征信息识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本发明实施例中提供了一种右心室图像特征信息识别方法，参见图1，该方法可以包括以下步骤：

S101、获取待识别的目标超声心动图影像。

其中，目标超声心动图影像是通过超声设备采集的目标对象的超声心动影像，超声设备在采集时对应的采集范围至少要包含心室的一个完整心动周期，包括舒张期和收缩期。采集的视图有：心尖四腔、胸骨旁长轴左室流出道、胸骨旁长轴右室流入道、右室流入道短轴、近乳头肌水平短轴、胸骨旁心尖短轴、胸骨旁长轴右室流出道、右室倾斜心尖、右室流入流出道等。

S102、基于目标识别模型对所述目标超声心动图影像进行识别，获得关键帧的概率曲线和解剖学结构点热力图。

S103、分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得右心室目标特征信息。

其中，所述目标识别模型为基于超声心动图影像数据训练得到的神经网络模型，且具有将预测得到的关键帧的概率曲线和解剖学结构点概率热力图趋于所述超声心动影像数据对应的实际的关键帧的概率曲线和解剖学结构点概率热力图的能力；所述关键帧包括表征右心室舒张末期(End-diastolic,ED)的第一图像帧和表征右心室收缩末期(End-systolic,ES)的第二图像帧。

在本发明实施例中，利用目标识别模型预测出超声序列的关键帧的概率曲线和关键帧对应的解剖学结构点热力图之后，通过对关键帧的概率曲线和概率热力图的后处理可以得到包括关键帧位置信息和解剖学结构点坐标的右心室目标特征信息。

在获得了ED、ES帧及解剖学结构点之后即可利用基于知识库的方法对右心室进行三维建模，最终得到射血分数等右心室功能量化参数。具体的，右心室功能化参数包括右心室舒张末期、收缩末期容积和右心室射血分数。

其中，解剖学结构点一般包括：三尖瓣环、右室室间隔、右室心内膜、基底部、心尖、肺动脉环、右室室间隔边缘、圆锥间隔。在本发明实施例中的右心室三维模型为基于知识库的方式建模得到的，然后可以利用右心室三维模型获得对应的右心室功能化参数，具体的右心室三维模型建模方式在本发明实施例并不进行限定。

在本发明实施例的一种实现方式中，还包括目标识别模型的创建过程，具体的包括：

获取目标训练样本集，所述目标训练样本集包括超声心动图影像数据以及标注信息，所述标注信息包括关键帧位置和解剖学结构点坐标；

基于所述标注信息，生成超声心动图序列的关键帧概率曲线以及解剖学结构点概率热力图，并将所述关键帧概率曲线和所述解剖学结构点概率热力图确定为训练目标；

确定神经网络模型的目标结构，所述目标结构包括编码器、结构点定位分支以及关键帧检测分支；

基于所述训练目标和所述目标结构进行模型训练，得到目标识别模型。

在该实施方式中，首先根据医生的标注的关键帧位置和解剖学结构点坐标信息，生成关键帧的概率曲线以及关键帧上的解剖学结构点概率热力图。然后，搭建联合训练模型，并利用该模型同时对帧检测与点定位两个任务进行训练。接着使用训练好的模型预测出结构点热力图和关键帧概率曲线；最后对模型预测结果进行一系列后处理，得到右心室舒张末期与收缩末期关键帧位置以及解剖学结构点坐标。

获取目标训练样本集时，超声心动图影像数据的超声序列长度至少包括一个心脏周期，标注一个ED帧和一个ES帧，并在ED帧和ES帧上标注预先定义好的解剖学结构点。对于每一种结构可能标注有0个或多个坐标点。

进一步地，所述基于所述标注信息，生成超声心动图序列的关键帧概率曲线以及解剖学结构点概率热力图，包括：

基于标注的第一图像帧的位置信息和第二图像帧的位置信息，分别生成右心室舒张末期的概率曲线和收缩末期的概率曲线，所述右心室舒张末期的概率曲线是从舒张末期位置向两边衰减的曲线，所述收缩末期的概率曲线是从收缩末期向两边衰减的曲线；

基于标注的解剖学结构点坐标信息，生成多张概率热力图，所述概率热力图的数量为解剖学结构点的种类数量与背景热力图的数量之和，所述概率热力图中的像素值与该像素是否为解剖学学结构点相关。

具体的，在舒张末期概率曲线上，某一帧的值越高代表该帧距离舒张末期越近。同理收缩末期概率曲线是一条从收缩末期向两边逐渐衰减的曲线。

根据标注的结构点位置，生成k+1张概率热力图(k个步骤1中预先定义好的解剖学结构，以及1个背景热力图)。对于每一种结构，为其每一个对应的标记点生成一个从中心向四周衰减的圆，圆的中心为结构点的位置。热力图上像素值越高，代表该像素是一个解剖学结构点的可能性越大。第k+1张背景概率热力图上的像素值则由1减去前k张热力图中相应位置的像素值之和得到。

在本发明实施例中，神经网络模型的目标结构是一个联合训练网络，即包括一个基于卷积神经网络的编码器，一个基于循环神经网络的关键帧检测分支和一个基于上采样的结构点定位分支。编码器的输入为超声心动图序列，在输入之前每一张超声图像都被缩放、裁剪到统一(H*W)尺寸。在关键帧检测分支中，使用Sigmoid函数得到2*t的概率曲线输出(t为超声序列的长度)；结构点定位分支使用Softmax函数得到2*H*W*(k+1)的热力图输出，其中2代表的是ED和ES两帧。

在一种可能的实施方式中，所述基于所述训练目标和所述目标结构进行模型训练，得到目标识别模型，包括：

将所述超声心动图影像数据进行预处理，得到超声心动图序列；

将所述超声心动图序列输入至所述目标结构的编码器中，获得特征图；

对所述特征图进行池化处理，得到特征向量，并将所述特征向量输入到关键帧检测分支，预测获得关键帧概率曲线；

将所述特征图输入到结构点定位分支中，预测获得解剖学结构点概率热力图；

基于预测获得关键帧概率曲线和解剖学结构点概率热力图，以及实际生成的关键帧概率曲线和解剖学结构点概率热力图，对所述目标结构的结构参数进行调整，获得目标识别模型。

具体的，输入超声序列进入编码器，得到特征图，尺寸为t*c*h*w。然后该对特征图进行处理并输入到两个分支中。其中，c为特征图的数量。将得到的特征图经过一个最大池化层得到t*c尺寸的特征向量，并输入到关键帧检测分支中。在编码器下采样的各个阶段，选取ED/ES两帧所对应的特征图与点定位分支的上采样过程中相应的特征图进行连接，最终点定位分支得到2*H*W*(k+1)的热力图，输入到结构点定位分支中。

基于上述各个分支预测获得关键帧概率曲线和解剖学结构点概率热力图，以及实际生成的概率曲线和概率热力图，对所述目标结构的结构参数进行调整，获得目标识别模型的处理过程实际是基于定义的损失函数来比较预测结果和实际结果的偏差，从而调整对应的结构参数以使得调整后的参数对模型进行优化，使得优化后的模型输出的结果更加趋于实际生成结果，即得到了目标识别模型。

对应于训练样本集还可以包括测试数据集，使用训练好的模型在测试数据集上进行预测以及后处理。先通过帧检测分支预测出样本的ED帧和ES帧的位置，再在预测出的ED和ES帧上，利用点定位分支预测出相应的解剖学结构点。所述分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得右心室目标特征信息包括：对所述解剖学结构点概率热力图进行二值化处理，得到连通域；对所述连通域进行过滤，得到目标连通域；在所述目标连通域中取像素值最大的像素点坐标确定确定为解剖学结构点坐标；获取所述关键帧概率曲线中的最大值对应位置信息，将所述位置信息确定为关键帧位置信息。

具体的，ED帧和ES帧的检测。首先，输入的超声影像序列经过编码器和帧检测分支后输出ED和ES帧的目标曲线。然后，分别对这两条曲线取最大值的位置，得到ED帧和ES帧的位置。

解剖学结构点的定位。根据得到的ED和ES帧位置，从编码器的输出中选取出ED和ES的特征图。然后将特征图输入到点定位分支进行上采样，得到结构点的概率热力图。最后，对这些热力图进行一系列后处理操作，得到所预测的结构点。

后处理操作：首先设定阈值对概率图进行二值化处理得到一系列连通域；然后去除面积较小的连通域；最后在得到的每一个连通域中取像素值最大的像素点坐标，得到所预测的解剖学结构点坐标。

在本发明实施例中，使用一种基于曲线回归的方法来提高关键帧检测在右心室上的准确度；其次，联合训练的方法能够让两个任务共享参数，不仅能够提高网络模型迭代的效率，节省内存与计算资源，而且两个任务共享特征信息，可以提高模型的泛化能力。最后，训练好模型之后，本发明在实际应用的流程中是全自动的，具有快速、准确的优点，能够提高预测结果的可复观性，并显著提高医生的检查效率。

下面以具体的应用场景为例，对本发明实施例中的处理方法进行说明。

首先，获取不少于100例患者的右心室超声心动图序列用于模型训练。获取的超声心动图视图包括：心尖四腔、胸骨旁长轴左室流出道、胸骨旁长轴右室流入道、右室流入道短轴、近乳头肌水平短轴、胸骨旁心尖短轴、胸骨旁长轴右室流出道、右室倾斜心尖、右室流入流出道等。每一段超声心动图序列需要标注右心室ED、ES帧的位置，并在ED、ES帧上标注解剖学结构点。根据视图的不同，可能涉及到的解剖学结构有：三尖瓣环、右室室间隔、右室心内膜、基底部、心尖、肺动脉环、右室室间隔边缘、圆锥间隔等8种。

然后，根据所标注的关键帧以及结构点位置，生成关键帧检测任务的目标曲线以及结构点定位任务的概率热力图。具体地，对于帧检测任务，在曲线上关键帧位置的值为1，随着距离关键帧的位置变远，值逐渐衰减到0，如图2所示。

而对于点定位任务，每一个被标注的关键点生成一个中心衰减的圆形，该点位于圆心且值为1，距离该点越远的则像素值越小。其中衰减方式使用高斯函数。同一种解剖结构的所有关键点合并得到该结构的热力图(如图3第二行所示)。背景的热力图计算方式为：用一个全1的矩阵减去8种结构热力图值的和。最后得到一个9通道的三维矩阵，每个通道代表一种结构或背景。

接着，搭建如图4所示网络结构。其中网络输入大小为256*352。编码器选用resnet50；帧检测分支使用双向门控循环单元；点定位分支中的上采样使用双线性插值，编码器与点定位分支一起组成一个编码解码结构的U型网络，编码解码模块之间使用跳转连接进行特征融合。

配置好合适的软硬件环境对网络进行训练。训练时优化器使用Adam进行迭代，初始学习率为0.001，batch size为2。使用均方误差作为关键帧检测任务的损失函数，而结构点定位任务的损失函数则选用多类别交叉熵。

使用训练得到的模型，在测试集上进行预测以及后处理。最后将所预测的结构点坐标恢复到图像的原始尺寸，得到最终输出结果。

基于前述实施例，在本发明实施例中还提供了一种右心室图像特征信息识别装置，参见图5，包括：

获取单元10，用于获取待识别的目标超声心动图影像；

识别单元20，用于基于目标识别模型对所述目标超声心动图影像进行识别，获得关键帧的概率曲线和解剖学结构点热力图，其中，所述目标识别模型为基于超声心动图影像数据训练得到的神经网络模型，且具有将预测得到的关键帧的概率曲线和解剖学结构点概率热力图趋于所述超声心动影像数据对应的实际的关键帧的概率曲线和解剖学结构点概率热力图的能力；所述关键帧包括表征右心室舒张末期的第一图像帧和表征右心室收缩末期的第二图像帧；

处理单元30，用于分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得右心室目标特征信息，所述右心室目标特征信息包括关键帧位置信息和解剖学结构点坐标。

在一种可能的实施方式中，所述装置还包括：

样本获取单元，用于获取目标训练样本集，所述目标训练样本集包括超声心动图影像数据以及标注信息，所述标注信息包括关键帧位置和解剖学结构点坐标；

生成单元，用于基于所述标注信息，生成超声心动图序列的关键帧概率曲线以及解剖学结构点概率热力图，并将所述关键帧概率曲线和所述解剖学结构点概率热力图确定为训练目标；

确定单元，用于确定神经网络模型的目标结构，所述目标结构包括编码器、结构点定位分支以及关键帧检测分支；

训练单元，用于基于所述训练目标和所述目标结构进行模型训练，得到目标识别模型。

进一步地，所述生成单元包括：

第一生成子单元，用于基于标注的第一图像帧的位置信息和第二图像帧的位置信息，分别生成右心室舒张末期的概率曲线和收缩末期的概率曲线，所述右心室舒张末期的概率曲线是从舒张末期位置向两边衰减的曲线，所述收缩末期的概率曲线是从收缩末期向两边衰减的曲线；

第二生成子单元，用于基于标注的解剖学结构点坐标信息，生成多张概率热力图，所述概率热力图的数量为解剖学结构点的种类数量与背景热力图的数量之和，所述概率热力图中的像素值与该像素是否为解剖学结构点相关。

可选地，所述训练单元包括：

预处理子单元，用于将所述超声心动图影像数据进行预处理，得到超声心动图序列；

第一输入子单元，用于将所述超声心动图序列输入至所述目标结构的编码器中，获得特征图；

第二输入子单元，用于对所述特征图进行池化处理，得到特征向量，并将所述特征向量输入到关键帧检测分支，预测获得关键帧概率曲线；

第三输入子单元，用于将所述特征图输入到结构点定位分支中，预测获得解剖学结构点概率热力图；

调整子单元，用于基于预测获得关键帧概率曲线和解剖学结构点概率热力图，以及实际生成的关键帧概率曲线和解剖学结构点概率热力图，对所述目标结构的结构参数进行调整，获得目标识别模型。

进一步地，所述处理单元具体用于：

对所述解剖学结构点概率热力图进行二值化处理，得到连通域；

对所述连通域进行过滤，得到目标连通域；

在所述目标连通域中取像素值最大的像素点坐标确定为解剖学结构点坐标；

获取所述关键帧概率曲线中的最大值对应位置信息，将所述位置信息确定为关键帧位置信息。

本发明提供了一种右心室特征信息识别装置，通过获取待识别的目标超声心动图影像；基于目标识别模型对所述目标超声心动图影像进行识别，获得关键帧的概率曲线和解剖学结构点热力图；分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得关键帧位置信息和解剖学结构点坐标。在本发明中利用了预先训练得到的目标识别模型以及后处理对关键帧和解剖学结构点坐标进行识别，无需医生人工识别，提升了识别的效率和精度，进而提升了右心室功能参数确定的效率和准确性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种右心室特征信息识别方法，其特征在于，包括：

获取待识别的目标超声心动图影像；

基于目标识别模型对所述目标超声心动图影像进行识别，获得关键帧的概率曲线和解剖学结构点热力图，其中，所述目标识别模型为基于超声心动图影像数据训练得到的神经网络模型，且具有将预测得到的关键帧的概率曲线和解剖学结构点概率热力图趋于所述超声心动影像数据对应的实际的关键帧的概率曲线和解剖学结构点概率热力图的能力；所述关键帧包括表征右心室舒张末期的第一图像帧和表征右心室收缩末期的第二图像帧；

分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得右心室目标特征信息，所述右心室目标特征信息包括关键帧位置信息和解剖学结构点坐标；

其中，所述方法还包括：

获取目标训练样本集，所述目标训练样本集包括超声心动图影像数据以及标注信息，所述标注信息包括关键帧位置和解剖学结构点坐标；

基于所述标注信息，生成超声心动图序列的关键帧概率曲线以及解剖学结构点概率热力图，并将所述关键帧概率曲线和所述解剖学结构点概率热力图确定为训练目标；

确定神经网络模型的目标结构，所述目标结构包括编码器、结构点定位分支以及关键帧检测分支；

基于所述训练目标和所述目标结构进行模型训练，以同时对关键帧检测与结构点定位进行训练，得到目标识别模型；

其中，所述基于所述标注信息，生成超声心动图序列的关键帧概率曲线以及解剖学结构点概率热力图，包括：

基于标注的第一图像帧的位置信息和第二图像帧的位置信息，分别生成右心室舒张末期的概率曲线和收缩末期的概率曲线，所述右心室舒张末期的概率曲线是从舒张末期位置向两边衰减的曲线，所述收缩末期的概率曲线是从收缩末期向两边衰减的曲线；

基于标注的解剖学结构点坐标信息，生成多张概率热力图，所述概率热力图的数量为解剖学结构点的种类数量与背景热力图的数量之和，所述概率热力图中的像素值与该像素是否为解剖学结构点相关。

2.根据权利要求1所述的方法，其特征在于，所述基于所述训练目标和所述目标结构进行模型训练，得到目标识别模型，包括：

将所述超声心动图影像数据进行预处理，得到超声心动图序列；

将所述超声心动图序列输入至所述目标结构的编码器中，获得特征图；

对所述特征图进行池化处理，得到特征向量，并将所述特征向量输入到关键帧检测分支，预测获得关键帧概率曲线；

将所述特征图输入到结构点定位分支中，预测获得解剖学结构点概率热力图；

基于预测获得关键帧概率曲线和解剖学结构点概率热力图，以及实际生成的关键帧概率曲线和解剖学结构点概率热力图，对所述目标结构的结构参数进行调整，获得目标识别模型。

3.根据权利要求1所述的方法，其特征在于，所述分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得右心室目标特征信息包括：

对所述解剖学结构点概率热力图进行二值化处理，得到连通域；

对所述连通域进行过滤，得到目标连通域；

在所述目标连通域中取像素值最大的像素点坐标确定为解剖学结构点坐标；

获取所述关键帧概率曲线中的最大值对应位置信息，将所述位置信息确定为关键帧位置信息。

4.一种右心室特征信息识别装置，其特征在于，包括：

获取单元，用于获取待识别的目标超声心动图影像；

识别单元，用于基于目标识别模型对所述目标超声心动图影像进行识别，获得关键帧的概率曲线和解剖学结构点热力图，其中，所述目标识别模型为基于超声心动图影像数据训练得到的神经网络模型，且具有将预测得到的关键帧的概率曲线和解剖学结构点概率热力图趋于所述超声心动影像数据对应的实际的关键帧的概率曲线和解剖学结构点概率热力图的能力；所述关键帧包括表征右心室舒张末期的第一图像帧和表征右心室收缩末期的第二图像帧；

处理单元，用于分别对所述关键帧的概率曲线和解剖学结构点概率热力图进行处理，获得右心室目标特征信息，所述右心室目标特征信息包括关键帧位置信息和解剖学结构点坐标；

其中，所述装置还包括：

样本获取单元，用于获取目标训练样本集，所述目标训练样本集包括超声心动图影像数据以及标注信息，所述标注信息包括关键帧位置和解剖学结构点坐标；

生成单元，用于基于所述标注信息，生成超声心动图序列的关键帧概率曲线以及解剖学结构点概率热力图，并将所述关键帧概率曲线和所述解剖学结构点概率热力图确定为训练目标；

确定单元，用于确定神经网络模型的目标结构，所述目标结构包括编码器、结构点定位分支以及关键帧检测分支；

训练单元，用于基于所述训练目标和所述目标结构进行模型训练，以同时对关键帧检测与结构点定位进行训练，得到目标识别模型；

其中，所述生成单元包括：

第一生成子单元，用于基于标注的第一图像帧的位置信息和第二图像帧的位置信息，分别生成右心室舒张末期的概率曲线和收缩末期的概率曲线，所述右心室舒张末期的概率曲线是从舒张末期位置向两边衰减的曲线，所述收缩末期的概率曲线是从收缩末期向两边衰减的曲线；

第二生成子单元，用于基于标注的解剖学结构点坐标信息，生成多张概率热力图，所述概率热力图的数量为解剖学结构点的种类数量与背景热力图的数量之和，所述概率热力图中的像素值与该像素是否为解剖学结构点相关。

5.根据权利要求4所述的装置，其特征在于，所述训练单元包括：

预处理子单元，用于将所述超声心动图影像数据进行预处理，得到超声心动图序列；

第一输入子单元，用于将所述超声心动图序列输入至所述目标结构的编码器中，获得特征图；

第二输入子单元，用于对所述特征图进行池化处理，得到特征向量，并将所述特征向量输入到关键帧检测分支，预测获得关键帧概率曲线；

第三输入子单元，用于将所述特征图输入到结构点定位分支中，预测获得解剖学结构点概率热力图；

调整子单元，用于基于预测获得关键帧概率曲线和解剖学结构点概率热力图，以及实际生成的关键帧概率曲线和解剖学结构点概率热力图，对所述目标结构的结构参数进行调整，获得目标识别模型。

6.根据权利要求4所述的装置，其特征在于，所述处理单元具体用于：

对所述解剖学结构点概率热力图进行二值化处理，得到连通域；

对所述连通域进行过滤，得到目标连通域；

在所述目标连通域中取像素值最大的像素点坐标确定为解剖学结构点坐标；

获取所述关键帧概率曲线中的最大值对应位置信息，将所述位置信息确定为关键帧位置信息。

Images