CN111353978A - 一种识别心脏解剖学结构的方法及装置 - Google Patents

Abstract

本申请提出一种识别心脏解剖学结构的方法及装置，该方法包括：获取待识别的心脏超声图像；将所述心脏超声图像输入预先训练的解剖学结构识别模型，得到解剖学结构识别结果；其中，所述解剖学结构识别结果包括所述心脏超声图像中的各个像素点的像素值，所述像素值表示像素点属于解剖学结构像素或属于图像背景像素的概率；根据所述解剖学结构识别结果，确定所述心脏超声图像中的各个解剖学结构关键点的位置。上述技术方案的处理过程实现了对心脏超声图像中的解剖学结构的自动化识别，将其应用于心脏解剖学结构的识别中，可以加快识别速度同时可以节省医师人力劳动。

Description

一种识别心脏解剖学结构的方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种识别心脏解剖学结构的方法及装置。

背景技术

在心脏超声图像上定位心脏解剖学结构是评估心脏功能的重要前提，由于心脏右心室的形状不规则，且其影像边缘经常发生缺失或模糊，导致右心室的解剖学结构很难被直接定位。

目前心脏右心室解剖学结构的标识主要是依靠专业医师在心脏超声图像上进行识别及标识完成的，该识别过程费时费力，需要医师通过专业的培训和实践才能正确识别。

发明内容

基于上述现有技术的缺陷和不足，本申请提出一种识别心脏解剖学结构的方法及装置，能够实现对心脏解剖学结构的自动识别和定位。

一种识别心脏解剖学结构的方法，包括：

获取待识别的心脏超声图像；

将所述心脏超声图像输入预先训练的解剖学结构识别模型，得到解剖学结构识别结果；其中，所述解剖学结构识别结果包括所述心脏超声图像中的各个像素点的像素值，所述像素值表示像素点属于解剖学结构像素或属于图像背景像素的概率，所述解剖学结构识别模型至少通过对心脏超声图像样本进行处理确定图像中的像素点属于解剖学结构像素或属于图像背景像素的概率训练得到；

根据所述解剖学结构识别结果，确定所述心脏超声图像中的各个解剖学结构关键点的位置。

可选的，所述根据所述解剖学结构识别结果，确定所述心脏超声图像中的各个解剖学结构关键点的位置，包括：

根据所述解剖学结构识别结果，分别确定各个解剖学结构包含的像素点，其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔；

通过对所述心尖、所述基底部和所述三尖瓣环包含的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置；

通过对所述心内膜和所述室间隔包含的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置。

可选的，所述通过对所述心尖、所述基底部和所述三尖瓣环对应的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置，包括：

对所述心尖、所述基底部和所述三尖瓣环对应的像素点的像素值进行归一化处理；

以像素点的归一化处理后的像素值为权重，分别将所述心尖、所述基底部和所述三尖瓣环对应的像素点的坐标值进行加权平均处理，确定所述心尖、所述基底部和所述三尖瓣环的关键点位置。

可选的，所述通过对所述心内膜和所述室间隔对应的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置，包括：

根据设定的概率阈值，分别对所述心内膜和所述室间隔包含的像素点的像素值进行二值化处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域边缘进行形态学开操作处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域进行骨架提取处理，确定所述心内膜和所述室间隔所在的曲线的关键点位置。

可选的，所述解剖学结构识别模型的训练过程包括：

获取心脏超声图像样本，以及标注所述心脏超声图像样本中的各个解剖学结构的位置；其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔；

生成与所述心脏超声图像样本对应的热力图；所述心脏超声图像样本对应的热力图包括所述各个解剖学结构的热力图以及所述心脏超声图像样本的背景热力图，其中，所述热力图中的像素的像素值表示该像素属于解剖学结构像素的概率或属于图像背景像素的概率；

将所述心脏超声图像样本输入U型神经网络，使所述U型神经网络识别所述心脏超声图像样本中的各个像素点属于解剖学结构像素或属于图像背景像素的概率；

将所述U型神经网络的识别结果与所述心脏超声图像样本对应的热力图进行对比，并根据对比结果对所述U型神经网络的运算参数进行校正；

依次获取下一批次心脏超声图像样本并分别重复以上处理步骤，直到所述U型神经网络的识别结果与所述心脏超声图像样本对应的热力图的差异小于设定的差异阈值时，将经过训练的U型神经网络作为解剖学结构识别模型。

可选的，生成所述各个解剖学结构的热力图，包括：

分别以所述心尖、所述基底部和所述三尖瓣环所在位置的像素点为中心，生成中心衰减的热力图，得到所述心尖、所述基底部和所述三尖瓣环的热力图；

分别对所述心内膜和所述室间隔所包含的像素点进行曲线拟合处理，得到心内膜曲线和室间隔曲线；

分别以所述心内膜曲线和所述室间隔曲线上的各个像素点为中心生成中心衰减的热力图，得到所述心内膜和所述室间隔的热力图。

一种识别心脏解剖学结构的装置，包括：

图像获取单元，用于获取待识别的心脏超声图像；

图像处理单元，用于将所述心脏超声图像输入预先训练的解剖学结构识别模型，得到解剖学结构识别结果；其中，所述解剖学结构识别结果包括所述心脏超声图像中的各个像素点的像素值，所述像素值表示像素点属于解剖学结构像素或属于图像背景像素的概率，所述解剖学结构识别模型至少通过对心脏超声图像样本进行处理确定图像中的像素点属于解剖学结构像素或属于图像背景像素的概率训练得到；

位置确定单元，用于根据所述解剖学结构识别结果，确定所述心脏超声图像中的各个解剖学结构关键点的位置。

可选的，所述位置确定单元，包括：

像素分类单元，用于根据所述解剖学结构识别结果，分别确定各个解剖学结构包含的像素点，其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔；

第一位置确定单元，用于通过对所述心尖、所述基底部和所述三尖瓣环包含的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置；

第二位置确定单元，用于通过对所述心内膜和所述室间隔包含的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置。

可选的，所述第一位置确定单元通过对所述心尖、所述基底部和所述三尖瓣环对应的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置时，具体用于：

对所述心尖、所述基底部和所述三尖瓣环对应的像素点的像素值进行归一化处理；

以像素点的归一化处理后的像素值为权重，分别将所述心尖、所述基底部和所述三尖瓣环对应的像素点的坐标值进行加权平均处理，确定所述心尖、所述基底部和所述三尖瓣环的关键点位置。

可选的，所述第二位置确定单元通过对所述心内膜和所述室间隔对应的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置时，具体用于：

根据设定的概率阈值，分别对所述心内膜和所述室间隔包含的像素点的像素值进行二值化处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域边缘进行形态学开操作处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域进行骨架提取处理，确定所述心内膜和所述室间隔所在的曲线的关键点位置。

本申请提出的识别心脏解剖学结构的方法借助预先训练的解剖学结构识别模型，确定待识别的心脏超声图像中的像素点属于解剖学结构的概率，然后根据该识别结果确定待识别的心脏超声图像中的各个解剖学结构关键点的位置。该处理过程实现了对心脏超声图像中的解剖学结构的自动化识别，将其应用于心脏解剖学结构的识别中，可以加快识别速度同时可以节省医师人力劳动。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种识别心脏解剖学结构的方法的流程示意图；

图2是本申请实施例提供的另一种识别心脏解剖学结构的方法的流程示意图；

图3是本申请实施例提供的训练解剖学结构识别模型的流程示意图；

图4是本申请实施例提供的识别心脏解剖学结构的处理过程示意图；

图5是本申请实施例提供的心脏解剖学结构的位置标注示意图；

图6是本申请实施例提供的解剖学结构识别模型预测的心脏解剖学结构热力图的示意图；

图7是本申请实施例提供的对心内膜和室间隔的热力图进行二值化及骨架提取处理的结果示意图；

图8是本申请实施例提供的对心脏解剖学结构的识别结果标注示意图；

图9是本申请实施例提供的一种识别心脏解剖学结构的装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出一种识别心脏解剖学结构的方法，参见图1所示，该方法包括：

S101、获取待识别的心脏超声图像；

具体的，上述的待识别的心脏超声图像，是指对心脏进行超声成像得到的数字图像。

示例性的，本申请实施例从超声心动图中提取关键帧图像，得到心脏超声图像序列，该序列中的每一帧图像，均可以作为上述的待识别的心脏超声图像。

进一步的，本申请实施例技术方案主要用于识别心脏右心室解剖学结构，因此上述的待识别的心脏超声图像的图像内容主要包括心尖四腔的图像视图。

S102、将所述心脏超声图像输入预先训练的解剖学结构识别模型，得到解剖学结构识别结果；

其中，所述解剖学结构识别结果包括所述心脏超声图像中的各个像素点的像素值，所述像素值表示像素点属于解剖学结构像素的概率或属于图像背景像素的概率，所述解剖学结构识别模型至少通过对心脏超声图像样本进行处理确定图像中的像素点属于解剖学结构像素或属于图像背景像素的概率训练得到。

具体的，上述的解剖学结构，包括心尖、心内膜、室间隔、三尖瓣环和基底部中的任意一种或多种。

本申请实施例预先训练用于识别心脏超声图像中的像素点属于解剖学结构像素或属于图像背景像素的概率值的解剖学结构识别模型，该模型可以针对心脏超声图像中的每个像素点，识别其属于图像背景或属于心尖、心内膜、室间隔、三尖瓣环和基底部的像素的概率，该概率的值即作为像素点的像素值，这样对于上述每一种解剖学结构和图像背景，都可以确定在上述心脏超声图像样本中，各个像素点属于该解剖学结构或属于该图像背景的概率。

示例性的，上述解剖学结构识别模型的输出为热力图矩阵的形式，具体为6张热力图堆叠构成的矩阵形式。其中，每种解剖学结构(上述5种解剖学结构中的每一种)对应一张热力图，每种解剖学结构对应的热力图中的每个像素点的像素值，表示该像素点属于该解剖学结构的像素点的概率。例如，心尖结构对应的热力图中，每个像素点均具有唯一的像素值，该像素值越大，则说明该像素属于心尖结构的概率越大，反之说明该像素属于心尖结构的概率越小。同时，上述心脏超声图像的背景对应一张热力图，在该热力图中的每个像素点的像素值，表示该像素值属于图像背景像素的概率。这样对应上述的心脏超声图像样本，可以得到6张热力图，该6张热力图堆叠即为上述的解剖学结构的输出。

上述的解剖学结构识别模型在构建完成时需要首先进行训练，当经过训练确定该模型能够准确地识别心脏超声图像中的像素点是否属于解剖学结构像素或是图像背景像素的时候，将该模型用于对上述待识别的心脏超声图像的解剖学结构识别中。该解剖学结构识别模型的训练过程将在后文介绍。

作为示例性的实现方式，本申请实施例采用深度神经网络，例如U型神经网络等构建解剖学结构识别模型并进行训练。

S103、根据所述解剖学结构识别结果，确定所述心脏超声图像中的各个解剖学结构关键点的位置。

具体的，上述的解剖学结构识别模型输出的解剖学结构识别结果包含了心脏超声图像中的像素属于解剖学结构像素的概率。

因此，对应每种解剖学结构，根据上述解剖学结构识别结果，可以明确在上述待识别的心脏超声图像中的像素点中，有哪些像素点是属于该解剖学结构的像素点，进而，通过对属于该解剖学结构的像素点的位置坐标进行运算，可以确定该解剖学结构的关键点在该待识别的心脏超声图像中的位置坐标。

则按照上述思想，可以分别确定上述待识别的心脏超声图像中的每种解剖学结构关键点的位置。

通过上述介绍可见，本申请实施例提出的识别心脏解剖学结构的方法借助预先训练的解剖学结构识别模型，确定待识别的心脏超声图像中的像素点属于解剖学结构的概率，然后根据该识别结果确定待识别的心脏超声图像中的各个解剖学结构关键点的位置。该处理过程实现了对心脏超声图像中的解剖学结构的自动化识别，将其应用于心脏解剖学结构的识别中，可以加快识别速度同时可以节省医师人力劳动。

示例性的，参见图2所示，本申请实施例公开了，上述的根据所述解剖学结构识别结果，确定心脏超声图像中的各个解剖学结构关键点的位置，包括：

S203、根据所述解剖学结构识别结果，分别确定各个解剖学结构包含的像素点，其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔；

具体的，由上文介绍可知，上述解剖学结构识别模型的输出结果为热力图矩阵的形式，具体为6张热力图堆叠构成的矩阵形式。其中，每种解剖学结构(上述5种解剖学结构中的每一种)对应一张热力图，每种解剖学结构对应的热力图中的每个像素点的像素值，表示该像素点属于该解剖学结构的像素点的概率。

则，针对每种解剖学结构，分别从上述的解剖学结构识别模型中提取出该解剖学结构对应的热力图，则通过该热力图可以确定该解剖学结构所包含的、在上述待识别的心脏超声图像中的像素点。可以理解，对应于某种解剖学结构的热力图中的每个像素点，只要其像素值大于设定的概率阈值，则该像素点就是属于该解剖学结构的像素点。

S204、通过对所述心尖、所述基底部和所述三尖瓣环包含的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置；

具体的，心尖、基底部和三尖瓣环为点形结构，因此其位置也就是其关键点位置。但是，心尖、基底部和三尖瓣环所包含的像素点数量并不是单一的，因此，需要针对其所包含的多个像素点的坐标位置进行运算，从而确定心尖、基底部和三尖瓣环的关键点位置。

示例性的，首先对所述心尖、所述基底部和所述三尖瓣环对应的像素点的像素值进行归一化处理，然后，以像素点的归一化处理后的像素值为权重，分别将所述心尖、所述基底部和所述三尖瓣环对应的像素点的坐标值进行加权平均处理，确定所述心尖、所述基底部和所述三尖瓣环的关键点位置。

以确定心尖的位置为例，先将所有属于心尖的像素点的像素值进行归一化处理，然后将属于心尖的像素点进行基于像素值的坐标值加权平均处理，从而确定心尖关键点的位置，也就是，以心尖所包含的像素点的归一化像素值为权重，对心尖所包含的所有像素点的坐标值进行加权平均处理，最终计算得到的坐标值即为心尖关键点的位置坐标。

同理，基底部和三尖瓣环的关键点位置也可以参照上述的对像素点进行基于像素值的坐标值加权平均处理，从而确定基底部和三尖瓣环的关键点位置。

其中，需要说明的是，对于三尖瓣环的关键点位置，根据图像的清晰度、操作员的操作手法等情况的不同，其可能包含0-2个关键点，此时，三尖瓣环的关键点确定步骤具体是：

首先，确定三尖瓣环所含像素构成的可能的连通域(分别对应其0-2个关键点)；具体的，先根据阈值对三尖瓣环所含像素点的像素值进行二值化处理，得到多个连通域，然后从中选出最大的两个连通域，再去掉其中面积太小的连通域，即可得到0-2个三尖瓣环连通域。

然后，对所得到的各个三尖瓣环连通域内的像素点中的像素分别进行上述的归一化、加权平均等处理，得到0-2个关键点。

也就是说，在确定三尖瓣环的关键点位置时，先从三尖瓣环所包含的所有像素点中识别出较大的连通域，然后再针对各个连通域中的像素点，以像素点归一化处理后的像素值为权重，对像素点的坐标值进行加权平均处理，从而确定三尖瓣环各个关键点的位置。

S205、通过对所述心内膜和所述室间隔包含的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置。

具体的，心内膜和室间隔为线形结构，因此其包含的像素点应当为多个，此时不适用上述的对像素点坐标进行加权平均的方法进行关键点位置确定。

作为示例性的实现方式，本申请实施例先根据设定的概率阈值，分别对所述心内膜和所述室间隔包含的像素点的像素值进行二值化处理；然后，分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域边缘进行形态学开操作处理，该处理可以去除图像边缘的锯齿；最后，分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域进行骨架提取处理，确定所述心内膜和所述室间隔所在的曲线的关键点位置。

以确定心内膜的位置为例，首先按照设定的概率阈值，对心内膜所包含的像素点的像素值进行二值化处理。然后，对心内膜所包含的像素点构成的连通图像区域进行形态学开操作处理，去除图像边缘的锯齿。最后，对该连通图像区域进行骨架提取处理，得到该图像区域的骨架曲线，该曲线即为心内膜结构所在的曲线位置，根据该曲线所包含的各像素点的位置坐标，即可确定心内膜的关键点的位置坐标。

同理，室间隔的所在的曲线的关键点位置也可以按照上述方案处理确定。

需要说明的是，本实施例中的步骤S201、S202分别对应图1所示的方法实施例中的步骤S101、S102，其具体内容请参见图1所示的方法实施例的内容，此处不再赘述。

作为一种示例性的实现方式，本申请实施例还公开了上述的解剖学结构识别模型的训练过程。

参见图3所示，上述的解剖学结构识别模型的训练过程，包括：

S301、获取心脏超声图像样本，以及标注所述心脏超声图像样本中的各个解剖学结构的位置。

其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔。

具体的，上述的心脏超声图像样本，可以是从超声心动图中截取的关键图像帧得到的图像序列，为了实现对模型的充分训练，上述的心脏超声图像样本为足够数量的图像样本。

对于每一张心脏超声图像样本，分别从中标注各个解剖学结构的位置，如，在心脏超声图像样本中，分别标注心尖、基底部、三尖瓣环、心内膜和室间隔关键点的位置。

S302、生成与所述心脏超声图像样本对应的热力图。

其中，所述心脏超声图像样本对应的热力图包括所述各个解剖学结构的热力图以及所述心脏超声图像样本的背景热力图，所述热力图中的像素的像素值表示该像素属于解剖学结构像素的概率或属于图像背景像素的概率。

具体的，对于上述心脏超声图像样本中的各个解剖学结构，分别生成其热力图。解剖学结构的热力图中的像素的像素值，表示该像素属于解剖学结构像素的概率，如果某解剖学结构的热力图中的某一像素点的像素值越大，则说明该像素点是该解剖学结构的像素点的概率越大，反之则说明该像素点是该解剖学结构的像素点的概率越小。

同理，对于上述心脏超声图像样本中的非解剖学结构部分，作为图像背景，对于该图像背景，同样生成其热力图。在该图像背景热力图中，像素点的像素值表示该像素点属于图像背景像素的概率。

需要说明的是，上述的热力图的大小与上述心脏超声图像样本的大小相同，也就是，热力图中的各个像素与心脏超声图像中的各个像素一一对应。因此，热力图中的像素属于解剖学结构或属于图像背景的概率，也就是上述心脏超声图像中的相应像素属于解剖学结构或属于图像背景的概率。由此可见，通过上述的热力图，可以直接表示上述心脏超声图像中的各个像素点属于解剖学结构像素的概率或属于图像背景的像素。

示例性的，在生成心尖、基底部和三尖瓣环的热力图时，分别以所述心尖、所述基底部和所述三尖瓣环所在位置的像素点为中心，生成中心衰减的热力图，得到所述心尖、所述基底部和所述三尖瓣环的热力图。

以生成心尖的热力图为例，设置心尖位置处的像素点的像素值为最大值，以该像素点为中心，随着其他像素点距离该像素点的距离越来越远，设置其他像素点的像素值逐步衰减，其衰减过程可以按照高斯函数衰减。由此生成的心尖热力图中，像素值最大的像素点就是属于心尖像素的概率最大的像素点，该像素点实际上就是心尖所在位置处的像素点，而随着像素点的像素值逐步变小，像素属于心尖的概率也越来越小，直至像素不属于心尖时其像素值变为零。

对于基底部和三尖瓣环的热力图，以及对于图像背景热力图也可以参照上述方案生成。

当生成心内膜和室间隔的热力图时，由于心内膜和室间隔为线形结构，因此为了达到强调线形结构的效果，本申请实施例首先分别对述心内膜和所述室间隔所包含的像素点进行曲线拟合处理，得到心内膜曲线和室间隔曲线。

示例性的，本申请实施例分别将心内膜和室间隔所包含的像素点进行B样条拟合生成一条曲线，该曲线即为心内膜曲线和室间隔曲线。

然后，分别以所述心内膜曲线和所述室间隔曲线上的各个像素点为中心生成中心衰减的热力图，得到所述心内膜和所述室间隔的热力图。

具体的，对于上述心内膜曲线和室间隔曲线上的每个像素点，设置其像素值为最大值，然后以该像素点为中心，周围其他像素点的像素值按照距离该中心像素点的距离越远其像素值越小的规律变化，由此生成的以曲线上的各个像素点为中心的各个热力图综合作为曲线的热力图。

在分别生成心脏超声图像样本中的各个解剖学结构的热力图和图像背景的热力图后，将各个热力图堆叠得到该心脏超声图像样本对应的热力图，可以理解，该心脏超声图像样本对应的热力图为6通道的三维矩阵形式。

S303、将所述心脏超声图像样本输入U型神经网络，使所述U型神经网络识别所述心脏超声图像样本中的各个像素点属于解剖学结构像素或属于图像背景像素的概率。

具体的，本申请实施例采用基于编码-解码的全卷积神经网络-U型神经作为分割网络，用于对输入图像中的目标像素点进行识别分割。U型神经为深度学习网络，其包括下采样和上采样两部分，分别实现图像编码和解码。作为示例性的实现方式，本申请实施例采用U-Net网络。

将上述心脏超声图像样本输入U型神经网络，使网络对输入图像样本中的解剖学结构和图像背景像素点进行识别分割。使用类似于U-Net这种网络的好处是直接得到和输入图像尺寸相同的输出结果，直接预测每一个像素点的概率值，利于提升训练效果。

需要说明的是，为了便于U型神经网络对输入图像进行处理，本申请实施例将网络输入图像尺寸设定为与心脏超声图像样本尺寸相同大小。例如，假设上述心脏超声图像样本大小为480*640，则上述的U型神经网络的输入尺寸也为480*640，其输出为480*640*6的6通道三维矩阵形式。

S304、将所述U型神经网络的识别结果与所述心脏超声图像样本对应的热力图进行对比，并根据对比结果对所述U型神经网络的运算参数进行校正。

具体的，本申请实施例采用多类别的交叉熵作为损失函数，计算U型神经网络的识别结果与所述心脏超声图像样本对应的热力图的差异，并且根据计算得到的差异值，对U型神经网络的运算参数进行校正，以使该差异值变小。

S305、获取下一批次心脏超声图像样本，并返回步骤S301执行，直到通过执行步骤S304确认所述U型神经网络的识别结果与所述心脏超声图像样本对应的热力图的差异小于设定的差异阈值时，将经过训练的U型神经网络作为解剖学结构识别模型。

具体的，对应各个心脏超声图像样本，分别执行上述的训练处理，直到U型神经网络的识别结果与所述心脏超声图像样本对应的热力图的差异小于设定的差异阈值，此时认为该U型神经网络具备了准确识别图像中的解剖学结构像素和图像背景像素的能力，此时该U型神经网络即可作为解剖学结构识别模型。

可以理解，该解剖学结构识别模型以热力图来进行图像中感兴趣像素点的定位，这样可以允许模型的输入与输出的坐标个数不固定，具有更强的灵活性。

下面结合实例介绍本申请实施例提出的识别心脏解剖学结构的方法的完整实现过程。

本申请实施例提出的识别心脏解剖学结构的方法的实现过程如图4所示，首先获取70例心脏超声图像序列上的心尖四腔视图的关键帧图像以及各图像中的各解剖学结构的位置标注，对各解剖学结构的位置标注结果如图5所示。

然后，对于各个图像，生成其中各解剖学结构和图像背景的概率热力图，各个图像以及各个图像中的各解剖学结构和图像背景的概率热力图一起构成训练数据集。

接着，构建U型神经网络，该网络输入大小为480*640，输出大小为480*640*6。

接着，利用上述的训练数据集对该U型神经网络进行训练，得到解剖学结构识别模型。

接下来，对于待识别的心脏超声图像，将其输入上述预先训练的解剖学结构识别模型，利用该模型对图像中的解剖学结构进行预测，得到各个解剖学结构对应的热力图，此时，该模型的预测输出结果参见图6所示。

然后，对于心尖、基底部和三尖瓣环，通过执行基于像素值的像素位置加权平均处理，确定其位置。对于心内膜和室间隔，对其概率热力图进行二值化及骨架提取处理，得到如图7所示的位置标注。

最终，根据上述确定的心尖、基底部、三尖瓣环、心内膜和室间隔的位置标识，可以在原始的心脏超声图像中标记上述各解剖学结构的位置输出该图像，例如图8所示。

通过对比图8和图5可见，采用本申请实施例技术方案对心脏超声图像中的解剖学结构进行识别的结果基本与预先标注的解剖学结构位置一致，即，本申请实施例技术方案能够准确地识别心脏超声图像中的解剖学结构。

与上述的识别心脏解剖学结构的方法相对应的，本申请实施例还提出一种识别心脏解剖学结构的装置，参见图9所示，该装置包括：

图像获取单元100，用于获取待识别的心脏超声图像；

图像处理单元110，用于将所述心脏超声图像输入预先训练的解剖学结构识别模型，得到解剖学结构识别结果；其中，所述解剖学结构识别结果包括所述心脏超声图像中的各个像素点的像素值，所述像素值表示像素点属于解剖学结构像素或属于图像背景像素的概率，所述解剖学结构识别模型至少通过对心脏超声图像样本进行处理确定图像中的像素点属于解剖学结构像素或属于图像背景像素的概率训练得到；

位置确定单元120，用于根据所述解剖学结构识别结果，确定所述心脏超声图像中的各个解剖学结构关键点的位置。

可选的，所述位置确定单元，包括：

像素分类单元，用于根据所述解剖学结构识别结果，分别确定各个解剖学结构包含的像素点，其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔；

第一位置确定单元，用于通过对所述心尖、所述基底部和所述三尖瓣环包含的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置；

第二位置确定单元，用于通过对所述心内膜和所述室间隔包含的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置。

其中，所述第一位置确定单元通过对所述心尖、所述基底部和所述三尖瓣环对应的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置时，具体用于：

对所述心尖、所述基底部和所述三尖瓣环对应的像素点的像素值进行归一化处理；

以像素点的归一化处理后的像素值为权重，分别将所述心尖、所述基底部和所述三尖瓣环对应的像素点的坐标值进行加权平均处理，确定所述心尖、所述基底部和所述三尖瓣环的关键点位置。

所述第二位置确定单元通过对所述心内膜和所述室间隔对应的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置时，具体用于：

根据设定的概率阈值，分别对所述心内膜和所述室间隔包含的像素点的像素值进行二值化处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域边缘进行形态学开操作处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域进行骨架提取处理，确定所述心内膜和所述室间隔所在的曲线的关键点位置。

示例性的，所述解剖学结构识别模型的训练过程包括：

获取心脏超声图像样本，以及标注所述心脏超声图像样本中的各个解剖学结构的位置；其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔；

生成与所述心脏超声图像样本对应的热力图；所述心脏超声图像样本对应的热力图包括所述各个解剖学结构的热力图以及所述心脏超声图像样本的背景热力图，其中，所述热力图中的像素的像素值表示该像素属于解剖学结构像素的概率或属于图像背景像素的概率；

将所述心脏超声图像样本输入U型神经网络，使所述U型神经网络识别所述心脏超声图像样本中的各个像素点属于解剖学结构像素或属于图像背景像素的概率；

将所述U型神经网络的识别结果与所述心脏超声图像样本对应的热力图进行对比，并根据对比结果对所述U型神经网络的运算参数进行校正；

依次获取下一批次心脏超声图像样本并分别重复以上处理步骤，直到所述U型神经网络的识别结果与所述心脏超声图像样本对应的热力图的差异小于设定的差异阈值时，将经过训练的U型神经网络作为解剖学结构识别模型。

其中，生成所述各个解剖学结构的热力图，包括：

分别以所述心尖、所述基底部和所述三尖瓣环所在位置的像素点为中心，生成中心衰减的热力图，得到所述心尖、所述基底部和所述三尖瓣环的热力图；

分别对所述心内膜和所述室间隔所包含的像素点进行曲线拟合处理，得到心内膜曲线和室间隔曲线；

分别以所述心内膜曲线和所述室间隔曲线上的各个像素点为中心生成中心衰减的热力图，得到所述心内膜和所述室间隔的热力图。

具体的，上述的识别心脏解剖学结构的装置的各个单元的具体工作内容，请参见上述方法实施例的内容，此处不再赘述。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种识别心脏解剖学结构的方法，其特征在于，包括：

获取待识别的心脏超声图像；

将所述心脏超声图像输入预先训练的解剖学结构识别模型，得到解剖学结构识别结果；其中，所述解剖学结构识别结果包括所述心脏超声图像中的各个像素点的像素值，所述像素值表示像素点属于解剖学结构像素或属于图像背景像素的概率，所述解剖学结构识别模型至少通过对心脏超声图像样本进行处理确定图像中的像素点属于解剖学结构像素或属于图像背景像素的概率训练得到；

根据所述解剖学结构识别结果，确定所述心脏超声图像中的各个解剖学结构关键点的位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述解剖学结构识别结果，确定所述心脏超声图像中的各个解剖学结构关键点的位置，包括：

根据所述解剖学结构识别结果，分别确定各个解剖学结构包含的像素点，其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔；

通过对所述心尖、所述基底部和所述三尖瓣环包含的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置；

通过对所述心内膜和所述室间隔包含的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置。

3.根据权利要求2所述的方法，其特征在于，所述通过对所述心尖、所述基底部和所述三尖瓣环对应的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置，包括：

对所述心尖、所述基底部和所述三尖瓣环对应的像素点的像素值进行归一化处理；

以像素点的归一化处理后的像素值为权重，分别将所述心尖、所述基底部和所述三尖瓣环对应的像素点的坐标值进行加权平均处理，确定所述心尖、所述基底部和所述三尖瓣环的关键点位置。

4.根据权利要求2所述的方法，其特征在于，所述通过对所述心内膜和所述室间隔对应的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置，包括：

根据设定的概率阈值，分别对所述心内膜和所述室间隔包含的像素点的像素值进行二值化处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域边缘进行形态学开操作处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域进行骨架提取处理，确定所述心内膜和所述室间隔所在的曲线的关键点位置。

5.根据权利要求1所述的方法，其特征在于，所述解剖学结构识别模型的训练过程包括：

获取心脏超声图像样本，以及标注所述心脏超声图像样本中的各个解剖学结构的位置；其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔；

生成与所述心脏超声图像样本对应的热力图；所述心脏超声图像样本对应的热力图包括所述各个解剖学结构的热力图以及所述心脏超声图像样本的背景热力图，其中，所述热力图中的像素的像素值表示该像素属于解剖学结构像素的概率或属于图像背景像素的概率；

将所述心脏超声图像样本输入U型神经网络，使所述U型神经网络识别所述心脏超声图像样本中的各个像素点属于解剖学结构像素或属于图像背景像素的概率；

将所述U型神经网络的识别结果与所述心脏超声图像样本对应的热力图进行对比，并根据对比结果对所述U型神经网络的运算参数进行校正；

依次获取下一批次心脏超声图像样本并分别重复以上处理步骤，直到所述U型神经网络的识别结果与所述心脏超声图像样本对应的热力图的差异小于设定的差异阈值时，将经过训练的U型神经网络作为解剖学结构识别模型。

6.根据权利要求5所述的方法，其特征在于，生成所述各个解剖学结构的热力图，包括：

分别以所述心尖、所述基底部和所述三尖瓣环所在位置的像素点为中心，生成中心衰减的热力图，得到所述心尖、所述基底部和所述三尖瓣环的热力图；

分别对所述心内膜和所述室间隔所包含的像素点进行曲线拟合处理，得到心内膜曲线和室间隔曲线；

分别以所述心内膜曲线和所述室间隔曲线上的各个像素点为中心生成中心衰减的热力图，得到所述心内膜和所述室间隔的热力图。

7.一种识别心脏解剖学结构的装置，其特征在于，包括：

图像获取单元，用于获取待识别的心脏超声图像；

图像处理单元，用于将所述心脏超声图像输入预先训练的解剖学结构识别模型，得到解剖学结构识别结果；其中，所述解剖学结构识别结果包括所述心脏超声图像中的各个像素点的像素值，所述像素值表示像素点属于解剖学结构像素或属于图像背景像素的概率，所述解剖学结构识别模型至少通过对心脏超声图像样本进行处理确定图像中的像素点属于解剖学结构像素或属于图像背景像素的概率训练得到；

位置确定单元，用于根据所述解剖学结构识别结果，确定所述心脏超声图像中的各个解剖学结构关键点的位置。

8.根据权利要求7所述的装置，其特征在于，所述位置确定单元，包括：

像素分类单元，用于根据所述解剖学结构识别结果，分别确定各个解剖学结构包含的像素点，其中，所述各个解剖学结构包括心尖、基底部、三尖瓣环、心内膜和室间隔；

第一位置确定单元，用于通过对所述心尖、所述基底部和所述三尖瓣环包含的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置；

第二位置确定单元，用于通过对所述心内膜和所述室间隔包含的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置。

9.根据权利要求8所述的装置，其特征在于，所述第一位置确定单元通过对所述心尖、所述基底部和所述三尖瓣环对应的像素点进行基于像素值的坐标值加权平均处理，分别确定所述心尖、所述基底部和所述三尖瓣环的关键点位置时，具体用于：

对所述心尖、所述基底部和所述三尖瓣环对应的像素点的像素值进行归一化处理；

以像素点的归一化处理后的像素值为权重，分别将所述心尖、所述基底部和所述三尖瓣环对应的像素点的坐标值进行加权平均处理，确定所述心尖、所述基底部和所述三尖瓣环的关键点位置。

10.根据权利要求8所述的装置，其特征在于，所述第二位置确定单元通过对所述心内膜和所述室间隔对应的像素点进行基于像素值的连通域骨架提取处理，分别确定所述心内膜和所述室间隔所在的曲线的关键点位置时，具体用于：

根据设定的概率阈值，分别对所述心内膜和所述室间隔包含的像素点的像素值进行二值化处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域边缘进行形态学开操作处理；

分别对所述心内膜和所述室间隔包含的像素点构成的连通图像区域进行骨架提取处理，确定所述心内膜和所述室间隔所在的曲线的关键点位置。

Images