CN110335235B - 心脏医学图像的处理装置、处理系统和介质 - Google Patents

Abstract

本公开涉及一种心脏医学图像的处理装置、处理系统和介质。处理装置包括处理器，配置为：基于长轴切面的心脏图像，利用第一学习网络识别二尖瓣基底点、心尖顶点以及左心室心肌的外边缘和内边缘；利用二尖瓣基底点的第一连线设置上边缘；利用上边缘、内边缘和外边缘围成左心室心肌，以第一连线的中点和心尖顶点的第二连线作为中线，将左心室心肌在两侧均匀划分，实现节段划分；确定各节段在长轴切面内的第一应变情况，包括相应节段的面积变化情况；基于各节段的面积变化情况，确定相应节段在垂直方向上的第二应变情况。能够自动、准确且迅速地识别各心肌节段并确定左心室全局或者局部的三维应变情况，便利更全面地评估心肌应变和功能状况。

Description

心脏医学图像的处理装置、处理系统和介质

技术领域

本公开大体涉及图像处理和分析。更具体地，本公开涉及一种心脏医学图像的处理装置、处理系统和介质。

背景技术

传统评估整体心肌功能的参数主要是左心室射血分数，这种单一维度的参数不能全面评估整体心肌功能，更不能精确地反映局部心肌的舒缩运动，而许多常见的心血管疾病对心肌的损害往往是由局部到整体渐进性的过程。

心肌应变(myocardial strain,MS)是指心肌在心动周期中发生的形变，指相对于起始心肌长度或没有应力状态时心肌在某个维度上的尺寸的百分数变化，可用于诠释心肌的伸长或缩短、增厚或变薄。心肌应变率(strain rate,SR)反映了心肌发生形变的速度。心肌应变及应变率能够定量评估整体及局部心肌发生形变的能力和速度，不受邻近心肌运动及周围组织运动牵拉的影响，也不受探测角度的影响，进而能够客观、准确地评估心肌整体及局部功能。

心脏超声是心肌应变及应变率定量分析最先采用的影像技术。与心脏MR成像和心脏CT成像相比，超声成像费用低廉、实施方便且具有较高的时间和空间分辨力，能实时、动态、精准地量化心肌整体及局部的运动和功能，可用于临床心血管疾病预后评估及心脏亚临床疾病的早期诊断。超声成像在心肌应变及应变率的定量分析应用中主要有组织多普勒(doppler tissue imaging,DTI)技术、速度向量成像(velocity vector imaging,VVI)技术、超声斑点追踪(speckle tracking echocardiography,STE)技术等，目前STE的临床应用价值最大。STE根据测量维度的不同分为二维超声斑点追踪(2D-STE)和三维超声斑点追踪(3D-STE)。

STE是指通过超声波的反射及散射形成的声学斑点或声学标志追踪心动周期中心肌特定组织，利用特定的计算机软件半自动监测和分析声学斑点的活动轨迹来获取心肌运动信息，进而定量评估心脏整体或局部舒缩功能。2D-STE在高帧频二维灰阶影像基础上，逐帧地追踪兴趣区内不同心肌斑点在每一帧图像中的位置变化，利用模块匹配技术，与前一帧图像中的位置比较，从而自动追踪心肌内声学斑点在整个心动周期中的运动轨迹，定量测定心肌应变及应变率。

在目前的STE检测过程中，需要医生在切面超声图像中首先手动标注关键点位置，之后软件自动生成心肌分割节段，这种自动生成的节段分割通常不够准确，需要再由医生手动调整，以贴合实际心肌区域。在后续帧中，通过半自动追踪各个心肌节段内的心肌斑点运动轨迹，来实现心肌应变率计算。

目前的STE检测过程至少存在如下问题。由于是半自动操作，仪器无法自动识别心肌区域，需要医生在第一帧图像中手动勾画，同时仪器自带的勾画曲线追踪功能无法在后续动态视频中精确勾画心肌区域边缘，因此不能准确地检测到心肌斑点的变化轨迹。需要选取若干对心肌斑点并检测它们的平均运动轨迹来计算心肌应变率，然而对于肥厚型心肌病等心肌厚度不均匀的患者，仅通过有限对心肌斑点之间的距离变化不能真正反映心肌整体的形变。再者，心肌斑点在每一帧图像中的形态并非完全一致，往往会有一定的变化，甚至有些心肌斑点在某些帧中可能不会出现，给追踪带来了困难。而且，在STE检测中所提供的心肌应变指标都是切面内的二维应变指标。

提出了本公开的技术方案以解决以上问题。

发明内容

本公开意图提供一种心脏医学图像的处理装置、处理系统和介质，其能够自动、准确且迅速地勾画和识别各个心肌节段并确定左心室全局或者局部的三维的应变情况，从而大大减少医生的工作负荷并便利医生更全面地评估心肌应变和各个层次的功能状况，且自动识别方法可以通过训练而持续受益于准确标注了心肌关注区域的心脏医学图像的数据集。

根据本公开的第一方面，提供一种心脏医学图像的处理装置，所述处理装置包括：接口，其配置为接收心脏的左心室长轴切面的医学图像；处理器，其配置为：基于所接收的心脏的左心室长轴切面的医学图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5；确定2n个节段中各个节段在所述长轴切面内的第一应变情况，所述第一应变情况包括相应节段的面积变化情况；基于2n个节段中各个节段在所述长轴切面内的面积变化情况，确定相应节段在垂直于所述长轴切面的方向上的第二应变情况。

在一些实施例中，所述第二应变情况包括相应节段的长度变化情况，且通过对相应节段在所述长轴切面中的面积变化情况求倒数来得到。

在一些实施例中，所述处理器还配置为：在呈现所述左心室长轴切面的医学图像时，在各个节段附近呈现其在所述长轴切面内的第一应变情况连同其在垂直于所述长轴切面的方向上的第二应变情况。

在一些实施例中，所述第一应变情况还包括相应节段的周向长度变化情况和厚度变化情况、总周长变化情况和总面积变化情况、以及中线两侧的纵向长度变化情况，变化情况包括变化比率和变化速率中的至少一种。

在一些实施例中，所述接口还配置为接收心脏的左心室短轴切面的医学图像；所述处理器还配置为：基于所接收的心脏的左心室短轴切面的医学图像，利用训练好的第二学习网络，识别短轴切面中的左心室心肌的外边缘和内边缘；确定短轴切面中的左心室心肌的重心；利用通过所述重心的m条直线，将所述短轴切面中的左心室心肌划分为2m个节段，其中，m表示2到4中的任何一个自然数，m条直线中的第i条直线相对于垂直直线所成角度分别为180/m×(i-1)度，i表示1到m中的任何一个自然数；确定2m个节段中各个节段在所述短轴切面内的第三应变情况，所述第三应变情况包括相应节段的面积变化情况；基于2m个节段中各个节段在所述短轴切面内的第三应变情况，确定相应节段在垂直于所述短轴切面的方向上的第四应变情况。

在一些实施例中，所述第四应变情况包括相应节段的长度变化情况，且通过对相应节段在所述短轴切面中的面积变化情况求倒数来得到。

在一些实施例中，所述处理器还配置为：在呈现所述左心室短轴切面的医学图像时，在各个节段附近呈现其在所述短轴切面内的第三应变情况连同其在垂直于所述短轴切面的方向上的第四应变情况。

在一些实施例中，所述第三应变情况还包括相应节段的周向长度变化情况和厚度变化情况、以及总周长变化情况和总面积变化情况，变化情况包括变化比率和变化速率中的至少一种。

根据本公开的第二方面，提供一种心脏医学图像的处理系统，所述处理系统包括：根据本公开各个实施例的处理装置；训练装置，所述训练装置包括：第一训练模块，其配置为利用标注有左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘的左心室长轴切面的医学图像的训练数据集，对所述第一学习网络进行训练；及第二训练模块，其配置为：利用标注有左心室心肌的外边缘和内边缘的左心室短轴切面的医学图像的训练数据集，对所述第二学习网络进行训练。

根据本公开的第三方面，提供一种非易失性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现如下步骤：基于所接收的心脏的左心室长轴切面的医学图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5；确定2n个节段中各个节段在所述长轴切面内的第一应变情况，所述第一应变情况包括相应节段的面积变化情况；基于2n个节段中各个节段在所述长轴切面内的面积变化情况，确定相应节段在垂直于所述长轴切面的方向上的第二应变情况。

根据本公开的各种实施例的心脏医学图像的处理方法、处理装置、处理系统和介质，能够自动、准确且迅速地识别、勾画和追踪各个心肌节段，并据此确定左心室全局或者局部的三维的应变情况，从而大大减少医生的工作负荷并便利医生更全面地评估心肌应变和各个层次的功能状况，且其实现的自动识别可以经训练持续受益于准确标注了心肌关注区域的心脏医学图像的数据集。

应当理解，前面的大体描述以及后续的详细描述只是例示性的和说明性的，并非对所要求保护的本发明的限制。

附图说明

在未必按照比例绘制的附图中，不同视图中相似的附图标记可以表示相似的构件。具有字母后缀的相似附图标记或具有不同字母后缀的相似附图标记可以表示相似构件的不同实例。附图通常作为示例而非限制地图示各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。

图1示出根据本公开第一实施例的心脏超声图像的处理方法的流程图。

图2(a)-2(e)示出根据本公开第二实施例的心脏超声图像的处理方法在图形用户界面上的示意图。

图3示出根据本公开第三实施例的心脏超声图像的处理方法的流程图。

图4(a)-4(d)示出根据本公开第四实施例的心脏超声图像的处理方法在图形用户界面上的示意图。

图5示出根据本公开第五实施例的心脏超声图像的处理装置的框图。

图6示出根据本公开第六实施例的心脏超声图像的处理系统的示意图。

具体实施方式

图1示出根据本公开第一实施例的心脏医学图像的处理方法100的流程图。在本文中，心脏的医学图像可以包括以各种成像模态对心脏部位采集的图像，所述成像模态包括但不限于超声成像、功能性MRI(例如，fMRI、DCE-MRI和扩散MRI)、锥形束CT(CBCT)、螺旋CT、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、和放疗射野成像等。下面以心脏的超声图像为例对本公开的处理方法进行说明，但要知道，所述处理方法除了心脏的超声图像以外，还可以灵活应用于其他各种成像模态的心脏的医学图像。

如图1所示，处理方法100始于步骤101，接收心脏的左心室长轴切面的超声图像。在一些实施例中，可以利用现有的超声采集装置及其与其配套的对心脏的左心室长短轴切面的超声图像进行呈现的软件平台，例如但不限于飞利浦旗下的3D心动超声产品及其配置的QLAB平台，来获得心脏的左心室长轴切面的超声图像。

在步骤102，基于所接收的心脏的左心室长轴切面的超声图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘。所述第一学习网络可以采用各种构型的图像分割深度学习网络，例如但不限于基于卷积网络与递归神经网络的依序连接构造的学习网络、U型学习网络(U-Net)或者蒙版-基于区域的卷积神经网络(Mask-RCNN)来构造的学习网络等。

接着，在步骤103，利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘。在一些实施例中，可以将左心室心肌的上边缘设置为与所述第一连线对齐。在步骤104，利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为3.5份，从而将其划分为7个心肌节段。如此划分得到的7个心肌节段符合心血管医生普遍遵循的AHA左室17节段划分方式，通常顺序地称为BIS节段、MIS节段、Aps节段、Apex节段、Mps节段、MAL节段和BAL节段。在一些实施例中，可以按照心血管医生的实际需求进行不同的节段划分，具体说来，可以将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5，如此，可以将BIS节段、MIS节段、Aps节段、Apex节段、Mps节段、MAL节段和BAL节段中的各个节段按照需求进行融合和细分，从而按照心血管医生的实际需求对其所关注的心肌部分提供动态识别和监控。

对于任何患者的心脏的左心室长轴切面的超声图像，都可以利用训练好的第一学习网络迅速准确且自动地实现7个心肌节段的划分。例如，可以在动态视频的每一帧中以自动方式迅速、准确且精细地划分7个心肌节段。通过跟踪不同时间划分的各个心肌节段，能够准确地检测到在长轴切面内不同节段的局部心肌运动。鉴于心肌运动与心肌纤维走向有很大相关性，以致不同心室、同一心室不同切面、同一切面的不同节段的局部心肌运动均具有特异性，这种细化到长轴切面的不同节段的局部心肌运动能够更精准全面地评价心功能。在一些实施例中，也可以整合所有7个心肌节段构成的整个心肌在心动周期中的运动情况，从而能够对心肌功能进行整体性的评价。

接着，在步骤105，可以确定7个节段中各个节段在所述长轴切面内的第一应变情况，所述第一应变情况包括相应节段的面积变化情况，从而可作为左心室心肌在长轴切面中的二维运动指标。在一些实施例中，还需要除了局部(各个节段)的面积变化情况之外的二维运动指标，包括但不限于相应节段的周向变化情况和厚度变化情况、总周长变化情况和总面积变化情况、以及纵向变化情况。利用上述步骤102-104，可以对不同时间点的长轴切面的超声图像进行节段分割，从而确定各个节段的实时面积，通过跟踪不同时间点的长轴切面的超声图像中的各个节段的面积，并将其与无应力状态下的左心室的相应节段的面积相比，可以获得其面积变化情况。在一些实施例中，通过对所有节段的面积求和，可以得到左心室的总面积。在一些实施例中，可以通过对各个节段的内外边缘的长度求平均，来确定相应节段的周向长度；通过追踪相应节段的周向长度的变化，可以确定相应节段的周向变化情况；通过对各个节段的周向长度求和，可以得到左心室的总周长。在一些实施例中，可以利用所确定的各个节段的面积除以相应节段的周向长度，来确定其厚度；如此可以跟踪相应节段的厚度的变化。在一些实施例中，可以确定所述第二连线的长度作为纵向尺寸，通过跟踪左心室的第二连线的长度变化，可以确定其纵向变化情况。

例如，变化情况可以包括变化比率(相较无应力状态下左心室的相应部分的参数的比率)和变化速率(所述变化比率的速率)中的至少一种，从而用作二维运动中的形变程度(变化比率)和形变速度(变化速率)的指标。

在步骤106，可以基于7个节段中各个节段在所述长轴切面内的面积变化情况，来确定相应节段在垂直于所述长轴切面的方向上的第二应变情况，作为与上述二维运动坐标垂直的维度上的运动坐标。如此，可以在彼此垂直的三个维度(长轴切面内的周向、厚度和垂直方向上的第二应变情况)上确定左心室的相应运动坐标，从而使得医生能够据此掌握心肌的三维伸缩情况，从而更全面地评估心肌形变。

相应节段在垂直于所述长轴切面的方向上的第二应变情况可以采用各种方式基于7个节段中各个节段在所述长轴切面内的面积变化情况来确定。具体说来，所述第二应变情况可以包括相应节段在该垂直方向上的长度变化情况。在一些实施例中，相应节段在垂直方向上的长度可以通过对相应节段在所述长轴切面中的面积求倒数来得到。心肌在运动过程中总体积基本保持不变，通过对相应节段在所述长轴切面中的面积求倒数即可准确方便地得到相应节段在垂直方向上的长度。在一些实施例中，也可以先采集实时3D超声心动图，由人工标注和确定各个节段在长轴切面内的面积与垂直方向上的长度，并建立两者之间的对应关系。后续可以利用预先建立的该对应关系，来基于7个节段中各个节段在所述长轴切面内的面积确定垂直方向上的长度。通过对临床数据的对比，发明人验证，基于人工标注的临床数据建立的对应关系与倒数关系吻合度高，进一步验证了求倒数得到相应节段在垂直方向上的长度的方式的准确性。

下面结合图形用户界面上的示例性图示，对以上处理流程100的实施例进行进一步说明。

如图2(a)所示，在所接收的心脏的左心室长轴切面的超声图像中，可以采用训练好的基于U-Net或者Mask-RCNN的深度学习网络，自动识别左心室两侧的二尖瓣基底点以及左心室心尖顶点(用☆标出)作为关键点。

可以采用基于U-Net或者Mask-RCNN的深度学习网络，识别画左心室心肌的外边缘和内边缘(用粗线标出)，如图2(b)所示。注意，图2(a)和图2(b)所示的步骤的执行顺序不受限制，也可以同步执行，可以使用不同的深度学习网络，也可以使用同一个深度学习网络，在此不赘述。

接着，如图2(c)所示，可以做一条通过左心室两侧的二尖瓣基底点的直线，该直线与左心室心肌的内外边缘从左到右分别相交于D、A、C、F四点，可以利用线段DA和CF作为心肌轮廓的上边缘。接着，做一条通过左心室心尖顶点和二尖瓣基底点连线中点的直线，该直线与左心室的内外边缘分别相交于B、E两点。

如图2(d)所示，可以将曲线DE、曲线AB、曲线EF、曲线BC各自均匀分为3.5份，并将内边缘和外边缘的相应整数份的划分点相连，例如将曲线DE的(从二尖瓣侧向心尖侧的)第k份的划分点与曲线AB的第k份的划分点相连(k为1-3的任何自然数)，将曲线FE的(从二尖瓣侧向心尖侧的)第k份的划分点与曲线CB的第k份的划分点相连(k为1-3的任何自然数)。如此，可以在长轴切面的超声图像中将左心室的心肌划分为7个节段，也就是图2(d)中所示的BIS节段、MIS节段、Aps节段、Apex节段、Mps节段、MAL节段和BAL节段。在此以n＝3.5作为示例进行说明，在n取其他数时，该方式也是适用的。

在一些实施例中，在呈现所述左心室长轴切面的医学图像时，在各个节段附近呈现其在所述长轴切面内的第一应变情况连同其在垂直于所述长轴切面的方向上的第二应变情况。例如，如图2(e)所示，可以在BAL节段附近呈现其在长轴切面内的第一应变情况，包括局部周向变化＝-18％，局部面积变化＝-30％，局部厚度变化＝-15％，以及第二应变情况，局部垂直变化＝+42.8％，其中，局部垂直变化表示该BAL节段在垂直于所述长轴切面的方向上的长度的变化比率。在一些实施例中，还可以呈现全局应变情况，例如，可以在左心室心尖顶点附近呈现：全局纵向变化＝-22％，总周长变化＝-17％，总面积变化＝-32％，如图2(e)所示。如此，可以让医生更直观地掌握各个心肌节段以及心肌整体的三维应变情况，从而更全面地评估心肌形变和性能。

图3示出根据本公开第三实施例的心脏超声图像的处理方法300的流程图。处理流程300始于步骤301，接收心脏的左心室短轴切面的超声图像。在步骤302，基于所接收的心脏的左心室短轴切面的超声图像，利用训练好的第二学习网络，勾画短轴切面中的左心室心肌的外边缘和内边缘。随后，在步骤303，确定短轴切面中的左心室心肌的重心。在步骤304，利用通过所述重心的三条直线，将所述短轴切面中的左心室心肌划分为6个节段，其中，三条直线相对于垂直直线所成角度分别为0度、60度和120度。在此以三条直线作为示例进行说明，但应知道，可以利用m条直线，将所述短轴切面中的左心室心肌划分为2m个节段，其中，m表示2到4中的任何一个自然数，m条直线中的第i条直线相对于垂直直线所成角度分别为180/m×(i-1)度，i表示1到m中的任何一个自然数。m可以按照心血管医生的实际需求进行选择，从而按照心血管医生的实际需求对其所关注的心肌部分提供动态识别和监控。

在步骤305，可以确定2m个节段中各个节段在所述短轴切面内的第三应变情况，所述第三应变情况可包括相应节段的面积变化情况。

在步骤306，可以基于2m个节段中各个节段在所述短轴切面内的第三应变情况，确定相应节段在垂直于所述短轴切面的方向上的第四应变情况。类似于上文中结合图1和图2所述的长轴切面的情况，可以在彼此垂直的三个维度(短轴切面内的周向、厚度和垂直方向上的第四应变情况)上确定左心室的相应运动坐标，从而使得医生能够据此掌握心肌的三维伸缩情况，从而更全面地评估心肌形变。在一些实施例中，所述第四应变情况包括相应节段的长度变化情况，且通过对相应节段在所述短轴切面中的面积变化情况求倒数来得到。在一些实施例中，所述第三应变情况还可以包括相应节段的周向变化情况和厚度变化情况、以及总周长变化情况和总面积变化情况，变化情况包括变化比率和变化速率中的至少一种。第三应变情况和第四应变情况可以采用的上述各种参数的含义和确定方式与上文中针对长轴切面描述的相应参数的含义和确定方式相似，在此不赘述。

处理流程300可以独立执行，也可以作为处理流程100的附加流程。

对于任何患者的心脏的左心室短轴切面的超声图像，都可以利用训练好的第二学习网络迅速准确且自动地实现6个心肌节段的划分。例如，可以在动态短轴切面的视频的每一帧中以自动方式迅速、准确且精细地划分6个心肌节段。通过跟踪不同时间划分的各个心肌节段，能够准确地检测到在短轴切面内不同节段的局部心肌运动。鉴于心肌运动与心肌纤维走向有很大相关性，以致不同心室、同一心室不同切面、同一切面的不同节段的局部心肌运动均具有特异性。在一些实施例中，可以在短轴切面中确定各个心肌节段在心动周期内的面积的变化情况以及面积与长度的比率(也就是心肌平均厚度)的变化情况中的至少一种、和/或相应变化的速率作为心肌应变指标，从而针对性且多维度(面积以及厚度)地定量评估生理及解剖意义明确的各个心肌节段的局部功能。在一些实施例中，也可以在短轴切面中确定心肌节段在心动周期内的总面积与总长度(也就是心肌平均厚度)的比率的变化情况、和/或相应变化的速率作为心肌应变指标，从而多维度地定量评估心肌的总体功能。

进一步地，可以将处理流程300与处理流程100配合执行，如此可以几乎实时地监控细化到长轴切面和短轴切面两者的不同节段的局部的三维心肌运动，从而能够多层面(长轴切面和短轴切面都是心脏功能评估的关键切面)多维度(三维地)更精准全面地评价心功能。在一些实施例中，也可以整合所有6个心肌节段构成的整个心肌在短轴切面中在心动周期中的三维运动情况，从而能够对心肌功能进行整体性的评价。

下面结合图形用户界面上的示例性图示，对以上处理流程300的实施例进行进一步说明。

如图4(a)所示，在所接收的心脏的左心室短轴切面的超声图像中，可以采用训练好的基于U-Net或者Mask-RCNN的深度学习网络，自动识别(例如勾画)左心室心肌的外边缘和内边缘。

随后，如图4(b)所示，可以确定短轴切面中的左心室心肌的重心。如图4(c)所示，可以做三条通过所述重心的直线，三条直线相对于垂直直线所成的角度分别为0度、60度、120度，与左心室心肌的内边缘和外边缘分别相交于G～L(内边缘)和A～F(外边缘)，总共12个交点。如此，这三条直线将短轴切面的心超影像中的左心室心肌划分为6个节段，如此划分得到的6个心肌节段符合心血管医生普遍遵循的AHA左室17节段划分方式，通常顺序地称为MIS节段、MI节段、MIL节段、MAL节段、MA节段和MAS节段。

在一些实施例中，在呈现左心室短轴切面的医学图像时，可以在各个节段附近呈现其在所述短轴切面内的第三应变情况连同其在垂直于所述短轴切面的方向上的第四应变情况。例如，如图4(d)所示，可以在MA节段附近呈现其在所述短轴切面内的第三应变情况：局部周长变化＝-18％，局部面积变化＝-30％，局部厚度变化＝-15％；以及垂直方向上的第四应变情况：局部垂直变化＝+42.8％。再例如，如图4(d)所示，还可以在合适的位置，例如短轴切面的内边缘中心附近，呈现全局应变情况：短轴切面内的总周向变化＝-17％，总面积变化＝-32％；垂直方向上的全局应变情况：全局垂直变化＝+47％。如此，可以让医生更直观地掌握各个心肌节段以及心肌整体的三维应变情况，从而更全面地评估心肌形变和性能。

在一些实施例中，心脏超声图像的处理装置500可以包括存储器505和处理器504，如图5所示，所述存储器505上存储有计算机可执行指令，所述处理器504执行所述计算机可执行指令时，可以实现根据本公开各种实施例的心脏超声图像的处理方法。

在一些实施例中，处理器504可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器504可以通信地耦合到存储器505并且被配置为执行存储在其上的计算机可执行指令，以执行诸如根据本公开各种实施例的心脏超声图像的处理方法。

在一些实施例中，存储器505可以是非暂时性计算机可读的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备，或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。

例如，心脏超声图像的处理装置500还可以包括通信接口503。在一些实施例中，通信接口503可以包括网络适配器、电缆连接器、串行连接器，USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、雷电接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE等)适配器等。处理装置500可以通过通信接口503连接到其他构件，例如超声图像采集装置、学习网络训练装置、医学图像数据库、PACS系统等。在一些实施例中，通信接口503可以配置为用于从超声图像采集装置接收心脏的左心室长轴切面和/或短轴切面的超声图像。在一些实施例中，通信接口503还可以配置为从学习网络训练装置接收训练好的学习网络，例如训练好的第一学习网络、第二学习网络和第二学习网络。

在一些实施例中，计算机可执行指令可以实现为多个程序模块。如图5所示，可以包括用于长轴切面的图像处理的程序模块，包括但不限于：基准识别模块506，其配置为：基于所接收的心脏的左心室长轴切面的超声图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；第二边缘设置模块508，其配置为：利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；第一节段划分模块509，其配置为：利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5。在一些实施例中，左心室心肌的外边缘和内边缘也可以采用与第一学习网络独立的训练好的另一学习网络来识别，并由第一边缘设置模块(未示出)来实现，在此不赘述。

在一些实施例中，还可以包括用于短轴切面的图像处理的程序模块，包括但不限于：第三边缘勾画模块510，其配置为：基于所接收的心脏的左心室短轴切面的超声图像，利用训练好的第二学习网络，勾画短轴切面中的左心室心肌的外边缘和内边缘；重心确定模块511，其配置为：确定短轴切面中的左心室心肌的重心；第二节段划分模块512，其配置为：利用通过所述重心的m条直线，将所述短轴切面中的左心室心肌划分为2m个节段，其中，m表示2到4中的任何一个自然数，m条直线中的第i条直线相对于垂直直线所成角度分别为180/m×(i-1)度，i表示1到m中的任何一个自然数。

在一些实施例中，还可以包括面内应变确定模块513和垂直应变确定模块514，分别被配置用于确定面内的应变情况和垂直方向上的应变情况。该面内应变确定模块513和垂直应变确定模块514对于短轴切面的图像处理和长轴切面的图像处理可以是共用的。具体说来，面内应变确定模块513可以配置为：确定2n个节段中各个节段在所述长轴切面内的第一应变情况，所述第一应变情况包括相应节段的面积变化情况，所述垂直应变确定模块514可以配置为：基于2n个节段中各个节段在所述长轴切面内的面积变化情况，确定相应节段在垂直于所述长轴切面的方向上的第二应变情况。面内应变确定模块513可以进一步配置为：确定2m个节段中各个节段在所述短轴切面内的第三应变情况，所述第三应变情况包括相应节段的面积变化情况，所述垂直应变确定模块514可以进一步配置为：基于2m个节段中各个节段在所述短轴切面内的第三应变情况，确定相应节段在垂直于所述短轴切面的方向上的第四应变情况。

在一些实施例中，上述处理装置500可以采用各种方式整合在心脏超声图像的现有处理平台上。例如，可以在心脏超声图像的现有处理平台上利用开发接口编写上述程序模块，从而实现与现有处理平台的兼容及对其的更新，从而降低实现该处理方法的硬件成本，更有助于该处理方法和装置的推广和应用。

虽然没有示出，在一些实施例中，处理器504可以在显示器上呈现节段的划分结果和/或心肌应变指标。显示器可以包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示器或任何其他类型的显示器，并提供显示器上呈现的图形用户界面(GUI)用于用户输入和图像/数据显示。在一些实施例中，可以在各个心肌节段附近示出其特有的心肌应变指标，从而便利医生对于局部的心肌功能的理解和判断。

图6示出根据本公开第六实施例的心脏超声图像的处理系统610的示意图。如图6所示，该处理系统610可以包括：超声采集装置602，其配置为采集患者的心动超声图像(视频)；心脏超声图像的处理装置600，其配置为接收来自超声采集装置602的心动超声图像(视频)；以及训练装置601，其配置为：利用从训练样本数据库609获得的相应的训练样本数据集，对第一学习网络和第二学习网络分别进行训练，并将训练好的学习网络传输给处理装置600，以供其使用。

在一些实施例中，训练装置601的硬件结构(通信接口603、处理器604和存储器605)可以与处理装置600(或500，通信接口503、处理器504和存储器505)的硬件结构类似，区别在于，存储器605存储的是用于学习网络训练的软件模块，而存储器505上存储的是用于图像处理的软件模块。

在一些实施例中，训练装置601可以包括第一训练模块606，其配置为利用标注有左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘的左心室长轴切面的超声图像的训练数据集，对所述第一学习网络进行训练；及第二训练模块607，其配置为：利用标注有左心室心肌的外边缘和内边缘的左心室短轴切面的超声图像的训练数据集，对所述第二学习网络进行训练。在一些实施例中，第一训练模块606可以划分为两个训练子模块，以：分别利用标注有左心室两侧的二尖瓣基底点和左心室心尖顶点的左心室长轴切面的超声图像的训练数据集，对相应的学习网络进行训练；以及利用标注有左心室心肌的外边缘和内边缘的左心室长轴切面的超声图像的训练数据集，对相应的学习网络进行训练。

在一些实施例中，所述训练可以基于训练数据集中的训练样本，采用损失函数利用随机梯度下降法或者批量梯度下降法来实现。例如，损失函数可以采用均方损失函数、交叉熵损失函数等等中的任何一种。

虽然图6中没有示出，但须知，在一些实施例中，可以在训练装置601的存储器605中存储患者或者某个人群专用的训练好的相应学习网络。例如，之前针对某类患者人群训练好了第一学习网络，该第一学习网络对于该类患者人群的长轴切面的心脏超声图像的左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘的识别表现较好。那么在其识别表现对于某个患者劣化之前，可以不进行训练；一段时间后，又对该患者进行心脏超声图像采集时，可以直接使用现成的第一学习网络来识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘。如此，可以显著降低训练的计算成本。

在一些实施例中，可以利用某类患者人群的训练好的学习网络的参数作为初始值，对该学习网络利用另一类相似的患者人群的训练样本集进行转移训练，从而得到适用于后者的训练好的学习网络。这种转移训练能够显著加快训练速度并降低计算成本。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是，发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。

Claims (9)

1.一种心脏医学图像的处理装置，其特征在于，所述处理装置包括：

接口，其配置为接收心脏的左心室长轴切面的医学图像；

处理器，其配置为：

基于所接收的心脏的左心室长轴切面的医学图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；

利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；

利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5；

确定2n个节段中各个节段在所述长轴切面内的第一应变情况，所述第一应变情况包括相应节段的面积变化情况；

基于2n个节段中各个节段在所述长轴切面内的面积变化情况，确定相应节段在垂直于所述长轴切面的方向上的第二应变情况；

所述第二应变情况包括相应节段的长度变化情况，且通过对相应节段在所述长轴切面中的面积变化情况求倒数来得到。

2.根据权利要求1所述的处理装置，其特征在于，所述处理器还配置为：在呈现所述左心室长轴切面的医学图像时，在各个节段附近呈现其在所述长轴切面内的第一应变情况连同其在垂直于所述长轴切面的方向上的第二应变情况。

3.根据权利要求1所述的处理装置，其特征在于，所述第一应变情况还包括相应节段的周向长度变化情况和厚度变化情况、总周长变化情况和总面积变化情况、以及中线两侧的纵向长度变化情况，变化情况包括变化比率和变化速率中的至少一种。

4.根据权利要求1所述的处理装置，其特征在于，所述接口还配置为接收心脏的左心室短轴切面的医学图像；

所述处理器还配置为：

基于所接收的心脏的左心室短轴切面的医学图像，利用训练好的第二学习网络，识别短轴切面中的左心室心肌的外边缘和内边缘；

确定短轴切面中的左心室心肌的重心；

利用通过所述重心的m条直线，将所述短轴切面中的左心室心肌划分为2m个节段，其中，m表示2到4中的任何一个自然数，m条直线中的第i条直线相对于垂直直线所成角度分别为180/m×(i-1)度，i表示1到m中的任何一个自然数；

确定2m个节段中各个节段在所述短轴切面内的第三应变情况，所述第三应变情况包括相应节段的面积变化情况；

基于2m个节段中各个节段在所述短轴切面内的第三应变情况，确定相应节段在垂直于所述短轴切面的方向上的第四应变情况。

5.根据权利要求4所述的处理装置，其特征在于，所述第四应变情况包括相应节段的长度变化情况，且通过对相应节段在所述短轴切面中的面积变化情况求倒数来得到。

6.根据权利要求4所述的处理装置，其特征在于，所述处理器还配置为：在呈现所述左心室短轴切面的医学图像时，在各个节段附近呈现其在所述短轴切面内的第三应变情况连同其在垂直于所述短轴切面的方向上的第四应变情况。

7.根据权利要求5所述的处理装置，其特征在于，所述第三应变情况还包括相应节段的周向长度变化情况和厚度变化情况、以及总周长变化情况和总面积变化情况，变化情况包括变化比率和变化速率中的至少一种。

8.一种心脏医学图像的处理系统，其特征在于，所述处理系统包括：

根据权利要求4-7中任何一项所述的处理装置；

训练装置，所述训练装置包括：

第一训练模块，其配置为利用标注有左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘的左心室长轴切面的医学图像的训练数据集，对所述第一学习网络进行训练；及

第二训练模块，其配置为：利用标注有左心室心肌的外边缘和内边缘的左心室短轴切面的医学图像的训练数据集，对所述第二学习网络进行训练。

9.一种非易失性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现如下步骤：

基于所接收的心脏的左心室长轴切面的医学图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；

利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；

利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5；

确定2n个节段中各个节段在所述长轴切面内的第一应变情况，所述第一应变情况包括相应节段的面积变化情况；

基于2n个节段中各个节段在所述长轴切面内的面积变化情况，确定相应节段在垂直于所述长轴切面的方向上的第二应变情况；

所述第二应变情况包括相应节段的长度变化情况，且通过对相应节段在所述长轴切面中的面积变化情况求倒数来得到。

Images