CN110335236B - 心脏医学图像的处理方法、处理装置、处理系统和介质 - Google Patents

心脏医学图像的处理方法、处理装置、处理系统和介质 Download PDF

Info

Publication number
CN110335236B
CN110335236B CN201910355517.5A CN201910355517A CN110335236B CN 110335236 B CN110335236 B CN 110335236B CN 201910355517 A CN201910355517 A CN 201910355517A CN 110335236 B CN110335236 B CN 110335236B
Authority
CN
China
Prior art keywords
left ventricular
apex
myocardium
processing
cardiac
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910355517.5A
Other languages
English (en)
Other versions
CN110335236A (zh
Inventor
石磊
倪浩
郑永升
印宏坤
杨俊�
沈庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yizhi Medical Technology Co ltd
Original Assignee
Shanghai Yizhi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yizhi Medical Technology Co ltd filed Critical Shanghai Yizhi Medical Technology Co ltd
Priority to CN201910355517.5A priority Critical patent/CN110335236B/zh
Publication of CN110335236A publication Critical patent/CN110335236A/zh
Application granted granted Critical
Publication of CN110335236B publication Critical patent/CN110335236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种心脏医学图像的处理方法、处理装置、处理系统和介质。该方法包括：接收左心室长轴切面的心脏医学图像；利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、心尖顶点以及左心室心肌的外边缘和内边缘；利用二尖瓣基底点的第一连线，设置上边缘；利用上边缘、内边缘和外边缘围成左心室心肌，以第一连线的中点和左心室心尖顶点的第二连线作为中线，将左心室心肌在中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段。该心脏医学图像的处理方法、处理装置、处理系统和介质，能够自动、准确且迅速地勾画和识别各个心肌区域，大大减少医生的工作负荷，且其自动识别可经训练持续受益于标注心肌区域的训练数据集。

Description

心脏医学图像的处理方法、处理装置、处理系统和介质
技术领域
本公开大体涉及图像处理和分析。更具体地，本公开涉及一种心脏医学图像的处理方法、处理装置、处理系统和介质。
背景技术
传统评估整体心肌功能的参数主要是左心室射血分数，这种单一维度的参数不能全面评估整体心肌功能，更不能精确地反映局部心肌的舒缩运动，而许多常见的心血管疾病对心肌的损害往往是由局部到整体渐进性的过程。
心肌应变(myocardial strain,MS)是指心肌在心动周期中发生的形变，指相对于起始心肌长度或没有应力状态时心肌在某个维度上的尺寸的百分数变化，可用于诠释心肌的伸长或缩短、增厚或变薄。心肌应变率(strain rate,SR)反映了心肌发生形变的速度。心肌应变及应变率能够定量评估整体及局部心肌发生形变的能力和速度，不受邻近心肌运动及周围组织运动牵拉的影响，也不受探测角度的影响，进而能够客观、准确地评估心肌整体及局部功能。
心脏超声是心肌应变及应变率定量分析最先采用的影像技术。与心脏MR成像和心脏CT成像相比，超声成像费用低廉、实施方便且具有较高的时间和空间分辨力，能实时、动态、精准地量化心肌整体及局部的运动和功能，可用于临床心血管疾病预后评估及心脏亚临床疾病的早期诊断。超声成像在心肌应变及应变率的定量分析应用中主要有组织多普勒(doppler tissue imaging,DTI)技术、速度向量成像(velocity vector imaging,VVI)技术、超声斑点追踪(speckle tracking echocardiography,STE)技术等，目前STE的临床应用价值最大。STE根据测量维度的不同分为二维超声斑点追踪(2D-STE)和三维超声斑点追踪(3D-STE)。
STE是指通过超声波的反射及散射形成的声学斑点或声学标志追踪心动周期中心肌特定组织，利用特定的计算机软件半自动监测和分析声学斑点的活动轨迹来获取心肌运动信息，进而定量评估心脏整体或局部舒缩功能。2D-STE在高帧频二维灰阶影像基础上，逐帧地追踪兴趣区内不同心肌斑点在每一帧图像中的位置变化，利用模块匹配技术，与前一帧图像中的位置比较，从而自动追踪心肌内声学斑点在整个心动周期中的运动轨迹，定量测定心肌应变及应变率。
在目前的STE检测过程中，需要医生在切面超声图像中首先手动标注关键点位置，之后软件自动生成心肌分割节段，这种自动生成的节段分割通常不够准确，需要再由医生手动调整，以贴合实际心肌区域。在后续帧中，通过半自动追踪各个心肌节段内的心肌斑点运动轨迹，来实现心肌应变率计算。
目前的STE检测过程至少存在如下问题。由于是半自动操作，仪器无法自动识别心肌区域，需要医生在第一帧图像中手动勾画，同时仪器自带的勾画曲线追踪功能无法在后续动态视频中精确勾画心肌区域边缘，因此不能准确地检测到心肌斑点的变化轨迹。需要选取若干对心肌斑点并检测它们的平均运动轨迹来计算心肌应变率，然而对于肥厚型心肌病等心肌厚度不均匀的患者，仅通过有限对心肌斑点之间的距离变化不能真正反映心肌整体的形变。再者，心肌斑点在每一帧图像中的形态并非完全一致，往往会有一定的变化，甚至有些心肌斑点在某些帧中可能不会出现，给追踪带来了困难。
提出了本公开的技术方案以解决以上问题。
发明内容
本公开意图提供一种心脏医学图像的处理方法、处理装置、处理系统和介质，其能够自动、准确且迅速地勾画和识别各个心肌区域，从而大大减少了医生的工作负荷，且自动识别方法可以通过训练而持续受益于准确标注了心肌区域的心脏医学图像的数据集。
根据本公开的第一方面，提供一种心脏医学图像的处理方法，所述处理方法包括：接收心脏的左心室长轴切面的医学图像；基于所接收的心脏的左心室长轴切面的医学图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5。
在一些实施例中，通过将所述长轴切面中的左心室心肌在所述中线各侧的内边缘和外边缘的部分分别均匀划分为n份，并将内边缘和外边缘的相应整数份的划分点相连，从而将所述长轴切面中的左心室心肌划分为2n个节段，其中，n为3.5。
在一些实施例中，所述处理方法还包括：接收心脏的左心室短轴切面的医学图像；基于所接收的心脏的左心室短轴切面的医学图像，利用训练好的第二学习网络，识别短轴切面中的左心室心肌的外边缘和内边缘；确定短轴切面中的左心室心肌的重心；利用通过所述重心的m条直线，将所述短轴切面中的左心室心肌划分为2m个节段，其中，m表示2到4中的任何一个自然数，m条直线中的第i条直线相对于垂直直线所成角度分别为180/m×(i-1)度，i表示1到m中的任何一个自然数。
在一些实施例中，m为3。
在一些实施例中，所述处理方法还包括：确定各个心肌节段在心动周期内的面积的变化情况以及面积与长度的比率的变化情况中的至少一种、和/或相应变化的速率；和/或确定心肌节段在心动周期内的总面积与总长度的比率的变化情况、和/或相应变化的速率。
在一些实施例中，各个学习网络是基于U型学习网络(U-Net)或者蒙版-基于区域的卷积神经网络(Mask-RCNN)来构造的。
根据本公开的第二方面，提供一种心脏医学图像的处理装置，所述处理装置包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器执行所述计算机可执行指令时，实现根据本公开各个实施例的心脏医学图像的处理方法。
根据本公开的第三方面，提供一种心脏医学图像的处理装置，所述处理装置包括：接收模块，其配置为接收心脏的左心室长轴切面的医学图像；基准识别模块，其配置为：基于所接收的心脏的左心室长轴切面的医学图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；第二边缘设置模块，其配置为：利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；第一节段划分模块，其配置为：利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5。
根据本公开的第四方面，提供一种心脏医学图像的处理系统，所述处理系统包括：根据本公开各个实施例的处理装置；训练装置，所述训练装置包括：第一训练模块，其配置为利用标注有左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘的左心室长轴切面的医学图像的训练数据集，对所述第一学习网络进行训练；及第二训练模块，其配置为：利用标注有左心室心肌的外边缘和内边缘的左心室短轴切面的医学图像的训练数据集，对所述第二学习网络进行训练。
根据本公开的第五方面，提供一种非易失性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现根据本公开各个实施例的心脏医学图像的处理方法。
根据本公开的各种实施例的心脏医学图像的处理方法、处理装置、处理系统和介质，能够自动、准确且迅速地识别、勾画和追踪各个心肌区域，从而大大减少了医生的工作负荷，且其实现的自动识别可以经训练持续受益于准确标注了心肌区域的心脏医学图像的数据集。
应当理解，前面的大体描述以及后续的详细描述只是例示性的和说明性的，并非对所要求保护的本发明的限制。
附图说明
在未必按照比例绘制的附图中，不同视图中相似的附图标记可以表示相似的构件。具有字母后缀的相似附图标记或具有不同字母后缀的相似附图标记可以表示相似构件的不同实例。附图通常作为示例而非限制地图示各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。
图1示出根据本公开第一实施例的心脏超声图像的处理方法的流程图。
图2(a)-2(d)示出根据本公开第二实施例的心脏超声图像的处理方法在图形用户界面上的示意图。
图3示出根据本公开第三实施例的心脏超声图像的处理方法的流程图。
图4(a)-4(c)示出根据本公开第四实施例的心脏超声图像的处理方法在图形用户界面上的示意图。
图5示出根据本公开第五实施例的心脏超声图像的处理装置的框图。
图6示出根据本公开第六实施例的心脏超声图像的处理系统的示意图。
具体实施方式
图1示出根据本公开第一实施例的心脏医学图像的处理方法100的流程图。在本文中，心脏的医学图像可以包括以各种成像模态对心脏部位采集的图像，所述成像模态包括但不限于超声成像、功能性MRI(例如，fMRI、DCE-MRI和扩散MRI)、锥形束CT(CBCT)、螺旋CT、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、X射线成像、光学断层摄影、荧光成像、和放疗射野成像等。下面以心脏的超声图像为例对本公开的处理方法进行说明，但要知道，所述处理方法除了心脏的超声图像以外，还可以灵活应用于其他各种成像模态的心脏的医学图像。
如图1所示，处理方法100始于步骤101，接收心脏的左心室长轴切面的超声图像。在一些实施例中，可以利用现有的超声采集装置及其与其配套的对心脏的左心室长短轴切面的超声图像进行呈现的软件平台，例如但不限于飞利浦旗下的3D心动超声产品及其配置的QLAB平台，来获得心脏的左心室长轴切面的超声图像。
在步骤102，基于所接收的心脏的左心室长轴切面的超声图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘。所述第一学习网络可以采用各种构型的图像分割深度学习网络，例如但不限于基于卷积网络与递归神经网络的依序连接构造的学习网络、U型学习网络(U-Net)或者蒙版-基于区域的卷积神经网络(Mask-RCNN)来构造的学习网络等。
接着，在步骤103，利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘。在一些实施例中，可以将左心室心肌的上边缘设置为与所述第一连线对齐。在步骤104，利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为3.5份，从而将其划分为7个心肌节段。如此划分得到的7个心肌节段符合心血管医生普遍遵循的AHA左室17节段划分方式，通常顺序地称为BIS节段、MIS节段、Aps节段、Apex节段、Mps节段、MAL节段和BAL节段。在一些实施例中，可以按照心血管医生的实际需求进行不同的节段划分，具体说来，可以将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5，如此，可以将BIS节段、MIS节段、Aps节段、Apex节段、Mps节段、MAL节段和BAL节段中的各个节段按照需求进行融合和细分，从而按照心血管医生的实际需求对其所关注的心肌部分提供动态识别和监控。
对于任何患者的心脏的左心室长轴切面的超声图像，都可以利用训练好的第一学习网络迅速准确且自动地实现7个心肌节段的划分。例如，可以在动态视频的每一帧中以自动方式迅速、准确且精细地划分7个心肌节段。通过跟踪不同时间划分的各个心肌节段，能够准确地检测到在长轴切面内不同节段的局部心肌运动。鉴于心肌运动与心肌纤维走向有很大相关性，以致不同心室、同一心室不同切面、同一切面的不同节段的局部心肌运动均具有特异性，这种细化到长轴切面的不同节段的局部心肌运动能够更精准全面地评价心功能。在一些实施例中，也可以整合所有7个心肌节段构成的整个心肌在心动周期中的运动情况，从而能够对心肌功能进行整体性的评价。
下面结合图形用户界面上的示例性图示，对以上处理流程100的实施例进行进一步说明。
如图2(a)所示，在所接收的心脏的左心室长轴切面的超声图像中，可以采用训练好的基于U-Net或者Mask-RCNN的深度学习网络，自动识别左心室两侧的二尖瓣基底点以及左心室心尖顶点(用☆标出)作为关键点。
可以采用基于U-Net或者Mask-RCNN的深度学习网络，识别画左心室心肌的外边缘和内边缘(用粗线标出)，如图2(b)所示。注意，图2(a)和图2(b)所示的步骤的执行顺序不受限制，也可以同步执行，可以使用不同的深度学习网络，也可以使用同一个深度学习网络，在此不赘述。
接着，如图2(c)所示，可以做一条通过左心室两侧的二尖瓣基底点的直线，该直线与左心室心肌的内外边缘从左到右分别相交于D、A、C、F四点，可以利用线段DA和CF作为心肌轮廓的上边缘。接着，做一条通过左心室心尖顶点和二尖瓣基底点连线中点的直线，该直线与左心室的内外边缘分别相交于B、E两点。
如图2(d)所示，可以将曲线DE、曲线AB、曲线EF、曲线BC各自均匀分为3.5份，并将内边缘和外边缘的相应整数份的划分点相连，例如将曲线DE的(从二尖瓣侧向心尖侧的)第k份的划分点与曲线AB的第k份的划分点相连(k为1-3的任何自然数)，将曲线FE的(从二尖瓣侧向心尖侧的)第k份的划分点与曲线CB的第k份的划分点相连(k为1-3的任何自然数)。如此，可以在长轴切面心超影像中将左心室的心肌划分为7个节段。在此以n＝3.5作为示例进行说明，在n取其他数时，该方式也是适用的。
在一些实施例中，可以分别根据每个心肌节段在心动周期的各个维度上的运动变化计算心肌应变指标，例如可以确定各个心肌节段在心动周期内的面积的变化情况以及面积与长度的比率(也就是心肌平均厚度)的变化情况中的至少一种、和/或相应变化的速率作为心肌应变指标，从而针对性且多维度(面积以及厚度)地定量评估生理及解剖意义明确的各个心肌节段的局部功能。在一些实施例中，也可以确定心肌节段在心动周期内的总面积与总长度(也就是心肌平均厚度)的比率的变化情况、和/或相应变化的速率作为心肌应变指标，从而多维度地定量评估心肌的总体功能。
图3示出根据本公开第三实施例的心脏超声图像的处理方法300的流程图。处理流程300始于步骤301，接收心脏的左心室短轴切面的超声图像。在步骤302，基于所接收的心脏的左心室短轴切面的超声图像，利用训练好的第二学习网络，勾画短轴切面中的左心室心肌的外边缘和内边缘。随后，在步骤303，确定短轴切面中的左心室心肌的重心。在步骤304，利用通过所述重心的三条直线，将所述短轴切面中的左心室心肌划分为6个节段，其中，三条直线相对于垂直直线所成角度分别为0度、60度和120度。在此以三条直线作为示例进行说明，但应知道，可以利用m条直线，将所述短轴切面中的左心室心肌划分为2m个节段，其中，m表示2到4中的任何一个自然数，m条直线中的第i条直线相对于垂直直线所成角度分别为180/m×(i-1)度，i表示1到m中的任何一个自然数。m可以按照心血管医生的实际需求进行选择，从而按照心血管医生的实际需求对其所关注的心肌部分提供动态识别和监控。
处理流程300可以独立执行，也可以作为处理流程100的附加流程。
对于任何患者的心脏的左心室短轴切面的超声图像，都可以利用训练好的第二学习网络迅速准确且自动地实现6个心肌节段的划分。例如，可以在动态短轴切面的视频的每一帧中以自动方式迅速、准确且精细地划分6个心肌节段。通过跟踪不同时间划分的各个心肌节段，能够准确地检测到在短轴切面内不同节段的局部心肌运动。鉴于心肌运动与心肌纤维走向有很大相关性，以致不同心室、同一心室不同切面、同一切面的不同节段的局部心肌运动均具有特异性。在一些实施例中，可以在短轴切面中确定各个心肌节段在心动周期内的面积的变化情况以及面积与长度的比率(也就是心肌平均厚度)的变化情况中的至少一种、和/或相应变化的速率作为心肌应变指标，从而针对性且多维度(面积以及厚度)地定量评估生理及解剖意义明确的各个心肌节段的局部功能。在一些实施例中，也可以在短轴切面中确定心肌节段在心动周期内的总面积与总长度(也就是心肌平均厚度)的比率的变化情况、和/或相应变化的速率作为心肌应变指标，从而多维度地定量评估心肌的总体功能。
进一步地，可以将处理流程300与处理流程100配合执行，如此可以几乎实时地监控细化到长轴切面和短轴切面两者的不同节段的局部心肌运动，从而能够多层面(长轴切面和短轴切面都是心脏功能评估的关键切面)更精准全面地评价心功能。在一些实施例中，也可以整合所有6个心肌节段构成的整个心肌在短轴切面中在心动周期中的运动情况，从而能够对心肌功能进行整体性的评价。
下面结合图形用户界面上的示例性图示，对以上处理流程300的实施例进行进一步说明。
如图4(a)所示，在所接收的心脏的左心室短轴切面的超声图像中，可以采用训练好的基于U-Net或者Mask-RCNN的深度学习网络，自动识别(例如勾画)左心室心肌的外边缘和内边缘。
随后，如图4(b)所示，可以确定短轴切面中的左心室心肌的重心。如图4(c)所示，可以做三条通过所述重心的直线，三条直线相对于垂直直线所成的角度分别为0度、60度、120度，与左心室心肌的内边缘和外边缘分别相交于G～L(内边缘)和A～F(外边缘)，总共12个交点。如此，这三条直线将短轴切面的心超影像中的左心室心肌划分为6个节段，如此划分得到的6个心肌节段符合心血管医生普遍遵循的AHA左室17节段划分方式，通常顺序地称为MIS节段、MI节段、MIL节段、MAL节段、MA节段和MAS节段。
在一些实施例中，心脏超声图像的处理装置500可以包括存储器505和处理器504，如图5所示，所述存储器505上存储有计算机可执行指令，所述处理器504执行所述计算机可执行指令时，可以实现根据本公开各种实施例的心脏超声图像的处理方法。
在一些实施例中，处理器504可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器504可以通信地耦合到存储器505并且被配置为执行存储在其上的计算机可执行指令，以执行诸如根据本公开各种实施例的心脏超声图像的处理方法。
在一些实施例中，存储器505可以是非暂时性计算机可读的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备，或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。
例如，心脏超声图像的处理装置500还可以包括通信接口503。在一些实施例中，通信接口503可以包括网络适配器、电缆连接器、串行连接器，USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、雷电接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE等)适配器等。处理装置500可以通过通信接口503连接到其他构件，例如超声图像采集装置、学习网络训练装置、医学图像数据库、PACS系统等。在一些实施例中，通信接口503可以配置为用于从超声图像采集装置接收心脏的左心室长轴切面和/或短轴切面的超声图像。在一些实施例中，通信接口503还可以配置为从学习网络训练装置接收训练好的学习网络，例如训练好的第一学习网络、第二学习网络和第二学习网络。
在一些实施例中，计算机可执行指令可以实现为多个程序模块。如图5所示，可以包括用于长轴切面的图像处理的程序模块，包括但不限于：基准识别模块506，其配置为：基于所接收的心脏的左心室长轴切面的超声图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；第二边缘设置模块508，其配置为：利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；第一节段划分模块509，其配置为：利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5。在一些实施例中，左心室心肌的外边缘和内边缘也可以采用与第一学习网络独立的训练好的另一学习网络来识别，并由第一边缘设置模块507来实现，在此不赘述。
在一些实施例中，还可以包括用于短轴切面的图像处理的程序模块，包括但不限于：第三边缘勾画模块510，其配置为：基于所接收的心脏的左心室短轴切面的超声图像，利用训练好的第二学习网络，勾画短轴切面中的左心室心肌的外边缘和内边缘；重心确定模块511，其配置为：确定短轴切面中的左心室心肌的重心；第二节段划分模块512，其配置为：利用通过所述重心的m条直线，将所述短轴切面中的左心室心肌划分为2m个节段，其中，m表示2到4中的任何一个自然数，m条直线中的第i条直线相对于垂直直线所成角度分别为180/m×(i-1)度，i表示1到m中的任何一个自然数。
在一些实施例中，上述处理装置500可以采用各种方式整合在心脏超声图像的现有处理平台上。例如，可以在心脏超声图像的现有处理平台上利用开发接口编写上述程序模块，从而实现与现有处理平台的兼容及对其的更新，从而降低实现该处理方法的硬件成本，更有助于该处理方法和装置的推广和应用。
虽然没有示出，在一些实施例中，处理器504可以在显示器上呈现节段的划分结果和/或心肌应变指标。显示器可以包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示器或任何其他类型的显示器，并提供显示器上呈现的图形用户界面(GUI)用于用户输入和图像/数据显示。在一些实施例中，可以在各个心肌节段附近示出其特有的心肌应变指标，从而便利医生对于局部的心肌功能的理解和判断。
图6示出根据本公开第六实施例的心脏超声图像的处理系统610的示意图。如图6所示，该处理系统610可以包括：超声采集装置602，其配置为采集患者的心动超声图像(视频)；心脏超声图像的处理装置600，其配置为接收来自超声采集装置602的心动超声图像(视频)；以及训练装置601，其配置为：利用从训练样本数据库609获得的相应的训练样本数据集，对第一学习网络和第二学习网络分别进行训练，并将训练好的学习网络传输给处理装置600，以供其使用。
在一些实施例中，训练装置601的硬件结构(通信接口603、处理器604和存储器605)可以与处理装置600(或500，通信接口503、处理器504和存储器505)的硬件结构类似，区别在于，存储器605存储的是用于学习网络训练的软件模块，而存储器505上存储的是用于图像处理的软件模块。
在一些实施例中，训练装置601可以包括第一训练模块606，其配置为利用标注有左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘的左心室长轴切面的超声图像的训练数据集，对所述第一学习网络进行训练；及第二训练模块607，其配置为：利用标注有左心室心肌的外边缘和内边缘的左心室短轴切面的超声图像的训练数据集，对所述第二学习网络进行训练。在一些实施例中，第一训练模块606可以划分为两个训练子模块，以：分别利用标注有左心室两侧的二尖瓣基底点和左心室心尖顶点的左心室长轴切面的超声图像的训练数据集，对相应的学习网络进行训练；以及利用标注有左心室心肌的外边缘和内边缘的左心室长轴切面的超声图像的训练数据集，对相应的学习网络进行训练。
在一些实施例中，所述训练可以基于训练数据集中的训练样本，采用损失函数利用随机梯度下降法或者批量梯度下降法来实现。例如，损失函数可以采用均方损失函数、交叉熵损失函数等等中的任何一种。
虽然图6中没有示出，但须知，在一些实施例中，可以在训练装置601的存储器605中存储患者或者某个人群专用的训练好的相应学习网络。例如，之前针对某类患者人群训练好了第一学习网络，该第一学习网络对于该类患者人群的长轴切面的心脏超声图像的左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘的识别表现较好。那么在其识别表现对于某个患者劣化之前，可以不进行训练；一段时间后，又对该患者进行心脏超声图像采集时，可以直接使用现成的第一学习网络来识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘。如此，可以显著降低训练的计算成本。
在一些实施例中，可以利用某类患者人群的训练好的学习网络的参数作为初始值，对该学习网络利用另一类相似的患者人群的训练样本集进行转移训练，从而得到适用于后者的训练好的学习网络。这种转移训练能够显著加快训练速度并降低计算成本。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是，发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。

Claims (10)

1.一种心脏医学图像的处理方法，其特征在于，所述处理方法包括：
接收心脏的左心室长轴切面的医学图像；
基于所接收的心脏的左心室长轴切面的医学图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；
利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；
利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5。
2.根据权利要求1所述的处理方法，其特征在于，通过将所述长轴切面中的左心室心肌在所述中线各侧的内边缘和外边缘的部分分别均匀划分为n份，并将内边缘和外边缘的相应整数份的划分点相连，从而将所述长轴切面中的左心室心肌划分为2n个节段，其中，n为3.5。
3.根据权利要求1所述的处理方法，其特征在于，所述处理方法还包括：
接收心脏的左心室短轴切面的医学图像；
基于所接收的心脏的左心室短轴切面的医学图像，利用训练好的第二学习网络，识别短轴切面中的左心室心肌的外边缘和内边缘；
确定短轴切面中的左心室心肌的重心；
利用通过所述重心的m条直线，将所述短轴切面中的左心室心肌划分为2m个节段，其中，m表示2到4中的任何一个自然数，m条直线中的第i条直线相对于垂直直线所成角度分别为180/m×(i-1)度，i表示1到m中的任何一个自然数。
4.根据权利要求3所述的处理方法，其特征在于，m为3。
5.根据权利要求1-3中任何一项所述的处理方法，其特征在于，所述处理方法还包括：确定各个心肌节段在心动周期内的面积的变化情况以及面积与长度的比率的变化情况中的至少一种、和/或相应变化的速率；和/或
确定心肌节段在心动周期内的总面积与总长度的比率的变化情况、和/或相应变化的速率。
6.根据权利要求1-3中任何一项所述的处理方法，其特征在于，各个学习网络是基于U型学习网络或者蒙版-基于区域的卷积神经网络来构造的。
7.一种心脏医学图像的处理装置，所述处理装置包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器执行所述计算机可执行指令时，实现根据权利要求1-6中任何一项所述的心脏医学图像的处理方法。
8.一种心脏医学图像的处理装置，其特征在于，所述处理装置包括：
接收模块，其配置为接收心脏的左心室长轴切面的医学图像；
基准识别模块，其配置为：基于所接收的心脏的左心室长轴切面的医学图像，利用训练好的第一学习网络，识别左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘；
第二边缘设置模块，其配置为：利用左心室两侧的二尖瓣基底点的第一连线，设置左心室心肌的上边缘；
第一节段划分模块，其配置为：利用所述上边缘、内边缘和外边缘围成所述长轴切面中的左心室心肌，以所述第一连线的中点和所述左心室心尖顶点的第二连线作为中线，将所述长轴切面中的左心室心肌在所述中线两侧的部分分别均匀划分为n份，从而将其划分为2n个节段，其中n表示1到5中的任何一个自然数或者所述任何一个自然数加0.5。
9.一种心脏医学图像的处理系统，其特征在于，所述处理系统包括：
根据权利要求8所述的处理装置；
训练装置，所述训练装置包括：
第一训练模块，其配置为利用标注有左心室两侧的二尖瓣基底点、左心室心尖顶点以及左心室心肌的外边缘和内边缘的左心室长轴切面的医学图像的训练数据集，对所述第一学习网络进行训练；及
第二训练模块，其配置为：利用标注有左心室心肌的外边缘和内边缘的左心室短轴切面的医学图像的训练数据集，对第二学习网络进行训练。
10.一种非易失性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现根据权利要求1-6中任何一项所述的心脏医学图像的处理方法。
CN201910355517.5A 2019-04-29 2019-04-29 心脏医学图像的处理方法、处理装置、处理系统和介质 Active CN110335236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910355517.5A CN110335236B (zh) 2019-04-29 2019-04-29 心脏医学图像的处理方法、处理装置、处理系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910355517.5A CN110335236B (zh) 2019-04-29 2019-04-29 心脏医学图像的处理方法、处理装置、处理系统和介质

Publications (2)

Publication Number Publication Date
CN110335236A CN110335236A (zh) 2019-10-15
CN110335236B true CN110335236B (zh) 2021-06-11

Family

ID=68139772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910355517.5A Active CN110335236B (zh) 2019-04-29 2019-04-29 心脏医学图像的处理方法、处理装置、处理系统和介质

Country Status (1)

Country Link
CN (1) CN110335236B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308610B2 (en) * 2019-12-11 2022-04-19 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for machine learning based automatic bullseye plot generation
CN111815597B (zh) * 2020-07-01 2024-04-12 杭州脉流科技有限公司 基于ct影像的左心室长短轴切面提取方法、装置、计算机设备和存储介质
CN111754534B (zh) * 2020-07-01 2024-05-31 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN112308845B (zh) * 2020-11-03 2021-07-02 赛诺威盛科技(北京)股份有限公司 左心室分割方法、装置及电子设备
CN114882061A (zh) * 2021-06-08 2022-08-09 成都汇声科技有限公司 在超声心动图上确定心脏内膜边界的方法
CN113838068A (zh) * 2021-09-27 2021-12-24 深圳科亚医疗科技有限公司 心肌节段的自动分割方法、装置和存储介质
CN114419032B (zh) * 2022-03-14 2022-06-21 深圳科亚医疗科技有限公司 心脏左心室的心肌内膜和/或心肌外膜的分割方法和装置
CN115349851A (zh) * 2022-08-29 2022-11-18 江苏师范大学 一种基于房室平面泵模型的心功能诊断方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862206A (zh) * 2010-01-19 2010-10-20 何香芹 一种评价原发性高血压患者左心室长轴舒张功能方法
CN102411795A (zh) * 2011-08-16 2012-04-11 中国人民解放军第三军医大学第一附属医院 一种关于冠状动脉的多模图像的联合显示方法
CN108475428A (zh) * 2015-12-22 2018-08-31 皇家飞利浦有限公司 心脏模型引导的冠状动脉分割

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668354B2 (en) * 2005-03-23 2010-02-23 Siemens Medical Solutions Usa, Inc. System and method for tracking and classifying the left ventricle of the heart using cine-delayed enhancement magnetic resonance
ITTO20120030A1 (it) * 2012-01-17 2013-07-18 Consiglio Nazionale Ricerche Procedimento e sistema per la determinazione del volume di grasso cardiaco epicardico a partire da immagini volumetriche, e relativo programma per elaboratore

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862206A (zh) * 2010-01-19 2010-10-20 何香芹 一种评价原发性高血压患者左心室长轴舒张功能方法
CN102411795A (zh) * 2011-08-16 2012-04-11 中国人民解放军第三军医大学第一附属医院 一种关于冠状动脉的多模图像的联合显示方法
CN108475428A (zh) * 2015-12-22 2018-08-31 皇家飞利浦有限公司 心脏模型引导的冠状动脉分割

Also Published As

Publication number Publication date
CN110335236A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110335236B (zh) 心脏医学图像的处理方法、处理装置、处理系统和介质
CN110335235B (zh) 心脏医学图像的处理装置、处理系统和介质
US10909681B2 (en) Automated selection of an optimal image from a series of images
US10769791B2 (en) Systems and methods for cross-modality image segmentation
KR102698916B1 (ko) 초음파 분석을 위한 시스템, 방법 및 컴퓨터-접근가능 매체
US9179881B2 (en) Physics based image processing and evaluation process of perfusion images from radiology imaging
US8301224B2 (en) System and method for automatic, non-invasive diagnosis of pulmonary hypertension and measurement of mean pulmonary arterial pressure
Lin et al. Reproducibility of cine displacement encoding with stimulated echoes (DENSE) in human subjects
CN102301394B (zh) 透壁灌注梯度图像分析
CN110363772B (zh) 基于对抗网络的心脏mri分割方法及系统
KR102166647B1 (ko) 블록 기반 유연한 ai 모델을 이용한 지능형 의료 진단 및 진료 시스템
US9607392B2 (en) System and method of automatically detecting tissue abnormalities
WO2013037070A1 (en) Simultaneous segmentation and grading of structures for state determination
NL2004470A (en) System and method for center point trajectory mapping.
US11857288B2 (en) Systems and methods for phase unwrapping for dense MRI using deep learning
CN111481233B (zh) 胎儿颈项透明层厚度测量方法
CN113764101B (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN109215040A (zh) 一种基于多尺度加权学习的乳腺肿瘤分割方法
Shi et al. Convexity preserving level set for left ventricle segmentation
CN115349851A (zh) 一种基于房室平面泵模型的心功能诊断方法
Zhou et al. Carotid vessel-wall-volume ultrasound measurement via a UNet++ ensemble algorithm trained on small data sets
US20190197683A1 (en) System and methods for diagnostic image analysis and image quality assessment
Babin et al. Robust segmentation methods with an application to aortic pulse wave velocity calculation
CN115760851B (zh) 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质
WO2021067853A1 (en) Characterization of lesions via determination of vascular metrics using mri data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant