CN116168047A - 心脏瓣膜脱垂距离检测方法、电子设备和存储介质 - Google Patents

心脏瓣膜脱垂距离检测方法、电子设备和存储介质 Download PDF

Info

Publication number
CN116168047A
CN116168047A CN202111397055.7A CN202111397055A CN116168047A CN 116168047 A CN116168047 A CN 116168047A CN 202111397055 A CN202111397055 A CN 202111397055A CN 116168047 A CN116168047 A CN 116168047A
Authority
CN
China
Prior art keywords
current frame
prolapse
distance
heart valve
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111397055.7A
Other languages
English (en)
Inventor
请求不公布姓名
石思远
崔晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiwei Medical Technology Co ltd
Original Assignee
Shanghai Weiwei Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiwei Medical Technology Co ltd filed Critical Shanghai Weiwei Medical Technology Co ltd
Priority to CN202111397055.7A priority Critical patent/CN116168047A/zh
Publication of CN116168047A publication Critical patent/CN116168047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了一种心脏瓣膜脱垂距离检测方法、电子设备和存储介质,检测方法包括:根据当前帧心动图像,获取当前帧目标心脏瓣膜感兴趣区域的位置信息;根据所述当前帧目标心脏瓣膜感兴趣区域的位置信息,采用分割模型对所述当前帧心动图像所对应的当前帧目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像;对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离。本发明能够自动进行二尖瓣脱垂距离的检测,为正常和脱垂的瓣环的识别提供依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题。

Description

心脏瓣膜脱垂距离检测方法、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,特别涉及一种心脏瓣膜脱垂距离检测方法、电子设备和存储介质。
背景技术
二尖瓣脱垂(mitral valve prolapse)是临床上很常见心脏瓣膜病变之一,其发病率约为2%~4%,以中老年和女性多见,男女比例为1:2。此外,二尖瓣返流(mitralregurgitation,MR)是二尖瓣脱垂最常见的并发症,也是老年人群中常见的瓣膜病变。目前,二尖瓣脱垂和反流多在微创介入治疗技术上有巨大的进展,但对于预防和诊断上较无创新性,因此,利用医学影像深入分析二尖瓣脱垂,对于心脏瓣膜病变具有重要的社会效益和市场需求。
基于医学影像数据对二尖瓣疾病的诊断治疗具有十分重要的意义,随着软件技术和硬件效能的不断提升,计算机辅助诊断技术在医学领域的应用越来越广泛。通过将人体二尖瓣可视化并提供动态频谱图,能够帮助医师获得更多的二尖瓣脱垂诊断信息。因此,对二尖瓣长轴脱垂进行自动识别并提供临床测量指标,在临床医学应用上很有必要。
发明内容
本发明的目的在于提供一种心脏瓣膜脱垂距离检测方法、电子设备和存储介质,可以自动进行目标心脏瓣膜脱垂距离的检测,为正常和脱垂的瓣环的识别提供依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率。
为达到上述目的,本发明提供一种心脏瓣膜脱垂距离检测方法,包括:
根据当前帧心动图像,获取当前帧目标心脏瓣膜感兴趣区域的位置信息;
根据所述当前帧目标心脏瓣膜感兴趣区域的位置信息,采用分割模型对所述当前帧心动图像所对应的当前帧目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像;
对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离。
可选的,所述对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离,包括:
对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取当前帧连通域分析结果;
根据所述当前帧连通域分析结果,提取当前帧瓣叶关闭轮廓;
根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的脱垂距离。
可选的,所述根据所述当前帧连通域分析结果,提取当前帧瓣叶关闭轮廓,包括:
根据所述当前帧连通域分析结果,判断所述当前帧目标心脏瓣膜瓣叶掩膜图像中是否存在一个像素面积大于预设阈值的连通域;
若是,则提取像素面积大于预设阈值的所述连通域的外轮廓,以获取当前帧瓣叶关闭轮廓。
可选的,所述目标心脏瓣膜为二尖瓣,所述根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的脱垂距离,包括:
根据所述当前帧瓣叶关闭轮廓上的每一像素点的坐标,确定出两个瓣叶端点以及一个脱垂点;
连接两个所述瓣叶端点,以获取瓣环连线;
计算所述脱垂点到所述瓣环连线的垂直距离,以获取所述当前帧心动图像所对应的脱垂距离。
可选的,所述根据所述当前帧瓣叶关闭轮廓上的每一像素点的坐标,确定出两个瓣叶端点以及一个脱垂点,包括:
以所述当前帧二尖瓣瓣叶掩膜图像的左上角所在位置为原点创建坐标系,以获取所述当前帧瓣叶关闭轮廓上的每一像素点的坐标;
将所有所述像素点的X坐标进行排序,以确定出X坐标最大的像素点,并将其作为其中一个瓣叶端点;
将所有所述像素点的Y坐标进行排序,以确定出Y坐标最大的像素点,并将其作为另一个瓣叶端点;
将所有所述像素点的X坐标和Y坐标的和进行排序,以确定出坐标总值最大的像素点,并将其作为脱垂点。
可选的,所述根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的脱垂距离,包括:
根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的像素脱垂距离;
根据预先获取的像素距离与物理距离之间的对应关系以及所述像素脱垂距离,获取所述当前帧心动图像所对应的物理脱垂距离。
可选的,在获取所有帧心动图像所对应的脱垂距离后,所述方法还包括:
在最大脱垂距离所对应的心动图像上绘制出瓣叶关闭轮廓、瓣环连线以及脱垂点到所述瓣环连线的间距径线以及所述最大脱垂距离的文本内容并输出。
可选的,所述方法还包括:
根据各帧心动图像所对应的时序及脱垂距离,绘制用于表征帧数与脱垂距离之间的对应关系的脱垂距离图。
可选的,所述根据当前帧心动图像,获取当前帧目标心脏瓣膜感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取当前帧目标心脏瓣膜感兴趣区域的位置信息。
可选的,在采用目标检测模型对所述当前帧心动图像进行检测之前,所述方法还包括:
将所述当前帧心动图像的尺寸调整至预设尺寸。
为达到上述目的,本发明还提供一种电子设备,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器时,实现上文所述的心脏瓣膜脱垂距离检测方法。
为达到上述目的,本发明还提供一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器时,实现上文所述的心脏瓣膜脱垂距离检测方法。
与现有技术相比,本发明提供的心脏瓣膜脱垂距离检测方法、电子设备和存储介质具有以下优点:本发明先通过根据所获取到的当前帧心动图像,获取当前帧目标心脏瓣膜感兴趣区域的位置信息;再根据所述当前帧目标心脏瓣膜感兴趣区域的位置信息,采用分割模型对所述当前帧心动图像所对应的当前帧目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像;然后对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离。由此可见,本发明能够自动进行目标心脏瓣膜脱垂距离的检测,为正常和脱垂的瓣环的识别提供依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率,有效降低现有技术中利用超声心动图进行目标心脏瓣膜异常分析过程中的误诊而引起的风险。
附图说明
图1为本发明一实施方式中的心脏瓣膜脱垂距离检测方法的流程示意图;
图2为本发明一具体示例中的心室舒张期时的二尖瓣瓣叶掩膜图像;
图3为本发明一具体示例中的心室收缩期时的二尖瓣瓣叶掩膜图像;
图4为本发明一具体示例中的心室收缩期时的二尖瓣脱垂距离的显示示意图;
图5为本发明一具体示例中的医生勾画出的二尖瓣脱垂距离的示意图;
图6为本发明一具体示例中的间距径线的边框的绘制示意图;
图7为本发明一具体示例中的脱垂距离图;
图8为本发明一具体示例中的最大脱垂距离所对应的心动图像;
图9为本发明一具体示例中的目标检测模型的结构示意图;
图10a为本发明一具体示例中的第一残差模块的结构示意图;
图10b为本发明一具体示例中的第二残差模块的结构示意图;
图10c为本发明一具体示例中的第三残差模块的结构示意图;
图10d为本发明一具体示例中的第四残差模块的结构示意图;
图11为本发明一具体示例中的标注好的样本心动图像;
图12为密集连接块的结构示意图;
图13为本发明一具体示例中的分割模型的结构示意图;
图14为本发明一具体示例中的瓶颈层的结构示意图;
图15为本发明一具体示例中的过渡块的结构示意图;
图16为本发明一具体示例中的向上过渡块的结构示意图;
图17为本发明一实施方式中的电子设备的方框结构示意图;
其中,附图标记如下:
处理器-101;通信接口-102;存储器-103;通信总线-104。
具体实施方式
以下结合附图和具体实施方式对本发明提出的心脏瓣膜脱垂距离检测方法、电子设备和存储介质作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需要说明的是,附图采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂,请参阅附图。须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在与本发明所能产生的功效及所能达成的目的相同或近似的情况下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的核心思想在于提供一种心脏瓣膜脱垂距离检测方法、电子设备和存储介质,可以自动进行目标心脏瓣膜脱垂距离的检测,为正常和脱垂的瓣环的识别提供依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率。
需要说明的是,本发明实施方式的心脏瓣膜脱垂距离检测方法可应用于本发明实施方式的电子设备上,其中,该电子设备可以是个人计算机、移动终端等,该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。此外,需要说明的是,虽然本文是以超声心动图为例进行说明,但是如本领域技术人员所能理解的,所述心动图还可以为除超声设备以外的其它设备采集的心动图,本发明对此并不进行限定。另外,需要说明的是,虽然本文是以二尖瓣作为目标心脏瓣膜为例进行说明,但是如本领域技术人员所能理解的,所述目标心脏瓣膜还可以为三尖瓣、主动脉瓣、肺动脉瓣等,本发明对此并不进行限定。
为实现上述思想,本发明提供一种心脏瓣膜脱垂距离检测方法,请参考图1,其示意性地给出了本发明一实施方式提供的心脏瓣膜脱垂距离检测方法的流程示意图。如图1所示,所述心脏瓣膜脱垂距离检测方法包括如下步骤:
步骤S100、根据当前帧心动图像进行检测,获取当前帧二尖瓣感兴趣区域的位置信息;
步骤S200、根据所述当前帧二尖瓣感兴趣区域的位置信息,采用分割模型对所述当前帧心动图像所对应的当前帧二尖瓣感兴趣区域进行分割,以获取当前帧二尖瓣瓣叶掩膜图像;
步骤S300、对所述当前帧二尖瓣瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离。
由此,本发明提供的心脏瓣膜脱垂距离检测方法能够自动进行目标心脏瓣膜(例如二尖瓣)脱垂距离的检测,为正常和脱垂的瓣环的识别提供依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率,有效降低现有技术中利用超声心动图进行目标心脏瓣膜(例如二尖瓣)异常分析过程中的误诊而引起的风险。
具体地,所述当前帧心动图像是从所获取的超声心动视频(含有若干个心动周期)中提取得到的。视频分辨率可以根据具体情况进行设置,例如600×800,所述超声心动视频具体为超声设备采集的psax-av切面影像。需要说明的是,如本领域技术人员所能理解的,所述当前帧为动态变化的,即所述当前帧心动图像是随着时间而改变的,在完成当前帧心动图像的脱垂距离检测后,继续提取下一帧心动图像作为新的当前帧心动图像继续进行检测,直至完成所有帧的心动图像的检测。此外,需要说明的是,虽然本发明是以超声心动图为例进行说明,但是如本领域技术人员所能理解的,所述心动图还可以为采用除超声设备以外的其它医学设备(例如心脏内窥镜)采集的心动图,本发明对此并不进行限定。
在一种示范性的实施方式中,所述根据当前帧心动图像,获取当前帧目标心脏瓣膜感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取当前帧目标心脏瓣膜感兴趣区域的位置信息。
具体地,通过采用预先训练好的目标检测模型对所述当前帧心动图像进行检测后,可以获取当前帧心动图像所对应的当前帧目标心脏瓣膜感兴趣区域所在位置的预测结果,具体可以以预测出的当前帧目标心脏瓣膜感兴趣区域的边框的左上角的像素点的坐标以及右下角的像素点的坐标表示所预测出的当前帧目标心脏瓣膜感兴趣区域的位置信息。再根据所述当前帧目标心脏瓣膜感兴趣区域的位置信息,在所述当前帧心动图像上确定出对应的当前帧目标心脏瓣膜感兴趣区域并采用预先训练好的分割模型对所述当前帧目标心脏瓣膜感兴趣区域进行分割,即可获取当前帧目标心脏瓣膜瓣叶掩膜图像。
由于目标检测模型和分割模型的输入均为统一大小的图像,由此,在采用目标检测模型对所获取的当前帧心动图像进行检测之前,所述方法还包括:将所述当前帧心动图像的尺寸调整至预设尺寸。具体地,所述预设尺寸可以根据具体情况进行设置,本发明对此并不进行限定,例如可以将所述预设尺寸设置为320×320。进一步地,可以采用图像填充法将所述当前帧心动图像的尺寸调整至预设尺寸,具体地,可以以所述当前帧心动图像的较长边(即长度方向)的尺寸作为目标边长尺寸,以黑色像素点(像素值为0的像素点)填充较短边(即沿宽度方向)直至所述当前帧心动图像被填充至长宽均为目标边长尺寸的图像,再将填充后的图像放大或缩小一定倍数,以将所述当前帧心动图像的尺寸调整至预设尺寸。
对应地,所述根据所述当前帧目标心脏瓣膜感兴趣区域的位置信息,采用分割模型对所述当前帧心动图像所对应的当前帧目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像,包括:
根据所述当前帧目标心脏瓣膜感兴趣区域的位置信息,采用分割模型对调整至预设尺寸的所述当前帧心动图像所对应的当前帧目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像。
对应地,在对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析之前,所述方法还包括:将所述当前帧目标心脏瓣膜瓣叶掩膜图像调整至所述当前帧心动图像的原始尺寸。
所述对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离,包括:对调整至原始尺寸的所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离。
需要说明的是,如本领域技术人员所能理解的,在其它一些实施方式中,也可以直接对调整至预设尺寸的当前帧心动图像所对应的当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取调整至预设尺寸的当前帧心动图像所对应的脱垂距离,再根据预设尺寸与原始尺寸之间的转换关系,获取原始尺寸的当前帧心动图像所对应的脱垂距离。
在一种示范性的实施方式中,所述对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离,包括:
对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取当前帧连通域分析结果;
根据所述当前帧连通域分析结果,提取当前帧瓣叶关闭轮廓;
根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的脱垂距离。
由此,通过对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以提取出所有的连通域(即获取当前帧连通域分析结果),再根据提取出的所有连通域,提取当前帧瓣叶关闭轮廓(当心室处于收缩期时,目标心脏瓣膜关闭,此时采集的心动图像能够提取出瓣叶关闭轮廓;当心室处于开放期时,目标心脏瓣膜开放,此时采集的心动图像不能提取出瓣叶关闭轮廓,则心室舒张期所对应的心动图像的脱垂距离为0);最后再根据所述当前帧瓣叶关闭轮廓进行计算,即可获取所述当前帧心动图像所对应的脱垂距离。
进一步地,所述根据所述当前帧连通域分析结果,提取当前帧瓣叶关闭轮廓,包括:
根据所述当前帧连通域分析结果,判断所述当前帧二尖瓣瓣叶掩膜图像中是否存在一个像素面积大于预设阈值的连通域;
若是,则提取像素面积大于预设阈值的所述连通域的外轮廓,以获取当前帧瓣叶关闭轮廓。
请参考图2和图3,其中图2示意性地提供了一具体示例中的心室舒张期时的二尖瓣瓣叶掩膜图像;图3示意性地提供了一具体示例中的心室收缩期时的二尖瓣瓣叶掩膜图像。如图2所示,当所述当前帧心动图像的采集时刻是处于心室舒张期采集时,二尖瓣张开,则在二尖瓣瓣叶掩膜图像中,前瓣叶和后瓣叶分别各自对应一个较小的连通域,即在二尖瓣瓣叶掩膜图像中,不存在像素面积大于预设阈值的连通域;如图3所示,当所述当前帧心动图像的采集时刻是处于心室收缩期时,二尖瓣关闭,则在所述当前帧二尖瓣瓣叶掩膜图像中存在一个像素面积大于预设阈值的连通域。由此,本发明通过根据所述当前帧二尖瓣瓣叶掩膜图像的连通域分析结果,判断所述当前帧二尖瓣瓣叶掩膜图像中是否存在一个像素面积大于预设阈值的连通域;若是,则判定所述当前帧心动图像的采集时刻处于心室收缩期,进而提取所述连通域的外轮廓,以获取当前帧瓣叶关闭轮廓;若否,则判定所述当前帧心动图像的采集时刻处于心室舒张期,进而将当前帧心动图像所对应的脱垂距离用0表示。
在一种示范性的实施方式中,所述目标心脏瓣膜为二尖瓣,所述根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的脱垂距离,包括:
根据所述当前帧瓣叶关闭轮廓上的每一像素点的坐标,确定出两个瓣叶端点以及一个脱垂点;
连接两个所述瓣叶端点,以获取瓣环连线;
计算所述脱垂点到所述瓣环连线的垂直距离,以获取所述当前帧心动图像所对应的脱垂距离。
具体地,可以利用点到线段的投影方式,将所述脱垂点投影到以两个所述瓣叶端点作为端点的瓣环连线上以获取投影点,再计算所述脱垂点与所述投影点之间的欧式距离,即可获取脱垂点到瓣环连线的最短距离,即所述脱垂点到所述瓣环连线的垂直距离,进而获取所述当前帧心动图像所对应的脱垂距离。请继续参考图4,其示意性地给出了本发明一具体示例中的心室收缩期时的二尖瓣脱垂距离的显示示意图,其中图中的黑色虚线表示瓣环连线,白色实线表示脱垂点到瓣环连线的间距径线,所述间距径线的长度值即为脱垂点到瓣环连线的垂直距离,也即脱垂距离。需要说明的是,如本领域技术人员所能理解的,二尖瓣包括前瓣叶和后瓣叶,其中前瓣叶上的最远点(其中一个瓣叶端点)和后瓣叶上的最远点(另一个瓣叶端点)之间的连线即为瓣环连线。
进一步地,所述根据所述当前帧瓣叶关闭轮廓上的每一像素点的坐标,确定出两个瓣叶端点以及一个脱垂点,包括:
以所述当前帧二尖瓣瓣叶掩膜图像的左上角所在位置为原点创建坐标系,以获取所述当前帧瓣叶关闭轮廓上的每一像素点的坐标;
将所有所述像素点的X坐标进行排序,以确定出X坐标最大的像素点,并将其作为其中一个瓣叶端点;
将所有所述像素点的Y坐标进行排序,以确定出Y坐标最大的像素点,并将其作为另一个瓣叶端点;
将所有所述像素点的X坐标和Y坐标的和进行排序,以确定出坐标总值最大的像素点,并将其作为脱垂点。
由此,通过以所述当前帧二尖瓣瓣叶掩膜图像的左上角上的像素点为原点(0,0)创建坐标系,以获取所述当前帧瓣叶关闭轮廓上的每一像素点在该坐标系下的坐标,再将所有像素点的X坐标按从大到小的顺序进行排序,即可确定出X坐标最大的像素点,即其中一个瓣叶端点,也即瓣环连线的其中一个端点;再将所有像素点的Y坐标按从大到小的顺序进行排序,即可确定出Y坐标最大的像素点,即另一个瓣叶端点,也即瓣环连线的另一个端点;最后再将所有所述像素点的X坐标和Y坐标的和进行排序(即将所有像素点的坐标总值进行排序),即可确定出坐标总值最大的像素点,即脱垂点。
在一种示范性的实施方式中,所述根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的脱垂距离,包括:
根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的像素脱垂距离;
根据预先获取的像素距离与物理距离之间的对应关系以及所述像素脱垂距离,获取所述当前帧心动图像所对应的物理脱垂距离。
如前文所述,由于根据所述当前帧瓣叶关闭轮廓直接就算出的是所述当前帧心动图像在像素坐标系下的脱垂距离(单位为像素),即像素脱垂距离,为了更加便于医生提高诊断准确性,需要将其转换为真实的脱垂距离(单位为cm),由此,本发明通过根据预先获取的像素距离与物理距离之间的对应关系,即可将像素脱垂距离转换为对应的物理脱垂距离。在获取所有帧的心动图像所对应的物理脱垂距离后,即可获取最大的物理脱垂距离,医生根据最大的物理脱垂距离,即可判断患者是否存在心脏瓣膜脱垂(例如二尖瓣脱垂),即进行正常和脱垂的瓣环的识别。
具体地,可以根据医生事先勾画出的脱垂处到所述瓣环连线的间距径线,进行间距径线的边框的绘制,以获取所述边框的左上角的像素点的坐标以及所述边框的长和宽,并以此计算所述边框的对角线的像素长度,所述边框的对角线的像素长度即为脱垂处到所述瓣环连线的像素距离,再根据医生所标注出的脱垂处到瓣环连线的真实距离(即物理距离),即可获取像素距离与物理距离之间的对应关系。请参考图5和图6,其中,图5示意性地给出了本发明一具体示例中的医生勾画出的二尖瓣脱垂距离的示意图;图6为本发明一具体示例中的间距径线的边框的绘制示意图。如图5和图6所示,图5和图6中的虚线表示瓣环连线,图4和图5中的实线表示脱垂处到所述瓣环连线的间距径线,如图4中的文字内容所示,在该具体示例中,脱垂处到所述瓣环连线的真实距离为0.605cm,图5中的虚线框表示所绘制出的边框。
在一种示范性的实施方式中,在获取所有帧心动图像所对应的脱垂距离后,所述方法还包括:
在最大脱垂距离所对应的心动图像上绘制出瓣叶关闭轮廓、瓣环连线以及脱垂点到所述瓣环连线的间距径线以及所述最大脱垂距离的文本内容并输出。
请继续参考图4,如图4所示,图中的白色曲线即为瓣叶关闭轮廓,图中的黑色虚线即为瓣环连线,图中的白色实线即为脱垂点到所述瓣环连线的间距径线,图中右上文的文字“dist=0.76”(单位为cm)即为最大脱垂距离。由此,通过在最大脱垂距离所对应的心动图像上绘制出瓣叶关闭轮廓、瓣环连线以及脱垂点到所述瓣环连线的间距径线以及所述最大脱垂距离的文本内容并输出,可以便于医生更加直观地查看检测结果,更有利于提高医生诊断的准确率。
进一步地,在最大脱垂距离所对应的心动图像上绘制出瓣叶关闭轮廓、瓣环连线以及脱垂点到所述瓣环连线的间距径线以及所述最大脱垂距离的文本内容之后,所述方法还包括:
对所述心动图像进行去噪处理,以滤除所述心动图像上的噪声。
具体地,可以采用中值滤波法将所述心动图像中的每一像素点的灰度值设置为该像素点的邻域窗口内的所有像素点的灰度值的中值,其中滤波内核的尺寸参数可以根据具体情况进行设置,例如设置为5×5,由此通过采用中值滤波法可以有效去除所述心动图像中的椒盐噪声。需要说明的是,如本领域技术人员所能理解的,在其它一些实施方式中,还可以采用除中值滤波法以外的其它滤波法对所述心动图像进行滤波处理,本发明对此并不进行限定。
在一种示范性的实施方式中,所述方法还包括:
根据各帧心动图像所对应的时序及脱垂距离,绘制用于表征帧数与脱垂距离之间的对应关系的脱垂距离图。
请参考图7,其示意性地给出了本发明一具体示例中的脱垂距离图。如图7所示,所述脱垂距离图的横轴为帧数,纵轴为距离,由此,通过绘制所述脱垂距离图,可以显示出每一帧心动图像所对应的脱垂距离,从而更加便于医生查看检测结果。
在一种示范性的实施方式中,在获取所有帧心动图像所对应的脱垂距离后,所述方法还包括:
输出最大脱垂距离所对应的心动图像。
由此,通过输出最大脱垂距离所对应的心动图像(原始心动图像),可以便于医生根据所输出的心动图像,判断系统自动计算出的脱垂距离的准确性,进一步提高医生诊断的准确性。请参考图8,其示意性地给出了一具体示例中的最大脱垂距离所对应的心动图像。
在一种示范性的实施方式中,所述目标检测模型为ResNet50神经网络模型。由于ResNet中使用了跳跃连接(或称捷径),它将某一层的网络层激活值,直接传递给网络的更深层,另外跳跃连接只传递数据,通过跳跃连接,反向传播时信号可以无衰减地传递,不用担心梯度会发生改变,能够向上一层传递有效的梯度,由此,通过跳跃连接能够有效的缓解因为加深网络层而导致的梯度消失问题,通过Residual block(残差模块)的堆叠,可以构建非常深的网络模型,使深的网络层次也能进行有效的训练。
进一步地,所述目标检测模型包括第一卷积层、第一池化层、多个级联的残差子网络、第二池化层和全连接层,其中,所述第一卷积层用于对输入的所述当前帧心动图像进行目标心脏瓣膜特征(例如二尖瓣特征)的提取,所述第一池化层用于对所述第一卷积层的输出进行池化操作,所述残差子网络用于对所述第一池化层的输出或上一级所述残差子网络的输出进行目标心脏瓣膜特征(例如二尖瓣特征)提取,所述第二池化层用于对最后一级所述残差子网络的输出进行池化操作,所述全连接层用于对所述第二池化层的输出进行非线性映射回归,以获取当前帧目标心脏瓣膜感兴趣区域的位置信息。
更进一步地,每一所述残差子网络包括多个级联的残差模块,每一所述残差模块包括多个级联的第二卷积层,其中,第一级所述第二卷积层的输入与最后一级所述第二卷积层的输出相加后作为所述残差模块的输出。
进一步地,位于第一级的所述第二卷积层的卷积核的尺寸和位于最后一级的所述第二卷积层的卷积核的尺寸均为1×1。
具体地,请参考图9,其示意性地给出了本发明一具体示例中的目标检测模型的结构示意图。如图9所示,在本示例中,所述目标检测模型包括第一卷积层、第一池化层、第一残差子网络、第二残差子网络、第三残差子网络、第四残差子网络、第二池化层和全连接层。其中,所述第一卷积层用于对输入的所述当前帧心动图像进行目标心脏瓣膜特征(例如二尖瓣特征)的提取,所述第一池化层用于对所述第一卷积层的输出进行池化操作,所述第一残差子网络用于对所述第一池化层的输出进行目标心脏瓣膜特征(例如二尖瓣特征)提取,所述第二残差子网络用于对所述第一残差子网络的输出进行目标心脏瓣膜特征(例如二尖瓣特征)提取,所述第三残差子网络用于对所述第二残差子网络的输出进行目标心脏瓣膜特征(例如二尖瓣特征)提取,所述第四残差子网络用于对所述第三残差子网络的输出进行目标心脏瓣膜特征(例如二尖瓣特征)提取,所述第二池化层用于对所述第四残差子网络的输出进行池化操作,所述全连接层用于对所述第二池化层的输出进行非线性映射回归,以获取当前帧目标心脏瓣膜感兴趣区域的位置信息。进一步地,所述第一池化层为最大池化层,所述第二池化层为平均池化层。
进一步地,所述第一残差子网络包括3个级联的第一残差模块,所述第二残差子网络包括4个级联的第二残差模块,所述第三残差子网络包括6个级联的残差模块C1,所述第四残差子网络包括3个级联的第四残差模块。请继续参考图10a,其示意性地给出了本发明一具体示例中的第一残差模块的结构示意图。如图10a所示,所述第一残差模块包括3个级联的第二卷积层,分别为第二卷积层A1、第二卷积层A2和第二卷积层A3,其中第二卷积层A1的卷积核的尺寸为1×1,输出通道数为64,步长为1,第二卷积层A2的卷积核的尺寸为3×3,输出通道数为64,步长为1,第二卷积层A3的卷积核的尺寸为1×1,输出通道数为256,步长为1,所述第二卷积层A1的输入的恒等映射与所述第二卷积层A3的输出相加后作为所述第一残差模块的输出。请继续参考图10b,其示意性地给出了本发明一具体示例中的第二残差模块的结构示意图,如图10b所示,所述第二残差模块包括3个级联的第二卷积层,分别为第二卷积层B1、第二卷积层B2和第二卷积层B3,其中第二卷积层B1的卷积核的尺寸为1×1,输出通道数为128,步长为1,第二卷积层B2的卷积核的尺寸为3×3,输出通道数为128,步长为2,第二卷积层B3的卷积核的尺寸为1×1,输出通道数为512,步长为1,所述第二卷积层B1的输入的恒等映射与所述第二卷积层B3的输出相加后作为所述第二残差模块的输出。请继续参考图10c,其示意性地给出了本发明一具体示例中的第三残差模块的结构示意图,如图10c所示,所述第三残差模块包括3个级联的第二卷积层,分别为第二卷积层C1、第二卷积层C2和第二卷积层C3,其中第二卷积层C1的卷积核的尺寸为1×1,输出通道数为256,步长为1,第二卷积层C2的卷积核的尺寸为3×3,输出通道数为256,步长为2,第二卷积层C3的卷积核的尺寸为1×1,输出通道数为1024,步长为1,所述第二卷积层C1的输入的恒等映射与所述第二卷积层C3的输出相加后作为所述第三残差模块的输出。请继续参考图10d,其示意性地给出了本发明一具体示例中的第四残差模块的结构示意图,如图10d所示,所述第四残差模块包括3个级联的第二卷积层,分别为第二卷积层D1、第二卷积层D2和第二卷积层D3,其中第二卷积层D1的卷积核的尺寸为1×1,输出通道数为512,步长为1,第二卷积层D2的卷积核的尺寸为3×3,输出通道数为512,步长为2,第二卷积层D3的卷积核的尺寸为1×1,输出通道数为2048,步长为1,所述第二卷积层D1的输入的恒等映射与所述第二卷积层D3的输出相加后作为所述第四残差模块的输出。
由于所述第二卷积层A1与所述所述第二卷积层A3之间的跳跃连接、所述第二卷积层B1与所述第二卷积层B3之间的跳跃连接、所述第二卷积层C1与所述第二卷积层C3之间的跳跃连接以及所述第二卷积层D1与所述第二卷积层D3之间的跳跃连接均采用恒等映射连接,由此可以在不增加额外参数和计算量的基础上,加快目标检测模型的训练速度,提升目标检测模型的训练效果。
进一步地,所述目标检测模型训练过程中所采用的样本为已标注出目标心脏瓣膜感兴趣区域的样本心动图像。具体地,可以根据医生事先已勾画出感兴趣区域的样本心动图像,采用阈值分割法对该样本心动图像中的感兴趣区域进行分割,以提取出所有层级的轮廓特征(包括目标心脏瓣膜瓣叶的外轮廓和内轮廓),并获取各个轮廓的边框的左上角的像素点的坐标以及右下角的像素点的坐标(左上角的像素点的X坐标加上边框的宽即为右下角的像素点的X坐标,左上角的像素点的Y坐标加上边框的长即为右下角的像素点的Y坐标),将坐标总值(X坐标和Y坐标的和)最小的左上角的像素点的坐标作为目标心脏瓣膜感兴趣区域的外接框的左上角的像素点的坐标,将坐标总值(X坐标和Y坐标的和)最大的右下角的像素点的坐标作为目标心脏瓣膜感兴趣区域的外接框的右下角的像素点的坐标,从而根据目标心脏瓣膜感兴趣区域的外接框的左上角和右下角的像素点的坐标即可在医生事先勾画的样本心动图像中标注出目标心脏瓣膜感兴趣区域,已获取目标检测模型训练所需的样本。请参考图11,其示意性的给出了本发明一具体示例中的标注好的样本心动图像。如图11所示,图中的白色实线框所限定的区域为医生事先勾画出的目标心脏瓣膜(二尖瓣)感兴趣区域,图中的灰色实线框所限定的区域为最终标注出的目标心脏瓣膜(二尖瓣)感兴趣区域,最终标注出的目标心脏瓣膜(二尖瓣)感兴趣区域的位置信息由灰色实线框的左上角的像素点A和右下角的像素点B的坐标表示。
需要说明的是,如本领域技术人员所能理解的,由于目标检测模型需要统一大小的图像作为输入,因此需要将已标注出目标心脏瓣膜感兴趣区域的样本心动图像转换至预设尺寸,例如320×320。
在一种示范性的实施方式中,所述目标检测模型在训练过程中采用的损失函数为Focal Loss,Focal Loss的公式如下所示:
FL(Pt)=-(1-Pt)γlog(Pt)
式中,Pt表示预测概率,(1-Pt)γ是可调节因子,γ是可调节的聚焦参数。
由此,本发明通过采用引入了(1-Pt)γ作为可调节因子的Focal Loss函数作为模型训练过程中的损失函数,可以调节易分类样本权重的降低程度,更加便于模型的训练。
目标检测模型的模型参数包括两类:特征参数和超参数。特征参数是是神经网络模型不断迭代学习的,用于学习图像特征,例如目标心脏瓣膜特征(例如二尖瓣特征)。特征参数包括权重参数和偏置参数。超参数是在训练时人为设置的参数,只有设置合适的超参数才能从样本中学到特征参数。超参数可以包括学习率、隐藏层个数、卷积核大小、训练迭代次数,每次迭代批次大小。在具体训练时,将训练样本加载到预先构建的神经网络模型中,然后对网络模型中的参数进行初始设置,然后进行网络初始化,最后运行网络模型进行训练,训练一定的时间判断损失函数是否收敛,如果不收敛则继续训练,直至损失函数收敛为止,则训练过程完成,保存此时对应的权重参数。训练过程中,可采用随机梯度下降法更新网络的权重参数。作为示例,本发明将学习率设置为1e-5(即0.00001)并使用回调函数来更新学习率,在发现验证集的损失函数在2个epoch(训练周期)之后不再降低时,将学习率除以10,同时设置EarlyStopping(早停法)在监控平均精度均值(mAP)15个epoch(训练周期)后,截取保存结果最优的参数模型,以防止过拟合。其中,平均精度均值(mAP)的计算公式如下所示:
Figure BDA0003370697020000131
式中,P为准确率,R为召回率。
进一步地,本发明还采用测试集对训练好的目标检测模型进行测试,以评价目标检测模型的算法精度。具体地,可以通过计算所述目标检测模型的预测边框(预测的目标心脏瓣膜感兴趣区域的边框)与真实边框(真实的目标心脏瓣膜感兴趣区域的边框)的交并比IOU,以评价目标检测模型的算法精度。其中,交并比IOU的计算公式如下所示:
Figure BDA0003370697020000132
式中,A为测试集中的测试样本经目标检测模型检测后输出的预测边框,B为标注出的实际边框(即真实边框)。
在一种示范性的实施方式中,所述分割模型为DenseNet神经网络模型,由于DenseNet神经网络模型是一种具有密集连接的卷积神经网络,每一层的输入来自前面所有层的输出,这种神经网络结构加强了特征的传递,更有效利用了特征,另外DenseNet神经网络模型具有较好的抗过拟合性能,尤其适合于训练数据相对匮乏的应用。因此,采用DenseNet神经网络模型作为本发明中的分割模型,可以有效提高目标心脏瓣膜的分割效率和分割准确率。具体地,DenseNet神经网络模型由多个密集连接块通过过渡块连接组成,即任意相邻的两个密集连接块之间通过一过渡块相连,且密集连接块内的卷积输出通道的数量是一致的,以便于能够将每一层的特征信息进行叠加。
密集连接块中的一层称为瓶颈层,DenseNet中的密集连接至至将一个密集连接块中的每层与之后的所有层进行连接,实现特征复用。请参考图12,其示意性地给出了一具体示例中的密集连接块的结构示意图。如图12所示,假设一个密集连接块有L层瓶颈层,X0为密集连接块的输入(定义为第0层的输出),第l层将之前所有层的输出X0,……,XL-1作为输入,即第l层的输入与之前所有层的输出之间满足如下关系式:
Xl=HL([X0,X1,…XL-1])
其中,[X0,X1,…XL-1]表示将第0层到第L-1层的输出经过组合连接后作为第L层瓶颈层的输入,HL表示第L层瓶颈层的所有操作。具体地,每个所述瓶颈层都包含多种操作:批量归一化BN、ReLU激活函数和3×3卷积。
请继续参考图13,其示意性地给出了本发明一具体示例中的分割模型的结构示意图。如图13所示,在本示例中,所述分割模型包括依次连接的第三卷积层、第三池化层、第一密集连接块、第一过渡块、第二密集连接块、第二过渡块、第三密集连接块、第三过渡块、第四密集连接块、第一向上过渡块、第二向上过渡块以及第四卷积层,所述第三池化层优选为最大池化层。其中,所述第三卷积层用于对输入的图像(即当前帧心动图像的目标心脏瓣膜感兴趣区域)进行目标心脏瓣膜特征(例如二尖瓣特征)的提取,所述第三池化层用于对所述第三卷积层的输出进行池化操作,以去掉图像中的不必要的冗余信息,所述第一密集连接块用于对所述第三池化层的输出进行目标心脏瓣膜特征(例如二尖瓣特征)的提取,所述第一过渡块用于对所述第一密集连接块的输出进行压缩操作,以降低所述第一密集连接块所输出的特征图的尺寸,所述第二密集连接块用于对所述第一过渡块的输出进行目标心脏瓣膜特征(例如二尖瓣特征)的提取,所述第二过渡块用于对所述第二密集连接块的输出进行压缩操作,以降低所述第二密集连接块所输出的特征图的尺寸,所述第三密集连接块用于对所述第二过渡块的输出进行目标心脏瓣膜特征(例如二尖瓣特征)的提取,所述第三过渡块用于对所述第三密集连接块的输出进行压缩操作,以降低所述第三密集连接块所输出的特征图的尺寸,所述第一向上过渡块用于对所述第四密集连接块的输出进行反卷积操作,以增大所述第四密集连接块所输出的特征图的尺寸,所述第二向上过渡块用于对所述第一向上过渡块的输出进行反卷积操作,以增大所述第一向上过渡块所输出的特征图的尺寸,所述第四卷积层用于对所述第二向上过渡块的输出进行非线性映射回归,以获取目标心脏瓣膜瓣叶的分割结果。
具体地,所述第四卷积层可通过sigmoid函数对所述第二向上过渡块的输出进行非线性映射回归,sigmoid函数的公式如下所示:
Figure BDA0003370697020000151
由上式可知,Sigmoid函数可以将任意的输入实数映射到实数映射区间(0,1)内,当输入值x较大时,输出值g趋向于1,输入值x较小时,输出值g趋向于0。
需要说明的是,如本领域技术人员所能理解的,所述第一密集连接块、所述第二密集连接块、所述第三密集连接块和所述第四密集连接块均包括多个瓶颈层,且所述第一密集连接块、所述第二密集连接块、所述第三密集连接块和所述第四密集连接块所具有的瓶颈层的数目可以相同也可以不同,其具体数目可以根据实际需要进行设置,本发明对此并不进行限定,例如,所述第一密集连接块中可设有6层瓶颈层,所述第二密集连接块中可设有12层瓶颈层,所述第三密集连接块中可设有24层瓶颈层,所述第四密集连接块中可设有16层瓶颈层。
请继续参考图14,其示意性地给出了本发明一具体示例中的瓶颈层的结构示意图。如图14所示,所述瓶颈层包括依次连接的第一批量归一化层A、第一激活层A、第五卷积层A、第一批量归一化层B、第一激活层B和第五卷积层B,其中、第五卷积层A的卷积核的尺寸为1×1,第五卷积层B的卷积核的尺寸为3×3。由此,本发明通过在瓶颈层的3×3的卷积之前加入1×1的卷积可以减少特征映射图的数量和降低每张特征映射图的维度,以减少计算量,还能够融合各个通道的特征。此外,由于所述瓶颈层在执行1×1和3×3的卷积操作之前均进行批量归一化BN操作和ReLU激活操作,由此可以进一步提升训练速度和收敛效率。
请继续参考图15,其示意性地给出了本发明一具体示例中的过渡块的结构示意图。如图15所示,所述第一过渡块、所述第二过渡块和所述第三过渡块均包括依次连接的第二批量归一化层、第二激活层、第六卷积层和第四池化层,所述第四池化层优选为平均池化层。其中,所述第五卷积层的卷积核的尺寸为1×1。由此,通过所述第五卷积层的卷积操作能够对特征映射图进行降维,通过第四池化层的平均池化操作可以解决特征映射图的通道数过多的问题,防止过多的密集连接块导致的模型复杂化问题。此外,由于每一过渡块在进行1×1的卷积操作之前还进行批量归一化BN操作和ReLU激活操作,由此可以进一步压缩参数数量。
请继续参考图16,其示意性地给出了本发明一具体示例中的向上过渡块的结构示意图。如图13所示,所述第一向上过渡块和所述第二向上过渡块均包括依次连接的第三批量归一化层A、第三激活层A、第七卷积层A、第三批量归一化层B、第三激活层B、第七卷积层B、第三批量归一化层C、第三激活层C和反卷积层,其中,所述第七卷积层A和所述第七卷积层B的卷积核的尺寸均为3×3。
进一步地,所述分割模型训练过程中所采用的样本为已标注出目标心脏瓣膜感兴趣区域的样本心动图像以及与所述样本心动图像对应的目标心脏瓣膜瓣叶掩膜图像。具体地,可以采用OpenCV轮廓提取算法,在所述样本心动图像中的目标心脏瓣膜感兴趣区域查找目标心脏瓣膜轮廓,以分割出目标心脏瓣膜瓣叶掩膜图像。请继续参考图11,如图11所示,图中的白色实线轮廓即为查找出的目标心脏瓣膜轮廓。
需要说明的是,如本领域技术人员所能理解的,由于分割模型需要统一大小的图像作为输入,因此需要将已标注出目标心脏瓣膜感兴趣区域的样本心动图像以及其对应的目标心脏瓣膜瓣叶掩膜图像均转换至预设尺寸,例如320×320。
在一种示范性的实施方式中,所述分割模型在训练过程中采用的损失函数为binary_crossentropy交叉熵损失函数,binary_crossentropy交叉熵损失函数的公式如下所示:
Figure BDA0003370697020000161
Figure BDA0003370697020000162
式中,yi为真实标签,
Figure BDA0003370697020000163
为预测结果。
进一步地,在完成分割模型的训练后本发明还采用Dice coefficient公式对所述分割模型的算法精度进行评价,Dice coefficient公式如下所示:
Figure BDA0003370697020000164
式中,X为预测结果,Y为真实标签。
作为一种示例,在分割模型的训练过程中,设置学习率为1e-3(即0.001),并使用Adam(adaptive moment estimation)为优化器,利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,并在优化器的参数中增加clipnorm=0.001用于对梯度进行裁剪。
基于同一发明构思,本发明还提供一种电子设备,请参考图17,示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图17所示,所述电子设备包括处理器101和存储器103,所述存储器103上存储有计算机程序,所述计算机程序被所述处理器101时,实现上文所述的心脏瓣膜脱垂距离检测方法。由于本发明提供的电子设备与本发明提供的心脏瓣膜脱垂距离检测方法属于同一发明构思,因此本发明提供的电子设备具有上文所述的心脏瓣膜脱垂距离检测方法的所有优点,故对此不再进行赘述。
如图17所示,所述电子设备还包括通信接口102和通信总线104,其中所述处理器101、所述通信接口102、所述存储器103通过通信总线104完成相互间的通信。所述通信总线104可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线104可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。所述通信接口102用于上述电子设备与其他设备之间的通信。
本发明中所称处理器101可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器101是所述电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
所述存储器103可用于存储所述计算机程序,所述处理器101通过运行或存储在所述存储器103内的计算机程序,以及调用存储在存储器103内的数据,实现所述电子设备的各种功能。
所述存储器103可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明还提供了一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器时可以实现上文所述的心脏瓣膜脱垂距离检测方法。由于本发明提供的可读存储介质与本发明提供的心脏瓣膜脱垂距离检测方法属于同一发明构思,因此本发明提供的可读存储介质具有上文所述的心脏瓣膜脱垂距离检测方法的所有优点,故对此不再进行赘述。
本发明实施方式的可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上、部分地在用户计算机上、作为一个独立的软件包、部分在用户计算机上部分在远程计算机上、或者完全在远程计算机或服务器上。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述,与现有技术相比,本发明提供的心脏瓣膜脱垂距离检测方法、电子设备和存储介质具有以下优点:本发明先通过根据所获取到的当前帧心动图像,获取当前帧目标心脏瓣膜感兴趣区域的位置信息;再根据所述当前帧目标心脏瓣膜感兴趣区域的位置信息,采用分割模型对所述当前帧心动图像所对应的当前帧目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像;然后对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离。由此可见,本发明能够自动进行目标心脏瓣膜脱垂距离的检测,为正常和脱垂的瓣环的识别提供依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率,有效降低现有技术中利用超声心动图进行目标心脏瓣膜异常分析过程中的误诊而引起的风险。
应当注意的是,在本文的实施方式中所揭露的装置和方法,也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的,例如,附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可指令,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地,它们有时也可以按相反的顺序,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用于规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
上述描述仅是对本发明较佳实施方式的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于本发明的保护范围。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若这些修改和变型属于本发明及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

Claims (12)

1.一种心脏瓣膜脱垂距离检测方法,其特征在于,包括:
根据当前帧心动图像,获取当前帧目标心脏瓣膜感兴趣区域的位置信息;
根据所述当前帧目标心脏瓣膜感兴趣区域的位置信息,采用分割模型对所述当前帧心动图像所对应的当前帧目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像;
对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离。
2.根据权利要求1所述的心脏瓣膜脱垂距离检测方法,其特征在于,所述对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的脱垂距离,包括:
对所述当前帧目标心脏瓣膜瓣叶掩膜图像进行连通域分析,以获取当前帧连通域分析结果;
根据所述当前帧连通域分析结果,提取当前帧瓣叶关闭轮廓;
根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的脱垂距离。
3.根据权利要求2所述的心脏瓣膜脱垂距离检测方法,其特征在于,所述根据所述当前帧连通域分析结果,提取当前帧瓣叶关闭轮廓,包括:
根据所述当前帧连通域分析结果,判断所述当前帧目标心脏瓣膜瓣叶掩膜图像中是否存在一个像素面积大于预设阈值的连通域;
若是,则提取像素面积大于预设阈值的所述连通域的外轮廓,以获取当前帧瓣叶关闭轮廓。
4.根据权利要求2所述的心脏瓣膜脱垂距离检测方法,其特征在于,所述目标心脏瓣膜为二尖瓣,所述根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的脱垂距离,包括:
根据所述当前帧瓣叶关闭轮廓上的每一像素点的坐标,确定出两个瓣叶端点以及一个脱垂点;
连接两个所述瓣叶端点,以获取瓣环连线;
计算所述脱垂点到所述瓣环连线的垂直距离,以获取所述当前帧心动图像所对应的脱垂距离。
5.根据权利要求4所述的心脏瓣膜脱垂距离检测方法,其特征在于,所述根据所述当前帧瓣叶关闭轮廓上的每一像素点的坐标,确定出两个瓣叶端点以及一个脱垂点,包括:
以所述当前帧二尖瓣瓣叶掩膜图像的左上角所在位置为原点创建坐标系,以获取所述当前帧瓣叶关闭轮廓上的每一像素点的坐标;
将所有所述像素点的X坐标进行排序,以确定出X坐标最大的像素点,并将其作为其中一个瓣叶端点;
将所有所述像素点的Y坐标进行排序,以确定出Y坐标最大的像素点,并将其作为另一个瓣叶端点;
将所有所述像素点的X坐标和Y坐标的和进行排序,以确定出坐标总值最大的像素点,并将其作为脱垂点。
6.根据权利要求2所述的心脏瓣膜脱垂距离检测方法,其特征在于,所述根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的脱垂距离,包括:
根据所述当前帧瓣叶关闭轮廓,获取所述当前帧心动图像所对应的像素脱垂距离;
根据预先获取的像素距离与物理距离之间的对应关系以及所述像素脱垂距离,获取所述当前帧心动图像所对应的物理脱垂距离。
7.根据权利要求1所述的心脏瓣膜脱垂距离检测方法,其特征在于,在获取所有帧心动图像所对应的脱垂距离后,所述方法还包括:
在最大脱垂距离所对应的心动图像上绘制出瓣叶关闭轮廓、瓣环连线以及脱垂点到所述瓣环连线的间距径线以及所述最大脱垂距离的文本内容并输出。
8.根据权利要求1所述的心脏瓣膜脱垂距离检测方法,其特征在于,所述方法还包括:
根据各帧心动图像所对应的时序及脱垂距离,绘制用于表征帧数与脱垂距离之间的对应关系的脱垂距离图。
9.根据权利要求1所述的心脏瓣膜脱垂距离检测方法,其特征在于,所述根据当前帧心动图像,获取当前帧目标心脏瓣膜感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取当前帧目标心脏瓣膜感兴趣区域的位置信息。
10.根据权利要求1所述的心脏瓣膜脱垂距离检测方法,其特征在于,在采用目标检测模型对所述当前帧心动图像进行检测之前,所述方法还包括:
将所述当前帧心动图像的尺寸调整至预设尺寸。
11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器时,实现权利要求1至10中任一项所述的检测方法。
12.一种可读存储介质,其特征在于,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器时,实现权利要求1至10中任一项所述的检测方法。
CN202111397055.7A 2021-11-23 2021-11-23 心脏瓣膜脱垂距离检测方法、电子设备和存储介质 Pending CN116168047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111397055.7A CN116168047A (zh) 2021-11-23 2021-11-23 心脏瓣膜脱垂距离检测方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111397055.7A CN116168047A (zh) 2021-11-23 2021-11-23 心脏瓣膜脱垂距离检测方法、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116168047A true CN116168047A (zh) 2023-05-26

Family

ID=86420495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111397055.7A Pending CN116168047A (zh) 2021-11-23 2021-11-23 心脏瓣膜脱垂距离检测方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116168047A (zh)

Similar Documents

Publication Publication Date Title
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
Horng et al. Cobb angle measurement of spine from x‐ray images using convolutional neural network
Kumamaru et al. Diagnostic accuracy of 3D deep-learning-based fully automated estimation of patient-level minimum fractional flow reserve from coronary computed tomography angiography
WO2020260936A1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
JP2021520568A (ja) 組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN111709485B (zh) 医学影像处理方法、装置和计算机设备
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN112690813B (zh) 基于分形理论的肿瘤异质性分析方法、系统、终端及介质
Corral Acero et al. SMOD-data augmentation based on statistical models of deformation to enhance segmentation in 2D cine cardiac MRI
WO2021159811A1 (zh) 青光眼辅助诊断装置、方法及存储介质
CN109003280B (zh) 一种双通道血管内超声影像的血管中内膜分割方法
Oguz et al. Combining deep learning and multi-atlas label fusion for automated placenta segmentation from 3DUS
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
LU500798A1 (en) Full-Automatic Segmentation Method for Coronary Artery Calcium Lesions Based on Non-Contrast Chest CT
Nagaraj et al. Carotid wall segmentation in longitudinal ultrasound images using structured random forest
CN112767403A (zh) 医学影像分割模型训练方法、医学影像分割方法及装置
CN116168047A (zh) 心脏瓣膜脱垂距离检测方法、电子设备和存储介质
CN116416221A (zh) 一种超声图像分析方法
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
Lal TC-SegNet: robust deep learning network for fully automatic two-chamber segmentation of two-dimensional echocardiography
WO2023226793A1 (zh) 二尖瓣开口间距检测方法、电子设备和存储介质
CN112766332A (zh) 医学影像检测模型训练方法、医学影像检测方法及装置
CN116167961A (zh) 心脏瓣膜参数获取方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination