CN114419499A - 一种基于心脏超声视频的射血分数数据处理方法和装置 - Google Patents

一种基于心脏超声视频的射血分数数据处理方法和装置 Download PDF

Info

Publication number
CN114419499A
CN114419499A CN202210017835.2A CN202210017835A CN114419499A CN 114419499 A CN114419499 A CN 114419499A CN 202210017835 A CN202210017835 A CN 202210017835A CN 114419499 A CN114419499 A CN 114419499A
Authority
CN
China
Prior art keywords
image
area
left ventricle
point
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210017835.2A
Other languages
English (en)
Other versions
CN114419499B (zh
Inventor
王思翰
李喆
张碧莹
曹君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lepu Medical Technology Beijing Co Ltd
Original Assignee
Lepu Medical Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lepu Medical Technology Beijing Co Ltd filed Critical Lepu Medical Technology Beijing Co Ltd
Priority to CN202210017835.2A priority Critical patent/CN114419499B/zh
Publication of CN114419499A publication Critical patent/CN114419499A/zh
Application granted granted Critical
Publication of CN114419499B publication Critical patent/CN114419499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明实施例涉及一种基于心脏超声视频的射血分数数据处理方法和装置，所述方法包括：获取心脏超声视频；进行图像分帧得到第一分帧图像序列；基于图像目标关键点识别模型对各个第一分帧图像进行左心室纵长轴关键点识别；基于图像语义分割模型对各个第一分帧图像进行左心室语义分割处理生成带有左心室分割子图像的第二分帧图像；对第二分帧图像序列进行收缩期末、舒张期末分帧图像的筛选处理；进行左心室容积计算生成对应的左心室容积参数；生成收缩期末、舒张期末容积均值；根据收缩期末、舒张期末容积均值计算生成射血分数数据。通过本发明可以摆脱传统做法中的人工干预环节，可以提高射血分数计算精度与准确度。

Description

一种基于心脏超声视频的射血分数数据处理方法和装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于心脏超声视频的射血分数数据处理方法和装置。
背景技术
射血分数指每搏输出量也就是一次心搏中一侧心室射出的血量占心室舒张末期容积量的百分比，是判断心脏健康状态的重要指征之一。射血分数的计算方式为(心室舒张期末容积-心室收缩期末容积)/心室舒张期末容积。传统的射血分数测量方式为操作人员根据个人经验从心脏超声视频中筛选出舒张期末和收缩期末的视频分帧图像，再采用人工方式在筛选出的各个舒张期末、收缩期末图像上进行左心室内膜边界描计，再根据内膜边界描计点进行左心室的舒张期末、收缩期末容积估算。这种操作方式过于依赖人工经验，不但舒张期末、收缩期末图像的筛选精度无法保障，内膜标记的准确度也无法保障，自然估算出的射血分数准确度也会存在较大误差。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种基于心脏超声视频的射血分数数据处理方法、装置、电子设备及计算机可读存储介质，经由图像目标关键点识别模型来提高左心室纵长轴的标记精度，经由图像语义分割模型来提高左心室的识别精度，通过面积-时间曲线的显著性特征和时间间隔特征分析来提高期末超声图像识别精度，通过心室纵长轴切面微分体积累加计算来提高心室容积的计算精度。通过本发明，可以摆脱传统做法中的人工干预环节，可以提高射血分数计算精度与准确度。
为实现上述目的，本发明实施例第一方面提供了一种基于心脏超声视频的射血分数数据处理方法，所述方法包括：
获取心脏超声视频；
对所述心脏超声视频进行图像分帧处理得到对应的第一分帧图像序列；所述第一分帧图像序列包括多个第一分帧图像；
基于图像目标关键点识别模型对各个所述第一分帧图像进行左心室纵长轴关键点识别处理得到对应的两个长轴关键点坐标；
基于图像语义分割模型对各个第一分帧图像进行左心室语义分割处理生成带有左心室分割子图像的第二分帧图像，并由所述第二分帧图像构成第二分帧图像序列；
对所述第二分帧图像序列进行收缩期末分帧图像和舒张期末分帧图像的筛选处理，得到多个收缩期末图像和舒张期末图像；
根据所述收缩期末图像或所述舒张期末图像的所述左心室分割子图像和对应的所述两个纵长轴关键点坐标，进行左心室容积计算生成对应的左心室容积参数；
对所有所述收缩期末图像的所述左心室容积参数取均值生成收缩期末容积均值，并对所有所述舒张期末图像的所述左心室容积参数取均值生成舒张期末容积均值；
根据所述收缩期末容积均值和所述舒张期末容积均值进行射血分数计算生成射血分数数据，
Figure BDA0003460703840000021
优选的，所述图像目标关键点识别模型的网络结构为增加了关键点检测分支的Mask R-CNN网络结构，包括特征提取网络层、区域候选网络层、区域对齐网络层和区域头部网络层；所述特征提取网络层与所述区域候选网络层连接，所述区域候选网络层与所述区域对齐网络层连接；所述区域对齐网络层与所述区域头部网络层连接；所述特征提取网络层由五级残差网络和对应的五级特征金字塔网络构成；所述区域候选网络层包括五级区域候选网络，与所述五级特征金字塔网络对应；所述区域头部网络层包括三个子网络分别为目标检测分支网络、目标分割分支网络和关键点检测分支网络；所述五级残差网络为ResNet-50网络或BoTNet-50网络。
优选的，所述图像语义分割模型的网络结构为DeepLabV3网络结构。
优选的，所述第二分帧图像为二值图像，所述第二分帧图像的尺寸与所述第一分帧图像一致；所述第二分帧图像上，所述左心室分割子图像的所有像素点的像素值为预设的前景像素值，所述左心室分割子图像之外的所有像素点的像素值为预设的背景像素值。
优选的，所述对所述第二分帧图像序列进行收缩期末分帧图像和舒张期末分帧图像的筛选处理，得到多个收缩期末图像和舒张期末图像，具体包括：
统计所述第二分帧图像序列中各个所述左心室分割子图像的像素点总数，作为对应的心室面积参数；
按时间先后顺序对所有所述心室面积参数进行排序得到第一面积参数序列；并对所述第一面积参数序列进行面积-时间曲线转换处理生成对应的面积-时间曲线；
按数值从小到大的顺序对所有所述心室面积参数进行排序得到第二面积参数序列；从所述第二面积参数序列中筛选出一个较小边界值a和一个较大边界值b，并根据所述较小边界值a和所述较大边界值b计算生成显著性面积阈值，显著性面积阈值＝(b-a)/2；
根据所述显著性面积阈值对所述面积-时间曲线进行显著性峰值点与显著性谷值点标记；
根据预设的时间间隔阈值对所述面积-时间曲线上的显著性峰值点与显著性谷值点进行噪点过滤；完成噪点过滤的所述面积-时间曲线上，相邻的所述显著性峰值点间的峰峰间距以及相邻的所述显著性谷值点间的谷谷间距均大于所述时间间隔阈值；
将所述面积-时间曲线上剩余的所述显著性峰值点对应的所述第二分帧图像作为所述收缩期末图像，剩余的所述显著性谷值点对应的所述第二分帧图像作为所述舒张期末图像。
进一步的，所述根据所述显著性面积阈值对所述面积-时间曲线进行显著性峰值点与显著性谷值点标记，具体包括：
将所述面积-时间曲线上各个现有峰值点作为待评估峰值点；并对各个所述待评估峰值点进行显著性特征评估处理生成对应的第一显著性评估参数；并将所述第一显著性评估参数超过所述显著性面积阈值的所述待评估峰值点标记为所述显著性峰值点；
对所述面积-时间曲线进行曲线倒置处理生成对应的倒置面积-时间曲线；并将所述倒置面积-时间曲线上各个现有峰值点作为新的待评估峰值点；并对各个所述新的待评估峰值点进行显著性特征评估处理生成对应的第二显著性评估参数；并将所述第二显著性评估参数超过所述显著性面积阈值的所述待评估峰值点作为第一峰值点；并根据所述倒置面积-时间曲线与所述面积-时间曲线的曲线倒置对应关系，将所述面积-时间曲线中与各个所述第一峰值点成倒置对应关系的现有谷值点标记为所述显著性谷值点。
优选的，所述根据所述收缩期末图像或所述舒张期末图像的所述左心室分割子图像和对应的所述两个纵长轴关键点坐标，进行左心室容积计算生成对应的左心室容积参数，具体包括：
将所述收缩期末图像或所述舒张期末图像作为当前分帧图像；
在所述当前分帧图像上，对所述左心室分割子图像的边缘像素点进行识别，并将相邻边缘像素点的连接线段记为边缘线段；
在所述当前分帧图像上，在对应的所述两个纵长轴关键点坐标上进行关键点标记，并将两个关键点间的连接线段作为当前左心室纵长轴；
按预设的等分数量N对所述当前左心室纵长轴进行线段等分,得到除起始端点之外的N个等分点Pi，N≥i≥1；并将所述当前左心室纵长轴的等分线段长度作为等分高度h；
过每个所述等分点Pi做所述当前左心室纵长轴的垂线记为等分点垂线Li；
将与各个所述等分点垂线Li相交的左右边缘线段的交点记为对应的左垂线交点DLi和右垂线交点DRi；并统计各个所述等分点垂线Li对应的所述左垂线交点DLi和所述右垂线交点DRi的连接线段长度作为对应的等分点直径di；
将心室容积视为N个圆柱体积的叠加，根据所有所述等分点直径di、所述等分高度h和所述等分数量N计算左心室容积生成对应的所述左心室容积参数，
Figure BDA0003460703840000051
本发明实施例第二方面提供了一种实现上述第一方面所述的方法的装置，包括：获取模块、图像预处理模块、图像筛选模块和射血分数处理模块；
所述获取模块用于获取心脏超声视频；
所述图像预处理模块用于对所述心脏超声视频进行图像分帧处理得到对应的第一分帧图像序列；所述第一分帧图像序列包括多个第一分帧图像；并基于图像目标关键点识别模型对各个所述第一分帧图像进行左心室纵长轴关键点识别处理得到对应的两个长轴关键点坐标；并基于图像语义分割模型对各个第一分帧图像进行左心室语义分割处理生成带有左心室分割子图像的第二分帧图像，并由所述第二分帧图像构成第二分帧图像序列；
所述图像筛选模块用于对所述第二分帧图像序列进行收缩期末分帧图像和舒张期末分帧图像的筛选处理，得到多个收缩期末图像和舒张期末图像；
所述射血分数处理模块用于根据所述收缩期末图像或所述舒张期末图像的所述左心室分割子图像和对应的所述两个纵长轴关键点坐标，进行左心室容积计算生成对应的左心室容积参数；并对所有所述收缩期末图像的所述左心室容积参数取均值生成收缩期末容积均值，并对所有所述舒张期末图像的所述左心室容积参数取均值生成舒张期末容积均值；并根据所述收缩期末容积均值和所述舒张期末容积均值进行射血分数计算生成射血分数数据，
Figure BDA0003460703840000061
本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种基于心脏超声视频的射血分数数据处理方法、装置、电子设备及计算机可读存储介质，基于图像目标关键点识别模型从心脏超声图像中识别出左心室纵长轴关键点；基于图像语义分割模型从心脏超声图像中分割出左心室区域图像，并通过左心室区域图像的面积-时间曲线的显著性特征和时间间隔特征识别出舒张期末、收缩期末的超声图像；并基于纵长轴关键点坐标在舒张期末、收缩期末超声图像中定位出左心室纵长轴；通过对左心室纵长轴做等分垂线即可将左心室区域图像细分为多个区域片段，再以各个区域片段为左心室纵切面片段、根据区域片段尺寸可以算出左心室纵切面上各个分段的容积，再对所有计算容积进行累加即可得到各个舒张期末、收缩期末的心室容积；在得到所有舒张期末、收缩期末的心室容积之后，根据舒张期末心室容积均值和收缩期末心室容积均值算出射血分数。通过本发明，经由图像目标关键点识别模型提高了左心室纵长轴的标记精度，经由图像语义分割模型提高了左心室的识别精度，通过面积-时间曲线的显著性特征和时间间隔特征分析提高了期末超声图像识别精度，通过心室纵长轴切面微分体积累加计算提高了心室容积的计算精度，最终使得整体的射血分数计算精度与准确度得到了提高。
附图说明
图1为本发明实施例一提供的一种基于心脏超声视频的射血分数数据处理方法示意图；
图2为本发明实施例二提供的一种基于心脏超声视频的射血分数数据处理装置的模块结构图；
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例一提供的一种基于心脏超声视频的射血分数数据处理方法，如图1为本发明实施例一提供的一种基于心脏超声视频的射血分数数据处理方法示意图所示，本方法主要包括如下步骤：
步骤1，获取心脏超声视频。
这里，心脏超声视频即是心脏超声检查设备输出的超声视频数据。
步骤2，对心脏超声视频进行图像分帧处理得到对应的第一分帧图像序列；
其中，第一分帧图像序列包括多个第一分帧图像。
这里，按设定的视频帧采样率对心脏超声视频进行图像帧提取操作，第一分帧图像也就是提取出的单帧图像，每个第一分帧图像对应一个时间点参数。
步骤3，基于图像目标关键点识别模型对各个第一分帧图像进行左心室纵长轴关键点识别处理得到对应的两个长轴关键点坐标。
这里，图像目标关键点识别模型的网络结构可采用多种用于实现目标关键点识别的神经网络结构，其中增加了关键点检测(Keypoint Detection)分支的Mask R-CNN网络结构，该网络结构可参考由作者Kaiming He、Georgia Gkioxari、Piotr Doll′ar和RossGirshick发表的文章《Mask R-CNN》。增加了关键点检测分支的Mask R-CNN网络结构包括：特征提取网络层、区域候选网络(Region Proposal Network，RPN)层、区域对齐(Region OfInterest Align，ROI Align)网络层和区域头部(ROI HEAD)网络层；特征提取网络层与区域候选网络层连接，区域候选网络层与区域对齐网络层连接；区域对齐网络层与区域头部网络层连接；特征提取网络层由五级残差网络(Residual Network,ResNet)和对应的五级特征金字塔网络(Feature Pyramid Networks，FPN)构成；区域候选网络层包括五级区域候选网络，与五级特征金字塔网络对应；区域头部网络层包括三个子网络分别为目标检测分支网络、目标分割分支网络和关键点检测分支网络。
需要说明的是，本发明实施例在常规情况下根据文章《Mask R-CNN》建议设置五级残差网络为ResNet-50网络结构并以此作为特征提取的骨干网络，但在特定情况下为提高模型的整体识别精度本发明实施例还选用BoTNet-50网络结构替换ResNet-50网络结构作为五级残差网络来。由公知的BoTNet-50网络结构与ResNet-50网络结构技术实现中我们可知，BoTNet-50网络结构实际是在ResNet-50网络结构中的最后一个残差模块中引入了分层级联多头自注意力(Multi-Head Self-Attention，MHSA)模块，如此可以为特征提取网络层加入自注意力处理机制从而达到提高特征提取准确度的目的。
另外，本发明实施例在常规情况下根据文章《Mask R-CNN》建议设置关键点检测分支网络的损失函数为交叉熵(Cross entropy)损失函数，但在特定情况下为提高模型运算效率本发明实施例还选用负对数似然(negative log-likelihood)损失函数来替换交叉熵损失函数作为关键点检测分支网络的损失函数。
进一步的，当图像目标关键点识别模型的网络结构具体为带有关键点检测分支的Mask R-CNN网络结构时，基于图像目标关键点识别模型对各个第一分帧图像进行左心室纵长轴关键点识别处理得到对应的两个长轴关键点坐标，具体包括：
步骤A1，将第一分帧图像输入特征提取网络层进行特征提取处理，得到五张特征图；
步骤A2，将五张特征图输入区域候选网络层，由区域候选网络层对五张特征图分别进行感兴趣区域的锚框定位处理得到五组区域锚框；
步骤A3，将第一分帧图像和五组区域锚框输入区域对齐网络层，由区域对齐网络层根据各组区域锚框和第一分帧图像的图像尺寸对齐关系，在第一分帧图像上进行区域锚框对齐处理，得到一个或多个对齐锚框；
步骤A4，将带有一个或多个对齐锚框的第一分帧图像分别输入目标检测分支网络、目标分割分支网络和关键点检测分支网络；由目标检测分支网络对第一分帧图像进行左心室锚框识别，并对一个或多个左心室锚框进行框体融合得到对应的左心室检测框；由目标分割分支网络对第一分帧图像进行左心室分割，得到对应的左心室掩膜图像；由关键点检测分支网络对第一分帧图像进行左心室纵长轴关键点识别得到对应的两个关键点；
步骤A5，取关键点检测分支网络识别出的两个关键点在第一分帧图像的图像坐标作为对应的两个长轴关键点坐标。
这里，之所以只对关键点检测分支网络的关键点识别结果进行选择，不对目标分割分支网络的左心室掩膜图像进行选取，是因为增加了关键点检测分支网络的Mask R-CNN网络结构会因为关键点检测分支网络的损失导致目标检测分支网络和目标分割分支网络的识别精度下降。为得到更精确的左心室语义分割结果，本发明实施例通过后续步骤4选用识别精度更高的图像语义分割模型来单独进行左心室语义分割处理。
步骤4，基于图像语义分割模型对各个第一分帧图像进行左心室语义分割处理生成带有左心室分割子图像的第二分帧图像，并由第二分帧图像构成第二分帧图像序列；
其中，图像语义分割模型的网络结构可采用多种用于实现图像语义分割的神经网络结构，其中包括DeepLabV3网络结构；DeepLabV3网络结构可参考由作者Liang-ChiehChen、George Papandreou、Florian Schroff和Hartwig Adam发表的文章《RethinkingAtrous Convolution for Semantic Image Segmentation》，在此不做进一步赘述。第二分帧图像为二值图像，第二分帧图像的尺寸与第一分帧图像一致；第二分帧图像上，左心室分割子图像的所有像素点的像素值为预设的前景像素值，左心室分割子图像之外的所有像素点的像素值为预设的背景像素值。
这里，基于图像语义分割模型对各个第一分帧图像进行左心室语义分割处理输出一个尺寸与第一分帧图像对等的输出图像也就是第二分帧图像；第二分帧图像实际为一个二值图，其像素点像素值只包括两种取值：预设的前景像素值和背景像素值；第二分帧图像中，所有像素值为前景像素值的像素点构成的前景图像即为左心室分割子图像。
步骤5，对第二分帧图像序列进行收缩期末分帧图像和舒张期末分帧图像的筛选处理，得到多个收缩期末图像和舒张期末图像；
具体包括：步骤51，统计第二分帧图像序列中各个左心室分割子图像的像素点总数，作为对应的心室面积参数；
这里，以左心室分割子图像的像素点数量作为表征面积大小的参数也就是心室面积参数；
步骤52，按时间先后顺序对所有心室面积参数进行排序得到第一面积参数序列；并对第一面积参数序列进行面积-时间曲线转换处理生成对应的面积-时间曲线；
这里，以面积参数为纵轴、时间为横轴构建二维的面积-时间坐标空间，再在面积-时间坐标空间上对第一面积参数序列的心室面积参数进行对应坐标点描计，再依次连接所有描计坐标点得到面积-时间曲线；
步骤53，按数值从小到大的顺序对所有心室面积参数进行排序得到第二面积参数序列；从第二面积参数序列中筛选出一个较小边界值a和一个较大边界值b，并根据较小边界值a和较大边界值b计算生成显著性面积阈值，显著性面积阈值＝(b-a)/2；
进一步的，从第二面积参数序列中筛选出一个较小边界值a和一个较大边界值b，具体包括：获取预设的小边界占位比值x和大边界占位比值y，y>x；统计所有心室面积参数的数量生成第一总数m；根据小边界占位比值x和第一总数m计算生成第一索引，第一索引＝int(x*m),int()为取整函数；并根据大边界占位比值y和第一总数m计算生成第二索引，第二索引＝int(y*m)；将第二面积参数序列中排序索引为第一索引的心室面积参数作为较小边界值a，排序索引为第二索引的心室面积参数作为较大边界值b；
这里，当前步骤之所以不直接选择最小值和最大值作为边界值，是为了避免由突变极值点产生的误差，显著性面积阈值在后续步骤会被用作判断峰值点的显著性特征；
例如，第二面积参数序列有100个心室面积参数，预设的小边界占位比值x和大边界占位比值y都是小于1的百分数，第一总数m＝100，那么第一索引＝int(100*x)，第二索引＝int(100*y)，较小边界值a就是第二面积参数序列中索引序号为第一索引的心室面积参数，较大边界值b就是第二面积参数序列中索引序号为第二索引的心室面积参数，显著性面积阈值＝(b-a)/2；
步骤54，根据显著性面积阈值对面积-时间曲线进行显著性峰值点与显著性谷值点标记；
这里，面积-时间曲线并不是光滑曲线，曲线上存在许多局部极大、极小值，而这些局部极大、极小值大多是一些噪点，并非实际的收缩期末、舒张期末极值点，为了能够提高收缩期末、舒张期末极值点的识别精度，当前步骤对面积-时间曲线进行极值点显著性分析，并以显著性面积阈值作为峰值点显著性判断依据识别出各个显著性峰值点与显著性谷值点；
具体包括：步骤541，将面积-时间曲线上各个现有峰值点作为待评估峰值点；并对各个待评估峰值点进行显著性特征评估处理生成对应的第一显著性评估参数；并将第一显著性评估参数超过显著性面积阈值的待评估峰值点标记为显著性峰值点；
这里，显著性面积阈值用于对待评估峰值点是否为显著性峰值点进行判断；在使用显著性面积阈值对显著性峰值点进行判断之前，需要对各个待评估峰值点进行显著性特征评估处理得到显著性评估参数也就是第一显著性评估参数；
进一步的，显著性特征评估处理，具体包括：
步骤B1，在面积-时间曲线上，过当前待评估峰值点做时间横轴的平行线记为当前平行线；
步骤B2，将当前平行线与面积-时间曲线的任一曲线上升沿的交点记为一类交点，将当前平行线与面积-时间曲线的任一曲线下降沿的交点记为二类交点；
步骤B3，将当前待评估峰值点右侧的第一个一类交点记为右侧交点，并将当前待评估峰值点左侧的第一个二类交点记为左侧交点；
步骤B4，将左侧交点到待评估峰值点的曲线片段中曲线幅值最低的谷值点作为第一参考谷值点，并将待评估峰值点到右侧交点的曲线片段中曲线幅值最低的谷值点作为第二参考谷值点；并从第一、第二参考谷值点中，选择曲线幅值相对较高的作为第三参考谷值点；
步骤B5，将当前待评估峰值点与第三参考谷值点的曲线幅值差，作为与当前待评估峰值点对应的显著性评估参数；
这里，常规对曲线或波形显著性进行评估时都是以峰值点到基线的幅差作为显著性评估参数，但实际情况中面积-时间曲线是一个不规则的曲线，极可能存在基线漂移的情况，并且基线漂移也很难是理想的线性漂移结构，这种情况下得到的峰值点显著性评估参数误差就会很大；本发明实施例为解决这个问题通过上述步骤B1-B4为每个待评估峰值点选定一个相对基线点也就是第三参考谷值点，通过选择相对基线点可以降低基线漂移对显著性特征评估的误差影响，提高显著性特征评估精度，最后通过上述步骤B5计算待评估峰值点与第三参考谷值点的幅差就可得到精度更高的显著性评估参数；
步骤542，对面积-时间曲线进行曲线倒置处理生成对应的倒置面积-时间曲线；并将倒置面积-时间曲线上各个现有峰值点作为新的待评估峰值点；并对各个新的待评估峰值点进行显著性特征评估处理生成对应的第二显著性评估参数；并将第二显著性评估参数超过显著性面积阈值的待评估峰值点作为第一峰值点；并根据倒置面积-时间曲线与面积-时间曲线的曲线倒置对应关系，将面积-时间曲线中与各个第一峰值点成倒置对应关系的现有谷值点标记为显著性谷值点；
这里，当前步骤实际是使用显著性面积阈值对面积-时间曲线的各个现有谷值点进行显著性谷值点判断，在对显著性谷值点进行判断之前，需要评估出各个待评估谷值点的显著性评估参数；本发明实施例在评估各个待评估谷值点的显著性评估参数时，先将面积-时间曲线进行曲线倒置得到倒置面积-时间曲线，倒置面积-时间曲线中的峰值点也就是原面积-时间曲线中的谷值点；再采用上述步骤B1-B5对倒置面积-时间曲线的各个峰值点进行显著性特征评估处理，得到的显著性评估参数也就是第二显著性评估参数实际就是面积-时间曲线中各个谷值点的显著性评估参数；
步骤55，根据预设的时间间隔阈值对面积-时间曲线上的显著性峰值点与显著性谷值点进行噪点过滤；完成噪点过滤的面积-时间曲线上，相邻的显著性峰值点间的峰峰间距以及相邻的显著性谷值点间的谷谷间距均大于时间间隔阈值；
这里，通过前述步骤过滤了大多数显著性较弱的噪点之后，面积-时间曲线上还可能存在一些由环境干扰导致的显著性较强的局部极值点，当前步骤再进一步通过时间间隔对这些干扰极值点进行过滤；有效极值点间隔阈值可被设为0.4s；
需要说明的是，本发明实施例在处理根据预设的时间间隔阈值对面积-时间曲线上的显著性峰值点与显著性谷值点进行噪点过滤时支持多种实现方式；
其中一种实现方式，根据预设的时间间隔阈值对面积-时间曲线上的显著性峰值点与显著性谷值点进行噪点过滤具体包括：
步骤C1，在面积-时间曲线上，将第一个显著性峰值点(或显著性谷值点)作为第一参考点；
步骤C2，将第一参考点的下一个显著性峰值点(或显著性谷值点)作为第二参考点；
步骤C3，计算第一、第二参考点的时间间隔生成第一时间间隔；
步骤C4，判断第一时间间隔是否大于时间间隔阈值；若第一时间间隔大于时间间隔阈值，则将第二参考点作为新的第一参考点；若第一时间间隔小于或等于时间间隔阈值，则在第一、第二参考点中将幅值较小的显著性峰值点(或幅值较大的显著性谷值点)作为噪点进行滤除，并将幅值较大的显著性峰值点(或幅值较小的显著性谷值点)作为新的第一参考点；
步骤C5，判断新的第一参考点是否为面积-时间曲线上的最后一个显著性峰值点(或显著性谷值点)，若是则停止当前的噪点过滤处理过程，若否则转至步骤C2；
基于上述实现方式，还可以面积-时间曲线上的最后一个显著性峰值点(或显著性谷值点)作为第一参考点，将第一参考点的前一个显著性峰值点(或显著性谷值点)作为第二参考点，从第一参考点开始向前进行遍历；基于上述实现方式，还可以面积-时间曲线上最大幅值的显著性峰值点(或最小幅值的显著性谷值点)作为第一参考点，从第一参考点开始向前和向后同时进行遍历；
其中另一种实现方式，根据预设的时间间隔阈值对面积-时间曲线上的显著性峰值点与显著性谷值点进行噪点过滤具体包括：
计算面积-时间曲线上相邻的显著性峰值点(或相邻的显著性谷值点)的时间间隔生成对应的第二时间间隔；对第二时间间隔小于或等于时间间隔阈值的两个显著性峰值点(或显著性谷值点)，从中选择幅值较小的显著性峰值点(或幅值较大的显著性谷值点)作为噪点进行滤除；并继续计算面积-时间曲线上剩下的相邻显著性峰值点(或相邻显著性谷值点)的时间间隔生成新的第二时间间隔；并继续基于第二时间间隔是否小于或等于时间间隔阈值的判断结果进行噪点识别与滤除操作，直到最新的所有第二时间间隔都大于时间间隔阈值为止；
步骤56，将面积-时间曲线上剩余的显著性峰值点对应的第二分帧图像作为收缩期末图像，剩余的显著性谷值点对应的第二分帧图像作为舒张期末图像。
步骤6，根据收缩期末图像或舒张期末图像的左心室分割子图像和对应的两个纵长轴关键点坐标，进行左心室容积计算生成对应的左心室容积参数；
具体包括：步骤61，将收缩期末图像或舒张期末图像作为当前分帧图像；
步骤62，在当前分帧图像上，对左心室分割子图像的边缘像素点进行识别，并将相邻边缘像素点的连接线段记为边缘线段；
具体包括：对当前分帧图像的所有像素点进行遍历；将当前遍历像素点的四邻域像素点的像素值提取出来生成对应的四个邻域像素值，对四个邻域像素值中具体为背景像素值的邻域像素值数量进行统计生成对应的第一数量，若当前遍历像素点的像素值为前景像素值且第一数量大于0但小于4则将当前遍历像素点识别为边缘像素点；
这里，由前文可知当前分帧图像也就是第二分帧图像实质为二值图像，其上的左心室分割子图像的所有像素点的像素值为预设的前景像素值，左心室分割子图像之外的所有像素点的像素值为预设的背景像素值；第一数量大于0但小于4的情况意味着当前遍历像素点周围同时存在背景像素点和前景像素点，这种情况下在自然当前遍历像素点的像素值为前景像素值时该像素点应为边缘像素点；需要说明是，若当前遍历像素点的像素值为前景像素值但第一数量等于4，这种情况下说明当前遍历像素点是一个错误的孤立点，应将其转换为背景像素点，也就是将其像素值修改成背景像素值；
步骤63，在当前分帧图像上，在对应的两个纵长轴关键点坐标上进行关键点标记，并将两个关键点间的连接线段作为当前左心室纵长轴；
这里，由前文可知当前分帧图像也即是第二分帧图像的尺寸大小是和第一分帧图像一致的，所以由第一分帧图像得到的两个纵长轴关键点坐标在当前分帧图像上也可以定位出同等左心室纵长轴也就是当前左心室纵长轴；
步骤64，按预设的等分数量N对当前左心室纵长轴进行线段等分,得到除起始端点之外的N个等分点Pi，N≥i≥1；并将当前左心室纵长轴的等分线段长度作为等分高度h；
步骤65，过每个等分点Pi做当前左心室纵长轴的垂线记为等分点垂线Li；
这里，实际就是通过对当前左心室纵长轴进行垂直等分，将左心室分割子图像细分成多个心室片段；每个心室片段的高也就是等分高度h；
步骤66，将与各个等分点垂线Li相交的左右边缘线段的交点记为对应的左垂线交点DLi和右垂线交点DRi；并统计各个等分点垂线Li对应的左垂线交点DLi和右垂线交点DRi的连接线段长度作为对应的等分点直径di；
这里，每个等分点垂线Li对应一个垂线函数，每个边缘线段对应一个边缘线段函数，在统一图像坐标下，已知垂线函数、边缘线段函数和相等的函数值，要求等分点垂线Li与边缘线段的交点只需解一个二元一次方程组即可；把每个细分出来的心室片段视为一个小圆柱的纵截面，那么自然左垂线交点DLi和右垂线交点DRi的连接线段长度就应是该圆柱的直径；
步骤67，将心室容积视为N个圆柱体积的叠加，根据所有等分点直径di、等分高度h和等分数量N计算左心室容积生成对应的左心室容积参数，
Figure BDA0003460703840000161
这里，将左心室容积视作为多个心室片段小圆柱叠加而成；那么只需算出各个小圆柱的容积
Figure BDA0003460703840000171
r为小圆柱半径＝di/2；
Figure BDA0003460703840000172
Figure BDA0003460703840000173
Figure BDA0003460703840000174
步骤7，对所有收缩期末图像的左心室容积参数取均值生成收缩期末容积均值，并对所有舒张期末图像的左心室容积参数取均值生成舒张期末容积均值。
步骤8，根据收缩期末容积均值和舒张期末容积均值进行射血分数计算生成射血分数数据；
其中，
Figure BDA0003460703840000175
这里，射血分数是指左心室每搏输出量占左心室舒张末期容积量的百分比，每搏输出量为左心室舒张末期容积量与收缩期末容积量的容积差，为消除单次误差导致的计算偏差，这里以舒张末期容积均值与收缩期末容积均值的均值容积差作为每搏输出量均值，再以每搏输出量均值与舒张末期容积均值的比值作为最终的计算结果也就是射血分数数据。
图2为本发明实施例二提供的一种基于心脏超声视频的射血分数数据处理装置的模块结构图，该装置可以为实现本发明实施例方法的终端设备或者服务器，也可以为与上述终端设备或者服务器连接的实现本发明实施例方法的装置，例如该装置可以是上述终端设备或者服务器的装置或芯片系统。如图2所示，该装置包括：获取模块201、图像预处理模块202、图像筛选模块203和射血分数处理模块204。
获取模块201用于获取心脏超声视频。
图像预处理模块202用于对心脏超声视频进行图像分帧处理得到对应的第一分帧图像序列；第一分帧图像序列包括多个第一分帧图像；并基于图像目标关键点识别模型对各个第一分帧图像进行左心室纵长轴关键点识别处理得到对应的两个长轴关键点坐标；并基于图像语义分割模型对各个第一分帧图像进行左心室语义分割处理生成带有左心室分割子图像的第二分帧图像，并由第二分帧图像构成第二分帧图像序列。
图像筛选模块203用于对第二分帧图像序列进行收缩期末分帧图像和舒张期末分帧图像的筛选处理，得到多个收缩期末图像和舒张期末图像。
射血分数处理模块204用于根据收缩期末图像或舒张期末图像的左心室分割子图像和对应的两个纵长轴关键点坐标，进行左心室容积计算生成对应的左心室容积参数；并对所有收缩期末图像的左心室容积参数取均值生成收缩期末容积均值，并对所有舒张期末图像的左心室容积参数取均值生成舒张期末容积均值；并根据收缩期末容积均值和舒张期末容积均值进行射血分数计算生成射血分数数据，
Figure BDA0003460703840000181
Figure BDA0003460703840000182
本发明实施例提供的一种基于心脏超声视频的射血分数数据处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本发明实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路(Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图3所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现本发明上述实施例中提供的方法和处理过程。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图3中提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中提供的方法和处理过程。
本发明实施例提供了一种基于心脏超声视频的射血分数数据处理方法、装置、电子设备及计算机可读存储介质，基于图像目标关键点识别模型从心脏超声图像中识别出左心室纵长轴关键点；基于图像语义分割模型从心脏超声图像中分割出左心室区域图像，并通过左心室区域图像的面积-时间曲线的显著性特征和时间间隔特征识别出舒张期末、收缩期末的超声图像；并基于纵长轴关键点坐标在舒张期末、收缩期末超声图像中定位出左心室纵长轴；通过对左心室纵长轴做等分垂线即可将左心室区域图像细分为多个区域片段，再以各个区域片段为左心室纵切面片段、根据区域片段尺寸可以算出左心室纵切面上各个分段的容积，再对所有计算容积进行累加即可得到各个舒张期末、收缩期末的心室容积；在得到所有舒张期末、收缩期末的心室容积之后，根据舒张期末心室容积均值和收缩期末心室容积均值算出射血分数。通过本发明，经由图像目标关键点识别模型提高了左心室纵长轴的标记精度，经由图像语义分割模型提高了左心室的识别精度，通过面积-时间曲线的显著性特征和时间间隔特征分析提高了期末超声图像识别精度，通过心室纵长轴切面微分体积累加计算提高了心室容积的计算精度，最终使得整体的射血分数计算精度与准确度得到了提高。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于心脏超声视频的射血分数数据处理方法，其特征在于，所述方法包括：
获取心脏超声视频；
对所述心脏超声视频进行图像分帧处理得到对应的第一分帧图像序列；所述第一分帧图像序列包括多个第一分帧图像；
基于图像目标关键点识别模型对各个所述第一分帧图像进行左心室纵长轴关键点识别处理得到对应的两个长轴关键点坐标；
基于图像语义分割模型对各个第一分帧图像进行左心室语义分割处理生成带有左心室分割子图像的第二分帧图像，并由所述第二分帧图像构成第二分帧图像序列；
对所述第二分帧图像序列进行收缩期末分帧图像和舒张期末分帧图像的筛选处理，得到多个收缩期末图像和舒张期末图像；
根据所述收缩期末图像或所述舒张期末图像的所述左心室分割子图像和对应的所述两个纵长轴关键点坐标，进行左心室容积计算生成对应的左心室容积参数；
对所有所述收缩期末图像的所述左心室容积参数取均值生成收缩期末容积均值，并对所有所述舒张期末图像的所述左心室容积参数取均值生成舒张期末容积均值；
根据所述收缩期末容积均值和所述舒张期末容积均值进行射血分数计算生成射血分数数据，
Figure FDA0003460703830000011
2.根据权利要求1所述的基于心脏超声视频的射血分数数据处理方法，其特征在于，
所述图像目标关键点识别模型的网络结构为增加了关键点检测分支的Mask R-CNN网络结构，包括特征提取网络层、区域候选网络层、区域对齐网络层和区域头部网络层；所述特征提取网络层与所述区域候选网络层连接，所述区域候选网络层与所述区域对齐网络层连接；所述区域对齐网络层与所述区域头部网络层连接；所述特征提取网络层由五级残差网络和对应的五级特征金字塔网络构成；所述区域候选网络层包括五级区域候选网络，与所述五级特征金字塔网络对应；所述区域头部网络层包括三个子网络分别为目标检测分支网络、目标分割分支网络和关键点检测分支网络；所述五级残差网络为ResNet-50网络或BoTNet-50网络。
3.根据权利要求1所述的基于心脏超声视频的射血分数数据处理方法，其特征在于，
所述图像语义分割模型的网络结构为DeepLabV3网络结构。
4.根据权利要求1所述的基于心脏超声视频的射血分数数据处理方法，其特征在于，
所述第二分帧图像为二值图像，所述第二分帧图像的尺寸与所述第一分帧图像一致；所述第二分帧图像上，所述左心室分割子图像的所有像素点的像素值为预设的前景像素值，所述左心室分割子图像之外的所有像素点的像素值为预设的背景像素值。
5.根据权利要求1所述的基于心脏超声视频的射血分数数据处理方法，其特征在于，所述对所述第二分帧图像序列进行收缩期末分帧图像和舒张期末分帧图像的筛选处理，得到多个收缩期末图像和舒张期末图像，具体包括：
统计所述第二分帧图像序列中各个所述左心室分割子图像的像素点总数，作为对应的心室面积参数；
按时间先后顺序对所有所述心室面积参数进行排序得到第一面积参数序列；并对所述第一面积参数序列进行面积-时间曲线转换处理生成对应的面积-时间曲线；
按数值从小到大的顺序对所有所述心室面积参数进行排序得到第二面积参数序列；从所述第二面积参数序列中筛选出一个较小边界值a和一个较大边界值b，并根据所述较小边界值a和所述较大边界值b计算生成显著性面积阈值，显著性面积阈值＝(b-a)/2；
根据所述显著性面积阈值对所述面积-时间曲线进行显著性峰值点与显著性谷值点标记；
根据预设的时间间隔阈值对所述面积-时间曲线上的显著性峰值点与显著性谷值点进行噪点过滤；完成噪点过滤的所述面积-时间曲线上，相邻的所述显著性峰值点间的峰峰间距以及相邻的所述显著性谷值点间的谷谷间距均大于所述时间间隔阈值；
将所述面积-时间曲线上剩余的所述显著性峰值点对应的所述第二分帧图像作为所述收缩期末图像，剩余的所述显著性谷值点对应的所述第二分帧图像作为所述舒张期末图像。
6.根据权利要求5所述的基于心脏超声视频的射血分数数据处理方法，其特征在于，所述根据所述显著性面积阈值对所述面积-时间曲线进行显著性峰值点与显著性谷值点标记，具体包括：
将所述面积-时间曲线上各个现有峰值点作为待评估峰值点；并对各个所述待评估峰值点进行显著性特征评估处理生成对应的第一显著性评估参数；并将所述第一显著性评估参数超过所述显著性面积阈值的所述待评估峰值点标记为所述显著性峰值点；
对所述面积-时间曲线进行曲线倒置处理生成对应的倒置面积-时间曲线；并将所述倒置面积-时间曲线上各个现有峰值点作为新的待评估峰值点；并对各个所述新的待评估峰值点进行显著性特征评估处理生成对应的第二显著性评估参数；并将所述第二显著性评估参数超过所述显著性面积阈值的所述待评估峰值点作为第一峰值点；并根据所述倒置面积-时间曲线与所述面积-时间曲线的曲线倒置对应关系，将所述面积-时间曲线中与各个所述第一峰值点成倒置对应关系的现有谷值点标记为所述显著性谷值点。
7.根据权利要求1所述的基于心脏超声视频的射血分数数据处理方法，其特征在于，所述根据所述收缩期末图像或所述舒张期末图像的所述左心室分割子图像和对应的所述两个纵长轴关键点坐标，进行左心室容积计算生成对应的左心室容积参数，具体包括：
将所述收缩期末图像或所述舒张期末图像作为当前分帧图像；
在所述当前分帧图像上，对所述左心室分割子图像的边缘像素点进行识别，并将相邻边缘像素点的连接线段记为边缘线段；
在所述当前分帧图像上，在对应的所述两个纵长轴关键点坐标上进行关键点标记，并将两个关键点间的连接线段作为当前左心室纵长轴；
按预设的等分数量N对所述当前左心室纵长轴进行线段等分,得到除起始端点之外的N个等分点Pi，N≥i≥1；并将所述当前左心室纵长轴的等分线段长度作为等分高度h；
过每个所述等分点Pi做所述当前左心室纵长轴的垂线记为等分点垂线Li；
将与各个所述等分点垂线Li相交的左右边缘线段的交点记为对应的左垂线交点DLi和右垂线交点DRi；并统计各个所述等分点垂线Li对应的所述左垂线交点DLi和所述右垂线交点DRi的连接线段长度作为对应的等分点直径di；
将心室容积视为N个圆柱体积的叠加，根据所有所述等分点直径di、所述等分高度h和所述等分数量N计算左心室容积生成对应的所述左心室容积参数，
Figure FDA0003460703830000041
8.一种用于实现权利要求1-7任一项所述的基于心脏超声视频的射血分数数据处理方法步骤的装置，其特征在于，所述装置包括：获取模块、图像预处理模块、图像筛选模块和射血分数处理模块；
所述获取模块用于获取心脏超声视频；
所述图像预处理模块用于对所述心脏超声视频进行图像分帧处理得到对应的第一分帧图像序列；所述第一分帧图像序列包括多个第一分帧图像；并基于图像目标关键点识别模型对各个所述第一分帧图像进行左心室纵长轴关键点识别处理得到对应的两个长轴关键点坐标；并基于图像语义分割模型对各个第一分帧图像进行左心室语义分割处理生成带有左心室分割子图像的第二分帧图像，并由所述第二分帧图像构成第二分帧图像序列；
所述图像筛选模块用于对所述第二分帧图像序列进行收缩期末分帧图像和舒张期末分帧图像的筛选处理，得到多个收缩期末图像和舒张期末图像；
所述射血分数处理模块用于根据所述收缩期末图像或所述舒张期末图像的所述左心室分割子图像和对应的所述两个纵长轴关键点坐标，进行左心室容积计算生成对应的左心室容积参数；并对所有所述收缩期末图像的所述左心室容积参数取均值生成收缩期末容积均值，并对所有所述舒张期末图像的所述左心室容积参数取均值生成舒张期末容积均值；并根据所述收缩期末容积均值和所述舒张期末容积均值进行射血分数计算生成射血分数数据，
Figure FDA0003460703830000051
9.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-7任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-7任一项所述的方法的指令。
CN202210017835.2A 2022-01-07 2022-01-07 一种基于心脏超声视频的射血分数数据处理方法和装置 Active CN114419499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210017835.2A CN114419499B (zh) 2022-01-07 2022-01-07 一种基于心脏超声视频的射血分数数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210017835.2A CN114419499B (zh) 2022-01-07 2022-01-07 一种基于心脏超声视频的射血分数数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN114419499A true CN114419499A (zh) 2022-04-29
CN114419499B CN114419499B (zh) 2024-03-29

Family

ID=81272155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210017835.2A Active CN114419499B (zh) 2022-01-07 2022-01-07 一种基于心脏超声视频的射血分数数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN114419499B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745726A (zh) * 2024-02-21 2024-03-22 中国医学科学院北京协和医院 基于经食管超声心动图的左心室射血分数计算方法与装置
CN117918889A (zh) * 2024-03-20 2024-04-26 中国医学科学院北京协和医院 经食管超声心动图四腔心切面左室心输出量自动计算方法及装置
CN117745726B (zh) * 2024-02-21 2024-06-07 中国医学科学院北京协和医院 基于经食管超声心动图的左心室射血分数计算方法与装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
CN112381895A (zh) * 2020-10-19 2021-02-19 深圳蓝韵医学影像有限公司 一种心脏射血分数计算方法与装置
WO2021082272A1 (zh) * 2019-10-31 2021-05-06 无锡祥生医疗科技股份有限公司 心动周期的确定方法及超声设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
CN108882917A (zh) * 2016-05-30 2018-11-23 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
WO2021082272A1 (zh) * 2019-10-31 2021-05-06 无锡祥生医疗科技股份有限公司 心动周期的确定方法及超声设备
CN112381895A (zh) * 2020-10-19 2021-02-19 深圳蓝韵医学影像有限公司 一种心脏射血分数计算方法与装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张蔚, 张东友, 刘翼程, 刘海滨: "健康成年人左心室形态和功能的磁共振成像研究", 中国中西医结合影像学杂志, no. 03, 30 September 2005 (2005-09-30), pages 14 - 17 *
徐礼胜;张书琪;牛潇;徐阳;: "基于全卷积网络的左心室射血分数自动检测", 东北大学学报(自然科学版), no. 11, 15 November 2018 (2018-11-15), pages 55 - 59 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745726A (zh) * 2024-02-21 2024-03-22 中国医学科学院北京协和医院 基于经食管超声心动图的左心室射血分数计算方法与装置
CN117745726B (zh) * 2024-02-21 2024-06-07 中国医学科学院北京协和医院 基于经食管超声心动图的左心室射血分数计算方法与装置
CN117918889A (zh) * 2024-03-20 2024-04-26 中国医学科学院北京协和医院 经食管超声心动图四腔心切面左室心输出量自动计算方法及装置

Also Published As

Publication number Publication date
CN114419499B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN108335284B (zh) 一种冠脉血管中心线匹配方法和系统
CN114419500A (zh) 基于心脏超声视频筛选舒张期和收缩期图像的方法和装置
CN110544233B (zh) 基于人脸识别应用的深度图像质量评价方法
CN105662474B (zh) 胎儿头围超声图像的自动检测方法及检测系统
CN112529839A (zh) 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
CN114418977A (zh) 基于血管造影视频进行冠脉造影定量分析的方法和装置
CN111462049A (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
CN113436070B (zh) 一种基于深度神经网络的眼底图像拼接方法
WO2023130661A1 (zh) 一种二维频谱多普勒超声心动图像的处理方法和装置
CN111340780B (zh) 一种基于三维超声图像的病灶检测方法
CN114419499B (zh) 一种基于心脏超声视频的射血分数数据处理方法和装置
CN115035028A (zh) 一种基于超声图像的左心室射血分数自动计算方法
Hao et al. Vp-detector: A 3d multi-scale dense convolutional neural network for macromolecule localization and classification in cryo-electron tomograms
Nurmaini et al. An improved semantic segmentation with region proposal network for cardiac defect interpretation
CN110717916B (zh) 一种基于卷积神经网络的肺栓塞检测系统
CN113012127A (zh) 基于胸部医学影像的心胸比测量方法
CN115775233A (zh) 一种基于心脏超声视频测量特征尺寸的处理方法和装置
CN114627283B (zh) 基于聚类去噪的感兴趣脑区纤维束提取系统及方法
WO2022089266A1 (zh) 血管管腔提取方法、装置、电子设备和存储介质
CN115841472A (zh) 大脑中动脉高密度征识别方法、装置、设备及存储介质
CN114792296A (zh) 一种核磁共振图像与超声图像融合方法与系统
Shen et al. Efficient 3D junction detection in biomedical images based on a circular sampling model and reverse mapping
CN116547710A (zh) 用于分割和识别医学图像中的至少一个管状结构的方法和系统
CN114010227A (zh) 一种右心室特征信息识别方法及装置
Wang et al. Topological skeletonization and tree-summarization of neurons using Discrete Morse theory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant