CN111466894B - 一种基于深度学习的射血分数计算方法及系统 - Google Patents

一种基于深度学习的射血分数计算方法及系统 Download PDF

Info

Publication number
CN111466894B
CN111466894B CN202010266734.XA CN202010266734A CN111466894B CN 111466894 B CN111466894 B CN 111466894B CN 202010266734 A CN202010266734 A CN 202010266734A CN 111466894 B CN111466894 B CN 111466894B
Authority
CN
China
Prior art keywords
volume data
heart
left ventricle
layer
ejection fraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010266734.XA
Other languages
English (en)
Other versions
CN111466894A (zh
Inventor
朱瑞星
黄孟钦
周建桥
江维娜
董屹婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shenzhi Information Technology Co ltd
Original Assignee
Shanghai Shenzhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shenzhi Information Technology Co ltd filed Critical Shanghai Shenzhi Information Technology Co ltd
Priority to CN202010266734.XA priority Critical patent/CN111466894B/zh
Publication of CN111466894A publication Critical patent/CN111466894A/zh
Application granted granted Critical
Publication of CN111466894B publication Critical patent/CN111466894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02028Determining haemodynamic parameters not otherwise provided for, e.g. cardiac contractility or left ventricular ejection fraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种基于深度学习的射血分数计算方法及系统,涉及深度学习技术领域,包括:采用预先训练得到的神经网络分割模型对心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据;对左心室分割标记体数据进行二值化处理,得到具有一第一体素值和一第二体素值的左心室二值化体数据;统计左心室二值化体数据中的第一体素值的体素数量总和,并将体素数量总和作为心脏体数据对应的左心室容积保存至预先生成的一容积队列中;在连续心脏体数据的所有帧心脏体数据处理完成后,分别提取容积队列中保存的左心室容积的最大值和最小值,并计算得到心脏部位的射血分数。有益效果是有效提升计算准确性,提升医务人员的工作效率。

Description

一种基于深度学习的射血分数计算方法及系统
技术领域
本发明涉及深度学习技术领域,尤其涉及一种基于深度学习的射血分数计算方法及系统。
背景技术
随着经济发展和人民生活水平提高,心血管病的发病率也俱增,是国民健康的第一大威胁。心血管病的致命率虽高,但可预防性和可治愈性也很高,其中关键是早期心脏病诊断,筛查和预测。超声设备具备实时性要求,对心脏的诊断具有很高的特异性。在心脏超声测量指标中,射血分数是判断心力衰竭类型的重要指征之一。射血分数指每搏输出量占心室舒张末期容积量的百分比,正常值为50-70%。通过心脏彩超进行检查,是判断心力衰竭类型的重要指征之一。心室射血分数是指心室的每搏输出量占心室舒张末容积的比例,计算公式为:EF=(EDV-ES)*100%/EDV,式中EF为射血分数;EDV为心室舒张末容积;ES为心室收缩末容积。从式中可以看出,射血分数是一个容积比率指标,从容积的角度反映的心室的射血功能。
现有技术中,通常采用人工选取心脏左心室(LV)做大切面的位置获取二维图像,经过腔内边缘勾勒出左心室(LV)面积,通过数值计算方法推导出心室舒张末容积EDV和心室收缩末容积ES的值,再通过公式计算出射血分数EF。但存在以下不足,一是人工选取左心室(LV)的最大切面位置就存在很大误差,依赖于经验和手法;二是通过二维图像获取容积是一种理想状态的模型推导,和真实心脏容积存在误差;三是腔内边缘勾勒使医务人员的效率大大降低。
发明内容
针对现有技术中存在的问题,本发明提供一种基于深度学习的射血分数计算方法,首先通过一超声设备连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出;
随后,针对所述连续心脏体数据中的每帧心脏体数据执行下述步骤:
步骤S1,采用预先训练得到的神经网络分割模型对所述心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据;
步骤S2,对所述左心室分割标记体数据进行二值化处理,得到具有一第一体素值和一第二体素值的左心室二值化体数据;
步骤S3,统计所述左心室二值化体数据中的所述第一体素值的体素数量总和,并将所述体素数量总和作为所述心脏体数据对应的左心室容积保存至预先生成的一容积队列中;
重复执行所述步骤S1至所述步骤S3,直至所述连续心脏体数据的所有帧所述心脏体数据处理完成后,分别提取所述容积队列中保存的所述左心室容积的最大值和最小值,并计算得到所述心脏部位的射血分数。
优选的,执行所述步骤S1之前,还包括对所述连续心脏体数据进行预处理的过程,具体包括:
步骤A1,对所述连续心脏体数据进行分帧处理得到若干帧心脏体数据;
步骤A2,分别对每帧所述心脏体数据进行平滑和降噪处理得到预处理心脏体数据;
步骤A3,分别对每帧所述预处理心脏体数据进行二值化得到二值化心脏体数据;
步骤A4,分别对每帧所述二值化心脏体数据进行归一化得到归一化心脏体数据;
则所述步骤S1中每帧所述心脏体数据为经过所述步骤A1-A4处理后得到的所述归一化心脏体数据。
优选的,所述神经网络分割模型在3D-DFANet深度神经网络的模型基础上构建形成。
优选的,所述神经网络分割模型包括一卷积层,所述卷积层的输出端连接一特征融合网络,所述特征融合网络的输出端连接一第一反卷积层,所述第一反卷积层的输出端连接一第一激活函数;
所述特征融合网络包括依次连接的若干子网络,每个所述子网络包括依次连接的一第一编码层、至少一第二编码层、第三编码层、一第二反卷积层以及一SE模块,所述第一编码层的输入端作为所述子网络的输入端,所述SE模块的输出端作为所述子网络的输出端;
位于同一所述子网络的所述第一编码层的输出、所述第二编码层的输出端连接的一第三反卷积层的输出、以及所述第二反卷积层的输出进行特征融合后作为下一个所述子网络的所述第一编码层的输入;
各所述子网络的所述第一编码层的输出端分别连接一对应的第四反卷积层,各所述第四反卷积层的输出进行特征融合后得到第一反卷积融合结果;
各所述子网络的所述SE模块的输出端分别连接一对应的第五反卷积层,各所述第五反卷积层的输出进行特征融合后得到第二反卷积融合结果;
所述第二反卷积融合结果和所述第一反卷积融合结果进行特征融合后作为所述第一反卷积层的输入。
优选的,所述SE模块包括:
依次连接的一池化层、一第一全连接层、一第二激活函数、一第二全连接层和一第三激活函数;
一拉伸计算单元,各所述子网络的所述第二反卷积层的输出端作为所述池化层的输入端,且所述第二反卷积层的输出端和所述第三激活函数的输出端作为所述拉伸计算单元的输入端,所述拉伸计算单元的输出端作为所述SE模块的输出端。
优选的,执行所述步骤S3之前,还包括孔洞修补的过程,具体包括:
步骤B1,根据所述左心室二值化体数据判断所述心脏部位的内部是否出现孔洞:
若是,则转向步骤B2;
若否,则转向所述步骤S3;
步骤B2,采用形态学闭运算对所述孔洞进行修补,随后转向所述步骤S3。
优选的,所述射血分数的计算公式如下:
EF=(Volmax-Volmin)*100%/Volmax
其中,
EF用于表示所述射血分数;
Volmax用于表示所述左心室容积的所述最大值;
Volmax用于表示所述左心室容积的所述最小值。
一种基于深度学习的射血分数计算系统,应用以上任意一项所述的射血分数计算方法,所述射血分数计算系统具体包括:
超声设备,用于连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出;
图像处理设备,连接所述超声设备,并包括:
图像分割单元,用于针对所述连续心脏体数据中的每帧心脏体数据,采用预先训练得到的神经网络分割模型对所述心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据;
第一处理单元,连接所述图像分割单元,用于对所述左心室分割标记体数据进行二值化处理,得到具有一第一体素值和一第二体素值的左心室二值化体数据;
第二处理单元,连接所述第一处理单元,用于统计所述左心室二值化体数据中的所述第一体素值的体素数量总和,并将所述体素数量总和作为所述心脏体数据对应的左心室容积保存至预先生成的一容积队列中;
第三处理单元,连接所述第二处理单元,用于在所述连续心脏体数据的所有帧所述心脏体数据处理完成后,分别提取所述容积队列中保存的所述左心室容积的最大值和最小值,并计算得到所述心脏部位的射血分数。
优选的,所述图像处理设备还包括一预处理单元,分别连接所述图像分割单元和所述第一处理单元,所述预处理单元具体包括:
第一处理子单元,用于对所述连续心脏体数据进行分帧处理得到若干帧心脏体数据;
第二处理子单元,连接所述第一处理子单元,用于分别对每帧所述心脏体数据进行平滑和降噪处理得到预处理心脏体数据;
第三处理子单元,连接所述第二处理子单元,用于分别对每帧所述预处理心脏体数据进行二值化得到二值化心脏体数据;
第四处理子单元,连接所述第三处理子单元,用于分别对每帧所述二值化心脏体数据进行归一化得到归一化心脏体数据,则所述图像分割单元中的每帧所述心脏体数据为所述归一化心脏体数据。
优选的,所述图像处理设备还包括一孔洞修补单元,分别连接所述第一处理单元和所述第二处理单元,所述孔洞修补单元具体包括:
判断子单元,用于根据所述左心室二值化体数据判断所述心脏部位的内部是否出现孔洞,并在所述左心室二值化体数据的内部出现所述孔洞时输出判断结果;
修补子单元,连接所述判断子单元,用于根据所述判断结果采用形态学闭运算对所述孔洞进行修补。
上述技术方案具有如下优点或有益效果:通过采集得到的心脏体数据可以准确识别并计算其对应的左心室容积,从而计算得到射血分数,避免人工选择最大切面位置造成的人为误差,有效提升计算准确性,且无需医务人员进行腔内边缘勾勒,提升医务人员的工作效率。
附图说明
图1为本发明的较佳的实施例中,一种基于深度学习的射血分数计算方法的流程示意图;
图2为本发明的较佳的实施例中,对所述连续心脏体数据进行预处理的过程的流程示意图;
图3为本发明的较佳的实施例中,神经网络分割模型的结构示意图;
图4为本发明的较佳的实施例中,SE模块的结构示意图;
图5为本发明的较佳的实施例中,孔洞修补的过程的流程示意图;
图6为本发明的较佳的实施例中,一种基于深度学习的射血分数计算系统的结构示意图。
图7为本发明的一个较佳的实施例中,图像处理设备的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式,只要符合本发明的主旨,则其他实施方式也可以属于本发明的范畴。
本发明的较佳的实施例中,基于现有技术中存在的上述问题,现提供一种基于深度学习的射血分数计算方法,首先通过一超声设备连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出;
如图1所示,随后,针对所述连续心脏体数据中的每帧心脏体数据执行下述步骤:
步骤S1,采用预先训练得到的神经网络分割模型对心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据;
步骤S2,对左心室分割标记体数据进行二值化处理,得到具有一第一体素值和一第二体素值的左心室二值化体数据;
步骤S3,统计左心室二值化体数据中的第一体素值的体素数量总和,并将体素数量总和作为心脏体数据对应的左心室容积保存至预先生成的一容积队列中;
重复执行步骤S1至步骤S3,直至连续心脏体数据的所有帧心脏体数据处理完成后,分别提取容积队列中保存的左心室容积的最大值和最小值,并计算得到心脏部位的射血分数。
具体地,本实施例中,本发明采用连续心脏体数据进行射血分数的计算,连续心脏体数据为三维数据,采用神经网络分割模型进行左心室分割后,进而能够直接计算出左心室容积,无需人工参与,有效避免人为误差。
进一步地,上述连续心脏体数据优选需要包含完整的左心室腔数据,方便后续进行做左心室分割以及左心室容积计算,上述连续心脏体数据可以是正常心脏体数据,也可以是通过造影增强得到的心脏体数据。上述连续心脏体数据需要包含至少一个完整心动周期的连续心脏体数据,优选包含3至5秒的心脏体数据。
由于上述连续心脏体数据包含若干帧心脏体数据,为方便数据处理,优选先将上述连续心脏体数据进行分帧处理得到若干帧心脏体数据,随后分别对各帧心脏体数据进行平滑和降噪处理得到预处理心脏体数据,再对每帧预处理心脏体数据采用三维二值化算法进行二值化得到二值化心脏体数据,最后将每帧二值化心脏体数据进行归一化处理得到归一化心脏体数据,作为后续左心室分割的输入数据。上述平滑处理包括但不限于高斯模糊和开运算等,上述三维二值化算法包括但不限于固定阈值二值化法和大律法。
进一步地,优选采用3D-DFANet深度网络模型作为神经网络分割模型,在对每帧心脏体数据进行心脏左心室分割后得到左心室分割标记体数据,随后采用三维二值化算法对左心室分割标记体数据进行二值化,即将左心室分割标记体数据的各体素分别进行分别进行赋值,得到具有第一体素值和第二体素值的左心室二值化体数据,上述第一体素值优选为1,上述第二体素值优选为0,进一步优选的,将左心室腔内的体像素赋值为1,其他位置的体像素赋值为0,从而得到包含完整左心室的左心室二值化体数据。在进行二值化后,还包括判断得到的左心室二值化体数据的内部是否出现孔洞,若出现孔洞优选采用形态学闭运算进行孔洞修补,以进一步提升射血分数的计算准确性。在修补完成后,统计得到上述左心室二值化体数据中具有第一体素值的体像素的数量总和,即为该帧心脏体数据对应的左心室容积,优选将该左心室容积保存至预先生成的一容积队列中。
根据上述计算方法得到连续心脏体数据中所有帧的心脏体数据对应的左心室容积后,提取容积队列中左心室容积的最大值和最小值进行射血分数的计算。由于在1到3个完整心动周期内,在心脏部位的舒张末期和收缩末期时左心室容积变化不大,因此本发明直接通过左心室容积排序求最大值和最小值,进而计算得到射血分数,保证了计算结果的准确性。
本发明的较佳的实施例中,执行步骤S1之前,还包括对连续心脏体数据进行预处理的过程,如图2所示,具体包括:
步骤A1,对连续心脏体数据进行分帧处理得到若干帧心脏体数据;
步骤A2,分别对每帧心脏体数据进行平滑和降噪处理得到预处理心脏体数据;
步骤A3,分别对每帧预处理心脏体数据进行二值化得到二值化心脏体数据;
步骤A4,分别对每帧二值化心脏体数据进行归一化得到归一化心脏体数据;
则步骤S1中每帧心脏体数据为经过步骤A1-A4处理后得到的归一化心脏体数据。
本发明的较佳的实施例中,神经网络分割模型在3D-DFANet深度神经网络的模型基础上构建形成。
本发明的较佳的实施例中,如图3所示,神经网络分割模型包括一卷积层100,卷积层100的输出端连接一特征融合网络,特征融合网络的输出端连接一第一反卷积层200,第一反卷积层200的输出端连接一第一激活函数300;
特征融合网络包括依次连接的若干子网络,每个子网络包括依次连接的一第一编码层400、至少一第二编码层401、第三编码层402、一第二反卷积层201,第一编码层400的输入端作为子网络的输入端,第二反卷积层201以及一SE模块500的输出端作为子网络的输出端;
位于同一子网络的第一编码层400的输出、第二编码层401的输出端连接的一第三反卷积层202的输出、以及第二反卷积层201的输出进行特征融合后作为下一个子网络的第一编码层400的输入;
各子网络的第一编码层400的输出端分别连接一对应的第四反卷积层203,各第四反卷积层203的输出进行特征融合后得到第一反卷积融合结果;
各子网络的SE模块500的输出端分别连接一对应的第五反卷积层204,各第五反卷积层204的输出进行特征融合后得到第二反卷积融合结果;
第二反卷积融合结果和第一反卷积融合结果进行特征融合后作为第一反卷积层200的输入。
具体地,本实施例中,神经网络分割模型在3D-DFANet深度神经网络的模型基础上构建形成,将跨尺度特征融合与SE模块(Squeeze-and-Excitation,压缩和激励网络)结合在一起使用,并且在每个子网起始的第一编码层做跨尺度特征融合,在每个子网的中间的第二编码层和最后的第三编码层均连接相应的反卷积层,并将反卷积层的输出结果和第一编码层的输出融合,这样的方法有利于提高小目标的准确性,提高特征复用性。
具体地,上述子网络优选为三个,上述第二编码层为一个,如图3所示,其中C用于表示特征连接,反卷积操作用于实现还原采样。优选输入的一帧心脏体数据的体数据为H×W×D,其中,H用于表示心脏体数据的高度,W用于表示心脏体数据的宽度,D用于表示心脏体数据的深度,将该心脏体数据输入至具有8个3*3*3的卷积核且步长为2的卷积层100中得到体数据为
Figure BDA0002441560920000121
的特征图,该特征图经过第一个子网络的第一编码层400得到体数据为/>
Figure BDA0002441560920000122
的特征图,该特征图经过第一个子网络的第二编码层401得到体数据为
Figure BDA0002441560920000123
的特征图,该特征图经过第一个子网络的第三编码层402得到体数据为
Figure BDA0002441560920000124
的特征图,该特征图经过第一个子网络的第二反卷积层201得到体数据为
Figure BDA0002441560920000125
的特征图。
进一步地,第一个子网络的第一编码层400输出的体数据为
Figure BDA0002441560920000126
的特征图、第一个子网络的第二编码层401连接的一第三反卷积层202输出的/>
Figure BDA0002441560920000127
的特征图,以及第一个子网络的第二反卷积层201输出的/>
Figure BDA0002441560920000128
的特征图进行特征融合后,作为第二个子网络的第一编码层400的输入。
同理,第二个子网络的第一编码层400输出的
Figure BDA0002441560920000131
的特征图、第二个子网络的第二编码层401连接的一第三反卷积层202输出的/>
Figure BDA0002441560920000132
的特征图,以及第二个子网络的第二反卷积层201输出的/>
Figure BDA0002441560920000133
的特征图进行特征融合后,作为第三个子网络的第一编码层400的输入。
进一步地,第一个子网络的第一编码层400输出的
Figure BDA0002441560920000134
的特征图、第二个子网络的第一编码层400输出的/>
Figure BDA0002441560920000135
的特征图和第三个子网络的第一编码层400输出的/>
Figure BDA0002441560920000136
的特征图分别经第四反卷积层203后进行特征融合后得到第一反卷积融合结果。
上述第一个子网络的第一编码层400经第四反卷积层202后的体数据每个维度扩大1倍,上述第二个子网络的第一编码层400经第四反卷积层202后的体数据每个维度扩大2倍,上述第三个子网络的第一编码层400经第四反卷积层203后的体数据每个维度扩大4倍。
第一个子网络的SE模块500输出的
Figure BDA0002441560920000137
的特征图、第二个子网络的SE模块500输出的/>
Figure BDA0002441560920000138
的特征图和第三个子网络的SE模块500输出的/>
Figure BDA0002441560920000139
的特征图分别经第五反卷积层204后进行特征融合后得到第一反卷积融合结果。
上述第一个子网络的SE模块500经第五反卷积层204后的体数据每个维度扩大1倍,上述第二个子网络的SE模块500经第五反卷积层204后的体数据每个维度扩大2倍,上述第三个子网络的SE模块500经第五反卷积层204后的体数据每个维度扩大4倍。
第二反卷积融合结果和第一反卷积融合结果进行特征融合后作为第一反卷积层200的输入,第一反卷积层200经过第一激活函数300后输出体数据为H×W×D的左心室分割标记体数据。上述第一激活函数300优选为sigmoid激活函数。
优选的,上述第一反卷积层200、第二反卷积层201、第三反卷积层202、第四反卷积层203和第五反卷积层204为一般三维卷积,采用8个3*3*3的卷积核并分别扩大上述对应倍数,上述第一编码层400、第二编码层401和第三编码层402的卷积为深度可分卷积。
进一步地,上述特征图为四维张量特征图,除高度H、宽度W和深度D之外,还包括通道数C。
本发明的较佳的实施例中,如图4所示,SE模块500包括:
依次连接的一池化层501、一第一全连接层502、一第二激活函数301、一第二全连接层503和一第三激活函数302;
一拉伸计算单元506,各子网络的第二反卷积层201的输出端作为池化层501的输入端,且第二反卷积层201的输出端和第三激活函数302的输出端作为拉伸计算单元506的输入端,拉伸计算单元506的输出端作为SE模块500的输出端。
具体地,本实施例中,通过设置SE模块500进一步加强特征,上述第二激活函数301为Relu激活函数,上述第三激活函数302为Sigmoid激活函数。
进一步地,通过上述模块对特征图进行特征加强,使得有效的特征图的权重大,无效或效果小的特征图权重小,有效降低模型错误率。使用池化层501进行压缩操作,紧接着通过第一全连接层502将特征维度降低,然后经过ReLu激活函数后再通过第二全连接层503升回到原来的维度,可以更好地拟合通道间复杂的相关性且极大地减少了参数量和计算量。最后通过一个Sigmoid激活函数获得0~1之间归一化的权重,最后通过拉伸计算单元506的操作来将归一化后的权重加权到每个通道的特征上。
本发明的较佳的实施例中,执行步骤S3之前,还包括孔洞修补的过程,如图5所示,具体包括:
步骤B1,根据左心室二值化体数据判断心脏部位的内部是否出现孔洞:
若是,则转向步骤B2;
若否,则转向步骤S3;
步骤B2,采用形态学闭运算对孔洞进行修补,随后转向步骤S3。
本发明的较佳的实施例中,射血分数的计算公式如下:
EF=(Volmax-Volmin)*100%/Volmax
其中,
EF用于表示射血分数;
Volmax用于表示左心室容积的最大值;
Volmax用于表示左心室容积的最小值。
一种基于深度学习的射血分数计算系统,应用以上任意一项的射血分数计算方法,如图6所示,射血分数计算系统具体包括:
超声设备1,用于连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出;
图像处理设备2,连接超声设备1,并包括:
图像分割单元21,用于针对连续心脏体数据中的每帧心脏体数据,采用预先训练得到的神经网络分割模型,对心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据;
第一处理单元22,连接图像分割单元21,用于对左心室分割标记体数据进行二值化处理,得到具有一第一体素值和一第二体素值的左心室二值化体数据;
第二处理单元23,连接第一处理单元22,用于统计左心室二值化体数据中的第一体素值的体素数量总和,并将体素数量总和作为心脏体数据对应的左心室容积保存至预先生成的一容积队列中;
第三处理单元24,连接第二处理单元23,用于在连续心脏体数据的所有帧心脏体数据处理完成后,分别提取容积队列中保存的左心室容积的最大值和最小值,并计算得到心脏部位的射血分数。
本发明的较佳的实施例中,图像处理设备2还包括一预处理单元25,分别连接图像分割单元21和第一处理单元22,预处理单元25具体包括:
第一处理子单元251,用于对连续心脏体数据进行分帧处理得到若干帧心脏体数据;
第二处理子单元252,连接第一处理子单元251,用于分别对每帧心脏体数据进行平滑和降噪处理得到预处理心脏体数据;
第三处理子单元253,连接第二处理子单元252,用于分别对每帧预处理心脏体数据进行二值化得到二值化心脏体数据;
第四处理子单元254,连接第三处理子单元253,用于分别对每帧二值化心脏体数据进行归一化得到归一化心脏体数据,则图像分割单元中的每帧心脏体数据为归一化心脏体数据。
本发明的较佳的实施例中,图像处理设备2还包括一孔洞修补单元26,分别连接第一处理单元22和第二处理单元23,孔洞修补单元26具体包括:
判断子单元261,用于根据左心室二值化体数据判断心脏部位的内部是否出现孔洞,并在左心室二值化体数据的内部出现孔洞时输出判断结果;
修补子单元262,连接判断子单元261,用于根据判断结果采用形态学闭运算对孔洞进行修补。
本发明的一个较佳的实施例中,如图7所示,图像处理设备包括体数据缓存区900、计算内存区600以及计算显存区700,且体数据缓存区900、计算内存区600和计算显存区700优选通过总线800实现数据传输。本实施例中,优选先将采集的连续心脏体数据存入体数据缓存区900,通过体数据缓存区900进行缓存分帧提取心脏体数据到计算内存区600进行预处理过程,再将经预处理得到的心脏体数据放入计算显存区700,通过显卡运行神经网络分割模型,进而计算出对应的左心室容积,放入容积队列中。
上述神经网络分割模型的处理过程也可以在第三方外设中实现,第三方外设优选为FPGA,或神经网络计算棒,或云计算。
上述计算内存区600的预处理过程与计算显存区700的神经网络分割模型的运算过程可以异步并行处理,以提高计算效率,上述异步并行处理为计算内存区600在处理第N帧心脏体数据后,将第N帧心脏体数据推送到计算显存区700后,随后可以进行第N+1帧的数据预处理,无需等待计算显存区700计算完成。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (8)

1.一种基于深度学习的射血分数计算方法,其特征在于,首先通过一超声设备连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出;
随后,针对所述连续心脏体数据中的每帧心脏体数据执行下述步骤:
步骤S1,采用预先训练得到的神经网络分割模型对所述心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据;
步骤S2,对所述左心室分割标记体数据进行二值化处理,得到具有一第一体素值和一第二体素值的左心室二值化体数据;
步骤S3,统计所述左心室二值化体数据中的所述第一体素值的体素数量总和,并将所述体素数量总和作为所述心脏体数据对应的左心室容积保存至预先生成的一容积队列中;
重复执行所述步骤S1至所述步骤S3,直至所述连续心脏体数据的所有帧所述心脏体数据处理完成后,分别提取所述容积队列中保存的所述左心室容积的最大值和最小值,并计算得到所述心脏部位的射血分数;
所述神经网络分割模型在3D-DFANet深度神经网络的模型基础上构建形成;
所述神经网络分割模型包括一卷积层,所述卷积层的输出端连接一特征融合网络,所述特征融合网络的输出端连接一第一反卷积层,所述第一反卷积层的输出端连接一第一激活函数;
所述特征融合网络包括依次连接的若干子网络,每个所述子网络包括依次连接的一第一编码层、至少一第二编码层、第三编码层、一第二反卷积层以及一SE模块,所述第一编码层的输入端作为所述子网络的输入端,所述SE模块的输出端作为所述子网络的输出端;
位于同一所述子网络的所述第一编码层的输出、所述第二编码层的输出端连接的一第三反卷积层的输出、以及所述第二反卷积层的输出进行特征融合后作为下一个所述子网络的所述第一编码层的输入;各所述子网络的所述第一编码层的输出端分别连接一对应的第四反卷积层,各所述第四反卷积层的输出进行特征融合后得到第一反卷积融合结果;
各所述子网络的所述SE模块的输出端分别连接一对应的第五反卷积层,各所述第五反卷积层的输出进行特征融合后得到第二反卷积融合结果;
所述第二反卷积融合结果和所述第一反卷积融合结果进行特征融合后作为所述第一反卷积层的输入。
2.根据权利要求1所述的基于深度学习的射血分数计算方法,其特征在于,执行所述步骤S1之前,还包括对所述连续心脏体数据进行预处理的过程,具体包括:
步骤A1,对所述连续心脏体数据进行分帧处理得到若干帧心脏体数据;
步骤A2,分别对每帧所述心脏体数据进行平滑和降噪处理得到预处理心脏体数据;
步骤A3,分别对每帧所述预处理心脏体数据进行二值化得到二值化心脏体数据;
步骤A4,分别对每帧所述二值化心脏体数据进行归一化得到归一化心脏体数据;
则所述步骤S1中每帧所述心脏体数据为经过所述步骤A1-A4处理后得到的所述归一化心脏体数据。
3.根据权利要求1所述的基于深度学习的射血分数计算方法,其特征在于,所述SE模块包括:
依次连接的一池化层、一第一全连接层、一第二激活函数、一第二全连接层和一第三激活函数;
一拉伸计算单元,各所述子网络的所述第二反卷积层的输出端作为所述池化层的输入端,且所述第二反卷积层的输出端和所述第三激活函数的输出端作为所述拉伸计算单元的输入端,所述拉伸计算单元的输出端作为所述SE模块的输出端。
4.根据权利要求1所述的基于深度学习的射血分数计算方法,其特征在于,执行所述步骤S3之前,还包括孔洞修补的过程,具体包括:
步骤B1,根据所述左心室二值化体数据判断所述心脏部位的内部是否出现孔洞:
若是,则转向步骤B2;
若否,则转向所述步骤S3;
步骤B2,采用形态学闭运算对所述孔洞进行修补,随后转向所述步骤S3。
5.根据权利要求1所述的基于深度学习的射血分数计算方法,其特征在于,所述射血分数的计算公式如下:
EF=(Volmax-Volmin)*100%/Volmax
其中,
EF用于表示所述射血分数;
Volmax用于表示所述左心室容积的所述最大值;
Volmin用于表示所述左心室容积的所述最小值。
6.一种基于深度学习的射血分数计算系统,其特征在于,应用如权利要求1-5中任意一项所述的射血分数计算方法,所述射血分数计算系统具体包括:
超声设备,用于连续采集得到心脏部位的包含至少一个完整心动周期的连续心脏体数据并输出;
图像处理设备,连接所述超声设备,并包括:
图像分割单元,用于针对所述连续心脏体数据中的每帧心脏体数据,采用预先训练得到的神经网络分割模型对所述心脏体数据进行心脏左心室分割得到对应的左心室分割标记体数据;
第一处理单元,连接所述图像分割单元,用于对所述左心室分割标记体数据进行二值化处理,得到具有一第一体素值和一第二体素值的左心室二值化体数据;
第二处理单元,连接所述第一处理单元,用于统计所述左心室二值化体数据中的所述第一体素值的体素数量总和,并将所述体素数量总和作为所述心脏体数据对应的左心室容积保存至预先生成的一容积队列中;
第三处理单元,连接所述第二处理单元,用于在所述连续心脏体数据的所有帧所述心脏体数据处理完成后,分别提取所述容积队列中保存的所述左心室容积的最大值和最小值,并计算得到所述心脏部位的射血分数。
7.根据权利要求6所述的基于深度学习的射血分数计算系统,其特征在于,所述图像处理设备还包括一预处理单元,分别连接所述图像分割单元和所述第一处理单元,所述预处理单元具体包括:
第一处理子单元,用于对所述连续心脏体数据进行分帧处理得到若干帧心脏体数据;
第二处理子单元,连接所述第一处理子单元,用于分别对每帧所述心脏体数据进行平滑和降噪处理得到预处理心脏体数据;
第三处理子单元,连接所述第二处理子单元,用于分别对每帧所述预处理心脏体数据进行二值化得到二值化心脏体数据;
第四处理子单元,连接所述第三处理子单元,用于分别对每帧所述二值化心脏体数据进行归一化得到归一化心脏体数据,则所述图像分割单元中的每帧所述心脏体数据为所述归一化心脏体数据。
8.根据权利要求6所述的基于深度学习的射血分数计算系统,其特征在于,所述图像处理设备还包括一孔洞修补单元,分别连接所述第一处理单元和所述第二处理单元,所述孔洞修补单元具体包括:
判断子单元,用于根据所述左心室二值化体数据判断所述心脏部位的内部是否出现孔洞,并在所述左心室二值化体数据的内部出现所述孔洞时输出判断结果;
修补子单元,连接所述判断子单元,用于根据所述判断结果采用形态学闭运算对所述孔洞进行修补。
CN202010266734.XA 2020-04-07 2020-04-07 一种基于深度学习的射血分数计算方法及系统 Active CN111466894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010266734.XA CN111466894B (zh) 2020-04-07 2020-04-07 一种基于深度学习的射血分数计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010266734.XA CN111466894B (zh) 2020-04-07 2020-04-07 一种基于深度学习的射血分数计算方法及系统

Publications (2)

Publication Number Publication Date
CN111466894A CN111466894A (zh) 2020-07-31
CN111466894B true CN111466894B (zh) 2023-03-31

Family

ID=71750181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010266734.XA Active CN111466894B (zh) 2020-04-07 2020-04-07 一种基于深度学习的射血分数计算方法及系统

Country Status (1)

Country Link
CN (1) CN111466894B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112075956B (zh) * 2020-09-02 2022-07-22 深圳大学 一种基于深度学习的射血分数估计方法、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
RU2676462C1 (ru) * 2018-10-15 2018-12-28 Федеральное государственное бюджетное учреждение "Национальный медицинский исследовательский центр сердечно-сосудистой хирургии имени А.Н. Бакулева" Министерства здравоохранения Российской Федерации Способ определения оптимального объема левого желудочка при выполнении операции геометрической реконструкции левого желудочка у больных с постинфарктной аневризмой левого желудочка
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN110163877A (zh) * 2019-05-27 2019-08-23 济南大学 一种mri心室结构分割的方法与系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450746B2 (en) * 2002-06-07 2008-11-11 Verathon Inc. System and method for cardiac imaging
US8098918B2 (en) * 2007-09-21 2012-01-17 Siemens Corporation Method and system for measuring left ventricle volume
US10600184B2 (en) * 2017-01-27 2020-03-24 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN110120051A (zh) * 2019-05-10 2019-08-13 上海理工大学 一种基于深度学习的右心室自动分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
RU2676462C1 (ru) * 2018-10-15 2018-12-28 Федеральное государственное бюджетное учреждение "Национальный медицинский исследовательский центр сердечно-сосудистой хирургии имени А.Н. Бакулева" Министерства здравоохранения Российской Федерации Способ определения оптимального объема левого желудочка при выполнении операции геометрической реконструкции левого желудочка у больных с постинфарктной аневризмой левого желудочка
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN110163877A (zh) * 2019-05-27 2019-08-23 济南大学 一种mri心室结构分割的方法与系统

Also Published As

Publication number Publication date
CN111466894A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN109584254B (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN107563983B (zh) 图像处理方法以及医学成像设备
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN108052977B (zh) 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN111772619B (zh) 一种基于深度学习的心搏识别方法、终端设备及存储介质
CN110796613B (zh) 一种图像伪影的自动识别方法及装置
WO2018227105A1 (en) Progressive and multi-path holistically nested networks for segmentation
CN110363760B (zh) 用于识别医学图像的计算机系统
JP2002500795A (ja) 輪郭検出段階を含む画像処理方法及びシステム
CN110755076A (zh) 磁共振扫描仪的图像采集方法、装置、设备和介质
CN113012173A (zh) 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
CN111242956A (zh) 基于U-Net超声胎心和胎肺深度学习联合分割方法
CN110570394B (zh) 医学图像分割方法、装置、设备及存储介质
CN111291727B (zh) 一种光体积变化描记图法信号质量检测方法和装置
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN113554665A (zh) 一种血管分割方法及装置
Ciurte et al. A semi-supervised patch-based approach for segmentation of fetal ultrasound imaging
CN112529863A (zh) 测量骨密度的方法及装置
CN112949654A (zh) 图像检测方法及相关装置、设备
CN111466894B (zh) 一种基于深度学习的射血分数计算方法及系统
CN113180623B (zh) 无袖式血压测量方法、系统、设备及存储介质
Sinha et al. Lumen & media segmentation of ivus images via ellipse fitting using a wavelet-decomposed subband cnn
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201015

Address after: Room 5030, 5 / F, building e, 555 Dongchuan Road, Minhang District, Shanghai, 200241

Applicant after: Shanghai Shenzhi Information Technology Co.,Ltd.

Address before: Room 3388-c, building 2, 1077 Zuchongzhi Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant before: Shanghai Zhuxing Biotechnology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant