CN111685740A - 一种心脏功能参数检测方法及装置 - Google Patents

一种心脏功能参数检测方法及装置 Download PDF

Info

Publication number
CN111685740A
CN111685740A CN202010512260.2A CN202010512260A CN111685740A CN 111685740 A CN111685740 A CN 111685740A CN 202010512260 A CN202010512260 A CN 202010512260A CN 111685740 A CN111685740 A CN 111685740A
Authority
CN
China
Prior art keywords
heart
ventricular
pericardium
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010512260.2A
Other languages
English (en)
Other versions
CN111685740B (zh
Inventor
赵砚彬
吴舒旸
孟浩宇
梁家辉
张琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010512260.2A priority Critical patent/CN111685740B/zh
Publication of CN111685740A publication Critical patent/CN111685740A/zh
Application granted granted Critical
Publication of CN111685740B publication Critical patent/CN111685740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02028—Determining haemodynamic parameters not otherwise provided for, e.g. cardiac contractility or left ventricular ejection fraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40—Animals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/42—Evaluating a particular growth phase or type of persons or animals for laboratory research

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种心脏功能参数检测方法，包括：获得心脏活体运动视频；从所述运动视频中获取多帧第一心脏图像；所述第一心脏图像输入经训练的卷积神经网络模型，从所述卷积神经网络模型获得多帧第二心脏图像，该第二心脏图像包括有由所述卷积神经网络模型预测的心室边缘轮廓和心包膜轮廓；根据获得的心室边缘轮廓和心包膜轮廓计算获得反映心脏功能的参数。

Description

一种心脏功能参数检测方法及装置
技术领域
本发明属于心血管疾病研究技术领域，特别涉及一种心脏功能参数检测方法及装置。
背景技术
心血管疾病如高血压、冠心病等目前已成为全球面临的重大公共卫生问题。据《中国心血管病报告2018》，我国现有心血管病患病人数达2.9亿，超过总人口数的1/5。死亡率居首，占居民疾病死亡构成的40％以上。近年来，心血管小分子药物研发也是新药研究中最为活跃的领域之一。据统计，每年平均进入临床研究的心血管药物约有20种之多。除遗传因素外，环境因素在心血管疾病的发生发展过程中也被证明起着重要的作用。对心血管系统产生干扰效应的环境小分子化学物质也不断在人们日常接触的大气、水体、土壤环境中被检出(Alissa et al.,J Toxicol 2011,Polichetti et al.,Toxicol 261:1-8)。
发明内容
本发明提供了一种心脏功能参数检测方法及装置，目的是将这种检测方法和装置用于小分子心血管药物的快速筛选和环境心血管干扰物质的快速检测与评估。
本发明实施例之一，一种心脏功能参数检测方法，包括以下步骤：
获得心脏活体运动视频；
从所述运动视频中获取多帧第一心脏图像；
所述第一心脏图像输入经训练的卷积神经网络模型，从所述卷积神经网络模型获得多帧第二心脏图像，该第二心脏图像包括有由所述卷积神经网络模型预测的心室边缘轮廓和心包膜轮廓；
根据获得的心室边缘轮廓和心包膜轮廓计算获得反映心脏功能的参数。
本发明实施例之一，一种心脏功能参数检测装置，包括，
视频获取设备，用于获取心脏活体运动视频；
图像处理电路，被配置为执行以下操作，
获得心脏活体运动视频；
从所述运动视频中获取多帧第一心脏图像；
所述第一心脏图像输入经训练的卷积神经网络模型，从所述卷积神经网络模型获得多帧第二心脏图像，该第二心脏图像包括有由所述卷积神经网络模型预测的心室边缘轮廓和心包膜轮廓；
根据获得的心室边缘轮廓和心包膜轮廓计算获得反映心脏功能的参数。
本发明实施例之一，一种心脏功能参数检测系统，包括，
数据采集模块，通过显微镜相机获得心脏活体运动视频；
数据预处理模块，从所述心脏活体运动视频中提取多个图像帧；
卷积神经网络模型，所述图像帧被输入该经过训练的卷积神经网络模型，对图像中的心室边缘或心包膜位置和形状进行预测；
心室边缘检测模块，根据所述卷积神经网络模型输出的预测结果进行椭圆拟合并且进行图片合并；
心包膜检测模块，根据所述卷积神经网络模型输出的预测结果进行弧线拟合，并且计算对应的弧度；
数据后处理模块，根据所述心室边缘检测模块或心包膜检测模块的输出结果，根据所述图像帧的时间顺序，计算得到所需的心脏评价参数。
本发明实施例之一，一种小分子心血管药物的快速筛选方法，通过对斑马鱼心脏活体运动视频的分析，获得所述斑马鱼心脏的发育功能参数，将获得的所述心脏的发育功能参数用于对小分子心血管药物的筛选。
本发明实施例之一，一种环境心血管干扰物质的快速检测与评估方法，通过对斑马鱼心脏活体运动视频的分析，获得所述斑马鱼心脏的发育功能参数，将获得的所述心脏的发育功能参数用于对环境心血管干扰物质的快速检测与评估。
本发明的心脏功能参数检测方法、装置或系统，能够全自动并且准确快速的检测斑马鱼心脏发育功能相关参数，能够应用于小分子心血管药物的快速筛选和环境心血管干扰物质的快速检测与评估。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1根据本发明实施例之一的心脏检测系统流程图。
图2根据本发明实施例之一的卷积神经网络模型训练及测试流程图。
图3根据本发明实施例之一的心室边缘检测模块工作示意图。
图4根据本发明实施例之一的心包膜检测模块工作示意图。
图5根据本发明实施例之一的数据后处理模块工作示意图。
图6为斑马鱼心脏图像检测结果示例图。图中，6-a为心室边缘检测模块检测可视化结果；6-b为心包膜检测模块检测可视化结果。
具体实施方式
斑马鱼作为小型模式脊椎动物，近年来在心血管发育与功能研究方面受到广泛关注。目前，斑马鱼心脏发育功能相关参数研究仍局限于心率、心输出量、每搏输出量等常规参数的定性/定量检测(Jordan et al.Phisiol Genomics42(2):300-309)。检测方法亦采用直观观察或者手动的视频处理分析，如需要研究人员手动圈出心脏位置以进行逐帧分析，这也成为了小分子药理/毒理研究和高通量小分子化合物筛选中的限速步骤，并极大地浪费了人力资源与时间。
近年来，神经网络研究在大数据的支撑下发展迅速，在图像及视频分析中表现极为突出。神经网络通过模拟生物神经元连接关系，能从复杂的样本中提取出足够的特征并对不同特征赋以不同的权重，从而能对目标进行准确模拟与识别。在视频分析尤其是本方法中需要的语义分割中，常用的方法即为卷积神经网络，其中以医学图像识别中常用的U-Net为代表(Ronneberger et al.,Med Image Comput Comput Assist Interv 2015:234-241)，能够使用相对较少参数对医学影像进行良好分割，因此在斑马鱼心脏运动视频自动化定量分析中具有潜在的应用价值。
实施例一。如图1所示，一种基于深度学习的斑马鱼心脏参数自动识别和检测的系统。包括数据采集模块、数据预处理模块、数据标注模块、训练模块、心脏检测模块——包括心室边缘检测模块与心包膜检测模块、数据后处理模块。其中：数据采集模块使用高分辨显微镜相机拍摄斑马鱼心脏运动视频，数据预处理模块从显微镜相机读取原始斑马鱼心脏运动视频文件并转化处理为图像，数据标注模块对训练集视频每个选取一定帧进行标注，训练模块可以对原图像进行增强并通过深度学习方法对样本数据进行学习训练得到卷积神经网络模型的最优参数，心室边缘检测模块使用模型输出的预测结果进行椭圆拟合并且进行图片合并，心包膜检测模块使用模型输出的预测结果进行弧拟合以及手动修正计算对应的弧度，数据后处理模块使用图片生成检测视频并且对得到的相关参数进行整合计算得到所需的心脏评价参数并进行输出。
所述的数据采集模块，使用48-72hpf(hours post fertilization，受精后小时数)斑马鱼幼鱼，在斑马鱼心室视频拍摄时，使斑马鱼侧置，心室于心房上方避免遮挡。使用10倍物镜，4倍ROI(Region Of Interest，感兴趣区域)，帧率>100fps，不使用相差环进行拍摄，以获得最好效果。
所述的转化处理，即数据预处理模块读取原始的OME-DIFF格式视频，转换为AVI格式，并进一步根据需要(训练/检测)生成不同帧数量的PNG格式的文件，其中文件命名使用‘文件名-帧数’格式，以便于后续使用检测帧重新生成视频进行检查。
所述的选取一定帧，指根据视频帧长度，间隔一定帧数提取帧图像文件，以使同一个视频尽量多不同形状图像得到标注。
所述的标注为使用多段线段标注心室壁边缘以及心包膜边缘。
所述的增强指在不同训练批次中，为了增强模型的普适性，在不改变图像本质的情况下对图像进行一定适当改变。
所述的训练模块使用ImageNet预训练的50层残差神经网络ResNet50作为编码器，并生成以UNet为例的对应解码器，或其他深度学习网络，训练得到网络的最优参数并输出至检测模块。如图2所示。
所述的椭圆拟合，指使用输出的检测心室区域，提取区域边界并拟合为椭圆，从而得到椭圆的长短轴，作为心室的长轴和短轴。另外当检测失败，即边缘像素点少于五个点时，跳过此帧不进行拟合。
所述的合并图片，指将每一帧并列摆放两张，其中一张上覆盖显示检测心室区域，并标注拟合椭圆和椭圆长短轴长度(如果有)，并储存视频名、帧名和长短轴长度供使用。
所述的弧拟合指使用最小二乘法拟合检测出的心包膜的曲率。
所述的手动修正指通过手动删除识别错误像素块，并重新计算弧度，进行结果修正。
所述的生成检测视频指将心室边缘检测模块生成的图片，根据视频名和帧名按顺序排列生成每个原视频对应的检测视频，供人工判断检测是否正确。
所述的整合计算首先需要使用心室边缘检测模块生成的数据，按每个视频的时间顺序排列；使用线性填补空缺值(识别失败的帧)，如果视频开头或结尾识别失败则直接舍去；使用局部异常因子函数和箱型图检测异常值，对异常值使用前后四个点取平均替换；根据拍摄帧率设置峰值检测最小间隔，检测得到长轴和短轴的最大最小值(舒张末期和收缩末期)，计算得到所需的评价参数包括心率、心输出量、每搏输出量、心室射血分数、心室面积、心律不齐程度、心室舒张收缩比、心包水肿程度共计八个心脏发育功能参数。
所述的心率使用极值两两之间距离的平均值，对舒张末期和收缩末期时的长轴和短轴间隔分别求平均，利用拍摄帧数计算即可得到心率。
所述的每搏输出量使用长轴和短轴利用椭球体积公式计算得到心室的近似体积，舒张末期体积减去收缩末期体积即为每搏输出量。
所述的心输出量使用每搏输出量与心率的乘积即为心输出量。
所述的心室面积使用舒张末期心室检出面积作为最大心室面积。
所述的心室射血分数使用长轴和短轴利用椭球体积公式计算得到心室的近似体积，舒张末期体积与收缩末期体积的差除以舒张末期体积即为心室射血分数。
所述的心律不齐程度使用长短轴，使用极值两两之间距离的方差，对舒张末期和收缩末期时的长轴和短轴间隔分别求平均，即可得到心律不齐程度，数值越大即心律不齐程度越强。
所述的心室舒张收缩比使用长短轴，使用极值两两之间距离，对舒张期和收缩期的时间分别求平均，使用舒张期时间除以收缩期时间，即可得到心室舒张收缩比。
所述的心包水肿程度使用心包膜检测模块检测出的心包膜所在圆的圆弧角度作为指征参数，弧度越大心包水肿程度越强。具体步骤如图5所示。
实施例二。一种基于深度学习的斑马鱼心脏参数自动识别和检测方法，包括：拍摄斑马鱼心脏运动视频；将斑马鱼心脏运动视频转化处理为图像作为训练集和检测集使用；对训练集图像进行标注；通过深度学习方法对训练集图像样本数据进行学习训练得到神经网络模型的最优参数并应用于检测集图像；对神经网络模型输出的预测结果进行拟合；生成检测视频，并且对得到的模型参数进行整合计算并输出所需的心脏评价参数。
使用56hpf的斑马鱼幼体进行拍摄。在拍摄斑马鱼心室视频时，使斑马鱼侧置时心室在心房上方避免心房对心室的遮挡。拍摄参数为10倍物镜，4倍ROI(2048*2048→512*512)，帧率保持在100fps以上，不使用相差环进行拍摄避免过多干扰，以获得最好效果。
将相机生成的原始OME-DIFF格式视频转换为AVI格式，并进一步根据需要生成不同帧数量的PNG格式的文件(训练心室边缘检测每个视频生成30帧，训练心包膜检测每个视频生成3帧，测试生成前300帧约3s)，其中文件命名使用‘文件名-帧数’格式，以便于后续使用检测帧重新生成视频进行检查。
训练时生成30帧，指根据视频帧率，间隔10帧约0.1s提取帧图像文件，以使同一个视频尽量多不同形状图像得到标注。训练时生成3帧，指根据视频帧率，间隔100帧约1s提取帧图像文件。
对生成的帧文件进行标注，使用多段线段标注心室壁边缘以及心包膜边缘。之后将标注文件转换为模型所需格式(json→png)。
由于标注有限，训练集较小，为了增强模型的普适性，需要在不同训练批次中对图像施以以下操作：50％概率水平翻转，50％概率垂直翻转，50％概率旋转90°，50％概率随机旋转45°以内并缩放0.9-1.1倍，从512*512缩放为320*320，随机裁剪300*300大小画面，20％概率添加高斯噪声，80％概率添加对比性受限自适应直方图均衡(CLAHE)、随机亮度、随机噪声中的一项，80％概率添加锐化、模糊、动态模糊中的一项，80％概率添加随机对比度、随机饱和度中的一项，再缩放至256*256大小。
训练模型使用ImageNet预训练的50层残差神经网络ResNet50作为编码器(encoder)，并生成以UNet为例的对应解码器(decoder)，训练得到网络的最优参数，应用在检测集上。
对于心室边缘检测，使用模型检测结果对心室区域进行椭圆拟合，提取区域边界并拟合为椭圆，从而得到椭圆的长短轴，作为心室的长轴和短轴。另当检测失败，边缘像素点少于五个点时，跳过此帧不进行拟合。如图3所示。
为了更直观的展现检测结果以及供研究人员判断检测是否成功，需要对检测结果进行可视化。首先需要合并图片，即将每一帧并列摆放两张，其中一张上覆盖显示检测心室区域，并标注拟合椭圆和椭圆长短轴长度，并储存视频名、帧名和长短轴长度供后续使用。之后将图片根据视频名和帧名按顺序排列生成每个原视频对应的检测视频。
对于心包膜检测，将预测心室壁的轮廓利用最小二乘法拟合出心包膜所在圆的圆弧角度，在图上标注拟合圆和弧度，输出图像。如果拟合失败可以交互式手动删除识别错误的块并进行重新拟合。如图4所示。
最后进行数据后处理以获得斑马鱼心脏相关参数。首先需要使用心室边缘检测模块生成的数据，每个视频按时间顺序排列；使用线性填补空缺值(识别失败的帧)，如果视频开头或结尾识别失败则直接舍去；使用局部异常因子函数和箱型图检测异常值，对异常值使用前后四个点取平均替换；根据拍摄帧率设置峰值检测最小间隔，检测得到长轴和短轴的最大最小值(舒张末期和收缩末期)，计算得到所需的评价参数包括心率、心输出量、每搏输出量、心室射血分数、心室面积、心律不齐程度、心室舒张收缩比、心包水肿程度共计八个参数。
心率(Heart Rate,HR)使用极值两两之间距离的平均值，对舒张末期(EndDiastole，ED)和收缩末期(End Systole，ES)时的长轴(Long Axis,LA)和短轴(ShortAxis,SA)间隔分别求平均，利用拍摄帧数计算即可得到心率。
Figure BDA0002528838950000071
每搏输出量(Stroke Volume，SV)使用长轴和短轴利用椭球体积公式计算得到心室的近似体积，舒张末期体积减去收缩末期体积即为每搏输出量。
Figure BDA0002528838950000072
心输出量(Cardiac Output，CO)使用每搏输出量与心率的乘积即为心输出量。
CO＝HR*SV
心室面积(Max Area,MA)使用舒张末期心室检测出面积(Spre)作为最大心室面积。
MA＝Spre
心室射血分数(Ejection Fraction，EF)使用长轴和短轴利用椭球体积公式计算得到心室的近似体积，舒张末期体积与收缩末期体积的差除以舒张末期体积即为心室射血分数。
Figure BDA0002528838950000081
心律不齐程度(Arrhythmia Factor，AF)使用长短轴，取其极值两两之间距离的方差(峰值间距，std)，对舒张末期和收缩末期时的长轴和短轴间隔分别求平均，即可得到心律不齐程度，数值越大即心律不齐程度越强。
Figure BDA0002528838950000082
心室舒张收缩比(Diastole Systole Ratio，D:S)使用长短轴，使用极值两两之间距离，对舒张期和收缩期的时间分别求平均，使用舒张期时间(tD)除以收缩期时间(tS)，即可得到心室舒张收缩比。
D:S＝tD/tS
心包水肿程度(Pericardial Effusion Factor，PEF)使用心包膜检测模块检测出的心包膜所在圆的圆弧角度作为指征参数，弧度越大心包水肿程度越强。
值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (13)

1.一种心脏功能参数检测方法，包括以下步骤：
获得心脏活体运动视频；
从所述运动视频中获取多帧第一心脏图像；
所述第一心脏图像输入经训练的卷积神经网络模型，从所述卷积神经网络模型获得多帧第二心脏图像，该第二心脏图像包括有由所述卷积神经网络模型预测的心室边缘轮廓和心包膜轮廓；
根据获得的心室边缘轮廓和心包膜轮廓计算获得反映心脏功能的参数。
2.根据权利要求1所述的心脏功能参数检测方法，其特征在于，所述的根据获得的心室边缘轮廓计算获得反映心脏功能的参数步骤包括，
使用第二心脏图像的心室边缘轮廓对第一心脏图像提取心室区域边界并进行椭圆拟合，获得该椭圆的长轴和短轴，作为心室椭圆的长轴和短轴；
结合第一心脏图像帧的帧率，获得所述心室椭圆的长轴、短轴的最大值和最小值，即对应的心室的舒张末期和收缩末期。
3.根据权利要求1或2所述的心脏功能参数检测方法，其特征在于，所述反映心脏功能的参数包括心率、心输出量、每搏输出量、心室射血分数、心室面积、心律不齐程度、心室舒张收缩比和/或心包水肿程度。
4.根据权利要求1所述的心脏功能参数检测方法，其特征在于，所述的根据获得的心包膜轮廓计算获得反映心脏功能的参数步骤包括，
对于第二心脏图像的心包膜轮廓拟合出心包膜的曲率，即心包膜所在圆的圆弧角度。
5.根据权利要求1所述的心脏功能参数检测方法，其特征在于，所述卷积神经网络模型的构建方法是，
获取多个心脏活体运动训练视频，
从所述训练视频中抽取多帧心脏第一训练图像，在该第一训练图像中标注心室位置；
对第一训练图像进行增强处理，获得多帧第二训练图像；
使用第二训练图像对所述卷积神经网络进行模型训练，得到经过训练的用于预测心室边缘轮廓和心包膜轮廓的卷积神经网络。
6.一种心脏功能参数检测装置，包括，
视频获取设备，用于获取心脏活体运动视频；
图像处理电路，被配置为执行以下操作，
获得心脏活体运动视频；
从所述运动视频中获取多帧第一心脏图像；
所述第一心脏图像输入经训练的卷积神经网络模型，从所述卷积神经网络模型获得多帧第二心脏图像，该第二心脏图像包括有由所述卷积神经网络模型预测的心室边缘轮廓和心包膜轮廓；
根据获得的心室边缘轮廓和心包膜轮廓计算获得反映心脏功能的参数。
7.根据权利要求6所述的心脏功能参数检测装置，其特征在于，所述的根据获得的心室边缘轮廓计算获得反映心脏功能的参数步骤包括，
使用第二心脏图像的心室边缘轮廓对第一心脏图像提取心室区域边界并进行椭圆拟合，获得该椭圆的长轴和短轴，作为心室椭圆的长轴和短轴；
结合第一心脏图像帧的帧率，获得所述心室椭圆的长轴、短轴的最大值和最小值，即对应的心室的舒张末期和收缩末期。
8.根据权利要求6所述的心脏功能参数检测装置，其特征在于，所述的根据获得的心包膜轮廓计算获得反映心脏功能的参数步骤包括，
对于第二心脏图像的心包膜轮廓拟合出心包膜的曲率，即心包膜所在圆的圆弧角度。
9.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-5中任一项所述的方法。
10.一种心脏功能参数检测系统，包括，
数据采集模块，通过显微镜相机获得心脏活体运动视频；
数据预处理模块，从所述心脏活体运动视频中提取多个图像帧；
卷积神经网络模型，所述图像帧被输入该经过训练的卷积神经网络模型，对图像中的心室边缘或心包膜位置和形状进行预测；
心脏检测模块，该模块包括心室边缘检测模块、心包膜检测模块、数据后处理模块，其中
心室边缘检测模块，根据所述卷积神经网络模型输出的预测结果进行椭圆拟合并且进行图片合并；
心包膜检测模块，根据所述卷积神经网络模型输出的预测结果进行弧线拟合，并且计算对应的弧度；
数据后处理模块，根据所述心室边缘检测模块或心包膜检测模块的输出结果，根据所述图像帧的时间顺序，计算得到所需的心脏评价参数。
11.根据权利要求10所述的心脏功能参数检测系统，其特征在于，所述卷积神经网络模型的构建还采用，
数据标注模块，用于对获得的心脏活体运动训练样本视频集中的每个视频选取部分图像帧进行标注；
训练模块，用于对训练样本图像帧进行增强，并通过深度学习方法对样本数据进行学习训练，得到卷积神经网络模型的最优参数。
12.一种小分子心血管药物的快速筛选方法，通过对斑马鱼心脏活体运动视频的分析，获得所述斑马鱼心脏的发育功能参数，将获得的所述心脏的发育功能参数用于对小分子心血管药物的筛选，其中，对斑马鱼心脏活体运动视频的分析采用如权利要求1所述的方法。
13.一种环境心血管干扰物质的快速检测与评估方法，通过对斑马鱼心脏活体运动视频的分析，获得所述斑马鱼心脏的发育功能参数，将获得的所述心脏的发育功能参数用于对环境心血管干扰物质的快速检测与评估，其中，对斑马鱼心脏活体运动视频的分析采用如权利要求1所述的方法。
CN202010512260.2A 2020-06-08 2020-06-08 一种心脏功能参数检测方法及装置 Active CN111685740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010512260.2A CN111685740B (zh) 2020-06-08 2020-06-08 一种心脏功能参数检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010512260.2A CN111685740B (zh) 2020-06-08 2020-06-08 一种心脏功能参数检测方法及装置

Publications (2)

Publication Number Publication Date
CN111685740A true CN111685740A (zh) 2020-09-22
CN111685740B CN111685740B (zh) 2022-03-01

Family

ID=72479726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010512260.2A Active CN111685740B (zh) 2020-06-08 2020-06-08 一种心脏功能参数检测方法及装置

Country Status (1)

Country Link
CN (1) CN111685740B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112473A (zh) * 2021-04-12 2021-07-13 四川大学华西医院 一种人体扩张型心肌病的自动诊断系统
CN115761381A (zh) * 2022-12-14 2023-03-07 安徽鲲隆康鑫医疗科技有限公司 超声心动图的分类方法、分类装置
CN116385468A (zh) * 2023-06-06 2023-07-04 浙江大学 一种基于斑马鱼心脏参数图像分析软件生成的系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096632A (zh) * 2016-06-02 2016-11-09 哈尔滨工业大学 基于深度学习和mri图像的心室功能指标预测方法
US20170109881A1 (en) * 2015-10-14 2017-04-20 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
US20170213341A1 (en) * 2014-07-25 2017-07-27 Samsung Electronics Co., Ltd. Magnetic resonance image processing method and magnetic resonance image processing apparatus
EP3216458A1 (en) * 2016-03-07 2017-09-13 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Modified vascular endothelial growth factor a (vegf-a) and its medical use
CN107184671A (zh) * 2017-06-14 2017-09-22 中南民族大学 一种镇痛药配方及其提取方法和测试方法
CN108520518A (zh) * 2018-04-10 2018-09-11 复旦大学附属肿瘤医院 一种甲状腺肿瘤超声图像识别方法及其装置
CN108577883A (zh) * 2018-04-03 2018-09-28 上海交通大学 一种冠心病筛查装置、筛查系统以及信号特征提取方法
CN109220911A (zh) * 2018-09-04 2019-01-18 南开大学 葡萄糖和乙醇在协同调控斑马鱼心血管发育中的应用
CN109758497A (zh) * 2019-03-12 2019-05-17 首都医科大学附属北京中医医院 用于慢性心力衰竭的中药组合物、药物及其制备方法和应用
CN110009640A (zh) * 2018-11-20 2019-07-12 腾讯科技（深圳）有限公司 处理心脏视频的方法、设备和可读介质
CN110517783A (zh) * 2019-09-18 2019-11-29 东软集团股份有限公司 模型训练方法、装置以及心脏疾病诊断装置、设备、介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213341A1 (en) * 2014-07-25 2017-07-27 Samsung Electronics Co., Ltd. Magnetic resonance image processing method and magnetic resonance image processing apparatus
US20170109881A1 (en) * 2015-10-14 2017-04-20 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
EP3216458A1 (en) * 2016-03-07 2017-09-13 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Modified vascular endothelial growth factor a (vegf-a) and its medical use
CN106096632A (zh) * 2016-06-02 2016-11-09 哈尔滨工业大学 基于深度学习和mri图像的心室功能指标预测方法
CN107184671A (zh) * 2017-06-14 2017-09-22 中南民族大学 一种镇痛药配方及其提取方法和测试方法
CN108577883A (zh) * 2018-04-03 2018-09-28 上海交通大学 一种冠心病筛查装置、筛查系统以及信号特征提取方法
CN108520518A (zh) * 2018-04-10 2018-09-11 复旦大学附属肿瘤医院 一种甲状腺肿瘤超声图像识别方法及其装置
CN109220911A (zh) * 2018-09-04 2019-01-18 南开大学 葡萄糖和乙醇在协同调控斑马鱼心血管发育中的应用
CN110009640A (zh) * 2018-11-20 2019-07-12 腾讯科技（深圳）有限公司 处理心脏视频的方法、设备和可读介质
CN109758497A (zh) * 2019-03-12 2019-05-17 首都医科大学附属北京中医医院 用于慢性心力衰竭的中药组合物、药物及其制备方法和应用
CN110517783A (zh) * 2019-09-18 2019-11-29 东软集团股份有限公司 模型训练方法、装置以及心脏疾病诊断装置、设备、介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112473A (zh) * 2021-04-12 2021-07-13 四川大学华西医院 一种人体扩张型心肌病的自动诊断系统
CN113112473B (zh) * 2021-04-12 2022-11-08 四川大学华西医院 一种人体扩张型心肌病的自动诊断系统
CN115761381A (zh) * 2022-12-14 2023-03-07 安徽鲲隆康鑫医疗科技有限公司 超声心动图的分类方法、分类装置
CN115761381B (zh) * 2022-12-14 2023-11-07 安徽鲲隆康鑫医疗科技有限公司 超声心动图的分类方法、分类装置
CN116385468A (zh) * 2023-06-06 2023-07-04 浙江大学 一种基于斑马鱼心脏参数图像分析软件生成的系统
CN116385468B (zh) * 2023-06-06 2023-09-01 浙江大学 一种基于斑马鱼心脏参数图像分析软件生成的系统

Also Published As

Publication number Publication date
CN111685740B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111685740B (zh) 一种心脏功能参数检测方法及装置
Costa et al. Towards adversarial retinal image synthesis
US11200693B2 (en) Image processing
CN111493935B (zh) 基于人工智能的超声心动图自动预测识别方法及系统
CN105022719B (zh) 医学造影系统及方法
CN111951221A (zh) 一种基于深度神经网络的肾小球细胞图像识别方法
KR102030533B1 (ko) 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법
KR102250688B1 (ko) 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관 분할 장치 및 방법
CN111353996A (zh) 一种血管钙化检测方法及装置
CN112419281A (zh) 心脏特征分析系统和方法
Zhao et al. Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation
CN114782339A (zh) 一种基于条件生成对抗网络的眼底彩照毛细血管标注方法
CN111091539A (zh) 网络模型训练、医学图像处理方法、装置、介质及设备
JP6041781B2 (ja) 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
CN113689441A (zh) 一种基于DeepLabV3网络的左心室超声动态分割方法
KR20200093502A (ko) 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관 분할 장치 및 방법
CN115131361A (zh) 目标分割模型的训练、病灶分割方法及装置
EP4044113A1 (en) Image sequence analysis
WO2022096867A1 (en) Image processing of intravascular ultrasound images
Chitiboi et al. Contour tracking and probabilistic segmentation of tissue phase mapping MRI
Lopes et al. A deep learning approach to detect hyoid bone in ultrasound exam
CN107610105B (zh) 定位roi的方法、装置、设备及机器可读存储介质
CN111612755A (zh) 肺部病灶分析方法、装置、电子设备和存储介质
EP4300415A1 (en) Analysing a medical image
Zhang et al. Image quality assessment for population cardiac magnetic resonance imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant