CN112435247B - 一种卵圆孔未闭检测方法、系统、终端以及存储介质 - Google Patents

一种卵圆孔未闭检测方法、系统、终端以及存储介质 Download PDF

Info

Publication number
CN112435247B
CN112435247B CN202011373095.3A CN202011373095A CN112435247B CN 112435247 B CN112435247 B CN 112435247B CN 202011373095 A CN202011373095 A CN 202011373095A CN 112435247 B CN112435247 B CN 112435247B
Authority
CN
China
Prior art keywords
image
ctte
tte
image data
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011373095.3A
Other languages
English (en)
Other versions
CN112435247A (zh
Inventor
张世全
肖杨
杜丽娟
马腾
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011373095.3A priority Critical patent/CN112435247B/zh
Priority to PCT/CN2020/139680 priority patent/WO2022110445A1/zh
Publication of CN112435247A publication Critical patent/CN112435247A/zh
Application granted granted Critical
Publication of CN112435247B publication Critical patent/CN112435247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及一种卵圆孔未闭检测方法、系统、终端以及存储介质。包括：对心尖四腔心切面视角动态影像数据中的每一帧图像分别进行左心房ROI分割；其中，心尖四腔心切面视角动态影像数据包括设定数量的心动周期内的TTE影像数据和cTTE影像数据；计算TTE影像数据中每一帧图像的左心房ROI的灰度，并筛选出TTE影像数据的最小灰度分布区间，根据TTE影像数据的最小灰度分布区间筛选出cTTE影像数据中对应区间的cTTE图像；对筛选的cTTE图像进行微泡检测和特征提取，并输入训练好的预测模型，通过预测模型输出卵圆孔闭合状态检测结果。本申请实现了无创的PFO检测，操作简单且准确率高，提高了检出率和检测效率。

Description

一种卵圆孔未闭检测方法、系统、终端以及存储介质
技术领域
本申请属于医学超声成像技术领域，特别涉及一种卵圆孔未闭检测方法、系统、终端以及存储介质。
背景技术
卵圆孔是心脏中心房房间隔的一种胚胎缺陷(小孔)。在胎儿生长发育过程中，卵圆孔作为重要的生命通道，它允许含氧血液从右心房进入左心房。在新生儿中有75％的比例，随着肺的发育和肺部阻力的下降，随之而来增加了心脏内从左到右心房的压力，导致开口自动关闭，卵圆孔发生功能性闭合。然而，在15％-35％的成年人群中仍然存在卵圆孔未闭(Patent foramen ovale,PFO)。据统计，PFO是目前成年人中最为常见的先天性心脏异常。卵圆孔是否闭合的正确判断对于临床诊断、鉴别和疗效评估等都是极其重要的客观指标。
目前，卵圆孔是否闭合的评估方法主要包括：
①临床医学影像诊断；临床医生借助医学影像手段，通过cTCD(contrasttranscranial Doppler，增强经颅多谱勒超声)、TTE(TransThoracic Echocardiography，经胸超声心动图)、cTTE(contrast transthoracic echocardiography，经胸超声心动图造影)和临床金标准TEE(transesophageal echocardiography,经食管超声)进行检测评估。其中，在进行TEE检查时，将超声探头插入患者的食道中观察心脏卵圆孔处的血流变化，通过是否存在血流分流的现象来判断卵圆孔是否闭合；在进行cTTE检查时，当造影剂被注射到患者体内同时伴随着患者进行瓦式呼吸，观察在右心房充盈后3-5个心动周期内，是否有微泡通过卵圆孔到达左心房来判断卵圆孔是否闭合。
②临床探究方法；Nakayama等人于2019年在Journal of the American Societyof Echocardiography上发表题为《Identification of High-Risk Patent ForamenOvale Associated With Cryptogenic Stroke:Development of a Scoring System》的文章，提出了一套评估卵圆孔未闭合的风险引发隐源性脑卒中的评估系统；Ravi等人于2020年在European Heart Journal-Cardiovascular Imaging上发表题为《Improveddifferential diagnosis of intracardiac and extracardiac shunts using acousticintensity mapping of saline contrast studies》的文章，提出通过声学造影超声心动图筛查从右心房到左心房分流的病例，绘制左右心脏内声音时间强度曲线的变化来识别和定义分流的起源，对于鉴别右向左分流、区分卵圆孔未闭合。
综上所述，现有的卵圆孔闭合评估方法存在以下不足：
一、TEE为不能免除风险的半侵入性检测手段，其操作难度大，对临床医生经验要求较高，在国内，该检测手段并不普及，往往只有大型医院才会开展此项检测；cTCD通过脑血循环探测来自PFO的造影剂微泡，其只能间接推测微泡的来源，不能直接证明PFO的存在；TTE虽然无创且操作简单，但检出率以及敏感性均较低；cTTE作为一种新型的检测手段，无创且能更为详细地提供从心脏内右向左分流的信息，然而易受噪声、运动伪影和肺气等的影响，敏感性差，且特异性高。
二、现有的临床探究方法涉及实验群体有限且结论通用性不强，其效果有待进一步证实。
三、目前没有采用人工智能的方法对卵圆孔是否闭合进行有效评估。
发明内容
本申请提供了一种卵圆孔未闭检测方法、系统、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种卵圆孔未闭检测方法，包括：
利用卷积神经网络对心尖四腔心切面视角动态影像数据中的每一帧图像分别进行左心房ROI分割；其中，所述心尖四腔心切面视角动态影像数据包括设定数量的心动周期内的TTE影像数据和cTTE影像数据；
计算所述TTE影像数据中每一帧图像的左心房ROI的灰度，并按照设定比例筛选出所述TTE影像数据的最小灰度分布区间，根据所述TTE影像数据的最小灰度分布区间从所述cTTE影像数据中筛选出对应区间的cTTE图像；
对所述筛选的cTTE图像进行微泡检测和特征提取，并将提取的特征输入训练好的预测模型，通过所述预测模型输出卵圆孔闭合状态检测结果。
本申请实施例采取的技术方案还包括：所述利用卷积神经网络对心尖四腔心切面视角动态影像数据中的每一帧图像分别进行左心房ROI分割前还包括：
分别将所述TTE影像数据和cTTE影像数据转化成逐帧的TTE图像序列和cTTE图像序列；
采用MD5算法对所述TTE图像序列和cTTE图像序列进行筛选，去除所述TTE图像序列和cTTE图像序列中的重复帧；
采用GAD滤波算法对筛选后的TTE图像序列和cTTE图像序列进行滤波祛噪处理。
本申请实施例采取的技术方案还包括：所述利用卷积神经网络对心尖四腔心切面视角动态影像数据中的每一帧图像分别进行左心房ROI分割具体为：
利用2D U-net卷积神经网络分别建立TTE分割模型和cTTE分割模型，将所述TTE图像序列和cTTE图像序列分别输入TTE分割模型和cTTE分割模型，所述TTE分割模型和cTTE分割模型分别经过连续的下采样、池化操作获得输入图像的特征图，对所述特征图进行连续的上采样，使所述特征图恢复到输入时的尺寸，并分别输出所述TTE图像序列和cTTE图像序列中每一帧图像对应的左心房ROI分割结果。
本申请实施例采取的技术方案还包括：所述根据所述TTE影像数据的最小灰度分布区间筛选出对应区间的cTTE图像具体为：
结合所述TTE图像序列和cTTE图像序列中每一帧图像的左心房ROI的面积变化和心动周期变化，分别筛选出设定数量的心动周期的TTE图像序列和cTTE图像序列，并利用双线性差值使所述筛选后的TTE图像序列和cTTE图像序列的帧数一致；
针对筛选后的TTE图像序列，逐帧计算每一帧TTE图像的ROI内的灰度并求均值，生成TTE图像序列的灰度均值分布图，并按照设定的区间范围从所述灰度均值分布图中筛选出灰度均值小于设定区间比例的最小灰度分布区间；
根据所述最小灰度分布区间从所述设定数量的心动周期的cTTE图像序列中筛选出与该灰度分布区间相对应的cTTE图像序列。
本申请实施例采取的技术方案还包括：所述对所述筛选的cTTE图像进行微泡检测具体为：
利用基于色彩和空间相似度约束的简单线性迭代聚类算法对所述筛选出的cTTE图像序列中每一帧cTTE图像的左心房ROI分别进行超像素分割检测微泡；
对于检测到微泡的左心房ROI，首先基于微泡的灰度特征和圆度形态特征提取表征各超像素块的特征量并计算显著图，设定灰度阈值约束获得所述左心房ROI的微泡粗分割结果；然后，通过类圆或类椭圆性的圆度形态，设定几何阈值约束获得所述左心房ROI的微泡细分割结果。
本申请实施例采取的技术方案还包括：所述对所述筛选的cTTE图像进行特征提取具体为：
利用Pyradiomics算法对存在微泡的cTTE图像序列中每一帧cTTE图像的左心房ROI分别进行形状特征、强度特征和纹理特征提取，并利用方差选择、t检验和LASSO回归算法对提取的特征进行筛选和降维处理。
本申请实施例采取的技术方案还包括：所述预测模型为SVM模型。
本申请实施例采取的另一技术方案为：一种卵圆孔未闭检测系统，包括：
感兴趣区域分割模块：用于利用卷积神经网络对心尖四腔心切面视角动态影像数据中的每一帧图像分别进行左心房ROI分割；其中，所述心尖四腔心切面视角动态影像数据包括设定数量的心动周期内的TTE影像数据和cTTE影像数据；
伪影祛除模块：用于计算所述TTE影像数据中每一帧图像的左心房ROI的灰度，并按照设定比例筛选出所述TTE影像数据的最小灰度分布区间，根据所述TTE影像数据的最小灰度分布区间从所述cTTE影像数据中筛选出对应区间的cTTE图像；
微泡检测模块：用于对所述筛选的cTTE图像进行微泡检测，得到存在微泡的微泡图像序列；
特征提取模块：用于对所述微泡图像序列进行特征提取；
预测分类模块：用于将所述从微泡图像序列中提取的特征输入训练好的预测模型，通过所述预测模型输出卵圆孔闭合状态检测结果。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述卵圆孔未闭检测方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制卵圆孔未闭检测。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述卵圆孔未闭检测方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的卵圆孔未闭检测方法、系统、终端及存储介质通过采集被检测者心尖四腔心切面的TTE影像数据和cTTE影像数据，并对TTE影像数据和cTTE影像数据分别进行ROI分割后，根据TTE影像数据的最小灰度分布区间对cTTE图像序列进行筛选，得到祛除运动伪影后的cTTE图像序列，对筛选后的cTTE图像序列进行微泡检测和特征提取，将提取的特征输入训练好的预测模型，通过预测模型输出被检测者的卵圆孔闭合状态检测结果。基于上述方案，本申请实施例实现了无创的PFO检测，操作简单且准确率高，提高了PFO检测的检出率和检测效率。
附图说明
图1是本申请实施例的卵圆孔未闭检测方法的流程图；
图2是本申请实施例的预测模型训练过程示意图；
图3为本申请实施例的卵圆孔未闭检测系统结构示意图；
图4为本申请实施例的终端结构示意图；
图5为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
针对现有技术的不足，本申请实施例的卵圆孔未闭检测方法通过分别采集被检测者心尖四腔心切面的TTE影像数据和cTTE影像数据，并对TTE影像数据和cTTE影像数据分别进行左心房感兴趣区域(region of interest,ROI)分割后，根据TTE影像数据的左心房感兴趣区域的最小灰度分布区间对cTTE图像序列进行筛选，得到祛除运动伪影后的cTTE图像序列，对筛选后的cTTE图像序列进行微泡检测和特征提取，将提取的特征输入训练好的预测模型，通过预测模型输出被检测者的卵圆孔闭合状态检测结果。
具体的，请参阅图1，是本申请实施例的卵圆孔未闭检测方法的流程图。本申请实施例的卵圆孔未闭检测方法包括以下步骤：
S100：采集被检测者的心尖四腔心切面视角动态影像数据；
本步骤中，影像数据包括TTE影像数据和cTTE影像数据；影像数据采集方式具体为：对被检测者进行TTE和cTTE检测，按照统一的采集规范和数据规范，分别采集被检测者的TTE和cTTE的2D超声模态心尖四腔心切面视角的前五个心动周期的心脏视频影像数据。其中，心动周期(cardiac cycle)指从一次心跳的起始到下一次心跳的起始，采集影响数据的心动周期数量也可以根据实际操作进行设定。
S110：对采集的影像数据进行预处理；
本步骤中，影像数据预处理具体包括：
S111:利用OpenCV分别将TTE影像数据和cTTE影像数据转化成逐帧的TTE图像序列和cTTE图像序列；
S112：采用MD5算法对转换后的TTE图像序列和cTTE图像序列进行筛选，去除TTE图像序列和cTTE图像序列中的重复帧；
其中，由于心脏跳动和成像设备的采样频率过高，导致成像时产生重复帧。为避免重复帧干扰后续训练深度学习分割模型和分类任务，本发明实施例采用MD5信息摘要算法(Message-Digest Algorithm 5,MD5)将TTE图像序列和cTTE图像序列中的每一帧图像分别转换为一个长度固定的MD5值，若几帧图像的MD5值完全相同，表示这几帧图像为重复帧，则对这几帧图像进行去重处理，使每个MD5值仅保留一帧图像。
S113:采用GAD(Gabor-based Anisotropic Diffusion,伽柏各向异性扩散)滤波算法对去重处理后的TTE图像序列和cTTE图像序列进行滤波祛噪处理；
其中，由于超声图像中往往存在斑点噪声等干扰，为了提高图像的质量和信噪比，本发明实施例对图像进行滤波祛噪处理，以减少噪声的干扰，增强图像边缘和提高对比度，进而提高图像的质量。
S120：利用卷积神经网络从预处理后的影像数据中分割出左心房感兴趣区域；
本步骤中，左心房感兴趣区域分割方式具体为：在深度学习Pytorch框架下，利用2D U-net卷积神经网络分别建立TTE分割模型和cTTE分割模型。将TTE图像序列和cTTE图像序列分别输入TTE分割模型和cTTE分割模型，经过连续的下采样、池化操作获得输入图像的特征图，接着对特征图进行连续的上采样，使特征图恢复到输入时的尺寸，并分别输出TTE图像序列和cTTE图像序列中每一帧图像对应的左心房感兴趣区域分割结果。在训练TTE分割模型和cTTE分割模型时，通过人工标注作为标签进行模型训练，利用对区域敏感的Dice指标衡量区域的重合度，并利用对边界敏感的豪斯多夫(hausdorff distance,HD)和平均绝对距离(mean absolute distance,MAD)指标衡量边界的距离，对分割模型进行评估和参数调整，实现左心房感兴趣区域的自动分割。
S130：分别计算TTE图像序列中每一帧TTE图像的左心房感兴趣区域的灰度并求均值，获得所有TTE图像的左心房感兴趣区域灰度均值分布图，并根据设定比例从该灰度均值分布图中筛选出最小灰度分布区间，根据最小灰度分布区间筛选出对应区间的cTTE图像，得到祛除运动伪影的cTTE图像序列；
本步骤中，由于受呼吸、肌肉运动、心脏运动以及设备噪声等因素的影响，在成像过程中会造成图像上出现运动伪影，影响后续的图像分析。因此，需要对图像进行运动伪影祛除。具体的，运动伪影祛除方式为：首先，分别结合TTE图像和cTTE图像的左心房感兴趣区域的面积变化和心动周期变化，分别筛选出三个完整心动周期的TTE图像序列和cTTE图像序列，并利用双线性差值使筛选出的所有图像序列的帧数一致。其次，针对筛选后的所有TTE图像序列，逐帧计算每一帧TTE图像的左心房感兴趣区域内的灰度并求均值，生成所有TTE图像序列的灰度均值分布图，并按照设定的区间范围从TTE图像序列的灰度均值分布图中筛选出灰度均值小于设定区间比例的最小灰度分布区间；最后，根据最小灰度分布区间从三个完整心动周期的cTTE图像序列中筛选出与该灰度分布区间相对应的cTTE图像，得到祛除运动伪影后的cTTE图像序列，以减少运动伪影的干扰。具体的，本申请实施例设定最小灰度分布区间的区间比例为25％，具体可根据实际操作进行设定。
可以理解，本申请实施例的运动伪影祛除方法同样适用于其他超声图像的运动伪影祛除，例如利用常规超声检测手段的图像序列计算感兴趣区域内的灰度均值分布，获得最小的灰度分布区间，根据灰度分布区间筛选复杂超声检测手段中的有效区间的图像序列等。
S140：对祛除运动伪影后的cTTE图像序列中每一帧cTTE图像的左心房感兴趣区域分别进行微泡检测及分割，得到微泡图像序列；
本步骤中，微泡检测及分割方式具体为：利用基于色彩和空间相似度约束的简单线性迭代聚类(simple linear iterative cluster，SLIC)算法对每一帧cTTE图像的左心房感兴趣区域分别进行超像素分割检测微泡；如果被检测者所有心动周期内的左心房感兴趣区域均未检测到微泡，表示该被检测者的卵圆孔为闭合状态。对于检测到微泡的左心房感兴趣区域，首先基于微泡的灰度特征和圆度形态特征提取表征各超像素块的特征量并计算显著图，设定灰度阈值约束获得该左心房感兴趣区域的微泡粗分割结果；然后，再通过类圆或类椭圆性的圆度形态，设定几何阈值约束获得该左心房感兴趣区域的微泡细分割结果。
可以理解，本申请实施例的微泡检测及分割方法同样适用于超声造影成像或其他涉及使用造影剂而产生微泡的超声图像的微泡检测。
S150：利用Pyradiomics算法对微泡图像序列中每一帧cTTE图像的左心房感兴趣区域分别进行形状特征、强度特征和纹理特征提取，并利用方差选择、t检验和LASSO回归算法对提取的特征进行筛选和降维处理；
本步骤中，针对微泡图像序列，首先利用开源软件包Pyradiomics分别提取出9个用于描述ROI内几何特性的形状特征、18个用于描述ROI强度一阶分布的强度特征以及75个用于描述ROI强度的模式或高阶分布的纹理特征；进一步地，为了剔除无效冗余的特征，利用方差选择、t检验和LASSO回归的方法对提取出的大量特征进行筛选降维，得到有效和可重复性好的特征。
S160：将从微泡图像序列中提取并筛选的特征输入训练好的预测模型进行分类，通过预测模型输出被检测者的卵圆孔闭合状态分类结果。
本申请实施例中，预测模型为SVM(supported vector machine,支持向量机)模型。进一步地，请参阅图2，是本申请实施例的预测模型训练过程示意图。本申请实施例的预测模型训练过程包括以下步骤：
S200：采集多个受试者的心尖四腔心切面视角的TTE影像数据和cTTE影像数据；
本步骤中，影像数据采集方式具体为：对129例受试者(85例阳性，44例阴性)进行TTE和cTTE检测，按照统一的采集规范和数据规范，分别采集每一位受试者的TTE和cTTE的2D超声模态心尖四腔心切面视角的前五个心动周期的心脏视频影像数据。其中，心动周期(cardiac cycle)指从一次心跳的起始到下一次心跳的起始，采集影响数据的心动周期数量也可以根据实际操作进行设定。
S210：对采集的TTE影像数据和cTTE影像数据进行预处理；
本步骤中，TTE影像数据和cTTE影像数据的预处理方式具体包括：
S211:利用OpenCV分别将TTE影像数据和cTTE影像数据转化成逐帧的TTE图像序列和cTTE图像序列；
S212：采用MD5算法对转换后的TTE图像序列和cTTE图像序列进行筛选，去除TTE图像序列和cTTE图像序列中的重复帧；
其中，由于心脏跳动和成像设备的采样频率过高，导致成像时产生重复帧。为避免重复帧干扰后续训练深度学习分割模型和分类任务，本发明实施例采用MD5信息摘要算法(Message-Digest Algorithm 5,MD5)将TTE图像序列和cTTE图像序列中的每一帧图像分别转换为一个长度固定的MD5值，若几帧图像的MD5值完全相同，表示这几帧图像为重复帧，则对这几帧图像进行去重处理，使每个MD5值仅保留一帧图像。
S213:采用GAD(Gabor-based Anisotropic Diffusion,伽柏各向异性扩散)滤波算法对去重处理后的TTE图像序列和cTTE图像序列进行滤波祛噪处理；
其中，由于超声图像中往往存在斑点噪声等干扰，为了提高图像的质量和信噪比，本发明实施例对图像进行滤波祛噪处理，以减少噪声的干扰，增强图像边缘和提高对比度，进而提高图像的质量。
S220：利用卷积神经网络从预处理后的TTE影像数据和cTTE影像数据中分别分割出每一帧图像的左心房感兴趣区域；
本步骤中，左心房感兴趣区域分割方式具体为：在深度学习Pytorch框架下，利用2D U-net卷积神经网络分别建立TTE分割模型和cTTE分割模型。将TTE图像序列和cTTE图像序列分别输入TTE分割模型和cTTE分割模型，经过连续的下采样、池化操作获得输入图像的特征图，接着对特征图进行连续的上采样，使特征图恢复到输入时的尺寸，并分别输出TTE图像序列和cTTE图像序列中每一帧图像对应的左心房感兴趣区域分割结果。在训练TTE分割模型和cTTE分割模型时，通过人工标注作为标签进行模型训练，利用对区域敏感的Dice指标衡量区域的重合度，并利用对边界敏感的豪斯多夫(hausdorff distance,HD)和平均绝对距离(mean absolute distance,MAD)指标衡量边界的距离，对分割模型进行评估和参数调整，实现左心房感兴趣区域的自动分割。
S230：分别计算TTE图像序列中每一帧TTE图像的左心房感兴趣区域的灰度并求均值，获得所有TTE图像的左心房感兴趣区域灰度均值分布图，并根据设定比例从该灰度均值分布图中筛选出最小灰度分布区间，根据最小灰度分布区间筛选出对应区间的cTTE图像，得到祛除运动伪影的cTTE图像序列；
本步骤中，由于受呼吸、肌肉运动、心脏运动以及设备噪声等因素的影响，在成像过程中会造成图像上出现运动伪影，影响后续的图像分析。因此，需要对图像进行运动伪影祛除。具体的，运动伪影祛除方式为：首先，分别结合TTE图像和cTTE图像的左心房感兴趣区域的面积变化和心动周期变化，分别筛选出每一位受试者的三个完整心动周期的TTE图像序列和cTTE图像序列，并利用双线性差值使筛选出的所有图像序列的帧数一致。其次，针对筛选后的所有TTE图像序列，逐帧计算每一帧TTE图像的左心房感兴趣区域内的灰度并求均值，生成所有TTE图像序列的灰度均值分布图，并按照设定的区间范围从TTE图像序列的灰度均值分布图中筛选出灰度均值小于设定区间比例的最小灰度分布区间；最后，根据最小灰度分布区间从三个完整心动周期的cTTE图像序列中筛选出与该灰度分布区间相对应的cTTE图像，得到祛除运动伪影后的cTTE图像序列。具体的，本申请实施例设定最小灰度分布区间的区间比例为25％，具体可根据实际操作进行设定。
S240：对祛除运动伪影后的cTTE图像序列中每一帧cTTE图像的左心房感兴趣区域分别进行微泡检测及分割，并根据检测结果将cTTE图像序列分为微泡图像序列和无微泡图像序列；
本步骤中，微泡检测及分割方式具体为：利用基于色彩和空间相似度约束的简单线性迭代聚类(simple linear iterative cluster，SLIC)算法对每一帧cTTE图像的左心房感兴趣区域分别进行超像素分割检测微泡；如果某一位受试者所有心动周期内的左心房感兴趣区域均未检测到微泡，表示该受试者的卵圆孔为闭合状态。对检测到微泡的左心房感兴趣区域，首先基于微泡的灰度特征和圆度形态特征提取表征各超像素块的特征量并计算显著图，设定灰度阈值约束获得该左心房感兴趣区域的微泡粗分割结果；然后，再通过类圆或类椭圆性的圆度形态，设定几何阈值约束获得该左心房感兴趣区域的微泡细分割结果。
S250：利用Pyradiomics算法对微泡图像序列中每一帧cTTE图像的左心房感兴趣区域分别进行形状特征、强度特征和纹理特征提取，并利用方差选择、t检验和LASSO回归算法对提取的特征进行筛选和降维处理；
本步骤中，针对微泡图像序列，首先利用开源软件包Pyradiomics分别提取出9个用于描述ROI内几何特性的形状特征、18个用于描述ROI强度一阶分布的强度特征以及75个用于描述ROI强度的模式或高阶分布的纹理特征；进一步地，为了剔除无效冗余的特征，利用方差选择、t检验和LASSO回归的方法对提取出的大量特征进行筛选降维，得到有效和可重复性好的特征。
S260：将无微泡图像序列和从疑似微泡图像序列中提取并筛选的特征一起输入预测模型进行训练，通过预测模型输出每一位受试者的PFO分类结果；
本步骤中，本申请实施例通过联合未检测出微泡的cTTE图像和检测出微泡并进行特征提取和筛选的cTTE图像进行SVM模型的训练，同时采用留一法对模型进行交叉验证，根据模型的准确率accuracy、敏感性sensitivity、特异性specificity、阳性预测率(positive predictive value,ppv)、阴性预测率(negative predictive value,npv)和马修相关系数(matthews correlation coefficient,mcc)，对模型性能进行评估和参数优化，进而获得最优预测模型。129例受试者的PFO分类结果如下表1所述：
表1129例受试者的PFO分类结果
Figure BDA0002807371270000161
基于上述，本申请实施例的卵圆孔未闭检测方法联合未检测出微泡的cTTE图像和检测出微泡并进行特征提取和筛选的cTTE图像进行预测模型的训练，通过采集被检测者心尖四腔心切面的TTE影像数据和cTTE影像数据，并对TTE影像数据和cTTE影像数据分别进行ROI分割后，根据TTE影像数据的ROI的最小灰度分布区间对cTTE图像序列进行筛选，得到祛除运动伪影后的cTTE图像序列，对筛选后的cTTE图像序列进行微泡检测和特征提取，将提取的特征输入训练好的预测模型，通过预测模型输出被检测者的卵圆孔闭合状态检测结果。基于上述方案，本申请实施例实现了无创的PFO检测，操作简单且准确率高，提高了PFO检测的检出率和检测效率。
请参阅图3，为本申请实施例的卵圆孔未闭检测系统的结构示意图。本申请实施例的卵圆孔未闭检测系统40包括：
影像数据处理模块41：用于对被检测者的影像数据进行预处理；其中，影像数据包括TTE影像数据和cTTE影像数据；
感兴趣区域分割模块42：用于利用卷积神经网络从预处理后的TTE影像数据和cTTE影像数据中分别分割出每一帧图像对应的左心房感兴趣区域；
伪影祛除模块43：用于分别计算TTE图像序列中每一帧TTE图像的左心房感兴趣区域的灰度并求均值，获得所有TTE图像的左心房感兴趣区域灰度均值分布图，并根据设定比例从该灰度均值分布图中筛选出最小灰度分布区间，根据最小灰度分布区间筛选出对应区间的cTTE图像，得到祛除运动伪影的cTTE图像序列；
微泡检测模块44：用于对祛除运动伪影后的cTTE图像序列中每一帧cTTE图像的左心房感兴趣区域分别进行微泡检测及分割，得到存在微泡的微泡图像序列；
特征提取模块45：用于利用Pyradiomics算法对微泡图像序列中每一帧cTTE图像的左心房感兴趣区域分别进行形状特征、强度特征和纹理特征提取，并利用方差选择、t检验和LASSO回归算法对提取的特征进行筛选和降维处理；
预测分类模块46：用于将从微泡图像序列中提取并筛选的特征输入训练好的预测模型进行分类，通过预测模型输出被检测者的卵圆孔闭合状态分类结果。
请参阅图4，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述卵圆孔未闭检测方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制卵圆孔未闭检测。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图5，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种卵圆孔未闭检测系统，其特征在于，包括：
感兴趣区域分割模块：用于利用卷积神经网络对心尖四腔心切面视角动态影像数据中的每一帧图像分别进行左心房ROI分割；其中，所述心尖四腔心切面视角动态影像数据包括设定数量的心动周期内的TTE影像数据和cTTE影像数据；
伪影祛除模块：用于计算所述TTE影像数据中每一帧图像的左心房ROI的灰度，并按照设定的区间范围筛选出所述TTE影像数据的最小灰度分布区间，根据所述TTE影像数据的最小灰度分布区间从所述cTTE影像数据中筛选出对应区间的cTTE图像；
微泡检测模块：用于对所述筛选的cTTE图像进行微泡检测，得到存在微泡的微泡图像序列；
特征提取模块：用于对所述微泡图像序列进行特征提取；
预测分类模块：用于将从微泡图像序列中提取的特征输入训练好的预测模型，通过所述预测模型输出卵圆孔闭合状态检测结果。
2.根据权利要求1所述的卵圆孔未闭检测系统，其特征在于，所述利用卷积神经网络对心尖四腔心切面视角动态影像数据中的每一帧图像分别进行左心房ROI分割前还包括：
分别将所述TTE影像数据和cTTE影像数据转化成逐帧的TTE图像序列和cTTE图像序列；
采用MD5算法对所述TTE图像序列和cTTE图像序列进行筛选，去除所述TTE图像序列和cTTE图像序列中的重复帧；
采用GAD滤波算法对筛选后的TTE图像序列和cTTE图像序列进行滤波祛噪处理。
3.根据权利要求2所述的卵圆孔未闭检测系统，其特征在于，所述利用卷积神经网络对心尖四腔心切面视角动态影像数据中的每一帧图像分别进行左心房ROI分割具体为：
利用2D U-net卷积神经网络分别建立TTE分割模型和cTTE分割模型，将所述TTE图像序列和cTTE图像序列分别输入TTE分割模型和cTTE分割模型，所述TTE分割模型和cTTE分割模型分别经过连续的下采样、池化操作获得输入图像的特征图，对所述特征图进行连续的上采样，使所述特征图恢复到输入时的尺寸，并分别输出所述TTE图像序列和cTTE图像序列中每一帧图像对应的左心房ROI分割结果。
4.根据权利要求3所述的卵圆孔未闭检测系统，其特征在于，根据所述TTE影像数据的最小灰度分布区间筛选出对应区间的cTTE图像具体为：
结合所述TTE图像序列和cTTE图像序列中每一帧图像的左心房ROI的面积变化和心动周期变化，分别筛选出设定数量的心动周期的TTE图像序列和cTTE图像序列，并利用双线性差值使所述筛选后的TTE图像序列和cTTE图像序列的帧数一致；
针对筛选后的TTE图像序列，逐帧计算每一帧TTE图像的ROI内的灰度并求均值，生成TTE图像序列的灰度均值分布图，并按照设定的区间范围从所述灰度均值分布图中筛选出最小灰度分布区间；
根据所述最小灰度分布区间从所述设定数量的心动周期的cTTE图像序列中筛选出与该灰度分布区间相对应的cTTE图像序列。
5.根据权利要求4所述的卵圆孔未闭检测系统，其特征在于，所述对所述筛选的cTTE图像进行微泡检测具体为：
利用基于色彩和空间相似度约束的简单线性迭代聚类算法对所述筛选出的cTTE图像序列中每一帧cTTE图像的左心房ROI分别进行超像素分割检测微泡；
对于检测到微泡的左心房ROI，首先基于微泡的灰度特征和圆度形态特征提取表征各超像素块的特征量并计算显著图，设定灰度阈值约束获得所述左心房ROI的微泡粗分割结果；然后，通过类圆或类椭圆性的圆度形态，设定几何阈值约束获得所述左心房ROI的微泡细分割结果。
6.根据权利要求5所述的卵圆孔未闭检测系统，其特征在于，对所述筛选的cTTE图像进行特征提取具体为：
利用Pyradiomics算法对存在微泡的cTTE图像序列中每一帧cTTE图像的左心房ROI分别进行形状特征、强度特征和纹理特征提取，并利用方差选择、t检验和LASSO回归算法对提取的特征进行筛选和降维处理。
7.根据权利要求1至6任一项所述的卵圆孔未闭检测系统，其特征在于，所述预测模型为SVM模型。
8.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-6任一项所述的卵圆孔未闭检测系统的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制卵圆孔未闭检测。
9.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1-6任一项所述卵圆孔未闭检测系统。
CN202011373095.3A 2020-11-30 2020-11-30 一种卵圆孔未闭检测方法、系统、终端以及存储介质 Active CN112435247B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011373095.3A CN112435247B (zh) 2020-11-30 2020-11-30 一种卵圆孔未闭检测方法、系统、终端以及存储介质
PCT/CN2020/139680 WO2022110445A1 (zh) 2020-11-30 2020-12-25 一种卵圆孔未闭检测方法、系统、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011373095.3A CN112435247B (zh) 2020-11-30 2020-11-30 一种卵圆孔未闭检测方法、系统、终端以及存储介质

Publications (2)

Publication Number Publication Date
CN112435247A CN112435247A (zh) 2021-03-02
CN112435247B true CN112435247B (zh) 2022-03-25

Family

ID=74699348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011373095.3A Active CN112435247B (zh) 2020-11-30 2020-11-30 一种卵圆孔未闭检测方法、系统、终端以及存储介质

Country Status (2)

Country Link
CN (1) CN112435247B (zh)
WO (1) WO2022110445A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113180737B (zh) * 2021-05-06 2022-02-08 中国人民解放军总医院 基于人工智能的卵圆孔闭合检测方法、系统、设备及介质
CN114565622B (zh) * 2022-03-03 2023-04-07 北京安德医智科技有限公司 房间隔缺损长度的确定方法及装置、电子设备和存储介质
CN115601604B (zh) * 2022-11-29 2023-04-07 西南石油大学 一种基于长短时记忆网络的多任务微泡轨迹追踪方法
CN117197594B (zh) * 2023-11-07 2024-01-02 西南石油大学 一种基于深度神经网络的心脏分流分类系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN109118528A (zh) * 2018-07-24 2019-01-01 西安工程大学 基于区域分块的奇异值分解图像匹配算法
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN110719755A (zh) * 2017-06-08 2020-01-21 皇家飞利浦有限公司 超声成像方法
CN111493935A (zh) * 2020-04-29 2020-08-07 中国人民解放军总医院 基于人工智能的超声心动图自动预测识别方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6708055B2 (en) * 1998-08-25 2004-03-16 University Of Florida Method for automated analysis of apical four-chamber images of the heart
US7805011B2 (en) * 2006-09-13 2010-09-28 Warner Bros. Entertainment Inc. Method and apparatus for providing lossless data compression and editing media content
US20080095417A1 (en) * 2006-10-23 2008-04-24 Gianni Pedrizzetti Method for registering images of a sequence of images, particularly ultrasound diagnostic images
US10617396B2 (en) * 2016-10-17 2020-04-14 International Business Machines Corporation Detection of valve disease from analysis of doppler waveforms exploiting the echocardiography annotations
CN106991694B (zh) * 2017-03-17 2019-10-11 西安电子科技大学 基于显著区域面积匹配的心脏ct与超声图像配准方法
CN107361791B (zh) * 2017-07-21 2020-10-09 北京大学 一种快速超分辨血流成像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719755A (zh) * 2017-06-08 2020-01-21 皇家飞利浦有限公司 超声成像方法
CN109118528A (zh) * 2018-07-24 2019-01-01 西安工程大学 基于区域分块的奇异值分解图像匹配算法
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN111493935A (zh) * 2020-04-29 2020-08-07 中国人民解放军总医院 基于人工智能的超声心动图自动预测识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《经食管及经胸心脏超声联合右心造影提高成人卵圆孔未闭检出率》;李志海 等;《赣南医学院学报》;20190630;第39卷(第6期);第597-598、560页 *
Jiang‑Chun He 等.《Transthoracic contrast echocardiography using vitamin B6 and sodium bicarbonate as contrast agents for the Diagnosis of patent foramen ovale》.《The International Journal of Cardiovascular Imaging》.2017,第33卷第1125-1131页. *

Also Published As

Publication number Publication date
WO2022110445A1 (zh) 2022-06-02
CN112435247A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112435247B (zh) 一种卵圆孔未闭检测方法、系统、终端以及存储介质
US11049243B2 (en) Target detection in latent space
Torrents-Barrena et al. Segmentation and classification in MRI and US fetal imaging: recent trends and future prospects
Wang et al. Deep learning in medical ultrasound image analysis: a review
Golemati et al. Using the Hough transform to segment ultrasound images of longitudinal and transverse sections of the carotid artery
Chawla et al. A method for automatic detection and classification of stroke from brain CT images
Das et al. Unsupervised super-resolution of OCT images using generative adversarial network for improved age-related macular degeneration diagnosis
US20130202173A1 (en) Classification of biological tissue by multi-mode data registration, segmentation and characterization
CN108898593B (zh) 一种基于腹部ct医学图像融合分类的检测装置
Bommanna Raja et al. A hybrid fuzzy-neural system for computer-aided diagnosis of ultrasound kidney images using prominent features
Liu et al. Cardiac magnetic resonance image segmentation based on convolutional neural network
Huang et al. Stability analysis of fractal dimension in retinal vasculature
Sulas et al. Automatic detection of complete and measurable cardiac cycles in antenatal pulsed-wave Doppler signals
Yang et al. Current advances in computational lung ultrasound imaging: a review
Wang et al. Application of artificial intelligence methods in carotid artery segmentation: a review
Chen et al. Stage diagnosis for Chronic Kidney Disease based on ultrasonography
Matsakou et al. Automated detection of the carotid artery wall in longitudinal B-mode images using active contours initialized by the Hough transform
Fan et al. Diagnosis of brain abnormality using both structural and functional MR images
Wu et al. Biomedical video denoising using supervised manifold learning
CN111292285A (zh) 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法
Abdushkour et al. Enhancing fine retinal vessel segmentation: Morphological reconstruction and double thresholds filtering strategy
Li et al. A hybrid approach to detection of brain hemorrhage candidates from clinical head ct scans
WO2021152603A1 (en) System and method for classification of strain echocardiograms
Mihăilescu et al. Automatic evaluation of steatosis by ultrasound image analysis
Płotka et al. BabyNet++: Fetal birth weight prediction using biometry multimodal data acquired less than 24 hours before delivery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant