CN113689441A - 一种基于DeepLabV3网络的左心室超声动态分割方法 - Google Patents

一种基于DeepLabV3网络的左心室超声动态分割方法 Download PDF

Info

Publication number
CN113689441A
CN113689441A CN202111007475.XA CN202111007475A CN113689441A CN 113689441 A CN113689441 A CN 113689441A CN 202111007475 A CN202111007475 A CN 202111007475A CN 113689441 A CN113689441 A CN 113689441A
Authority
CN
China
Prior art keywords
training
image
left ventricle
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111007475.XA
Other languages
English (en)
Inventor
王江涛
周舒宁
潘海林
王雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202111007475.XA priority Critical patent/CN113689441A/zh
Publication of CN113689441A publication Critical patent/CN113689441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于DeepLabV3网络的左心室超声动态分割方法，所述动态分割方法包括如下步骤：收集二维超声心动图中心尖四腔切面的数据，形成数据集；对数据集进行预处理并标准化，并将数据集划分为训练集，测试集以及验证集；构建深度学习网络模型，用上述划分得到的训练集对网络模型进行训练；使用训练阶段得到的最终权重参数对验证集进行验证，验证集评估出来的效果用来调整超参数，最后用测试集进行测试。本发明方法中的网络模型使用的参数更少，降低了网络的复杂度，同时能够自动地、准确地动态提取二维超声心动图中心尖四腔切面中的左心室区域，无需人工进行交互，通用性、泛化能力较好。

Description

一种基于DeepLabV3网络的左心室超声动态分割方法
技术领域
本发明属于医学图像处理技术领域，涉及一种基于DeepLabV3网络的左心室超声动态分割方法。
背景技术
超声心动图能够直观显示和定量测量心脏解剖结构、功能及血流动力学方面的重要信息，从而反映心脏生理或病理状态下的构型特征，是心脏病诊断的主要医学影像手段。准确的心室内膜定位是超声心动图诊断的重要环节，传统方式此过程需要医师多次手动选择相关切面及描记感兴趣区域，效率低、精度和可重复性差，无法完全满足实际应用的需求。
传统的超声心动图左心室分割主要包括边缘检测和模型匹配法。需要人工进行分割结果的确认及标注结果调整。虽然边缘检测法能够适用于诸多复杂的心腔形状，但是因为其准确率较低，无法直接作为医生的参考。模型匹配法则只能适用于特定的一种或几种的心腔形状，如果存在病人心腔形状较为复杂的情况时时无法得到较好的准确率。
对于超声心动图中的左心室的动态分割仍然存在难点，主要在左心室本身的复杂生理结构以及心脏超声图像存在的大量噪声等因素上，例如在心脏收缩的过程中，心腔内乳头肌的干扰会造成边界模糊。相比于传统图像处理方法，深度学习在超声心动图分割中表现出更大的潜能，因为深度学习在大规模的生物图像上进行模型训练，其分割复杂的心腔仍能达到很高的精度。但是基于现有的方法，但是大部分学者的研究在更为清晰的MRI图像或者静态超声影像上，因此在解决二维超声心动图中左心室的动态分割的问题上，算法仍有很大的提升空间。
发明内容
为了解决现有技术存在的不足，本发明的目的是提供一种基于DeepLabV3网络的左心室超声动态分割方法，使用弱监督的学习方式学习标注图像的特征对未进行标注的二维超声心动图中的心尖四腔切面中的左心室超声图像进行动态分割。
本发明方法包括以下步骤：
步骤1：收集二维超声心动图中心尖四腔切面的数据，所述数据包括斯坦福心脏超声数据集，所述斯坦福心脏超声数据集中的视频包含对部分帧中心脏收缩末期和舒张末期的左心室的标注。
步骤2：对数据集进行预处理，所述预处理包括裁剪和遮罩，以去除文本、心电图以及扫描扇区之外的其他信息，所述其他信息具体包括帧率，医院信息等，与使用的超声机器有关。同时根据不同的超声采集机器调整图像为600×600或768×768像素，并使用OpenCV通过三次插值下采样为112×112大小的视频并使用中心化Z-score的方法进行标准化。之后对预处理后的数据集按照75％，12.5％，12.5％的比例划分为训练集，测试集以及验证集。
步骤3：对步骤2中的训练集数据采用本发明提出的如附图2所示的基于DeepLabV3网络的网络模型进行训练：在训练阶段，使用Pytorch深度学习框架对训练集进行模型参数的学习，首先图像输入到ResNet50的残差网络结构中，ResNet50的结构如附图3所示，之后采用一个4个并行的空洞卷积，分别是一个1×1的卷积以及三个不同膨胀率的空洞卷积的空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)结构，学习图像的多尺度特征，同时增加全局平均池化层来增加图像级的特征来捕获全局信息。最后得到具有分割结果的特征图，再通过双线性上采样恢复到原图尺寸。
步骤4：使用训练阶段得到的最终权重参数文件对验证集进行验证，验证集评估出来的效果用来调整超参数，最后使用测试集进行测试并对结果进行评估。
本发明方法中，步骤2中还包括数据格式转换的步骤，将dicom格式转化为avi格式。
本发明实现过程中的伪代码如下：
Figure BDA0003237494770000021
本发明方法的有益效果在于：
实施本发明的左心室超声动态分割的方法，使对心脏超声视频中的左心室的实时动态分割变得可行。在使用自己采集的相关超声数据时，可以同时减轻初期对数据集标注的工作量。
本发明采用的网络以弱监督的方式去学习数据特征，只需要对视频数据集中的多帧图像进行少量标注即可进行训练，减轻了工作量。
本发明采用基于DeepLabv3网络的左心室动态分割模型，能够自动地、准确地动态提取二维超声心动图中心尖四腔切面中的左心室区域，无需人工进行交互，通用性、泛化能力较好。
本发明技术方案中的网络使用了空洞卷积，对比普通卷积，网络使用更少的参数达到了同样的效果，也降低了网络的复杂度。
附图说明
图1是本发明方法技术方案的简略流程图。
图2是本发明方法的网络结构图。
图3是本发明ResNet50残差网络结构示意图。
图4是本发明二维超声心动图心尖四腔切面dicom数据转化为avi格式之后中的一帧图像。
图5是本发明对视频去除冗余数据以及下采样之后中的一帧图像。
图6是本发明实施例中分割结果视频中其中一张的原视频图像以及利用本发明模型对左心室进行分割的结果图。
具体实施方式
结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
本发明中的二维超声心动图指是通过探头产生的声束透入胸壁后扇形扫描获得的心脏成像。其中心尖四腔切面是从心尖平面获取的成像，包含多个心动周期的超声视频。如附图4所示，为心尖四腔视频中的一帧图像。
针对目前现有技术存在的不足，本发明提供一种可以对二维超声心动图中的心尖四腔切面中的左心室超声图像动态分割的方法。本发明的方法实施包括：
1)收集二维超声心动图中从心尖切面采集的心尖四腔切面的数据，数据包括斯坦福心脏超声数据集，形成数据集。
所述斯坦福心脏超声数据集中的视频包含对部分帧中左心室的标注。
2)对Dicom格式数据进行转化为avi格式的操作，如附图4所示为转换为avi之后的一帧图像，对数据集进行预处理，所述预处理包括裁剪和遮罩，以去除文本、心电图以及扫描扇区之外的其他信息，所述其他信息与使用的超声机器有关，具体包括帧率，医院信息等。同时根据不同的超声采集机器调整图像为不同生成的方形图像为600×600或768×768像素，并使用OpenCV通过三次插值下采样为112×112大小的视频并使用中心化Z-score的方法进行标准化。如附图5所示。
中心化Z-score方法首先对于输入的图像xi按照公式(1)求像素平均值u，其中n为图像像素点总数，然后按照公式(2)计算图像的标准差σ，最后根据公式(3)将由不同仪器采集到的图像数据映射到(-1,1)之间，使得均值u为0，标准差σ为1。
Figure BDA0003237494770000041
Figure BDA0003237494770000042
Figure BDA0003237494770000043
3)对数据集以75％，12.5％，12.5％的比例进行划分，划分为训练集，测试集，验证集。
4)对训练集中的数据采用Pytorch框架实现的本发明方法用GPU进行训练，同时设置batch_size＝20，num_works＝4，对于数据的分批读入采用随机的方式提高网络的鲁棒性，网络能够学习标注区域的特征，对于每一个视频数据集输入到ResNet50残差网络结构中，之后采用一个4个并行的空洞卷积，分别是一个1×1的卷积以及三个膨胀率分别为6，12，18的空洞卷积的空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)结构，学习图像的多尺度特征，同时增加全局平均池化层来增加图像级的特征来捕获全局信息。将得到的及结果加入到具有256输出通道的1×1卷积核中，可以理解为将5个Batch的数据按dim＝1轴即通道channel轴进行拼接concat(dim＝1)得到最后具有分割结果的特征图，再通过双线性上采样恢复到原图尺寸。训练阶段使用loss function来进行模型训练，将最好的模型权重参数保存。
5)使用训练阶段得到的权重参数对验证集进行验证进一步调节模型的参数，最后使用测试集进行测试采用相似度(Dice)系数进行评估。
Dice系数是一种集合相似度度量指标，用于计算两个样本之间的相似度值的范围为0到1，分割结果最好时值为1，最差时值为0。公式如下，其中P代表预测的左心室区域，T代表真实的左心室区域。计算公式如下式(4)。
Figure BDA0003237494770000044
如附图6所示为分割结果视频中的一张，左方为原视频图像，右方为本发明的模型对视频中心脏的左心室进行分割的结果，结果显示的灰色部分区域为心脏的左心室部分。
本发明的保护内容不局限于以上实施例。在不背离本发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (7)

1.一种基于DeepLabV3网络的左心室超声动态分割方法，其特征在于，所述动态分割方法使用弱监督的学习方式学习标注图像的特征从而对数据集中其他心脏未标注的图像进行左心室分割，所述动态分割方法包括如下步骤：
步骤1：收集二维超声心动图中心尖四腔切面的数据，形成数据集；
步骤2：对数据集进行预处理并标准化，并将数据集划分为训练集，测试集以及验证集；
步骤3：构建深度学习网络模型，用步骤2中划分得到的训练集对网络模型进行训练；
步骤4：使用训练阶段得到的最终权重参数文件对验证集进行验证，验证集评估出来的效果用来调整超参数，最后用测试集进行测试并对结果进行评估。
2.如权利要求1所述的动态分割方法，其特征在于，步骤1中，所述数据包括斯坦福心脏超声数据集，所述斯坦福心脏超声数据集中的视频包含对心脏收缩末期和舒张末期中左心室的标注。
3.如权利要求1所述的动态分割方法，其特征在于，步骤2中，所述预处理包括裁剪和遮罩，去除文本、心电图以及扫描扇区以外的其他信息；所述其他信息和使用的超声机器有关，包括帧率，医院信息。
4.如权利要求1所述的动态分割方法，其特征在于，步骤2中，所述标准化处理包括调整图像大小，将图像通过下采样为112×112大小的视频并使用中心化Z-score的方法进行标准化。
5.如权利要求1所述的动态分割方法，其特征在于，步骤2中，所述划分获得的训练集，测试集以及验证集的比例为6：1：1。
6.如权利要求1所述的动态分割方法，其特征在于，步骤3中，所述网络模型的训练方法包括：在训练阶段，使用Pytorch深度学习框架对训练集进行模型参数的学习，首先图像输入到ResNet50的残差网络结构中，之后采用包括一个1×1卷积以及三个不同膨胀率的空洞卷积的空间金字塔池化ASPP结构，学习图像的多尺度特征，同时增加全局平均池化层来增加图像级的特征来捕获全局信息；最后得到具有分割结果的特征图，再通过双线性上采样恢复到原图尺寸。
7.如权利要求1所述的动态分割方法，其特征在于，所述动态分割方法的步骤2中还包括数据格式转换步骤，将dicom格式转化为avi格式。
CN202111007475.XA 2021-08-30 2021-08-30 一种基于DeepLabV3网络的左心室超声动态分割方法 Pending CN113689441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111007475.XA CN113689441A (zh) 2021-08-30 2021-08-30 一种基于DeepLabV3网络的左心室超声动态分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111007475.XA CN113689441A (zh) 2021-08-30 2021-08-30 一种基于DeepLabV3网络的左心室超声动态分割方法

Publications (1)

Publication Number Publication Date
CN113689441A true CN113689441A (zh) 2021-11-23

Family

ID=78584082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111007475.XA Pending CN113689441A (zh) 2021-08-30 2021-08-30 一种基于DeepLabV3网络的左心室超声动态分割方法

Country Status (1)

Country Link
CN (1) CN113689441A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758197A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 数据筛选方法、装置及计算机可读存储介质
CN116862836A (zh) * 2023-05-30 2023-10-10 北京透彻未来科技有限公司 一种泛器官淋巴结转移癌检测系统及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
CN111739000A (zh) * 2020-06-16 2020-10-02 山东大学 一种提高多个心脏视图左心室分割精确度的系统及装置
CN111870279A (zh) * 2020-07-31 2020-11-03 西安电子科技大学 超声图像左室心肌的分割方法、系统及应用
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法
US20210150693A1 (en) * 2019-11-15 2021-05-20 Geisinger Clinic Systems and methods for a deep neural network to enhance prediction of patient endpoints using videos of the heart

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
US20210150693A1 (en) * 2019-11-15 2021-05-20 Geisinger Clinic Systems and methods for a deep neural network to enhance prediction of patient endpoints using videos of the heart
CN111739000A (zh) * 2020-06-16 2020-10-02 山东大学 一种提高多个心脏视图左心室分割精确度的系统及装置
CN111870279A (zh) * 2020-07-31 2020-11-03 西安电子科技大学 超声图像左室心肌的分割方法、系统及应用
CN112336381A (zh) * 2020-11-07 2021-02-09 吉林大学 一种基于深度学习的超声心动图收缩/舒张末期帧自动识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
薛飞;伍岳庆;姚宇;任伟;: "基于DeepLabv3的左心室超声图像分割方法", 计算机应用, no. 2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758197A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 数据筛选方法、装置及计算机可读存储介质
CN116862836A (zh) * 2023-05-30 2023-10-10 北京透彻未来科技有限公司 一种泛器官淋巴结转移癌检测系统及计算机设备

Similar Documents

Publication Publication Date Title
CN107492071B (zh) 医学图像处理方法及设备
CN112150425B (zh) 一种基于神经网络的无监督血管内超声图像配准方法
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN113902761B (zh) 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
Liu et al. Automated cardiac segmentation of cross-modal medical images using unsupervised multi-domain adaptation and spatial neural attention structure
CN109727197B (zh) 一种医学图像超分辨率重建方法
CN113689441A (zh) 一种基于DeepLabV3网络的左心室超声动态分割方法
CN110838140A (zh) 基于混合监督学习的超声和核磁图像配准融合方法及装置
Shen et al. Smart health of ultrasound telemedicine based on deeply represented semantic segmentation
CN110992352A (zh) 基于卷积神经网络的婴儿头围ct图像自动测量方法
WO2022086910A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri
CN115578427A (zh) 基于深度学习的无监督单模态医学图像配准方法
CN113159223A (zh) 一种基于自监督学习的颈动脉超声图像识别方法
Yong et al. Automatic ventricular nuclear magnetic resonance image processing with deep learning
CN112164447B (zh) 图像处理方法、装置、设备及存储介质
Wang et al. Automatic measurement of fetal head circumference using a novel GCN-assisted deep convolutional network
Baumgartner et al. Fully convolutional networks in medical imaging: applications to image enhancement and recognition
CN112562058B (zh) 一种基于迁移学习的颅内血管模拟三维模型快速建立方法
CN117036253B (zh) 用于对分割脑血管的分割模型进行训练的方法和相关产品
CN109741439A (zh) 一种二维mri胎儿图像的三维重建方法
CN114119558B (zh) 一种自动生成鼻咽癌影像诊断结构化报告方法
Shen et al. Tracking anything in heart all at once
CN111798438B (zh) 一种血管内超声图像智能分割方法及系统
CN113902738A (zh) 一种心脏mri分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination