CN114612421A - 一种基于深度学习的卵圆孔未闭微泡计数方法 - Google Patents

一种基于深度学习的卵圆孔未闭微泡计数方法 Download PDF

Info

Publication number
CN114612421A
CN114612421A CN202210224137.XA CN202210224137A CN114612421A CN 114612421 A CN114612421 A CN 114612421A CN 202210224137 A CN202210224137 A CN 202210224137A CN 114612421 A CN114612421 A CN 114612421A
Authority
CN
China
Prior art keywords
image
focus area
focus
microbubbles
foramen ovale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210224137.XA
Other languages
English (en)
Inventor
张明川
顾孟杰
王琳
吴庆涛
朱军龙
冀治航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Science and Technology
Original Assignee
Henan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Science and Technology filed Critical Henan University of Science and Technology
Priority to CN202210224137.XA priority Critical patent/CN114612421A/zh
Publication of CN114612421A publication Critical patent/CN114612421A/zh
Priority to US18/115,726 priority patent/US20230281806A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的卵圆孔未闭微泡计数方法，涉及图像分割技术领域，对超声图像左心病灶区域进行分割；对分割后的病灶部分图像使用卷积神经网络生成对应的密度图，并通过积分求和的方式计算出分割区域中微泡的总数。本发明有益效果：本发明利用神经网络对心脏左心房及左心室区域进行病灶分割，对左心病灶区域的有效分割是获取病灶区域大小、形态等参数的关键；再根据分割结果对病灶区域进行定量分析，统计出病灶区域中微泡的数量，有助于实现辅助诊断过程的智慧化与标准化，提高工作效率。

Description

一种基于深度学习的卵圆孔未闭微泡计数方法
技术领域
本发明属于图像分割技术领域，具体涉及一种基于深度学习的卵圆孔未闭微泡计数方法。
背景技术
卵圆孔是左右心房隔膜上存在的缝隙，通常情况下，胎儿出生后卵圆孔会逐渐闭合，心房之间不能相通。若超过3岁卵圆孔仍未关闭，则称为卵圆孔未闭(patent foramenovale,PFO)。卵圆孔未闭是现今成年人中最常见的先天性心脏病之一。在不明原因卒中，有40％～50％存在卵圆孔未闭。如果在早期判断出卵圆孔未闭的级别并通过介入或手术堵住卵圆孔，可避免其扩大而引起脑卒中，造成严重后果。因此，准确地识别出卵圆孔缝隙的大小对卵圆孔未闭诊断具有重要意义。
在临床中，卵圆孔未闭等级的划分耗时、费力，而且存在不同医生的等级分类结果或同一医生不同时间的等级分类结果存在误差的现象。随着国家对人民健康关注程度的提高，“互联网+医疗”成为了一项重要的民生工程。大数据、人工智能理论等理论技术的兴起和发展为实现现代化辅助诊疗提供了新的研究思路。实现卵圆孔未闭的智能等级分类为该疾病提供了统一的分类标准，有助于提高医生诊断的决策性和敏感性以及完善辅助诊疗系统的智能性和规范性，使临床医学能够适应当前“互联网”背景下的诊疗需求，是医疗发展的趋势。
现阶段，国内外学者提出了多种方法实现各种疾病的智能诊断，但对于卵圆孔未闭的智能等级划分的研究仍处于起步阶段。由于超声成本低、没有已知的风险等优点，使得超声心动图成为心脏可视化的首选手段。近期，部分学者提出了基于超声心动图卵圆孔未闭等级分类方法，尽管采用这些方法已经完成了卵圆孔未闭的智能等级划分，但这些方法仍存在许多不足之处，如基于病灶区域灰度值强度的分类方法，虽然在一定程度上达到了对该疾病智能分类的目的，但其识别率不高且并未按照医学诊断的标准来实现诊断，存在一定的缺陷。
根据经胸超声心动图联合右心声学造影的临床等级分类标准，如何提高超声图像病灶区域的分割精度并进行定量分析，是卵圆孔未闭等级智能划分亟待解决的首要问题。针对现有的卵圆孔未闭等级划分现状，本发明特提出一种基于深度学习的卵圆孔未闭微泡计数方法。利用神经网络善于发掘训练样本中隐含规律的特性，致力于提高病灶分割区域的精度。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习的卵圆孔未闭微泡计数方法，解决现有技术中卵圆孔未闭分类时超声图像分割精度低、微泡计数不准确等问题。
本发明为解决上述技术问题所采用的技术方案是：一种基于深度学习的卵圆孔未闭微泡计数方法，包括：
步骤1、对超声图像左心病灶区域进行分割；
步骤2、对分割后的病灶部分图像使用卷积神经网络生成对应的密度图，并通过积分求和的方式计算出分割区域中微泡的总数。
本发明所述步骤1中对超声图像左心病灶区域进行分割的具体方法为：
(1)编码：首先输入超声图像，通过双层卷积操作进行特征提取整理出有效的特征供后续使用；其次通过池化操作对特征进行降维，去除冗余的信息，简化网络的复杂度，减小计算量；经过4次降维，提取出图像中的主要特征信息；
(2)解码：对于降维后的特征使用反卷积操作恢复特征维度，恢复到原始的分辨率；在进行反卷积操作的同时，使用skip-connection操作把含有丰富浅层信息的特征引入，更利于生成分割二值图；输出结果，使用1*1的卷积层做分类，输出前景和背景两层；
(3)后期处理：对于病灶区域分割后产生的二值图像边缘不光滑的问题，使用滤波器进行平滑处理，得到光滑边缘的二值图像；再将该图像与原图叠加，实现左心病灶区域的分割。
本发明所述步骤2中计算分割区域中微泡总数的方法为：将病灶图像分别输入到ASNet和DANet中，ASNet的一个分支为密度估计分支，生成中间密度图，另一个为注意力尺度分支，生成尺度因子；DANet为ASNet提供不同密度等级的相关区域的注意力掩膜，ASNet将尺度因子、中间密度图与注意力掩膜相乘，得到输出的密度图，再将所有的输出密度图相加，得到最终的密度图，最后通过对密度图积分，得出左心病灶区域微泡的数量。
本发明的有益效果是：本发明利用神经网络对心脏左心房及左心室区域进行病灶分割，对左心病灶区域的有效分割是获取病灶区域大小、形态等参数的关键；再根据分割结果对病灶区域进行定量分析，统计出病灶区域中微泡的数量，可有效实现辅助诊断过程的智慧化与标准化，提高工作效率。
附图说明
图1为本发明基于深度学习的卵圆孔未闭微泡计数方法的整体框架图；
图2为本发明基于超声切面图像的左心病灶区域分割框架图；
图3为本发明基于超声切面图的微泡计数框架图；
图4为本发明一实施例的超声图像标注图；
图5为本发明一实施例的病灶区域二值图；
图6为本发明一实施例分割后的病灶区域图；
图7为本发明一实施例的微泡密度图。
具体实施方式
在本发明中，经胸超声心动图联合右心声学造影是在临床中用于判断卵圆孔未闭的常用方法。心脏左心病灶区域的大小、形态是判断心脏是否正常的重要参数，根据存在卵圆孔未闭的心脏具有右向左分流的特性，对人体注入带有气泡的生理盐水，在几个心动周期后观察心脏左心区域微泡的数量即可判定出卵圆孔未闭的疾病等级。本发明提出了一种基于深度学习的卵圆孔未闭微泡计数方法。首先使用神经网络对心脏左心房及左心室区域进行病灶分割，对左心病灶区域的有效分割是获取病灶区域大小、形态等参数的关键；再根据分割结果对病灶区域进行定量分析，统计出病灶区域中微泡的数量。本发明的主要流程如图1所示。
本发明主要分为两个部分。第一部分是对超声图像左心病灶区域进行分割，以方便下一步进行功能定量分析处理；第二部分则是对裁剪的病灶部分图像使用卷积神经网络生成对应的密度图，并通过积分求和的方式计算出分割区域中微泡的总数。
1.病灶分割
对心脏左心病灶区域的分割首先确定分割图像的前景点和背景点，前景点为左心房及左心室病灶区域的点位，背景点则为右心房、右心室以及心肌等黑色区域部分。将原超声图像与前背景点二值图像输入到结合低分辨率和高分辨率信息的Unet网络中，以实现超声切面图像中左心室的精准分割。具体工作如下：
(1)编码：首先输入超声切面图像，通过双层卷积操作进行特征提取来整理出有效的特征供后续使用；其次通过池化操作对特征进行降维，去除冗余的信息，简化网络的复杂度，减小计算量。最终经过4次降维，提取出图像中的主要特征信息；
(2)解码：首先，对于降维后的特征使用反卷积操作恢复特征维度，恢复到原始的分辨率。其次，在进行反卷积操作的同时，使用skip-connection操作把含有丰富浅层信息的特征引入，更利于生成分割二值图。最后，输出结果，使用1*1的卷积层做分类，输出前景和背景两层。具体流程如图2所示；
(3)后期处理：对于病灶区域分割后产生的二值图像边缘不光滑的问题，使用滤波器进行平滑处理，得到光滑边缘的二值图像；再将该图像与原图叠加，实现左心的病灶区域的分割。
2.卵圆孔未闭智能等级分类
根据卵圆孔未闭的分级标准，左心中无微泡为阴性；有微泡为阳性。其中阳性分为3个等级，存在1-10个微泡为少量；存在11-30个微泡为中量，大于30个微泡为大量，故实现该疾病智能分级的关键是确定左心区域中微泡的数量。本方法中，为确定左心区域中微泡的数量，首先需要根据分割区域确定微泡的位置信息并生成对应的密度图，再将病灶分割区域与其对应的密度图输入到目标计数神经网络中，实现微泡的计数。具体工作如下：
(1)微泡计数：将病灶图像分别输入到ASNet和DANet中。ASNet的一个分支为密度估计分支，可以生成中间密度图，另一个为注意力尺度分支，可以生成尺度因子。DANet为ASNet提供了不同密度等级的相关区域的注意力掩膜。ASNet将尺度因子、中间密度图与注意力掩膜相乘，得到输出的密度图，再将所有的输出密度图相加，得到最终的密度图。最后通过对密度图积分，得出左心病灶区域微泡的数量。具体流程如图3所示。
实施例
为了解决临床中卵圆孔未闭诊断耗时、费力的现状，以及解决不同医生的诊断结果或同一医生不同时间的诊断结果存在误差的现象，本发明特提出一种基于深度学习的卵圆孔未闭智能等级分类方法。包含以下步骤：
步骤1：获取超声切面图像数据；
步骤2：在获取到的超声图像中，人工标记左心内膜的位置。超声图像标注如图4所示；
步骤3：将标记过的图像进行预处理，制作成二值图像，作为训练数据。二值图像如图5所示；
步骤4：使用超声图像及二值图像对Unet网络进行训练。经过卷积操作对图像特征进行提取，再使用下采样进行特征降维，将预测的图像与二值图像进行对比，得到训练的损失，再不断根据损失调整网络模型，最终得到训练好的网络模型；使用训练好的网络模型对左心区域进行分割，得到分割的二值图像；
步骤5：使用中值滤波器，对神经网络输出的黑白二值图像进行边缘平滑处理；
步骤6：将平滑处理后的二值图像与原图叠加得到分割好的病灶区域，如图6所示；
步骤7：在分割过的病灶图像中，人工标记微泡的位置；
步骤8：根据微泡的位置信息生成对应的密度图作为训练数据。密度图如图7所示；
步骤9：使用分割的病灶图像对ASNet和DANet网络进行训练，并使用训练好的模型生成病灶区域对应的微泡密度图；
步骤10：对生成的微泡密度图进行积分求和，计算出微泡的数量。

Claims (3)

1.一种基于深度学习的卵圆孔未闭微泡计数方法，其特征在于，包括：
步骤1、对超声图像左心病灶区域进行分割；
步骤2、对分割后的病灶部分图像使用卷积神经网络生成对应的密度图，并通过积分求和的方式计算出分割区域中微泡的总数。
2.根据权利要求1所述的一种基于深度学习的卵圆孔未闭微泡计数方法，其特征在于，所述步骤1中对超声图像左心病灶区域进行分割的具体方法为：
(1)编码：首先输入超声图像，通过双层卷积操作进行特征提取整理出有效的特征供后续使用；其次通过池化操作对特征进行降维，去除冗余的信息，简化网络的复杂度，减小计算量；经过4次降维，提取出图像中的主要特征信息；
(2)解码：对于降维后的特征使用反卷积操作恢复特征维度，恢复到原始的分辨率；在进行反卷积操作的同时，使用skip-connection操作把含有丰富浅层信息的特征引入，更利于生成分割二值图；输出结果，使用1*1的卷积层做分类，输出前景和背景两层；
(3)后期处理：对于病灶区域分割后产生的二值图像边缘不光滑的问题，使用滤波器进行平滑处理，得到光滑边缘的二值图像；再将该图像与原图叠加，实现左心病灶区域的分割。
3.根据权利要求1所述的一种基于深度学习的卵圆孔未闭微泡计数方法，其特征在于，所述步骤2中计算分割区域中微泡总数的方法为：将病灶图像分别输入到ASNet和DANet中，ASNet的一个分支为密度估计分支，生成中间密度图，另一个为注意力尺度分支，生成尺度因子；DANet为ASNet提供不同密度等级的相关区域的注意力掩膜，ASNet将尺度因子、中间密度图与注意力掩膜相乘，得到输出的密度图，再将所有的输出密度图相加，得到最终的密度图，最后通过对密度图积分，得出左心病灶区域微泡的数量。
CN202210224137.XA 2022-03-07 2022-03-07 一种基于深度学习的卵圆孔未闭微泡计数方法 Pending CN114612421A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210224137.XA CN114612421A (zh) 2022-03-07 2022-03-07 一种基于深度学习的卵圆孔未闭微泡计数方法
US18/115,726 US20230281806A1 (en) 2022-03-07 2023-02-28 Microbubble counting method for patent foramen ovale (pfo) based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210224137.XA CN114612421A (zh) 2022-03-07 2022-03-07 一种基于深度学习的卵圆孔未闭微泡计数方法

Publications (1)

Publication Number Publication Date
CN114612421A true CN114612421A (zh) 2022-06-10

Family

ID=81860625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210224137.XA Pending CN114612421A (zh) 2022-03-07 2022-03-07 一种基于深度学习的卵圆孔未闭微泡计数方法

Country Status (2)

Country Link
US (1) US20230281806A1 (zh)
CN (1) CN114612421A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197594A (zh) * 2023-11-07 2023-12-08 西南石油大学 一种基于深度神经网络的心脏分流分类系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197594A (zh) * 2023-11-07 2023-12-08 西南石油大学 一种基于深度神经网络的心脏分流分类系统
CN117197594B (zh) * 2023-11-07 2024-01-02 西南石油大学 一种基于深度神经网络的心脏分流分类系统

Also Published As

Publication number Publication date
US20230281806A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
Almajalid et al. Development of a deep-learning-based method for breast ultrasound image segmentation
Liu et al. Region-to-boundary deep learning model with multi-scale feature fusion for medical image segmentation
CN110853051B (zh) 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
US20230154006A1 (en) Rapid, accurate and machine-agnostic segmentation and quantification method and device for coronavirus ct-based diagnosis
Rajee et al. Gender classification on digital dental x-ray images using deep convolutional neural network
CN111297399B (zh) 一种基于超声视频的胎心定位和胎心率提取方法
CN115205300A (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN111598894B (zh) 基于全局信息卷积神经网络的视网膜血管图像分割系统
CN111738997A (zh) 一种基于深度学习的计算新冠肺炎病变区域占比的方法
CN111932512B (zh) 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法
CN114612421A (zh) 一种基于深度学习的卵圆孔未闭微泡计数方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
Wang et al. Deep learning based fetal middle cerebral artery segmentation in large-scale ultrasound images
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN116739992B (zh) 一种甲状腺被膜侵犯智能辅助判读方法
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
CN116128890A (zh) 一种基于自适应融合模块和跨阶段AU-Net网络的病理细胞图像分割方法及其系统
CN115565671A (zh) 基于跨模型相互教学半监督的房颤辅助分析方法
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
Kumari et al. Heuristically modified fusion-based hybrid algorithm for enhanced dental caries segmentation
Zhang et al. Research on brain glioma segmentation algorithm
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Hou et al. Boosting ultrasonic image classification via self-supervised representation learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination