CN112767305B - 先天性心脏病的超声心动图识别方法及装置 - Google Patents

先天性心脏病的超声心动图识别方法及装置 Download PDF

Info

Publication number
CN112767305B
CN112767305B CN202011478433.XA CN202011478433A CN112767305B CN 112767305 B CN112767305 B CN 112767305B CN 202011478433 A CN202011478433 A CN 202011478433A CN 112767305 B CN112767305 B CN 112767305B
Authority
CN
China
Prior art keywords
image
sternum
axis
gray level
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011478433.XA
Other languages
English (en)
Other versions
CN112767305A (zh
Inventor
张鑫
王晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Childrens Hospital
Capital Medical University
Original Assignee
Beijing Childrens Hospital
Capital Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Childrens Hospital, Capital Medical University filed Critical Beijing Childrens Hospital
Priority to CN202011478433.XA priority Critical patent/CN112767305B/zh
Publication of CN112767305A publication Critical patent/CN112767305A/zh
Application granted granted Critical
Publication of CN112767305B publication Critical patent/CN112767305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种先天性心脏病的超声心动图识别方法，包括：获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像等五个RGB图像；将所获取的五个RGB图像分别处理成五个灰度图像；将五个灰度图像进行适配处理；将进行了适配处理的五个灰度图像并行地连接在一起，形成一个并行输入图像矩阵；将所述图像矩阵输入到经过训练的五通道神经网络中，由所述五通道神经网络根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。

Description

先天性心脏病的超声心动图识别方法及装置
技术领域
本发明涉及医学诊断模型领域，尤其涉及一种先天性心脏病的超声心动图识别方法及装置。
背景技术
先天性心脏病(以下简称“先心病”)是最常见的出生缺陷，也是主要的死亡原因。先心病存在很多不同亚型，不同类型的先心病的超声心动图表现均不同，各个二维切面的图像均各异，尽管利用计算机辅助检测(Computer Aided Diagnosis)辅助影像科医生定位分类病灶区域可以提高诊断先心病的准确度，然而单一视角的超声图像依然存在定位不准确、误诊率高等问题。
此外，超声图像的准确性识别依赖于医生识别能力，不同的医生可能会有不同的识别结果，由于县域医院的医生训练较少，因而县域医院不能有效利用单一视角的超声图像对先天性心脏病进行识别。
发明内容
为了解决上述技术问题，本发明提供了一种先天性心脏病的超声心动图识别方法及装置，通过用已有的胸骨旁左室长轴切面、胸骨旁大动脉短轴切面、心尖四腔心切面、剑突下双房切面和胸骨上窝主动脉弓长轴切面等五个超声心动图数据训练神经网络，使该神经网络能够给出与现有数据近似的与先天性心脏病有关的预测概率，从而解决了单一视角的超声图像定位不准确、误诊率高以及先天性心脏病识别依赖于医生识别能力的技术问题。
根据本发明第一方面，一种先天性心脏病的超声心动图识别方法包括：
获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像；
将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像；
将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理；
将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起，形成一个并行输入图像矩阵；
将所述图像矩阵输入到经过训练的五通道神经网络中，由所述五通道神经网络根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
优选地，所述五通道神经网络是深度可分离卷积神经网络。
优选地，所述深度可分离卷积神经网络包括串行的三个深度可分离卷积模块。
优选地，每个深度可分离卷积模块对并行输入图像矩阵进行深卷积和点卷积。
优选地，所述适配处理包括：删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
优选地，所述适配处理还包括：将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行矩形裁剪，以便所有灰度图像能够形成一个并行输入图像矩阵。
优选地，所述适配处理还包括：在无法通过矩形裁剪形成矩形图像时，将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行像素填补，然后再进行矩形裁剪。
根据本发明第二方面，一种先天性心脏病的超声心动图识别装置包括：
图像获取模块，用于获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像；
灰度图像处理模块，用于将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像；
适配处理模块，用于将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理；
输入图像矩阵形成模块，用于将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起，形成一个并行输入图像矩阵；
五通道神经网络，用于接收所述图像矩阵，并根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
优选地，所述五通道神经网络是深度可分离卷积神经网络。
优选地，所述深度可分离卷积神经网络包括串行的三个深度可分离卷积模块。
优选地，每个深度可分离卷积模块对并行输入图像矩阵进行深卷积和点卷积。
优选地，所述适配处理包括：删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
优选地，所述适配处理还包括：将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行矩形裁剪，以便所有灰度图像能够形成一个并行输入图像矩阵。
优选地，所述适配处理还包括：在无法通过矩形裁剪形成矩形图像时，将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行像素填补，然后再进行矩形裁剪。
相对于现有技术，本发明的有益效果包括：
1、本发明对胸骨旁左室长轴切面图、胸骨旁大动脉短轴切面图、心尖四腔心切面图、剑突下双房切面图和胸骨上窝主动脉弓长轴切面图五个超声心动图同时进行识别，更能反映心脏状态，有助于辅助医生诊断先天性心脏病。
2、本发明提供的三维立体心脏模型利用现有的超声心动图即可进行构建，方法容易，成本低廉，普适性广。
下面参考具体实施例，对本发明进行说明，需要说明的是，这些实施例仅仅是说明性的，而不能理解为对本发明的限制。若未特别指明，实施例中所采用的技术手段为本领域技术人员所熟知的常规手段，所采用的试剂和产品也均为可商业获得的。未详细描述的各种过程和方法是本领域中公知的常规方法，所用试剂的来源、商品名以及有必要列出其组成成分者，均在首次出现时标明，其后所用相同试剂如无特殊说明，均以首次标明的内容相同。
附图说明
图1是本发明的一种先天性心脏病的超声心动图识别装置的示意图；
图2是本发明使用的深度可分离卷积神经网络结构示意图；
图3是本发明的一种先天性心脏病的超声心动图识别方法的示意图。
具体实施方式
图1显示了本发明的一种先天性心脏病的超声心动图识别装置，包括：
图像获取模块，用于获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像；
灰度图像处理模块，用于将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像；
适配处理模块，用于将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理；
图像矩阵形成模块，用于将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起，形成一个并行输入图像矩阵；
五通道神经网络，用于接收所述图像矩阵，并根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
本发明的五通道神经网络是深度可分离卷积神经网络。如图2所示，深度可分离卷积神经网络包括串行的三个深度可分离卷积模块。每个深度可分离卷积模块对并行输入图像矩阵进行深卷积和点卷积计算。
本发明的适配处理包括：删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
本发明的适配处理还包括：将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行矩形裁剪，以便所有灰度图像能够形成一个并行输入图像矩阵。
本发明的适配处理还包括：在无法通过矩形裁剪形成矩形图像时，将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行像素填补，然后再进行矩形裁剪。
图3显示了本发明的一种先天性心脏病的超声心动图识别方法，包括：
获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像；
将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像；
将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理；
将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起，形成一个并行输入图像矩阵；
将所述图像矩阵输入到经过训练的五通道神经网络中，由所述五通道神经网络根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
具体实施例1
1、图像的获取
本申请所用的图像是飞利浦心悦IE33心脏彩超、Philips IE Elite心血管四维彩超和飞利浦Epiq7C超高档高级心脏彩超仪器采集获得，采集的图像为胸骨旁左室长轴切面图、胸骨旁大动脉短轴切面图、心尖四腔心切面图、剑突下双房切面图和胸骨上窝主动脉弓长轴切面图，其中，所述图像为RGB图像。
2、图像的处理
将采集的胸骨旁左室长轴切面图、胸骨旁大动脉短轴切面图、心尖四腔心切面图、剑突下双房切面图和胸骨上窝主动脉弓长轴切面图进行灰度处理，矩形裁剪保留目标区域。由于采集的超声心动图为扇形，有些目标区域无法通过矩形裁剪，因此本申请对无法通过矩形裁剪的图像区域进行填补，以便构建128*128的矩形图像，输入卷积神经网络。
3、深度可分离卷积神经网络(depthwise separable convolution)
本申请使用的深度可分离卷积神经网络具有15×3×3大小的卷积层，其输入通道为5、输出通道为3。
4、图像识别
将步骤2处理的5个灰色、矩形的胸骨旁左室长轴切面图、胸骨旁大动脉短轴切面图、心尖四腔心切面图、剑突下双房切面图连接成一个矩阵后输入到训练好的五通道深度可分离卷积神经网络中，对五个处理图像进行特征向量提取和计算，获得五个切面的二维超声心动图像的三类识别结果。
需要说明的是，根据训练目标的不同，本领域技术人员可以采用不同的超声心动图利用深度可分离卷积神经网络进行训练，在本发明的一个实施例中，以训练目标为房间隔缺损的先天性心脏病(以下简称VSD)和室间隔缺损的先天性心脏病(以下简称ASD)以及不是上述两种先天性心脏病。因此，本申请以阳性病例和阴性病例的超声心动图作为训练样本对步骤3的深度可分离卷积神经网络进行训练，然后再将检测对象的5个超声心动图输入到训练好的深度可分离卷积神经网络中进行识别。
具体实施例2
1、超声心动图数据的采集
从北京儿童医院收集健康对照组330例，VSD 145例，ASD91例。使受试者呈俯仰位状态，暴露胸部，按照使用说明对受试者的心脏使用仪器，采集每个受试者的胸骨旁左室长轴切面、胸骨旁大动脉短轴切面、心尖四腔心切面、剑突下双房切面和胸骨上窝主动脉弓长轴切面的标准二维切面。
所有受试者的诊断均由至少两名资深超声医生或术中最终诊断确认，该操作经北京儿童医院伦理委员会批准(批准号为：2019-k-342)。
2、图像预处理
将步骤1获得的切面图的三通道RGB图像处理为单通道灰度图像，并对目标区域(即ROI)进行裁剪以删除不相关的部分。由于收集的超声图像是圆形扇区，并且某些特征标签无法通过矩形裁剪，因此对无法通过矩形裁剪的区域进行填补，使其通过矩形裁剪。相对于预定义的填补和裁剪的ROI图像应用逐像素灰度值加法。为了与传统的卷积神经网络(CNN)的输入保持一致，将矩形裁剪后的ROI的大小调整为128*128。
3、深度可分离卷积(DSC)神经网络的构建
由于神经网络通过多层简单非线性函数的连接而被训练为逼近映射函数，并且相对于表示能力，更深的结构通常更强大。但是，由于深度学习对数据的需求较大，有限的训练数据无法支持具有大量参数的网络调整，通常会导致过拟合。为了避免超声心动图识别存在的数据匮乏问题，本申请采用了深度可分离卷积(DSC)来大大减少网络层。
本发明的深度可分离卷积网络如图2所示，包括三个深度可卷积DSC模块，每个DSC模块分别进行深卷积计算和点卷积计算。
4、超声心动图的识别
按顺序将步骤2处理获得的图像连接在一起，形成一个大小为128*128*5的矩阵，然后输入到步骤3的DSC神经网络中，经神经网络中每个DSC模块的深卷积和点卷积计算后，遍历几层DSC图层，目标区域的特征要素图将被展平为要素向量，将分别由两个大小为1024和256的完全连接的图层进行处理，先输出为而分类结果，分别为负样本(即没有先天性心脏病)和正样本(即VSD和ASD)，然后对输出层中的每个神经单元配置为输出，然后应用S型函数，对每个输出进行归一化，并对归一化后的结果进行网络参数调整，最终实现对正样本的再次分类，最终获得三分类的结果，即没有先天性心脏病、VSD和ASD三种结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种先天性心脏病的超声心动图识别方法，其特征在于，包括：
获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像；
将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像；
将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理；
将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起，形成一个并行输入图像矩阵；
将所述并行输入图像矩阵输入到经过训练的五通道神经网络中，由所述五通道神经网络根据预先学习的知识给出所述并行输入图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率；
其中所述VSD是先天性心脏病简称，所述ASD是室间隔缺损的先天性心脏病简称。
2.根据权利要求1所述的超声心动图识别方法，其特征在于，所述五通道神经网络是深度可分离卷积神经网络。
3.根据权利要求2所述的超声心动图识别方法，其特征在于，所述深度可分离卷积神经网络包括串行的三个深度可分离卷积模块。
4.根据权利要求3所述的超声心动图识别方法，其特征在于，每个深度可分离卷积模块对并行输入图像矩阵进行深卷积和点卷积。
5.根据权利要求1或2或3所述的超声心动图识别方法，其特征在于，所述适配处理包括：
删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
6.根据权利要求5所述的超声心动图识别方法，其特征在于，所述适配处理还包括：
将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行矩形裁剪，以便所有灰度图像能够形成一个并行输入图像矩阵。
7.根据权利要求6所述的超声心动图识别方法，其特征在于，所述适配处理还包括：在无法通过矩形裁剪形成矩形图像时，将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行像素填补，然后再进行矩形裁剪。
8.一种先天性心脏病的超声心动图识别装置，其特征在于，包括：
图像获取模块，用于获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像；
灰度图像处理模块，用于将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像；
适配处理模块，用于将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理；
输入图像矩阵形成模块，用于将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起，形成一个并行输入图像矩阵；
五通道神经网络，用于接收所述并行输入图像矩阵，并根据预先学习的知识给出所述并行输入图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率；
其中所述VSD是先天性心脏病的简称，所述ASD是室间隔缺损的先天性心脏病的简称。
9.根据权利要求8所述的超声心动图识别装置，其特征在于，所述五通道神经网络是深度可分离卷积神经网络。
10.根据权利要求9所述的超声心动图识别装置，其特征在于，所述适配处理包括：
删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
CN202011478433.XA 2020-12-15 2020-12-15 先天性心脏病的超声心动图识别方法及装置 Active CN112767305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011478433.XA CN112767305B (zh) 2020-12-15 2020-12-15 先天性心脏病的超声心动图识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011478433.XA CN112767305B (zh) 2020-12-15 2020-12-15 先天性心脏病的超声心动图识别方法及装置

Publications (2)

Publication Number Publication Date
CN112767305A CN112767305A (zh) 2021-05-07
CN112767305B true CN112767305B (zh) 2024-03-08

Family

ID=75693950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011478433.XA Active CN112767305B (zh) 2020-12-15 2020-12-15 先天性心脏病的超声心动图识别方法及装置

Country Status (1)

Country Link
CN (1) CN112767305B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469975B (zh) * 2021-07-05 2023-04-07 深圳市人民医院 用于急诊的容量管理装置、设备及存储介质
CN114767163A (zh) * 2022-03-17 2022-07-22 复旦大学 基于超声心动图的儿童先天性心脏病智能诊断系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066934A (zh) * 2017-01-23 2017-08-18 华东交通大学 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN108898140A (zh) * 2018-06-08 2018-11-27 天津大学 基于改进的全卷积神经网络的脑肿瘤图像分割算法
CN110164550A (zh) * 2019-05-22 2019-08-23 杭州电子科技大学 一种基于多视角协同关系的先天性心脏病辅助诊断方法
CN110399915A (zh) * 2019-07-23 2019-11-01 王英伟 一种基于深度学习的超声图像识别方法及其系统
CN111915557A (zh) * 2020-06-23 2020-11-10 杭州深睿博联科技有限公司 一种深度学习的房间隔缺损检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3016903A1 (en) * 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066934A (zh) * 2017-01-23 2017-08-18 华东交通大学 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN108898140A (zh) * 2018-06-08 2018-11-27 天津大学 基于改进的全卷积神经网络的脑肿瘤图像分割算法
CN110164550A (zh) * 2019-05-22 2019-08-23 杭州电子科技大学 一种基于多视角协同关系的先天性心脏病辅助诊断方法
CN110399915A (zh) * 2019-07-23 2019-11-01 王英伟 一种基于深度学习的超声图像识别方法及其系统
CN111915557A (zh) * 2020-06-23 2020-11-10 杭州深睿博联科技有限公司 一种深度学习的房间隔缺损检测方法及装置

Also Published As

Publication number Publication date
CN112767305A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
KR101565311B1 (ko) 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출
US11817203B2 (en) Ultrasound clinical feature detection and associated devices, systems, and methods
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
US11301996B2 (en) Training neural networks of an automatic clinical workflow that recognizes and analyzes 2D and doppler modality echocardiogram images
JP5727530B2 (ja) 超音波診断システム及び方法
CN110164550B (zh) 一种基于多视角协同关系的先天性心脏病辅助诊断方法
CN112767305B (zh) 先天性心脏病的超声心动图识别方法及装置
CN111739000B (zh) 一种提高多个心脏视图左心室分割精确度的系统及装置
US10803612B2 (en) Method and system for structure recognition in three-dimensional ultrasound data based on volume renderings
CN111275755B (zh) 基于人工智能的二尖瓣瓣口面积检测方法、系统和设备
CN111462049A (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
US20220237798A1 (en) Method and system for automatically estimating a hepatorenal index from ultrasound images
Rachmatullah et al. Convolutional neural network for semantic segmentation of fetal echocardiography based on four-chamber view
Zhu et al. Automatic measurement of fetal femur length in ultrasound images: a comparison of random forest regression model and SegNet
CN112638273A (zh) 生物测定测量和质量评估
US11534133B2 (en) Ultrasonic detection method and ultrasonic imaging system for fetal heart
CN112580404A (zh) 超声参数智能控制方法、存储介质及超声诊断设备
CN111166388A (zh) 基于二维超声影像认知构建三维模型的方法及装置
Horgan et al. Artificial intelligence in obstetric ultrasound: A scoping review
US11786212B1 (en) Echocardiogram classification with machine learning
US11941806B2 (en) Methods and systems for automatic assessment of fractional limb volume and fat lean mass from fetal ultrasound scans
CN113298773A (zh) 基于深度学习的心脏视图识别与左心室检测装置、系统
Nageswari et al. Preserving the border and curvature of fetal heart chambers through TDyWT perspective geometry wrap segmentation
WO2020133236A1 (zh) 一种脊柱的成像方法以及超声成像系统
Zhang et al. Advances in the Application of Artificial Intelligence in Fetal Echocardiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant