CN112767305A - 先天性心脏病的超声心动图识别方法及装置 - Google Patents
先天性心脏病的超声心动图识别方法及装置 Download PDFInfo
- Publication number
- CN112767305A CN112767305A CN202011478433.XA CN202011478433A CN112767305A CN 112767305 A CN112767305 A CN 112767305A CN 202011478433 A CN202011478433 A CN 202011478433A CN 112767305 A CN112767305 A CN 112767305A
- Authority
- CN
- China
- Prior art keywords
- gray image
- section
- image
- axis section
- sternum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 208000002330 Congenital Heart Defects Diseases 0.000 title claims abstract description 34
- 208000028831 congenital heart disease Diseases 0.000 title claims abstract description 32
- 210000001562 sternum Anatomy 0.000 claims abstract description 75
- 210000005240 left ventricle Anatomy 0.000 claims abstract description 49
- 210000002376 aorta thoracic Anatomy 0.000 claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 230000006978 adaptation Effects 0.000 claims abstract description 18
- 230000000747 cardiac effect Effects 0.000 claims abstract description 16
- 201000003130 ventricular septal defect Diseases 0.000 claims abstract description 12
- 210000001367 artery Anatomy 0.000 claims abstract description 8
- 210000000709 aorta Anatomy 0.000 claims description 38
- 230000002146 bilateral effect Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 210000000115 thoracic cavity Anatomy 0.000 claims description 19
- 210000002417 xiphoid bone Anatomy 0.000 claims description 14
- 210000000988 bone and bone Anatomy 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 16
- 208000035478 Interatrial communication Diseases 0.000 description 8
- 206010003664 atrial septal defect Diseases 0.000 description 8
- 238000002604 ultrasonography Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 208000001910 Ventricular Heart Septal Defects Diseases 0.000 description 1
- 208000013914 atrial heart septal defect Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007698 birth defect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种先天性心脏病的超声心动图识别方法,包括:获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像等五个RGB图像;将所获取的五个RGB图像分别处理成五个灰度图像;将五个灰度图像进行适配处理;将进行了适配处理的五个灰度图像并行地连接在一起,形成一个并行输入图像矩阵;将所述图像矩阵输入到经过训练的五通道神经网络中,由所述五通道神经网络根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
Description
技术领域
本发明涉及医学诊断模型领域,尤其涉及一种先天性心脏病的超声心动图识别方法及装置。
背景技术
先天性心脏病(以下简称“先心病”)是最常见的出生缺陷,也是主要的死亡原因。先心病存在很多不同亚型,不同类型的先心病的超声心动图表现均不同,各个二维切面的图像均各异,尽管利用计算机辅助检测(Computer Aided Diagnosis)辅助影像科医生定位分类病灶区域可以提高诊断先心病的准确度,然而单一视角的超声图像依然存在定位不准确、误诊率高等问题。
此外,超声图像的准确性识别依赖于医生识别能力,不同的医生可能会有不同的识别结果,由于县域医院的医生训练较少,因而县域医院不能有效利用单一视角的超声图像对先天性心脏病进行识别。
发明内容
为了解决上述技术问题,本发明提供了一种先天性心脏病的超声心动图识别方法及装置,通过用已有的胸骨旁左室长轴切面、胸骨旁大动脉短轴切面、心尖四腔心切面、剑突下双房切面和胸骨上窝主动脉弓长轴切面等五个超声心动图数据训练神经网络,使该神经网络能够给出与现有数据近似的与先天性心脏病有关的预测概率,从而解决了单一视角的超声图像定位不准确、误诊率高以及先天性心脏病识别依赖于医生识别能力的技术问题。
根据本发明第一方面,一种先天性心脏病的超声心动图识别方法包括:
获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像;
将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像;
将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理;
将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起,形成一个并行输入图像矩阵;
将所述图像矩阵输入到经过训练的五通道神经网络中,由所述五通道神经网络根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
优选地,所述五通道神经网络是深度可分离卷积神经网络。
优选地,所述深度可分离卷积神经网络包括串行的三个深度可分离卷积模块。
优选地,每个深度可分离卷积模块对并行输入图像矩阵进行深卷积和点卷积。
优选地,所述适配处理包括:删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
优选地,所述适配处理还包括:将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行矩形裁剪,以便所有灰度图像能够形成一个并行输入图像矩阵。
优选地,所述适配处理还包括:在无法通过矩形裁剪形成矩形图像时,将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行像素填补,然后再进行矩形裁剪。
根据本发明第二方面,一种先天性心脏病的超声心动图识别装置包括:
图像获取模块,用于获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像;
灰度图像处理模块,用于将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像;
适配处理模块,用于将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理;
输入图像矩阵形成模块,用于将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起,形成一个并行输入图像矩阵;
五通道神经网络,用于接收所述图像矩阵,并根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
优选地,所述五通道神经网络是深度可分离卷积神经网络。
优选地,所述深度可分离卷积神经网络包括串行的三个深度可分离卷积模块。
优选地,每个深度可分离卷积模块对并行输入图像矩阵进行深卷积和点卷积。
优选地,所述适配处理包括:删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
优选地,所述适配处理还包括:将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行矩形裁剪,以便所有灰度图像能够形成一个并行输入图像矩阵。
优选地,所述适配处理还包括:在无法通过矩形裁剪形成矩形图像时,将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行像素填补,然后再进行矩形裁剪。
相对于现有技术,本发明的有益效果包括:
1、本发明对胸骨旁左室长轴切面图、胸骨旁大动脉短轴切面图、心尖四腔心切面图、剑突下双房切面图和胸骨上窝主动脉弓长轴切面图五个超声心动图同时进行识别,更能反映心脏状态,有助于辅助医生诊断先天性心脏病。
2、本发明提供的三维立体心脏模型利用现有的超声心动图即可进行构建,方法容易,成本低廉,普适性广。
下面参考具体实施例,对本发明进行说明,需要说明的是,这些实施例仅仅是说明性的,而不能理解为对本发明的限制。若未特别指明,实施例中所采用的技术手段为本领域技术人员所熟知的常规手段,所采用的试剂和产品也均为可商业获得的。未详细描述的各种过程和方法是本领域中公知的常规方法,所用试剂的来源、商品名以及有必要列出其组成成分者,均在首次出现时标明,其后所用相同试剂如无特殊说明,均以首次标明的内容相同。
附图说明
图1是本发明的一种先天性心脏病的超声心动图识别装置的示意图;
图2是本发明使用的深度可分离卷积神经网络结构示意图;
图3是本发明的一种先天性心脏病的超声心动图识别方法的示意图。
具体实施方式
图1显示了本发明的一种先天性心脏病的超声心动图识别装置,包括:
图像获取模块,用于获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像;
灰度图像处理模块,用于将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像;
适配处理模块,用于将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理;
图像矩阵形成模块,用于将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起,形成一个并行输入图像矩阵;
五通道神经网络,用于接收所述图像矩阵,并根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
本发明的五通道神经网络是深度可分离卷积神经网络。如图2所示,深度可分离卷积神经网络包括串行的三个深度可分离卷积模块。每个深度可分离卷积模块对并行输入图像矩阵进行深卷积和点卷积计算。
本发明的适配处理包括:删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
本发明的适配处理还包括:将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行矩形裁剪,以便所有灰度图像能够形成一个并行输入图像矩阵。
本发明的适配处理还包括:在无法通过矩形裁剪形成矩形图像时,将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行像素填补,然后再进行矩形裁剪。
图3显示了本发明的一种先天性心脏病的超声心动图识别方法,包括:
获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像;
将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像;
将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理;
将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起,形成一个并行输入图像矩阵;
将所述图像矩阵输入到经过训练的五通道神经网络中,由所述五通道神经网络根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
具体实施例1
1、图像的获取
本申请所用的图像是飞利浦心悦IE33心脏彩超、Philips IE Elite心血管四维彩超和飞利浦Epiq7C超高档高级心脏彩超仪器采集获得,采集的图像为胸骨旁左室长轴切面图、胸骨旁大动脉短轴切面图、心尖四腔心切面图、剑突下双房切面图和胸骨上窝主动脉弓长轴切面图,其中,所述图像为RGB图像。
2、图像的处理
将采集的胸骨旁左室长轴切面图、胸骨旁大动脉短轴切面图、心尖四腔心切面图、剑突下双房切面图和胸骨上窝主动脉弓长轴切面图进行灰度处理,矩形裁剪保留目标区域。由于采集的超声心动图为扇形,有些目标区域无法通过矩形裁剪,因此本申请对无法通过矩形裁剪的图像区域进行填补,以便构建128*128的矩形图像,输入卷积神经网络。
3、深度可分离卷积神经网络(depthwise separable convolution)
本申请使用的深度可分离卷积神经网络具有15×3×3大小的卷积层,其输入通道为5、输出通道为3。
4、图像识别
将步骤2处理的5个灰色、矩形的胸骨旁左室长轴切面图、胸骨旁大动脉短轴切面图、心尖四腔心切面图、剑突下双房切面图连接成一个矩阵后输入到训练好的五通道深度可分离卷积神经网络中,对五个处理图像进行特征向量提取和计算,获得五个切面的二维超声心动图像的三类识别结果。
需要说明的是,根据训练目标的不同,本领域技术人员可以采用不同的超声心动图利用深度可分离卷积神经网络进行训练,在本发明的一个实施例中,以训练目标为房间隔缺损的先天性心脏病(以下简称VSD)和室间隔缺损的先天性心脏病(以下简称ASD)以及不是上述两种先天性心脏病。因此,本申请以阳性病例和阴性病例的超声心动图作为训练样本对步骤3的深度可分离卷积神经网络进行训练,然后再将检测对象的5个超声心动图输入到训练好的深度可分离卷积神经网络中进行识别。
具体实施例2
1、超声心动图数据的采集
从北京儿童医院收集健康对照组330例,VSD 145例,ASD91例。使受试者呈俯仰位状态,暴露胸部,按照使用说明对受试者的心脏使用仪器,采集每个受试者的胸骨旁左室长轴切面、胸骨旁大动脉短轴切面、心尖四腔心切面、剑突下双房切面和胸骨上窝主动脉弓长轴切面的标准二维切面。
所有受试者的诊断均由至少两名资深超声医生或术中最终诊断确认,该操作经北京儿童医院伦理委员会批准(批准号为:2019-k-342)。
2、图像预处理
将步骤1获得的切面图的三通道RGB图像处理为单通道灰度图像,并对目标区域(即ROI)进行裁剪以删除不相关的部分。由于收集的超声图像是圆形扇区,并且某些特征标签无法通过矩形裁剪,因此对无法通过矩形裁剪的区域进行填补,使其通过矩形裁剪。相对于预定义的填补和裁剪的ROI图像应用逐像素灰度值加法。为了与传统的卷积神经网络(CNN)的输入保持一致,将矩形裁剪后的ROI的大小调整为128*128。
3、深度可分离卷积(DSC)神经网络的构建
由于神经网络通过多层简单非线性函数的连接而被训练为逼近映射函数,并且相对于表示能力,更深的结构通常更强大。但是,由于深度学习对数据的需求较大,有限的训练数据无法支持具有大量参数的网络调整,通常会导致过拟合。为了避免超声心动图识别存在的数据匮乏问题,本申请采用了深度可分离卷积(DSC)来大大减少网络层。
本发明的深度可分离卷积网络如图2所示,包括三个深度可卷积DSC模块,每个DSC模块分别进行深卷积计算和点卷积计算。
4、超声心动图的识别
按顺序将步骤2处理获得的图像连接在一起,形成一个大小为128*128*5的矩阵,然后输入到步骤3的DSC神经网络中,经神经网络中每个DSC模块的深卷积和点卷积计算后,遍历几层DSC图层,目标区域的特征要素图将被展平为要素向量,将分别由两个大小为1024和256的完全连接的图层进行处理,先输出为而分类结果,分别为负样本(即没有先天性心脏病)和正样本(即VSD和ASD),然后对输出层中的每个神经单元配置为输出,然后应用S型函数,对每个输出进行归一化,并对归一化后的结果进行网络参数调整,最终实现对正样本的再次分类,最终获得三分类的结果,即没有先天性心脏病、VSD和ASD三种结果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种先天性心脏病的超声心动图识别方法,其特征在于,包括:
获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像;
将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像;
将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理;
将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起,形成一个并行输入图像矩阵;
将所述图像矩阵输入到经过训练的五通道神经网络中,由所述五通道神经网络根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
2.根据权利要求1所述的超声心动图识别方法,其特征在于,所述五通道神经网络是深度可分离卷积神经网络。
3.根据权利要求2所述的超声心动图识别方法,其特征在于,所述深度可分离卷积神经网络包括串行的三个深度可分离卷积模块。
4.根据权利要求3所述的超声心动图识别方法,其特征在于,每个深度可分离卷积模块对并行输入图像矩阵进行深卷积和点卷积。
5.根据权利要求1或2或3所述的超声心动图识别方法,其特征在于,所述适配处理包括:
删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
6.根据权利要求5所述的超声心动图识别方法,其特征在于,所述适配处理还包括:
将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行矩形裁剪,以便所有灰度图像能够形成一个并行输入图像矩阵。
7.根据权利要求6所述的超声心动图识别方法,其特征在于,所述适配处理还包括:在无法通过矩形裁剪形成矩形图像时,将属于圆形扇区的所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行像素填补,然后再进行矩形裁剪。
8.一种先天性心脏病的超声心动图识别装置,其特征在于,包括:
图像获取模块,用于获取患者胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像;
灰度图像处理模块,用于将所获取的胸骨旁左室长轴切面RGB图像、胸骨旁大动脉短轴切面RGB图像、心尖四腔心切面RGB图像、剑突下双房切面RGB图像和胸骨上窝主动脉弓长轴切面RGB图像分别处理成胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像;
适配处理模块,用于将所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像进行适配处理;
输入图像矩阵形成模块,用于将进行了适配处理的胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像并行地连接在一起,形成一个并行输入图像矩阵;
五通道神经网络,用于接收所述图像矩阵,并根据预先学习的知识给出所输入的图像矩阵对应的VSD、ASD和没有先天性心脏病三种结果的预测概率。
9.根据权利要求8所述的超声心动图识别装置,其特征在于,所述五通道神经网络是深度可分离卷积神经网络。
10.根据权利要求9所述的超声心动图识别装置,其特征在于,所述适配处理包括:
删除所述胸骨旁左室长轴切面灰度图像、胸骨旁大动脉短轴切面灰度图像、心尖四腔心切面灰度图像、剑突下双房切面灰度图像和胸骨上窝主动脉弓长轴切面灰度图像的目标区域中不相关部分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011478433.XA CN112767305B (zh) | 2020-12-15 | 2020-12-15 | 先天性心脏病的超声心动图识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011478433.XA CN112767305B (zh) | 2020-12-15 | 2020-12-15 | 先天性心脏病的超声心动图识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767305A true CN112767305A (zh) | 2021-05-07 |
CN112767305B CN112767305B (zh) | 2024-03-08 |
Family
ID=75693950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011478433.XA Active CN112767305B (zh) | 2020-12-15 | 2020-12-15 | 先天性心脏病的超声心动图识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767305B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469975A (zh) * | 2021-07-05 | 2021-10-01 | 深圳市人民医院 | 用于急诊的容量管理装置、设备及存储介质 |
CN114767163A (zh) * | 2022-03-17 | 2022-07-22 | 复旦大学 | 基于超声心动图的儿童先天性心脏病智能诊断系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066934A (zh) * | 2017-01-23 | 2017-08-18 | 华东交通大学 | 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备 |
US20170262982A1 (en) * | 2016-03-09 | 2017-09-14 | EchoNous, Inc. | Ultrasound image recognition systems and methods utilizing an artificial intelligence network |
CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
CN110164550A (zh) * | 2019-05-22 | 2019-08-23 | 杭州电子科技大学 | 一种基于多视角协同关系的先天性心脏病辅助诊断方法 |
CN110399915A (zh) * | 2019-07-23 | 2019-11-01 | 王英伟 | 一种基于深度学习的超声图像识别方法及其系统 |
CN111915557A (zh) * | 2020-06-23 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种深度学习的房间隔缺损检测方法及装置 |
-
2020
- 2020-12-15 CN CN202011478433.XA patent/CN112767305B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170262982A1 (en) * | 2016-03-09 | 2017-09-14 | EchoNous, Inc. | Ultrasound image recognition systems and methods utilizing an artificial intelligence network |
CN107066934A (zh) * | 2017-01-23 | 2017-08-18 | 华东交通大学 | 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备 |
CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
CN110164550A (zh) * | 2019-05-22 | 2019-08-23 | 杭州电子科技大学 | 一种基于多视角协同关系的先天性心脏病辅助诊断方法 |
CN110399915A (zh) * | 2019-07-23 | 2019-11-01 | 王英伟 | 一种基于深度学习的超声图像识别方法及其系统 |
CN111915557A (zh) * | 2020-06-23 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种深度学习的房间隔缺损检测方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469975A (zh) * | 2021-07-05 | 2021-10-01 | 深圳市人民医院 | 用于急诊的容量管理装置、设备及存储介质 |
CN113469975B (zh) * | 2021-07-05 | 2023-04-07 | 深圳市人民医院 | 用于急诊的容量管理装置、设备及存储介质 |
CN114767163A (zh) * | 2022-03-17 | 2022-07-22 | 复旦大学 | 基于超声心动图的儿童先天性心脏病智能诊断系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112767305B (zh) | 2024-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11101033B2 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
Torrents-Barrena et al. | Segmentation and classification in MRI and US fetal imaging: recent trends and future prospects | |
Fiorentino et al. | A review on deep-learning algorithms for fetal ultrasound-image analysis | |
US11200693B2 (en) | Image processing | |
Nurmaini et al. | Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation | |
US20230038364A1 (en) | Method and system for automatically detecting anatomical structures in a medical image | |
CN110164550B (zh) | 一种基于多视角协同关系的先天性心脏病辅助诊断方法 | |
CN111739000B (zh) | 一种提高多个心脏视图左心室分割精确度的系统及装置 | |
CN112767305A (zh) | 先天性心脏病的超声心动图识别方法及装置 | |
CN113012173A (zh) | 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置 | |
CN111462049A (zh) | 一种乳腺超声造影视频中病灶区形态自动标注方法 | |
US20220012875A1 (en) | Systems and Methods for Medical Image Diagnosis Using Machine Learning | |
Rachmatullah et al. | Convolutional neural network for semantic segmentation of fetal echocardiography based on four-chamber view | |
Horgan et al. | Artificial intelligence in obstetric ultrasound: A scoping review | |
Sengan et al. | Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning | |
US11786212B1 (en) | Echocardiogram classification with machine learning | |
CN116704305A (zh) | 基于深度学习算法的超声心动图多模态多切面分类方法 | |
CN116433649A (zh) | 一种卵圆孔未闭的微泡计数方法及智能诊断装置 | |
US20230087363A1 (en) | Methods and systems for automatic assessment of fractional limb volume and fat lean mass from fetal ultrasound scans | |
CN112914610B (zh) | 基于深度学习的对比增强超声心动图室壁厚度自动分析系统与方法 | |
CN113298773A (zh) | 基于深度学习的心脏视图识别与左心室检测装置、系统 | |
Li et al. | FHUSP-NET: A Multi-task model for fetal heart ultrasound standard plane recognition and key anatomical structures detection | |
CN112419313A (zh) | 一种基于先心病超声的多切面的分类方法 | |
Lasala et al. | Exploiting class activation mappings as prior to generate fetal brain ultrasound images with GANs | |
Wang et al. | Vision Transformer-based Classification Study of Intracranial Hemorrhage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |