CN116704305A - 基于深度学习算法的超声心动图多模态多切面分类方法 - Google Patents
基于深度学习算法的超声心动图多模态多切面分类方法 Download PDFInfo
- Publication number
- CN116704305A CN116704305A CN202310733977.3A CN202310733977A CN116704305A CN 116704305 A CN116704305 A CN 116704305A CN 202310733977 A CN202310733977 A CN 202310733977A CN 116704305 A CN116704305 A CN 116704305A
- Authority
- CN
- China
- Prior art keywords
- adult
- echocardiography
- section
- classification
- echocardiogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000013145 classification model Methods 0.000 claims abstract description 74
- 238000002592 echocardiography Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000012795 verification Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 210000005240 left ventricle Anatomy 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 210000000709 aorta Anatomy 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000002861 ventricular Effects 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000013155 cardiography Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供了一种基于深度学习算法的超声心动图多模态多切面分类方法，包括：采集成人超声心动图视频及图像，对其进行预处理，对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集，将成人超声心动图数据集划分为训练集、验证集及测试集。基于ResNet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估，将待测图像或视频输入成人超声心动图切面分类模型中，得到分类结果。本发明提供的基于深度学习算法的超声心动图多模态多切面分类方法，能够实现超声心动图多模态多切面的自动分类，分类精度高，省时省力。
Description
技术领域
本发明涉及超声心动图分类技术领域，特别是涉及一种基于深度学习算法的超声心动图多模态多切面分类方法。
背景技术
超声心动图具有无创、无辐射、高时间分辨率、可床旁操作等优势，在心血管疾病诊疗中发挥重要的临床价值。当前超声心动图包含多个模态，例如M型、二维灰阶、彩色多普勒、声学造影等。多模态超声图像提供丰富的心脏解剖结构信息，如心房和心室位置、大小以及血流动力学信息。正确识别超声心动图标准切面对于量化和后处理分析心脏功能至关重要，但是后处理分析软件，如QLab和EchoPAC等，依赖于人工筛选标准心尖切面图像进行心脏结构和功能的二次分析，尤其是针对大样本数据，切面预分类耗时耗力。因此，快速、正确地自动识别超声心动图标准切面的需求正在逐渐提升。
现有技术中的超声心动图标准切面识别方法主要针对2D灰度图像，对3D造影和彩色多普勒超声图像研究较少。因此，设计一种基于深度学习算法的超声心动图多模态多切面分类方法是十分有必要的。
发明内容
本发明的目的是提供一种基于深度学习算法的超声心动图多模态多切面分类方法，能够实现超声心动图多模态多切面的自动分类，分类精度高，省时省力。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习算法的超声心动图多模态多切面分类方法，包括如下步骤：
步骤1：采集多模块、多切面的成人超声心动图视频及图像；
步骤2：对采集的成人超声心动图视频及图像进行预处理；
步骤3：对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集；
步骤4：将成人超声心动图数据集划分为训练集、验证集及测试集；
步骤5：基于ResNet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型；
步骤6：基于测试集，对最佳成人超声心动图切面分类模型进行性能评估；
步骤7：将待测图像或视频输入成人超声心动图切面分类模型中，得到分类结果。
可选的，步骤1中，采集多模块、多切面的成人超声心动图视频及图像，具体为：
采集多模块、多切面的成人超声心动图视频及图像，包括三维灰阶超声心动图、彩色多普勒超声心动图、二维灰阶胸骨旁左心室长轴切面、二维灰阶胸骨旁左心室短轴切面、二维灰阶胸骨旁大动脉短轴切面、二维灰阶剑突下切面、二维灰阶心尖二腔切面、二维灰阶心尖三腔切面、二维灰阶心尖四腔切面、二维左心声学造影心尖二腔切面、二维左心声学造影心尖三腔切面、二维左心声学造影心尖四腔切面及二维左心声学造影胸骨旁左心室短轴切面。
可选的，步骤2中，对采集的成人超声心动图视频及图像进行预处理，具体为：
通过Python的第三方库OpenCV对成人超声心动图视频及图像进行批量处理，根据连续帧图像的像素变化，结合图像预处理操作，提取扇形感兴趣区域，并将视频按帧保存为PNG格式。
可选的，步骤4中，将成人超声心动图数据集划分为训练集、验证集及测试集，具体为：
以8:1:1的比例将成人超声心动图数据集划分为训练集、验证集及测试集，其中，以样本量最少的切面数据量为标准，等比例采样其他类别切面数据集，以构成样本量均衡的数据集，使得各类切面样本量均衡，其中，训练集用于训练成人超声心动图切面分类模型，验证集用于调整模型超参数，筛选最佳分类模型，测试集用于评估模型的分类性能。
可选的，步骤5中，基于ResNet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型，具体为：
基于101层的ResNet网络构建成人超声心动图切面分类模型，通过训练集对其进行训练，在训练阶段采用迁移学习策略，预训练权重采用在ImageNet数据集训练的结果，输出层分类器为Softmax函数，分类类别数设置为13类，使用初始学习率为0.0001的Adam优化器，批处理大小为128，进行模型微调，迭代100次，通过具有残差结构的卷积神经网络提取超声图像特征，训练完毕后，通过最小化真实标签和预测结果之间的交叉熵损失值，在验证集上评估模型性能，选择分类准确率最高的模型权重作为最佳成人超声心动图切面分类模型。
可选的，步骤6中，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估，具体为：
采用混淆矩阵、准确率、精确率、召回率、特异度及F1得分，在验证集及测试集上评估最佳成人超声心动图切面分类模型的性能。
可选的，步骤7中，将待测图像输入成人超声心动图切面分类模型中，得到分类结果，具体为：
将待测图像输入成人超声心动图切面分类模型中，其中，对于成人超声心动图图像，成人超声心动图切面分类模型预测每张图像的分类结果，对于成人超声心动图视频，从每个视频等间隔采样10帧图像进行预测，对预测结果取均值，以最大预测概率对应的切面类别作为视频的分类结果，采用梯度加权类激活图可视化分析方法，使用成人超声心动图切面分类模型最后一层特征权重，生成热力图，可视化切面分类模型重点关注区域，对分类结果进行可解释性分析。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于深度学习算法的超声心动图多模态多切面分类方法，该方法包括采集多模块、多切面的成人超声心动图视频及图像，对采集的成人超声心动图视频及图像进行预处理，对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集，将成人超声心动图数据集划分为训练集、验证集及测试集，基于ResNet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估，将待测图像输入成人超声心动图切面分类模型中，得到分类结果，该方法对成人超声心动图视频及图像进行预处理，提取感兴趣区域，隐去患者检查及个人信息，该方法能够应用于多模态(2D灰阶、多普勒、3D和声学造影)、多切面(主要是针对2D灰阶临床检查常用切面)超声心动图数据，该方法由临床经验丰富的超声医生进行标注，能够保证标签的准确性，该方法按比例随机划分数据集，能够保证数据多样性及样本均衡，该方法通过多个分类指标在独立数据集上评估模型预测性能，能够保证模型预测结果的鲁棒性，该方法采用类激活热力图可视化模型分类过程中重点关注的解剖区域，提高了模型的可解释性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于深度学习算法的超声心动图多模态多切面分类方法流程示意图；
图2a为切面类别为2D_2C、2D_3C、2D_4C及2D_BX的可视化分析结果图；
图2b为切面类别为2D_P、2D_SAX、2D_SAoA、3D、C2D_2C及C2D_3C的可视化分析结果图；
图2c为为切面类别为C2D_4C、C2D_SAX及CDFI的可视化分析结果图。
具体实施方式
本发明的目的是提供一种基于深度学习算法的超声心动图多模态多切面分类方法，能够实现超声心动图多模态多切面的自动分类，分类精度高，省时省力。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明实施例提供的基于深度学习算法的超声心动图多模态多切面分类方法，包括如下步骤：
步骤1：采集多模块、多切面的成人超声心动图视频及图像；
步骤2：对采集的成人超声心动图视频及图像进行预处理；
步骤3：对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集；
步骤4：将成人超声心动图数据集划分为训练集、验证集及测试集；
步骤5：基于ResNet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型；
步骤6：基于测试集，对最佳成人超声心动图切面分类模型进行性能评估；
步骤7：将待测图像或视频输入成人超声心动图切面分类模型中，得到分类结果。
步骤1中，采集多模块、多切面的成人超声心动图视频及图像，具体为：
采集多模块、多切面的成人超声心动图视频及图像，包括三维灰阶超声心动图、彩色多普勒超声心动图、二维灰阶胸骨旁左心室长轴切面、二维灰阶胸骨旁左心室短轴切面、二维灰阶胸骨旁大动脉短轴切面、二维灰阶剑突下切面、二维灰阶心尖二腔切面、二维灰阶心尖三腔切面、二维灰阶心尖四腔切面、二维左心声学造影心尖二腔切面、二维左心声学造影心尖三腔切面、二维左心声学造影心尖四腔切面及二维左心声学造影胸骨旁左心室短轴切面。
步骤2中，对采集的成人超声心动图视频及图像进行预处理，具体为：
超声视频数据以DICOM格式存储，通常包含冗余信息，如检查信息(检查日期和时间、心电图、心率、帧频)和超声设备参数，可能会降低图像信噪比，影响AI模型的预测效能，通过Pydicom和OpenCV等Python第三方库对成人超声心动图视频及图像进行批量处理，根据连续帧图像的像素变化，结合膨胀、腐蚀等图像预处理操作，提取扇形感兴趣区域，并将视频按帧保存为PNG格式，便于后续训练切面分类模型，采用Pydicom库处理原始DICOM文件，去除患者姓名等敏感信息，并通过OpenCV库提取超声心动图视频中的感兴趣区域(扇形区域)，去除周围无用信息(如患者年龄、姓名、机器型号等)。
步骤3中，对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集，具体为：
由具有丰富临床经验的超声医生完成切面数据集的标注任务，保证数据标签的真实性和可靠性。
步骤4中，将成人超声心动图数据集划分为训练集、验证集及测试集，具体为：
以8:1:1的比例将成人超声心动图数据集划分为训练集、验证集及测试集，其中，以样本量最少的切面数据量为标准，等比例采样其他类别切面数据集，以构成各类切面样本量均衡的数据集。其中，训练集用于训练成人超声心动图切面分类模型，验证集用于调整模型超参数，筛选最佳分类模型，测试集用于评估模型的分类性能。
步骤5中，基于ResNet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型，具体为：
卷积神经网络具有强大的特征表征能力，通常由卷积核、激活函数、池化层及全连接层组合而成，卷积操作可提取输入图像不同层次的特征，激活函数通过增加网络层与层之间的非线性关系提高特征识别能力，池化层是降低特征维度及保留图像主要特征的空间、尺度不变性，全连接层是将提取的特征映射到分类样本空间，但是随着网络层数的加深，简单堆叠卷积层造成梯度消失或爆炸问题，降低模型性能，深度残差网络ResNet是计算机视觉领域最具开创性的卷积神经网络之一，通过残差学习重构模型对残差映射进行拟合，解决深层网络反向传播过程中存在的“退化”问题，大大增加网络深度，有效提升网络性能。
ResNet基本思想如下：当输入为x，H(x)表示学习到的特征，即若干个卷积层堆叠而成的非线性层提取到的特征。另一条支路是线性层，表示恒等映射或投影，学习到残差特征为F(x)＝H(x)-x。因此，原映射变成F(x)+x，使得卷积堆叠层在输入特征基础上学习到新的特征，增加网络深度的同时提高模型性能。
本发明基于101层的ResNet网络构建成人超声心动图切面分类模型，通过训练集对其进行训练，在训练阶段采用迁移学习策略，预训练权重采用在ImageNet数据集训练的结果，输出层分类器为Softmax函数，分类类别数设置为13类，使用初始学习率为0.0001的Adam优化器，批处理大小为128，进行模型微调，迭代100次，通过具有残差结构的卷积神经网络提取超声图像特征，其中，具体流程为：首先输入一张原始尺寸的超声图像，调用Pytorch中的transforms.Resize()方法，将图像大小调整为256*256*3。在训练集上，调用transforms.RandomRotation()方法，以0-15°范围内的任一角度在水平方向上随机旋转图像，增加数据的多样性和鲁棒性，以提高模型的泛化能力。为了提高模型的收敛速度、稳定性和泛化能力，在训练集和验证集上采用transforms.Normalize()方法进行图像标准化处理，图像三个通道的均值为0.07，标准差分别为0.15、0.15和0.14。预处理后的图像输入7x7的卷积核进行卷积操作，步长为2，输出通道数为64，边界填充为3。然后应用批量归一化和ReLU激活函数，使用3x3的池化核进行最大池化操作，步长为2，减小特征图的尺寸。接着，通过基本块组1，包含三个基本块结构。每个基本块包含两个1x1的卷积核(步长为1，输出通道数为64、256)和一个3x3的卷积核(步长为1，输出通道数为64，边界填充为1)。在每个卷积核之后应用批量归一化，并在第二个1x1的卷积核之后采用ReLU激活函数。这三个基本块的输入通过跳跃连接绕过卷积层，将输入直接加到卷积层输出上，以避免梯度消失问题。接着，再通过三个与基本块组1类似的结构，输出通道由256分别变成512、1024和2048。使用全局平均池化操作，将特征图转换为向量2048*1*1。最后输出层使用线性全连接操作，采用Softmax函数将特征向量映射到13种类别的概率分布，用于预测超声图像的切面类别。
训练完毕后，通过最小化真实标签和预测结果之间的交叉熵损失值，在验证集上评估模型性能，选择损失值最小的模型权重作为最佳成人超声心动图切面分类模型，在搭载NVIDIAGeForceRTX3090GPU(24GB内存)的服务器上使用Python(3.7.10版本)和PyTorch(1.7.1版本)软件实现模型开发及验证。
步骤6中，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估，具体为：
采用混淆矩阵、准确率、精确率(又称为“阳性预测值”)、召回率(又称为“敏感性”)、特异度及F1得分等多项指标，在验证集及测试集上评估最佳成人超声心动图切面分类模型的性能。
步骤7中，将待测图像或视频输入成人超声心动图切面分类模型中，得到分类结果，具体为：
将待测图像输入成人超声心动图切面分类模型中，其中，对于成人超声心动图图像，成人超声心动图切面分类模型预测每张图像的分类结果。对于成人超声心动图视频，从每个视频等间隔采样10帧图像进行预测，对预测结果取均值，以最大预测概率对应的切面类别作为视频的分类结果，采用梯度加权类激活图可视化分析方法，使用成人超声心动图切面分类模型最后一层特征权重，生成热力图，可视化切面分类模型重点关注区域，对分类结果进行可解释性分析，有助于理解切面分类模型的深层逻辑，提升模型可解释性。
本发明的一个实施例为：在不同分类模型中，训练多模态、多切面数据集，并在验证集的图像水平中评估分类模型的性能，同时，在测试集的图像水平和视频水平中评估分类模型性能，结果如表1所示。
表1多种分类模型在图像水平预测结果
在验证集的图像水平中，采用准确率和F1得分评估分类模型的性能，ResNet101的F1得分最高，表明其分类性能最佳(见表1)。因此，选择ResNet101作为最终的切面分类模型，并在测试集的图像水平和视频水平分别评估模型的分类性能。
表2基于ResNet101的多模态、多切面分类模型在测试集图像水平的预测结果
注：2D_2C表示二维灰阶心尖二腔切面，2D_3C表示二维灰阶心尖三腔切面，2D_4C表示二维灰阶心尖四腔切面，2D_BX表示二维灰阶剑突下切面，2D_P表示二维灰阶胸骨旁左心室长轴切面，2D_SAX表示二维灰阶胸骨旁左心室短轴切面，2D_SAoA表示二维灰阶胸骨旁大动脉短轴切面，3D表示三维灰阶超声心动图，C2D_2C表示二维左心声学造影心尖二腔切面，C2D_3C表示二维左心声学造影心尖三腔切面，C2D_4C表示二维左心声学造影心尖四腔切面，C2D_SAX表示二维左心声学造影胸骨旁左心室短轴切面，CDFI表示彩色多普勒超声心动图；
结果表明，在图像水平，ResNet101分类13种切面的平均准确率为97.13，平均F1得分为96.86(见表2)；在视频水平，ResNet101分类13种切面的平均F1得分为97.07。
采用Grad-CAM可视化方法，针对测试集进行结果可解释性分析，表明切面分类模型判断图像类别的重点关注区域与超声医生较一致，其中，举例说明，例如，如图2a-2c所示，二维灰阶心尖四腔切面，模型和医生均关注于心房和心室的十字交叉区域。
本发明提供的基于深度学习算法的超声心动图多模态多切面分类方法，该方法包括采集多模块、多切面的成人超声心动图视频及图像，对采集的成人超声心动图视频及图像进行预处理，对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集。将成人超声心动图数据集划分为训练集、验证集及测试集，基于ResNet网络构建成人超声心动图切面分类模型。并通过训练集对其进行训练，通过验证集筛选最佳分类模型，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估。将待测图像输入成人超声心动图切面分类模型中，得到分类结果，该方法对成人超声心动图视频及图像进行预处理，提取感兴趣区域，隐去患者检查及个人信息。该方法能够应用于多模态(2D灰阶、多普勒、3D和声学造影)、多切面(主要是针对2D灰阶临床检查常用切面)超声心动图数据。该方法由临床经验丰富的超声医生进行标注，能够保证标签的准确性。该方法按比例随机划分数据集，能够保证数据多样性及样本均衡。该方法通过多个分类指标在独立数据集上评估模型预测性能，能够保证模型预测结果的鲁棒性。该方法采用类激活热力图可视化模型分类过程中重点关注的解剖区域，提高了模型的可解释性。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种基于深度学习算法的超声心动图多模态多切面分类方法，包括如下步骤：
步骤1：采集多模块、多切面的成人超声心动图视频及图像；
步骤2：对采集的成人超声心动图视频及图像进行预处理；
步骤3：对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集；
步骤4：将成人超声心动图数据集划分为训练集、验证集及测试集；
步骤5：基于ResNet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型；
步骤6：基于测试集，对最佳成人超声心动图切面分类模型进行性能评估；
步骤7：将待测图像或视频输入成人超声心动图切面分类模型中，得到分类结果。
2.根据权利要求1所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤1中，采集多模块、多切面的成人超声心动图视频及图像，具体为：
采集多模块、多切面的成人超声心动图视频及图像，包括三维灰阶超声心动图、彩色多普勒超声心动图、二维灰阶胸骨旁左心室长轴切面、二维灰阶胸骨旁左心室短轴切面、二维灰阶胸骨旁大动脉短轴切面、二维灰阶剑突下切面、二维灰阶心尖二腔切面、二维灰阶心尖三腔切面、二维灰阶心尖四腔切面、二维左心声学造影心尖二腔切面、二维左心声学造影心尖三腔切面、二维左心声学造影心尖四腔切面及二维左心声学造影胸骨旁左心室短轴切面。
3.根据权利要求2所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤2中，对采集的成人超声心动图视频及图像进行预处理，具体为：
通过Python的第三方库OpenCV对成人超声心动图视频及图像进行批量处理，根据连续帧图像的像素变化，结合图像预处理操作，提取扇形感兴趣区域，并将视频按帧保存为PNG格式。
4.根据权利要求3所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤4中，将成人超声心动图数据集划分为训练集、验证集及测试集，具体为：
以8:1:1的比例将成人超声心动图数据集划分为训练集、验证集及测试集，其中，以样本量最少的切面数据量为标准，等比例采样其他类别切面数据集，以构成各类切面样本量均衡的数据集，其中，训练集用于训练成人超声心动图切面分类模型，验证集用于调整模型超参数，筛选最佳分类模型，测试集用于评估模型的分类性能。
5.根据权利要求4所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤5中，基于ResNet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型，具体为：
基于101层的ResNet网络构建成人超声心动图切面分类模型，通过训练集对其进行训练，在训练阶段采用迁移学习策略，预训练权重采用在ImageNet数据集训练的结果，输出层分类器为Softmax函数，分类类别数设置为13类，使用初始学习率为0.0001的Adam优化器，批处理大小为128，进行模型微调，迭代100次，通过具有残差结构的卷积神经网络提取超声图像特征，训练完毕后，通过最小化真实标签和预测结果之间的交叉熵损失值，在验证集上评估模型性能，选择分类准确率最高的模型权重作为最佳成人超声心动图切面分类模型。
6.根据权利要求5所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤6中，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估，具体为：
采用混淆矩阵、准确率、精确率、召回率、特异度及F1得分，在验证集及测试集上评估最佳成人超声心动图切面分类模型的性能。
7.根据权利要求6所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤7中，将待测图像输入成人超声心动图切面分类模型中，得到分类结果，具体为：
将待测图像输入成人超声心动图切面分类模型中，其中，对于成人超声心动图图像，成人超声心动图切面分类模型预测每张图像的分类结果，对于成人超声心动图视频，从每个视频等间隔采样10帧图像进行预测，对预测结果取均值，以最大预测概率对应的切面类别作为视频的分类结果，采用梯度加权类激活图可视化分析方法，使用成人超声心动图切面分类模型最后一层特征权重，生成热力图，可视化切面分类模型重点关注区域，对分类结果进行可解释性分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310733977.3A CN116704305A (zh) | 2023-06-20 | 2023-06-20 | 基于深度学习算法的超声心动图多模态多切面分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310733977.3A CN116704305A (zh) | 2023-06-20 | 2023-06-20 | 基于深度学习算法的超声心动图多模态多切面分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116704305A true CN116704305A (zh) | 2023-09-05 |
Family
ID=87837213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310733977.3A Pending CN116704305A (zh) | 2023-06-20 | 2023-06-20 | 基于深度学习算法的超声心动图多模态多切面分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704305A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994249A (zh) * | 2024-04-02 | 2024-05-07 | 四川省医学科学院·四川省人民医院 | 一种基于深度学习的心脏瓣膜反流严重程度超声评估方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205685A (zh) * | 2017-11-22 | 2018-06-26 | 深圳市商汤科技有限公司 | 视频分类方法、视频分类装置及电子设备 |
| CN111915562A (zh) * | 2020-07-02 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种深度学习的儿童超声心动图标准切面识别方法及装置 |
| CN112307982A (zh) * | 2020-11-02 | 2021-02-02 | 西安电子科技大学 | 基于交错增强注意力网络的人体行为识别方法 |
| CN112819076A (zh) * | 2021-02-03 | 2021-05-18 | 中南大学 | 基于深度迁移学习的医学图像分类模型的训练方法及装置 |
| CN113887410A (zh) * | 2021-09-30 | 2022-01-04 | 杭州电子科技大学 | 一种基于深度学习的多类别食材识别系统及方法 |
| CN113888518A (zh) * | 2021-10-14 | 2022-01-04 | 重庆南鹏人工智能科技研究院有限公司 | 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法 |
| CN114119557A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于卷积神经网络的光学元件快速暗场检测方法 |
| CN114767163A (zh) * | 2022-03-17 | 2022-07-22 | 复旦大学 | 基于超声心动图的儿童先天性心脏病智能诊断系统 |
| CN114863185A (zh) * | 2022-05-31 | 2022-08-05 | 广东轻工职业技术学院 | 一种轻量化超声心动图标准切面识别方法、装置和介质 |
| WO2022266651A1 (en) * | 2021-06-17 | 2022-12-22 | Cedars-Sinai Medical Center | Precision phenotyping of left ventricular hypertrophy with echocardiographic deep learning |
| CN115828085A (zh) * | 2022-12-30 | 2023-03-21 | 山东大学 | 联合迁移学习和监督学习的电磁谱辐射源智能识别方法 |
-
2023
- 2023-06-20 CN CN202310733977.3A patent/CN116704305A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205685A (zh) * | 2017-11-22 | 2018-06-26 | 深圳市商汤科技有限公司 | 视频分类方法、视频分类装置及电子设备 |
| CN111915562A (zh) * | 2020-07-02 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种深度学习的儿童超声心动图标准切面识别方法及装置 |
| CN112307982A (zh) * | 2020-11-02 | 2021-02-02 | 西安电子科技大学 | 基于交错增强注意力网络的人体行为识别方法 |
| CN112819076A (zh) * | 2021-02-03 | 2021-05-18 | 中南大学 | 基于深度迁移学习的医学图像分类模型的训练方法及装置 |
| WO2022266651A1 (en) * | 2021-06-17 | 2022-12-22 | Cedars-Sinai Medical Center | Precision phenotyping of left ventricular hypertrophy with echocardiographic deep learning |
| CN113887410A (zh) * | 2021-09-30 | 2022-01-04 | 杭州电子科技大学 | 一种基于深度学习的多类别食材识别系统及方法 |
| CN113888518A (zh) * | 2021-10-14 | 2022-01-04 | 重庆南鹏人工智能科技研究院有限公司 | 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法 |
| CN114119557A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于卷积神经网络的光学元件快速暗场检测方法 |
| CN114767163A (zh) * | 2022-03-17 | 2022-07-22 | 复旦大学 | 基于超声心动图的儿童先天性心脏病智能诊断系统 |
| CN114863185A (zh) * | 2022-05-31 | 2022-08-05 | 广东轻工职业技术学院 | 一种轻量化超声心动图标准切面识别方法、装置和介质 |
| CN115828085A (zh) * | 2022-12-30 | 2023-03-21 | 山东大学 | 联合迁移学习和监督学习的电磁谱辐射源智能识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| WAI-KIN CHAN等: "Using Deep Convolutional Neural Networks for Enhanced Ultrasonographic Image Diagnosis of Differentiated Thyroid Cancer", 《BIOMEDICINES》, vol. 9, no. 12, 26 November 2021 (2021-11-26) * |
| 中国产业发展研究院组编，方林、陈海波: "《深度学习程序设计实战》", 28 February 2021, 机械工业出版社, pages: 145 - 150 * |
| 刘国华: "《Python编程与计算机视觉应用》", 31 May 2023, 西安电子科技大学出版社, pages: 187 - 189 * |
| 杨游云，周健作著: "《Python广告数据挖掘与分析实战》", 31 March 2023, 机械工业出版社, pages: 77 - 78 * |
| 陶攀;付忠良;朱锴;王莉莉;: "基于深度学习的超声心动图切面识别方法", 计算机应用, no. 05, 10 May 2017 (2017-05-10) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994249A (zh) * | 2024-04-02 | 2024-05-07 | 四川省医学科学院·四川省人民医院 | 一种基于深度学习的心脏瓣膜反流严重程度超声评估方法 |
| CN117994249B (zh) * | 2024-04-02 | 2024-06-11 | 四川省医学科学院·四川省人民医院 | 一种基于深度学习的心脏瓣膜反流严重程度超声评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN109493308B (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| Dong et al. | A generic quality control framework for fetal ultrasound cardiac four-chamber planes | |
| Wang et al. | A two-stage 3D Unet framework for multi-class segmentation on full resolution image | |
| US9959615B2 (en) | System and method for automatic pulmonary embolism detection | |
| CN110197713B (zh) | 一种医疗影像的处理方法、装置、设备和介质 | |
| CN106408001B (zh) | 基于深度核哈希的感兴趣区域快速检测方法 | |
| CN109558896B (zh) | 基于超声组学和深度学习的疾病智能化分析方法及系统 | |
| Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
| Nurmaini et al. | Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation | |
| CN107993221B (zh) | 心血管光学相干断层oct图像易损斑块自动识别方法 | |
| Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
| CN109685768A (zh) | 基于肺部ct序列的肺结节自动检测方法及系统 | |
| Duchateau et al. | Machine learning approaches for myocardial motion and deformation analysis | |
| de Siqueira et al. | Artificial intelligence applied to support medical decisions for the automatic analysis of echocardiogram images: A systematic review | |
| CN110992352A (zh) | 基于卷积神经网络的婴儿头围ct图像自动测量方法 | |
| Snaauw et al. | End-to-end diagnosis and segmentation learning from cardiac magnetic resonance imaging | |
| Qiao et al. | A pseudo-siamese feature fusion generative adversarial network for synthesizing high-quality fetal four-chamber views | |
| CN116704305A (zh) | 基于深度学习算法的超声心动图多模态多切面分类方法 | |
| CN115761358A (zh) | 一种基于残差胶囊网络对心肌纤维化进行分类的方法 | |
| CN113744215B (zh) | 三维断层扫描图像中树状管腔结构中心线的提取方法和装置 | |
| Yong et al. | Automatic ventricular nuclear magnetic resonance image processing with deep learning | |
| Laumer et al. | Weakly supervised inference of personalized heart meshes based on echocardiography videos | |
| Sengan et al. | Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning | |
| Graves et al. | Siamese pyramidal deep learning network for strain estimation in 3D cardiac cine-MR |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |