CN117017310A - 基于知识蒸馏的声电双模先天性心脏病预测装置 - Google Patents

基于知识蒸馏的声电双模先天性心脏病预测装置 Download PDF

Info

Publication number
CN117017310A
CN117017310A CN202310851571.5A CN202310851571A CN117017310A CN 117017310 A CN117017310 A CN 117017310A CN 202310851571 A CN202310851571 A CN 202310851571A CN 117017310 A CN117017310 A CN 117017310A
Authority
CN
China
Prior art keywords
model
data
training
module
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310851571.5A
Other languages
English (en)
Inventor
李世龙
任尚杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202310851571.5A priority Critical patent/CN117017310A/zh
Publication of CN117017310A publication Critical patent/CN117017310A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30Input circuits therefor
    • A61B5/307Input circuits therefor specially adapted for particular uses
    • A61B5/308Input circuits therefor specially adapted for particular uses for electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/344Foetal cardiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal

Abstract

本发明涉及一种基于知识蒸馏的声电双模先天性心脏病诊断装置,包括声电信号采集模块、数据预处理模块、教师模型训练模块、学生模型训练模块、诊断模块,其中,教师模型训练模块,将医学专家针对每个病例提出的临床经验进行数据化,并与建模数据结合,同时作为教师模型的输入,通过深度学习算法,将专家的知识编码到模型中,形成一个诊断模型;学生模型训练模块,基于教师模型训练学生模型,通过知识蒸馏算法,同时使用先天性心脏病患者数据集;将教师模型中的模型参数转化迁移至学生模型中,对学生模型进行训练和优化;在训练过程中,从教师模型中提取辅助输出,辅助输出由中间层的特征表示。

Description

基于知识蒸馏的声电双模先天性心脏病预测装置
技术领域
本专利提供了一种基于知识蒸馏的声电双模先天性心脏病预测装置。该装置结合心音信号和心电图,通过将专家的临床经验与知识蒸馏算法相结合,具有更优的识别准确率、识别效率和模型泛化能力。
背景技术
先天性心脏病简称先天性心脏病,指在出生时或出生后不久就存在的心脏结构异常,是婴幼儿期最常见的先天性缺陷之一。先天性心脏病患者的心脏结构异常可能涉及心脏的各个部位,如心脏的室间隔、房间隔、动脉导管和心脏瓣膜等。该疾病会导致患者出现心悸、呼吸困难、发绀、生长迟缓等症状,如果没有得到及时有效的治疗会严重影响患者的生活质量。
早发现、早治疗是治愈先天性心脏病的关键。目前心脏听诊和心电图是检测先天性心脏病的两个重要手段。心脏听诊是一种通过听诊器来探听心脏搏动以及心脏状态的方法,经验丰富的医生可通过听诊心跳是否有杂音来初步筛查与诊断是否患有先天性心脏病。心电图是一种记录心脏电活动的方法,它可以显示心脏的电活动是否正常,以及是否存在心脏结构异常引起的异常电活动,从而进一步判断患者是否患有先天性心脏病。
然而,通过心脏听诊和心电图检测先天性心脏病的核心要素是具有丰富的心脏科临床经验,而基层医院如社区医院或乡镇卫生院的医生大部分不具备如此充足的经验与知识储备,且医院本身缺乏心脏彩超、心脏核磁等高端检测设备,这就导致了先天性心脏病的早期漏诊率与误诊率较高,很多基层患者无法得到早期诊断与治疗。
先天性心脏病(CHD)的诊断方法在过去几十年中取得了显著的进展。以下是目前常用的诊断方法:
超声心动图(echocardiography):超声心动图是先天性心脏病最常用的诊断工具之一。它可以提供详细的心脏结构和功能信息,并能检测到心脏中的血流异常。随着技术的进步,超声心动图已经成为先天性心脏病诊断和评估的主要手段。
心脏磁共振成像(cardiac magnetic resonance imaging,CMR):CMR技术在先天性心脏病的诊断和评估中也扮演着重要角色。它能提供更为详细的心脏解剖学和功能信息,并能进行三维重建,帮助医生更准确地评估先天性心脏病的严重程度和类型。
CT扫描(computed tomography,CT):CT扫描在某些情况下也可用于先天性心脏病的诊断。它可以提供高分辨率的心脏图像,特别适用于检测复杂的心脏畸形和血管异常。
基因检测:随着分子生物学和遗传学的发展,基因检测在先天性心脏病的诊断中越来越重要。通过对相关基因的检测,可以确定某些特定先天性心脏病的遗传基础,帮助家族成员的筛查和咨询。
新生儿先天性心脏病筛查:针对新生儿的先天性心脏病筛查方法也在研究中不断发展。例如,通过测量氧饱和度、听诊心脏杂音或使用脉搏氧饱和度筛查仪等,可以尽早发现先天性心脏病患儿,以便进行及时的诊断和治疗。
上述方法或是仅呈现检测资料,需要医生自行诊断,对医生的诊断经验要求较高,效率低下。或是检测困难,需要高额费用和大量时间。因此,发明一种能快速自行判断先天性心脏病的装置迫在眉睫。
发明内容
本发明提供了一种基于知识蒸馏的声电双模先天性心脏病预测装置,具有更优的先天性心脏病的识别准确率、识别效率和模型的泛化能力。本发明通过如下技术方案进行实施:
一种基于知识蒸馏的声电双模先天性心脏病诊断装置,结合心音信号和心电图,通过将专家的临床经验与知识蒸馏算法相结合,包括声电信号采集模块、数据预处理模块、教师模型训练模块、学生模型训练模块、诊断模块,其中,
声电信号采集模块,用于收集心电图和心音信号,通过心电图仪和听诊器设备,收集患者的心电图和心音信号,并将其数字化保存;
数据预处理模块,用于信号预处理与特征提取,对原始的心音信号和心电信号进行滤波降噪;再通过小波变换、快速傅里叶变换、功率谱计算,提取出心音信号和心电信号的关键特征,并赋予数据分类标签,标签含义为患病与未患病)
教师模型训练模块,用于训练较复杂的模型,将提取的特征数据分为建模数据与测试数据;将医学专家针对每个病例提出的临床经验进行数据化,并与建模数据结合,同时作为教师模型的输入,通过深度学习算法,将专家的知识编码到模型中,形成一个诊断模型;教师模型的最后一个激活单元为Softmax函数;
学生模型训练模块,基于教师模型训练学生模型,将提取的特征数据分为建模数据与测试数据;再通过知识蒸馏算法,同时使用先天性心脏病患者数据集;将教师模型中的模型参数转化迁移至学生模型中,对学生模型进行训练和优化;在训练过程中,从教师模型中提取辅助输出,辅助输出由中间层的特征表示;同时使用损失函数来衡量学生模型预测与教师模型预测之间的差异,并通过调整学生模型的参数来最小化这个差异;
诊断模块,用于先天性心脏病诊断,将待诊断的心电图和心音信号输入到训练好的学生模型中,通过模型的分析和判断,给出先天性心脏病的识别结果。
进一步地,预处理模块中,心音信号和心电信号分别滤除400Hz和100Hz以上的信息。
进一步地,教师模型损失函数为:
其中,C为模型的预测类别数;yj是该数据对应的真实标签;zj为教师模型全连接层的输出。
进一步地,学生模型的损失函数为:
其中,C为模型的预测类别数;yj是该数据对应的真实标签;vj是学生模型全连接层的输出;zj是教师模型全连接层的输出;T蒸馏学习的温度;α和β为损失函数的两个权重。
本发明通过结合心音信号和心电图,并利用知识蒸馏技术,实现了对先天性心脏病的准确诊断。相比传统的诊断方法,本发明具有以下优势:
提高诊断准确率:利用专家的知识和机器学习算法相结合,降低了诊断结果的主观性和不确定性,提高了诊断的准确率。
提高诊断效率:通过自动化的模型分析,大大缩短了诊断时间,提高了诊断效率,为医生节省了宝贵的时间。
附图说明
图1为本发明基于知识蒸馏的声电双模先天性心脏病信号识别方法的具体流程图。
图2为本发明中知识蒸馏算法训练学生模型的示意图。
具体实施方法
基于知识蒸馏的先天性心脏病诊断方法是一种利用深度学习和知识传递的技术,旨在提高先天性心脏病的准确性和效率。为了对本发明进行详细阐述,现结合具体实施案例对本发明的具体实施过程作进一步描述分析,从而突出本发明在先天性心脏病智能诊断给方面的优势。
以下为具体实施步骤:
S1:声电信号采集模块:
采集1000名患者的临床数据,包括病历、心电图、超声心动图等。收集心脏专家的知识和经验,例如医生的诊断报告和治疗方案。
S2:数据预处理模块
S21:对数据进行预处理和标准化,以确保数据的一致性和可比性。对原始的心音信号和心电信号进行滤波降噪,心音信号和心电信号分别滤除400Hz和100Hz以上的信息。再通过小波变换、快速傅里叶变换、功率谱计算等方式,提取出心音信号和心电信号的关键特征。并将数据对应分类标签(患病与未患病),将数据集划分为训练集和测试集,其中80%的数据作为训练集,20%的数据作为测试集。
S22:将收集到的心脏专家的知识和经验与基础数据进行融合。其中,专家的知识可以通过解读病历、诊断报告等形式进行表达。将专家的诊断结果转化为模型可以理解的形式,作为额外的标签添加到训练数据中。
S3:教师模型训练模块
使用递归神经网络(RNN),在融合了专家知识的数据上进行训练。其输入数据是融合了专家知识的数据集。输出是一个分类模型,用于判断患者是否患有先天性心脏病。该教师模型的最后一个激活单元为Softmax函数,其模型损失函数为:
其中,C为模型的预测类别数;yj是该数据对应的真实标签;zj为教师模型全连接层的输出。
S4:学生模型训练模块
S41:使用较浅的神经网络初始化学生模型,其中,学生模型的参数是随机初始化的。
S42:从教师模型中提取辅助输出,即模型的软目标(soft targets)。软目标是一种概率分布,可以表示模型对不同类别的预测概率。
S43:在学生模型的训练中,使用原始的输入样本X,并使用两个目标进行训练:一是通过硬目标(hard targets)来最小化学生模型的预测误差,二是通过软目标来最小化学生模型的预测和老师模型的辅助输出之间的差异。
S44:为了平衡硬目标和软目标的相对重要性,引入温度参数。温度参数用于调节软目标的概率分布,较高的温度会使概率分布更平滑,较低的温度会使概率分布更尖锐。
S45:定义一个综合的损失函数。使用交叉熵损失函数来度量硬目标之间的差异,并使用KL散度(Kullback-Leibler Divergence)来度量软目标之间的差异。使用反向传播算法和优化器(如随机梯度下降)对学生模型的参数进行优化,以最小化损失函数。其中,学生模型的损失函数为:
其中,C为模型的预测类别数;yj是该数据对应的真实标签;vj是学生模型全连接层的输出;zj是教师模型全连接层的输出;T蒸馏学习的温度;α和β为损失函数的两个权重。
S46:重复进行S42到步骤S45,通过多次迭代来逐渐改善学生模型的性能。
S5:诊断模块
根据学生模型的结果进行诊断和判断。根据先天性心脏病的特征和模式,诊断模块能够确定患者是否存在先天性心脏病,并进一步提供详细的诊断结果和建议。
最后获取诊断结果并对算法进行检验和评估,在测试集上,元学习模型的准确率为92%,召回率为89%,F1得分为0.90。根据检验结果,模型成功地识别出了大部分先天性心脏病信号,具有较高的分类性能。
通过以上步骤,基于知识蒸馏的先天性心脏病诊断方法可以综合利用大量的临床数据和心脏专家的知识,提高诊断的准确性和可靠性。这种方法的优势在于能够将专家的经验知识转化为模型可理解的形式,并通过蒸馏技术将这些知识传递给模型,从而提升模型的性能。

Claims (4)

1.一种基于知识蒸馏的声电双模先天性心脏病诊断装置,结合心音信号和心电图,通过将专家的临床经验与知识蒸馏算法相结合,包括声电信号采集模块、数据预处理模块、教师模型训练模块、学生模型训练模块、诊断模块,其中,
声电信号采集模块,用于收集心电图和心音信号,通过心电图仪和听诊器设备,收集患者的心电图和心音信号,并将其数字化保存;
数据预处理模块,用于信号预处理与特征提取,对原始的心音信号和心电信号进行滤波降噪;再通过小波变换、快速傅里叶变换、功率谱计算,提取出心音信号和心电信号的关键特征,并赋予数据分类标签,标签含义为患病与未患病教师模型训练模块,用于训练较复杂的模型,将提取的特征数据分为建模数据与测试数据;将医学专家针对每个病例提出的临床经验进行数据化,并与建模数据结合,同时作为教师模型的输入,通过深度学习算法,将专家的知识编码到模型中,形成一个诊断模型;教师模型的最后一个激活单元为Softmax函数;
学生模型训练模块,基于教师模型训练学生模型,将提取的特征数据分为建模数据与测试数据;再通过知识蒸馏算法,同时使用先天性心脏病患者数据集;将教师模型中的模型参数转化迁移至学生模型中,对学生模型进行训练和优化;在训练过程中,从教师模型中提取辅助输出,辅助输出由中间层的特征表示;同时使用损失函数来衡量学生模型预测与教师模型预测之间的差异,并通过调整学生模型的参数来最小化这个差异;
诊断模块,用于先天性心脏病诊断,将待诊断的心电图和心音信号输入到训练好的学生模型中,通过模型的分析和判断,给出先天性心脏病的识别结果。
2.根据权利要求所述的声电双模先天性心脏病诊断装置,其特征在于,预处理模块中,心音信号和心电信号分别滤除400Hz和100Hz以上的信息。
3.根据权利要求所述的声电双模先天性心脏病诊断装置,其特征在于,教师模型损失函数为:
其中,C为模型的预测类别数;yj是该数据对应的真实标签;zj为教师模型全连接层的输出。
4.根据权利要求所述的声电双模先天性心脏病诊断装置,其特征在于,学生模型的损失函数为:
其中,C为模型的预测类别数;yj是该数据对应的真实标签;vj是学生模型全连接层的输出;zj是教师模型全连接层的输出;T蒸馏学习的温度;α和β为损失函数的两个权重。
CN202310851571.5A 2023-07-12 2023-07-12 基于知识蒸馏的声电双模先天性心脏病预测装置 Pending CN117017310A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310851571.5A CN117017310A (zh) 2023-07-12 2023-07-12 基于知识蒸馏的声电双模先天性心脏病预测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310851571.5A CN117017310A (zh) 2023-07-12 2023-07-12 基于知识蒸馏的声电双模先天性心脏病预测装置

Publications (1)

Publication Number Publication Date
CN117017310A true CN117017310A (zh) 2023-11-10

Family

ID=88627073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310851571.5A Pending CN117017310A (zh) 2023-07-12 2023-07-12 基于知识蒸馏的声电双模先天性心脏病预测装置

Country Status (1)

Country Link
CN (1) CN117017310A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117393100A (zh) * 2023-12-11 2024-01-12 安徽大学 诊断报告的生成方法、模型训练方法、系统、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117393100A (zh) * 2023-12-11 2024-01-12 安徽大学 诊断报告的生成方法、模型训练方法、系统、设备及介质
CN117393100B (zh) * 2023-12-11 2024-04-05 安徽大学 诊断报告的生成方法、模型训练方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
WO2020004369A1 (ja) 心電図画像を用いた機械学習による心電図診断装置
US20080103403A1 (en) Method and System for Diagnosis of Cardiac Diseases Utilizing Neural Networks
US20100217144A1 (en) Diagnostic and predictive system and methodology using multiple parameter electrocardiography superscores
Ma et al. Automated classification of atrial fibrillation using artificial neural network for wearable devices
CN110148466A (zh) 一种基于迁移学习的心冲击信号房颤计算机辅助诊断方法
Wang et al. Temporal-framing adaptive network for heart sound segmentation without prior knowledge of state duration
CN117017310A (zh) 基于知识蒸馏的声电双模先天性心脏病预测装置
CN112906748A (zh) 基于残差网络的12导联ecg心律失常检测分类模型构建方法
Patra et al. Predictive analysis of rapid spread of heart disease with data mining
CN115281688A (zh) 一种基于多模态深度学习的心脏肥大多标签检测系统
Zarrabi et al. A system for accurately predicting the risk of myocardial infarction using PCG, ECG and clinical features
Daydulo et al. Cardiac arrhythmia detection using deep learning approach and time frequency representation of ECG signals
CN116864140A (zh) 一种心内科术后护理监测数据处理方法及其系统
CN116864104A (zh) 基于人工智能的慢性血栓栓塞性肺动脉高压风险分级系统
CN116597950A (zh) 一种医学图像分层方法
Lombardi et al. Detecting sepsis from photoplethysmography: strategies for dataset preparation
Shi et al. Congestive heart failure detection based on attention mechanism-enabled bi-directional long short-term memory model in the internet of medical things
Yang et al. Application of Artificial Intelligence-Based Auxiliary Diagnosis in Congenital Heart Disease Screening
Kumar et al. Neural networks in medical and healthcare
Someshwaran et al. A Research Review on Fetal Heart Disease Detection Techniques
Rajesh et al. A Silent Cardiac Atrial Fibrillation Detection and Classification using Deep Learning Approach
Vondrak et al. Detection of myocardial infarction using analysis of vectorcardiographic loops
Chen et al. Beat-to-beat heart rate detection based on seismocardiogram using BiLSTM network
CN117562583B (zh) 人工智能辅助的心脏功能检测系统及方法
CN112842355B (zh) 基于深度学习目标检测的心电信号心搏检测识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination