CN110558972B - 一种心电信号深度学习模型的轻量化方法 - Google Patents
一种心电信号深度学习模型的轻量化方法 Download PDFInfo
- Publication number
- CN110558972B CN110558972B CN201910793585.XA CN201910793585A CN110558972B CN 110558972 B CN110558972 B CN 110558972B CN 201910793585 A CN201910793585 A CN 201910793585A CN 110558972 B CN110558972 B CN 110558972B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- sample data
- lightweight
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Cardiology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出的一种心电信号深度学习模型的轻量化方法,包括:构建输入为样本数据,输出为预测概率的复杂深度学习模型F;根据更新后的复杂深度学习模型F获得每一条样本数据对应的预测概率;构建输入为样本数据,输出为轻量化预测概率的轻量化深度学习模型G;结合样本数据、真实标签和预测概率对轻量化深度学习模型G进行训练更新。本发明中,通过复杂深度学习模型F的预测结果结合真实标签对轻量化深度学习模型G进行训练,保证了轻量化深度学习模型G的预测精度;通过结构简单、节点较少的轻量化深度学习模型G对心电信号数据进行预测,耗时少,效率高,实现了学习模型的低复杂度与预测精度的兼得。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种心电信号深度学习模型的轻量化方法。
背景技术
基于心电信号的人工智能诊断模型已经在实际应用中取得了初步成效,可以对心脏疾病、心脏健康状态等进行自动化的诊断分析。特别是近年来深度学习(Deep Learning,又称深度神经网络Deep Neural Networks)技术的发展,得益于它强大的数据学习能力和灵活的模型架构,极大地提高了心电信号诊断模型的精度与适用范围。
虽然深度学习模型的预测精度更高,但是它们的模型复杂度也很高,运行时间以及部署难度也会远远高于传统机器学习模型。通常情况下,深度学习模型会包含数百万甚至上千万个参数,这是传统机器学习模型上万倍。
如果在构建深度学习模型时直接缩减模型复杂度,例如减少神经网络的层数、层的节点数,会极大地减弱深度学习模型的数据学习能力,进而降低模型精度。
总之,深度学习模型的复杂度与预测精度很难做到兼得。
发明内容
基于背景技术存在的技术问题,本发明提出了一种心电信号深度学习模型的轻量化方法。
本发明提出的一种心电信号深度学习模型的轻量化方法,包括:
S1、对样本数据进行人工标注,获得真实标签;
S2、构建输入为样本数据,输出为预测概率的复杂深度学习模型F;并选择输入为预测概率,输出为预测标签的第一函数;
S3、结合样本数据和真实标签对复杂深度学习模型F进行训练更新,并根据更新后的复杂深度学习模型F获得每一条样本数据对应的预测概率;
S4、构建输入为样本数据,输出为轻量化预测概率的轻量化深度学习模型G;并选择输入为轻量化预测概率,输出为轻量化预测标签的第二函数;轻量化深度学习模型G的模型深度和参数数量均少于复杂深度学习模型F;第一函数和第二函数相同;
S5、结合样本数据、真实标签和预测概率对轻量化深度学习模型G进行训练更新;
S6、结合更新后的轻量化深度学习模型G和第二函数建立输入为数据,输出为轻量化预测标签的数据预测模型。
优选的,样本数据xi的真实标签为yi∈{0,1}m,其中,m表示模型预测的结果有m种可能,yi有且仅有一个位置的值为1,其余为0。
优选的,步骤S2中,复杂深度学习模型F输出的预测概率为zi表示第i条样本数据的预测概率,zi为由m个概率值组成的行向量,且m个概率值之和为1;第一函数为:当zi[j]=max(zi[j]),则y′i[j]=1;zi[j]为行向量zi第j个位置上的概率值,max(zi[j])表示行向量zi中最大的概率值,y’i[j]表示预测标签y’i第j个位置上为1,y’i∈{0,1}m。
优选的,步骤S3中:构建目标函数LossF,度量样本数据xi的真实标签yi与预测概率zi之间的差异;并根据目标函数LossF的最优解对复杂深度学习模型F进行参数更新。
优选的,步骤S3具体包括:
S32、使用随机梯度下降法求解目标函数为LossF的最优解,并根据LossF的最优解对复杂深度学习模型F进行参数更新;
S33、根据更新后的复杂深度学习模型F获得每一条样本数据xi对应的预测概率zi。
优选的,步骤S32具体为:每次选取一批样本数据和对应的真实标签计算目标函数LossF的梯度并对复杂深度学习模型F进行参数更新;通过多次参数更新,当目标函数LossF的数值趋于稳定,结束复杂深度学习模型F的训练;
每一批样本数据的选择方式为:通过复杂深度学习模型F和第一函数获得各样本数据的预测标签,选择预测标签与真实标签差异最大的k个样本数据,k为用于参数更新的每一批样本数据中包含的样本数据数量。
优选的,步骤S4中,轻量化深度学习模型G输出的轻量化预测概率为pi表示第i条样本数据的轻量化预测概率,pi为由m个概率值组成的行向量,且m个概率值之和为1;第二函数为:当pi[j]=max(pi[j]),则pi[j]为行向量pi第j个位置上的概率值,max(pi[j])表示行向量pi中最大的概率值,表示轻量化预测标签第j个位置上为1,
优选的,步骤S5具体为:首先建立目标函数:LossG=LossG1+LossG2,LossG1用于度量样本数据xi的真实标签yi与轻量化预测概率pi之间的差异,LossG2用于度量样本数据xi的预测概率zi与轻量化预测概率pi之间的差异;然后通过对目标函数LossG求最优解对轻量化深度学习模型G进行参数更新。
优选的:
步骤S5中,使用随机梯度下降法求目标函数LossG的最优解。
本发明中,通过轻量化深度学习模型G的构建,降低了模型复杂程度,同时通过轻量化深度学习模型G对数据进行预测,获得轻量化预测标签,减少了运行时间,提高了数据的预测效率。
且,本发明中,首先训练复杂深度学习模型F,然后结合真实标签和通过复杂深度学习模型F获得的预测概率对轻量化深度学习模型G进行训练,预测概率的引入有利于克服轻量化深度学习模型G由于模型结构简单、参数节点少导致的模型预测结构精度低的问题。复杂深度学习模型F通过复杂的模型结构实现了对预测概率的高精度预测。如此,通过提高预测概率的精度,进一步提高了轻量化深度学习模型G的训练精度,从而保证了轻量化深度学习模型G在减少运行时间,提高数据的预测效率的同时,还保证预测标签的精确度。
本发明提出的一种心电信号深度学习模型的轻量化方法,通过复杂深度学习模型F的预测结果结合真实标签对轻量化深度学习模型G进行训练,保证了轻量化深度学习模型G的预测精度;通过结构简单、节点较少的轻量化深度学习模型G对心电信号数据进行预测,耗时少,效率高,实现了学习模型的低复杂度与预测精度的兼得。
附图说明
图1为本发明提出的一种心电信号深度学习模型的轻量化方法流程图。
具体实施方式
参照图1,本发明提出的一种心电信号深度学习模型的轻量化方法,包括:
S1、对样本数据进行人工标注,获得真实标签。具体的,本步骤中,首先对获得的原始心电信号数据进行切割,获得长度为d的样本数据并获得每一条样本数据的真实标签。如此,通过样本数据的等长,有利于降低模型训练的复杂度,提高训练精度。具体实施时,本实施方式中,可通过长度为d的滑动窗口对原始数据进行切分,对于长度小于d的数据段直接舍弃。
具体的,本实施方式中,可对原始数据进行人工标注后再进行原始数据的切分,也可在原始数据切分后再进行人工标注。
S2、构建输入为样本数据,输出为预测概率的复杂深度学习模型F;并选择输入为预测概率,输出为预测标签的第一函数。
S3、结合样本数据和真实标签对复杂深度学习模型F进行训练更新,并根据更新后的复杂深度学习模型F获得每一条样本数据对应的预测概率。
S4、构建输入为样本数据,输出为轻量化预测概率的轻量化深度学习模型G;并选择输入为轻量化预测概率,输出为轻量化预测标签的第二函数;轻量化深度学习模型G的模型深度和参数数量均少于复杂深度学习模型F。第一函数和第二函数相同。
S5、结合样本数据、真实标签和预测概率对轻量化深度学习模型G进行训练更新。
S6、结合更新后的轻量化深度学习模型G和第二函数建立输入为数据,输出为轻量化预测标签的数据预测模型。如此,本实施方式中,通过轻量化深度学习模型G的构建,降低了模型复杂程度,同时通过轻量化深度学习模型G对数据进行预测,减少了运行时间,提高了数据的预测效率。
且,本实施方式中,首先训练复杂深度学习模型F,然后结合真实标签和通过复杂深度学习模型F获得的预测概率对轻量化深度学习模型G进行训练,预测概率的引入有利于克服轻量化深度学习模型G由于模型结构简单、参数节点少导致的模型预测结构精度低的问题。复杂深度学习模型F通过复杂的模型结构实现了对预测概率的高精度预测。如此,通过提高预测概率的精度,进一步提高了轻量化深度学习模型G的训练精度,从而保证了轻量化深度学习模型G在减少运行时间,提高数据的预测效率的同时,还保证预测标签的精确度,实现了学习模型的低复杂度与预测精度的兼得。
具体的,本实施方式的步骤S1中,样本数据xi的真实标签为yi∈{0,1}m,其中,m表示模型预测的结果有m种可能,yi有且仅有一个位置的值为1,其余为0。即,真实标签yi为由m-1个“0”个1个“1”组成的行向量。
通过复杂深度学习模型F获得预测标签y′i和通过轻量化深度学习模型G获得轻量化预测标签均与真实标签yi具有相同的数据结构,即预测标签y′i和轻量化预测标签均为由m-1个“0”个1个“1”组成的行向量,m表示模型预测的结果有m种可能。
本实施方式中,轻量化深度学习模型G输入为样本数据xi,输出为轻量化预测概率pi,第二函数输入为轻量化预测概率pi,输出为轻量化预测标签如此,可实现数据预测模型的输入为样本数据xi,输出为轻量化预测标签
本实施方式的步骤S2中,复杂深度学习模型F输出的预测概率为zi表示第i条样本数据的预测概率,zi为由m个概率值组成的行向量,且m个概率值之和为1。即,复杂深度学习模型F输出每一种模型预测结果的概率值,并将所有概率值组成行向量作为预测概率zi。
第一函数为:当zi[j]=max(zi[j]),则y′i[j]=1;zi[j]为行向量zi第j个位置上的概率值,max(zi[j])表示行向量zi中最大的概率值,y′i[j]表示预测标签y′i第j个位置上为1,y′i∈{0,1}m。。
本实施方式的步骤S3中:构建目标函数LossF,度量样本数据xi的真实标签yi与预测概率zi之间的差异;并根据目标函数LossF的最优解对复杂深度学习模型F进行参数更新。具体的,本实施方式中,采用交叉熵损失函数CrossEntropy构建目标函数LossF。
如此,步骤S3具体包括:
S32、使用随机梯度下降法求解目标函数为LossF的最优解,并根据LossF的最优解对复杂深度学习模型F进行参数更新。
具体的,本步骤中,每次选取一批样本数据和对应的真实标签计算目标函数LossF的梯度并对复杂深度学习模型F进行参数更新;如此,通过多次参数更新,当目标函数LossF的数值趋于稳定,则表示复杂深度学习模型F训练完毕,对此时的复杂深度学习模型F进行保存。
具体的,本实施方式中,每一批样本数据的选择方式为:通过复杂深度学习模型F和第一函数获得各样本数据的预测标签,选择预测标签与真实标签差异最大的k个样本数据,k为用于参数更新的每一批样本数据中包含的样本数据数量。
S33、根据更新后的复杂深度学习模型F获得每一条样本数据xi对应的预测概率zi。
如此,本实施方式中,通过对复杂深度学习模型F的多次迭代更新,使得复杂深度学习模型F的预测标签与真实标签趋于一致,从而有利于保证复杂深度学习模型F的精确度,保证预测概率的预测精度。
本实施方式的步骤S4中,轻量化深度学习模型G输出的轻量化预测概率为pi表示第i条样本数据的轻量化预测概率,pi为由m个概率值组成的行向量,且m个概率值之和为1;第二函数为:当pi[j]=max(pi[j]),则pi[j]为行向量pi第j个位置上的概率值,max(pi[j])表示行向量pi中最大的概率值,表示轻量化预测标签第j个位置上为1,
本实施方式中,通过第二函数与第一函数的一致,实现了根据预测概率获得的预测标签与根据轻量化预测概率获得轻量化预测标签的一致,并有利于保证,在训练轻量化深度学习模型G时,对预测概率的充分利用。
本实施方式的步骤S5具体为:首先建立目标函数:LossG=LossG1+LossG2,LossG1用于度量样本数据xi的真实标签yi与轻量化预测概率pi之间的差异,LossG2用于度量样本数据xi的预测概率zi与轻量化预测概率pi之间的差异;然后通过对目标函数LossG求最优解对轻量化深度学习模型G进行参数更新。
具体的,本实施方式中,采用交叉熵损失函数CrossEntropy构建目标函数LossG。具体的:
本步骤S5中,使用随机梯度下降法求目标函数LossG的最优解。具体的,本步骤中,每次选取一批样本数据和对应的真实标签以及预测概率,计算目标函数LossG的梯度并更新轻量化深度学习模型G的参数,当目标函数LossG的数值趋于稳定时,保存此时的模型参数,轻量化深度学习模型G训练完毕。
以上所述,仅为本发明涉及的较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种心电信号深度学习模型的轻量化方法,其特征在于,包括:
S1、对样本数据进行人工标注,获得真实标签;
S2、构建输入为样本数据,输出为预测概率的复杂深度学习模型F;并选择输入为预测概率,输出为预测标签的第一函数;
S3、结合样本数据和真实标签对复杂深度学习模型F进行训练更新,并根据更新后的复杂深度学习模型F获得每一条样本数据对应的预测概率;
S4、构建输入为样本数据,输出为轻量化预测概率的轻量化深度学习模型G;并选择输入为轻量化预测概率,输出为轻量化预测标签的第二函数;轻量化深度学习模型G的模型深度和参数数量均少于复杂深度学习模型F;第一函数和第二函数相同;
S5、结合样本数据、真实标签和预测概率对轻量化深度学习模型G进行训练更新;
S6、结合更新后的轻量化深度学习模型G和第二函数建立输入为数据,输出为轻量化预测标签的数据预测模型。
3.如权利要求2所述的心电信号深度学习模型的轻量化方法,其特征在于,样本数据xi的真实标签为yi∈{0,1}m,其中,m表示模型预测的结果有m种可能,yi有且仅有一个位置的值为1,其余为0。
5.如权利要求4所述的心电信号深度学习模型的轻量化方法,其特征在于,步骤S3中:构建目标函数LossF,度量样本数据xi的真实标签yi与预测概率zi之间的差异;并根据目标函数LossF的最优解对复杂深度学习模型F进行参数更新。
7.如权利要求6所述的心电信号深度学习模型的轻量化方法,其特征在于,步骤S32具体为:每次选取一批样本数据和对应的真实标签计算目标函数LossF的梯度并对复杂深度学习模型F进行参数更新;通过多次参数更新,当目标函数LossF的数值趋于稳定,结束复杂深度学习模型F的训练;
每一批样本数据的选择方式为:通过复杂深度学习模型F和第一函数获得各样本数据的预测标签,选择预测标签与真实标签差异最大的k个样本数据,k为用于参数更新的每一批样本数据中包含的样本数据数量。
9.如权利要求8所述的心电信号深度学习模型的轻量化方法,其特征在于,步骤S5具体为:首先建立目标函数:LossG=LossG1+LossG2,LossG1用于度量样本数据xi的真实标签yi与轻量化预测概率pi之间的差异,LossG2用于度量样本数据xi的预测概率zi与轻量化预测概率pi之间的差异;然后通过对目标函数LossG求最优解对轻量化深度学习模型G进行参数更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910793585.XA CN110558972B (zh) | 2019-08-27 | 2019-08-27 | 一种心电信号深度学习模型的轻量化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910793585.XA CN110558972B (zh) | 2019-08-27 | 2019-08-27 | 一种心电信号深度学习模型的轻量化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110558972A CN110558972A (zh) | 2019-12-13 |
CN110558972B true CN110558972B (zh) | 2022-04-12 |
Family
ID=68776200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910793585.XA Active CN110558972B (zh) | 2019-08-27 | 2019-08-27 | 一种心电信号深度学习模型的轻量化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110558972B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114119968B (zh) * | 2021-12-16 | 2022-05-24 | 安徽心之声医疗科技有限公司 | 基于深度神经网络的纸质心电图信号区域提取方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11222263B2 (en) * | 2016-07-28 | 2022-01-11 | Samsung Electronics Co., Ltd. | Neural network method and apparatus |
US11147463B2 (en) * | 2017-11-03 | 2021-10-19 | Samsung Electronics Co., Ltd. | Method and apparatus for high accuracy photoplethysmogram based atrial fibrillation detection using wearable device |
CN108596073A (zh) * | 2018-04-19 | 2018-09-28 | 郑州大学 | 一种基于深度学习识别心电数据的轻量级算法 |
CN109741410A (zh) * | 2018-12-07 | 2019-05-10 | 天津大学 | 基于深度学习的荧光编码微球图像生成及标注方法 |
CN109871780B (zh) * | 2019-01-28 | 2023-02-10 | 中国科学院重庆绿色智能技术研究院 | 一种人脸质量判决方法、系统及人脸识别方法、系统 |
CN109871789A (zh) * | 2019-01-30 | 2019-06-11 | 电子科技大学 | 一种基于轻量化神经网络的复杂环境下车辆检测方法 |
CN109864737B (zh) * | 2019-04-02 | 2022-02-25 | 安徽心之声医疗科技有限公司 | 一种心电信号中p波识别方法和系统 |
CN110367967B (zh) * | 2019-07-19 | 2021-11-12 | 南京邮电大学 | 一种基于数据融合的便携型轻量化人脑状态检测方法 |
-
2019
- 2019-08-27 CN CN201910793585.XA patent/CN110558972B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110558972A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110580496A (zh) | 一种基于熵最小化的深度迁移学习系统及方法 | |
CN103544496B (zh) | 基于空间与时间信息融合的机器人场景识别方法 | |
CN108629370B (zh) | 一种基于深度置信网络的分类识别算法及装置 | |
CN108536784B (zh) | 评论信息情感分析方法、装置、计算机存储介质和服务器 | |
JP7231464B2 (ja) | 物体認識システム及び物体認識方法 | |
CN110096202B (zh) | 一种基于深度强化学习的轻量级图像自动裁剪系统及方法 | |
CN110598869B (zh) | 基于序列模型的分类方法、装置、电子设备 | |
CN109558898B (zh) | 一种基于深度神经网络的高置信度的多选择学习方法 | |
CN109472030A (zh) | 一种系统回复质量的评价方法及装置 | |
CN112215412A (zh) | 溶解氧预测方法及装置 | |
CN114972222A (zh) | 细胞信息统计方法、装置、设备及计算机可读存储介质 | |
CN110558972B (zh) | 一种心电信号深度学习模型的轻量化方法 | |
CN111144567A (zh) | 神经网络模型的训练方法及装置 | |
US11687730B1 (en) | Automated conversation goal discovery using neural networks and deep multi-view clustering | |
CN114463596A (zh) | 一种超图神经网络的小样本图像识别方法、装置及设备 | |
CN111695570B (zh) | 一种基于变分原型推理的小样本下语义分割方法 | |
CN111445024B (zh) | 一种医学影像识别训练方法 | |
CN111898756B (zh) | 一种多目标信息关联神经网络损失函数计算方法及装置 | |
CN109033413B (zh) | 一种基于神经网络的需求文档和服务文档匹配方法 | |
CN115828100A (zh) | 基于深度神经网络的手机辐射源频谱图类别增量学习方法 | |
CN110796195B (zh) | 一种包含在线小样本激励的图像分类方法 | |
CN114678060A (zh) | 基于氨基酸知识图谱和主动学习的蛋白质改造方法 | |
CN113781490A (zh) | 基于自监督学习的眼底血管图像分割方法 | |
Zhang et al. | Bandit neural architecture search based on performance evaluation for operation selection | |
CN115169549B (zh) | 人工智能模型更新方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |