CN112603324B - 基于改进损失函数的神经网络的训练方法 - Google Patents

基于改进损失函数的神经网络的训练方法 Download PDF

Info

Publication number
CN112603324B
CN112603324B CN202011338646.2A CN202011338646A CN112603324B CN 112603324 B CN112603324 B CN 112603324B CN 202011338646 A CN202011338646 A CN 202011338646A CN 112603324 B CN112603324 B CN 112603324B
Authority
CN
China
Prior art keywords
neural network
loss function
layer
training method
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011338646.2A
Other languages
English (en)
Other versions
CN112603324A (zh
Inventor
朱俊江
黄浩
王雨轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sid Medical Co ltd
Original Assignee
Shanghai Sid Medical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sid Medical Co ltd filed Critical Shanghai Sid Medical Co ltd
Priority to CN202011338646.2A priority Critical patent/CN112603324B/zh
Publication of CN112603324A publication Critical patent/CN112603324A/zh
Application granted granted Critical
Publication of CN112603324B publication Critical patent/CN112603324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请涉及一种基于改进损失函数的神经网络的训练方法，训练时采用的损失函数主要由两部分组成：增加了预测的心电标签向量与心电标签向量之间的交叉熵损失函数来训练网络。由于该损失函数将心电标签中两两不能同时存在的心律组合单独计算损失，神经网络能有效的避免预测出的心电标签向量存在互相矛盾的结果，进而提高神经网络模型的识别结果的准确性。

Description

基于改进损失函数的神经网络的训练方法
技术领域
本申请属于心电图技术领域，尤其是涉及一种基于改进损失函数的神经网络的训练方法。
背景技术
心电图(ECG)是从体表记录心脏每一心动周期所产生的电活动变化形成的图形。通过心电图可以表征出人的多种心脏疾病。“心律不齐”指的是心跳或快或慢，超过了一般范围。心律不齐可能由心脏自律性异常或传导障碍等多种因素引起，因此在临床上心律不齐呈现出不同的种类，例如窦性心动过缓、室性早搏、房性早搏、心房颤动、窦性心动过速等等。这些病种之间可能具有排他性，亦可能是同时具有，因此从数学上看，依据心电信号判别疾病种类的问题是一个复杂的多标签分类问题。采用深度学习模型解决这类问题时，常用的一种做法是将多标签分类问题转化为若干个二分类问题。例如，当判断一个心电信号的种类是[窦性心动过缓、室性早搏、房性早搏、心房颤动、窦性心动过速、正常心电图]中的一种和几种时，往往以心电信号作为输入，计算出一个长度为6的向量，然后观察心电向量中各个位置元素的值，元素的值大于0.5表示心电信号属于该类，否则认为，不属于该类。
相应的，在训练深度学习模型时，标签的设定方式为：心电信号的标签是一个长度为N的向量，心电信号属于第i类心律不齐，则标签向量的第i个元素为1，其余为0；而损失函数则是每一项的损失的叠加。
这种常规的设置方法忽略了心律类型中具有“排他性”的特点，例如一段心电信号若为窦性心动过缓，则不可能为窦性心动过速，若为心房颤动，则不可能为房性早搏，进而导致出现一些结论是错误的。
发明内容
本发明要解决的技术问题是：为解决现有技术中的不足，从而提供一种能够避免出现排他性心律类别的基于改进损失函数的神经网络的训练方法。
本发明解决其技术问题所采用的技术方案是：
一种基于改进损失函数的神经网络的训练方法，包括以下步骤：
采集充分多数量的已知心律类型的心电信号；
以长度为N的定义标签向量[y1，y2,…，yn]定义每个心电信号，心电信号属于第i类心律类型时，则定义标签向量的yi为T1，其余为T2，且T1大于T2；
将心电信号图片及对应的标签向量输入到神经网络模型中进行训练；
训练时引入损失函数为：
Figure BDA0002797929740000021
其中，
训练过程中心电信号中具有两两不能同时存在的心律类型组合的心电标签向量为a，每个心电标签向量a中两两不能同时存在的心律失常疾病在心电标签向量al中对应的第i个元素和第j个元素，ak为在心电标签向量中标签第k个元素，yk为定义标签向量中第k个元素；
c表示损失函数，N表示心律类型总数，心电标签向量为al为训练时当前的神经网络计算出的输出大小，N是心律类型的总数，M为两两不能同时存在的心律类型组合的数量；
当损失函数的值稳定时，结束训练，得到训练好的神经网络模型。
优选地，本发明的基于改进损失函数的神经网络的训练方法，采集充分多数量的已知心律类型的多导联心电信号后，还对所述心电信号进行预处理，预处理采用预设截止频率的滤波器对所述心电信号进行滤波处理。
优选地，本发明的基于改进损失函数的神经网络的训练方法，所述预处理还包括以下步骤：
判断所述心电信号的采样频率是否为预设频率；
当所述采样频率不是所述预设频率时，采用内插法将所述心电信号重采样为所述预设频率的心电信号。
优选地，本发明的基于改进损失函数的神经网络的训练方法，心电信号为多导联心电信号时，将每一条心电信号按照导联顺序拼接到一起形成。
优选地，本发明的基于改进损失函数的神经网络的训练方法，T1赋值为1，T2赋值为0。
优选地，本发明的基于改进损失函数的神经网络的训练方法，所述神经网络模型包括1个输入层、多个卷积层和池化层、长短期记忆人工神经网络、1个注意力层、2个全连接层以及1个分类器层。
优选地，本发明的基于改进损失函数的神经网络的训练方法，
第一卷积层中共有50个大小均为5的一维卷积核；
第一池化层中采用最大池化，核心和步长均为2；
第二卷积层中共有60个大小均为6的一维卷积核，激活函数选用ReLU函数；
第二池化层中采用最大池化，核的大小和步长均为2；
第三卷积层中共有70个大小为3的一维卷积核；
第三池化层中采用最大池化，核的大小和步长均为2；
第四卷积层中共有256个大小均为3的卷积核；
第四池化层中采用最大池化，核的大小和步长均为2。
优选地，本发明的所述基于改进损失函数的神经网络的训练方法，长短期记忆人工神经网络通过alpha＝0.3的LeakRelU激活函数进行计算。
优选地，本发明的所述基于改进损失函数的神经网络的训练方法，第一层的全连接层的激活函数为ReLU函数，第二层全连接层的激活函数为Sigmoid函数。
优选地，本发明的所述基于改进损失函数的神经网络的训练方法，已知心律类型的多导联心电信号的数量为每种心律类型均大于5000条。
本发明的有益效果是：
本实施例的基于改进损失函数的神经网络的训练方法，训练时采用的损失函数主要由两部分组成：增加了预测的心电标签向量与心电标签向量之间的交叉熵损失函数来训练网络。由于该损失函数将心电标签中两两不能同时存在的心律组合单独计算损失，神经网络能有效的避免预测出的心电标签向量存在互相矛盾的结果，进而提高神经网络模型的识别结果的准确性。
附图说明
下面结合附图和实施例对本申请的技术方案进一步说明。
图1是本申请实施例的基于改进损失函数的神经网络的训练方法的流程图；
图2是本申请实施例的改进损失函数的神经网络模型结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本申请的技术方案。
实施例一
本实施例提供一种基于改进损失函数的神经网络的训练方法，如图1所示：
使用的神经网络模型包括：输入层、多个卷积层和池化层、长短期记忆人工神经网络、1个注意力层、全连接层以及1个分类器层；
包括以下步骤：
采集充分多数量的已知心律类型的心电信号；比如：采集2万条处于静息状态下病人的12导联心电信号，采样频率为500hz(如果采样频率不同可以采用内插值法将频率整合成相同)，每条心电信号的长度为10s，将这些数据作为初始数据集，不同类别的心电信号数量尽量均匀，一般都不少于5000条；
对于数据集合中每一条心电信号，采用[0.5-100]Hz的巴特沃兹带通滤波器对于该心电信号的每个导联进行滤波，随后将滤完波后的每一条心电信号按照导联顺序重新拼接到一起，心电数据的形式为(5000，12)，从而形成训练用的数据集。
以长度为N的定义标签向量[y1，y2,…，yn]定义每个心电信号，心电信号属于第i类心律类型时，则定义标签向量的yi为T1，其余为T2，且T1大于T2；为了方便，一般T1赋值为1，T2赋值为0。
将心电信号及对应的标签向量输入到神经网络模型中进行训练；
训练时引入损失函数为：
Figure BDA0002797929740000061
其中，
A[a1，a2,…，an]是输入心电信号后神经网络模型的输出向量，长度为N，ak为在输出向量中第k个元素；Al表示一段心电信号中不可能同时存在的心律不齐类型对，共M对，ak为在输出向量中第k个元素，yk为定义标签向量中第k个元素；
c表示损失函数，N表示心律类型总数，心电标签向量为al为训练时当前的神经网络计算出的输出大小，N是心律类型的总数，M为两两不能同时存在的心律类型组合的数量；
当损失函数的值稳定时，结束训练，得到训练好的神经网络模型。
神经网络模型，具体可以为：
输入层；
第一卷积层中共有50个大小均为5的一维卷积核；
第一池化层中采用最大池化，核心和步长均为2；
第二卷积层中共有60个大小均为6的一维卷积核，激活函数选用ReLU函数；
第二池化层中采用最大池化，核的大小和步长均为2；
第三卷积层中共有70个大小为3的一维卷积核；
第三池化层中采用最大池化，核的大小和步长均为2；
第四卷积层中共有256个大小均为3的卷积核；
第四池化层中采用最大池化，核的大小和步长均为2；
长短期记忆人工神经网络，通过alpha＝0.3的LeakRelU激活函数进行计算；
注意力层，
两层全连接层；
第一层的全连接层的激活函数为ReLU函数，第二层全连接层的激活函数为Sigmoid函数；
输出层，输出输出向量A[a1，a2,…，an]。
训练时的训练算法可以为：随机梯度下降算法、Adam算法、RMSProp算法、Adagrad算法、Adadelta算法、Adamax算法等。
本实施例的基于改进损失函数的神经网络的训练方法，损失函数主要由两部分组成：增加了预测的心电标签向量与心电标签向量之间的交叉熵损失函数来训练网络。由于该损失函数将心电标签中两两不能同时存在的心律组合单独计算损失，神经网络能有效的避免预测出的心电标签向量存在互相矛盾的结果，进而提高神经网络模型的识别结果的准确性。例如，当判断一个心电信号的种类是[窦性心动过缓、室性早搏、房性早搏、心房颤动、窦性心动过速、正常心电图]时，房性早搏和心房颤动是两个相互矛盾的心律失常疾病组合，由于损失函数将房性早搏和心房颤动单独计算了损失，若是房性早搏和心房颤动同时存在的话，根据该损失函数将计算出较大的损失。因此在优化模型的时候,模型为了降低损失会避免同时预测出房性早搏和心房颤动，进而提高模型预测的准确度。同时，由于该损失函数具有较好的可导性，采用该损失函数的模型具有较好的收敛速度。
使用训练好的神经网络模型时，将未知类型的心电信号按照训练时的处理方法处理后输入到训练好的神经网络模型中，根据输出向量A[a1，a2,…，an]得到结果标签向量[x1，x2,…，xn]，其中ai值大于
Figure BDA0002797929740000081
的xi为T1，ai值小于等于
Figure BDA0002797929740000082
的xi为T2，根据xi中T1时的位置来确定心律类型，T1为1，T2为0时，大于0.5的就被调整为1，也就表示属于该种心律类型。
以上述依据本申请的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项申请技术思想的范围内，进行多样的变更以及修改。本项申请的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种基于改进损失函数的神经网络的训练方法，其特征在于，
使用的神经网络模型包括：输入层、多个卷积层和池化层、长短期记忆人工神经网络、1个注意力层、全连接层以及1个分类器层；
包括以下步骤：
采集充分多数量的已知心律类型的心电信号；
以长度为N的定义标签向量[y1，y2,…，yn]定义每个心电信号，心电信号属于第i类心律类型时，则定义标签向量的yi为T1，其余为T2，且T1大于T2；
将心电信号及对应的标签向量输入到神经网络模型中进行训练；
训练时引入损失函数为：
Figure FDA0003389298130000011
其中，
A[a1，a2,…，an]是输入心电信号后神经网络模型的输出向量，长度为N；Al表示一段心电信号中不可能同时存在的心律不齐类型对，共M对，ak为在输出向量中第k个元素，yk为定义标签向量中第k个元素；
c表示损失函数，N表示心律类型总数，心电标签向量为al为训练时当前的神经网络计算出的输出大小，M为两两不能同时存在的心律类型组合的数量；
当损失函数的值稳定时，结束训练，得到训练好的神经网络模型。
2.根据权利要求1所述的基于改进损失函数的神经网络的训练方法，其特征在于，采集充分多数量的已知心律类型的多导联心电信号后，还对所述心电信号进行预处理，预处理采用预设截止频率的滤波器对所述心电信号进行滤波处理。
3.根据权利要求2所述的基于改进损失函数的神经网络的训练方法，其特征在于，所述预处理还包括以下步骤：
判断所述心电信号的采样频率是否为预设频率；
当所述采样频率不是所述预设频率时，采用内插法将所述心电信号重采样为所述预设频率的心电信号。
4.根据权利要求1-3任一项所述的基于改进损失函数的神经网络的训练方法，其特征在于，心电信号为多导联心电信号时，将每一条心电信号按照导联顺序拼接到一起形成。
5.根据权利要求1-3任一项所述的基于改进损失函数的神经网络的训练方法，其特征在于，T1赋值为1，T2赋值为0。
6.根据权利要求1-3任一项所述的基于改进损失函数的神经网络的训练方法，其特征在于，所述神经网络模型包括全连接层为两层。
7.根据权利要求6所述的基于改进损失函数的神经网络的训练方法，其特征在于，
第一卷积层中共有50个大小均为5的一维卷积核；
第一池化层中采用最大池化，核心和步长均为2；
第二卷积层中共有60个大小均为6的一维卷积核，激活函数选用ReLU函数；
第二池化层中采用最大池化，核的大小和步长均为2；
第三卷积层中共有70个大小为3的一维卷积核；
第三池化层中采用最大池化，核的大小和步长均为2；
第四卷积层中共有256个大小均为3的卷积核；
第四池化层中采用最大池化，核的大小和步长均为2。
8.根据权利要求6所述的基于改进损失函数的神经网络的训练方法，其特征在于，长短期记忆人工神经网络通过alpha＝0.3的LeakRelU激活函数进行计算。
9.根据权利要求7所述的基于改进损失函数的神经网络的训练方法，其特征在于，第一层的全连接层的激活函数为ReLU函数，第二层全连接层的激活函数为Sigmoid函数。
10.根据权利要求1-3任一项所述的基于改进损失函数的神经网络的训练方法，其特征在于，已知心律类型的多导联心电信号的数量为每种心律类型均大于5000条。
CN202011338646.2A 2020-11-25 2020-11-25 基于改进损失函数的神经网络的训练方法 Active CN112603324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011338646.2A CN112603324B (zh) 2020-11-25 2020-11-25 基于改进损失函数的神经网络的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011338646.2A CN112603324B (zh) 2020-11-25 2020-11-25 基于改进损失函数的神经网络的训练方法

Publications (2)

Publication Number Publication Date
CN112603324A CN112603324A (zh) 2021-04-06
CN112603324B true CN112603324B (zh) 2022-01-21

Family

ID=75225465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011338646.2A Active CN112603324B (zh) 2020-11-25 2020-11-25 基于改进损失函数的神经网络的训练方法

Country Status (1)

Country Link
CN (1) CN112603324B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113180690B (zh) * 2021-04-21 2022-12-09 上海数创医疗科技有限公司 一种心电诊断模型的判断方法及心电检测装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107714023A (zh) * 2017-11-27 2018-02-23 乐普（北京）医疗器械股份有限公司 基于人工智能自学习的静态心电图分析方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932452A (zh) * 2017-05-22 2018-12-04 中国科学院半导体研究所 基于多尺度卷积神经网络的心律失常心拍分类方法
CN109447102A (zh) * 2018-09-05 2019-03-08 浙江长兴笛卡尔科技有限公司 基于分类互斥性的损失函数计算方法、电子设备、介质
US10956704B2 (en) * 2018-11-07 2021-03-23 Advanced New Technologies Co., Ltd. Neural networks for biometric recognition
CN110037683B (zh) * 2019-04-01 2020-12-29 上海数创医疗科技有限公司 用于识别心律类型的改进卷积神经网络及其训练方法
EP3735894B1 (en) * 2019-05-09 2022-11-30 Tata Consultancy Services Limited Recurrent neural network architecture based classification of atrial fibrillation using single lead ecg

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107714023A (zh) * 2017-11-27 2018-02-23 乐普（北京）医疗器械股份有限公司 基于人工智能自学习的静态心电图分析方法和装置

Also Published As

Publication number Publication date
CN112603324A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN111275093B (zh) 一种用于多标签标注心电信号的心搏分类方法和装置
CN110046604B (zh) 一种基于残差网络的单导联ecg心律失常检测分类方法
CN110717415B (zh) 基于特征选取的st段分类卷积神经网络及其使用方法
CN110717416B (zh) 基于特征选取的st段分类识别用神经网络训练方法
WO2021071688A1 (en) Systems and methods for reduced lead electrocardiogram diagnosis using deep neural networks and rule-based systems
CN110037682B (zh) 基于改进卷积神经网络的识别心律类型的方法
CN110236520A (zh) 基于双卷积神经网络的心电图类型识别方法和装置
CN110037683B (zh) 用于识别心律类型的改进卷积神经网络及其训练方法
CN110367968B (zh) 一种右束支阻滞检测方法、装置、设备及存储介质
CN111488793A (zh) 心电信号分类方法、装置、电子设备和存储介质
CN109009073A (zh) 房颤检测装置及存储介质
CN108968941A (zh) 一种心律失常检测方法、装置及终端
CN110226928A (zh) 房颤伴室早和房颤伴差传的识别方法和装置
CN113384277B (zh) 心电数据的分类方法及分类系统
CN109044348A (zh) 房颤检测装置及存储介质
CN109124620A (zh) 一种房颤检测方法、装置及设备
CN110974211A (zh) 高阶多项式激活函数的st段分类神经网络及其应用
CN111666865A (zh) 多导联心电信号卷积神经网络分类模型及其使用方法
CN112603324B (zh) 基于改进损失函数的神经网络的训练方法
Alim et al. Application of machine learning on ecg signal classification using morphological features
CN111956202A (zh) 基于样本分布改进的卷积神经网络的训练方法及模型
CN114224355A (zh) 心电信号分类训练方法、分类方法、装置及存储介质
CN112587146B (zh) 基于改进损失函数的神经网络的心律类型识别方法和装置
Hu et al. Deep multi-instance networks for bundle branch block detection from multi-lead ECG
CN112022140B (zh) 一种心电图的诊断结论自动诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant