CN113892955B - 基于人工智能模型定位qrs波并进行分类的方法和装置 - Google Patents
基于人工智能模型定位qrs波并进行分类的方法和装置 Download PDFInfo
- Publication number
- CN113892955B CN113892955B CN202111211803.8A CN202111211803A CN113892955B CN 113892955 B CN113892955 B CN 113892955B CN 202111211803 A CN202111211803 A CN 202111211803A CN 113892955 B CN113892955 B CN 113892955B
- Authority
- CN
- China
- Prior art keywords
- data
- tensor
- qrs wave
- generate
- convolution unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 135
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 39
- 239000012634 fragment Substances 0.000 claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 230000001629 suppression Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 85
- 238000012545 processing Methods 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 69
- 238000005070 sampling Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/366—Detecting abnormal QRS complex, e.g. widening
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Cardiology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Fuzzy Systems (AREA)
- Power Engineering (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明实施例涉及一种基于人工智能模型定位QRS波并进行分类的方法和装置,所述方法包括:获取第一心电图数据;进行滤波生成第二心电图数据;进行下采样生成第三心电图数据;进行心电片段分割生成第一片段数据张量;基于第一人工智能模型对第一片段数据张量进行特征提取生成三个尺度的特征数据张量;基于第二人工智能模型对三个尺度的特征数据张量进行类型识别生成第二片段数据张量;基于非极大值抑制原则对第二片段数据张量进行筛选生成第三片段数据张量;进行心搏类型决策生成第一心搏类型数据序列;进行R点位置统计生成第一R点位置序列;对第三心电图数据进行R点和心搏类型标注生成第四心电图数据。通过本发明可以提高QRS波识别精度。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种基于人工智能模型定位QRS波并进行分类的方法和装置。
背景技术
心电图由多个心搏信号组成,每个心搏信号中包括P波、QRS波、T波。在对心搏信号的各波形进行定位时,通过都是在定位QRS波之后,参考QRS波的位置信息对P波、T波进行定位。在实际应用中,心电信号属于强噪声背景下的微弱电生理信号,抗扰能力差,环境中的噪声、伪迹、运动干扰以及仪器内部的电噪干扰,都会对QRS的识别和定位造成影响。
发明内容
本发明的目的,就是针对现有技术的缺陷,提供一种基于人工智能模型定位QRS波并进行分类的方法、装置、电子设备及计算机可读存储介质,在对心电图数据完成滤波和降采样之后,使用人工智能模型对心电图数据进行特征提取从而得到多个尺度的特征数据,对多个尺度的特征数据继续基于人工智能模型进行QRS波位置和心搏类型识别从而得到带有心搏级语义信息的心电图数据,期间还根据QRS波置信度和相邻QRS波重合度对心电图语义分割数据进行极大值抑制从而最大程度保证了心电图数据的识别精度。通过本发明,可以有效去除心电图数据中的噪声和干扰数据,可以实现心搏级QRS波语义分割(包括R点位置与心搏类型),可以提高识别精度。
为实现上述目的,本发明实施例第一方面提供了一种基于人工智能模型定位QRS波并进行分类的方法,所述方法包括:
获取第一心电图数据;
对所述第一心电图数据进行滤波处理,生成第二心电图数据;
按预设的目标采样率对所述第二心电图数据进行下采样处理,生成第三心电图数据;
按预设的片段时长对所述第三心电图数据进行心电片段分割处理,生成第一片段数据张量;
基于第一人工智能模型对所述第一片段数据张量进行QRS波特征数据提取处理,生成三个尺度的特征数据张量;
基于第二人工智能模型对所述三个尺度的特征数据张量进行QRS波类型识别处理,生成第二片段数据张量;所述第二片段数据张量包括多个第一QRS波数据向量;
基于非极大值抑制原则,根据QRS波置信度和相邻QRS波重合度对所述第二片段数据张量的所述第一QRS波数据向量进行筛选处理,生成第三片段数据张量;
根据所述第三片段数据张量进行心搏类型决策,生成对应的第一心搏类型数据序列;
根据所述第三片段数据张量进行R点位置统计,生成对应的第一R点位置序列;
根据所述第一R点位置序列和所述第一心搏类型数据序列,对所述第三心电图数据进行R点和心搏类型标注处理,生成第四心电图数据。
优选的,所述第一片段数据张量的形状为B×W,B为心电片段总数,W为单个心电片段的数据总数;所述第一片段数据张量包括B个长度为W的第一片段数据向量;
所述三个尺度的特征数据张量包括第一尺度特征数据张量、第二尺度特征数据张量和第三尺度特征数据张量;
所述第一尺度特征数据张量的形状为B1×H1×W1,所述第二尺度特征数据张量的形状为B2×H2×W2,所述第三尺度特征数据张量的形状为B3×H3×W3,B1、B2、B3、H1、H2、H3、W1、W2和W3均为正整数,B1=B2=B3=B,H1>H2>H3,W1=W2=W3;
所述第二片段数据张量的形状为B4×H4×W4,B4、H4和W4均为正整数,B4=B;所述第二片段数据张量包括B4个形状为H4×W4的第一片段数据矩阵;所述第一片段数据矩阵包括H4个长度为W4的所述第一QRS波数据向量;所述第一QRS波数据向量包括第一QRS波起始点信息、第一QRS波R点信息、第一QRS波结束点信息、第一QRS波置信度信息和W4-4个第一QRS波心搏类型概率信息;每个所述第一QRS波心搏类型概率信息对应一个QRS波心搏类型;
所述第三片段数据张量的形状为B5×H5×W5,B5、H5和W5均为正整数,B5=B,H5≤H4,W5=W4;所述第三片段数据张量包括B5个形状为H5×W5的第二片段数据矩阵;所述第二片段数据矩阵包括H5个长度为W5的第二QRS波数据向量;所述第二QRS波数据向量包括第二QRS波起始点信息、第二QRS波R点信息、第二QRS波结束点信息、第二QRS波置信度信息和W5-4个第二QRS波心搏类型概率信息;每个所述第二QRS波心搏类型概率信息对应一个所述QRS波心搏类型。
优选的,所述第一人工智能模型包括第一卷积模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块和第五残差模块;
所述第一卷积模块包括第一归一化层和第一一维卷积单元;所述第一一维卷积单元包括第二归一化层、第一一维卷积层和第一激活层;所述第一激活层的激活函数为LeakeyReLU激活函数;
所述第一残差模块包括第一补零层、第二一维卷积单元和循环次数为1的第一残差单元;所述第一残差单元包括第三一维卷积单元、第四一维卷积单元和第一残差层;所述第二一维卷积单元、所述第三一维卷积单元、所述第四一维卷积单元的网络结构均与所述第一一维卷积单元的网络结构一致;当循环次数大于1时,将所述第一残差层的输出数据送至所述第三一维卷积单元作为输入数据进行循环计算,直至循环计算的总次数大于循环次数为止;
所述第二残差模块包括第二补零层、第五一维卷积单元和循环次数为2的第二残差单元;所述第二残差单元的网络结构和所述第一残差单元的网络结构一致;所述第五一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第三残差模块包括第三补零层、第六一维卷积单元和循环次数为8的第三残差单元;所述第三残差单元的网络结构和所述第一残差单元的网络结构一致;所述第六一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第四残差模块包括第四补零层、第七一维卷积单元和循环次数为8的第四残差单元;所述第四残差单元的网络结构和所述第一残差单元的网络结构一致;所述第七一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第五残差模块包括第五补零层、第八一维卷积单元和循环次数为4的第五残差单元;所述第五残差单元的网络结构和所述第一残差单元的网络结构一致;所述第八一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第二人工智能模型包括第一网络和第二网络;
所述第一网络包括第一卷积单元组、第二卷积单元组和第三卷积单元组;
所述第一卷积单元组包括5个第九一维卷积单元;所述第九一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第二卷积单元组包括第一数据拼接单元和5个第十一维卷积单元;所述第十一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第三卷积单元组包括第二数据拼接单元和5个第十一一维卷积单元;所述第十一一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第二网络包括第四卷积单元组、第五卷积单元组、第六卷积单元组和第一融合单元;
所述第四卷积单元组包括第十二一维卷积单元和第二一维卷积层;所述第十二一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第五卷积单元组包括第十三一维卷积单元和第三一维卷积层;所述第十三一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第六卷积单元组包括第十四一维卷积单元和第四一维卷积层;所述第十四一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致。
优选的,所述基于第一人工智能模型对所述第一片段数据张量进行QRS波特征数据提取处理,生成三个尺度的特征数据张量,具体包括:
将所述第一片段数据张量输入所述第一人工智能模型的所述第一卷积模块进行归一化处理,并对归一化结果进行卷积运算,并对卷积结果进行激活运算生成第一一过程张量;
将所述第一一过程张量输入所述第一残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第一二过程张量;
将所述第一二过程张量输入所述第二残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第一三过程张量;
将所述第一三过程张量输入所述第三残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第一尺度特征数据张量;
将所述第一尺度特征数据张量输入所述第四残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第二尺度特征数据张量;
将所述第二尺度特征数据张量输入所述第五残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第三尺度特征数据张量;
由所述第一尺度特征数据张量、所述第二尺度特征数据张量和所述第三尺度特征数据张量组成所述三个尺度的特征数据张量。
优选的,所述基于第二人工智能模型对所述三个尺度的特征数据张量进行QRS波类型识别处理,生成第二片段数据张量,具体包括:
将所述三个尺度的特征数据张量的第三尺度特征数据张量输入所述第二人工智能模型的所述第一网络的所述第一卷积单元组进行连续卷积运算,生成第二一过程张量;
对所述第二一过程张量进行上采样处理,并将上采样结果与所述三个尺度的特征数据张量的第二尺度特征数据张量输入所述第二卷积单元组进行数据拼接,并对拼接结果进行连续卷积运算,生成第二二过程张量;
对所述第二二过程张量进行上采样处理,并将上采样结果与所述三个尺度的特征数据张量的第一尺度特征数据张量输入所述第三卷积单元组进行数据拼接,并对拼接结果进行连续卷积运算,生成第二三过程张量;
将所述第二一过程张量输入所述第二人工智能模型的所述第二网络的所述第四卷积单元组进行卷积运算,生成第三一过程张量;并将所述第二二过程张量输入所述第五卷积单元组进行卷积运算,生成第三二过程张量;并将所述第二三过程张量输入所述第六卷积单元组进行卷积运算,生成第三三过程张量;
将所述第三一过程张量、所述第三二过程张量和所述第三三过程张量输入所述第一融合单元进行输入融合处理,生成所述第二片段数据张量。
优选的,所述基于非极大值抑制原则,根据QRS波置信度和相邻QRS波重合度对所述第二片段数据张量的所述第一QRS波数据向量进行筛选处理,生成第三片段数据张量,具体包括:
根据QRS置信度对所述第二片段数据张量进行筛选;将所述第一QRS波置信度信息低于预设的置信度阈值的所述第一QRS波数据向量从所述第二片段数据张量中删除;
根据相邻QRS波重合度对所述第二片段数据张量进行筛选;根据所述第一QRS波起始点信息和所述第一QRS波结束点信息,确定各个所述第一QRS波数据向量的第一QRS波位置区域;对任意相邻两个所述第一QRS波数据向量的所述第一QRS波位置区域的区域重合度进行计算,生成对应的第一重合度;若所述第一重合度超过预设的重合度阈值,则将其中所述第一QRS波置信度信息偏低的所述第一QRS波数据向量从所述第二片段数据张量中删除;完成删除后,对剩下的各个所述第一QRS波数据向量进行持续迭代处理,直到任意相邻两个所述第一QRS波数据向量的所述第一重合度低于所述重合度阈值为止;
将完成筛选的所述第二片段数据张量,作为所述第三片段数据张量。
优选的,所述根据所述第三片段数据张量进行心搏类型决策,生成对应的第一心搏类型数据序列,具体包括:
对所述第三片段数据张量的所述第二QRS波数据向量进行轮询,并将当前被轮询的所述第二QRS波数据向量记为当前向量;将所述当前向量的最大数值的所述第二QRS波心搏类型概率信息对应的所述QRS波心搏类型,作为与所述当前向量对应的第一心搏类型数据;
对得到的所有所述第一心搏类型数据按顺序排列,生成所述第一心搏类型数据序列。
本发明实施例第二方面提供了一种实现上述第一方面所述的方法的装置,包括:获取模块、预处理模块、QRS波定位与类型识别模块、数据优化模块和心电图标注模块;
所述获取模块用于获取第一心电图数据;
所述预处理模块用于对所述第一心电图数据进行滤波处理,生成第二心电图数据;并按预设的目标采样率对所述第二心电图数据进行下采样处理,生成第三心电图数据;并按预设的片段时长对所述第三心电图数据进行心电片段分割处理,生成第一片段数据张量;
所述QRS波定位与类型识别模块用于基于第一人工智能模型对所述第一片段数据张量进行QRS波特征数据提取处理,生成三个尺度的特征数据张量;并基于第二人工智能模型对所述三个尺度的特征数据张量进行QRS波类型识别处理,生成第二片段数据张量;所述第二片段数据张量包括多个第一QRS波数据向量;
所述数据优化模块用于基于非极大值抑制原则,根据QRS波置信度和相邻QRS波重合度对所述第二片段数据张量的所述第一QRS波数据向量进行筛选处理,生成第三片段数据张量;
所述心电图标注模块用于根据所述第三片段数据张量进行心搏类型决策,生成对应的第一心搏类型数据序列;并根据所述第三片段数据张量进行R点位置统计,生成对应的第一R点位置序列;并根据所述第一R点位置序列和所述第一心搏类型数据序列,对所述第三心电图数据进行R点和心搏类型标注处理,生成第四心电图数据。
本发明实施例第三方面提供了一种电子设备,包括:存储器、处理器和收发器;
所述处理器用于与所述存储器耦合,读取并执行所述存储器中的指令,以实现上述第一方面所述的方法步骤;
所述收发器与所述处理器耦合,由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令被计算机执行时,使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种基于人工智能模型定位QRS波并进行分类的方法、装置、电子设备及计算机可读存储介质,在对心电图数据完成滤波和降采样之后,使用人工智能模型对心电图数据进行特征提取从而得到多个尺度的特征数据,对多个尺度的特征数据继续基于人工智能模型进行QRS波位置和心搏类型识别从而得到带有心搏级语义信息的心电图数据,期间还根据QRS波置信度和相邻QRS波重合度对心电图语义分割数据进行极大值抑制从而最大程度保证了心电图数据的识别精度。通过本发明,有效地去除了心电图数据中的噪声和干扰数据,实现了心搏级QRS波语义分割(包括R点位置与心搏类型),提高了识别精度。
附图说明
图1为本发明实施例一提供的一种基于人工智能模型定位QRS波并进行分类的方法示意图;
图2a为本发明实施例一提供的第一人工智能模型的结构示意图;
图2b为本发明实施例一提供的第二人工智能模型的结构示意图;
图3为本发明实施例二提供的一种基于人工智能模型定位QRS波并进行分类的装置的模块结构图;
图4为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例一提供的一种基于人工智能模型定位QRS波并进行分类的方法,如图1为本发明实施例一提供的一种基于人工智能模型定位QRS波并进行分类的方法示意图所示,本方法主要包括如下步骤:
步骤1,获取第一心电图数据。
步骤2,对第一心电图数据进行滤波处理,生成第二心电图数据。
这里,对第一心电图数据进行中值滤波处理来消除基线漂移,并对消除了基线漂移的第一心电图数据进行低通滤波来消除预设的心电频段外的噪声和干扰。
步骤3,按预设的目标采样率对第二心电图数据进行下采样处理,生成第三心电图数据。
这里,目标采样率为一个预先设定的系统参数,例如250Hz;常规心电图的采样率都是较高的,最小都会高于500Hz,为保证后续人工智能模型的计算效率需要预先对第二心电图数据的采样率进行下调也就是下采样,将其调整到目标采样率。
例如,第二心电图数据的总时长为32秒,原始采样率为1000Hz,那么第二心电图数据包含的采样数据总数为32*1000=32000,若目标采样率为250Hz,按250Hz对第二心电图数据进行下采样处理之后得到的第三心电图数据的采样数据总数则为32*250=8000,相较于降采样之前数据量缩减了3/4。
步骤4,按预设的片段时长对第三心电图数据进行心电片段分割处理,生成第一片段数据张量;
其中,第一片段数据张量的形状为B×W,B为心电片段总数,W为单个心电片段的数据总数;第一片段数据张量包括B个长度为W的第一片段数据向量。
这里,片段时长为预先设定的心电片段的时间长度,在对第三心电图数据进行心电片段分割处理时至少支持两种分割方式:顺序无重合分割方式和顺序重合分割方式;对于顺序无重合分割方式而言,片段分割的分割滑窗时长与片段时长一致,这样可以保证相邻的分割片段首尾无重合部分;对于顺序重合分割方式而言,片段分割的分割滑窗时长小于片段时长,这样可以保证相邻的分割片段首尾部分有部分数据为重合数据。
例如,第三心电图数据的总时长为32秒,采样数据总数为8000,若片段时长为8秒,分割滑窗时长为8秒,说明当前采用顺序无重合分割方式,则心电片段总数B=总时长/分割滑窗=32/8=4,W=采样数据总数/心电片段总数B=8000/4=2000,也就是说第一片段数据张量的形状为4×2000;
又例如,第三心电图数据的总时长为32秒,采样数据总数为8000,若片段时长为8秒,分割滑窗时长为4秒,说明当前采用顺序重合分割方式,则心电片段总数B=总时长/分割滑窗=32/4=8,W=采样数据总数/心电片段总数B=8000/8=1000,也就是说第一片段数据张量的形状为8×1000。
步骤5,基于第一人工智能模型对第一片段数据张量进行QRS波特征数据提取处理,生成三个尺度的特征数据张量;
其中,三个尺度的特征数据张量包括第一尺度特征数据张量、第二尺度特征数据张量和第三尺度特征数据张量;第一尺度特征数据张量的形状为B1×H1×W1,第二尺度特征数据张量的形状为B2×H2×W2,第三尺度特征数据张量的形状为B3×H3×W3,B1、B2、B3、H1、H2、H3、W1、W2和W3均为正整数,B1=B2=B3=B,H1>H2>H3,W1=W2=W3;
此处,第一尺度特征数据张量的尺度大于第二尺度特征数据张量,第二尺度特征数据张量的尺度大于第三尺度特征数据张量;
如图2a为本发明实施例一提供的第一人工智能模型的结构示意图所示,第一人工智能模型包括第一卷积模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块和第五残差模块;
第一卷积模块包括第一归一化层和第一一维卷积单元;第一一维卷积单元包括第二归一化层、第一一维卷积层和第一激活层;第一激活层的激活函数为LeakeyReLU激活函数;
第一残差模块包括第一补零层、第二一维卷积单元和循环次数为1的第一残差单元;第一残差单元包括第三一维卷积单元、第四一维卷积单元和第一残差层;第二一维卷积单元、第三一维卷积单元、第四一维卷积单元的网络结构均与第一一维卷积单元的网络结构一致;当循环次数大于1时,将第一残差层的输出数据送至第三一维卷积单元作为输入数据进行循环计算,直至循环计算的总次数大于循环次数为止;
第二残差模块包括第二补零层、第五一维卷积单元和循环次数为2的第二残差单元;第二残差单元的网络结构和第一残差单元的网络结构一致;第五一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
第三残差模块包括第三补零层、第六一维卷积单元和循环次数为8的第三残差单元;第三残差单元的网络结构和第一残差单元的网络结构一致;第六一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
第四残差模块包括第四补零层、第七一维卷积单元和循环次数为8的第四残差单元;第四残差单元的网络结构和第一残差单元的网络结构一致;第七一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
第五残差模块包括第五补零层、第八一维卷积单元和循环次数为4的第五残差单元;第五残差单元的网络结构和第一残差单元的网络结构一致;第八一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
这里,第一人工智能模型对第一片段数据张量进行QRS波特征数据提取处理可以达到对第一片段数据张量持续降采样的目的;另外,为避免过度降采样丢失了特征数据的梯度信息,在降采样的过程中第一人工智能模型引入了基于残差网络(Residual Network,ResNet)结构的残差单元进行梯度信息保留;再有,为提高特征数据的识别精度,第一人工智能模型会输出三个不同尺度的特征数据张量;
具体包括:步骤51,将第一片段数据张量输入第一人工智能模型的第一卷积模块进行归一化处理,并对归一化结果进行卷积运算,并对卷积结果进行激活运算生成第一一过程张量;
这里,由第一卷积模块的第一归一化层完成首次归一化处理,由第一一维卷积单元完成对首次归一化处理结果的卷积运算处理;
步骤52,将第一一过程张量输入第一残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第一二过程张量;
这里,由第一残差模块的第一补零层对第一一过程张量进行补零,由第二一维卷积单元对补零后张量进行降采样和特征提取,由循环次数为1的第一残差单元对降采样后的数据张量进行梯度信息提取;
本发明实施例的所有补零层(Zero Padding Layer)都是用于对输入张量的形状外围进行补零的,对其的设置主要根据其后的一维卷积单元的卷积核大小、步幅以及卷积网络的输入矩阵尺度来实施;通过补零层的补零操作,使得其后的一维卷积单元在做卷积运算时,其卷积核可以恰好滑动到张量边缘;
本发明实施例中的所有一维卷积单元的网络结构均与图2a所示的第一一维卷积单元的网络结构一致;
步骤53,将第一二过程张量输入第二残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第一三过程张量;
这里,第二残差模块与第一残差模块的处理近似,主要区别为残差单元的循环次数;第一残差模块的第一残差单元的循环次数为1,也就意味着完成1次残差运算即可,无需将当次残差运算结果重新输入第一残差单元进行循环计算;第二残差模块的第二残差单元的循环次数为2,也就意味着完成1次残差运算之后还需将当次残差运算结果重新输入第一残差单元再进行1次残差运算;
步骤54,将第一三过程张量输入第三残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第一尺度特征数据张量;
这里,第三残差模块与第一残差模块的处理近似,主要区别为残差单元的循环次数;第三残差模块的第三残差单元的循环次数为8,也就意味着完成1次残差运算之后还需将当次残差运算结果重新输入第一残差单元再进行7次残差循环运算;并且,在第三残差模块运算结束后除了会将得到的运算结果继续输入后续的第四残差模块进行特征降采样和特征提取之外,还会同时将本次的运算结果作为模型的三个输出结果之一进行输出也就是第一尺度特征数据张量;
步骤55,将第一尺度特征数据张量输入第四残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第二尺度特征数据张量;
这里,第四残差模块与第一残差模块的处理近似,主要区别为残差单元的循环次数;第四残差模块的第三残差单元的循环次数为8,也就意味着完成1次残差运算之后还需将当次残差运算结果重新输入第一残差单元再进行7次残差循环运算;并且,在第四残差模块运算结束后除了会将得到的运算结果继续输入后续的第五残差模块进行特征降采样和特征提取之外,还会同时将本次的运算结果作为模型的三个输出结果之一进行输出也就是第二尺度特征数据张量;因为第二尺度特征数据张量是经由第一尺度特征数据张量降采样之后得到的,自然第二尺度特征数据张量的尺度大小是小于第一尺度特征数据张量的;
步骤56,将第二尺度特征数据张量输入第五残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第三尺度特征数据张量;
这里,第五残差模块与第一残差模块的处理近似,主要区别为残差单元的循环次数;第五残差模块的第三残差单元的循环次数为4,也就意味着完成1次残差运算之后还需将当次残差运算结果重新输入第一残差单元再进行3次残差循环运算;在第五残差模块运算结束后,其运算结果会被作为模型的三个输出结果之一进行输出也就是第三尺度特征数据张量;因为第三尺度特征数据张量是经由第二尺度特征数据张量降采样之后得到的,自然第三尺度特征数据张量的尺度大小是小于第二尺度特征数据张量的;
步骤57,由第一尺度特征数据张量、第二尺度特征数据张量和第三尺度特征数据张量组成三个尺度的特征数据张量。
步骤6,基于第二人工智能模型对三个尺度的特征数据张量进行QRS波类型识别处理,生成第二片段数据张量;
其中,第二片段数据张量的形状为B4×H4×W4,B4、H4和W4均为正整数,B4=B;第二片段数据张量包括B4个形状为H4×W4的第一片段数据矩阵;第一片段数据矩阵包括H4个长度为W4的第一QRS波数据向量;第一QRS波数据向量包括第一QRS波起始点信息、第一QRS波R点信息、第一QRS波结束点信息、第一QRS波置信度信息和W4-4个第一QRS波心搏类型概率信息;每个第一QRS波心搏类型概率信息对应一个QRS波心搏类型;
如图2b为本发明实施例一提供的第二人工智能模型的结构示意图所示,第二人工智能模型包括第一网络和第二网络;
第一网络包括第一卷积单元组、第二卷积单元组和第三卷积单元组;
第一卷积单元组包括5个第九一维卷积单元;第九一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
第二卷积单元组包括第一数据拼接单元和5个第十一维卷积单元;第十一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
第三卷积单元组包括第二数据拼接单元和5个第十一一维卷积单元;第十一一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
第二网络包括第四卷积单元组、第五卷积单元组、第六卷积单元组和第一融合单元;
第四卷积单元组包括第十二一维卷积单元和第二一维卷积层;第十二一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
第五卷积单元组包括第十三一维卷积单元和第三一维卷积层;第十三一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
第六卷积单元组包括第十四一维卷积单元和第四一维卷积层;第十四一维卷积单元的网络结构与第一一维卷积单元的网络结构一致;
这里,第二人工智能模型对对三路输入的特征数据张量进行QRS波类型识别处理后再对三路识别结果进行特征融合的处理方式可以达到提高识别精度的目的;
具体包括:步骤61,将三个尺度的特征数据张量的第三尺度特征数据张量输入第二人工智能模型的第一网络的第一卷积单元组进行连续卷积运算,生成第二一过程张量;
这里,第三尺度特征数据张量输入第二人工智能模型的第一网络的第一卷积单元组也即是由5个第九一维卷积单元组成的连续卷积网络,进行连续卷积运算得到第二一过程张量;
步骤62,对第二一过程张量进行上采样处理,并将上采样结果与三个尺度的特征数据张量的第二尺度特征数据张量输入第二卷积单元组进行数据拼接,并对拼接结果进行连续卷积运算,生成第二二过程张量;
这里,因为第二一过程张量的尺度大小是小于第二尺度特征数据张量的,所以在对二者进行拼接之前需要对第二一过程张量进行上采样处理,具体可通过反卷积运算实现;然后将第二一过程张量的上采样结果通过第一网络的第二卷积单元组的第一数据拼接单元进行拼接;然后将拼接结果输入由5个第十一维卷积单元组成的连续卷积网络进行连续卷积运算,得到第二二过程张量;
步骤63,对第二二过程张量进行上采样处理,并将上采样结果与三个尺度的特征数据张量的第一尺度特征数据张量输入第三卷积单元组进行数据拼接,并对拼接结果进行连续卷积运算,生成第二三过程张量;
这里,因为第二二过程张量的尺度大小是小于第一尺度特征数据张量的,所以在对二者进行拼接之前需要对第二二过程张量进行上采样处理,具体可通过反卷积运算实现;然后将第二二过程张量的上采样结果通过第一网络的第三卷积单元组的第二数据拼接单元进行拼接;然后将拼接结果输入由5个第十一一维卷积单元组成的连续卷积网络进行连续卷积运算,得到第二三过程张量;
步骤64,将第二一过程张量输入第二人工智能模型的第二网络的第四卷积单元组进行卷积运算,生成第三一过程张量;并将第二二过程张量输入第五卷积单元组进行卷积运算,生成第三二过程张量;并将第二三过程张量输入第六卷积单元组进行卷积运算,生成第三三过程张量;
这里,将通过第一网络的三路数据处理路径后得到的三路输出也即第二一、第二二、第二三过程张量,分别输入第二网络的第四、第五、第六卷积单元组进行卷积运算,从而得到三路运算输出也就是第三一、三二、三三过程张量;
步骤65,将第三一过程张量、第三二过程张量和第三三过程张量输入第一融合单元进行输入融合处理,生成第二片段数据张量。
这里,第二人工智能模型第二网络的第一融合单元的作用是将三路输出的带有QRS波特征信息的数据张量按对应的片段顺序进行特征融合,从而得到第二片段数据张量;第二片段数据张量的形状为B4×H4×W4,B4=B与步骤4中第一片段数据张量的心电片段总数相等,张量中每个形状为H4×W4的第一片段数据矩阵即为对应心电片段的特征数据矩阵;
每个第一片段数据矩阵包括H4个长度为W4的一维向量也就是第一QRS波数据向量,意味着第二人工智能模型将每个心电片段划分成了H4个子片段,每个子片段的特征数据集合长度被设定为W4,该集合的特征数据都与QRS波相关,包括第一QRS波置信度信息,第一QRS波起始点信息、第一QRS波结束点信息和第一QRS波R点信息,以及多个第一QRS波心搏类型概率信息;其中:
第一QRS波置信度信息具体为当前子片段为QRS波特征子片段的概率信息;第一QRS波起始点信息、第一QRS波结束点信息和第一QRS波R点信息,在当前子片段为QRS波特征子片段时,具体为所属QRS波起始位置、结束位置、和R点位置在当前心电片段内的偏移信息;多个第一QRS波心搏类型概率信息在当前子片段若为QRS波特征子片段时,具体为所属QRS波为多个心搏类型的概率;这里的每一个第一QRS波心搏类型概率信息对应一个QRS波心搏类型。
步骤7,基于非极大值抑制原则,根据QRS波置信度和相邻QRS波重合度对第二片段数据张量的第一QRS波数据向量进行筛选处理,生成第三片段数据张量;
其中,第三片段数据张量的形状为B5×H5×W5,B5、H5和W5均为正整数,B5=B,H5≤H4,W5=W4;第三片段数据张量包括B5个形状为H5×W5的第二片段数据矩阵;第二片段数据矩阵包括H5个长度为W5的第二QRS波数据向量;第二QRS波数据向量包括第二QRS波起始点信息、第二QRS波R点信息、第二QRS波结束点信息、第二QRS波置信度信息和W5-4个第二QRS波心搏类型概率信息;每个第二QRS波心搏类型概率信息对应一个QRS波心搏类型;
这里,对第二片段数据张量中的冗余数据进行删除得到第三片段数据张量,因为只是删除冗余的子片段特征向量也就是第一QRS波数据向量,并不改变第一QRS波数据向量的形状,所以第二QRS波数据向量与第一QRS波数据向量的结构是一致的;
具体包括:步骤71,根据QRS置信度对第二片段数据张量进行筛选;
具体为:将第一QRS波置信度信息低于预设的置信度阈值的第一QRS波数据向量从第二片段数据张量中删除;
这里,置信度阈值为预先设定的用于界定当前子片段是否为QRS波特征子片段的阈值信息,例如,置信度阈值为55%;若第一QRS波置信度信息低于置信度阈值,说明当前子片段不是QRS波特征子片段,属于冗余的子片段特征向量应被删除;这样第二片段数据张量中剩下的每个第一QRS波数据向量都对应一个QRS波,同时第一片段数据矩阵的形状也会改变,H4会变小;
步骤72,根据相邻QRS波重合度对第二片段数据张量进行筛选;
具体为:根据第一QRS波起始点信息和第一QRS波结束点信息,确定各个第一QRS波数据向量的第一QRS波位置区域;对任意相邻两个第一QRS波数据向量的第一QRS波位置区域的区域重合度进行计算,生成对应的第一重合度;若第一重合度超过预设的重合度阈值,则将其中第一QRS波置信度信息偏低的第一QRS波数据向量从第二片段数据张量中删除;完成删除后,对剩下的各个第一QRS波数据向量进行持续迭代处理,直到任意相邻两个第一QRS波数据向量的第一重合度低于重合度阈值为止;
这里,第二片段数据张量中每个心电片段对应的第一片段数据矩阵里剩下的多个第一QRS波数据向量中可能会有多个重合的QRS波;导致发生此现象的原因有多种情况,一种情况为在第一、第二人工智能模型中会对数据进行多次拼接和融合处理,这些处理可能会产生数据重叠;另一种情况为前述步骤4中若采用了顺序重合分割方式处理心电片段分割,则必然会造成数据重叠;
对此,本发明实施例会通过判断任意相邻两个第一QRS波数据向量的第一QRS波位置区域的区域重合度也就是第一重合度来进行整理,具体的,若第一重合度超过预设的系统参数重合度阈值(例如,65%),则说明这两个第一QRS波数据向量表征的是同一个QRS波,那么就将第一QRS波置信度信息较低的向量进行删除;
本发明实施例会对任意相邻两个第一QRS波数据向量进行持续迭代处理,直到计算出的任意相邻两个第一QRS波数据向量的第一重合度均低于重合度阈值为止,至此,第二片段数据张量中剩下的每个第一QRS波数据向量对应的QRS波都没有完全重合或高度重合的可能,同时第一片段数据矩阵的形状也会改变,H4会继续变小;
步骤73,将完成筛选的第二片段数据张量,作为第三片段数据张量。
这里,通过步骤71-72的两步筛选之后得到第三片段数据张量,第三片段数据张量形状为B5×H5×W5,B5为心电片段总数与第二片段数据张量的B4应保持一致,W5为第二QRS波数据向量的长度自然也与第二片段数据张量的W4保持一致,因为第三片段数据张量为第二片段数据张量删除了部分第一QRS波数据向量之后得到的,所以H5应小于第二片段数据张量的H4。
步骤8,根据第三片段数据张量进行心搏类型决策,生成对应的第一心搏类型数据序列;
具体包括:步骤81,对第三片段数据张量的第二QRS波数据向量进行轮询,并将当前被轮询的第二QRS波数据向量记为第一当前向量;将第一当前向量的最大数值的第二QRS波心搏类型概率信息对应的QRS波心搏类型,作为与第一当前向量对应的第一心搏类型数据;
这里,由前文可知每个第二QRS波数据向量中包含了多个心搏类型的可能概率信息也就是多个第二QRS波心搏类型概率信息;本发明实施例在对当前QRS波所属心搏类型进行决策时,从多个第二QRS波心搏类型概率信息中选择最大概率值也就是最大数值的第二QRS波心搏类型概率信息作为决策概率,并根据该决策概率对应的QRS波心搏类型确定当前QRS波所属的心搏类型也就是第一心搏类型数据;
步骤82,对得到的所有第一心搏类型数据按顺序排列,生成第一心搏类型数据序列。
步骤9,根据第三片段数据张量进行R点位置统计,生成对应的第一R点位置序列;
具体包括:对第三片段数据张量的第二QRS波数据向量进行轮询,并将当前被轮询的第二QRS波数据向量记为第二当前向量;并将第二当前向量所在的第二片段数据矩阵的索引值记为第一心电片段编号数据;并将第二当前向量的第二QRS波R点信息记为当前R点偏移数据;若步骤4对第三心电图数据进行心电片段分割处理时采用的分割方式为顺序无重合分割方式,则根据第一心电片段编号数据、片段时长和当前R点偏移数据计算对应的第一R点位置,第一R点位置=(第一心电片段编号数据-1)*片段时长+当前R点偏移数据;若步骤4对第三心电图数据进行心电片段分割处理时采用的分割方式为顺序重合分割方式,则根据第一心电片段编号数据、分割滑窗时长和当前R点偏移数据计算对应的第一R点位置,第一R点位置=(第一心电片段编号数据-1)*分割滑窗时长+当前R点偏移数据。
这里,因为每个第二QRS波数据向量中的第二QRS波R点信息都是基于当前心电片段起始位置的偏移信息,所以在最后确定每个QRS波R点的绝对位置时,需要参考所在心电片段的起始位置信息。
步骤10,根据第一R点位置序列和第一心搏类型数据序列,对第三心电图数据进行R点和心搏类型标注处理,生成第四心电图数据。
这里,第一R点位置序列体现了每个QRS波R点相对于整个心电图起始位置的相对位置信息,所以根据该序列可以在第三心电图数据上精确的标注出对应的R点;因为第一心搏类型数据序列的第一心搏类型数据与第一R点位置序列的第一R点位置是一一对应的,所以在完成了R点标记之后,即可根据二者的对应关系从第一心搏类型数据序列中提取对应的第一心搏类型数据对各个R点所在QRS波进行心搏类型标注。
图3为本发明实施例二提供的一种基于人工智能模型定位QRS波并进行分类的装置的模块结构图,该装置可以为实现本发明实施例方法的终端设备或者服务器,也可以为与上述终端设备或者服务器连接的实现本发明实施例方法的装置,例如该装置可以是上述终端设备或者服务器的装置或芯片系统。如图3所示,该装置包括:获取模块201、预处理模块202、QRS波定位与类型识别模块203、数据优化模块204和心电图标注模块205。
获取模块201用于获取第一心电图数据。
预处理模块202用于对第一心电图数据进行滤波处理,生成第二心电图数据;并按预设的目标采样率对第二心电图数据进行下采样处理,生成第三心电图数据;并按预设的片段时长对第三心电图数据进行心电片段分割处理,生成第一片段数据张量。
QRS波定位与类型识别模块203用于基于第一人工智能模型对第一片段数据张量进行QRS波特征数据提取处理,生成三个尺度的特征数据张量;并基于第二人工智能模型对三个尺度的特征数据张量进行QRS波类型识别处理,生成第二片段数据张量;第二片段数据张量包括多个第一QRS波数据向量。
数据优化模块204用于基于非极大值抑制原则,根据QRS波置信度和相邻QRS波重合度对第二片段数据张量的第一QRS波数据向量进行筛选处理,生成第三片段数据张量。
心电图标注模块205用于根据第三片段数据张量进行心搏类型决策,生成对应的第一心搏类型数据序列;并根据第三片段数据张量进行R点位置统计,生成对应的第一R点位置序列;并根据第一R点位置序列和第一心搏类型数据序列,对第三心电图数据进行R点和心搏类型标注处理,生成第四心电图数据。
本发明实施例提供的一种基于人工智能模型定位QRS波并进行分类的装置,可以执行上述方法实施例中的方法步骤,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,获取模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,ASIC),或,一个或多个数字信号处理器(Digital Signal Processor,DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(System-on-a-chip,SOC)的形式实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本发明实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路(Digital Subscriber Line,DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
图4为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器,也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图4所示,该电子设备可以包括:处理器301(例如CPU)、存储器302、收发器303;收发器303耦合至处理器301,处理器301控制收发器303的收发动作。存储器302中可以存储各种指令,以用于完成各种处理功能以及实现本发明上述实施例中提供的方法和处理过程。优选的,本发明实施例涉及的电子设备还包括:电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图4中提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory,RAM),也可能还包括非易失性存储器(Non-Volatile Memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器CPU、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是,本发明实施例还提供一种计算机可读存储介质,该存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片,该芯片用于执行上述实施例中提供的方法和处理过程。
本发明实施例提供了一种基于人工智能模型定位QRS波并进行分类的方法、装置、电子设备及计算机可读存储介质,在对心电图数据完成滤波和降采样之后,使用人工智能模型对心电图数据进行特征提取从而得到多个尺度的特征数据,对多个尺度的特征数据继续基于人工智能模型进行QRS波位置和心搏类型识别从而得到带有心搏级语义信息的心电图数据,期间还根据QRS波置信度和相邻QRS波重合度对心电图语义分割数据进行极大值抑制从而最大程度保证了心电图数据的识别精度。通过本发明,有效地去除了心电图数据中的噪声和干扰数据,实现了心搏级QRS波语义分割(包括R点位置与心搏类型),提高了识别精度。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于人工智能模型定位QRS波并进行分类的方法,其特征在于,所述方法包括:
获取第一心电图数据;
对所述第一心电图数据进行滤波处理,生成第二心电图数据;
按预设的目标采样率对所述第二心电图数据进行下采样处理,生成第三心电图数据;
按预设的片段时长对所述第三心电图数据进行心电片段分割处理,生成第一片段数据张量;
基于第一人工智能模型对所述第一片段数据张量进行QRS波特征数据提取处理,生成三个尺度的特征数据张量;
基于第二人工智能模型对所述三个尺度的特征数据张量进行QRS波类型识别处理,生成第二片段数据张量;所述第二片段数据张量包括多个第一QRS波数据向量;
基于非极大值抑制原则,根据QRS波置信度和相邻QRS波重合度对所述第二片段数据张量的所述第一QRS波数据向量进行筛选处理,生成第三片段数据张量;
根据所述第三片段数据张量进行心搏类型决策,生成对应的第一心搏类型数据序列;
根据所述第三片段数据张量进行R点位置统计,生成对应的第一R点位置序列;
根据所述第一R点位置序列和所述第一心搏类型数据序列,对所述第三心电图数据进行R点和心搏类型标注处理,生成第四心电图数据;
其中,所述第一片段数据张量的形状为B×W,B为心电片段总数,W为单个心电片段的数据总数;所述第一片段数据张量包括B个长度为W的第一片段数据向量;
所述三个尺度的特征数据张量包括第一尺度特征数据张量、第二尺度特征数据张量和第三尺度特征数据张量;
所述第一尺度特征数据张量的形状为B1×H1×W1,所述第二尺度特征数据张量的形状为B2×H2×W2,所述第三尺度特征数据张量的形状为B3×H3×W3,B1、B2、B3、H1、H2、H3、W1、W2和W3均为正整数,B1=B2=B3=B,H1>H2>H3,W1=W2=W3;
所述第二片段数据张量的形状为B4×H4×W4,B4、H4和W4均为正整数,B4=B;所述第二片段数据张量包括B4个形状为H4×W4的第一片段数据矩阵;所述第一片段数据矩阵包括H4个长度为W4的所述第一QRS波数据向量;所述第一QRS波数据向量包括第一QRS波起始点信息、第一QRS波R点信息、第一QRS波结束点信息、第一QRS波置信度信息和W4-4个第一QRS波心搏类型概率信息;每个所述第一QRS波心搏类型概率信息对应一个QRS波心搏类型;
所述第三片段数据张量的形状为B5×H5×W5,B5、H5和W5均为正整数,B5=B,H5≤H4,W5=W4;所述第三片段数据张量包括B5个形状为H5×W5的第二片段数据矩阵;所述第二片段数据矩阵包括H5个长度为W5的第二QRS波数据向量;所述第二QRS波数据向量包括第二QRS波起始点信息、第二QRS波R点信息、第二QRS波结束点信息、第二QRS波置信度信息和W5-4个第二QRS波心搏类型概率信息;每个所述第二QRS波心搏类型概率信息对应一个所述QRS波心搏类型;
所述第一人工智能模型包括第一卷积模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块和第五残差模块;
所述第一卷积模块包括第一归一化层和第一一维卷积单元;所述第一一维卷积单元包括第二归一化层、第一一维卷积层和第一激活层;所述第一激活层的激活函数为LeakeyReLU激活函数;
所述第一残差模块包括第一补零层、第二一维卷积单元和循环次数为1的第一残差单元;所述第一残差单元包括第三一维卷积单元、第四一维卷积单元和第一残差层;所述第二一维卷积单元、所述第三一维卷积单元、所述第四一维卷积单元的网络结构均与所述第一一维卷积单元的网络结构一致;当循环次数大于1时,将所述第一残差层的输出数据送至所述第三一维卷积单元作为输入数据进行循环计算,直至循环计算的总次数大于循环次数为止;
所述第二残差模块包括第二补零层、第五一维卷积单元和循环次数为2的第二残差单元;所述第二残差单元的网络结构和所述第一残差单元的网络结构一致;所述第五一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第三残差模块包括第三补零层、第六一维卷积单元和循环次数为8的第三残差单元;所述第三残差单元的网络结构和所述第一残差单元的网络结构一致;所述第六一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第四残差模块包括第四补零层、第七一维卷积单元和循环次数为8的第四残差单元;所述第四残差单元的网络结构和所述第一残差单元的网络结构一致;所述第七一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第五残差模块包括第五补零层、第八一维卷积单元和循环次数为4的第五残差单元;所述第五残差单元的网络结构和所述第一残差单元的网络结构一致;所述第八一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第二人工智能模型包括第一网络和第二网络;
所述第一网络包括第一卷积单元组、第二卷积单元组和第三卷积单元组;
所述第一卷积单元组包括5个第九一维卷积单元;所述第九一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第二卷积单元组包括第一数据拼接单元和5个第十一维卷积单元;所述第十一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第三卷积单元组包括第二数据拼接单元和5个第十一一维卷积单元;所述第十一一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第二网络包括第四卷积单元组、第五卷积单元组、第六卷积单元组和第一融合单元;
所述第四卷积单元组包括第十二一维卷积单元和第二一维卷积层;所述第十二一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第五卷积单元组包括第十三一维卷积单元和第三一维卷积层;所述第十三一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述第六卷积单元组包括第十四一维卷积单元和第四一维卷积层;所述第十四一维卷积单元的网络结构与所述第一一维卷积单元的网络结构一致;
所述基于第一人工智能模型对所述第一片段数据张量进行QRS波特征数据提取处理,生成三个尺度的特征数据张量,具体包括:
将所述第一片段数据张量输入所述第一人工智能模型的所述第一卷积模块进行归一化处理,并对归一化结果进行卷积运算,并对卷积结果进行激活运算生成第一一过程张量;
将所述第一一过程张量输入所述第一残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第一二过程张量;
将所述第一二过程张量输入所述第二残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第一三过程张量;
将所述第一三过程张量输入所述第三残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第一尺度特征数据张量;
将所述第一尺度特征数据张量输入所述第四残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第二尺度特征数据张量;
将所述第二尺度特征数据张量输入所述第五残差模块进行补零运算,并对编码结果进行卷积运算,并对卷积结果进行残差运算生成第三尺度特征数据张量;
由所述第一尺度特征数据张量、所述第二尺度特征数据张量和所述第三尺度特征数据张量组成所述三个尺度的特征数据张量;
所述基于第二人工智能模型对所述三个尺度的特征数据张量进行QRS波类型识别处理,生成第二片段数据张量,具体包括:
将所述三个尺度的特征数据张量的第三尺度特征数据张量输入所述第二人工智能模型的所述第一网络的所述第一卷积单元组进行连续卷积运算,生成第二一过程张量;
对所述第二一过程张量进行上采样处理,并将上采样结果与所述三个尺度的特征数据张量的第二尺度特征数据张量输入所述第二卷积单元组进行数据拼接,并对拼接结果进行连续卷积运算,生成第二二过程张量;
对所述第二二过程张量进行上采样处理,并将上采样结果与所述三个尺度的特征数据张量的第一尺度特征数据张量输入所述第三卷积单元组进行数据拼接,并对拼接结果进行连续卷积运算,生成第二三过程张量;
将所述第二一过程张量输入所述第二人工智能模型的所述第二网络的所述第四卷积单元组进行卷积运算,生成第三一过程张量;并将所述第二二过程张量输入所述第五卷积单元组进行卷积运算,生成第三二过程张量;并将所述第二三过程张量输入所述第六卷积单元组进行卷积运算,生成第三三过程张量;
将所述第三一过程张量、所述第三二过程张量和所述第三三过程张量输入所述第一融合单元进行输入融合处理,生成所述第二片段数据张量。
2.根据权利要求1所述的基于人工智能模型定位QRS波并进行分类的方法,其特征在于,所述基于非极大值抑制原则,根据QRS波置信度和相邻QRS波重合度对所述第二片段数据张量的所述第一QRS波数据向量进行筛选处理,生成第三片段数据张量,具体包括:
根据QRS置信度对所述第二片段数据张量进行筛选;将所述第一QRS波置信度信息低于预设的置信度阈值的所述第一QRS波数据向量从所述第二片段数据张量中删除;
根据相邻QRS波重合度对所述第二片段数据张量进行筛选;根据所述第一QRS波起始点信息和所述第一QRS波结束点信息,确定各个所述第一QRS波数据向量的第一QRS波位置区域;对任意相邻两个所述第一QRS波数据向量的所述第一QRS波位置区域的区域重合度进行计算,生成对应的第一重合度;若所述第一重合度超过预设的重合度阈值,则将其中所述第一QRS波置信度信息偏低的所述第一QRS波数据向量从所述第二片段数据张量中删除;完成删除后,对剩下的各个所述第一QRS波数据向量进行持续迭代处理,直到任意相邻两个所述第一QRS波数据向量的所述第一重合度低于所述重合度阈值为止;
将完成筛选的所述第二片段数据张量,作为所述第三片段数据张量。
3.根据权利要求1所述的基于人工智能模型定位QRS波并进行分类的方法,其特征在于,所述根据所述第三片段数据张量进行心搏类型决策,生成对应的第一心搏类型数据序列,具体包括:
对所述第三片段数据张量的所述第二QRS波数据向量进行轮询,并将当前被轮询的所述第二QRS波数据向量记为当前向量;将所述当前向量的最大数值的所述第二QRS波心搏类型概率信息对应的所述QRS波心搏类型,作为与所述当前向量对应的第一心搏类型数据;
对得到的所有所述第一心搏类型数据按顺序排列,生成所述第一心搏类型数据序列。
4.一种用于实现权利要求1-3任一项所述的基于人工智能模型定位QRS波并进行分类的方法步骤的装置,其特征在于,所述装置包括:获取模块、预处理模块、QRS波定位与类型识别模块、数据优化模块和心电图标注模块;
所述获取模块用于获取第一心电图数据;
所述预处理模块用于对所述第一心电图数据进行滤波处理,生成第二心电图数据;并按预设的目标采样率对所述第二心电图数据进行下采样处理,生成第三心电图数据;并按预设的片段时长对所述第三心电图数据进行心电片段分割处理,生成第一片段数据张量;
所述QRS波定位与类型识别模块用于基于第一人工智能模型对所述第一片段数据张量进行QRS波特征数据提取处理,生成三个尺度的特征数据张量;并基于第二人工智能模型对所述三个尺度的特征数据张量进行QRS波类型识别处理,生成第二片段数据张量;所述第二片段数据张量包括多个第一QRS波数据向量;
所述数据优化模块用于基于非极大值抑制原则,根据QRS波置信度和相邻QRS波重合度对所述第二片段数据张量的所述第一QRS波数据向量进行筛选处理,生成第三片段数据张量;
所述心电图标注模块用于根据所述第三片段数据张量进行心搏类型决策,生成对应的第一心搏类型数据序列;并根据所述第三片段数据张量进行R点位置统计,生成对应的第一R点位置序列;并根据所述第一R点位置序列和所述第一心搏类型数据序列,对所述第三心电图数据进行R点和心搏类型标注处理,生成第四心电图数据。
5.一种电子设备,其特征在于,包括:存储器、处理器和收发器;
所述处理器用于与所述存储器耦合,读取并执行所述存储器中的指令,以实现权利要求1-3任一项所述的方法步骤;
所述收发器与所述处理器耦合,由所述处理器控制所述收发器进行消息收发。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令被计算机执行时,使得所述计算机执行权利要求1-3任一项所述的方法的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111211803.8A CN113892955B (zh) | 2021-10-18 | 2021-10-18 | 基于人工智能模型定位qrs波并进行分类的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111211803.8A CN113892955B (zh) | 2021-10-18 | 2021-10-18 | 基于人工智能模型定位qrs波并进行分类的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113892955A CN113892955A (zh) | 2022-01-07 |
CN113892955B true CN113892955B (zh) | 2024-03-29 |
Family
ID=79192606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111211803.8A Active CN113892955B (zh) | 2021-10-18 | 2021-10-18 | 基于人工智能模型定位qrs波并进行分类的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113892955B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107951485A (zh) * | 2017-11-27 | 2018-04-24 | 乐普(北京)医疗器械股份有限公司 | 基于人工智能自学习的动态心电图分析方法和装置 |
CN110415170A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 一种基于多尺度注意力卷积神经网络的图像超分辨率方法 |
CN111259820A (zh) * | 2020-01-17 | 2020-06-09 | 上海优加利健康管理有限公司 | 一种基于r点的心搏数据分类方法和装置 |
CN111407261A (zh) * | 2020-03-31 | 2020-07-14 | 京东方科技集团股份有限公司 | 生物信号的周期信息的测量方法及装置、电子设备 |
CN111772619A (zh) * | 2020-06-19 | 2020-10-16 | 厦门纳龙科技有限公司 | 一种心电图心搏识别方法、终端设备及存储介质 |
CN112270212A (zh) * | 2020-10-10 | 2021-01-26 | 深圳市凯沃尔电子有限公司 | 基于多导联心电信号生成心搏标签数据序列的方法和装置 |
-
2021
- 2021-10-18 CN CN202111211803.8A patent/CN113892955B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107951485A (zh) * | 2017-11-27 | 2018-04-24 | 乐普(北京)医疗器械股份有限公司 | 基于人工智能自学习的动态心电图分析方法和装置 |
CN110415170A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 一种基于多尺度注意力卷积神经网络的图像超分辨率方法 |
CN111259820A (zh) * | 2020-01-17 | 2020-06-09 | 上海优加利健康管理有限公司 | 一种基于r点的心搏数据分类方法和装置 |
CN111407261A (zh) * | 2020-03-31 | 2020-07-14 | 京东方科技集团股份有限公司 | 生物信号的周期信息的测量方法及装置、电子设备 |
CN111772619A (zh) * | 2020-06-19 | 2020-10-16 | 厦门纳龙科技有限公司 | 一种心电图心搏识别方法、终端设备及存储介质 |
CN112270212A (zh) * | 2020-10-10 | 2021-01-26 | 深圳市凯沃尔电子有限公司 | 基于多导联心电信号生成心搏标签数据序列的方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于1-D CNN的QRS波群检测算法;郭新杰 等;计算机工程与设计;20200916;第41卷(第9期);第2469-2475页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113892955A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11564612B2 (en) | Automatic recognition and classification method for electrocardiogram heartbeat based on artificial intelligence | |
CN109948647B (zh) | 一种基于深度残差网络的心电图分类方法及系统 | |
US11216950B2 (en) | Method and system for automatically segmenting blood vessel in medical image by using machine learning and image processing algorithm | |
JP6389907B2 (ja) | Gpuによる心電信号の並列解析方法 | |
CN111292314B (zh) | 冠脉分段方法、装置、图像处理系统和存储介质 | |
US20200402204A1 (en) | Medical imaging using neural networks | |
US10627470B2 (en) | System and method for learning based magnetic resonance fingerprinting | |
WO2020114329A1 (zh) | 磁共振快速参数成像方法及装置 | |
CN111462264B (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
US20220036561A1 (en) | Method for image segmentation, method for training image segmentation model | |
JP2022516146A (ja) | 脳血管疾患学習装置、脳血管疾患検出装置、脳血管疾患学習方法、及び脳血管疾患検出方法 | |
CN112270212B (zh) | 基于多导联心电信号生成心搏标签数据序列的方法和装置 | |
CN111915691B (zh) | 基于神经网络的图像处理系统、方法、终端、及介质 | |
CN110379491B (zh) | 识别脑胶质瘤方法、装置、设备和存储介质 | |
CN111968137A (zh) | 头部ct图像分割方法、装置、电子设备及存储介质 | |
WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
CN109816650A (zh) | 一种基于二维dsa图像的目标区域识别方法及其系统 | |
CN110874855B (zh) | 一种协同成像方法、装置、存储介质和协同成像设备 | |
CN109754397A (zh) | 血管段中心路径的提取方法、装置、终端设备及存储介质 | |
Wang et al. | Multiscale kernels for enhanced U-shaped network to improve 3D neuron tracing | |
CN113724203B (zh) | 应用于oct图像中目标特征分割的模型训练方法及装置 | |
CN111063000B (zh) | 基于神经网络结构搜索的磁共振快速成像方法和装置 | |
CN113892955B (zh) | 基于人工智能模型定位qrs波并进行分类的方法和装置 | |
Rezaei et al. | Multi-task generative adversarial network for handling imbalanced clinical data | |
CN112488982A (zh) | 一种超声图像检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |