CN114271831B - 心音图信号转换心电图信号的方法、系统以及设备 - Google Patents
心音图信号转换心电图信号的方法、系统以及设备 Download PDFInfo
- Publication number
- CN114271831B CN114271831B CN202210213620.8A CN202210213620A CN114271831B CN 114271831 B CN114271831 B CN 114271831B CN 202210213620 A CN202210213620 A CN 202210213620A CN 114271831 B CN114271831 B CN 114271831B
- Authority
- CN
- China
- Prior art keywords
- signal
- phonocardiogram
- module
- electrocardiogram signal
- electrocardiogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种心音图信号转换心电图信号的方法，包括以下步骤：同时采集心音图和单导联心电图信号数据，并且降采样至预设的相同频率；执行数据离散化处理，两种信号的信号值被从浮点数范围离散化至整数范围；提取心电图信号的心动周期片段；截取同时采集的心音图信号对应的心动周期片段；选取输入基准长度，其中，如果长度超过输入基准长度，截取到输入基准长度，如果不足输入基准长度，在后面执行补零处理；构建心音图信号‑心电图信号转换模型；执行心音图信号‑心电图信号转换模型的训练；以及执行心音图信号‑心电图信号转换模型的应用。
Description
技术领域
本发明涉及计算机数据处理领域，尤其涉及一种心音图信号转换心电图信号的方法、系统以及设备。
背景技术
心肌细胞的运动以及整个心脏跳动节律的调节依赖于心肌细胞的电生理特性，可以理解为沿心肌细胞膜以及心肌细胞间传递的电流（由膜内外离子环境变化产生）激发了心肌细胞的收缩，从而引起整个心脏的收缩和舒张。这些电流可以由置于体表的电极进行采集并记录，进而得到心电图信号(ECG，Electrocardiogram signal)。
心音是心脏收缩和舒张时，由瓣膜开合以及血液冲击血管壁产生的声音，可以借助听诊器在胸壁听到，也可以利用麦克风将声音信号转化为电信号再记录下来，并得到心音图信号(PCG，Phonocardiogram signal)。
心电图信号和心音图信号分别基于心脏的电生理特性和机械特性，是心脏状态的两种不同表现形式，因此两者之间具有紧密的联系。然而，通常认为心电图信号和心音图信号包含的信息不同，心电图信号可以用来判断心脏电信号的传导是否存在异常，但是其对于心脏结构相关问题的特异性较差，而心音图信号可以作为心电图信号的补充，作为心脏结构相关问题判断的依据。通常的技术手段并不能实现这两种信号间的互相转化。
发明内容
本发明的目的之一在于提供一种心音图信号转换心电图信号的方法、系统以及设备，能够通过深度学习，捕捉到心电图信号以及心音图信号的细节，并利用大量训练实例以及层级式复杂的函数关系构建出两种信号的联系从而完成转化。
本发明的目的之一在于提供一种心音图信号转换心电图信号的方法、系统以及设备，能够建立心音图信号-心电图信号转换模型，实现两种信号的转化。
本发明的目的之一在于提供一种心音图信号转换心电图信号的方法、系统以及设备，能够对心音图信号-心电图信号转换模型进行训练。
为了实现本发明的至少一个发明目的，提供了一种心音图信号转换心电图信号的方法，所述心音图信号转换心电图信号的方法包括以下步骤：
同时采集心音图和单导联心电图信号数据，并且降采样至相同频率；
执行数据离散化处理，两种信号的信号值被从浮点数范围离散化至整数范围；
提取心电图信号的心动周期片段；
截取同时采集的心音图信号对应的心动周期片段；
选取输入基准长度，其中，如果长度超过输入基准长度，截取到输入基准长度，如果不足输入基准长度，在后面执行补零处理；
构建心音图信号-心电图信号转换模型；
执行心音图信号-心电图信号转换模型的训练；以及
执行心音图信号-心电图信号转换模型的应用；
其中，所述构建心音图信号-心电图信号转换模型步骤还包括以下步骤：
心音图信号-心电图信号转换模型的编码器和解码器之前设置嵌入模块以及位置编码模块，嵌入模块的结果和位置编码模块的结果执行加合而获取编码器或者解码器的输入数据；
在心音图信号-心电图信号转换模型中设置编码器和解码器，编码器包括三个串联连接的编码模块，解码器包括三个解码模块，编码器最后的输出作为三个解码模块交叉注意力头输入的一部分；其中编码模块执行编码模块计算，解码模块执行解码模块计算；以及
解码器的结果经过最后的线性变化后，每一个预测的信号点都被表示为一个对应维度的向量；经过注意力权重计算后选择概率最大的一个值作为对应心电图信号点的预测值。
在一些实施例中，所述心音图信号转换心电图信号的方法还包括以下步骤：其中所述降采样步骤中降采样至250Hz；所述离散化步骤中将两种信号的信号值由[-1,1]的浮点数范围离散化至[0,255]整数范围，并且当离散至[0,255]整数范围时，线性变化结果为256维的向量；所述选取输入基准长度步骤中选取所有截取的心动周期信号长度的95个百分位作为输入基准长度或者选取常规人静息状态下心动周期的周期长度作为输入基准长度。
在一些实施例中，其中所述心动周期提取步骤还包括以下步骤：判断每一条心电图信号中的所有R波位置；计算每一条心电图信号的所有R-R间期，并取中位数作为该条心电图信号对应的R-R间期，以rr_length表示，以用作后续数据计算；以及截取每一个R波位置之前（4/15）*rr_length至之后（11/15）*rr_length的信号部分作为一个心动周期片段。
在一些实施例中，其中所述心音图信号-心电图信号转换模型训练步骤还包括以下步骤：
获取心音图信号心动周期片段和心电图信号心动周期片段，并将其按4:1分为训练数据集和评估数据集；
心音图数据作为编码器的输入，心电图数据作为解码器的输入以及标注，作为心电图数据真实值；损失函数为一个心动周期内的每个心电图信号预测值的概率向量和心电图信号真实值的一位热码表示的交叉熵在一个心动周期内的平均；以及
在训练迭代的过程中，当损失函数值在评估数据集中开始上升时，停止训练；
其中心电图信号真实值的取值范围为[0,255]，批处理大小为32，学习速率为5×10-5。
在一些实施例中，其中所述心音图信号-心电图信号转换模型的应用步骤包括以下步骤：
向心音图信号-心电图信号转换模型输入一个或几个心音图心动周期信号；
心音图信号-心电图信号转换模型将心音图信号输入编码器并得到编码器输出；
同时，心音图信号-心电图信号转换模型向解码器输入一个代表开始的值；以及
解码器利用编码器输出及解码器的输入逐个算出下一个预测的心电图信号值，并将此值传回至解码器输入，如此反复，最终得到和输入心音图等长的心电图数据并输出。
在一些实施例中，其中嵌入模块用于将每一个一维的采样点用一位256维的热码表示，并转化为预设的模型维度；心音图的一个心动周期信号的维度为输入基准长度*1，作为一整个输入，嵌入模块用于将一整个输入转化为输入基准长度*预设模型维度；位置编码模块用于给每一个采样点赋予一个包含一个心动周期中特定位置的预设模型维度向量。
在一些实施例中，其中预设输入基准长度为max_length，模型维度为d_model，批处理大小为batch_size；嵌入模块将每一个采样点用一位热码表示，并转化为d_model维；对于维度为max_length*1的心音图的一个心动周期信号，嵌入模块将其转化为max_length*d_model；位置编码模块给每一个采样点赋予一个包含一个心动周期中特定位置的d_model维向量；嵌入模块的结果和位置编码模块的结果加合得到编码器或者解码器的输入，维度为batch_size*max_length*d_model。
在一些实施例中，其中编码模块包括四个自注意力头，解码模块包括四个自注意力头以及四个交叉注意力头，其中，自注意力头或者交叉注意力头机制均执行三步计算步骤：
将输入注意力头的某一个或两个输入张量通过三个不同的线性变化转化为三个不同的张量Q、K、V，其中，对于编码模块的自注意力头，Q、K、V均来自编码模块输入，第一个编码模块的输入来自心音图信号；其中，对于解码模块的自注意力头，Q、K、V均来自解码模块输入，第一个解码模块的输入来自训练时的真实心电图信号，或者来自应用时的预测心电图信号；其中，对于解码模块的交叉注意力头，K、V来自编码器输出，Q来自解码模块输入；
执行注意力权重计算，其中，注意力权重=softmax(QKT) ，KT表示K的转置；以及
执行注意力头输出计算，其中，注意力头输出=注意力权重×V。
在一些实施例中，其中所述执行编码模块计算步骤包括以下步骤：
进入四个自注意力头之前，数据首先被复制作为第一残差，同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，并进行正则化处理；以及
处理后的数据被复制作为第二残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第二残差，再正则化得到编码模块输出。
在一些实施例中，其中所述执行解码模块计算步骤包括以下步骤：
进入四个自注意力头之前，数据首先被复制作为第一残差同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第一残差，并进行正则化处理；
处理后的数据被复制作为第二残差，同时被均分为四等份和编码模块输出一同进入并连的四个交叉注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的交叉注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第二残差，并进行正则化处理；以及
处理后的数据被复制作为第三残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第三残差，再正则化得到解码模块输出。
根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时执行所述的心音图信号转换心电图信号的方法的步骤。
根据本发明的另一方面，还提供了一种心音图信号转换心电图信号的设备，包括：
存储器，用于存储软件应用程序，
处理器，用于执行所述软件应用程序，所述软件应用程序的各程序相对应地执行所述的心音图信号转换心电图信号的方法中的步骤。
根据本发明的另一方面，还提供了一种心音图信号转换心电图信号系统，所述心音图信号转换心电图信号系统包括心音图和单导联心电图信号数据降采样装置、数据离散化处理装置、心动周期片段提取装置、心动周期片段截取装置、心动周期信号长度截取装置、心音图信号-心电图信号转换模型构建装置以及心音图信号-心电图信号转换模型应用装置，其中所述心音图和单导联心电图信号数据降采样装置被配置为：同时采集心音图和单导联心电图信号数据，并且降采样至250Hz；其中所述数据离散化处理装置被配置为：执行数据离散化处理，两种信号的信号值被从浮点数范围离散化至整数范围；其中所述心动周期片段提取装置被配置为：判断每一条心电图信号中的所有R波位置；计算每一条心电图信号的所有R-R间期，并取中位数作为该条心电图信号对应的R-R间期，以rr_length表示，以用作后续数据计算；以及截取每一个R波位置之前（4/15）*rr_length至之后（11/15）*rr_length的信号部分作为一个心动周期片段；其中所述心动周期片段截取装置被配置为：截取同时采集的心音图信号对应的心动周期片段；其中所述心动周期信号长度截取装置被配置为：选取所有截取的心动周期信号长度的95个百分位作为输入基准长度，其中，如果长度超过输入基准长度，截取到输入基准长度，如果不足输入基准长度，在后面执行补零处理；其中所述心音图信号-心电图信号转换模型构建装置被配置为：心音图信号-心电图信号转换模型的编码器和解码器之前设置嵌入模块以及位置编码模块，嵌入模块的结果和位置编码模块的结果执行加合而获取编码器或者解码器的输入数据；在心音图信号-心电图信号转换模型中设置编码器和解码器，编码器包括三个串联连接的编码模块，解码器包括三个解码模块，编码器最后的输出作为三个解码模块交叉注意力头输入的一部分；其中编码模块执行编码模块计算，解码模块执行解码模块计算；以及解码器的结果经过最后的线性变化后，每一个预测的信号点都被表示为一个256维的向量；经过注意力权重计算后选择概率最大的一个值作为对应心电图信号点的预测值；其中所述心音图信号-心电图信号转换模型应用装置被配置为：向心音图信号-心电图信号转换模型输入一个或几个心音图心动周期信号；心音图信号-心电图信号转换模型将心音图信号输入编码器并得到编码器输出；同时，心音图信号-心电图信号转换模型向解码器输入一个代表开始的值；以及解码器利用编码器输出及解码器的输入逐个算出下一个预测的心电图信号值，并将此值传回至解码器输入，如此反复，最终得到和输入心音图等长的心电图数据并输出。
在一些实施例中，其中所述心音图信号-心电图信号转换模型构建装置的所述编码模块包括四个自注意力头，所述解码模块包括四个自注意力头以及四个交叉注意力头，其中，自注意力头或者交叉注意力头机制均执行三步计算步骤：将输入注意力头的某一个或两个输入张量通过三个不同的线性变化转化为三个不同的张量Q、K、V，其中，对于编码模块的自注意力头，Q、K、V均来自编码模块输入，第一个编码模块的输入来自心音图信号；其中，对于解码模块的自注意力头，Q、K、V均来自解码模块输入，第一个解码模块的输入来自训练时的真实心电图信号，或者来自应用时的预测心电图信号；其中，对于解码模块的交叉注意力头，K、V来自编码器输出，Q来自解码模块输入；执行注意力权重计算，其中，注意力权重=softmax(QKT) ，KT表示K的转置；以及执行注意力头输出计算，其中，注意力头输出=注意力权重×V。
在一些实施例中，其中所述心音图信号-心电图信号转换模型构建装置还被配置为：执行编码模块计算以及执行解码模块计算；
其中，执行编码模块计算：进入四个自注意力头之前，数据首先被复制作为第一残差，同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，并进行正则化处理；以及处理后的数据被复制作为第二残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第二残差，再正则化得到编码模块输出；
其中，执行解码模块计算：进入四个自注意力头之前，数据首先被复制作为第一残差同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第一残差，并进行正则化处理；处理后的数据被复制作为第二残差，同时被均分为四等份和编码模块输出一同进入并连的四个交叉注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的交叉注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第二残差，并进行正则化处理；以及处理后的数据被复制作为第三残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第三残差，再正则化得到解码模块输出。
在一些实施例中，其中所述心音图信号转换心电图信号系统还包括心音图信号-心电图信号转换模型训练装置，所述心音图信号-心电图信号转换模型训练装置被配置为：获取心音图信号心动周期片段和心电图信号心动周期片段，并将其按4:1分为训练数据集和评估数据集；心音图数据作为编码器的输入，心电图数据作为解码器的输入以及标注，作为心电图数据真实值；损失函数为一个心动周期内的每个心电图信号预测值的概率向量和心电图信号真实值的一位热码表示的交叉熵在一个心动周期内的平均；以及在训练迭代的过程中，当损失函数值在评估数据集中开始上升时，停止训练；其中批处理大小为32，学习速率为5×10-5。
根据本发明的另一方面，还提供了一种心音图信号转换心电图信号设备，所述心音图信号转换心电图信号设备包括心音图和单导联心电图信号数据处理模块、心音图信号-心电图信号转换模型构建模块、心音图信号-心电图信号转换模型训练模块以及心音图信号-心电图信号转换模型应用模块，所述心音图和单导联心电图信号数据处理模块用于将同时采集的心音图和单导联心电图信号数据降采样、信号值范围离散化、截取心动周期片段并且选取所有截取的心动周期信号长度的95个百分位作为输入基准长度，所述心音图信号-心电图信号转换模型构建模块用于搭建心音图信号-心电图信号转换模型，所述心音图信号-心电图信号转换模型训练模块用于模型的训练，所述心音图信号-心电图信号转换模型应用模块用于模型的应用；其中，所述心音图信号-心电图信号转换模型构建模块包括嵌入模块、位置编码模块、编码器和解码器，所述嵌入模块以及所述位置编码模块被设置于所述编码器和所述解码器之前，所述嵌入模块的结果和所述位置编码模块的结果加合得到所述编码器或者所述解码器的输入，所述编码器包括三个串联连接的编码模块，所述编码模块包括四个自注意力头，所述解码器包括三个解码模块，所述解码模块包括四个自注意力头以及四个交叉注意力头，所述编码器最后的输出作为三个所述解码模块交叉注意力头输入的一部分；其中所述心音图信号-心电图信号转换模型训练模块用于获取心音图信号心动周期片段和心电图信号心动周期片段,并将其按4:1分为训练数据集和评估数据集，心音图数据作为所述编码器的输入，心电图数据作为所述解码器的输入以及标注为心电图数据真实值，损失函数为一个心动周期内的每个心电图信号预测值的概率向量和心电图信号真实值的一位热码表示的交叉熵在一个心动周期内的平均；在训练迭代的过程中，当损失函数值在评估数据集中开始上升时，所述心音图信号-心电图信号转换模型训练模块停止训练；当所述心音图信号-心电图信号转换模型构建模块搭建的心音图信号-心电图信号转换模型接收到至少一心音图心动周期信号，将心音图信号输入所述编码器并得到所述编码器输出，同时，心音图信号-心电图信号转换模型向所述解码器输入一个代表开始的值，所述解码器利用所述编码器输出及所述解码器的输入逐个算出下一个预测的心电图信号值，并将此值传回至所述解码器输入，如此反复，最终得到和输入心音图等长的心电图数据。
在一些实施例中，其中所述心音图信号转换心电图信号设备的所述心音图和单导联心电图信号数据处理模块包括数据降采样模块、信号值范围离散化模块、心电图信号的心动周期片段提取模块、心动周期片段截取模块、以及心动周期信号长度截取模块，其中所述信号值范围离散化模块用于将两种信号的信号值由[-1,1]的浮点数范围离散化至[0,255]整数范围；其中所述心动周期片段提取模块用于判断每一条心电图信号中的所有R波位置；求每一条心电图信号的所有R-R间期，并取中位数作为此条心电图信号对应的R-R间期，以rr_length表示，以用作后续数据计算；以及截取每一个R波位置之前（4/15）*rr_length至之后（11/15）*rr_length的信号部分作为一个心动周期片段；从而提取心电图信号的心动周期片段；其中所述心动周期片段截取模块用于截取同时采集的心音图信号对应的心动周期片段；其中所述心动周期信号长度截取模块用于选取所有截取的心动周期信号长度的95个百分位作为输入基准长度max_length，如果长度超过max_length，截取到max_length，如果不足max_length，在后面补零，从而保持输入心音图信号-心电图信号转换模型的数据长度一致。
在一些实施例中，其中预设模型维度为d_model,批处理大小为batch_size，所述嵌入模块将每一个采样点用一位热码表示，并转化为d_model维；对于一整个输入，心音图的一个心动周期信号，维度为max_length *1，所述嵌入模块用于将其转化为max_length*d_model，所述位置编码模块用于给每一个采样点赋予一个包含一个心动周期中特定位置的d_model维向量。
在一些实施例中，其中所述心音图信号-心电图信号转换模型构建模块用于注意力头或者交叉注意力头机制的计算，按步骤执行：将输入注意力头的某一个或两个输入张量通过三个不同的线性变化转化为三个不同的张量Q、K、V，对于所述编码模块的自注意力头，Q、K、V均来自所述编码模块输入，其中，第一个编码模块的输入来自心音图信号，对于所述解码模块的自注意力头，Q、K、V均来自所述解码模块输入，其中，第一个解码模块的输入来自训练时的真实心电图信号，或者来自应用时的预测心电图信号，对于所述解码模块的交叉注意力头，K、V来自所述编码器输出，Q来自所述解码模块输入；注意力权重=softmax(QKT) ，KT表示K的转置；以及注意力头输出=注意力权重×V。
在一些实施例中，其中所述编码模块用于执行计算：进入四个自注意力头之前，数据首先被复制作为第一残差，同时被均分为四等份分别进入并连的四个自注意力头，通过注意力计算之后，又拼接成为一个统一的自注意力输出，并进行正则化处理；以及处理后的数据被复制作为第二残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第二残差，再正则化得到所述编码模块输出；
其中所述解码模块用于执行计算：进入四个自注意力头之前，数据首先被复制作为第一残差, 同时被均分为四等份分别进入并连的四个自注意力头，通过注意力计算之后，又拼接成为一个统一的自注意力输出，结果加上第一残差，并进行正则化处理；处理后的数据被复制作为第二残差，同时被均分为四等份和编码模块输出一同进入并连的四个交叉注意力头，通过注意力计算之后，又拼接成为一个统一的交叉注意力输出，结果加上第二残差，并进行正则化处理；以及处理后的数据被复制作为第三残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第三残差，再正则化得到解码模块输出；
其中，所述解码器的结果经过最后的线性变化后，每一个预测的信号点都被表示为一个256维的向量，经过softmax后选择概率最大的一个值作为对应心电图信号点的预测值。
附图说明
图1是根据本发明的一个实施例的一种心音图信号转换心电图信号的方法的步骤流程结构示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本发明为涉及计算机程序的发明。如图1所示为基于本发明的一种心音图信号转换心电图信号的方法的流程结构示意图，阐述了为解决本发明提出的问题，以计算机程序处理流程为基础，通过计算机执行按上述流程编制的计算机程序，对计算机外部对象或者内部对象进行控制或处理的解决方案。通过本发明的心音图信号转换心电图信号的方法，能够利用计算机系统，构建心音图信号-心电图信号转换模型，实现心音图信号到心电图信号的转化，深度学习可以捕捉到信号的细节，并利用大量训练实例以及层级式复杂的函数关系构建出两种信号的联系从而完成转化。可以理解的是，本发明所称“计算机”不仅仅指台式电脑、笔记本电脑、平板等设备，还包括其他能够按照程序运行，处理数据的智能电子设备。
具体地，所述心音图信号转换心电图信号的方法包括以下步骤：
S100：同时采集心音图和单导联心电图信号数据，并且降采样至预设的相同频率；
具体地，可以理解的是，一般心音采样率比较高的频率为44100Hz，心电采样率比较低的频率为125-500Hz，降至相同频率能够实现数据点的一一对应。优选地，降采样至250Hz，即更具体地，在一些实施例中，其中所述心音图信号转换心电图信号的方法还包括以下步骤：同时采集心音图和单导联心电图信号数据，并且降采样至250Hz。
S200：执行数据离散化处理，两种信号的信号值被从浮点数范围离散化至整数范围；
具体地，在优选实施例中，将两种信号的信号值由[-1,1]的浮点数范围离散化至[0,255]整数范围，这样每一个值就可以被看作一个词语，这里的[0,255]表明这两种信号“语言”包含的词汇总量都是256；更具体地，具体方法为:四舍五入原则，例如原有值×127.5+127.5。优选地，离散至[0,255]整数范围时，线性变化结果为256维的向量（每个元素对应一个可能的取值）。
S300：提取心电图信号的心动周期片段。
具体地，所述心动周期提取步骤S300还包括以下步骤：
S310：判断每一条心电图信号中的所有R波位置；
S320：计算每一条心电图信号的所有R-R间期，并取中位数作为该条心电图信号对应的R-R间期，以rr_length表示，以用作后续数据计算；以及
S330：截取每一个R波位置之前（4/15）*rr_length至之后（11/15）*rr_length的信号部分作为一个心动周期片段。
S400：截取同时采集的心音图信号对应的心动周期片段。
S500：选取输入基准长度，其中，如果截取的心动周期片段长度超过输入基准长度max_length，截取到输入基准长度max_length，如果不足输入基准长度max_length，在后面执行补零处理。
具体地，在具体的实施例中，可以选取所有截取的心动周期信号长度的95个百分位作为输入基准长度max_length，也可以选取常规人静息状态下心动周期的周期长度作为输入基准长度，例如选取可以涵盖大部分人静息状态下心动周期的周期长度作为输入基准长度。
值得一提的是，由于数据采集自测试者在不同活动下的状态，心电周期的长短存在明显差异，通过所述输入基准长度选取步骤S500，能够保持输入模型的数据长度一致。
S600：构建心音图信号-心电图信号转换模型。
具体地，所述构建心音图信号-心电图信号转换模型步骤S600还包括以下步骤：
S610：心音图信号-心电图信号转换模型的编码器和解码器之前设置嵌入模块(embedding)以及位置编码(positioning encoding)模块，嵌入模块的结果和位置编码模块的结果执行加合而获取编码器或者解码器的输入数据。
具体地，嵌入模块用于将每一个一维的采样点用一位256维的热码表示，并转化为预设的模型维度；心音图的一个心动周期信号的维度为输入基准长度*1，作为一整个输入，嵌入模块用于将一整个输入转化为输入基准长度*预设模型维度。具体地，位置编码模块用于给每一个采样点赋予一个包含一个心动周期中特定位置的预设模型维度向量。
更具体地，在优选实施例中，预设模型维度为d_model，批处理大小为batch_size。嵌入模块将每一个采样点（一维）用一位热码（one-hot）表示（256维），并转化为d_model维。对于一整个输入（心音图的一个心动周期信号，维度为max_length*1），嵌入模块将其转化为max_length*d_model。位置编码模块给每一个采样点赋予一个包含一个心动周期中特定位置的d_model维向量。嵌入模块的结果和位置编码模块的结果加合得到编码器或者解码器的输入(维度为batch_size*max_length*d_model)。
S620：在心音图信号-心电图信号转换模型中设置编码器和解码器，编码器包括三个串联连接的编码模块(encoding block)，解码器包括三个解码模块(decoding block)，编码器最后的输出作为三个解码模块交叉注意力头输入的一部分；其中编码模块执行编码模块计算，解码模块执行解码模块计算。
具体地，编码模块包括四个自注意力头（self-attention head），解码模块包括四个自注意力头以及四个交叉注意力头 (cross-attention head)，其中，自注意力头或者交叉注意力头机制均执行三步计算步骤：
（1）将输入注意力头的某一个或两个输入张量通过三个不同的线性变化转化为三个不同的张量(Q、K、V)，其中，对于编码模块的自注意力头，Q、K、V均来自编码模块输入，第一个编码模块的输入来自心音图信号；其中，对于解码模块的自注意力头，Q、K、V均来自解码模块输入，第一个解码模块的输入来自训练时的真实心电图信号，或者来自应用时的预测心电图信号；其中，对于解码模块的交叉注意力头，K、V来自编码器输出，Q来自解码模块输入；
（2）执行注意力权重计算，其中，注意力权重=softmax(QKT) ，KT表示K的转置；以及
（3）执行注意力头输出计算，其中，注意力头输出=注意力权重×V。
具体地，所述执行编码模块计算步骤包括以下步骤：
进入四个自注意力头之前，数据首先被复制作为第一残差(residual)，同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度（例如优选实施例中维度为batch_size*max_length*d_model），并进行正则化处理；以及
处理后的数据被复制作为第二残差，同时经过一个两层的全连接神经网络。全连接神经网络结果加上第二残差，再正则化得到编码模块输出。
具体地，所述执行解码模块计算步骤包括以下步骤：
进入四个自注意力头之前，数据首先被复制作为第一残差(residual)同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度（例如优选实施例中维度为batch_size*max_length*d_model），结果加上第一残差，并进行正则化处理；
处理后的数据被复制作为第二残差，同时被均分为四等份和编码模块输出一同进入并连的四个交叉注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的交叉注意力输出，维度为批处理大小*输入基准长度*预设模型维度（例如优选实施例中维度为batch_size*max_length*d_model），结果加上第二残差，并进行正则化处理；以及
处理后的数据被复制作为第三残差，同时经过一个两层的全连接神经网络。全连接神经网络结果加上第三残差，再正则化得到解码模块输出。
S630：解码器的结果经过最后的线性变化后，每一个预测的信号点都被表示为一个256维（“词汇量大小”)的向量；经过softmax后选择概率最大的一个值作为对应心电图信号点的预测值。
进一步地，S700：执行心音图信号-心电图信号转换模型的训练。
具体地，所述心音图信号-心电图信号转换模型训练步骤S700还包括以下步骤：
获取心音图信号心动周期片段和心电图信号心动周期片段,并将其按4:1分为训练数据集和评估数据集；心音图数据作为编码器的输入，心电图数据作为解码器的输入以及标注，作为心电图数据真实值；损失函数为一个心动周期内的每个心电图信号预测值的概率向量和心电图信号真实值的一位热码表示的交叉熵在一个心动周期内的平均；以及在训练迭代的过程中，当损失函数值在评估数据集中开始上升时，停止训练。
更具体地，在优选实施例中，训练数据集来自在PhysioNet（PhysioNet英文全称为Research Resource for Complex Physiologic Signals，直译为复杂生理信号研究资源，网站为https://physionet.org/）公开的“同时心电图心音图数据集” (simultaneouselectrocardiogram and phonocardiogram dataset)。损失函数为一个心动周期内的每个心电图信号预测值的概率向量（256维）和心电图信号真实值（取值范围为[0,255]）的一位热码表示（256维）的交叉熵在一个心动周期（不包括补充的零）内的平均。批处理大小（batch size）为32，学习速率(learning rate)为5×10-5。
S800：执行心音图信号-心电图信号转换模型的应用。
具体地，所述心音图信号-心电图信号转换模型的应用步骤S800包括以下步骤：
向心音图信号-心电图信号转换模型输入一个或几个心音图心动周期信号（250Hz）；
心音图信号-心电图信号转换模型将心音图信号输入编码器并得到编码器输出；
同时，心音图信号-心电图信号转换模型向解码器输入一个代表开始的值（例如开始值被预先设置为2）；以及
解码器利用编码器输出及解码器的输入逐个算出下一个预测的心电图信号值，并将此值传回至解码器输入，如此反复，最终得到和输入心音图等长的心电图数据并输出。
通过本发明的所述心音图信号转换心电图信号的方法，通过构建基于自然语言翻译的深度学习模型，实现心音图信号到心电图信号的转化。心音图信号-心电图信号转换模型利用注意力机制计算语句中词与词的关系，并利用两种语言之间的词语关系以及每种语言内部的词语关系实现翻译。将心音图信号和心电图信号看作两种语言，将一个心动周期的信号片段看作一个语句，其中的每一个信号值看作一个词语，利用心音图信号-心电图信号转换模型将一种信号的心动周期片段“翻译”成另一种信号的心动周期片段。由于心音图信号的采集相对简单，例如利用手机麦克风即可采集，能够使心音图信号到心电图信号的转化更具实际意义。
本领域的技术人员能够理解的是，可以以方法、系统或计算机程序产品的形式提供本发明的实施例。因此，本发明可采取全硬件实施例、全软件实施例，或者组合软件和硬件的实施例的形式。硬件和软件的典型的结合可以是带有计算机程序的通用计算机系统，当程序被加载并被执行时，控制计算机系统，从而可以执行本发明揭露的方法。
本领域的技术人员可以理解的是，本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按方法运行。
本发明可以嵌入在计算机程序产品中，它包括使此处描述的方法得以实施的所有特征。所述计算机程序产品被包含在一个或多个计算机可读存储介质中，所述计算机可读存储介质具有包含于其中的计算机可读程序代码。根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时能够执行本发明的方法的步骤。计算机存储介质是计算机存储器中用于存储某种不连续物理量的媒体。计算机存储介质包括但不限于半导体、磁盘存储器、磁芯、磁鼓、磁带、激光盘等。本领域的技术人员可以理解的是，计算机存储介质并不局限于前述举例，前述例子仅仅作为举例而并不限于本发明。
根据本发明的另一方面，还提供了一种心音图信号转换心电图信号的设备，所述心音图信号转换心电图信号的设备包括：软件应用程序、用于存储软件应用程序的存储器，以及处理器，用于执行该软件应用程序。该软件应用程序的各程序能够相对应地执行本发明的所述心音图信号转换心电图信号的方法中的步骤。
本领域的技术人员可以理解的是，所述心音图信号转换心电图信号的设备可以被体现为台式电脑、笔记本、移动智能设备等，但是前述仅仅作为举例，还包括其他搭载有本发明的该软件应用程序的智能设备。
与本发明的所述心音图信号转换心电图信号方法的实施例相对应，根据本发明的另一方面，还提供了一种心音图信号转换心电图信号系统，所述心音图信号转换心电图信号系统为本发明的所述心音图信号转换心电图信号方法在计算机程序改进上的应用。
具体地，所述心音图信号转换心电图信号系统包括心音图和单导联心电图信号数据降采样装置、数据离散化处理装置、心动周期片段提取装置、心动周期片段截取装置、心动周期信号长度截取装置、心音图信号-心电图信号转换模型构建装置、心音图信号-心电图信号转换模型训练装置以及心音图信号-心电图信号转换模型应用装置。
更具体地，所述心音图和单导联心电图信号数据降采样装置被配置为：同时采集心音图和单导联心电图信号数据，并且降采样至预设的相同频率，优选地为250Hz。
所述数据离散化处理装置被配置为：执行数据离散化处理，两种信号的信号值被从浮点数范围离散化至整数范围；
所述心动周期片段提取装置被配置为：判断每一条心电图信号中的所有R波位置；计算每一条心电图信号的所有R-R间期，并取中位数作为该条心电图信号对应的R-R间期，截取每一个R波位置之前（4/15）*rr_length至之后（11/15）*rr_length的信号部分作为一个心动周期片段。
所述心动周期片段截取装置被配置为：截取同时采集的心音图信号对应的心动周期片段。
所述心动周期信号长度截取装置被配置为：选取所有截取的心动周期信号长度的95个百分位作为输入基准长度max_length，其中，如果长度超过max_length，截取到max_length，如果不足max_length，在后面执行补零处理。
所述心音图信号-心电图信号转换模型构建装置被配置为：心音图信号-心电图信号转换模型的编码器和解码器之前设置嵌入模块以及位置编码模块，嵌入模块的结果和位置编码模块的结果执行加合而获取编码器或者解码器的输入数据；在心音图信号-心电图信号转换模型中设置编码器和解码器，编码器包括三个串联连接的编码模块，解码器包括三个解码模块，编码器最后的输出作为三个解码模块交叉注意力头输入的一部分；其中编码模块执行编码模块计算，解码模块执行解码模块计算；以及解码器的结果经过最后的线性变化后，每一个预测的信号点都被表示为一个256维的向量；经过注意力权重计算后选择概率最大的一个值作为对应心电图信号点的预测值。
更具体地，所述心音图信号-心电图信号转换模型构建装置的所述编码模块包括四个自注意力头，所述解码模块包括四个自注意力头以及四个交叉注意力头，其中，自注意力头或者交叉注意力头机制均执行三步计算步骤：
将输入注意力头的某一个或两个输入张量通过三个不同的线性变化转化为三个不同的张量(Q、K、V)，其中，对于编码模块的自注意力头，Q、K、V均来自编码模块输入，第一个编码模块的输入来自心音图信号；其中，对于解码模块的自注意力头，Q、K、V均来自解码模块输入，第一个解码模块的输入来自训练时的真实心电图信号，或者来自应用时的预测心电图信号；其中，对于解码模块的交叉注意力头，K、V来自编码器输出，Q来自解码模块输入；
执行注意力权重计算，其中，注意力权重=softmax(QKT) ，KT表示K的转置；以及
执行注意力头输出计算，其中，注意力头输出=注意力权重×V。
更进一步地，所述心音图信号-心电图信号转换模型构建装置还被配置为：执行编码模块计算以及执行解码模块计算。具体地，执行编码模块计算：进入四个自注意力头之前，数据首先被复制作为第一残差(residual)，同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，并进行正则化处理；以及处理后的数据被复制作为第二残差，同时经过一个两层的全连接神经网络。全连接神经网络结果加上第二残差，再正则化得到编码模块输出。
具体地，执行解码模块计算：进入四个自注意力头之前，数据首先被复制作为第一残差同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第一残差，并进行正则化处理；处理后的数据被复制作为第二残差，同时被均分为四等份和编码模块输出一同进入并连的四个交叉注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的交叉注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第二残差，并进行正则化处理；以及处理后的数据被复制作为第三残差，同时经过一个两层的全连接神经网络。全连接神经网络结果加上第三残差，再正则化得到解码模块输出。
所述心音图信号-心电图信号转换模型训练装置被配置为：获取心音图信号心动周期片段和心电图信号心动周期片段，并将其按4:1分为训练数据集和评估数据集；心音图数据作为编码器的输入，心电图数据作为解码器的输入以及标注，作为心电图数据真实值；损失函数为一个心动周期内的每个心电图信号预测值的概率向量和心电图信号真实值的一位热码表示的交叉熵在一个心动周期内的平均；以及在训练迭代的过程中，当损失函数值在评估数据集中开始上升时，停止训练。
所述心音图信号-心电图信号转换模型应用装置被配置为：向心音图信号-心电图信号转换模型输入一个或几个心音图心动周期信号；心音图信号-心电图信号转换模型将心音图信号输入编码器并得到编码器输出；同时，心音图信号-心电图信号转换模型向解码器输入一个代表开始的值；以及解码器利用编码器输出及解码器的输入逐个算出下一个预测的心电图信号值，并将此值传回至解码器输入，如此反复，最终得到和输入心音图等长的心电图数据并输出。
可以理解的是，与本发明的所述心音图信号转换心电图信号的方法的实施例相对应，所述心音图信号转换心电图信号的系统的各装置组成部分是实现程序流程各步骤或心音图信号转换心电图信号的方法的各步骤所建立的程序模块，体现了通过计算机程序实现本发明所需要解决的技术方案的程序模块构架。
根据本发明的另一方面，还提供了一种心音图信号转换心电图信号的设备，所述心音图信号转换心电图信号设备包括心音图和单导联心电图信号数据处理模块、心音图信号-心电图信号转换模型构建模块、心音图信号-心电图信号转换模型训练模块以及心音图信号-心电图信号转换模型应用模块。所述心音图和单导联心电图信号数据处理模块用于将同时采集的心音图和单导联心电图信号数据降采样、信号值范围离散化、截取心动周期片段并且选取所有截取的心动周期信号长度的95个百分位作为输入基准长度。所述心音图和单导联心电图信号数据处理模块包括数据降采样模块、信号值范围离散化模块、心电图信号的心动周期片段提取模块、心动周期片段截取模块、以及心动周期信号长度截取模块。
在本发明的一个具体实施例中，所述数据降采样模块用于将同时采集的心音图和单导联心电图信号数据降采样至预设的相同频率，优选地为250Hz。
所述信号值范围离散化模块用于将两种信号的信号值由[-1,1]的浮点数范围离散化至[0,255]整数范围，这样每一个值就可以被看作一个词语，这里的[0,255]表明这两种信号“语言”包含的词汇总量都是256。优选地，具体方法为：四舍五入（原有值×127.5+127.5）。
所述心电图信号的心动周期片段提取模块用于提取心电图信号的心动周期片段。更具体地，所述心动周期片段提取模块用于判断每一条心电图信号中的所有R波位置；求每一条心电图信号的所有R-R间期，并取中位数作为此条心电图信号对应的R-R间期截取每一个R波位置之前（4/15）*rr_length至之后（11/15）*rr_length的信号部分作为一个心动周期片段；从而提取心电图信号的心动周期片段。
所述心动周期片段截取模块用于截取同时采集的心音图信号对应的心动周期片段。
所述心动周期信号长度截取模块用于选取所有截取的心动周期信号长度的95个百分位作为输入基准长度max_length，如果长度超过max_length，截取到max_length，如果不足max_length，在后面补零，从而保持输入模型的数据长度一致。避免数据采集自测试者在不同活动下的状态，心电周期的长短存在明显差异导致的影响准确度问题。
所述心音图信号-心电图信号转换模型构建模块基于处理后长度一致的数据搭建心音图信号-心电图信号转换模型，所述心音图信号-心电图信号转换模型构建模块包括嵌入模块、位置编码模块、编码器和解码器，所述嵌入模块以及所述位置编码模块被设置于所述编码器和所述解码器之前。
具体地，在本发明的具体的实施例中，设模型维度为d_model, 批处理大小为batch_size。所述嵌入模块将每一个采样点（一维）用一位热码（one-hot）表示（256维），并转化为d_model维。对于一整个输入（心音图的一个心动周期信号,维度为max_length*1），所述嵌入模块将其转化为max_length*d_model。所述位置编码模块给每一个采样点赋予一个包含一个心动周期中特定位置的d_model维向量。所述嵌入模块的结果和所述位置编码模块的结果加合得到所述编码器或者所述解码器的输入(维度为batch_size*max_length*d_model)。
所述编码器包括三个编码模块(encoding block)。所述解码器包括三个解码模块(decoding block)。三个所述编码模块串联连接，所述编码器最后的输出作为三个所述解码模块交叉注意力头输入的一部分。优选地，所述编码模块包括四个自注意力头（self-attention head），所述解码模块包括四个自注意力头以及四个交叉注意力头。所述心音图信号-心电图信号转换模型构建模块中的注意力头或者交叉注意力头机制均包含三步计算：
（1）将输入注意力头的某一个或两个输入张量通过三个不同的线性变化转化为三个不同的张量(Q、K、V)。对于所述编码模块的自注意力头，Q、K、V均来自所述编码模块输入(第一个编码模块的输入来自心音图信号)。对于所述解码模块的自注意力头，Q、K、V均来自所述解码模块输入（第一个解码模块的输入来自训练时的真实心电图信号，或者来自应用时的预测心电图信号）。对于所述解码模块的交叉注意力头，K、V来自所述编码器输出，Q来自所述解码模块输入；
（2）注意力权重= softmax(QKT) ，KT表示K的转置；
（3）注意力头输出=注意力权重×V。
具体地，在本发明的具体的实施例中，所述编码模块的计算执行：（1）进入四个自注意力头之前，数据首先被复制作为残差（residual，残差1），同时被均分为四等份分别进入并连的四个自注意力头。通过注意力计算之后，又拼接成为一个统一的自注意力输出（维度为batch_size*max_length*d_model）,并进行正则化处理。（2）处理后的数据被复制作为残差2，同时经过一个两层的全连接神经网络。全连接神经网络结果加上残差2，再正则化得到所述编码模块输出。
具体地，在本发明的具体的实施例中，所述解码模块的计算执行：（1）进入四个自注意力头之前，数据首先被复制作为残差（residual，残差1），同时被均分为四等份分别进入并连的四个自注意力头。通过注意力计算之后，又拼接成为一个统一的自注意力输出（维度为batch_size*max_length*d_model），结果加上残差1，并进行正则化处理；（2）处理后的数据被复制作为残差2，同时被均分为四等份和所述编码模块输出一同进入并连的四个交叉注意力头。通过注意力计算之后，又拼接成为一个统一的交叉注意力输出（维度为batch_size*max_length*d_model），结果加上残差2，并进行正则化处理；（3）处理后的数据被复制作为残差3，同时经过一个两层的全连接神经网络。全连接神经网络结果加上残差3，再正则化得到所述解码模块输出。
进一步地，所述解码器的结果经过最后的线性变化后，每一个预测的信号点都被表示为一个256维（“词汇量大小”)的向量。经过softmax后选择概率最大的一个值作为对应心电图信号点的预测值。
进一步地，通过所述心音图和单导联心电图信号数据处理模块的数据处理，所述心音图信号-心电图信号转换模型训练模块获取处理后的心音图信号心动周期片段和心电图信号心动周期片段数据，并将其按4:1分为训练数据集和评估数据集，用于模型的训练。心音图数据作为编码器的输入，心电图数据作为解码器的输入以及标注（心电图数据真实值）。损失函数为一个心动周期内的每个心电图信号预测值的概率向量（256维）和心电图信号真实值（取值范围为[0,255]）的一位热码表示（256维）的交叉熵在一个心动周期（不包括补充的零）内的平均。优选地，批处理大小（batch size）为32，学习速率(learning rate)为5×10-5。在训练迭代的过程中，当损失函数值在评估数据集中开始上升时，停止训练。优选地，训练数据集来自在PhysioNet公开的“同时心电图心音图数据集”(simultaneouselectrocardiogram and phonocardiogram dataset)。
进一步地，在本发明的具体的实施例中，在应用这个训练好的心音图信号-心电图信号转换模型的时候，只需向心音图信号-心电图信号转换模型输入一个（或几个）心音图心动周期信号（250Hz）。心音图信号-心电图信号转换模型将自行把心音图信号输入编码器并得到编码器输出。于此同时，心音图信号-心电图信号转换模型将向所述解码器输入一个代表开始的值（在我们的模型中开始值设置为2）。所述解码器将利用所述编码器输出及所述解码器的输入逐个算出下一个预测的心电图信号值，并将此值传回至所述解码器输入。如此反复，最终得到和输入心音图等长的心电图数据。
本领域的技术人员可以理解的是，已参考根据本发明的方法、系统及计算机程序产品的流程图和/或方框图说明了本发明。流程图和/或方框图中的每个方框，以及流程图和/或方框图中的方框的组合显然可由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、嵌入式处理器或者其他可编程的数据处理设备的处理器，以产生一台机器，从而指令（所述指令通过计算机或者其他可编程数据处理设备的处理器）产生用于实现在流程图和/或方框图的一个或多个方框中规定的功能的装置。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离该原理下，本发明的实施方式可以有任何变形或修改。
Claims (21)
1.一种心音图信号转换心电图信号的方法，其特征在于，所述心音图信号转换心电图信号的方法包括以下步骤：
同时采集心音图和单导联心电图信号数据，并且降采样至相同频率；
执行数据离散化处理，两种信号的信号值被从浮点数范围离散化至整数范围；
提取心电图信号的心动周期片段；
截取同时采集的心音图信号对应的心动周期片段；
选取输入基准长度，其中，如果长度超过输入基准长度，截取到输入基准长度，如果不足输入基准长度，在后面执行补零处理；
构建心音图信号-心电图信号转换模型；
执行心音图信号-心电图信号转换模型的训练；以及
执行心音图信号-心电图信号转换模型的应用；
其中，所述构建心音图信号-心电图信号转换模型步骤还包括以下步骤：
心音图信号-心电图信号转换模型的编码器和解码器之前设置嵌入模块以及位置编码模块，嵌入模块的结果和位置编码模块的结果执行加合而获取编码器或者解码器的输入数据；
在心音图信号-心电图信号转换模型中设置编码器和解码器，编码器包括三个串联连接的编码模块，解码器包括三个解码模块，编码器最后的输出作为三个解码模块交叉注意力头输入的一部分；其中编码模块执行编码模块计算，解码模块执行解码模块计算；以及
解码器的结果经过最后的线性变化后，每一个预测的信号点都被表示为一个对应维度的向量；经过注意力权重计算后选择概率最大的一个值作为对应心电图信号点的预测值。
2.如权利要求1所述的心音图信号转换心电图信号的方法，其中所述心音图信号转换心电图信号的方法还包括以下步骤：其中所述降采样步骤中降采样至250Hz；所述离散化步骤中将两种信号的信号值由[-1,1]的浮点数范围离散化至[0,255]整数范围，并且当离散至[0,255]整数范围时，线性变化结果为256维的向量；所述选取输入基准长度步骤中选取所有截取的心动周期信号长度的95个百分位作为输入基准长度或者选取常规人静息状态下心动周期的周期长度作为输入基准长度。
3.如权利要求1所述的心音图信号转换心电图信号的方法，其中所述心动周期提取步骤还包括以下步骤：判断每一条心电图信号中的所有R波位置；计算每一条心电图信号的所有R-R间期，并取中位数作为该条心电图信号对应的R-R间期，以rr_length表示，以用作后续数据计算；以及截取每一个R波位置之前（4/15）*rr_length至之后（11/15）*rr_length的信号部分作为一个心动周期片段。
4.如权利要求1所述的心音图信号转换心电图信号的方法，其中所述心音图信号-心电图信号转换模型训练步骤还包括以下步骤：
获取心音图信号心动周期片段和心电图信号心动周期片段，并将其按4:1分为训练数据集和评估数据集；
心音图数据作为编码器的输入，心电图数据作为解码器的输入以及标注，作为心电图数据真实值；
损失函数为一个心动周期内的每个心电图信号预测值的概率向量和心电图信号真实值的一位热码表示的交叉熵在一个心动周期内的平均；以及
在训练迭代的过程中，当损失函数值在评估数据集中开始上升时，停止训练；
其中心电图信号真实值的取值范围为[0,255]，批处理大小为32，学习速率为5×10-5。
5.如权利要求1所述的心音图信号转换心电图信号的方法，其中所述心音图信号-心电图信号转换模型的应用步骤包括以下步骤：
向心音图信号-心电图信号转换模型输入一个或几个心音图心动周期信号；
心音图信号-心电图信号转换模型将心音图信号输入编码器并得到编码器输出；
同时，心音图信号-心电图信号转换模型向解码器输入一个代表开始的值；以及
解码器利用编码器输出及解码器的输入逐个算出下一个预测的心电图信号值，并将此值传回至解码器输入，如此反复，最终得到和输入心音图等长的心电图数据并输出。
6.如权利要求1所述的心音图信号转换心电图信号的方法，其中嵌入模块用于将每一个一维的采样点用一位256维的热码表示，并转化为预设的模型维度；心音图的一个心动周期信号的维度为输入基准长度*1，作为一整个输入，嵌入模块用于将一整个输入转化为输入基准长度*预设模型维度；位置编码模块用于给每一个采样点赋予一个包含一个心动周期中特定位置的预设模型维度向量。
7.如权利要求1所述的心音图信号转换心电图信号的方法，其中预设输入基准长度为max_length，模型维度为d_model，批处理大小为batch_size；嵌入模块将每一个采样点用一位热码表示，并转化为d_model维；对于维度为max_length*1的心音图的一个心动周期信号，嵌入模块将其转化为max_length*d_model；位置编码模块给每一个采样点赋予一个包含一个心动周期中特定位置的d_model维向量；嵌入模块的结果和位置编码模块的结果加合得到编码器或者解码器的输入，维度为batch_size*max_length*d_model。
8.如权利要求1至7中任一所述的心音图信号转换心电图信号的方法，其中编码模块包括四个自注意力头，解码模块包括四个自注意力头以及四个交叉注意力头，其中，自注意力头或者交叉注意力头机制均执行三步计算步骤：
将输入注意力头的某一个或两个输入张量通过三个不同的线性变化转化为三个不同的张量Q、K、V，其中，对于编码模块的自注意力头，Q、K、V均来自编码模块输入，第一个编码模块的输入来自心音图信号；其中，对于解码模块的自注意力头，Q、K、V均来自解码模块输入，第一个解码模块的输入来自训练时的真实心电图信号，或者来自应用时的预测心电图信号；其中，对于解码模块的交叉注意力头，K、V来自编码器输出，Q来自解码模块输入；
执行注意力权重计算，其中，注意力权重=softmax(QKT) ，KT表示K的转置；以及
执行注意力头输出计算，其中，注意力头输出=注意力权重×V。
9.如权利要求1至7中任一所述的心音图信号转换心电图信号的方法，其中所述执行编码模块计算步骤包括以下步骤：
进入四个自注意力头之前，数据首先被复制作为第一残差，同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，并进行正则化处理；以及
处理后的数据被复制作为第二残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第二残差，再正则化得到编码模块输出。
10.如权利要求1至7中任一所述的心音图信号转换心电图信号的方法，其中所述执行解码模块计算步骤包括以下步骤：
进入四个自注意力头之前，数据首先被复制作为第一残差同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第一残差，并进行正则化处理；
处理后的数据被复制作为第二残差，同时被均分为四等份和编码模块输出一同进入并连的四个交叉注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的交叉注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第二残差，并进行正则化处理；以及
处理后的数据被复制作为第三残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第三残差，再正则化得到解码模块输出。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时执行权利要求1至10中任一所述的心音图信号转换心电图信号的方法的步骤。
12.一种心音图信号转换心电图信号的设备，其特征在于，包括：
存储器，用于存储软件应用程序，
处理器，用于执行所述软件应用程序，所述软件应用程序的各程序相对应地执行权利要求1至10中任一所述的心音图信号转换心电图信号的方法中的步骤。
13.一种心音图信号转换心电图信号系统，其特征在于，所述心音图信号转换心电图信号系统包括心音图和单导联心电图信号数据降采样装置、数据离散化处理装置、心动周期片段提取装置、心动周期片段截取装置、心动周期信号长度截取装置、心音图信号-心电图信号转换模型构建装置以及心音图信号-心电图信号转换模型应用装置，其中所述心音图和单导联心电图信号数据降采样装置被配置为：同时采集心音图和单导联心电图信号数据，并且降采样至250Hz；其中所述数据离散化处理装置被配置为：执行数据离散化处理，两种信号的信号值被从浮点数范围离散化至整数范围；其中所述心动周期片段提取装置被配置为：判断每一条心电图信号中的所有R波位置；计算每一条心电图信号的所有R-R间期，并取中位数作为该条心电图信号对应的R-R间期，以rr_length表示，以用作后续数据计算；以及截取每一个R波位置之前（4/15）*rr_length至之后（11/15）*rr_length的信号部分作为一个心动周期片段；其中所述心动周期片段截取装置被配置为：截取同时采集的心音图信号对应的心动周期片段；其中所述心动周期信号长度截取装置被配置为：选取所有截取的心动周期信号长度的95个百分位作为输入基准长度，其中，如果长度超过输入基准长度，截取到输入基准长度，如果不足输入基准长度，在后面执行补零处理；其中所述心音图信号-心电图信号转换模型构建装置被配置为：心音图信号-心电图信号转换模型的编码器和解码器之前设置嵌入模块以及位置编码模块，嵌入模块的结果和位置编码模块的结果执行加合而获取编码器或者解码器的输入数据；在心音图信号-心电图信号转换模型中设置编码器和解码器，编码器包括三个串联连接的编码模块，解码器包括三个解码模块，编码器最后的输出作为三个解码模块交叉注意力头输入的一部分；其中编码模块执行编码模块计算，解码模块执行解码模块计算；以及解码器的结果经过最后的线性变化后，每一个预测的信号点都被表示为一个256维的向量；经过注意力权重计算后选择概率最大的一个值作为对应心电图信号点的预测值；其中所述心音图信号-心电图信号转换模型应用装置被配置为：向心音图信号-心电图信号转换模型输入一个或几个心音图心动周期信号；心音图信号-心电图信号转换模型将心音图信号输入编码器并得到编码器输出；同时，心音图信号-心电图信号转换模型向解码器输入一个代表开始的值；以及解码器利用编码器输出及解码器的输入逐个算出下一个预测的心电图信号值，并将此值传回至解码器输入，如此反复，最终得到和输入心音图等长的心电图数据并输出。
14.如权利要求13所述的心音图信号转换心电图信号系统，其中所述心音图信号-心电图信号转换模型构建装置的所述编码模块包括四个自注意力头，所述解码模块包括四个自注意力头以及四个交叉注意力头，其中，自注意力头或者交叉注意力头机制均执行三步计算步骤：将输入注意力头的某一个或两个输入张量通过三个不同的线性变化转化为三个不同的张量Q、K、V，其中，对于编码模块的自注意力头，Q、K、V均来自编码模块输入，第一个编码模块的输入来自心音图信号；其中，对于解码模块的自注意力头，Q、K、V均来自解码模块输入，第一个解码模块的输入来自训练时的真实心电图信号，或者来自应用时的预测心电图信号；其中，对于解码模块的交叉注意力头，K、V来自编码器输出，Q来自解码模块输入；执行注意力权重计算，其中，注意力权重=softmax(QKT) ，KT表示K的转置；以及执行注意力头输出计算，其中，注意力头输出=注意力权重×V。
15.如权利要求14所述的心音图信号转换心电图信号系统，其中所述心音图信号-心电图信号转换模型构建装置还被配置为：
执行编码模块计算以及执行解码模块计算；
其中，执行编码模块计算：进入四个自注意力头之前，数据首先被复制作为第一残差，同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，并进行正则化处理；以及处理后的数据被复制作为第二残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第二残差，再正则化得到编码模块输出；
其中，执行解码模块计算：进入四个自注意力头之前，数据首先被复制作为第一残差同时被均分为四等份分别进入并连的四个自注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的自注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第一残差，并进行正则化处理；处理后的数据被复制作为第二残差，同时被均分为四等份和编码模块输出一同进入并连的四个交叉注意力头；执行注意力计算步骤之后，进一步拼接成为一个统一的交叉注意力输出，维度为批处理大小*输入基准长度*预设模型维度，结果加上第二残差，并进行正则化处理；以及处理后的数据被复制作为第三残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第三残差，再正则化得到解码模块输出。
16.如权利要求13至15中任一所述的心音图信号转换心电图信号系统，其中所述心音图信号转换心电图信号系统还包括心音图信号-心电图信号转换模型训练装置，所述心音图信号-心电图信号转换模型训练装置被配置为：获取心音图信号心动周期片段和心电图信号心动周期片段，并将其按4:1分为训练数据集和评估数据集；心音图数据作为编码器的输入，心电图数据作为解码器的输入以及标注，作为心电图数据真实值；损失函数为一个心动周期内的每个心电图信号预测值的概率向量和心电图信号真实值的一位热码表示的交叉熵在一个心动周期内的平均；以及在训练迭代的过程中，当损失函数值在评估数据集中开始上升时，停止训练；其中批处理大小为32，学习速率为5×10-5。
17.一种心音图信号转换心电图信号设备，其特征在于，所述心音图信号转换心电图信号设备包括心音图和单导联心电图信号数据处理模块、心音图信号-心电图信号转换模型构建模块、心音图信号-心电图信号转换模型训练模块以及心音图信号-心电图信号转换模型应用模块，所述心音图和单导联心电图信号数据处理模块用于将同时采集的心音图和单导联心电图信号数据降采样、信号值范围离散化、截取心动周期片段并且选取所有截取的心动周期信号长度的95个百分位作为输入基准长度，所述心音图信号-心电图信号转换模型构建模块用于搭建心音图信号-心电图信号转换模型，所述心音图信号-心电图信号转换模型训练模块用于模型的训练，所述心音图信号-心电图信号转换模型应用模块用于模型的应用；其中，所述心音图信号-心电图信号转换模型构建模块包括嵌入模块、位置编码模块、编码器和解码器，所述嵌入模块以及所述位置编码模块被设置于所述编码器和所述解码器之前，所述嵌入模块的结果和所述位置编码模块的结果加合得到所述编码器或者所述解码器的输入，所述编码器包括三个串联连接的编码模块，所述编码模块包括四个自注意力头，所述解码器包括三个解码模块，所述解码模块包括四个自注意力头以及四个交叉注意力头，所述编码器最后的输出作为三个所述解码模块交叉注意力头输入的一部分；其中所述心音图信号-心电图信号转换模型训练模块用于获取心音图信号心动周期片段和心电图信号心动周期片段,并将其按4:1分为训练数据集和评估数据集，心音图数据作为所述编码器的输入，心电图数据作为所述解码器的输入以及标注为心电图数据真实值，损失函数为一个心动周期内的每个心电图信号预测值的概率向量和心电图信号真实值的一位热码表示的交叉熵在一个心动周期内的平均；在训练迭代的过程中，当损失函数值在评估数据集中开始上升时，所述心音图信号-心电图信号转换模型训练模块停止训练；当所述心音图信号-心电图信号转换模型构建模块搭建的心音图信号-心电图信号转换模型接收到至少一心音图心动周期信号，将心音图信号输入所述编码器并得到所述编码器输出，同时，心音图信号-心电图信号转换模型向所述解码器输入一个代表开始的值，所述解码器利用所述编码器输出及所述解码器的输入逐个算出下一个预测的心电图信号值，并将此值传回至所述解码器输入，如此反复，最终得到和输入心音图等长的心电图数据。
18.如权利要求17所述的心音图信号转换心电图信号设备，其中所述心音图信号转换心电图信号设备的所述心音图和单导联心电图信号数据处理模块包括数据降采样模块、信号值范围离散化模块、心电图信号的心动周期片段提取模块、心动周期片段截取模块、以及心动周期信号长度截取模块，其中所述信号值范围离散化模块用于将两种信号的信号值由[-1,1]的浮点数范围离散化至[0,255]整数范围；其中所述心动周期片段提取模块用于判断每一条心电图信号中的所有R波位置；求每一条心电图信号的所有R-R间期，并取中位数作为此条心电图信号对应的R-R间期，以rr_length表示，以用作后续数据计算；以及截取每一个R波位置之前（4/15）*rr_length至之后（11/15）*rr_length的信号部分作为一个心动周期片段；从而提取心电图信号的心动周期片段；其中所述心动周期片段截取模块用于截取同时采集的心音图信号对应的心动周期片段；其中所述心动周期信号长度截取模块用于选取所有截取的心动周期信号长度的95个百分位作为输入基准长度max_length，如果长度超过max_length，截取到max_length，如果不足max_length，在后面补零，从而保持输入心音图信号-心电图信号转换模型的数据长度一致。
19.如权利要求18所述的心音图信号转换心电图信号设备，其中预设模型维度为d_model,批处理大小为batch_size，所述嵌入模块将每一个采样点用一位热码表示，并转化为d_model维；对于一整个输入，心音图的一个心动周期信号，维度为max_length*1，所述嵌入模块用于将其转化为max_length*d_model，所述位置编码模块用于给每一个采样点赋予一个包含一个心动周期中特定位置的d_model维向量。
20.如权利要求17至19中任一所述的心音图信号转换心电图信号设备，其中所述心音图信号-心电图信号转换模型构建模块用于注意力头或者交叉注意力头机制的计算，按步骤执行：将输入注意力头的某一个或两个输入张量通过三个不同的线性变化转化为三个不同的张量Q、K、V，对于所述编码模块的自注意力头，Q、K、V均来自所述编码模块输入，其中，第一个编码模块的输入来自心音图信号，对于所述解码模块的自注意力头，Q、K、V均来自所述解码模块输入，其中，第一个解码模块的输入来自训练时的真实心电图信号，或者来自应用时的预测心电图信号，对于所述解码模块的交叉注意力头，K、V来自所述编码器输出，Q来自所述解码模块输入；注意力权重=softmax(QKT) ，KT表示K的转置；以及注意力头输出=注意力权重×V。
21.如权利要求20所述的心音图信号转换心电图信号设备，其中所述编码模块用于执行计算：进入四个自注意力头之前，数据首先被复制作为第一残差，同时被均分为四等份分别进入并连的四个自注意力头，通过注意力计算之后，又拼接成为一个统一的自注意力输出，并进行正则化处理；以及处理后的数据被复制作为第二残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第二残差，再正则化得到所述编码模块输出；
其中所述解码模块用于执行计算：进入四个自注意力头之前，数据首先被复制作为第一残差, 同时被均分为四等份分别进入并连的四个自注意力头，通过注意力计算之后，又拼接成为一个统一的自注意力输出，结果加上第一残差，并进行正则化处理；处理后的数据被复制作为第二残差，同时被均分为四等份和编码模块输出一同进入并连的四个交叉注意力头，通过注意力计算之后，又拼接成为一个统一的交叉注意力输出，结果加上第二残差，并进行正则化处理；以及处理后的数据被复制作为第三残差，同时经过一个两层的全连接神经网络，全连接神经网络结果加上第三残差，再正则化得到解码模块输出；
其中，所述解码器的结果经过最后的线性变化后，每一个预测的信号点都被表示为一个256维的向量，经过softmax后选择概率最大的一个值作为对应心电图信号点的预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210213620.8A CN114271831B (zh) | 2022-03-07 | 2022-03-07 | 心音图信号转换心电图信号的方法、系统以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210213620.8A CN114271831B (zh) | 2022-03-07 | 2022-03-07 | 心音图信号转换心电图信号的方法、系统以及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114271831A CN114271831A (zh) | 2022-04-05 |
| CN114271831B true CN114271831B (zh) | 2022-05-27 |
Family
ID=80882266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210213620.8A Active CN114271831B (zh) | 2022-03-07 | 2022-03-07 | 心音图信号转换心电图信号的方法、系统以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114271831B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115640507B (zh) * | 2022-12-09 | 2024-03-15 | 镜电(南京)科技发展有限公司 | 一种基于心电心音联合分析的异常数据筛查方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101176659A (zh) * | 2007-12-06 | 2008-05-14 | 山东大学 | 一种检测心血管系统功能状态的方法和装置 |
| CN104939819A (zh) * | 2014-03-28 | 2015-09-30 | 西门子公司 | 用于确定心脏运动的时刻的方法和相应的装置 |
| CN105163652A (zh) * | 2013-02-08 | 2015-12-16 | 株式会社K海奥斯威尔 | 脉搏连续自动测量装置及血压测量方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100305633A1 (en) * | 2009-06-02 | 2010-12-02 | Kusai Saadeldin Aziz | Diagnostic And Therapeutic Chest Casing |
| US8688202B2 (en) * | 2009-11-03 | 2014-04-01 | Vivaquant Llc | Method and apparatus for identifying cardiac risk |
| JP5877816B2 (ja) * | 2013-05-27 | 2016-03-08 | 日立アロカメディカル株式会社 | 超音波画像撮像装置及び超音波画像撮像方法 |
| US20200337578A1 (en) * | 2018-01-09 | 2020-10-29 | Rohini Shankar | Wearable ecg and auscultation monitoring system with sos and remote monitoring |
| JP2021536287A (ja) * | 2018-09-07 | 2021-12-27 | ヴァイタル コネクト, インコーポレイテッドVital Connect, Inc. | 構造的心疾患のスクリーニングデバイス、方法、およびシステム |
| CN110209801B (zh) * | 2019-05-15 | 2021-05-14 | 华南理工大学 | 一种基于自注意力网络的文本摘要自动生成方法 |
| CN111714117A (zh) * | 2020-05-07 | 2020-09-29 | 北京中科千寻科技有限公司 | 一种基于时序深度模型的心电信号异常检测方法 |
| CN111681636B (zh) * | 2020-06-16 | 2022-02-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN111887858B (zh) * | 2020-08-04 | 2021-05-04 | 西安电子科技大学 | 基于跨模态映射的心冲击图信号心率估计方法 |
| CN112612881B (zh) * | 2020-12-28 | 2022-03-25 | 电子科技大学 | 基于Transformer的中文智能对话方法 |
| CN112971771B (zh) * | 2021-02-23 | 2022-12-06 | 浙江大学计算机创新技术研究院 | 一种基于毫米波重建心电图的方法 |
| CN113709455B (zh) * | 2021-09-27 | 2023-10-24 | 北京交通大学 | 一种使用Transformer的多层次图像压缩方法 |
-
2022
- 2022-03-07 CN CN202210213620.8A patent/CN114271831B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101176659A (zh) * | 2007-12-06 | 2008-05-14 | 山东大学 | 一种检测心血管系统功能状态的方法和装置 |
| CN105163652A (zh) * | 2013-02-08 | 2015-12-16 | 株式会社K海奥斯威尔 | 脉搏连续自动测量装置及血压测量方法 |
| CN104939819A (zh) * | 2014-03-28 | 2015-09-30 | 西门子公司 | 用于确定心脏运动的时刻的方法和相应的装置 |
Non-Patent Citations (1)
| Title |
|---|
| Alqudah，等.Towards classifying non-segmented heart sound records using instantaneous frequency based features.《Journal of Medical Engineering & Technology》.2019,第43卷(第7期),418-430. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114271831A (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190133481A1 (en) | System and method of extraction of the heart valve signals | |
| KR20210005206A (ko) | 이미지 처리 방법, 전자 기기 및 저장 매체 | |
| CN111248882B (zh) | 一种预测血压的方法和装置 | |
| CN114271831B (zh) | 心音图信号转换心电图信号的方法、系统以及设备 | |
| KR101841222B1 (ko) | 피검체의 치명적 증상의 발생을 조기에 예측하기 위한 예측 결과를 생성하는 방법 및 이를 이용한 장치 | |
| CN111870237A (zh) | 血压检测方法、装置、设备及介质 | |
| CN111759345A (zh) | 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置 | |
| CN115640507B (zh) | 一种基于心电心音联合分析的异常数据筛查方法 | |
| CN110415824B (zh) | 脑卒中风的患病风险评估装置和设备 | |
| CN115944302A (zh) | 基于注意力机制的无监督多模态心电图异常检测方法 | |
| CN109646044B (zh) | 一种心音信号质量评价方法及装置 | |
| CN113693611B (zh) | 基于机器学习的心电数据分类方法及装置 | |
| CN115778403A (zh) | 心电图分析方法、装置、电子设备和存储介质 | |
| CN114469132A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| Barakat et al. | An HPC-driven data science platform to speed-up time series data analysis of patients with the acute respiratory distress syndrome | |
| Liu et al. | Semantic segmentation of qrs complex in single channel ecg with bidirectional lstm networks | |
| Yang et al. | Superimposed semantic communication for iot-based real-time ecg monitoring | |
| CN116884648A (zh) | 基于中医问诊的语音交互优化方法、装置、设备及介质 | |
| Abbas et al. | Artificial intelligence framework for heart disease classification from audio signals | |
| Kulkarni | DWT and ANN based heart arrhythmia disease diagnosis from MIT-BIH ECG signal data | |
| Mospan et al. | Possibility Analysis of preserving the ST segment shift when approximated by Gaussian pulses | |
| Irungu et al. | ML-ECG-COVID: A Machine Learning-Electrocardiogram Signal Processing Technique for COVID-19 Predictive Modeling | |
| Hadi et al. | Classification of heart sounds using wavelets and neural networks | |
| CN110874879A (zh) | 基于语音识别的老人挂号方法、装置、设备及存储介质 | |
| Martinez et al. | Strategic attention learning for modality translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |