CN115568861A - 一种生理信号的融合方法及系统、解析方法及系统 - Google Patents

Abstract

本发明提出了一种生理信号的融合方法及系统、解析方法及系统，属于生理信号融合技术领域，在融合方法中，通过将生理信号融合为生理信号融合矩阵，并对应矩阵中的数值设置唯一的颜色代码，将其转化为生理信号融合图，达到了对生理信号的保密性融合，无法被轻易解读，杜绝了患者生理状态信息泄漏的发生；在解析方法中，结合卷积神经网络模型构建融合图解析模型，利用大量生理信号融合图和对应的生理特征训练该融合图解析模型，使融合图解析模型能够学习到生理信号融合图的特征，后续可以直接通过融合图解析模型将生理信号融合图解析为对应的生理状态。

Description

一种生理信号的融合方法及系统、解析方法及系统

技术领域

本发明涉及生理信号融合技术领域，特别是涉及一种生理信号的融合方法及系统、解析方法及系统。

背景技术

人体体征可以通过多种类型的生理信号变化反映出来，如在医学上常使用心电、脉搏、血压、血氧饱和度等指标来判定人体生命特征的有无以及是否正常，且相比单一生理信号，多种生理信号可以提供更为丰富的信息，利用多生理信号融合的方式进行人体生理状态的识别判断已逐渐成为主要研究方向。

针对生理信号融合问题，申请号为202210188212.1名称为“生命体征多生理信号提取、融合分析方法”的中国专利申请提出一种基于特征级融合的方法，将心电、脑电、肌电、脉搏、心肺音等参数进行特征提取，运用SVM进行多生理参数融合分析，完成多生理参数的融合，从而据此得出伤病患者生理状态，但这种方法仅是通过对其中的一些点提取相应特征，导致原始信号中很多信息被浪费。而申请号为202111558264.5的名称为一种基于BCG信号与PPG信号融合的生理监测系统的中国专利申请将采集到的BCG和PPG信号采用非线性拟合方式进行融合最终得到生理参数信息，这种融合方法保密性不强，很容易被反解码。

发明内容

本发明的目的是提供一种生理信号的融合方法及系统、解析方法及系统，达到了对生理信号的保密融合。

为实现上述目的，一方面，本发明提供了如下方案：

一种生理信号的融合方法，所述融合方法包括以下步骤：

获取人体的若干类原始生理信号；

分别对若干类所述原始生理信号进行预处理，得到各类原始生理信号的若干个生理信号片段；所述预处理包括对所述原始生理信号依次进行滤波以及标准化处理；

根据若干条生理信号片段，构造生理信号融合矩阵；所述生理信号融合矩阵的行数为生理信号片段的数量；所述生理信号融合矩阵的列数为所述生理信号片段中采样点的个数；

根据所述生理信号融合矩阵和数值颜色对照表，生成生理信号融合图；所述生理信号融合图与所述生理信号融合矩阵的行列相同；所述生理信号融合图中每一像素的颜色对应于所述生理信号融合矩阵每一采样点的数值；所述数值颜色对照表用于表征像素颜色与采样点数值的对应关系。

可选地，所述原始生理信号包括心电信号、脉搏波信号、呼吸波信号和血压信号中的至少两种。

可选地，所述生理信号融合矩阵中每行元素为一个生理信号片段；在所述生理信号融合矩阵的每n行元素中，交叉排列n类生理信号片段。

可选地，所述分别对若干类所述原始生理信号进行预处理，得到各类原始生理信号的若干个生理信号片段，具体包括：

针对任一原始生理信号，进行滤波处理，得到滤波后的生理信号；

针对任一滤波后的生理信号，进行标准化处理，得到若干个生理信号片段。

可选地，所述针对任一原始生理信号，进行滤波处理，得到滤波后的生理信号，具体包括：

若所述原始生理信号为心电信号，则对所述原始生理信号依次进行去基线漂移处理、去工频干扰处理和去肌电干扰处理；

若所述原始生理信号为脉搏波信号，则对所述原始生理信号依次进行去基线漂移处理和去工频干扰处理；

若所述原始生理信号为呼吸波信号或血压信号，则对所述原始生理信号进行去奇异点处理。

对应于前述的融合方法，本发明还提供了一种生理信号的融合系统，所述生理信号的融合系统在被计算机运行时，执行如前文所述的生理信号的融合方法。

另一方面，本发明还提供了一种生理信号的解析方法，用于对通过前文所述的融合方法生成的生理信号融合图的解析；所述解析方法包括：

构建训练数据集；所述训练数据集包括若干个生理信号融合图及对应各生理信号融合图的生理状态标签；所述生理状态标签包括正常状态和非正常状态；

基于卷积神经网络，构建融合图解析模型；

以所述生理信号融合图作为模型输入，以所述生理信号融合图对应的生理状态标签为模型的目标输出，对所述融合图解析模型进行训练，得到训练好的融合图解析模型；

获取待解析的生理信号融合图；

将所述待解析的生理信号融合图输入到所述训练好的融合图解析模型中，得到对应的生理状态。

可选地，所述构建训练数据集，具体包括：

利用如前文所述的融合方法，生成若干张生理信号融合图；

通过人工对若干张生理信号融合图进行生理状态标签的标注；

将每张生理信号融合图和与之对应的生理状态标签作为一条训练数据，得到训练数据集。

可选地，所述融合图解析模型包括依次连接的输入层、卷积层、池化层、全连接层和输出层。

对应于前述的解析方法，本发明还提供了一种生理信号的解析系统，所述生理信号的解析系统在被计算机运行时，执行如前文所述的解析方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的一种生理信号的融合方法及系统、解析方法及系统，包括：获取人体的若干类原始生理信号；分别对若干类所述原始生理信号进行预处理，得到各类原始生理信号的若干个生理信号片段；根据若干条生理信号片段，构造生理信号融合矩阵；根据所述生理信号融合矩阵和数值颜色对照表，生成生理信号融合图；所述生理信号融合图与所述生理信号融合矩阵的行列相同，所述生理信号融合图中每一像素的颜色对应于所述生理信号融合矩阵每一采样点的值，数值颜色对照表用于表征像素颜色与采样点数值的对应关系。本发明中通过将多种生理信号融合为矩阵，并对应矩阵中每一数值设置唯一的颜色，将生理信号融合矩阵转化为融合图，达到了对生理信号的保密融合，完成融合后再将融合图进行传输，保障各类生理信号的传输一致性；在解析方法中结合卷积神经网络模型构建融合图解析模型，利用大量生理信号融合图和对应的生理特征训练该融合图解析模型，使融合图解析模型能够学习到生理信号融合图的特征，后续可以直接通过融合图解析模型将生理信号融合图解析为对应的生理状态。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种生理信号的融合方法的流程图；

图2为本发明实施例1提供的融合方法中步骤A2的具体流程图；

图3为本发明实施例1提供的融合方法中生理信号融合矩阵的示意图；

图4为本发明实施例1提供的融合方法中生理信号融合图的示意图；

图5为本发明实施例1提供的融合方法的流程示意图；

图6为本发明实施例2提供的一种生理信号的融合系统的结构示意图；

图7为本发明实施例3提供的一种生理信号的解析方法的流程图；

图8为本发明实施例3提供的解析方法中步骤B1的具体流程图；

图9为本发明实施例3提供的解析方法中卷积神经网络的结构示意图；

图10为本发明实施例4提供的一种生理信号的解析系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种生理信号的融合方法及系统、解析方法及系统，通过将生理信号融合为矩阵，并对应矩阵中的数值设置唯一的颜色，将其转化为融合图，达到了对生理信号的保密融合。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

本实施例提供了一种生理信号的融合方法，如图1所示的流程图，融合方法包括以下步骤：

A1、获取人体的若干类原始生理信号。所述原始生理信号包括心电信号、脉搏波信号、呼吸波信号和血压信号中的至少两种。

A2、分别对若干类所述原始生理信号进行预处理，得到各类原始生理信号的若干个生理信号片段；所述预处理包括对所述原始生理信号依次进行滤波以及标准化处理。如图2所示，本实施例中，步骤A2具体包括：

A21、针对任一原始生理信号，进行滤波处理，得到滤波后的生理信号。由于不同类别的生理信号的特征不同，需要对不同的生理信号进行不同的滤波处理；如：

若所述原始生理信号为心电信号，则对所述原始生理信号依次进行去基线漂移处理、去工频干扰处理和去肌电干扰处理。

若所述原始生理信号为脉搏波信号，则对所述原始生理信号依次进行去基线漂移处理和去工频干扰处理。

若所述原始生理信号为呼吸波信号或血压信号，则对所述原始生理信号进行去奇异点处理。

A22、针对任一滤波后的生理信号，进行标准化处理，得到若干个生理信号片段。

A3、根据若干条生理信号片段，构造生理信号融合矩阵；如图3所示，所述生理信号融合矩阵的行数为生理信号片段的数量；所述生理信号融合矩阵的列数为所述生理信号片段中采样点的个数。若各生理信号片段的采样点个数长度不同，则对采样点个数少的生理信号片段进行补零。

此时，在生理信号融合矩阵中每行元素为一个生理信号片段；在所述生理信号融合矩阵的每n行元素中，交叉排列n类生理信号片段。

作为另一种可能实施的方式，生理信号融合矩阵的列数为生理信号片段的数量，生理信号融合矩阵的行数为生理信号片段中采样点的个数。

此时，在生理信号融合矩阵中每列元素为一个生理信号片段，在生理信号融合矩阵的每n列元素中，交叉排列n类生理信号片段。

A4、根据所述生理信号融合矩阵和数值颜色对照表，生成生理信号融合图；所述生理信号融合图与所述生理信号融合矩阵的行列相同；如图4所示，所述生理信号融合图中每一像素的颜色对应于所述生理信号融合矩阵每一采样点的数值；所述数值颜色对照表用于表征像素颜色与采样点数值的对应关系。

下面结合一个具体的例子，如图5所示，来对本实施例提供的一种生理信号的融合方法进行说明：

如前述步骤A1，获取人体的若干类原始生理信号；在该例子中，获取4种类别的原始生理信号，包括心电信号、脉搏波信号、呼吸波信号和血压信号，其每种原始生理信号中均包含若干个完整的周期。

如前述步骤A2，分别对若干类所述原始生理信号进行预处理，得到各类原始生理信号的若干个生理信号片段；

在该例子中，对心电信号进行去基线漂移处理、去工频干扰处理和去肌电干扰处理；对脉搏波信号进行去基线漂移处理和去工频干扰处理；对呼吸波信号或血压信号，进行去奇异点处理。

根据预设的单位时间，将各滤波处理后的生理信号进行分段处理，且每一个生理信号片段均至少包含2-3个完整的周期。如原生理信号时间长度为T，单位时间若为t秒，则每一种原始生理信号的生理信号片段数量均为T/t。

如前述步骤A3，根据若干条生理信号片段，构造生理信号融合矩阵；在该例子中，获取了4种不同类别的原始生理信号，构造得到的生理信号融合矩阵的行数即为4×T/t。生理信号融合矩阵每行均为一个生理信号片段，则生理信号融合矩阵的列数为生理信号片段的时间长度t(即单位时间)×信号采样率fs，即每个生理信号片段为t×fs个采样点。据此，可以得到生理信号融合矩阵的数据量大小，为t×fs×4×T/t个采样点。且在生理信号融合矩阵中，每4行均为4类生理信号片段的交叉排列，如：心电信号片段、脉搏波信号片段、呼吸波信号片段、血压信号片段、心电信号片段…当然，上述举例并不是限定4类生理信号片段只能如此顺序排列。

在得到生理信号融合矩阵后，还需要将其进行进一步的转化，先对所述生理信号融合矩阵中的每一数值，对应设置唯一的颜色代码，得到数值颜色对照表；在该例子中，使用R、G、B三个数值来进行组合作为颜色代码，对应生理信号融合矩阵中的每一个数值；若两个采样点的数值相同，其对应的颜色代码也自然相同。

如前述步骤A4，根据所述生理信号融合矩阵和所述数值颜色对照表，生成生理信号融合图；在该例子中，将每个采样点作为一个像素，按照该采样点对应的颜色代码进行上色，最终得到大小与生理信号融合矩阵相同的生理信号融合图。

在本实施例中，通过对多种生理信号进行融合在一个融合矩阵中，并对融合矩阵中的任意采样点分配唯一的颜色，并生成融合图，可以很好的完成对生理信号的保密融合，无法轻易进行解读，需要如后续实施例提及的对应的解析方法进行解读，杜绝了患者生理状态信息泄漏的发生。

实施例2：

本发明实施例1的方法也可以借助于图6所示的生理信号的融合系统的架构来实现。如图6所示，该生理信号的融合系统可以包括生理信号获取模块、信号预处理模块、融合矩阵构造模块和融合图谱构造模块；一些模块还可以有用于实现其功能的子单元，例如在信号预处理模块中还可以包括滤波处理单元和标准化处理单元。当然，图6所示的架构只是示例性的，在一些实施方式中，可以在一些模块中添加其他的单元；另外在需要实现不同的功能时，根据实际需要，也可以省略图6示出的系统中的一个或至少两个组件。

实施例3：

本实施例提供了一种生理信号的解析方法，如图7所示的流程图，用于对通过前文实施例1所述的融合方法生成的生理信号融合图的解析；所述解析方法包括：

B1、构建训练数据集；所述训练数据集包括若干个生理信号融合图及所述生理信号融合图对应的生理状态；如图8所示，步骤B1具体包括：

B11、利用如实施例1所述的融合方法，生成若干张生理信号融合图。

B12、通过人工对若干张生理信号融合图进行生理状态的标注；所述生理状态包括正常状态和非正常状态。

B13、将每张生理信号融合图和对应的生理状态作为一条训练数据，得到训练数据集。

B2、基于卷积神经网络，构建融合图解析模型；融合图解析模型包括依次连接的输入层、卷积层、池化层、全连接层和输出层。

B3、根据训练数据集对融合图解析模型进行训练；以所述生理信号融合图为模型输入，以对应的生理状态为模型的目标输出，对所述融合图解析模型进行训练，得到训练好的融合图解析模型。

B4、获取待解析的生理信号融合图。

B5、将所述待解析的生理信号融合图输入到所述训练好的融合图解析模型中，得到对应的生理状态。

下面结合一个具体的例子，来对本实施例提供的一种生理信号的解析方法进行说明：

如前述步骤B1，构建训练数据集；本实施例中利用如实施例1所述的融合方法，生成若干张生理信号融合图；然后通过人工对若干张生理信号融合图进行生理状态的标注；所述生理状态包括正常状态和非正常状态；将每张生理信号融合图和对应的生理状态作为一条训练数据，得到训练数据集。当然，每张生理信号融合图的生理状态标注也可以根据采集对应的生理信号时的生理状态确定。

如前述步骤B2，基于卷积神经网络，构建融合图解析模型；如图9所示，本例中，构建的融合图解析模型包括依次连接的输入层、卷积层、池化层、全连接层和输出层；下面对各层进行一一解释：

输入层，用于将生理信号融合图作为模型输入。

卷积层，是卷积神经网络的核心运算，根据需要选取卷积核大小(f*f)，stride为卷积核的移动步长。卷积核会不断将卷积核中心的像素和当时卷积核所圈起来的像素矩阵作用，每次产生的值就是下一层特征图对应特征点的值，这样多次产生的值组合起来就是一个特征图，表示某一维度的特征。同时为避免边缘信息被一步步舍弃的问题，在神经网络中外面补0，补0的个数记为padding，padding控制最终输出尺寸。

池化层，设置在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合，池化层并没有参数，它只不过是把上层给它的结果做了一个下采样(数据压缩)。

全连接层，用于将前面经历卷积后的特征层的特征都连接起来，所有神经元都有权重连接，通常全连接层在卷积神经网络尾部。

输出层，可用于分类或回归，例如进行分类问题，若需要将图谱分为n类，卷积神经网络的输出层就会有n个神经元；如本例中需要对输入的生理信号融合图判断是正常状态还是非正常状态，则卷积神经网络的输出层就会有2个神经元；若具体分类为其他的生理状态，则可以适应的在输出层中添加神经元。

如前述步骤B3，根据训练数据集对融合图解析模型进行训练；本实施例中，以生理信号融合图为模型输入，以对应的生理状态为模型的目标输出，对融合图解析模型进行训练，模型对每个输入的生理信号融合图进行分类或回归，得到对应的预测输出，将预测输出与对应的生理状态进行比较，根据损失函数优化融合图解析模型，得到训练好的融合图解析模型。

如前述步骤B4-B5，获取待解析的生理信号融合图，将所述待解析的生理信号融合图输入到所述训练好的融合图解析模型中，得到对应的生理状态；本例中，依旧可以通过实施例1的生理信号融合方法，得到一个待解析的生理信号融合图；然后将其输入到训练好的融合图解析模型中，通过训练好的融合图解析模型预测输出该生理信号融合图的生理状态。

本例中，通过使用生理信号融合图和对应的生理状态训练卷积神经网络模型，使模型可以识别生理信号融合图里的特征，从而能够很好的用于对通过实施例1生成的生理信号融合图进行生理状态的预测输出，与实施例1的融合方法搭配，完成对生理信号的融合、解读及分析。具体的，对于一张生理信号融合图，卷积核从图像的左上角像素，从左往右、从上往下，以与卷积核大小相同的间距依次划过图像的每一个区域。由于图谱的横轴表示的是时间信息，且对于同一时间段的ECG、PPG、呼吸和BP数据在原始信号上是存在相位差的。故卷积核从图谱上滑动时，可获得几种融合生理信号的时间、幅度及相位信息。

实施例4：

本发明实施例3的解析方法也可以借助于图10所示的生理信号的解析系统的架构来实现。如图10所示，该生理信号的解析系统可以包括训练数据集构建模块、融合图解析模构建模块、融合图解析模型训练模块和融合图解析模型应用模块；一些模块还可以有用于实现其功能的子单元，例如在训练数据集构建模块中包括融合图获取单元和生理状态标注单元。当然，图10所示的架构只是示例性的，在一些实施方式中，可以在一些模块中添加其他的单元；另外在需要实现不同的功能时，根据实际需要，也可以省略图10示出的系统中的一个或至少两个组件。

本文中应用了具体个例，但以上描述仅是对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；本领域的技术人员应该理解，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种生理信号的融合方法，其特征在于，所述融合方法包括：

获取人体的若干类原始生理信号；

分别对若干类所述原始生理信号进行预处理，得到各类原始生理信号的若干个生理信号片段；所述预处理包括对所述原始生理信号依次进行滤波以及标准化处理；

根据若干条生理信号片段，构造生理信号融合矩阵；所述生理信号融合矩阵的行数为生理信号片段的数量；所述生理信号融合矩阵的列数为所述生理信号片段中采样点的个数；

根据所述生理信号融合矩阵和数值颜色对照表，生成生理信号融合图；所述生理信号融合图与所述生理信号融合矩阵的行列个数相同；所述生理信号融合图中每一像素的颜色对应于所述生理信号融合矩阵每一采样点的数值；所述数值颜色对照表用于表征像素颜色与采样点数值的对应关系。

2.根据权利要求1所述的生理信号的融合方法，其特征在于，所述原始生理信号包括心电信号、脉搏波信号、呼吸波信号和血压信号中的至少两种。

3.根据权利要求1所述的生理信号的融合方法，其特征在于，所述生理信号融合矩阵中每行元素为一个生理信号片段；在所述生理信号融合矩阵的每n行元素中，交叉排列n类生理信号片段。

4.根据权利要求2所述的生理信号的融合方法，其特征在于，所述分别对若干类所述原始生理信号进行预处理，得到各类原始生理信号的若干个生理信号片段，具体包括：

针对任一原始生理信号，进行滤波处理，得到滤波后的生理信号；

针对任一滤波后的生理信号，进行标准化处理，得到若干个生理信号片段。

5.根据权利要求4所述的生理信号的融合方法，其特征在于，所述针对任一原始生理信号，进行滤波处理，得到滤波后的生理信号，具体包括：

若所述原始生理信号为心电信号，则对所述原始生理信号依次进行去基线漂移处理、去工频干扰处理和去肌电干扰处理；

若所述原始生理信号为脉搏波信号，则对所述原始生理信号依次进行去基线漂移处理和去工频干扰处理；

若所述原始生理信号为呼吸波信号或血压信号，则对所述原始生理信号进行去奇异点处理。

6.一种生理信号的融合系统，其特征在于，所述融合系统在被计算机运行时，执行如权利要求1～5任一项所述的融合方法。

7.一种生理信号的解析方法，其特征在于，用于对通过权利要求1～5任一项所述的融合方法生成的生理信号融合图的解析；所述解析方法包括：

构建训练数据集；所述训练数据集包括若干个生理信号融合图及对应各生理信号融合图的生理状态标签；所述生理状态标签包括正常状态和非正常状态；

基于卷积神经网络，构建融合图解析模型；

以所述生理信号融合图作为模型输入，以所述生理信号融合图对应的生理状态标签为模型的目标输出，对所述融合图解析模型进行训练，得到训练好的融合图解析模型；

获取待解析的生理信号融合图；

将所述待解析的生理信号融合图输入到所述训练好的融合图解析模型中，得到对应的生理状态。

8.根据权利要求7所述的解析方法，其特征在于，所述构建训练数据集，具体包括：

利用如权利要求1～5任一项所述的融合方法，生成若干张生理信号融合图；

通过人工对若干张生理信号融合图进行生理状态标签的标注；

将每张生理信号融合图和对应的生理状态标签作为一条训练数据，得到训练数据集。

9.根据权利要求7所述的解析方法，其特征在于，所述融合图解析模型包括依次连接的输入层、卷积层、池化层、全连接层和输出层。

10.一种生理信号的解析系统，其特征在于，所述解析系统在被计算机运行时，执行如权利要求7～9任一项所述的解析方法。

Images