CN113012815B - 一种基于多模态数据的帕金森健康风险评估方法 - Google Patents

Abstract

本发明涉及一种基于多模态数据的帕金森健康风险评估方法，准备包括UPDRS评分，人口基本情况数据，传感器数据，构建多模态数据集；利用高斯滤波对传感器数据进行预处理；搭建卷积神经网络模型，构建基于深度学习的传感器数据特征提取方法。融入手工特征，计算传感器数据对于帕金森健康风险评估具有重要意义的特征。整合人口统计数据，将人口统计数据融入模型。模型训练与预测，整合卷积神经网络提取到的特征，手工特征以及人口统计数据特征。构建基于这三类特征的特征表示一致性模块。最后，对模型进行训练，并对未知标签的样本进行预测。本方法及模型在帕金森风险预测的正确率达到81.4％。

Description

一种基于多模态数据的帕金森健康风险评估方法

技术领域

本发明属于生物信号传感技术，计算机数据处理领域，涉及一种基于多模态数据的帕金森健康风险评估方法。

背景技术

文献“Wearable-based Parkinson's Disease Severity Monitoring usingDeep Learning[J].arXiv preprint arXiv:1904.10829,2019.”提供了一种基于传感器信号数据的利用卷积神经网络进行帕金森运动障碍预测的方法，文献中的方法仅仅针对传感器数据进行建模。但是，在国际上，常常采用统一帕金森氏评定量表(也被称为UPDRS评分量表)用来衡量帕金森的发展情况。另外，已经有研究表明性别和年龄等因素差异也会存在帕金森健康风险差异。但在此文献的研究中，忽略了这类数据对帕金森健康风险预测重要的意义。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于多模态数据的帕金森健康风险评估方法，解决上述研究中忽略UPDRS评分数据和人口基本情况数据的问题。

具体来说，UPDRS评分数据表示统一帕金森氏症评定量表评分所得数据，人口基本情况数据包括人员的性别，年龄，学历。基于此，我们统称UPDRS评分数据和人口基本情况数据为人口统计数据。在本发明中，我们构建了包含人口统计数据与传感器数据的多模态数据集。多模态数据集由传感器数据，UPRDRS评分数据，人口基本情况数据组成。基于收集的多模态数据集，本发明提供一种基于多模态数据的帕金森健康风险评估方法。该方法利用人口统计数据和传感器数据进行帕金森健康风险评估。对于传感器数据，我们计算了一些对帕金森健康风险评估有意义的特征，我们称这些有意义的特征为手工特征，并同时利用卷积神经网络进行自动的特征提取。最后我们分别把三方面的特征(人口统计数据，手工特征，卷积神经网络特征)进行基于特征表示一致性的融合，最后利用全连接神经网络进行分类。该方法利用了人员的多种数据特征，可以更好的对人员的帕金森健康风险进行评估。

技术方案

一种基于多模态数据的帕金森健康风险评估方法，其特征在于步骤如下：

步骤1：以UPDRS评分，人口基本情况数据和传感器数据构建为多模态数据集；所述传感器数据为被测人员的运动数据，包括不同时间点的、x，y，z三个运动方向的多维度时间序列数据；

步骤2：利用高斯滤波对传感器数据进行预处理；

步骤3：将传感器数据样本通过卷积神经网络提取特征V_cnn；

所述卷积神经网络结构为八个卷积层，八个最大池化层；连接顺序为：先使用一个卷积层，以20个卷积核用于提取特征，步长设置为1，卷积核大小设置为3；接下来连接一个池化层，采用最大池化层，大小设置为3，步长设置为2；然后同样的结构，卷积层和池化层交替次8次，最后一个池化层的结果就是卷积神经网络提取到的特征；

步骤4、融入手工特征：以一个SensorMat矩阵表示一个样本的传感器数据，矩阵为三行N列，三行表示x，y，z三个运动方向，N代表序列的长度；X，Y，Z表示SensorMat[0]，SensorMat[1]，SensorMat[2]，分别表示三个运动方向的传感器数据的不同时间点的向量表示，基于传感器数据计算以下特征：

Range_x＝max(X)-min(X)

Range_y＝max(Y)-min(Y)

Range_z＝max(Z)-min(Z)

其中，Range_x，Range_y，Range_z表示传感器数据在x，y，z三个方向运动的幅度值；max表示求一组向量的最大值，min表示求一组向量的最小值；

Mean_x，Mean_y，Mean_z代表x，y，z三个运动方向的均值：

Var_x，Var_y，Var_z表示x，y，z三个方向的方差：

Skew_x，Skew_y，Skew_z代表x，y，z三个方向的偏度：

Kurtosis_x，Kurtosis_y，Kurtosis_z代表x，y，z三个运动方向的峰度：

根据求得互相关系数求出x，y，z任意两组运动方向的互相关系数的最大值，PeakXY_cr，PeakXZ_cr，PeakYZ_cr分别代表传感器数据x，y方向，x，z方向和y，z方向的互相关系数的最大值：

一个样本计算一个18维的特征，所有的样本经过上述计算，获得一个完整的特征表示，用V_manual表示；

步骤5：整合参与帕金森风险预测的人员的人口统计数据，以UPDRS第一部分和第二部分的2维，UPDRS第三部分包含被测人是否服用药物下的两种类型的特征的72维，以及UPDRS第四部分分数的6维，年龄和性别的2维，构成82维的特征向量代表某个人的人口统计数据特征，以V_clinical表示；

步骤6：模型训练与预测：

建立训练模型结构，连接顺序和具体结构为：先使用一个卷积层，以20个卷积核用于提取特征，步长设置为1，卷积核大小设置为3；接下来连接一个池化层，采用最大池化层，大小设置为3，步长设置为2；然后同样的结构，卷积层和池化层交替次8次，最后一个池化层的结果就是卷积神经网络提取到的特征；

将收集的所有被测人员的数据数据分为训练数据和预测数据，以训练数据输入训练模型进行训练得到训练模型完成的预测模型，然后将预测数据输入预测模型，预测模型输出一个0到1的帕金森风险概率；将预测的结果使用0.5为阈值将预测结果变成二分类的结果。

所述高斯滤波采用0.5Hz的高通滤波器对数据进行滤波处理。

有益效果

本发明提出的一种基于多模态数据的帕金森健康风险评估方法，数据集准备，其中包括UPDRS评分，人口基本情况数据，传感器数据，构建多模态数据集；利用高斯滤波对传感器数据进行预处理；搭建卷积神经网络模型，构建基于深度学习的传感器数据特征提取方法。融入手工特征，计算传感器数据对于帕金森健康风险评估具有重要意义的特征。整合人口统计数据，将人口统计数据融入模型。模型训练与预测，整合卷积神经网络提取到的特征，手工特征以及人口统计数据特征。构建基于这三类特征的特征表示一致性模块。最后，对模型进行训练，并对未知标签的样本进行预测。

通过以上步骤，通过融和样本的多模态特征，考虑多种因素对帕金森健康风险的影响，最后基于发明的模型对帕金森健康风险评估。通过结合CNN训练得到的特征和临床特征，以及手工特征，本方法及模型在帕金森风险预测的正确率达到81.4％。

附图说明

图1为一种基于多模态数据的帕金森健康风险评估方法模型框架图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

为了更好的描述此方法的细节，下面将对发明中的每个步骤进行详细的描述。本发明的主要流程具有以下的步骤：

步骤一：数据集准备。利用可穿戴智能设备对被测人员手腕部位的运动数据进行收集，我们这里主要利用智能手表的加速计收集传感器数据，对于一次完整的数据收集过程，会收集到一个不同时间点的包括x，y，z三个运动方向的信号数据，这个数据是一个包括x，y，z三个运动方向的多维度时间序列数据，数据可以反映出被测人员的运动情况。

步骤二：数据预处理。通过智能设备收集到的传感器数据往往存在许多的噪声，这些噪声会严重的影响帕金森健康风险评估。我们使用0.5Hz的高通滤波器对数据进行滤波处理，以来消除重力加速度因素导致的噪声的影响。

步骤三：搭建基于深度学习的卷积神经网络模型。我们通过搭建卷积神经网络模型用来自动提取传感器数据的特征，卷积层的结构为八个卷积层，八个最大池化层，具体来说，卷积神经网络的连接顺序为：先使用一个卷积层，接下来连接一个池化层，更详细的说，就是卷积层和池化层交替的出现。最后将最后一个池化层提取到的特征进行向量化，以形成一个特征向量。模型主要通过不断加大卷积核数量来学习传感器的特征。经过步骤三，我们把一个样本通过卷积神经网络提取到的特征用V_cnn表示。

步骤四：融入手工特征。为了提高预测的准确性，我们进一步融入一些根据以往的研究已经证明对帕金森健康风险评估有意义的特征。我们从每个样本的传感器数据中估计出一个18维的特征：每个运动方向的加速度的幅度范围(3维)；每个方向的均值(3维)，每个方向的方差(3维)；每个方向的偏度(3维)；每个方向的峰度(3维)；以及任意两个方向的相关系数的最大值(3维)，综上，我们计算了18个特征。这18个特征的计算方式下面给出。

对于一个样本，我们用一个SensorMat矩阵表示传感器数据，这个矩阵的大小为3行N列，3表示x，y，z三个运动方向，N代表序列的长度。为了简化表示，我们用X，Y，Z表示SensorMat[0]，SensorMat[1]，SensorMat[2]，它们分别表示三个运动方向的传感器数据的不同时间点的向量表示。然后我们基于传感器数据计算以下特征：

Range_x＝max(X)-min(X) (1)

Range_y＝max(Y)-min(Y) (2)

Range_z＝max(Z)-min(Z) (3)

其中，Range_x，Range_y，Range_z表示传感器数据在x，y，z三个方向运动的幅度值。max表示求一组向量的最大值，min表示求一组向量的最小值。

其中，Mean_x，Mean_y，Mean_z代表x，y，z三个运动方向的均值。

其中，Var_x，Var_y，Var_z表示x，y，z三个方向的方差，Mean_x，Mean_y，Mean_z分别为上一步求得的均值。

其中，Skew_x，Skew_y，Skew_z代表x，y，z三个方向的偏度。所用均值，方差已在上一步求出。

其中，Kurtosis_x，Kurtosis_y，Kurtosis_z代表x，y，z三个运动方向的峰度，均值在上面计算过程中已经给出。

下面我们需要求互相关系数的最大值，我们先给出协方差的定义：已知两个向量A，B，它们的协方差可以表示为：分别代表A，B的均值。下面为求互相关系数的公式，然后再根据求得互相关系数求出x，y，z任意两组运动方向的互相关系数的最大值，定义如下：

其中PeakXY_cr，PeakXZ_cr，PeakYZ_cr分别代表传感器数据x，y方向，x，z方向和y，z方向的互相关系数的最大值。

综上，一个样本可以计算一个18维的特征，所有的样本经过上述计算，都可以获得一个完整的特征表示，我们用V_manual表示。

步骤五：整合人口统计数据。在该问题中，对于不同的样本，他们的人口统计数据不一致，然而这些人口统计数据会影响样本的帕金森健康风险。这时候，仅仅通过传感器数据进行帕金森健康风险评估往往会存在一些问题。基于此，在这里引入人口统计数据(UPDRS评分数据和人口基本情况数据)。这些人口统计数据来自于参与帕金森风险预测的人员。具体来说，在本发明中，我们整合了样本UPDRS评分的第一部分总分，第二部分总分，以及第三和四部分的具体的各子项的分数，以及性别，年龄，学历特征。对于每个被测人员，形成一个82维的特征向量代表这个人的人口统计数据特征。具体来说，82维的特征由以下的特征组成：UPDRS第一部分和第二部分总分共计2维，UPDRS第三部分包含被测人是否服用药物下的两种类型的特征共计72维，UPDRS第四部分分数共计6维，年龄和性别2维。这些特征的具体表示为离散值。我们将以上所有的特征进行拼接，一共82维。我们用V_clinical表示人口统计数据特征。

步骤六：模型训练与预测。综上，我们得到了每个样本通过卷积神经网络提取到的特征，以及每个样本的手工特征和人口统计数据特征。现在我们构建基于这三类特征的特征表示一致性模块，从而对三个方面的特征加以融合并进行训练。对于每个样本，用0到1表示人员是否有帕金森，对于未知样本，我们使用模型输出一个0到1的帕金森风险概率。

根据步骤一到步骤五：我们们获得了三个方面的特征。然后我们整合CNN提取到的特征V_cnn和手工特征V_manual以及临床数据特征V_clinical，我们可以设置三个超参数来控制三个方面特征，我们给出下面公式对三方面特征进行操作：

其中，V_cnn表示对传感器信号利用CNN提取到的特征，V_manual表示对传感器信号计算的手工特征，V_clinical表示人口统计数据特征。我们先对这三类特征分别经过一个全连接网络层进行这三类特征的特征表示一致性表示。在这里可以控制通过和/>的维度控制V′_cnn，V′_manual，V′_clinical的维度大小，最后，我们再对这三个特征进行拼接得到V_final，/>表示向量的拼接操作，Relu代表非线性激活函数。

之后，我们对于V_final再连接一个全连接神经网络层即可，在这一层，我们使用sigmoid激活函数：

其中p(z_i)输出为帕金森风险在0到1区间的概率值。z_i为被sigmoid函数激活之前的值。

最后，在模型中，我们利用二元交叉熵损失作为模型的损失函数，定义如下：

其中，y_i表示的是第i个样本的真实值，p_i表示的是第i个样本的预测值。

另外，防止过拟合，我们使用Dropout技术和L2正则化。L2正则化方法是在原有的损失函数基础上增加一个惩罚项，该惩罚项由所有参数的平方和组成，带L2正则化的损失公式如下：

其中，loss是原有的损失函数，L(w)是添加了L2正则化后的损失函数，λ为正则化限制参数，在这里，我们参数λ设置为0.001。

我们模型的优化器采用Adam，学习率为0.01，批次大小为32。

模型的评估采用正确率Accuracy(ACC)。

最终，我们将预测的结果使用0.5为阈值将预测结果变成二分类的结果。最终，通过结合CNN训练得到的特征和临床特征，以及手工特征。我们提出的模型在帕金森风险预测的正确率达到81.4％。

Claims (2)

1.一种基于多模态数据的帕金森健康风险评估方法，其特征在于步骤如下：

步骤1：以UPDRS评分，人口基本情况数据和传感器数据构建为多模态数据集；所述传感器数据为被测人员的运动数据，包括不同时间点的、x，y，z三个运动方向的多维度时间序列数据；

步骤2：利用高斯滤波对传感器数据进行预处理；

步骤3：将传感器数据样本通过卷积神经网络提取特征V_cnn；

所述卷积神经网络结构为八个卷积层，八个最大池化层；连接顺序为：先使用一个卷积层，以20个卷积核用于提取特征，步长设置为1，卷积核大小设置为3；接下来连接一个池化层，采用最大池化层，大小设置为3，步长设置为2；然后同样的结构，卷积层和池化层交替次8次，最后一个池化层的结果就是卷积神经网络提取到的特征；

步骤4、融入手工特征：以一个SensorMat矩阵表示一个样本的传感器数据，矩阵为三行N列，三行表示x，y，z三个运动方向，N代表序列的长度；X，Y，Z表示SensorMat[0]，SensorMat[1]，SensorMat[2]，分别表示三个运动方向的传感器数据的不同时间点的向量表示，基于传感器数据计算以下特征：

Range_x＝max(X)-min(X)

Range_y＝max(Y)-min(Y)

Range_z＝max(Z)-min(Z)

其中，Range_x，Range_y，Range_z表示传感器数据在x，y，z三个方向运动的幅度值；max表示求一组向量的最大值，min表示求一组向量的最小值；

Mean_x，Mean_y，Mean_z代表x，y，z三个运动方向的均值：

Var_x，Var_y，Var_z表示x，y，z三个方向的方差：

Skew_x，Skew_y，Skew_z代表x，y，z三个方向的偏度：

Kurtosis_x，Kurtosis_y，Kurtosis_z代表x，y，z三个运动方向的峰度：

根据求得互相关系数求出x，y，z任意两组运动方向的互相关系数的最大值，PeakXY_cr，PeakXZ_cr，PeakYZ_cr分别代表传感器数据x，y方向，x，z方向和y，z方向的互相关系数的最大值：

一个样本计算一个18维的特征，所有的样本经过上述计算，获得一个完整的特征表示，用V_manual表示；

步骤5：整合参与帕金森风险预测的人员的人口统计数据，以UPDRS第一部分和第二部分的2维，UPDRS第三部分包含被测人是否服用药物下的两种类型的特征的72维，以及UPDRS第四部分分数的6维，年龄和性别的2维，构成82维的特征向量代表某个人的人口统计数据特征，以V_clinical表示；

步骤6：模型训练与预测：

建立训练模型结构，连接顺序和具体结构为：先使用一个卷积层，以20个卷积核用于提取特征，步长设置为1，卷积核大小设置为3；接下来连接一个池化层，采用最大池化层，大小设置为3，步长设置为2；然后同样的结构，卷积层和池化层交替次8次，最后一个池化层的结果就是卷积神经网络提取到的特征；

将收集的所有被测人员的数据数据分为训练数据和预测数据，以训练数据输入训练模型进行训练得到训练模型完成的预测模型，然后将预测数据输入预测模型，预测模型输出一个0到1的帕金森风险概率；将预测的结果使用0.5为阈值将预测结果变成二分类的结果。

2.根据权利要求1所述基于多模态数据的帕金森健康风险评估方法，其特征在于：所述高斯滤波采用0.5Hz的高通滤波器对数据进行滤波处理。