CN117243569B - 一种基于多源信息融合的认知功能评估方法和系统 - Google Patents

Abstract

本公开提供一种基于多源信息融合的认知功能评估方法和系统，涉及健康管理技术领域。该方法的具体实施方式包括：采集老年人的脑氧信号、心电信号、眼电信号、皮电信号以及平衡信号；根据所述脑氧信号、所述心电信号、所述眼电信号、所述皮电信号以及所述平衡信号，提取老年人的心‑脑耦合数据指数、专注力数据指数、眼电‑皮电的情绪数据指数和本体感觉平衡指数；通过所述心‑脑耦合数据指数、所述专注力数据指数、所述眼电‑皮电的情绪数据指数和所述本体感觉平衡指数，评估老年人的认知功能障碍程度。该实施方式能够较为方便、准确、高效地对认知功能进行评估，及早发现老年人的认知功能障碍，在健康管理领域具有非常广泛的应用前景。

Description

一种基于多源信息融合的认知功能评估方法和系统

技术领域

本公开涉及健康管理技术领域，尤其涉及一种基于多源信息融合的认知功能评估方法和系统。

背景技术

随着全世界人口的老龄化，老年人认知功能障碍的患病率逐渐增加，不仅严重影响老年人的生活质量，而且给家庭和社会带来沉重的负担。

现阶段，认知功能障碍的评估主要是依赖临床认知功能评估量表，但量表评估受患者配合程度、评估者的评估水平影响较大，导致分类评估准确率及效率低，实际推广应用存在一定的局限性，无法高效、简便、及时地对认知功能障碍进行评估。

发明内容

有鉴于此，本公开实施例提供一种基于多源信息融合的认知功能评估方法和系统，能够解决量表评估的分类评估的准确率及效率低下，实际推广应用存在一定的局限性，无法高效、简便、及时地对认知功能障碍进行评估的问题。

为实现上述目的，根据本公开的一方面，提供了一种基于多源信息融合的认知功能评估方法，包括：

采集老年人的脑氧信号、心电信号、眼电信号、皮电信号以及平衡信号；

根据所述脑氧信号、所述心电信号、所述眼电信号、所述皮电信号以及所述平衡信号，提取老年人的心-脑耦合数据指数、专注力数据指数、眼电-皮电的情绪数据指数和本体感觉平衡指数；

通过所述心-脑耦合数据指数、所述专注力数据指数、所述眼电-皮电的情绪数据指数和所述本体感觉平衡指数，评估老年人的认知功能障碍程度。

根据本公开的另一方面，提供了一种基于多源信息融合的认知功能评估系统，包括：

采集模块，用于采集老年人的脑氧信号、心电信号、眼电信号、皮电信号以及平衡信号；

信息处理分析模块，用于根据所述脑氧信号、所述心电信号、所述眼电信号、所述皮电信号以及所述平衡信号，提取老年人的心-脑耦合数据指数、专注力数据指数、眼电-皮电的情绪数据指数和本体感觉平衡指数；

认知功能评估模块，用于通过所述心-脑耦合数据指数、所述专注力数据指数、所述眼电-皮电的情绪数据指数和所述本体感觉平衡指数，评估老年人的认知功能障碍程度。

本申请实施例中提供的一个或多个技术方案，通过采集低成本、易监测的脑氧信号、心电信号、眼电信号、皮电信号和重心变化信号，计算老年人的心-脑耦合数据指数、专注力数据指数、情绪数据指数和本体感觉平衡指数，综合分析进行认知功能障碍程度的评估，实现能够较为方便、准确、高效地对认知功能进行评估，及早发现老年人的认知功能障碍，在健康管理领域具有较高的实际应用价值和广泛的应用前景的技术效果。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1示出了根据本公开示例性实施例的基于多源信息融合的认知功能评估方法的流程图；

图2示出了根据本公开示例性实施例的眼电-皮电的情绪数据指数的计算方法的流程图；

图3示出了根据本公开示例性实施例的基于多源信息融合的认知功能评估系统的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“在本发明实施例中”表示“至少一个实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

以下参照附图描述本公开的方案。

图1示出了根据本公开示例性实施例的基于多源信息融合的认知功能评估方法的流程图，如图1所示，本公开的基于多源信息融合的认知功能评估方法包括如下步骤：

步骤S101，采集老年人的脑氧信号、心电信号、眼电信号、皮电信号以及平衡信号。

在本公开实施例中，在每次虚拟现实认知任务下，分别利用近红外脑氧仪、心电监测仪、眼电仪和生理信息监测仪连续监测老年人20分钟，获取虚拟现实认知任务下的脑氧信号、心电信号、眼电信号和皮电信号；在每次扰动任务下，分别利用平衡仪和近红外脑氧仪连续监测老年人15分钟，获取扰动任务下的平衡信号和脑氧信号。其中，平衡信号为老年人的身体重心的重心变化信号。

步骤S102，根据所述脑氧信号、所述心电信号、所述眼电信号、所述皮电信号以及所述平衡信号，提取老年人的心-脑耦合数据指数、专注力数据指数、眼电-皮电的情绪数据指数和本体感觉平衡指数。

在本公开实施例中，对虚拟现实认知任务下的脑氧信号和心电信号进行耦合计算，以得到老年人的心-脑耦合数据指数XN_dn；对虚拟现实认知任务下的脑氧信号和眼电信号通过功率谱计算方法，以得到老年人的专注力数据指数YR_op；对虚拟现实认知任务下的眼电信号和皮电信号进行时频域特征提取，建立老年人的眼电-皮电的情绪数据指数SG；对扰动任务下的脑氧信号和重心变化信号进行耦合计算，得出本体感觉平衡指数PN_gn。具体地：

(1)心-脑耦合数据指数XN_dn的计算如下式所示：

上式中，LF、HF分别为从心电信号中提取的心率变异性指标的低频功率和高频功率；

ER_LP为虚拟现实认知任务下老年人的心电信号与左侧脑区脑氧信号的耦合值；

ER_RP为虚拟现实认知任务下老年人的心电信号与右侧脑区脑氧信号的耦合值；

η为校正系数，当老年人为右利手时，η∈[0.5，1)；当老年人为左利手时，η∈(0,0.5)。

其中：

虚拟现实认知任务下心电信号与左侧脑区脑氧信号的耦合值ER_LP的计算如下式所示：

上式中，LN为左侧脑区的通道数量；

ER_Lk(w)为虚拟现实认知任务下心电信号和左侧脑区第k个通道的脑氧信号的功率谱；

EC(w)为虚拟现实认知任务下心电信号时间序列的自功率谱；

FR_Lk(w)为虚拟现实认知任务下左侧脑区第k个通道的脑氧信号的自功率谱。

虚拟现实认知任务下心电信号与右侧脑区脑氧信号的耦合值ER_RP的计算如下式所示：

上式中，RN为右侧脑区的通道数量；

ER_Ri(w)为虚拟现实认知任务下心电信号和右侧脑区第i个通道的脑氧信号的功率谱；

FR_Ri(w)为虚拟现实认知任务下右侧脑区第i个通道的脑氧信号的自功率谱。

(2)专注力数据指数YR_op的计算如下式所示：

上式中，专注力数据指数YR_op表征在虚拟现实认知任务下，不同脑区通道的脑氧信号与眼电信号的耦合强度；

OR_m(w)为虚拟现实认知任务下眼电信号和第m个通道的脑氧信号的功率谱；

EO(w)为虚拟现实认知任务下眼电信号时间序列的自功率谱；

FR_m(w)为虚拟现实认知任务下第m个通道的脑氧信号的自功率谱。

(3)眼电-皮电的情绪数据指数SG的计算如图2所示，包括如下步骤：

步骤S201，通过长短时记忆网络提取眼电信号OR中的时频域特征，输出眼电特征向量如下式所示：

上式中，σ()为长短时记忆网络的第一激活函数；

tanh()为长短时记忆网络的第二激活函数；

W_LSTM1为长短时记忆网络中提取眼电特征的输入门的输入门权重；

W_LSTM2为长短时记忆网络中提取眼电特征的遗忘门的遗忘门权重；

B_LSTM1为长短时记忆网络中提取眼电特征的输入门的输入门偏置；

B_LSTM2为长短时记忆网络中提取眼电特征的遗忘门的遗忘门偏置。

步骤S202，通过长短时记忆网络提取皮电信号GR中的时频域特征，输出皮电特征向量如下式所示：

上式中，W_LSTM3为长短时记忆网络中提取皮电特征的输入门的输入门权重；

W_LSTM4为长短时记忆网络中提取皮电特征的遗忘门的遗忘门权重；

B_LSTM3为长短时记忆网络中提取皮电特征的输入门的输入门偏置；

B_LSTM4为长短时记忆网络中提取皮电特征的遗忘门的遗忘门偏置。

步骤S203，基于层级交叉注意力机制对眼电特征向量和皮电特征向量进行特征融合，得到融合特征向量/>如下式所示：

上式中，w_OR1,...,w_ORA为眼电特征向量的各个特征OR_LSTM1,...,OR_LSTMA的注意力权重的权重值；

w_GR1,...,w_GRB为皮电特征向量的各个特征GR_LSTM1,...,GR_LSTMB的注意力权重的权重值；其中，眼电特征向量/>的第a个特征OR_LSTMa的注意力权重的权重值如下式所示：

上式中，μ_a为眼电特征向量的第a个特征OR_LSTMa的波动值。

A为眼电特征向量的特征数量；

皮电特征向量的第a个特征GR_LSTMb的注意力权重的权重值如下式所示：

上式中，λ_b为皮电特征向量的第b个特征GR_LSTMb的波动值；

B为皮电特征向量的特征数量。

步骤S204，将融合特征向量输入softmax分类器，得到眼电-皮电的情绪数据指数SG，如下式所示：

上式中，W_d、B_d分别为softmax分类器的分类权重和分类偏置。

进一步地，不同的眼电-皮电的情绪数据指数SG取值表示不同的情绪类型，比如，SG∈[0.6,0.9)表示情绪类型为正面、SG∈[0.3,0.6)表示情绪类型为中性、SG∈(0,0.3]表示情绪类型为负面。

更进一步地，在提取眼电信号OR和皮电信号GR的时频域特征之前，对眼电信号OR和皮电信号GR进行预处理，包括利用中值滤波器去除眼电信号OR的噪声干扰，并基于样条插值法和标准差法去除眼电信号OR中的伪迹，得到预处理后的眼电信号OR；利用线性平滑滤波器去除皮电信号GR中的噪声干扰，得到预处理后的皮电信号GR。

(4)本体感觉平衡指数PN_gn的计算如下式所示：

上式中，DP_gn为扰动任务下重心变化信号的方差值；

PR_LB为扰动任务下重心变化信号与左侧脑区脑氧信号的耦合值；

PR_RB为扰动任务下重心变化信号与右侧脑区脑氧信号的耦合值；

δ为校正系数。

其中：

重心变化信号的方差值DP_gn的计算如下式所示：

上式中，n为重心变化信号随机采样的分段数，可以根据需要进行选择性设置；

PG_j为重心变化信号在第j时刻的重心值；

为重心变化信号的均值。

扰动任务下重心变化信号与左侧脑区脑氧信号的耦合值PR_LB的计算如下式所示：

上式中，LN为左侧脑区的通道数量；

PG_Lk(w)为扰动任务下重心变化信号和左侧脑区第k个通道的脑氧信号的功率谱；

PF(w)为扰动任务下重心变化信号时间序列的自功率谱；

FR_Lk(w)为扰动任务下左侧脑区第k个通道的脑氧信号的自功率谱；

扰动任务下重心变化信号与右侧脑区脑氧信号的耦合值PR_RB的计算如下式所示：

上式中，RN为右侧脑区的通道数量；

PG_Ri(w)为扰动任务下重心变化信号和右侧脑区第i个通道的脑氧信号的功率谱；

FR_Ri(w)为扰动任务下右侧脑区第i个通道的脑氧信号的自功率谱。

步骤S103，通过所述心-脑耦合数据指数、所述专注力数据指数、所述眼电-皮电的情绪数据指数和所述本体感觉平衡指数，评估老年人的认知功能障碍程度。

在本发明实施例中，老年人的认知功能障碍程度的计算如下式所示：

K＝A₁*XN_dn+A₂*YR_op+A₃*SG+A₄*PN_gn

上式中，K为认知功能障碍程度，不同的取值分别表示不同的认知功能障碍程度，包括认知功能正常、轻度认知功能障碍、中度认知功能障碍和重度认知功能障碍；

A₁、A₂、A₃、A₄分别为心-脑耦合数据指数XN_dn、专注力数据指数YR_op、眼电-皮电的情绪数据指数SG、本体感觉平衡指数PN_gn的指数系数。

进一步地，根据各个指数的指数阈值和在评估周期内超过各个指数阈值的次数，基于各个指数的重要程度，按序对老年人的认知功能障碍程度进行判断，确定各个系数的取值，从而计算老年人的认知功能障碍程度。其中，指数阈值包括心-脑耦合指数阈值XN_dn,max、专注力指数阈值YR_op,max、眼电-皮电的情绪指数阈值SG_max和本体感觉平衡指数阈值PN_gn,max，各个指数阈值可以根据实际的认知康复需求进行选择性设置；心-脑耦合数据指数XN_dn和专注力数据指数YR_op的重要程度优于眼电-皮电的情绪数据指数SG和本体感觉平衡指数PN_gn。具体地：

(1)当心-脑耦合数据指数XN_dn在2周内超过心-脑耦合指数阈值XN_dn,max的次数小于等于2次、以及专注力数据指数YR_op在2周内超过专注力指数阈值YR_op,max的次数小于等于2次时，不再对眼电-皮电的情绪指数阈值SG_max和本体感觉平衡指数阈值PN_gn,max指标进行计算，确定A₁＝A₂＝A₃＝A₄＝0，评估认知功能障碍程度为认知功能正常；

(2)当心-脑耦合数据指数XN_dn和专注力数据指数YR_op在2周内内超过心-脑耦合指数阈值XN_dn,max和专注力指数阈值YR_op,max的次数大于2次时，计算眼电-皮电的情绪指数阈值SG_max和本体感觉平衡指数阈值PN_gn,max；

当眼电-皮电的情绪数据指数SG在2周内未超过眼电-皮电指数阈值SG_max、以及本体感觉平衡指数PN_gn在2周内未超过本体感觉平衡指数阈值PN_gn,max时，确定A₁＝A₂＝1,A₃＝A₄＝0，评估认知功能障碍程度为轻度认知功能障碍；

(3)当心-脑耦合数据指数XN_dn和专注力数据指数YR_op在2周内超过心-脑耦合指数阈值XN_dn,max和专注力指数阈值YR_op,max的次数大于2次，并且，眼电-皮电的情绪数据指数SG在2周内超过眼电-皮电指数阈值SG_max的次数小于4次、以及本体感觉平衡指数PN_gn在2周内超过本体感觉平衡指数阈值PN_gn,max的次数小于4次时，确定A₁＝A₂＝1,A₃＝A₄＝0.5，评估认知功能障碍程度为中度认知功能障碍；

(4)当心-脑耦合数据指数XN_dn和专注力数据指数YR_op在2周内超过心-脑耦合指数阈值XN_dn,max和专注力指数阈值YR_op,max的次数大于2次，并且，眼电-皮电的情绪数据指数SG和本体感觉平衡指数PN_gn在2周内超过眼电-皮电指数阈值SG_max和本体感觉平衡指数阈值PN_gn,max的次数大于等于4次时，确定A₁＝A₂＝A₃＝A₄＝1，评估认知功能障碍程度为重度认知功能障碍。

在本公开实施例中，医护人员还可以根据本公开的基于多源信息融合的认知功能评估方法评估出的老年人的认知功能障碍程度，综合老年人的其它项目检查结果，进一步准确评估老年人的认知功能障碍程度，以提升老年人认知功能评估的准确性。

在本发明实施例中，通过本公开的基于多源信息的认知功能评估方法，能够充分发挥多源异构数据的关联性和互补性，低成本、全方位高效、客观、简便、及时、准确地对老年人的认知功能障碍程度进行评估，客观性和实际应用价值较高，而且可以及早发现老年人的认知障碍缺陷，提醒老年人群可以根据评估结果及时采取干预措施，延缓认知功能的退化。

图3是根据本公开实施例的基于多源信息融合的认知功能评估系统的主要模块的示意图，如图3所示，本公开的基于多源信息融合的认知功能评估系统300包括：

采集模块301，用于采集老年人的脑氧信号、心电信号、眼电信号、皮电信号以及平衡信号。

信息处理分析模块302，用于根据所述脑氧信号、所述心电信号、所述眼电信号、所述皮电信号以及所述平衡信号，提取老年人的心-脑耦合数据指数、专注力数据指数、眼电-皮电的情绪数据指数和本体感觉平衡指数。

在本发明实施例中，信息处理分析模块302包括心-脑耦合指标模块3021、专注力指标模块3022、情绪指标模块3023和本体感觉平衡指标模块3024。

认知功能评估模块303，用于通过所述心-脑耦合数据指数、所述专注力数据指数、所述眼电-皮电的情绪数据指数和所述本体感觉平衡指数，评估老年人的认知功能障碍程度。

进一步地，基于多源信息融合的认知功能评估系统300还包括交互模块304，用于显示认知功能评估模块303评估出的认知功能障碍程度。

Claims (2)

1.一种基于多源信息融合的认知功能评估方法，其特征在于，包括：

获取老年人在虚拟现实认知任务下的脑氧信号、心电信号、眼电信号、皮电信号以及扰动任务下的重心变化信号和脑氧信号；

对所述虚拟现实认知任务下的脑氧信号和心电信号进行耦合计算，得到老年人的心-脑耦合数据指数，其中，/>、/>分别为从心电信号中提取的心率变异性指标的低频功率和高频功率，/>为虚拟现实认知任务下老年人的心电信号与左侧脑区脑氧信号的耦合值，/>为虚拟现实认知任务下老年人的心电信号与右侧脑区脑氧信号的耦合值，/>为校正系数；

通过功率谱计算方法对所述虚拟现实认知任务下的脑氧信号和眼电信号进行处理，得到老年人的专注力数据指数；

提取所述虚拟现实认知任务下的眼电信号和皮电信号的时频域特征，确定老年人的眼电-皮电的情绪数据指数；

对所述扰动任务下的脑氧信号和重心变化信号进行耦合计算，得到本体感觉平衡指数，其中，/>为扰动任务下重心变化信号的方差值，/>为扰动任务下重心变化信号与左侧脑区脑氧信号的耦合值，/>为扰动任务下重心变化信号与右侧脑区脑氧信号的耦合值，/>为校正系数；

通过所述心-脑耦合数据指数、所述专注力数据指数、所述眼电-皮电的情绪数据指数和所述本体感觉平衡指数，评估老年人的认知功能障碍程度。

2.一种基于多源信息融合的认知功能评估系统，其特征在于，包括：

采集模块，用于采集老年人在虚拟现实认知任务下的脑氧信号、心电信号、眼电信号、皮电信号以及扰动任务下的重心变化信号和脑氧信号；

心-脑耦合指标模块，用于对虚拟现实认知任务下的脑氧信号和心电信号进行耦合计算，得到老年人的心-脑耦合数据指数，其中，/>、/>分别为从心电信号中提取的心率变异性指标的低频功率和高频功率，/>为虚拟现实认知任务下老年人的心电信号与左侧脑区脑氧信号的耦合值，/>为虚拟现实认知任务下老年人的心电信号与右侧脑区脑氧信号的耦合值，/>为校正系数；

专注力指标模块，用于通过功率谱计算方法对虚拟现实认知任务下的脑氧信号和眼电信号进行处理，得到老年人的专注力数据指数；

情绪指标模块，用于提取虚拟现实认知任务下的眼电信号和皮电信号的时频域特征，确定老年人的眼电-皮电的情绪数据指数；

本体感觉平衡指标模块，用于对扰动任务下的脑氧信号和重心变化信号进行耦合计算，得到本体感觉平衡指数，其中，/>为扰动任务下重心变化信号的方差值，/>为扰动任务下重心变化信号与左侧脑区脑氧信号的耦合值，为扰动任务下重心变化信号与右侧脑区脑氧信号的耦合值，/>为校正系数；

认知功能评估模块，用于通过所述心-脑耦合数据指数、所述专注力数据指数、所述眼电-皮电的情绪数据指数和所述本体感觉平衡指数，评估老年人的认知功能障碍程度。