CN115295153A - 基于深度学习的认知评估方法及认知任务推送方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的认知评估方法及认知任务推送方法。该认知评估方法包括如下步骤：获取用户的多种数据信息；对多种数据信息进行预处理，以根据每一种数据信息的特征进行数据编码；基于DEEP模型对预处理后的特征数据进行特征转化，以得到第一特征数据；并基于WIDE模型对预处理后的特征数据进行交叉组合，以获取第二特征数据；基于FC全连接层将第一特征数据和第二特征数据进行特征整合；基于MTL模型对融合后的特征数据进行多任务学习，以获取针对用户的认知训练任务的各项二级脑能力的变化值。该方法能够基于用户的多种数据信息确定出对用户产生积极影响的最佳训练任务组合，形成疗效最好、治疗副作用最低的认知训练方案。

Description

基于深度学习的认知评估方法及认知任务推送方法

技术领域

本发明涉及一种基于深度学习的认知评估方法，同时也涉及基于该认知评估方法实现的认知任务推送方法，属于医疗保健信息学领域。

背景技术

根据世界卫生组织估计，至2050年，全球超过60岁的人口将达到20亿，老龄化问题将成为全世界面临的一项全新的挑战。对于老年人来说，年龄的增加不止伴随着身体机能的下降，往往也伴随着认知功能的下降。

基于我国上千万认知障碍患者的适应症类别、不同病症需求及缺损水平，获得最佳训练任务治疗计划计算复杂度很高。首先是训练任务与患者匹配数量，仅临床时间的匹配复杂度就是十万级任务组合

（训练任务数量n＝77，每天推荐的训练任务数量m＝5）匹配千人次

（控制组临床患者数M＝100个，每个患者训练跨度2个月，训练次数N＝4000次），整体是千万级匹配组合。再根据训练任务的涉及二级脑能力、脑网络，患者适应症、年龄等人口统计学参数在千万级匹配关系里优中选优，复杂度也随之增加。

因此，解决认知训练内容个性化、剂量定制化的问题，能从上亿级别的多样认知训练的选择搭配中，以及基于我国上千万认知障碍患者的适应症类别、不同病症需求及缺损水平，选出最适合患者个体的训练内容，是目前认知训练领域亟需解决的问题。为此，在申请号为202110906058.2的中国发明申请中，公开了一种计算机化社会适应训练方法，包括如下步骤：用户先选择自身病症或症状、自身需求，完成与需求相关的综合量表，评估量表中各项数值；确定相应的训练方案；每当用户完成一项单个训练，推送优化的训练方案。

发明内容

本发明所要解决的首要技术问题在于提供一种基于深度学习的认知评估方法。

本发明所要解决的另一技术问题在于提供一种认知训练任务的推送方法。

为了实现上述目的，本发明采用以下的技术方案：

根据本发明实施例的第一方面，提供一种基于深度学习的认知评估方法，包括如下步骤：

获取用户的多种数据信息，所述多种数据信息至少包括：用户画像、用户的脑影像诊断信息、所述用户画像对应的各项二级脑能力的初始值以及用户的认知训练任务；

对所述多种数据信息进行预处理，以根据每一种数据信息的特征进行数据编码，得到预处理后的特征数据；

基于DEEP模型对所述预处理后的特征数据进行特征转化，以得到第一特征数据；并基于WIDE模型对所述预处理后的特征数据进行交叉组合，以获取第二特征数据；

基于FC全连接层将所述第一特征数据和所述第二特征数据进行特征整合；

基于MTL模型对融合后的特征数据进行多任务学习，以获取针对所述用户的认知训练任务的各项二级脑能力的变化值。

其中较优地，所述认知评估方法还包括如下步骤：

采用MSELoss作为损失函数，以用于对判断认知评估结果的好坏；其中，所述MSELoss损失函数的公式如下：

；

将多个单任务的lossLi进行线性相加，得到最终的损失函数L，定义如下：

；

其中，mean表示计算预测值x与真实值y这两个tensor中的对应位置的两个元素的差的平方，得到一个新的同样大小的tensor，然后求这个tensor中所有元素的均值；sum表示计算预测值x与真实值y这两个tensor中的对应位置的两个元素的差的平方，得到一个新的同样大小的tensor，然后求这个tensor中所有元素的和；x_n表示预测值；y_n表示数据标签；w_i表示每一项损失的权重大小；L_i表示每一项的损失值。

其中较优地，所述认知评估方法还包括如下步骤：

采用mini-batch aware regularization作为模型优化器，对每一个mini-batch中参数不为0的进行梯度更新，以用于更新和计算影响模型训练和模型输出的网络参数；

公式如下：

其中，B代表总mini-batch的size，Bm代表第m个mini-batch，amj＝max(x,y)I(xj!＝0)，(x,y) in Bm，I代表指示函数；nj代表在所有样本中特征j出现的次数。

其中较优地，所述认知评估方法还包括如下步骤：

利用自适应调整rectified point的位置的激活函数，引入非线性特性；所述激活函数f（s）的公式如下：

；

E[s]和Var[s]为每一个mini-batch的期望和方差，当期望为0，方差为1退化为PReLu，PReLu的公式如下：

；

其中，p（s）代表mini-batch的归一化方法；s代表输入值大小；a代表一个很小的系数；ε是一个很小的常数，大于0，防止分母为0。

其中较优地，针对所述用户的认知训练任务和所述用户画像，所述DEEP模型和所述WIDE模型均基于DIN的Attention机制对用户行为偏好进行融合匹配，以获取用户感兴趣的认知训练任务。

其中较优地，所述用户画像至少包括用户的人口统计学信息、临床信息以及认知测评信息。

其中较优地，所述用户的脑影像诊断信息包括基于结构态核磁共振生成的与认知障碍相关的脑网络连接和常模比较推断出的退化，以及退化结果诊断出的二级脑功能认知障碍；还包括基于功能态核磁共振生成的认知障碍患者受损的脑功能网络间的退化形成的10*10矩阵。

其中较优地，所述多种数据信息还包括用户在动态训练过程中，对训练任务的训练偏好；

所述训练偏好至少包括用户的面部表情信息反馈、用户对训练任务的依从性、用户在完成任务后对训练任务的喜好评价。

其中较优地，从经典循证神经心理学范式改编的认知训练任务池中，基于所述用户的认知测评结果选取预设数量的认知训练任务，作为所述用户的认知训练任务。

根据本发明实施例的第二方面，提供一种认知训练任务的推送方法，包括如下步骤：

利用上述认知评估方法，对用户的认知训练任务进行评估，以获取对应所述认知训练任务的各项二级脑能力的变化值；

基于所述认知训练任务的各项二级脑能力的变化值，按照对用户的认知提升程度对所述认知训练任务进行排序；

基于所述认知训练任务的排序，选择出各项二级脑能力值之和最大的认知训练任务组合，推送给用户进行认知训练。

与现有技术相比较，本发明具有以下的技术效果：

（1）在认知评估上：进行个性化因子评估，包括人口信息、脑网络影像、量表评估和任务式测评。通过深度学习算法结合百万级大数据，将个体化的评估映射到相应的认知训练方案。通过深度学习的方式对认知训练任务进行有效性评估，从而能够从中选择出最优的认知训练训练内容和训练时长，即对用户能够产生积极影响的最佳训练任务组合，形成疗效最好、治疗副作用最低的认知训练方案。

（2）在认知训练方案上：基于DIN（深度兴趣网络）＋Wide&Deep（广深并行层）＋MTL（多重任务学习模型）变体的多层深度神经网络模型的评估，使得认知训练任务更具有针对性、精准性和有效性。结合认知神经科学的前沿研究，在训练过程中通过机器学习算法，分离用户行为反应数据所包含的潜在决策成分，模拟和提炼人类大脑在决策任务中的神经动态过程，准确地评估用户各认知域敏感性阈值和总体元认知加工效率在健康人常模中的相对位置，实现对用户受损能力的精准评估和后续方案的动态调整。

（3）在训练有效性检测上：在数据分析中，进行认知训练任务的数学建模，获得更精准化、个性化的指标替代正确率映射到认知能力，使得训练结果更贴合真实水平。并且，可通过定期复诊作为阶段性测评，以远程评估长期疗效的进展，获得能力变化的客观标签。。

附图说明

图1为本发明第一实施例提供的一种基于深度学习的认知评估方法流程图；

图2为本发明第一实施例中，变体的多层深度神经网络模型的工作原理图；

图3为本发明第二实施例提供的一种基于深度学习的认知评估方法流程图；

图4为本发明第三实施例提供的一种基于深度学习的认知评估方法流程图；

图5为本发明第四实施例提供的一种基于深度学习的认知评估方法流程图；

图6为本发明第五实施例提供的一种认知训练任务的推送方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

<第一实施例>

图1所示为本发明实施例提供的一种基于深度学习的认知评估方法，具体包括步骤S1～S5：

S1：获取用户的多种数据信息。

本实施例中，多种数据信息至少包括：用户画像、用户的脑影像诊断信息、用户画像对应的24项（可以根据实际需要进行增减，例如减为16项或20项等，下同）二级脑能力的初始值、用户的认知训练任务以及用户的训练偏好等。如图2所示，多种数据信息对应于图2中的输入层。

具体的，用户画像至少包括用户的人口统计学信息、临床信息以及认知测评信息。其中，人口统计学信息包括姓名、年龄、性别、受教育程度等信息；临床信息包括医生诊断的适应症、处方信息、其他共病病症等信息；认知测评信息包括量表式及任务式测评的各个认知领域的认知得分。根据上述三方面的具体内容形成针对于用户的个性化用户画像。

用户的脑影像诊断信息包括基于结构态核磁共振生成的与认知障碍相关的脑网络连接和常模比较推断出的退化，以及退化结果诊断出的二级脑功能认知障碍；还包括基于功能态核磁共振生成的认知障碍患者受损的脑功能网络间的退化形成的10*10矩阵。

用户的认知训练任务为从经典循证神经心理学范式改编的认知训练任务池中，基于用户的认知测评结果选取预设数量的认知训练任务，以与用户受损的认知功能相对应。在本发明的一个实施例中，认知训练任务池由77个经典循证神经心理学范式改编的任务组成。每个任务的数据信息均包括任务的难度参数配置信息、任务所映射的脑网络关系，以及任务的平均完成时长、分数常模、任务被评价的难易程度与趣味性。

用户的训练偏好是指在用户的动态训练过程中，对训练任务的喜好程度和训练时长。用户的训练偏好至少包括用户的面部表情信息反馈、用户对训练任务的依从性、用户在完成任务后对训练任务的喜好评价。

S2：对多种数据信息进行预处理。

当获取到用户的多种数据信息后，需要根据每一种数据信息的特征进行数据编码，得到预处理后的特征数据。如图2所示，该步骤对应于图2中的预处理层。

例如：对于用户画像中的认知测评信息，把认知评测结果转化为用户对应的24项二级脑能力值，该二级脑能力值即为对应于认知测评信息的预处理后的特征数据。又例如：对于用户画像中的年龄信息，按照5岁一个年龄段把年龄信息划分到对应的分组类别中，该分组类别即为对应于年龄信息的预处理后的特征数据。类似的，根据每一种数据信息本身的特点对数据进行处理，从而得到每一种数据信息经过预处理后的特征数据，以用于后续的数据处理。

S3：利用DEEP模型＋WIDE模型对预处理后的特征数据进行深层次数据处理。

本实施例中，当上述多种数据信息均经过预处理，得到对应的特征数据后，一方面将上述特征数据输入到DEEP模型中进行特征转化，从而得到第一特征数据；另一方面，将上述特征数据输入到WIDE模型中进行交叉组合，从而得到第二特征数据。如图2所示，该步骤对应于图2的DEEP&WIDE层。

具体的，DEEP模型是一个前馈网络模型，首先把上层的预处理特征通过Embedding转换为低维稠密向量，再将其作为第一个隐藏层的输入，并根据最终的loss来反向训练更新权重。该DEEP模型可以通过学习到的低纬度稠密向量实现模型的泛化能力，包括可以实现对未见过的内容进行泛化推荐。

此外，在本实施例中，由于普通的DEEP模型通常深度较大（参数非常多），输入的特征数据通常又是稀疏的，训练的过程中很容易过拟合，为了解决该问题，在该DEEP模型中引入DIN的Attention机制，对用户行为偏好进行融合匹配，以获取用户感兴趣的认知训练任务。从而能够根据不同用户的历史行为赋予不同的权重，实现局部激活，从最终反向训练的角度来看，就是根据当前的二级脑能力变化值，来反向的激活用户历史的兴趣爱好。

WIDE模型与DEEP模型为并列的模型结构，WIDE模型可以通过利用交叉特征高效的实现记忆能力，达到准确推荐的目的。WIDE模型通过加入一些宽泛类特征实现一定的泛化能力。但是受限与训练数据，WIDE模型无法实现训练数据中未曾出现过的泛化。WIDE模型的输入使用one-hot编码生成，同时为了增强特征表达的能力，通过对特征进行交叉组合的方式进行优化。因此该部分记忆能力的好坏很大程度取决于特征工程的完备性。

S4：基于FC全连接层将第一特征数据和第二特征数据进行特征整合。

当通过步骤S3获取到第一特征数据和第二特征数据后，将第一特征数据和第二特征数据输入到FC全连接层（Fully Conntion），从而将基于DEEP模型获取的高度抽象化的特征数据（即第一特征数据）和基于WIDE模型获取的浅层交叉特征数据（即第二特征数据）进行特征整合。如图2所示，该步骤对应于图2中的FC层。

S5：基于MTL模型进行数据输出。

具体的，当通过步骤S4获取到整合后的特征数据后，将整合后的特征数据输入至MTL模型，以对融合后的特征数据进行多任务学习，从而获取针对用户的认知训练任务的24项二级脑能力的变化值。如图2所示，该步骤对应于图2的MTL层。

可以理解的是，该24项二级脑能力的变化值指的是：当用户经过所选择的认知训练任务的训练后，基于在训练过程中用户的行为反映数据或基于量表的得分情况对用户最新的24项二级脑能力进行判断，以得到用户最新的24项二级脑能力值。从而与用户在开始认知训练任务之前的24项二级脑能力初始值相比较，得到针对用户的认知训练任务的24项二级脑能力的变化值。该24项二级脑能力的变化值能够反映用户所选择的认知训练任务是否能够对用户的认知提升起到积极作用，容易理解的是，如果某一个认知训练任务对应的某一项二级脑能力值变大，则说明该认知训练任务对该项二级脑能力的提升有积极作用；反之，则说明该认知训练任务对该项二级脑能力的提升无积极作用。

由此，能够基于步骤S1获取的用户的认知训练任务，通过步骤S2～S5对该认知训练任务进行评价，以判断该认知训练任务对于用户认知提升的有效性。从而能够针对于不同的用户，对认知训练任务池中的77个认知训练任务进行有效性排序，以从中选取对用户能够产生积极影响的最佳训练任务组合，输出针对于用户的最佳训练方案。

<第二实施例>

如图3所示，在第一实施例的基础上，该认知评估方法还可以包括：

步骤S6：采用MSELoss作为损失函数，以用于对判断认知评估结果的好坏。

具体的，在该步骤中，MSELoss损失函数的公式如下：

；

将多个单任务的lossLi进行线性相加，得到最终的损失函数L，定义如下：

；

其中，mean表示计算预测值x与真实值y这两个tensor中的对应位置的两个元素的差的平方，得到一个新的同样大小的tensor，然后求这个tensor中所有元素的均值；sum表示计算预测值x与真实值y这两个tensor中的对应位置的两个元素的差的平方，得到一个新的同样大小的tensor，然后求这个tensor中所有元素的和；x_n表示预测值；y_n表示数据标签；w_i表示每一项损失的权重大小；L_i表示每一项的损失值。

由此，利用该损失函数能够对步骤S1～S5的评估结果进行判断，从而体现评估结果与实际结果的差异程度。其中，该实际结果指的是该认知训练任务能够实际提升对应二级脑能力的程度。

<第三实施例>

如图4所示，在第一实施例的基础上，该认知评估方法还可以包括：

步骤S6’：采用mini-batch aware regularization作为模型优化器，对每一个mini-batch中参数不为0的进行梯度更新。

具体的公式如下：

其中，B代表总mini-batch的size，Bm代表第m个mini-batch，amj＝max(x,y)I(xj!＝0)，(x,y) in Bm，I代表指示函数；nj代表在所有样本中特征j出现的次数。

由此，利用该模型优化器能够更新和计算影响模型训练和模型输出的网络参数，以对整个评估模型进行优化。

<第四实施例>

如图5所示，在第一实施例的基础上，该认知评估方法还可以包括：

步骤S6’’：利用自适应调整rectified point的位置的激活函数，引入非线性特性。

具体的，本实施例中，激活函数f（s）的公式如下：

；

E[s]和Var[s]为每一个mini-batch的期望和方差，当期望为0，方差为1退化为PReLu，PReLu的公式如下：

；

其中，p（s）代表mini-batch的归一化方法；s代表输入值大小；a代表一个很小的系数；ε是一个很小的常数，大于0，防止分母为0。

由此，利用该激活函数能够将非线性特性引入到我们的模型网络中。主要目的是将A-NN模型中一个节点的输入信号转换成一个输出信号，该输出信号被用作堆叠中下一个模型的输入。

<第五实施例>

如图6所示，在第一实施例的基础上，本发明第五实施例还提供一种认知训练任务的推送方法，具体包括步骤S10～S30：

S10：利用上述实施例一至四中的任意一种认知评估方法，对用户的认知训练任务进行评估，以获取对应认知训练任务的各项二级脑能力的变化值。

S20：基于认知训练任务的各项二级脑能力的变化值，按照对用户的认知提升程度对认知训练任务进行排序。

S30：基于认知训练任务的排序，选择出各项二级脑能力值之和最大的认知训练任务组合，推送给用户进行认知训练。

综上所述，本发明实施例提供的认知评估方法及认知任务推送方法，具有以下的有益效果：

在认知评估上：进行个性化因子评估，包括人口信息、脑网络影像、量表评估和任务式测评。通过深度学习算法结合百万级大数据，将个体化的评估映射到相应的认知训练方案。通过深度学习的方式对认知训练任务进行有效性评估，从而能够从中选择出最优的认知训练训练内容和训练时长，即对用户能够产生积极影响的最佳训练任务组合，形成疗效最好、治疗副作用最低的认知训练方案。

在认知训练方案上：基于DIN（深度兴趣网络）＋Wide&Deep（广深并行层）＋MTL（多重任务学习模型）变体的多层深度神经网络模型的评估，使得认知训练任务更具有针对性、精准性和有效性。结合认知神经科学的前沿研究，在训练过程中通过机器学习算法，分离用户行为反应数据所包含的潜在决策成分，模拟和提炼人类大脑在决策任务中的神经动态过程，准确地评估用户各认知域敏感性阈值和总体元认知加工效率在健康人常模中的相对位置，实现对用户受损能力的精准评估和后续方案的动态调整。

在训练有效性检测上：在数据分析中，进行认知训练任务的数学建模，获得更精准化、个性化的指标替代正确率映射到认知能力，使得训练结果更贴合真实水平。并且，可通过定期复诊作为阶段性测评，以远程评估长期疗效的进展，获得能力变化的客观标签。

上面对本发明所提供的基于深度学习的认知评估方法及认知任务推送方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (10)

1.一种基于深度学习的认知评估方法，其特征在于包括如下步骤：

获取用户的多种数据信息，所述多种数据信息至少包括：用户画像、用户的脑影像诊断信息、所述用户画像对应的各项二级脑能力的初始值以及用户的认知训练任务；

对所述多种数据信息进行预处理，以根据每一种数据信息的特征进行数据编码，得到预处理后的特征数据；

基于DEEP模型对所述预处理后的特征数据进行特征转化，以得到第一特征数据；并基于WIDE模型对所述预处理后的特征数据进行交叉组合，以获取第二特征数据；

基于FC全连接层将所述第一特征数据和所述第二特征数据进行特征整合；

基于MTL模型对融合后的特征数据进行多任务学习，以获取针对所述用户的认知训练任务的各项二级脑能力的变化值。

2.如权利要求1所述的认知评估方法，其特征在于还包括如下步骤：

采用MSELoss作为损失函数，以用于对判断认知评估结果的好坏；其中，所述MSELoss损失函数的公式如下：

；

将多个单任务的lossLi进行线性相加，得到最终的损失函数L，定义如下：

；

其中，mean表示计算预测值x与真实值y这两个tensor中的对应位置的两个元素的差的平方，得到一个新的同样大小的tensor，然后求这个tensor中所有元素的均值；sum表示计算预测值x与真实值y这两个tensor中的对应位置的两个元素的差的平方，得到一个新的同样大小的tensor，然后求这个tensor中所有元素的和；x_n表示预测值；y_n表示数据标签；w_i表示每一项损失的权重大小；L_i表示每一项的损失值。

3.如权利要求1所述的认知评估方法，其特征在于还包括如下步骤：

采用mini-batch aware regularization作为模型优化器，对每一个mini-batch中参数不为0的进行梯度更新，以用于更新和计算影响模型训练和模型输出的网络参数；

公式如下：

其中，B代表总mini-batch的size，Bm代表第m个mini-batch，amj＝max(x,y)I(xj!＝0)，(x,y) in Bm，I代表指示函数；nj代表在所有样本中特征j出现的次数。

4.如权利要求1所述的认知评估方法，其特征在于还包括如下步骤：

利用自适应调整rectified point的位置的激活函数，引入非线性特性；所述激活函数f（s）的公式如下：

；

E[s]和Var[s]为每一个mini-batch的期望和方差，当期望为0，方差为1退化为PReLu，PReLu的公式如下：

；

其中，p（s）代表mini-batch的归一化方法；s代表输入值大小；a代表一个系数；ε是一个大于0的常数，以防止分母为0。

5.如权利要求1所述的认知评估方法，其特征在于：

针对所述用户的认知训练任务和所述用户画像，所述DEEP模型和所述WIDE模型均基于DIN的Attention机制对用户行为偏好进行融合匹配，以获取用户感兴趣的认知训练任务。

6.如权利要求1所述的认知评估方法，其特征在于：

所述用户画像至少包括用户的人口统计学信息、临床信息以及认知测评信息。

7.如权利要求1所述的认知评估方法，其特征在于：

所述用户的脑影像诊断信息包括基于结构态核磁共振生成的与认知障碍相关的脑网络连接和常模比较推断出的退化，以及退化结果诊断出的二级脑功能认知障碍；还包括基于功能态核磁共振生成的认知障碍患者受损的脑功能网络间的退化形成的10*10矩阵。

8.如权利要求1所述的认知评估方法，其特征在于所述多种数据信息还包括用户在动态训练过程中，对训练任务的训练偏好；

所述训练偏好至少包括用户的面部表情信息反馈、用户对训练任务的依从性、用户在完成任务后对训练任务的喜好评价。

9.如权利要求1所述的认知评估方法，其特征在于：

从经典循证神经心理学范式改编的认知训练任务池中，基于所述用户的认知测评结果选取预设数量的认知训练任务，作为所述用户的认知训练任务。

10.一种认知训练任务的推送方法，其特征在于包括如下步骤：

利用权利要求1～9中任意一项所述的认知评估方法，对用户的认知训练任务进行评估，以获取对应所述认知训练任务的各项二级脑能力的变化值；

基于所述认知训练任务的各项二级脑能力的变化值，按照对用户的认知提升程度对所述认知训练任务进行排序；

基于所述认知训练任务的排序，选择出各项二级脑能力值之和最大的认知训练任务组合，推送给用户进行认知训练。

Images