CN117789988B - 训练预测帕金森步态障碍的预测模型的方法及相关产品 - Google Patents

Abstract

本申请公开了一种训练预测帕金森步态障碍的预测模型的方法及相关产品。所述方法包括：从帕金森患者组和正常组的静息态功能磁共振图像中分别提取对应的动态低频振幅作为训练样本，并从训练样本中选择任意两个动态低频振幅进行组合；获取帕金森患者组和正常组的检查信息，并将检查信息作为训练标签；将组合中的两个动态低频振幅和相应训练标签分别输入至第一编码器和第二编码器提取特征，获得对应的第一时序特征和第二时序特征；构建对应的第一时序特征和第二时序特征之间的相似性函数；以及基于相似性函数优化第一编码器和/或第二编码器，以训练预测帕金森步态障碍的预测模型。利用本申请的方案，可以提高对dALFF数据集的学习能力，提高预测精度。

Description

训练预测帕金森步态障碍的预测模型的方法及相关产品

技术领域

本申请一般涉及人工智能技术领域。更具体地，本申请涉及一种用于训练预测帕金森步态障碍的预测模型的方法、设备、一种用于预测帕金森步态障碍的装置和计算机可读存储介质。

背景技术

帕金森病是一种常见的神经退行性疾病。目前，全球约有超过1000万名帕金森病患者，国内的帕金森病患者约有300万。预计到2030年，国内的帕金森病患者总数将达到全球患病数的一半，给患者家庭和社会带来沉重负担。对帕金森病患者而言，姿势步态障碍（Postural Instability and Gait disorder Dominant，“PIGD”）是其主要症状之一，可出现于疾病早期，且随着疾病的不断进展，步态变异也会增加，甚至发展为冻结步态，导致患者频繁发生跌倒、受伤乃至骨折，严重影响患者的生命健康。由于该病早期的症状缺乏特异性，而临床上主要依靠帕金森病统一评分量表（“UPDRS”）、Hoehn-Yahr（H-Y）分期量表等进行识别，导致其识别结果容易受医师的临床经验、水平以及患者依从性、情绪、周围环境等影响。因此，寻找合适的辅助识别手段，实现帕金森伴步态障碍患者的自动鉴别和治疗干预具有重大的意义。

动态低频振幅（The dynamic Amplitude of Low-Frequency Fluctuations，“dALFF”）是从静息态功能磁共振（resting-state cerebral functional magneticresonance imaging，“rs-fMRI”）图像中提取的，用于描述大脑在静息状态下血氧水平依赖（Blood Oxygen Level Dependent,“BOLD”）信号的低频波动幅度随着时间变化而变化的情况，能够反映大脑在短时间尺度上自发神经活动的变化情况。现有研究表明，帕金森患者通常伴随自发性脑活动的异常改变。因此，许多研究者尝试通过对dALFF数据的分析和分类实现对帕金森病伴步态障碍的早期识别和治疗。近年来，已有基于传统机器学习和深度学习的dALFF分类方法。然而，传统机器学习提取dALFF能力有限，其仅将不同样本的dALFF特征拼接为一维特征进行学习，而无法识别到不同样本dALFF中的时序变化特征。另外，深度学习具有训练参数多、超参调节困难的特点，并且一般需要大规模训练数据做支撑，而dALFF数据通常是高维、小样本的，这严重制约了深度学习在dALFF数据分类任务上的准确性。

有鉴于此，亟需提供一种用于训练预测帕金森步态障碍的预测模型的方案，通过从训练样本中选择任意两个动态低频振幅进行组合，使得面对小样本数据集时，能够扩充预测模型的训练样本集，从而提高对小样本dALFF数据集的学习能力。进一步地，通过共享权重（即孪生）编码器对组合中的不同被试进行时序特征提取，并计算两个时序特征之间的相似性，使得通过对比不同被试之间的差异来学习彼此之间隐藏的关键特征，提高预测精度。

发明内容

为了至少解决如上所提到的一个或多个技术问题，本申请在多个方面中提出了用于训练预测帕金森步态障碍的预测模型的方案。

在第一方面中，本申请提供一种用于训练预测帕金森步态障碍的预测模型的方法，其中所述预测模型包括第一编码器和第二编码器，所述第一编码器和所述第二编码器共享权重，并且所述方法包括：从帕金森患者组和正常组的静息态功能磁共振图像中分别提取对应的动态低频振幅作为训练样本，并从所述训练样本中任意选择两个动态低频振幅进行组合；获取所述帕金森患者组和所述正常组的检查信息，并将所述检查信息作为训练标签；将组合中的两个动态低频振幅和相应训练标签分别输入至所述第一编码器和所述第二编码器中提取特征，以获得对应的第一时序特征和第二时序特征；构建对应的所述第一时序特征和所述第二时序特征之间的相似性函数；以及基于所述相似性函数优化所述第一编码器和/或所述第二编码器，以训练预测帕金森步态障碍的预测模型。

在一个实施例中，其中所述检查信息至少包括步态信息、H&Y量表、TUG量表或者Berg平衡量表中的一种或者多种，并且所述步态信息至少包括步速、跨步长、跨步时长或者跨步节奏中的一种或者多种。

在另一个实施例中，其中所述第一编码器和所述第二编码器均包括多个子编码模块，每个所述子编码模块中包括多个交替堆叠的自注意力层和蒸馏层，并且将组合中的两个动态低频振幅和相应训练标签分别输入至所述第一编码器和所述第二编码器中提取特征，以获得对应的第一时序特征和第二时序特征包括：使用所述第一编码器和所述第二编码器各自的子编码模块中的多个交替堆叠的自注意力层和蒸馏层对动态低频振幅和相应训练标签进行特征提取，获得各子编码模块输出的中间时序特征；以及根据所述第一编码器和所述第二编码器中各子编码模块输出的中间时序特征获得对应的所述第一时序特征和所述第二时序特征。

在又一个实施例中，其中根据所述第一编码器和所述第二编码器中各子编码模块输出的中间时序特征获得对应的所述第一时序特征和所述第二时序特征包括：将所述第一编码器中各子编码模块输出的中间时序特征进行第一融合操作，获得对应的所述第一时序特征；以及将所述第二编码器中各子编码模块输出的中间时序特征进行第二融合操作，获得对应的所述第二时序特征。

在又一个实施例中，其中所述第一融合操作和所述第二融合操作均包括加和操作或者加权操作。

在又一个实施例中，其中所述预测模型还包括第一解码器和第二解码器，并且所述方法还包括：使用所述第一解码器对动态低频振幅和相应训练标签进行解码操作获得第一解码结果，并将对所述第一编码器中各子编码模块输出的中间时序特征进行第一融合操作获得的第一融合结果融入所述第一解码结果融入中，以获得对应的所述第一时序特征；以及使用所述第二解码器对动态低频振幅和相应训练标签进行解码操作获得第二解码结果，并将对所述第二编码器中各子编码模块输出的中间时序特征进行第二融合操作获得的第二融合结果融入所述第二解码结果中，以获得对应的所述第二时序特征。

在又一个实施例中，其中构建对应的所述第一时序特征和所述第二时序特征之间的相似性函数包括：通过以下式子构建对应的所述第一时序特征和所述第二时序特征之间的相似性函数：

其中，表示所述相似性函数，/>表示组合中的两个动态低频振幅，/>和分别表示所述第一时序特征和所述第二时序特征，/>表示欧式距离，/>表示以自然常数e为底的指数函数。

在第二方面中，本申请提供一种用于训练预测帕金森步态障碍的预测模型的设备，包括：处理器；以及存储器，其中存储有用于训练预测帕金森步态障碍的预测模型的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现前述第一方面中的多个实施例。

在第三方面中，本申请提供一种用于预测帕金森步态障碍的装置，包括：处理器；以及存储器，其中存储有用于预测帕金森步态障碍的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：获取待预测的动态低频振幅和已知是否具有帕金森步态障碍的目标动态低频振幅；以及将所述待预测的动态低频振幅和所述目标动态低频振幅输入至根据前述第一方面的多个实施例训练完成的预测模型中进行预测，以获得预测帕金森步态障碍的预测结果。

在第四方面中，本申请提供一种计算机可读存储介质，其上存储有用于训练预测帕金森步态障碍的预测模型的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第一方面中的多个实施例；或者存储有用于预测帕金森步态障碍的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如第三方面所述的装置执行的操作。

通过如上所提供的用于训练预测帕金森步态障碍的预测模型的方案，本申请实施例通过帕金森患者组和正常组的静息态功能磁共振图像中分别提取对应的动态低频振幅作为训练样本，并选择任意两个动态低频振幅进行组合，使得面对小样本数据集时，能够扩充预测模型的训练样本集，从而提高对小样本dALFF数据集的学习能力。进一步地，通过共享权重（即孪生）编码器对组合中不同被试进行时序特征和检查信息特征提取，并计算两个时序特征之间的相似性来训练预测模型，使得通过对比不同被试之间的差异来学习彼此之间隐藏的关键特征，从而极大地提高了预测帕金森步态障碍的预测精度。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出根据本申请实施例的用于训练预测帕金森步态障碍的预测模型的方法的示例性流程框图；

图2是示出根据本申请实施例的用于训练预测帕金森步态障碍的预测模型的整体的示例性示意图；

图3是示出根据本申请实施例的预测模型的又一示例的示例性示意图；

图4是示出根据本申请实施例的用于预测帕金森步态障碍的装置的示例性结构框图；

图5是示出根据本申请实施例的用于训练预测帕金森步态障碍的预测模型的设备的示例性结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

下面结合附图来详细描述本申请的具体实施方式。

图1是示出根据本申请实施例的用于训练预测帕金森步态障碍的预测模型的方法100的示例性流程框图。在一个实现场景中，本申请实施例的预测模型可以包括第一编码器和第二编码器，并且第一编码器和第二编码器共享权重。也即，前述第一编码器和第二编码器为孪生编码器。优选地，前述第一编码器和第二编码器可以例如是informer编码器。

如图1中所示，在步骤S101处，从帕金森患者组和正常组的静息态功能磁共振图像中分别提取对应的动态低频振幅作为训练样本，并从训练样本中选择任意两个动态低频振幅进行组合。根据前文知，动态低频振幅用于描述大脑在静息状态下BOLD信号的低频波动幅度随着时间变化而变化的情况，能够反映大脑在短时间尺度上自发神经活动的变化情况，而帕金森患者通常伴随自发性脑活动的异常改变。由此，本申请实施例通过采集帕金森患者和正常组的静息态功能磁共振图像，并从中提取动态低频振幅来及早地预测帕金森步态障碍。

具体地，可以利用例如MATLAB的脑成像数据处理和分析工具箱DPABI对收集的帕金森患者和正常组的rs-fMRI数据进行预处理，基于滑动窗口方法为每个被试生成dALLF特征矩阵。作为示例，假设令为各个被试的dALLF特征矩阵，其中/>1,T]为dALLF特征矩阵的第/>行，表示被试在核磁共振扫描的第/>个时间窗内，每个脑区的平均低频振幅值，从而获得帕金森患者和正常组中每个样本（或者说被试）所对应的动态低频振幅。通过每个脑区在不同时间窗口内dALFF值的变化，可以反映大脑在较短时间尺度上自发神经活动的变化情况。

基于上述提取的动态低频振幅，将其作为训练样本，并从训练样本中选择任意两个动态低频振幅进行组合。即，将训练样本组合成为成对样本，从而可以形成均为帕金森患者对应的两个动态低频振幅，均为正常被试对应的两个动态低频振幅，或者一个帕金森患者对应的动态低频振幅和一个正常被试对应的动态低频振幅。基于此，可以扩充训练样本集，从而有利于小样本的训练，提高预测模型的精度。

在步骤S102处，获取帕金森患者组和正常组的检查信息，并将检查信息作为训练标签。在一个实施例中，前述检查信息可以包括但不仅限于是步态信息、H&Y量表、TUG量表或者Berg平衡量表中的一种或者多种，并且前述步态信息可以包括但不仅限于是步速、跨步长、跨步时长或者跨步节奏中的一种或者多种。在本申请实施例中，将前述检查信息作为训练标签，以对预测模型进行有监督训练。

接着，在步骤S103处，将组合中的两个动态低频振幅和相应训练标签分别输入至第一编码器和第二编码器提取特征，获得对应的第一时序特征和第二时序特征。例如，以一个帕金森患者对应的动态低频振幅和一个正常被试对应的动态低频振幅为例，将一个帕金森患者对应的动态低频振幅和相应的训练标签输入至第一编码器，将一个正常被试对应的动态低频振幅和相应的训练标签输入至第二编码器。接着，在训练标签的监督下，分别经由第一编码器和第二编码器提取特征，获得对应的第一时序特征和第二时序特征。基于此，通过以前述检查信息作为训练标签进行监督训练，也即在预测过程中对检查信息所示的特征进行拟合。这不仅能够识别dALFF数据中的时域特征还能学习其潜在的临床表现特征，使得提取更准确的特征，获得更准确的预测结果。

在一个实施例中，上述第一编码器和第二编码器均可以包括多个子编码模块，每个子编码模块中可以包括多个交替堆叠的自注意力层和蒸馏层。在一个实现场景中，通过使用上述第一编码器和第二编码器各自的子编码模块中的多个交替堆叠的自注意力层和蒸馏层对动态低频振幅和相应训练标签进行特征提取，获得各子编码模块输出的中间时序特征，进而根据第一编码器和第二编码器中各子编码模块输出的中间时序特征获得对应的第一时序特征和第二时序特征。也就是说，动态低频振幅和相应训练标签经由第一编码器和第二编码器各自的子编码模块中的多个交替堆叠的自注意力层和蒸馏层依次执行自注意力操作和蒸馏操作后，可以获得第一、第二编码器各自对应的各个子编码模块的输出结果（即中间时序特征）。接着，根据第一、第二编码器各自对应的各个子编码模块的输出结果获得对应的第一时序特征和第二时序特征。

可以理解，前述自注意力层可以例如是多头稀疏概率自注意力机制层，多头稀疏概率自注意力机制层可以用于提取不同时刻dALFF特征之间的变化关系以及每个时刻dALFF特征与临床表现特征之间的相关性。其中，前述多头稀疏概率自注意力可以表示为：，其中/>分别代表自注意力机制中的查询（“Query”）、键值（“Key”）和值（“Value”），/>表示超参数，/>表示特征维度。

更为具体地，为了能够在特征提取过程中同时提取dALFF的时序特征和检查信息特征，在多头稀疏概率自注意力机制中，同时把dALLF数据和每个时刻的位置编码作为输入，训练参数矩阵/>，/>，/>，/>，/>，/>。其中，/>，/>，/>是以预测序列（例如编码器的输出结果）与真实序列（例如检查信息）之间的均方差损失函数训练的参数矩阵。作为示例，假设预测的时间序列仍为T，则/>，/>，/>均为/>维矩阵。/>，/>，/>参数矩阵则是以检查信息/>为拟合目标进行预测的。由于/>是与时序无关的，由此假设在预测的任意时刻，样本的H是相同的。进一步地，/>、、/>，/>是/>的稀疏矩阵，其只包含稀疏度量/>下的top-/>个Query。在该场景下，在多头稀疏概率自注意力层的每一个输出，都同时包含了输出向量与时序之间的关系以及与临床表现之间的关系，从而使得输出的特征更加准确，信息更加丰富。

上述自注意力蒸馏层类似于池化操作，其通过下采样来不断降低输出的维度，为优势特征赋予更高的权重，并在下一层生成聚焦的自注意力特征矩阵，从而获得第一、第二编码器各自对应的各个子编码模块的输出结果。根据前述第一、第二编码器各自对应的各个子编码模块的输出结果，在一个实施场景中，通过将第一编码器中各子编码模块输出的中间时序特征进行第一融合操作，获得对应的第一时序特征以及将第二编码器中各子编码模块输出的中间时序特征进行第二融合操作，获得对应的第二时序特征。在一些实施例中，前述第一融合操作和第二融合操作均可以包括加和操作或者加权操作。也就是说，将第一编码器中各子编码模块的输出结果通过例如加和或者加权后获得第一编码器输出的第一时序特征。类似地，将第二编码器中各子编码模块的输出结果通过例如加和或者加权后获得第二编码器输出的第二时序特征。

在一个实施例中，本申请实施例的上述预测模型还可以包括第一解码器和第二解码器，并且通过使用第一解码器对动态低频振幅和相应训练标签进行解码操作获得第一解码结果，并将对第一编码器中各子编码模块输出的中间时序特征进行第一融合操作获得的第一融合结果融入第一解码结果融入中，以获得对应的第一时序特征以及使用第二解码器对动态低频振幅和相应训练标签进行解码操作获得第二解码结果，并将对第二编码器中各子编码模块输出的中间时序特征进行第二融合操作获得的第二融合结果融入第二解码结果中，以获得对应的第二时序特征。也即，通过将第一、第二编码器的输出再次与经由第一、第二解码器进行解码的解码结果进行融合，以获得第一、第二时序特征。

在一些实施例中，前述第一、第二解码器可以例如是informer解码器，其均可以包括一个子解码模块，并且该子解码模块可以包括例如多头稀疏概率自注意力层和多头注意力层。在解码操作过程中，首先以相应编码器的输入（动态低频振幅和相应的训练标签）作为输入，通过对该相应编码器的输入执行多头稀疏概率自注意操作获得相应特征，接着对该相应特征与相应编码器的输出执行多头注意力操作，以将相应编码器的输出融入解码结果中，获得相应的时序特征。也即，将第一、第二解码器中的第一层自注意力特征层的输出与第一、第二编码器的输出结果再经由第二层多头注意力层，以获得第一、第二时序特征。另外，在一些实现场景中，前述第一、第二解码器后可以连接一个全连接层，将前述第一、第二编码器的输入融入第一、第二解码结果后对应的结果分别经由全连接层后输出对应的第一、第二时序特征。

在获得上述第一、第二时序特征后，在步骤S104处，构建对应的第一时序特征和第二时序特征之间的相似性函数。在一个实施例中，可以通过以下式子构建对应的第一时序特征和第二时序特征之间的相似性函数：

（1）

其中，表示相似性函数，/>表示组合中的两个动态低频振幅，/>和/>分别表示第一时序特征和第二时序特征，/>表示欧式距离，/>表示以自然常数e为底的指数函数。

进一步地，在步骤S105处，基于相似性函数优化第一编码器和/或第二编码器，以训练预测帕金森步态障碍的预测模型。具体地，基于相似性函数获得的相似性结果调整第一编码器和/或第二编码器中的参数，使得相似样本（例如同为帕金森患者或者同为正常被试）之间的相似性结果越来越小，即同为帕金森患者或者同为正常被试的动态低频振幅之间的距离越来越小；而使得不相似样本（例如帕金森患者和正常被试）之间的相似性结果越来越大，即成对的帕金森患者和正常被试的动态低频振幅之间的距离越来越大。基于前述调整，可以完成对预测帕金森步态障碍的预测模型的训练。

在一些实施例中，对于训练完成的预测模型，可以通过例如留一法进行模型训练与验证，通过分类准确性、灵敏度和特异度几个指标来评估分类性能，并使用排列检验来评估预测准确性的统计显著性。

结合上述描述可知，本申请实施例通过帕金森患者组和正常组的静息态功能磁共振图像中分别提取对应的动态低频振幅作为训练样本，并选择任意两个动态低频振幅进行组合，使得面对小样本数据集时，能够扩充训练样本集，从而提高对小样本dALFF数据集的学习能力。进一步地，通过共享权重（即孪生）编码器进行第一、第二时序特征和检查信息特征提取，并计算第一、第二两个时序特征之间的相似性来训练预测模型，使得通过对比不同被试（例如帕金森患者与正常被试、帕金森患者与帕金森患者以及正常被试与正常被试）之间的差异来学习彼此之间隐藏的关键特征，从而极大地提高了预测帕金森步态障碍的预测精度。

图2是示出根据本申请实施例的用于训练预测帕金森步态障碍的预测模型的整体的示例性示意图。如图2中所示，该预测模型200可以包括第一编码器201和第二编码器202。在一个实现场景中，前述第一编码器201和第二编码器202可以例如是informer编码器，并且第一编码器201和第二编码器202共享权重。也即，前述第一编码器201和第二编码器202为孪生编码器。在一个实施例中，上述第一编码器和第二编码器均可以包括多个子编码模块。例如，图中所示的第一编码器201包含两个第一子编码模块，即第一子编码模块203和第一子编码模块204。图中所示的第二编码器202包含两个第二子编码模块，即第二子编码模块205和第二子编码模块206。在一些实施例中，上述第一编码器和第二编码器各自的子编码模块可以包括多个交替堆叠的自注意力层和蒸馏层，例如图中第一编码器和第二编码器各自的每个子编码模块中均包括两个交替堆叠的自注意力层207和蒸馏层208。

在对预测模型200进行训练时，首先可以通过提取帕金森患者组和正常组的动态低频振幅和检查信息。在一个实施场景中，可以通过例如MATLAB的脑成像数据处理和分析工具箱DPABI对收集的帕金森患者和正常组的rs-fMRI数据进行预处理，进而基于滑动窗口方法提取dALLF特征矩阵，以获得帕金森患者组和正常组的动态低频振幅。在一个实施例中，前述检查信息可以例如是步速、跨步长、跨步时长、跨步节奏、H&Y量表、TUG量表或者Berg平衡量表等。接着，将帕金森患者组和正常组的动态低频振幅进行两两组合成为成对样本，形成均为帕金森患者的成对动态低频振幅，均为正常被试的成对动态低频振幅或者一个帕金森患者和一个正常被试对应的成对动态低频振幅。

在一个示例性场景中，假设组合成的成对样本中的一个动态低频振幅记为，另一个动态低频振幅记为/>，其相应的检查信息分别记为H1和H2。在该场景下，分别将动态低频振幅/>和相应检查信息（也即标签信息）H1输入第一编码器201和将动态低频振幅记为和相应检查信息H2输入第二编码器202。接着，以第一编码器201为例，前述动态低频振幅和相应检查信息H1分别经由第一编码器201中各第一子编码模块203和第一子编码模块204中的交替堆叠的自注意力层207和蒸馏层208依次执行自注意力操作和蒸馏操作后获得中间时序特征。作为示例，经由第一子编码模块203获得中间时序特征209，经由第一子编码模块204获得中间时序特征210。通过将中间时序特征209和中间时序特征210进行例如加和操作或者加权操作获得第一时序特征211。与前述第一编码器类似地，可以获得第二编码器202对应的第二时序特征212。

进一步地，基于上述公式（1）构建第一时序特征211和第二时序特征212的相似性函数213，通过对相似性函数调整第一编码器和/或第二编码器，使得相似样本之间的相似性结果越来越小，而使得不相似样本之间的相似性结果越来越大，以完成对预测帕金森步态障碍的预测模型的训练。

图3是示出根据本申请实施例的预测模型的又一示例的示例性示意图。如图3中所示，本申请实施例的预测模型除可以包括第一、第二编码器之外，还可以包括第一、第二解码器。其中，前述第一、第二解码器可以包括交替堆叠的多头稀疏概率自注意力层和多头注意力层。在该场景下，通过将第一、第二编码器的输出再次与经由第一、第二解码器进行解码的解码结果进行融合，以获得第一、第二时序特征。例如，以第一编码器201和第一解码器301为例，首先通过将动态低频振幅和相应检查信息（也即标签信息）H1输入第一编码器201，经由第一编码器201中各个子编码模块（例如第一子编码模块203和第一子编码模块204）中交替堆叠的自注意力层207和蒸馏层208的结果的加权或者加和，获得第一编码器201的输出结果304。

图中进一步示出，将动态低频振幅和相应检查信息H1再输入第一解码器301，经由第一解码器301中的多头稀疏概率自注意力层302获得自注意力结果，接着前述第一编码器201的输出结果304和自注意力结果再经由多头注意力层303进行多头注意力操作，并通过一个全连接层305输出第一时序特征211。类似地，基于第二编码器和第二解码器，可以输出上述第二时序特征212。

图4是示出根据本申请实施例的用于预测帕金森步态障碍的装置400的示例性结构框图。如图4中所示，本申请实施例的装置400可以包括处理器401和存储器402，其中处理器401和存储器402之间通过总线进行通信。存储器402存储用于预测帕金森步态障碍的程序指令，当所述程序指令由所述处理器401执行时，使得装置400执行以下操作：获取待预测的动态低频振幅和已知是否具有帕金森步态障碍的目标动态低频振幅以及将待预测的动态低频振幅和目标动态低频振幅输入至上述训练完成的预测模型中进行预测，以获得预测帕金森步态障碍的预测结果。具体来说，通过将待预测的动态低频振幅和目标动态低频振幅输入至预测模型，通过判断预测模型的输出结果是否相似来确定待预测的动态低频振幅是否具有帕金森步态障碍，从而获得预测结果。换言之，通过预测模型来预测待预测的动态低频振幅和目标动态低频振幅之间的相似性，若相似，则与目标动态低频振幅为同类别；若不相似，则与目标动态低频振幅为不同类别。

例如，采用不具有帕金森步态障碍的目标动态低频振幅和待预测的动态低频振幅，将不具有帕金森步态障碍的目标动态低频振幅和待预测的动态低频振幅输入至训练完成的预测模型中进行预测。当预测模型的输出结果为不相似，则表示待预测的动态低频振幅具有帕金森步态障碍。反之，当预测模型的输出结果为相似，则表示待预测的动态低频振幅不具有帕金森步态障碍。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

图5是示出根据本申请实施例的用于训练预测帕金森步态障碍的预测模型的设备500的示例性结构框图。可以理解的是，实现本申请方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。

如图5中所示，本申请的设备可以包括中央处理器或中央处理单元（“CPU”）511，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备500还可以包括大容量存储器512和只读存储器（“ROM”）513，其中大容量存储器512可以配置用于存储各类数据，包括各种与动态低频振幅和检查信息、算法数据、中间结果和运行设备500所需要的各种程序。ROM 513可以配置成存储对于设备500的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。

可选地，设备500还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）514、图形处理单元（“GPU”）515、现场可编程门阵列（“FPGA”）516和机器学习单元（“MLU”）517。可以理解的是，尽管在设备500中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备500可以仅包括CPU、相关存储设备和接口设备来实现本申请的用于训练预测帕金森步态障碍的预测模型的方法。

在一些实施例中，为了便于数据与外部网络的传递和交互，本申请的设备500还包括通信接口518，从而可以通过该通信接口518连接到局域网/无线局域网（“LAN/WLAN”）505，进而可以通过该LAN/WLAN连接到本地服务器506或连接到因特网（“Internet”）507。替代地或附加地，本申请的设备500还可以通过通信接口518基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本申请的设备500还可以根据需要访问外部网络的服务器508和数据库509，以便获得各种已知的算法、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如动态低频振幅和检查信息等的各类数据或指令。

设备500的外围设备可以包括显示装置502、输入装置503和数据传输接口504。在一个实施例中，显示装置502可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本申请的对训练预测帕金森步态障碍的预测模型进行语音提示和/或图像视频显示。输入装置503可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收音频数据的输入和/或用户指令。数据传输接口504可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案，该数据传输接口504可以接收来自于医学数据库收集的动态低频振幅和检查信息，并且向设备500传送包括动态低频振幅和检查信息或各种其他类型的数据或结果。

本申请的设备500的上述CPU 511、大容量存储器512、ROM 513、TPU 514、GPU 515、FPGA 516、MLU 517和通信接口518可以通过总线519相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线519，CPU 511可以控制设备500中的其他硬件组件及其外围设备。

以上结合图5描述了可以用于执行本申请的用于训练预测帕金森步态障碍的预测模型的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本申请的实现方式和实现实体并不受其限制，而是可以在不偏离本申请的精神下做出改变。

根据上述结合附图的描述，本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于训练预测帕金森步态障碍的预测模型的或者用于预测帕金森步态障碍的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，可以用于实现本申请结合附图1所描述的用于训练预测帕金森步态障碍的预测模型的方法或者结合附图4所描述的用于预测帕金森步态障碍的装置执行的操作。

应当注意，尽管在附图中以特定顺序描述了本申请方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

虽然本申请的实施方式如上，但所述内容只是为便于理解本申请而采用的实施例，并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.一种用于训练预测帕金森步态障碍的预测模型的方法，其特征在于，其中所述预测模型包括第一编码器和第二编码器，所述第一编码器和所述第二编码器共享权重，并且所述方法包括：

从帕金森患者组和正常组的静息态功能磁共振图像中分别提取对应的动态低频振幅作为训练样本，并从所述训练样本中任意选择两个动态低频振幅进行组合；

获取所述帕金森患者组和所述正常组的检查信息，并将所述检查信息作为训练标签；

将组合中的两个动态低频振幅和相应训练标签分别输入至所述第一编码器和所述第二编码器中提取特征，以获得对应的第一时序特征和第二时序特征；

构建对应的所述第一时序特征和所述第二时序特征之间的相似性函数；以及

基于所述相似性函数优化所述第一编码器和/或所述第二编码器，以训练预测帕金森步态障碍的预测模型，

其中所述第一编码器和所述第二编码器均包括多个子编码模块，每个所述子编码模块中包括多个交替堆叠的自注意力层和蒸馏层，并且将组合中的两个动态低频振幅和相应训练标签分别输入至所述第一编码器和所述第二编码器中提取特征，以获得对应的第一时序特征和第二时序特征包括：

使用所述第一编码器和所述第二编码器各自的子编码模块中的多个交替堆叠的自注意力层和蒸馏层对动态低频振幅和相应训练标签进行特征提取，获得各子编码模块输出的中间时序特征；

将所述第一编码器中各子编码模块输出的中间时序特征进行第一融合操作，获得对应的所述第一时序特征；以及

将所述第二编码器中各子编码模块输出的中间时序特征进行第二融合操作，获得对应的所述第二时序特征，

其中所述第一融合操作和所述第二融合操作均包括加和操作或者加权操作。

2.根据权利要求1所述的方法，其特征在于，其中所述检查信息至少包括步态信息、H&Y量表、TUG量表或者Berg平衡量表中的一种或者多种，并且所述步态信息至少包括步速、跨步长、跨步时长或者跨步节奏中的一种或者多种。

3. 根据权利要求1所述的方法，其特征在于，所述预测模型还包括第一解码器和第二解码器，并且所述方法还包括：

使用所述第一解码器对动态低频振幅和相应训练标签进行解码操作获得第一解码结果，并将所述第一编码器中各子编码模块输出的中间时序特征进行第一融合操作获得的第一融合结果融入所述第一解码结果中，以获得对应的所述第一时序特征；以及

使用所述第二解码器对动态低频振幅和相应训练标签进行解码操作获得第二解码结果，并将所述第二编码器中各子编码模块输出的中间时序特征进行第二融合操作获得的第二融合结果融入所述第二解码结果中，以获得对应的所述第二时序特征。

4.根据权利要求1所述的方法，其特征在于，其中构建对应的所述第一时序特征和所述第二时序特征之间的相似性函数包括：通过以下式子构建对应的所述第一时序特征和所述第二时序特征之间的相似性函数：

其中，表示所述相似性函数，/>表示组合中的两个动态低频振幅，/>和/>分别表示所述第一时序特征和所述第二时序特征，/>表示欧式距离，/>表示以自然常数e为底的指数函数。

5. 一种用于训练预测帕金森步态障碍的预测模型的设备，其特征在于，包括：

处理器；以及

存储器，其中存储有用于训练预测帕金森步态障碍的预测模型的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现根据权利要求1-4中任意一项所述的方法。

6. 一种用于预测帕金森步态障碍的装置，其特征在于，包括：

处理器；以及

存储器，其中存储有用于预测帕金森步态障碍的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：

获取待预测的动态低频振幅和已知是否具有帕金森步态障碍的目标动态低频振幅；以及

将所述待预测的动态低频振幅和所述目标动态低频振幅输入至根据权利要求1-4中任意一项所述的方法训练完成的预测模型中进行预测，以获得帕金森步态障碍的预测结果。

7.一种计算机可读存储介质，其特征在于，其上存储有用于训练预测帕金森步态障碍的预测模型的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求1-4中任意一项所述的方法；或者存储有用于预测帕金森步态障碍的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求6所述的装置执行的操作。