CN115221941A - 认知障碍检测方法及相关装置、电子设备和存储介质 - Google Patents

认知障碍检测方法及相关装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115221941A
CN115221941A CN202210649771.8A CN202210649771A CN115221941A CN 115221941 A CN115221941 A CN 115221941A CN 202210649771 A CN202210649771 A CN 202210649771A CN 115221941 A CN115221941 A CN 115221941A
Authority
CN
China
Prior art keywords
feature
data
fusion
features
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210649771.8A
Other languages
English (en)
Inventor
丁昕昀
徐飞扬
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202210649771.8A priority Critical patent/CN115221941A/zh
Publication of CN115221941A publication Critical patent/CN115221941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Neurosurgery (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请公开了一种认知障碍检测方法及相关装置、电子设备和存储介质，其中，认知障碍检测方法包括：基于被试人员执行第一任务时的第一数据，提取若干种模态的第一数据特征，并基于被试人员执行第二任务时的第二数据，提取若干种模态的第二数据特征；其中，第一任务与语言相关；基于长短时记忆融合若干种模态的第一数据特征，得到第一融合特征，并基于注意力机制融合若干种模态的第二数据特征，得到第二融合特征；基于第二融合特征，生成得到参考特征；其中，参考特征包含第二融合特征中与第一融合特征共性的特征信息；基于第一融合特征和参考特征，得到被试人员的认知障碍检测结果。上述方案，能够便捷、准确地获取认知障碍检测结果。

Description

认知障碍检测方法及相关装置、电子设备和存储介质
技术领域
本申请涉及人工智能领域，特别是涉及一种认知障碍检测方法及相关装置、电子设备和存储介质。
背景技术
以阿尔茨海默症为代表的认知障碍是最常见的神经退行性疾病，严重影响人民的生命健康。由于认知障碍人数逐年增加，早期筛查手段难以普及导致就诊率低下，且发病后病患状态急剧恶化且难以逆转。因此，便捷、准确地进行认知障碍检测显得尤其必要。
现有的认知障碍检测方法主要依赖于MoCA-B(MontrealCognitive AssessmentBasic，蒙特利尔认知评估基础量表)、MMSE(Mini-mental State Examination，简易智力状态检查量表)等心理学测试量表，通过专业医生面对面询问病人问题并记录和分析被试答题时的反应来确定病人的认知障碍状态。然而，这种方法存在依赖专业人员、难以普及等问题。有鉴于此，如何便捷、准确地获取认知障碍检测结果，成为亟需解决的问题。
发明内容
本申请主要解决的技术问题是提供一种认知障碍检测方法及相关装置、电子设备和存储介质，能够便捷、准确地获取认知障碍检测结果。
为了解决上述技术问题，本申请第一方面提供了一种认知障碍检测方法包括：基于被试人员执行第一任务时的第一数据，提取若干种模态的第一数据特征，并基于被试人员执行第二任务时的第二数据，提取若干种模态的第二数据特征；其中，第一任务与语言相关；基于长短时记忆融合若干种模态的第一数据特征，得到第一融合特征，并基于注意力机制融合若干种模态的第二数据特征，得到第二融合特征；基于第二融合特征，生成得到参考特征；其中，参考特征包含第二融合特征中与第一融合特征共性的特征信息；基于第一融合特征和参考特征，得到被试人员的认知障碍检测结果。
为了解决上述技术问题，本申请第二方面提供了一种认知障碍检测装置，包括：特征提取模块、特征融合模块、参考特征生成模块和检测结果获取模块。其中，特征提取模块用于基于被试人员执行第一任务时的第一数据，提取若干种模态的第一数据特征，并基于被试人员执行第二任务时的第二数据，提取若干种模态的第二数据特征；其中，第一任务与语言相关；特征融合模块用于基于长短时记忆融合若干种模态的第一数据特征，得到第一融合特征，并基于注意力机制融合若干种模态的第二数据特征，得到第二融合特征；参考特征生成模块用于基于第二融合特征，生成得到参考特征；其中，参考特征包含第二融合特征中与第一融合特征共性的特征信息；检测结果获取模块用于基于第一融合特征和参考特征，得到被试人员的认知障碍检测结果。
为了解决上述技术问题，本申请第三方面提供了一种电子设备，包括处理器和存储器，存储器和处理器相互耦接，处理器用于执行存储器存储的程序指令，以实现上述第一方面中的认知障碍检测方法。
为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的认知障碍检测方法。
上述方案中，一方面通过获取被试人员执行与语言相关的第一任务时的第一数据，提取出第一数据特征并基于长短时记忆进行融合，得到第一融合特征，因此，第一融合特征表征被试人员的语言能力；另一方面，类似地，获取被试人员执行第二任务时的第二数据，提取第二数据特征并基于注意力机制进行融合，得到第二融合特征，根据第二融合特征生成参考特征，由于参考特征表征第一融合特征与第二融合特征的共性特征信息，因此能够尽可能地从第二融合特征中提取与语言能力相关的特征信息作为参考特征，并最终根据第一融合特征和参考特征，得到被试人员的认知障碍检测结果，即在以被试人员的语言能力为主要参考的基础上，辅以其他检测任务，能够有助于使认知障碍检测更加全面、准确，另外，由于仅需要基于被试人员执行任务过程中的相关数据进行特征提取、融合和分析，即可得到认知障碍检测结果，有助于尽可能地减少对专业人员的依赖。故此，能够便捷、准确地获取认知障碍检测结果。
附图说明
图1是本申请认知障碍检测方法一实施例的流程示意图；
图2是一种长短时记忆融合网络框架示意图；
图3是一种注意力机制融合网络框架示意图；
图4是特征鉴别网络和特征生成网络的框架示意图；
图5是本申请认知障碍检测方法另一实施例的流程示意图；
图6是本申请认知障碍检测装置一实施例的框架示意图；
图7是本申请电子设备一实施例的框架示意图；
图8是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请认知障碍检测方法一实施例的流程示意图。具体而言，本实施例中的认知障碍检测方法可以包括如下步骤：
步骤S11：基于被试人员执行第一任务时的第一数据，提取若干种模态的第一数据特征，并基于被试人员执行第二任务时的第二数据，提取若干种模态的第二数据特征。
需要说明的是，通常来说，认知障碍检测离不开对被试人员进行语言能力测试，故本实施例中，第一任务与语言相关，用于测试被试人员的语言能力。
在一个实施场景中，第一数据包括被试人员执行第一任务时的语音数据、眼动数据和由语音数据识别到的文本数据。因此，第一任务获取的语音数据转换成文本数据，便于进行分析处理，此外还通过获取被试人员的眼动数据，能够反映被试人员进行第一任务时的注意力，最终使得第一数据能更加全面地反映被试人员的语言能力和注意力。
在一个具体的实施场景中，第一任务可以是诸如看图说话、语句复述等等，在此不做限制。以看图说话为例，被试人员根据图片的内容进行描述，此时第一数据包括被试人员在看图说话时的语音数据、看图说话时眼球轨迹数据(即眼动数据)以及基于语音数据识别出来的文本数据。需要说明的是，文本数据可以通过预先训练的语音识别模型对语音数据进行识别得到。示例性地，对于老年人认知障碍检测来说，文本数据可以通过老年人多方言语音识别引擎等方法进行识别获取。其他情况可以以此类推，在此不再一一举例。
进一步地，在得到第一数据之后，可以分别对语音数据、眼动数据和文本数据进行特征提取，得到语音特征、眼动特征和文本特征，可以理解的是，第一数据特征包括语音特征、眼动特征和文本特征。需要说明的是，如无特殊说明，本公开实施例中所称“语音特征”、“眼动特征”、“文本特征”等特征数据均可以表示为多维向量。示例性地，语音特征可以表达为N维向量，且包含语音数据中与认知障碍检测相关的特征信息，如可以包括但不限于：语音连贯性、语音停顿频次等，或者，文本特征可以表达为M维向量，且包含文本数据中与认知障碍检测相关的特征信息，如可以包括但不限于：语义混淆度、逻辑顺畅度等，其他特征可以以此类推，在此不再一一举例。需要说明的是，表示不同特征的多维向量可以具有相同维度，也可以具有不同维度，在此不做限定。
在一个具体的实施场景中，对于语音数据可以应用Speech BERT(BidirectionalEncoder Representation from Transformers，基于转换器的双向编码表征)、wav2vec2.0，data2vec等模型进行语音特征提取，对于文本数据可以应用Text BERT、ERNIE等模型进行文本特征提取，对于眼动数据可以应用CNN(Convolutional Neural Network，卷积神经网路)、CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)、RNN(Recurrent Neural Network，循环神经网络)等神经网络进行眼动特征提取，具体使用何种模型、神经网络进行特征提取，在此不做具体限制。
当然，第一数据还可以包括诸如被试人员执行第一任务时的肢体动作、思考时间等数据，具体实施方式可以参照前述内容，在此不再赘述。
本实施例中，为了进一步提高认知障碍检测的准确性，第二任务可以用于测试被试人员语言能力以外的诸如记忆能力、执行能力等其他能力。当然，第二任务也可以仍用于测试被试人员的语言能力。需要说明的是，在第一任务和第二任务均用于测试被试人员的语言能力的情况下，第一任务和第二任务可以为不同任务，如第一任务可以是看图说话，第二任务可以是语句复述。
在一个实施场景中，第二数据可以包括被试人员执行第二任务时的思考时间数据、执行效率数据以及图形空间分布数据。因此，通过思考时间数据反应被试人员的记忆能力、执行效率数据反应被试人员的执行能力以及图形空间分布数据反应被试人员的视空间能力，使得第二数据能够更加全面地反应被试人员在语言能力之外的与认知状态有关的其他能力，有利于后续更加准确地获取认知障碍检测结果。
在一个具体的实施场景中，第二任务可以是画钟测视、拼图测视等等，在此不做具体限制。以画钟测试为例，被试人员获得一个具体时间后，自行绘画出钟表图案来反应该具体时间。思考时间数据包括被试人员在画钟测试过程中的思考时间、思考时间占总时间的比例、画时针分针思考时间变化的情况等等，执行效率数据包括被试人员的画钟耗时、画钟是否存在冗余笔画等等，图形空间分布数据包括钟表图案的轮廓、指针的合理性、钟表数字的合理性等等。
进一步地，分别对思考时间数据、执行效率数据和图形空间分布数据进行特征提取，得到思考时间特征、执行效率特征和图形空间分布特征，可以理解的是，第二数据特征包括思考时间特征、执行效率特征和图形空间分布特征。
在一个具体的实施场景中，思考时间特征、执行效率特征和图形空间分布特征可以通过CNN、CRNN、RNN等神经网络对思考时间数据、执行效率数据和图形空间分布数据进行特征提取得到，采用何种特征提取方法，本申请在此不做具体限制。
当然，第二数据特征还可以包括诸如被试人员执行第二任务时的面部表情数据等等，具体实施方式可以参照前述内容，在此不再赘述。
步骤S12：基于长短时记忆融合若干种模态的第一数据特征，得到第一融合特征，并基于注意力机制融合若干种模态的第二数据特征，得到第二融合特征。
在一个实施场景中，如前所述，第一数据特征包括语音特征、眼动特征和文本特征，故而基于长短时记忆融合若干种模态的第一数据特征，得到第一融合特征可以包括：基于记忆融合网络对语音特征、眼动特征和文本特征进行第一融合，得到第一融合特征。
在一个具体的实施场景中，请参阅图2，图2是一种长短时记忆融合网络框架示意图。具体而言，长短时记忆融合网络包括三部分：特征拼接子网络、特征加权子网络和时序融合子网络。其中，特征拼接子网络包括但不限于LSTM(Long Short-Term Memory，长短时记忆)、System of LSTMs网络，特征加权子网络包括但不限于Delta-memory AttentionNetwork网络，时序融合子网络包括但不限于Multi-view Gated Memory网络。
如图2所示，
Figure BDA0003684087370000061
表示t时刻的文本特征、
Figure BDA0003684087370000062
表示t时刻的眼动特征、
Figure BDA0003684087370000063
表示t时刻的语音特征，特征拼接子网络将t-1时刻和t时刻的文本特征、眼动特征和语音特征进行拼接(concatenate)，得到第一拼接特征序列，输入至特征加权子网络。类似地，还可以将t+1时刻、t+2时刻、t+3时刻、t+4时刻等其他时刻的特征进行拼接。
第一拼接特征序列在特征加权子网络中经过一个神经网络Da得到序列对应的注意力系数即对应的权重a[t-1，t]，将第一拼接特征序列与权重进行加权处理，作用就是定位序列中相对有用的信息，抑制其中无用的信息，得到加权特征序列
Figure BDA0003684087370000071
输入至时序融合子网络。
加权特征序列
Figure BDA0003684087370000072
通过Du神经网络将加权特征序列进行融合τ，得到初步融合特征
Figure BDA0003684087370000073
加权特征序列
Figure BDA0003684087370000074
再通过两个门限网络(Dγ1、Dγ2)控制时序信息的更迭σ。其中，门限γ1(retain gates)控制t-1时刻下时序融合子网络的输出将保留多少特征，而门限γ2(update gates)将用于控制
Figure BDA0003684087370000075
其中有多少特征用于更新，从而得到t时刻下的输出ut，即为第一融合特征。随着时间戳的移动，可以不断更新第一融合特征，直到时间戳结束，这样不仅可以将三个模态的特征融合，还可以在一定程度上保留共有的时序信息。
在另一个具体的实施场景中，长短时记忆融合网络还可以基于TSN(Time-Sensitive Network，时间敏感网络)、CNN(convolutional neural network，卷积神经网络)、SlowFast模型、Video-swinTransformer模型等结构来实现，在此不做具体限制。
在一个实施场景中，如前所述，第二数据特征包括思考时间特征、执行效率特征和图形空间分布特征，故而基于注意力机制融合若干种模态的第二数据特征，得到第二融合特征可以包括：基于跨模态融合网络对思考时间特征、执行效率特征和图形空间分布特征进行第二融合，得到第二融合特征。
在一个具体的实施场景中，请参阅图3，图3是一种注意力机制融合网络框架示意图。如图3所示，思考时间特征、执行效率特征和图形空间分布特征分别通过一维卷积将不同模态的特征维度映射到相同的维度，再通过位置编码增加特征序列的位置信息；另外，思考时间特征、执行效率特征和图形空间分布特征直接进行拼接得到的第二拼接特征序列也通过一维卷积降维之后，依次和三个特征序列通过跨模态注意力转换模块做单个模态的加强，得到三个单模态融合特征，进而通过自注意力模块增强三个单模态融合特征自身的特征，最后根据三个自注意力模块的输出得到第二融合特征。
进一步地，跨模态注意力转换模态可以包括但不限于基于双模transformer的注意力机制的跨模态交互网络、Crossmodal Transformers等网络模型。以CrossmodalTransformers为例，跨模态注意力转换模块共有若干层，其中每一层中都由多个cross-modal attention(跨模态注意力机制)块构成。以思考时间特征和第二拼接特征序列进行单模态加强为例。每一个跨模态注意力机制块的输入为上一个跨模态注意力机制块的输出及思考时间特征(注：其中第一个块的输入为第二拼接特征序列及思考时间特征)，这样将会每次对思考时间特征进行权重调整，其中与单模态融合特征有关的部分权重增加，无关的部分权重降低，依次向后迭代得到思考时间特征和第二拼接特征序列的融合表示，即为单模态融合特征。
在另一个具体的实施场景中，注意力机制融合网络框架还可以参照图3进行微调，例如，去除位置编码、去掉一维卷积或者直接使用跨模态注意力转换模块等等，在此不做具体限制。
步骤S13：基于第二融合特征，生成得到参考特征。
在一个实施场景中，参考特征包括第二融合特征中与第一融合特征共性的特征信息，可以直接从第二融合特征中提取语言相关的特征信息，拼接得到参考特征。
在另一个实施场景中，参考特征由特征生成网络生成得到，进一步地，特征生成网络在特征鉴别网络训练收敛之后，基于特征鉴别网络训练得到，在特征生成网络训练收敛之后，特征鉴别网络无法区分参考特征与第一融合特征。因此，首先训练特征鉴别网络使其能够有效区分输入特征的来源，待其收敛之后，继续训练特征生成网络使其生成的参考特征包含尽可能多的与第一融合特征共性的特征信息，有利于后续根据参考特征，准确获取被试人员的认知障碍检测结果。
在一个实施场景中，请参阅图4，图4是特征鉴别网络和特征生成网络的框架示意图。具体而言，将噪声数据输入特征生成网络生成相应的特征序列，将其与第一融合特征共同输入特征鉴别网络，得到鉴别结果，待特征生成网络和特征鉴别网路训练完毕后，将第二融合特征输入特征生成网络，得到参考特征。特征鉴别网络的训练步骤包括：基于特征生成网络对第二噪声数据进行特征生成，得到第三样本特征，并获取特第四样本特征；其中，第四样本特征基于样本人员执行第一任务时的样本数据，经特征提取和长短时记忆融合得到；基于特征鉴别网络对第三样本特征和第四样本特征鉴别特征类别的第二鉴别损失，调整特征鉴别网络的网络参数；其中，第三样本特征鉴别为由特征生成网络生成的概率、第四样本特征鉴别为并非由特征生成网络生成的概率，均与第二鉴别损失负相关。因此，可以看出，特征鉴别网络的鉴别结果越准确，第二鉴别损失越小，通过最小化损失，迫使特征鉴别网络对于输入特征时否由特征生成网络生成的鉴别精度越来越高。
在一个具体的实施场景中，请继续结合参阅图4，首先可以固定特征生成网络的网络参数，并输入第二噪声数据，生成第三样本特征；在样本人员执行第一任务时的样本数据进行特征提取及长短时记忆融合，得到第四样本特征；将第三样本特征和第四样本特征输入特征鉴别网络进行训练，此时输出鉴别结果包括第三样本特征鉴别为由特征生成网络生成的概率为a，第四样本特征鉴别为并非由特征生成网络生成的概率为b，此时第二鉴别损失可以用
Figure BDA0003684087370000091
或
Figure BDA0003684087370000092
等负相关数学式来表征，第二鉴别损失的具体表述不做限制。根据第二鉴别损失不断优化特征生成网络的网络参数，使得特征生成网络可以准确鉴别输入特征的特征类别，即a与b的概率不断趋近于1。在循环一定次数或特征鉴别网络的鉴别准确率满足要求之后，完成特征鉴别网络的训练。
在另一个实施场景中，特征鉴别网络的鉴别能力满足要求之后，即特征鉴别网络训练收敛之后，继续训练特征生成网路，特征生成网络的训练步骤包括：基于特征生成网络对第一噪声数据进行特征生成，得到第一样本特征，并获取第二样本特征；其中，第二样本特征基于样本人员执行第一任务时的样本数据，经特征提取及长短时记忆融合得到；基于特征鉴别网络参考第二样本特征对第一样本特征的第一鉴别损失，调整特征生成网络的网络参数；其中，第一样本特征分别鉴别为是否由特征生成网络生成的概率之差的绝对值，与第一鉴别损失正相关。因此，可以看出，特征生成网络生成的第一样本特征(参考特征)越是接近第二样本特征，则第一鉴别损失越小，通过最小化损失，迫使特征鉴别网络无法正确区分第一样本特征是否由特征生成网络生成，进而确定特征生成网络的性能满足生成与第二样本特征(第一融合特征)具有尽可能多共性特征信息的要求。
在一个具体的实施场景中，请继续结合参阅图4，首先固定特征鉴别网络的网络参数，将第一噪声数据输入至特征生成网络得到第一样本特征；在此前被试人员执行第一任务时的样本数据进行特征提取及长短时记忆融合，得到第二样本特征；由于此时特征鉴别网络已经满足了鉴别能力要求，故而可以参照第二样本特征将第一样本特征输入特征鉴别网络进行训练，此时输出鉴别结果包括第一样本特征鉴别为由特征生成网络生成的概率为c，第一样本特征鉴别为并非由特征生成网络生成的概率为1-c，此时第一鉴别损失可以用|1-2c|或k*|1-2c|(k＞0)等正相关数学式来表征，第一鉴别损失的具体表述不做限制。需要理解的是，理想状态下，特征鉴别网络最终无法区分输入特征到底是来自第二样本特征，还是来自特征生成网络生成的第一样本特征，即特征生成网络已经可以生成满足包含共性特征的第一样本特征(参考特征)，此时最理想的状态下第一样本特征鉴别为由特征生成网络生成的概率为0.5，完成训练。当然，受限于训练的实际效果也可以在循环一定次数的训练之后完成训练，在此不作限制。
步骤S14：基于第一融合特征和参考特征，得到被试人员的认知障碍检测结果。
在一个实施场景中，认知障碍检测结果可以是若干个分类等级，例如：痴呆(dementia)、轻度认知障碍(MCI，Mild Cognitive Impairment)、健康控制(HC，HealthControl)等等。
在另一个实施场景中，认知障碍检测结果还可以是被试人员的认知障碍程度，例如归一化处理之后认知障碍检测结果可以是0.5，0.7等数值，数值越高，认知障碍的程度也就越高。
在一个实施场景中，将第一融合特征和参考特征进行特征融合，得到第三融合特征，再通过基于深度学习方法的神经网络分类器(如，CNN等)或SVM(Support VectorMachine，支持向量机)机器学习方法，得到被试人员的认知障碍检测结果。
在另一个实施场景中，为了进一步提高认知障碍检测结果的精度，还需要充分考虑被试人员的基本信息，在执行步骤S14之前还可以获取被试人员的基本信息，基于基本数据进行特征提取，得到被试人员的基本特征；基于基本特征、第一融合特征和参考特征进行预测，得到认知障碍检测结果。因此，充分考虑被试人员的基本信息，结合第一融合特征和参考特征进行预测，使得认知障碍检测结果更加准确。
在一个具体的实施场景中，被试人员的基本信息包括被试人员的年龄、性别、病历信息和受教育程度等等，在此不做具体限制。
在一个具体的实施场景中，如前所述，得到第三融合特征之后，可以将第三融合特征与基本特征进行拼接，并根据拼接结果进行预测分析，得到认知障碍检测结果。此时，拼接结果统筹了基本特征、第一融合特征和参考特征，进一步提高了认知障碍检测结果的准确性。
在另一个具体的实施场景中，可以根据基本特征调整第三融合特征中的部分信息，并根据调整后的信息进行预测分析，得到认知障碍检测结果。
上述方案中，一方面通过获取被试人员执行与语言相关的第一任务时的第一数据，提取出第一数据特征并基于长短时记忆进行融合，得到第一融合特征，因此，第一融合特征表征被试人员的语言能力；另一方面，类似地，获取被试人员执行第二任务时的第二数据，提取第二数据特征并基于注意力机制进行融合，得到第二融合特征，根据第二融合特征生成参考特征，由于参考特征表征第一融合特征与第二融合特征的共性特征信息，因此能够尽可能地从第二融合特征中提取与语言能力相关的特征信息作为参考特征，并最终根据第一融合特征和参考特征，得到被试人员的认知障碍检测结果，即在以被试人员的语言能力为主要参考的基础上，辅以其他检测任务，能够有助于使认知障碍检测更加全面、准确，另外，由于仅需要基于被试人员执行任务过程中的相关数据进行特征提取、融合和分析，即可得到认知障碍检测结果，有助于尽可能地减少对专业人员的依赖。故此，能够便捷、准确地获取认知障碍检测结果。
请参阅图5，图5是本申请认知障碍检测方法另一实施例的流程示意图。为了更好地理解认知障碍检测方法，以图5为例对认知障碍检测方法的总体执行流程进行简述，具体实施方式可以参照前述实施例，在此不再赘述。具体地，被试人员分别执行看图说话和画钟测试两项任务，用于测视被试人员的语言、注意力、记忆、执行、视空间能力。其中，语言对应执行任务过程中的文本特征和语音特征，注意力对应执行任务过程中眼动特征，记忆对应执行任务过程中的思考时间特征，执行对应执行任务过程中的执行效率特征，视空间对应执行任务过程中的图形控件分布特征。将文本特征、语音特征、眼动特征基于予长短时记忆融合，得到第一融合特征，将思考时间特征、执行效率特征和图形空间分布特征基于注意力机制融合，得到第二融合特征。对特征鉴别网络和特征生成网络进行训练，使其满足要求后，将第二融合特征输入特征生成网络得到参考特征，参考特征表征第二融合特征中包含第一融合特征的共性特征信息。基于拼接单元将第一融合特征和参考特征进行拼接，将拼接结果和基本数据一起输入至检测单元，得到认知障碍检测结果。
请参阅图6，图6是本申请认知障碍检测装置60一实施例的框架示意图。具体而言，认知障碍检测装置60包括特征提取模块61、特征融合模块62、参考特征生成模块63和检测结果获取模块64。进一步地，特征提取模块61用于基于被试人员执行第一任务时的第一数据，提取若干种模态的第一数据特征，并基于被试人员执行第二任务时的第二数据，提取若干种模态的第二数据特征；其中，第一任务与语言相关；特征融合模块62用于基于长短时记忆融合若干种模态的第一数据特征，得到第一融合特征，并基于注意力机制融合若干种模态的第二数据特征，得到第二融合特征；参考特征生成模块63用于基于第二融合特征，生成得到参考特征；其中，参考特征包含第二融合特征中与第一融合特征共性的特征信息；检测结果获取模块64用于基于第一融合特征和参考特征，得到被试人员的认知障碍检测结果。
上述方案中，一方面通过获取被试人员执行与语言相关的第一任务时的第一数据，提取出第一数据特征并基于长短时记忆进行融合，得到第一融合特征，因此，第一融合特征表征被试人员的语言能力；另一方面，类似地，获取被试人员执行第二任务时的第二数据，提取第二数据特征并基于注意力机制进行融合，得到第二融合特征，根据第二融合特征生成参考特征，由于参考特征表征第一融合特征与第二融合特征的共性特征信息，因此能够尽可能地从第二融合特征中提取与语言能力相关的特征信息作为参考特征，并最终根据第一融合特征和参考特征，得到被试人员的认知障碍检测结果，即在以被试人员的语言能力为主要参考的基础上，辅以其他检测任务，能够有助于使认知障碍检测更加全面、准确，另外，由于仅需要基于被试人员执行任务过程中的相关数据进行特征提取、融合和分析，即可得到认知障碍检测结果，有助于尽可能地减少对专业人员的依赖。故此，能够便捷、准确地获取认知障碍检测结果。
在一些公开实施例中，参考特征生成模块63还包括特征生成网络和特征鉴别网络，参考特征由特征生成网络生成得到，且特征生成网络在特征鉴别网络训练收敛之后基于特征鉴别网络训练得到，且特征生成网络训练收敛之后，特征鉴别网络无法区分参考特征与第一融合特征。
因此，首先训练特征鉴别网络使其能够有效区分输入特征的特征来源，待其收敛之后，继续训练特征生成网络使其生成的参考特征包含更尽可能多的与第一融合特征共性的特征信息，有利于后续根据参考特征，准确获取被试人员的认知障碍检测结果。
在一些公开实施例中，特征生成网络还包括特征生成网络训练单元，用于基于特征生成网络对第一噪声数据进行特征生成，得到第一样本特征，并获取第二样本特征；其中，第二样本特征基于样本人员第一任务时的样本数据，经特征提取及长短时记忆融合得到；并基于特征鉴别网络参考第二样本特征对第一样本特征的第一鉴别损失，调整特征生成网络的网络参数；其中，第一样本特征分别鉴别为是否由特征生成网络生成的概率之差的绝对值，与第一鉴别损失正相关。
因此，可以看出，特征生成网络生成的第一样本特征(参考特征)越是接近第二样本特征，则第一鉴别损失越小，通过最小化损失，迫使特征鉴别网络无法正确区分第一样本特征是否由特征生成网络生成，进而确定特征生成网络的性能满足生成与第二样本特征(第一融合特征)具有尽可能多共性特征信息的要求。
在一些公开实施例中，特征鉴别网络还包括特征鉴别网络训练单元，用于基于特征生成网络对第二噪声数据进行特征生成，得到第三样本特征，并获取第四样本特征；其中，第四样本特征基于样本人员执行第一任务时的样本数据，经特征提取及长短时记忆融合得到；并基于特征鉴别网络对第三样本特征和第四样本特征鉴别特征类别的第二鉴别损失，调整特征鉴别网络的网络参数；其中，第三样本特征鉴别为由特征生成网络生成的概率、第四样本特征鉴别为并非由特征生成网络生成的概率，均与第二鉴别损失负相关。
因此，可以看出，特征鉴别网络的鉴别结果越准确，第二鉴别损失越小，通过最小化损失，迫使特征鉴别网络对于输入特征时否由特征生成网络生成的鉴别精度越来越高。
在一些公开实施例中，认知障碍检测装置60还包括基本数据获取模块，用于在检测结果获取模块64基于第一融合特征和参考特征，得到被试人员的认知障碍检测结果之前，获取被试人员的基本数据。基本数据获取模块还包括基本特征提取单元，用于基于基本数据进行特征提取，得到被试人员的基本特征。检测结果获取模块64还用于基于基本特征、第一融合特征和参考特征进行预测，得到认知障碍检测结果。
因此，充分考虑被试人员的基本信息，结合第一融合特征和参考特征进行预测，使得认知障碍检测结果更加准确。
在一些公开实施例中，检测结果获取模块64还包括融合单元，用于基于第一融合特征和参考特征进行特征融合，得到第三融合特征；检测结果获取模块64还用于基于基本特征和第三融合特征进行预测，得到认知障碍检测结果。
因此，检测结果获取模块64统筹了基本特征、第一融合特征和参考特征，进一步提高了认知障碍检测结果的准确性。
在一些公开实施例中，第一数据包括执行第一任务时的语音数据、眼动数据和由语音数据识别到的文本数据，特征提取模块61还用于分别对语音数据、眼动数据和文本数据进行特征提取，得到语音特征、眼动特征和文本特征；其中，第一数据特征包括语音特征、眼动特征和文本特征；特征融合模块62还用于基于记忆融合网络对语音特征、眼动特征和文本特征进行第一融合，得到第一融合特征。
因此，第一任务获取的语音数据转换成文本数据，便于进行分析处理，此外还通过获取被试人员的眼动数据，能够反映被试人员进行第一任务时的注意力，最终使得第一数据能更加全面地反映被试人员的语言能力和注意力。
在一些公开实施例中，第二数据包括执行第二任务时的思考时间数据、执行效率数据以及图形空间分布数据，特征提取模块61还用于分别对思考时间数据、执行效率数据和图形空间分布数据进行特征提取，得到思考时间特征、执行效率特征和图形空间分布特征；其中，第二数据特征包括思考时间特征、执行效率特征和图形空间分布特征；特征融合模块62还用于基于跨模态融合网络对思考时间特征、执行效率特征和图形空间分布特征进行第二融合，得到第二融合特征。
因此，通过思考时间数据反应被试人员的记忆能力、执行效率数据反应被试人员的执行能力以及图形空间分布数据反应被试人员的视空间能力，使得第二数据能够更加全面地反应被试人员在语言能力之外的与认知状态有关的其他能力，有利于后续更加准确地获取认知障碍检测结果。
请参阅图7，图7是本申请电子设备70一实施例的框架示意图。具体而言，电子设备70包括处理器701和存储器702，存储器702与处理器701耦接，处理器701用于执行存储器702存储的程序指令，以实现认知障碍检测方法任一实施例中的步骤。电子设备70可以包括但不限于：智能手机、平板电脑、服务器等，在此不做限定。
具体地，处理器701还可以称为CPU(Central Processing Unit，中央处理单元)。处理器701可能是一种集成电路芯片，具有信号的处理能力。处理器701还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器701可以由多个成电路芯片共同实现。
上述方案中，一方面通过获取被试人员执行与语言相关的第一任务时的第一数据，提取出第一数据特征并基于长短时记忆进行融合，得到第一融合特征，因此，第一融合特征表征被试人员的语言能力；另一方面，类似地，获取被试人员执行第二任务时的第二数据，提取第二数据特征并基于注意力机制进行融合，得到第二融合特征，根据第二融合特征生成参考特征，由于参考特征表征第一融合特征与第二融合特征的共性特征信息，因此能够尽可能地从第二融合特征中提取与语言能力相关的特征信息作为参考特征，并最终根据第一融合特征和参考特征，得到被试人员的认知障碍检测结果，即在以被试人员的语言能力为主要参考的基础上，辅以其他检测任务，能够有助于使认知障碍检测更加全面、准确，另外，由于仅需要基于被试人员执行任务过程中的相关数据进行特征提取、融合和分析，即可得到认知障碍检测结果，有助于尽可能地减少对专业人员的依赖。故此，能够便捷、准确地获取认知障碍检测结果。
请参阅图8，图8是本申请计算机可读存储介质80一实施例的框架示意图。本实施例中，该计算机可读存储介质80存储有处理器可运行的程序指令801，该程序指令801用于执行上述认知障碍检测方法实施例中的步骤。
该计算机可读存储介质80具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。
上述方案中，一方面通过获取被试人员执行与语言相关的第一任务时的第一数据，提取出第一数据特征并基于长短时记忆进行融合，得到第一融合特征，因此，第一融合特征表征被试人员的语言能力；另一方面，类似地，获取被试人员执行第二任务时的第二数据，提取第二数据特征并基于注意力机制进行融合，得到第二融合特征，根据第二融合特征生成参考特征，由于参考特征表征第一融合特征与第二融合特征的共性特征信息，因此能够尽可能地从第二融合特征中提取与语言能力相关的特征信息作为参考特征，并最终根据第一融合特征和参考特征，得到被试人员的认知障碍检测结果，即在以被试人员的语言能力为主要参考的基础上，辅以其他检测任务，能够有助于使认知障碍检测更加全面、准确，另外，由于仅需要基于被试人员执行任务过程中的相关数据进行特征提取、融合和分析，即可得到认知障碍检测结果，有助于尽可能地减少对专业人员的依赖。故此，能够便捷、准确地获取认知障碍检测结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

Claims (11)

1.一种认知障碍检测方法，其特征在于，包括：
基于被试人员执行第一任务时的第一数据，提取若干种模态的第一数据特征，并基于所述被试人员执行第二任务时的第二数据，提取若干种模态的第二数据特征；其中，所述第一任务与语言相关；
基于长短时记忆融合所述若干种模态的第一数据特征，得到第一融合特征，并基于注意力机制融合所述若干种模态的第二数据特征，得到第二融合特征；
基于所述第二融合特征，生成得到参考特征；其中，所述参考特征包含所述第二融合特征中与所述第一融合特征共性的特征信息；
基于所述第一融合特征和所述参考特征，得到所述被试人员的认知障碍检测结果。
2.根据权利要求1所述的方法，其特征在于，所述参考特征由特征生成网络生成得到，且所述特征生成网络在特征鉴别网络训练收敛之后基于所述特征鉴别网络训练得到，且所述特征生成网络训练收敛之后，所述特征鉴别网络无法区分所述参考特征与所述第一融合特征。
3.根据权利要求2所述的方法，其特征在于，所述特征生成网络的训练步骤包括：
基于所述特征生成网络对第一噪声数据进行特征生成，得到第一样本特征，并获取第二样本特征；其中，所述第二样本特征基于样本人员执行所述第一任务时的样本数据，经特征提取及所述长短时记忆融合得到；
基于所述特征鉴别网络参考所述第二样本特征对所述第一样本特征的第一鉴别损失，调整所述特征生成网络的网络参数；
其中，所述第一样本特征分别鉴别为是否由所述特征生成网络生成的概率之差的绝对值，与所述第一鉴别损失正相关。
4.根据权利要求2所述的方法，其特征在于，所述特征鉴别网络的训练步骤包括：
基于所述特征生成网络对第二噪声数据进行特征生成，得到第三样本特征，并获取第四样本特征；其中，所述第四样本特征基于样本人员执行所述第一任务时的样本数据，经特征提取及所述长短时记忆融合得到；
基于所述特征鉴别网络对所述第三样本特征和所述第四样本特征鉴别的第二鉴别损失，调整所述特征鉴别网络的网络参数；
其中，所述第三样本特征鉴别为由所述特征生成网络生成的概率、所述第四样本特征鉴别为并非由所述特征生成网络生成的概率，均与所述第二鉴别损失负相关。
5.根据权利要求1所述的方法，其特征在于，在所述基于所述第一融合特征和所述参考特征，得到所述被试人员的认知障碍检测结果之前，所述方法还包括：
获取所述被试人员的基本数据；
所述基于所述第一融合特征和所述参考特征，得到所述被试人员的认知障碍检测结果，包括：
基于所述基本数据进行特征提取，得到所述被试人员的基本特征；
基于所述基本特征、所述第一融合特征和所述参考特征进行预测，得到所述认知障碍检测结果。
6.根据权利要求5所述的方法，其特征在于，所述基于所述基本特征、所述第一融合特征和所述参考特征进行预测，得到所述认知障碍检测结果，包括：
基于所述第一融合特征和所述参考特征进行特征融合，得到第三融合特征；
基于所述基本特征和所述第三融合特征进行预测，得到所述认知障碍检测结果。
7.根据权利要求1所述的方法，其特征在于，所述第一数据包括执行所述第一任务时的语音数据、眼动数据和由所述语音数据识别到的文本数据；所述基于被试人员执行第一任务时的第一数据，提取若干种模态的第一数据特征，包括：
分别对所述语音数据、所述眼动数据和所述文本数据进行特征提取，得到语音特征、眼动特征和文本特征；其中，所述第一数据特征包括所述语音特征、所述眼动特征和所述文本特征；
所述基于长短时记忆融合所述若干种模态的第一数据特征，得到第一融合特征，包括：
基于记忆融合网络对所述语音特征、所述眼动特征和所述文本特征进行第一融合，得到所述第一融合特征。
8.根据权利要求1所述的方法，其特征在于，所述第二数据包括执行所述第二任务时的思考时间数据、执行效率数据以及图形空间分布数据；所述基于所述被试人员执行第二任务时的第二数据，提取若干种模态的第二数据特征，包括：
分别对所述思考时间数据、所述执行效率数据和所述图形空间分布数据进行特征提取，得到思考时间特征、执行效率特征和图形空间分布特征；其中，所述第二数据特征包括所述思考时间特征、所述执行效率特征和所述图形空间分布特征；
所述基于注意力机制融合所述若干种模态的第二数据特征，得到第二融合特征，包括：
基于跨模态融合网络对所述思考时间特征、所述执行效率特征和所述图形空间分布特征进行第二融合，得到所述第二融合特征。
9.一种认知障碍检测装置，其特征在于，包括：
特征提取模块，用于基于被试人员执行第一任务时的第一数据，提取若干种模态的第一数据特征，并基于所述被试人员执行第二任务时的第二数据，提取若干种模态的第二数据特征；其中，所述第一任务与语言相关；
特征融合模块，用于基于长短时记忆融合所述若干种模态的第一数据特征，得到第一融合特征，并基于注意力机制融合所述若干种模态的第二数据特征，得到第二融合特征；
参考特征生成模块，用于基于所述第二融合特征，生成得到参考特征；其中，所述参考特征包含所述第二融合特征中与所述第一融合特征共性的特征信息；
检测结果获取模块，用于基于所述第一融合特征和所述参考特征，得到所述被试人员的认知障碍检测结果。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器与所述处理器相互耦接，所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1-8任一项所述的认知障碍检测方法。
11.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1-8任一项所述的认知障碍检测方法。
CN202210649771.8A 2022-06-08 2022-06-08 认知障碍检测方法及相关装置、电子设备和存储介质 Pending CN115221941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210649771.8A CN115221941A (zh) 2022-06-08 2022-06-08 认知障碍检测方法及相关装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210649771.8A CN115221941A (zh) 2022-06-08 2022-06-08 认知障碍检测方法及相关装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115221941A true CN115221941A (zh) 2022-10-21

Family

ID=83607727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210649771.8A Pending CN115221941A (zh) 2022-06-08 2022-06-08 认知障碍检测方法及相关装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115221941A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115590481A (zh) * 2022-12-15 2023-01-13 北京鹰瞳科技发展股份有限公司（Cn） 一种用于预测认知障碍的装置和计算机可读存储介质
CN116392071A (zh) * 2023-03-07 2023-07-07 中山大学附属第一医院 神经系统功能障碍检测方法、系统、装置及存储介质
CN118412120A (zh) * 2024-07-02 2024-07-30 科大讯飞股份有限公司 认知障碍检测方法、系统和相关装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115590481A (zh) * 2022-12-15 2023-01-13 北京鹰瞳科技发展股份有限公司（Cn） 一种用于预测认知障碍的装置和计算机可读存储介质
CN115590481B (zh) * 2022-12-15 2023-04-11 北京鹰瞳科技发展股份有限公司 一种用于预测认知障碍的装置和计算机可读存储介质
CN116392071A (zh) * 2023-03-07 2023-07-07 中山大学附属第一医院 神经系统功能障碍检测方法、系统、装置及存储介质
CN116392071B (zh) * 2023-03-07 2024-04-30 中山大学附属第一医院 神经系统功能障碍检测系统、装置及存储介质
CN118412120A (zh) * 2024-07-02 2024-07-30 科大讯飞股份有限公司 认知障碍检测方法、系统和相关装置

Similar Documents

Publication Publication Date Title
CN111461176A (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN115221941A (zh) 认知障碍检测方法及相关装置、电子设备和存储介质
KR20200005986A (ko) 얼굴인식을 이용한 인지장애 진단 시스템 및 방법
JP2017076193A (ja) 脳活動解析装置、脳活動解析方法および脳活動解析プログラム
CN111145903B (zh) 获取眩晕症问诊文本的方法、装置、电子设备及问诊系统
CN113223735B (zh) 基于对话表征的分诊方法、装置、设备及存储介质
WO2019137538A1 (en) Emotion representative image to derive health rating
CN117521814B (zh) 一种基于多模态输入和知识图谱的问答方法及装置
CN114550946A (zh) 医疗数据处理方法、装置及存储介质
CN113536784B (zh) 文本处理方法、装置、计算机设备和存储介质
CN113243918B (zh) 基于多模态隐匿信息测试的风险检测方法及装置
KR20170064960A (ko) 파동신호를 활용한 질병 진단 장치 및 그 방법
CN113673244A (zh) 医疗文本处理方法、装置、计算机设备和存储介质
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN113096756A (zh) 病情演变分类方法、装置、电子设备和存储介质
Kumar et al. Comparison of Machine learning models for Parkinson’s Disease prediction
CN113722507B (zh) 基于知识图谱的住院费用预测方法、装置及计算机设备
CN114881668A (zh) 一种基于多模态的欺骗检测方法
KR20180100780A (ko) 퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템, 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록매체
CN112466284B (zh) 一种口罩语音鉴别方法
CN110648754A (zh) 科室推荐方法、装置及设备
CN110675312B (zh) 图像数据处理方法、装置、计算机设备以及存储介质
CN115687910A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质
Abakarim et al. Voice Pathology Detection Using the Adaptive Orthogonal Transform Method, SVM and MLP.
Wu et al. DeepBrain: Towards personalized EEG interaction through attentional and embedded LSTM learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination