CN109448851A - 一种认知评估方法及装置 - Google Patents
一种认知评估方法及装置 Download PDFInfo
- Publication number
- CN109448851A CN109448851A CN201811353995.4A CN201811353995A CN109448851A CN 109448851 A CN109448851 A CN 109448851A CN 201811353995 A CN201811353995 A CN 201811353995A CN 109448851 A CN109448851 A CN 109448851A
- Authority
- CN
- China
- Prior art keywords
- subject
- cognition
- feature
- cognitive
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种认知评估方法及装置，该方法包括：首先，在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息，其中，关联信息包括被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情中的至少一种信息，然后，可以根据收集的关联信息，评估被试者的认知状况，可见，本申请实施例在对被试者进行认知评估时，考虑了被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情等与认知障碍相关的信息，从而能够更准确地评估出被试者的认知状况。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种认知评估方法及装置。
背景技术
随着经济的发展，社会结构发生了调整，我国已经步入了老龄化社会，老年认知障碍成为了不可忽视的问题。相关数据显示，我国65岁以上老年痴呆患病率约为5％左右，65岁以上的轻度认知障碍人群比例约为20％。预计到2040年，老年痴呆患者数据将超过2400万，老年痴呆患者的日常生活功能丧失给家庭和社会带来了沉重的负担。另外，还存在一些由于患病导致的认知障碍患者，比如患有脑血管病的血管性痴呆患者、脑外伤或中毒后的患者等，均存在一定程度上的认知障碍，这同样会导致其日常生活功能丧失，给家庭和社会带来了沉重的负担。
研究表明，在进展为痴呆之前，患者有相当长的一段时间处于轻度认知障碍(mildcognitive impairment，MCI)期间。因此，通过开展早期筛查，在此阶段尽早发现并进行及时干预，能够有效延缓病患转化为痴呆的时间，并有效改善患者的认知状况。现有的筛查技术基于国际通用的面向认知评估的神经心理学量表，通过主试者(医生或评估员)和被试者(病患)之间的交流，让被试者完成量表中的题目，主试者通过将被试者在认知评估量表上的答题结果与标准结果进行对比，从而给出相应的得分，并依据此得分判断被试者是否有若干项认知维度受损，并进一步评估被试者的认知状况。
但是，关于现有的评估方式，其一方面囿于主试者的主观评价，不同的主试者往往在认知评估题目的判断一致性上难以统一，另一方面，仅基于被试者的答题结果进行评价，无法全面的反应出被试者的认知表现。因此，当采用现有评估方式评估被试者的认知状况时，其评估结果的准确性较低。
发明内容
本申请实施例的主要目的在于提供一种认知评估方法及装置，在对被试者进行认知评估时，能够提高评估结果的准确性。
本申请实施例提供了一种认知评估方法，包括：
在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息，所述关联信息包括所述被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情中的至少一种信息；
根据所述关联信息，评估所述被试者的认知状况。
可选的，所述根据所述关联信息，评估所述被试者的认知状况，包括：
若所述关联信息中包括所述交谈语音，则生成所述交谈语音的声学特征和/或所述交谈语音的识别文本的文本特征；
若所述关联信息中包括所述手写轨迹，则生成所述手写轨迹的轨迹特征；
若所述关联信息中包括所述肢体动作，则生成所述肢体动作的动作特征；
若所述关联信息中包括所述面部表情，则生成所述面部表情的表情特征；
根据生成的特征数据，评估所述被试者的认知状况。
可选的，所述文本特征包括所述识别文本在词汇层面、语用层面、句法层面中的至少一个层面上的特征。
可选的，所述轨迹特征包括表征所述被试者在书写过程中的笔迹连贯程度和/或时间花费程度的特征。
可选的，表征所述被试者在书写过程中的笔迹连贯程度的特征，包括：
在所述被试者的手写轨迹中，各个完整连续的笔划占总笔划数的比例；其中，所述完整连续的笔划为前后两个独立的笔划在书写过程中形成了一条连贯笔划。
可选的，表征所述被试者在书写过程中的时间花费程度的特征，包括以下至少一个特征：
每一笔划所花费的实际书写时间、每一笔划所花费的平均书写时间、各个实际书写时间中的最大值、前后相邻两个笔划之间的间隔书写时间、各个间隔书写时间中的最大值、各个间隔书写时间的平均值。
可选的，所述动作特征包括表征所述被试者的肢体灵活程度的特征。
可选的，所述表情特征包括表征所述被试者在不同情绪类型下的情绪表现程度和/或情绪切换频率的特征。
可选的，所述根据生成的特征数据，评估所述被试者的认知状况，包括：
利用预先构建的第一认知判定模型，根据生成的特征数据，评估所述被试者的认知状况。
可选的，所述根据生成的特征数据，评估所述被试者的认知状况，包括：
将生成的特征数据作为目标特征数据；
利用预先构建的第二认知判定模型，根据所述目标特征数据，评估所述被试者在所述目标特征数据所反映的每一认知维度上的认知状况；
根据每一认知维度对应的评估结果，评估所述被试者的认知状况。
可选的，所述根据所述目标特征数据，评估所述被试者在所述目标特征数据所反映的每一认知维度上的认知状况，包括：
将所述目标特征数据中的每一元素数据分别作为目标元素数据，其中，不同目标元素数据对应不同的元素特征类型且每一目标元素数据对应至少一个认知维度；
从预先构建的认知数据库所存储的各个样本特征数据中，分别提取每一元素特征类型下的各个元素数据，并将同一元素特征类型下的各个元素数据进行处理，得到分别对应于每一元素特征类型的参考指标；
根据所述目标元素数据对应的元素特征类型的参考指标，确定所述被试者在所述目标元素数据对应的认知维度上的认知状况。
可选的，所述将同一元素特征类型下的各个元素数据进行处理，得到分别对应于每一元素特征类型的参考指标，包括：
将同一元素特征类型下的各个元素数据进行平均计算和标准差计算，得到一个平均值和一个标准差值；
根据每一元素特征类型对应的平均值和标准差值，生成对应于每一元素特征类型的参考指标。
本申请实施例还提供了一种认知评估装置，包括：
关联信息收集单元，用于在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息，所述关联信息包括所述被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情中的至少一种信息；
认知状况评估单元，用于根据所述关联信息，评估所述被试者的认知状况。
可选的，所述认知状况评估单元包括：
第一特征生成子单元，用于若所述关联信息中包括所述交谈语音，则生成所述交谈语音的声学特征和/或所述交谈语音的识别文本的文本特征；
第二特征生成子单元，用于若所述关联信息中包括所述手写轨迹，则生成所述手写轨迹的轨迹特征；
第三特征生成子单元，用于若所述关联信息中包括所述肢体动作，则生成所述肢体动作的动作特征；
第四特征生成子单元，用于若所述关联信息中包括所述面部表情，则生成所述面部表情的表情特征；
认知状况评估子单元，用于根据生成的特征数据，评估所述被试者的认知状况。
可选的，所述文本特征包括所述识别文本在词汇层面、语用层面、句法层面中的至少一个层面上的特征。
可选的，所述轨迹特征包括表征所述被试者在书写过程中的笔迹连贯程度和/或时间花费程度的特征。
可选的，表征所述被试者在书写过程中的笔迹连贯程度的特征，包括：
在所述被试者的手写轨迹中，各个完整连续的笔划占总笔划数的比例；其中，所述完整连续的笔划为前后两个独立的笔划在书写过程中形成了一条连贯笔划。
可选的，表征所述被试者在书写过程中的时间花费程度的特征，包括以下至少一个特征：
每一笔划所花费的实际书写时间、每一笔划所花费的平均书写时间、各个实际书写时间中的最大值、前后相邻两个笔划之间的间隔书写时间、各个间隔书写时间中的最大值、各个间隔书写时间的平均值。
可选的，所述动作特征包括表征所述被试者的肢体灵活程度的特征。
可选的，所述表情特征包括表征所述被试者在不同情绪类型下的情绪表现程度和/或情绪切换频率的特征。
可选的，所述认知状况评估子单元具体用于：
利用预先构建的第一认知判定模型，根据生成的特征数据，评估所述被试者的认知状况。
可选的，所述认知状况评估子单元包括：
目标特征数据确定子单元，用于将生成的特征数据作为目标特征数据；
第一认知状况评估子单元，用于利用预先构建的第二认知判定模型，根据所述目标特征数据，评估所述被试者在所述目标特征数据所反映的每一认知维度上的认知状况；
第二认知状况评估子单元，用于根据每一认知维度对应的评估结果，评估所述被试者的认知状况。
可选的，所述第一认知状况评估子单元包括：
元素数据确定子单元，用于将所述目标特征数据中的每一元素数据分别作为目标元素数据，其中，不同目标元素数据对应不同的元素特征类型且每一目标元素数据对应至少一个认知维度；
参考指标确定子单元，用于从预先构建的认知数据库所存储的各个样本特征数据中，分别提取每一元素特征类型下的各个元素数据，并将同一元素特征类型下的各个元素数据进行处理，得到分别对应于每一元素特征类型的参考指标；
认知状况确定子单元，用于根据所述目标元素数据对应的元素特征类型的参考指标，确定所述被试者在所述目标元素数据对应的认知维度上的认知状况。
可选的，所述参考指标确定子单元包括：
元素数据处理子单元，用于将同一元素特征类型下的各个元素数据进行平均计算和标准差计算，得到一个平均值和一个标准差值；
参考指标生成子单元，用于根据每一元素特征类型对应的平均值和标准差值，生成对应于每一元素特征类型的参考指标。
本申请实施例还提供了一种认知评估装置，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述认知评估方法中的任意一种实现方式。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述认知评估方法中的任意一种实现方式。
本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述认知评估方法中的任意一种实现方式。
本申请实施例提供的一种认知评估方法及装置，首先，在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息，其中，关联信息包括被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情中的至少一种信息，然后，可以根据收集的关联信息，评估被试者的认知状况，可见，本申请实施例在对被试者进行认知评估时，考虑了被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情等与认知障碍相关的信息，从而能够更准确地评估出被试者的认知状况。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种认知评估方法的流程示意图；
图2为本申请实施例提供的根据关联信息评估被试者的认知状况的流程示意图；
图3为本申请实施例提供的根据生成的特征数据评估被试者的认知状况的流程示意图；
图4为本申请实施例提供的表示被试者的特征向量的结构示意图；
图5为本申请实施例一种认知评估装置的组成示意图。
具体实施方式
在一些认知评估方法中，通常是利用国际通用的面向认知评估的神经心理学量表对被试者进行认知状况的评估，在具体的评估过程中，主试者(医生或评估员)与被试者(病患)需要进行一对一的面对面交流，并且，在交流过程中，主试者会按照神经心理学量表(如简易精神状态检查量表MMSE、蒙特利尔认知评估量表MOCA等)逐题向被试者进行询问，再根据该量表所附带的评分准则，将被试者的回答结果与评分准则进行对照，以便对被试者的回答结果进行评分。最后通过将被试者对应于该量表中的每一题目的得分进行累加，得到被试者的认知评估总分，并将该总分与相应的阈值进行比较，从而评估出被试者的认知状况。
但是，在上述判断过程中，首先，不同的主试者(医生或评估员)可能会因为个人主观差异(经验或者是情绪倾向)的不同，造成针对同一被试者的评判不统一，从而有可能造成对被试者回答结果的误判或漏判；其次，主试者进行评分的依据往往仅是被试者回答的言语内容信息或者是手写内容的结果图像，这就使得评判的维度较为单一，并且，在评估过程中，也会丢失与被试者有关的一些丰富信息。比如，在对被试者进行文字书写评估时，评判的依据仅仅是被试者回答结果中一句话的完整程度，即，判断被试者的回答结果是否是一句包含主语、谓语、宾语等，且语法没有错误、有一定语义的句子。但是，被试者书写的时间、笔迹的连贯以及毁笔等信息并没有作为评判依据，而这些信息与被试者的记忆、执行功能以及视空间功能等均有关联，是用以评估被试者的认知状况的有效辅助信息。因此，采用现有评估方式来评估被试者的认知状况时，其评估结果的准确性较低。
为解决上述缺陷，本申请实施例提供了一种认知评估方法，在对被试者进行认知评估的过程中，首先收集与认知障碍相关的关联信息，该关联信息可以包括被试者在认知评估过程中与主试者交谈的语音、手写轨迹、肢体动作、面部表情中的至少一种信息，然后，再根据收集的这些与认知障碍相关的关联信息，评估被试者的认知状况，可见，本申请实施例在对被试者进行认知评估时，考虑了被试者在认知评估过程中与主试者交谈的语音、手写轨迹、肢体动作、面部表情等过程性信息，从而能够更准确地评估出被试者的认知状况。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一实施例
参见图1，为本实施例提供的一种认知评估方法的流程示意图，该方法包括以下步骤：
S101：在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息。
在本实施例中，将采用本实施例实现认知评估的任一患者称为被试者，被试者可以是可能处于轻度认知障碍的病患，比如可能处于轻度认知障碍的老年人等。为了能够准确评估出被试者的认知状况，首先需要在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息，该关联信息可以包括被试者在认知评估过程中的交谈语音(通常是与主试者的交谈语音)、手写轨迹、肢体动作、面部表情中的至少一种信息，然后，可以利用该关联信息执行后续步骤S102，来评估出被试者的认知状况。
下面对被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作以及面部表情进行依次介绍。
在本实施例中，被试者在认知评估过程中的交谈语音指的是被试者在接受认知评估的过程中发出的语音信息，该语音信息即包括被试者回答主试者提出的认知评估题目的语音，也包括被试者在回答过程中自发产生的一些随意的、与认知评估题目无关的其他语音。例如，假设主试者为被试者提出的认知评估题目为“在1分钟内尽可能多的列举水果的名称”，而被试者在回答过程中，有可能因为没有听清主试者提出的问题，会在说出题目答案(列举出多种水果名称)之前，说出一些与题目答案无关的信息，比如，被试者可能会问主试者“是要说水果，对吧？”或“我来想想，有什么水果”等，接着，在等到主试者的回答后，才会说出多种水果的名称。这些被试者说出的与题目答案无关的信息与其说出的题目答案，均可以作为被试者在认知评估过程中的交谈语音。
需要说明的是，在收集被试者在认知评估过程中的交谈语音时，可以采用内置或外置的收音设备，比如可以采用认知评估过程中所用的电脑、平板或手机的麦克风等内置收音设备进行收集，或者，也可以采用录音笔或领夹式麦克风等外置收音设备进行收集，具体的收音设备可根据实际情况进行设置，本申请实施例对此不进行限定。
在本实施例中，被试者在认知评估过程中的手写轨迹指的是被试者在回答主试者提出的认知评估量表中的书写题目时而留下的书写轨迹信息，该书写轨迹信息包括开始书写到结束书写的过程中的笔划走向和花费时间等，即包括每一书写时刻的笔迹位置。例如，假设主试者提出的认知评估题目为请被试者书写一句完整的话，比如“我爱我的家乡”等，则被试者在相关设备上进行书写时留下的书写笔迹信息即为被试者对于该认知评估题目的答题手写轨迹。其中，可供被试者进行书写的设备可以是平板电脑或者其他可以按照时间进行笔迹记录的设备，具体的书写设备可根据实际情况进行选择，本申请实施例对此不进行限定。
在本实施例中，被试者在认知评估过程中的肢体动作以及面部表情分别指的是在整个认知评估过程中通过多角度的摄像设备采集得到的被试者的躯体信息和面部信息。具体来讲，可以通过在被试者的四周排布多个(比如4个)摄像头，用以采集被试者的躯体信息，并且，还可以在被试者正面的前方设置一个摄像头，用以采集被试者在接受认知评估过程中的面部信息。其中，用以收集被试者躯体信息和面部信息的摄像头可以是普通摄像头、深度相机或红外相机等，具体的摄像头类型可根据实际情况进行选择，本申请实施例对此不进行限定。
进一步的，在对被试者进行认知评估的过程中，通过使用不同的设备收集到与认知障碍相关的关联信息后，可继续执行后续步骤S102，通过对这些信息的分析处理，实现被试者认知状况的准确评估。
S102：根据收集到的与认知障碍相关的关联信息，评估被试者的认知状况。
在本实施例中，通过步骤S101，在对被试者进行认知评估的过程中，收集到与认知障碍相关的关联信息后，即，收集到被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情中的至少一种信息后，可以进一步地对这些与认知障碍相关的关联信息进行数据处理，并根据处理结果，评估出被试者的认知状况。
具体来讲，在对这些关联信息进行数据处理的过程中，可以利用现有或未来出现的特征提取方法，对这些关联信息进行特征提取，即，对被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情进行特征提取，以生成分别表征这些关联信息的特征数据，再根据生成的这些特征数据，评估出被试者的认知状况。
其中，被试者的认知状况可以包括被试者是否具有认知障碍，以及被试者具有认知障碍时，对应的认知障碍程度的高低，比如，假设被试者为高智商人员，其不仅不具有认知障碍，其对应的认知状况较正常人更好；或者，若被试者为处于轻度认知障碍的患者，其对应的认知状况较正常人差些，认知障碍的程度较低；再或者，若被试者为处于重度认知障碍的患者，其对应的认知状况较轻度认知障碍者差些，认知障碍的程度较高。
需要说明的是，本步骤S102的具体实现过程可参见后续第二实施例的相关介绍。
综上，本实施例提供的一种认知评估方法，首先，在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息，其中，关联信息包括被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情中的至少一种信息，然后，可以根据收集的关联信息，评估出被试者的认知状况，可见，本申请实施例在对被试者进行认知评估时，考虑了被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情等与认知障碍相关的信息，从而能够更准确地评估出被试者的认知状况。
第二实施例
本实施例将对第一实施例中步骤S102“根据收集到的与认知障碍相关的关联信息，评估被试者的认知状况”的具体实现过程进行介绍。
参见图2，其示出了本实施例提供的根据关联信息判断被试者是否具有认知障碍的流程示意图，该流程包括以下步骤：
S201：若关联信息中包括被试者在认知评估过程中的交谈语音，则生成该交谈语音的声学特征和/或该交谈语音的识别文本的文本特征。
在本实施例中，若收集到的关联信息中包括被试者在认知评估过程中的交谈语音，即若关联信息中包括被试者在接受认知评估的过程中发出的语音信息，则可以生成该交谈语音的声学特征，和/或，对该交谈语音进行语音识别得到其识别文本后，生成该识别文本的文本特征。
一种可选的实现方式是，本实施例中交谈语音的声学特征，包括但不限于该交谈语音的平均音素时长、音位错误率、填充停顿词个数、语速、停顿次数、犹豫率等。其中，平均音素时长指的是交谈语音的各个音素所花费时长的平均值；音位错误率指的是交谈语音中错误音位个数与总音位的比值；填充停顿词个数指的是交谈语音中的停顿词个数，比如被试者在中文交谈语音中使用的“嗯”、“呃”等停顿词的个数，或在英文交谈语音中使用的“um”、“uh”等停顿词的个数；语速指的是单位时间内所包括的词汇容量；停顿次数指的是被试者在说出交谈语音的过程中产生的停顿次数，如停顿了1次或2次等，每一次停顿即对应一个“静音段”，可以利用语音活动检测(Voice Activity Detection，检测VAD)方法来检测出交谈语音段中的“静音段”；犹豫率指的是被试者在说出交谈语音的过程中的犹豫次数与总词数的比值，犹豫次数即为交谈语音中的停顿次数与填充停顿词个数之和。
一种可选的实现方式是，本实施例中交谈语音的识别文本的文本特征，可以包括该识别文本在词汇层面、语用层面、句法层面中的至少一个层面上的特征。在本实现方式中，首先，可以对被试者在认知评估过程中的交谈语音进行语音识别，即对交谈语音进转写，以得到交谈语音对应的识别文本，然后，再对该识别文本进行特征提取，并将提取出的该识别文本在词汇层面、语用层面、句法层面中的至少一个层面上的特征作为该识别文本的文本特征。
其中，在词汇层面上提取出的识别文本的特征，包括但不限于识别文本的词汇重复率(比如识别文本中重复词汇的数量、或重复词汇的数量占总词数的比重)、词语修正率(比如识别文本中否定词的数量、或否定词的数量占总词数的比重)、困惑度(preplexity，简称PPL，指的是该识别文本可以被语言模型预测出来的程度)等特征。
其中，在语用层面上提取出的识别文本的特征，包括但不限于识别文本的总词数、平均句子长度、想法密度(idea density)等特征。其中，想法密度指的是识别文本中代表想法和断言(指代表态度、观点、感受等词语)的词数与总词数的比值，在具体的计算过程中，可以将识别文本中动词和名词的个数和直接当作是识别文本中代表想法和断言的词数，但是专有名词(proper noun)除外。例如，假设识别文本为“我爱北京天安门”，其中，“我”、“北京”和“天安门”是专有名词，“爱”是动词，则该识别文本“我爱北京天安门”中代表想法和断言的词数为1，而该识别文本的总词数是3，所以识别文本“我爱北京天安门”的想法密度即为33％。
其中，在句法层面上提取出的识别文本的特征，包括但不限于识别文本的形容词率(比如识别文本中形容词的数量、或形容词的数量占总词数的比重)、动词率(比如识别文本中动词的数量、或动词的数量占总词数的比重)、感叹词率(比如识别文本中感叹词的数量、或感叹词的数量占总词数的比重)、语义错误(指的是识别文本中语义错误处的个数)、句子复杂度(指的是表征识别文本的句子复杂度的一组特征集合，比如识别文本对应的句法分析树的高度、从句个数等)等特征。其中，在计算“语义错误”时，可以先对识别文本中的每个句子做句法分析，并从中找出主语、谓语、宾语等，接着，再从其中找出出现语义错误处的个数。
S202：若关联信息中包括被试者在认知评估过程中的手写轨迹，则生成该手写轨迹的轨迹特征。
在本实施例中，若收集到的关联信息中包括被试者在认知评估过程中的手写轨迹，即若关联信息中包括被试者在回答主试者提出的认知评估量表中的书写题目时而留下的书写轨迹信息，该书写轨迹信息可以包括至少四个维度(时间点，X轴位置，Y轴位置，压力值)的信息，则可以从该书写轨迹信息中进行特征提取，以生成手写轨迹对应的轨迹特征。
一种可选的实现方式是，本实施例中手写轨迹的轨迹特征，可以包括表征被试者在书写过程中的笔迹连贯程度和/或时间花费程度的特征。
在本实现方式中，若收集到的被试者的书写轨迹信息中包含了四个维度(时间点，X轴位置，Y轴位置，压力值)的信息，则在提取被试者手写轨迹的轨迹特征时，首先需要基于这四个维度的信息，识别出被试者书写的每一笔划。具体识别时，可以基于书写轨迹信息中的压力值信息进行识别，具体来讲，当检测出压力值由0变为大于0时，则表明这是一个笔划的起始点，而当检测出压力值从大于0变为0时，则表明这是一个笔划的终止点，这样，便可以识别出被试者的手写轨迹中包含的所有笔划。需要说明的是，对于每一笔划的识别，也可以采用现有的或未来出现的其它识别方法，本申请对此不进行限制。
然后，再基于识别出的被试者的手写轨迹中包含的所有笔划，提取出表征被试者在书写过程中的笔迹连贯程度和/或时间花费程度的特征。
在本实现方式中，表征被试者在书写过程中的笔迹连贯程度的特征，可以包括：在被试者的手写轨迹中，各个完整连续的笔划占总笔划数的比例；其中，一个完整连续的笔划指的是前后两个独立的笔划在书写过程中形成了一条连贯笔划。具体来讲，手写轨迹中一个完整连续的笔划的判定指的是被试者在书写过程中实际有意义的一笔是否需要多个笔划前后连接才能够完成，也就是说，在识别出被试者的手写轨迹中包含的所有笔划的基础上，判断出是否有两个独立的笔划实际构成了一条有意义的连贯笔划，即一个完整连续的笔划。
在具体判断时，首先，计算每个笔划B对应的朝向值(也即笔划B的斜率值)，具体计算公式如下：
朝向＝(Y终点-Y起点)/(X终点-X起点) (1)
其中，X起点表示笔划B的起点在X轴的坐标值，X终点表示笔划B的终点在X轴的坐标值，Y起点表示笔划B的起点在Y轴的坐标值，Y终点表示笔划B的终点在Y轴的坐标值。
然后，在通过公式(1)计算出每个笔划各自对应的朝向值后，对于每两个相邻笔划，可以通过下述公式(2)，判断出这两个相邻笔划的朝向是否近似相同：
其中，b表示两个相邻笔划中后一笔笔划对应的朝向值，a表示两个相邻笔划中前一笔笔划对应的朝向值，α表示一个比例系数，比如α可以取5％或10％等，具体取值可根据实际情况进行选择，本申请对此不进行限制。
当两个相邻笔划的朝向值满足上述公式(2)时，则表明这两个笔划的朝向近似相同，反之，则不相同。进而，若这两个笔划的朝向近似相同，且这两个笔划前后交叠(指的是这两个笔划至少有一个交点)，则可以判断出这两个笔划实际构成了一条有意义的连贯笔划，即一个完整连续的笔划。依次类推，最终可以计算出被试者的手写轨迹中出现此类完整连续的笔划的数目，再计算出该数目占总笔划数的比例，可以利用该比例值作为表征被试者在书写过程中的笔迹连贯程度的特征。
在本实现方式中，表征被试者在书写过程中的时间花费程度的特征，包括以下至少一个特征：每一笔划所花费的实际书写时间、每一笔划所花费的平均书写时间、各个实际书写时间中的最大值、前后相邻两个笔划之间的间隔书写时间、各个间隔书写时间中的最大值、各个间隔书写时间的平均值。
具体来讲，对于表征被试者在书写过程中的时间花费程度的特征，具体可以按照下述方式生成。其中，每一笔划所花费的实际书写时间的生成方式可以为，对被试者的手写轨迹进行笔划拆解，计算出被试者书写每一笔划所花费的实际时间t1，或者计算每一笔划在单位欧氏距离上所花费的时间t2(即该笔划的长度值除以该笔划所花费的实际书写时间t1得到的商值)；每一笔划所花费的平均书写时间生成方式为，将各个笔划对应的实际书写时间值t1或t2进行平均，即可得到被试者书写每一笔划所花费的平均时间；各个实际书写时间中的最大值，指的是书写每一笔划所花费的实际时间t1或t2的最大值，即可以提取出被试者花费时间最多的那一笔划，得到笔划的最大花费时间；同时，还可以提取出每前后相邻两个笔划之间的间隔书写时间，再提取出各个间隔书写时间中的最大值，还可以进一步计算各个间隔书写时间的平均值。从而，得到每一笔划所花费的实际书写时间、每一笔划所花费的平均书写时间、各个实际书写时间中的最大值、前后相邻两个笔划之间的间隔书写时间、各个间隔书写时间中的最大值、各个间隔书写时间的平均值这六个时间参数，可以将这六个时间参数中的一个或多个作为表征被试者在书写过程中的时间花费程度的特征。
S203：若关联信息中包括被试者在认知评估过程中的肢体动作，则生成该肢体动作的动作特征。
在本实施例中，若收集到的关联信息中包括被试者在认知评估过程中的肢体动作，即若关联信息中包括在整个认知评估过程中通过多角度的摄像设备采集得到的被试者的躯体信息，则可以通过对肢体动作进行特征提取，以生成该肢体动作对应的动作特征。
一种可选的实现方式是，本实施例中肢体动作的动作特征，可以包括表征被试者的肢体灵活程度的特征。
在本实现方式中，本实施例生成的表征被试者的肢体灵活程度的特征，包括但不限于该肢体动作的数目、幅度等。具体来说，被试者的肢体动作可以包括但不限于被试者举手、站立、扭头等动作，则相应的，表征被试者的肢体灵活程度的特征可以包括被试者举手、站立、扭头等动作的数目和幅度。进而可以识别并统计出各种类型的肢体动作对应的数目、幅度以及所占比重等，用以作为表征被试者的肢体灵活程度的特征。其中，不同类型的肢体动作的幅度可以以一定参照物为基础进行分别计算，以计算举手的幅度为例，可以以被试者的肩膀为基准水平，计算举手时最高点离水平基准点的差值作为举手的幅度，超过肩膀记为正值，低于肩膀记为负值等；以计算站立的幅度为例，可以以被试者坐着时对应的身高最高点为基准水平，计算被试者站立时身高最高点离水平基准点的差值作为站立的幅度；再以计算扭头的幅度为例，可以以被试者向前平视时的视线为基准水平，计算被试者向左、向右、向上或向下扭头时的视线与水平基准线之间的角度值作为扭头的幅度等。
S204：若关联信息中包括被试者在认知评估过程中的面部表情，则生成该面部表情的表情特征。
在本实施例中，若收集到的关联信息中包括被试者在认知评估过程中的面部表情，即若关联信息中包括在整个认知评估过程中通过被试者正面的前方设置的摄像设备采集得到的被试者的面部信息，则可以通过对面部表情进行特征提取，以生成该面部表情对应的表情特征。
一种可选的实现方式是，本实施例生成的被试者在认知评估过程中的面部表情的表情特征，可以包括表征被试者在不同情绪类型下的情绪表现程度和/或情绪切换频率的特征。
在本实现方式中，本实施例在生成表征被试者在不同情绪类型下的情绪表现程度和/或情绪切换频率的特征时，可以使用现有或未来出现的面部分析技术，对被试者的面部表情进行特征提取。具体来说，可以预先对面部表情进行分类，如喜、怒、哀、乐等，每一种面部表情代表一种情绪类型，在实际应用中，对被试者表现的每类情绪类型，分别给予一定的分值，该分值代表被试者表现相应情绪的程度，分值越高，表明此类情绪的程度越大，反之亦然，比如被试者看起来非常悲伤，则情绪类型“哀”的分值较高；当然，还可以计算出各类情绪分别所占的时长，时长越长，也表明被试者表现相应情绪的程度越高，反之亦然，因此，可以将每类情绪对应的分值和/或时长，作为表征被试者在不同情绪类型下的情绪表现程度的特征。同时，还可以统计出被试者发生情绪变化的次数，该次数代表被试者情绪切换频率，次数越大，表明被试者的情绪切换频率越高，反之亦然，因此，可以将情绪变化次数，作为表征被试者的情绪切换频率的特征。
需要说明的是，本实施例不限制步骤S201-S204的执行顺序。
S205：根据生成的特征数据，评估被试者的认知状况。
在本实施例中，通过步骤S201-S204生成各个特征数据，即生成被试者在认知评估过程中的交谈语音对应的声学特征和/或识别文本的文本特征、手写轨迹的轨迹特征、肢体动作的动作特征、面部表情的表情特征中的至少一类特征后，进一步地，可以根据生成的这些特征数据，评估出被试者的认知状况。
在本实施例的一种可能的实现方式中，可以利用预先构建的第一认知判定模型，根据生成的特征数据，评估所述被试者的认知状况。
在本实现方式中，由于之前已有多位被试者通过认知评估过程，获得了主试者(医生或评估员)对于其在各个认知维度(比如语音、执行功能、视空间以及记忆等)上的认知情况的判断以及整体认知情况的判断。因此，可以将其中的每一被试者作为样本被试者，并在认知数据库中预先存储每一样本被试者对应的特征数据(该特征数据可以以向量的形式存储)、并存储每一样本被试者的认知评估结果，该认知评估结果可以包括该样本被试者在各个认知维度上是否具有认知障碍和在各个认知维度上的认知障碍程度的高低，以及该样本被试者整体来看是否具有认知障碍和在整体上认知障碍的程度的高低。
进而，可以预先将该认知数据库中存储的大量样本被试者的特征向量及其对应的整体认知状况的评估结果，作为训练数据，其中，以认知数据库中每一样本被试者的特征向量作为输入数据，以每一样本被试者对应的整体认知评估结果作为实际评估结果，可以通过现有的机器学习方法(比如支持向量机算法)，对初始构建的第一认知判定模型进行训练，在训练过程中，该第一认知判定模型可以根据输入的样本被试者的特征向量，预测输出该样本被试者的整体认知状况，并将该预测评估结果与其实际评估结果进行对比，根据对比结果对第一认知判定模型的参数进行更新，通过多轮训练得到最终的第一认知判定模型。基于此，当通过步骤S201-S204生成被试者的特征数据时，可以将该特征数据以特征向量的形式输入到第一认知判定模型中，以利用该第一认知判定模型对该被试者的整体认知状况进行评估，即，评估出被试者是否具有认知障碍，以及在整体上认知障碍的程度的高低。
在本实施例的另一种可能的实现方式中，可以通过如图3所示的步骤S2051-S2053来评估被试者的认知状况：
S2051：将生成的特征数据作为目标特征数据。
在本实现方式中，将通过步骤S201-S204生成的特征数据作为目标特征数据，即将通过步骤S201-S204生成的被试者在认知评估过程中的交谈语音对应的声学特征和/或识别文本的文本特征、手写轨迹的轨迹特征、肢体动作的动作特征、面部表情的表情特征中的至少一类特征数据作为目标特征数据。
S2052：利用预先构建的第二认知判定模型，根据目标特征数据，评估被试者在该目标特征数据所反映的每一认知维度上的认知状况。
在本实现方式中，基于上述认知数据库中的存储结果，即每一样本被试者对应的特征数据(该特征数据可以以向量的形式存储)、以及每一样本被试者的认知评估结果(该认知判断结果可以包括该样本被试者在各个认知维度上是否具有认知障碍以及在各个认知维度上认知障碍的程度高低)，可以预先将该认知数据库中存储的大量样本被试者的特征向量及其在每一认知维度下的认知评估结果，作为训练数据，其中，以该认知数据库中每一样本被试者的特征向量作为输入数据，以每一样本被试者在各个认知维度下的认知评估结果作为各个实际评估结果，可以通过现有的机器学习方法(比如支持向量机算法)，对初始构建的第二认知判定模型进行训练，在训练过程中，该第二认知判定模型可以根据输入的样本被试者的特征向量，预测输出该样本被试者在每一认知维度下的认知状况，并将各个认知维度下的预测评估结果与其实际评估结果进行对比，根据对比结果对第二认知判定模型的参数进行更新，通过多轮训练得到最终的第二认知判定模型。基于此，当通过步骤S201-S204生成被试者的特征数据(即目标特征数据)时，可以将该特征数据以特征向量的形式输入到第二认知判定模型中，以利用该第二认知判定模型对该被试者在各个认知维度下的认知状况进行评估，即评估出被试者在各个认知维度下是否具有认知障碍，以及在各个认知维度下认知障碍的程度。
在一种可选的实现方式中，本步骤S2052的具体实现过程可以包括下述步骤A-C：
步骤A：将目标特征数据中的每一元素数据分别作为目标元素数据，其中，不同目标元素数据对应不同的元素特征类型且每一目标元素数据对应至少一个认知维度。
在本实现方式中，为了根据目标特征数据，判断出被试者每一认知维度上是否具有认知障碍，可以将该目标特征数据与认知评估的各个维度进行对应，用以将目标特征数据映射到认知评估的若干维度上，部分目标特征数据和认知维度的映射关系如下表1所示：
表1
其中，目标特征数据由各个目标元素数据组成，其中，每一目标元素数据是其对应的元素特征类型的取值，如图4所示，左侧目标特征数据下的每一方格即代表一个目标元素数据。例如，如表1所示，在词汇层面的多个特征中，每一特征即为一个元素特征类型，以词汇层面的一个特征“词汇重复率”为例，假设其值为5，则该元素数据类型对应的目标元素数据即为“5”。此外，每一目标元素数据对应了至少一个认知维度，如表1所示，词汇层面的每一特征均对应“语言”这一认知维度，而表征笔迹连贯程度的特征则对应“执行功能”和“视空间”这两个认知维度。
步骤B：从预先构建的认知数据库所存储的各个样本特征数据中，分别提取每一元素特征类型下的各个元素数据，并将同一元素特征类型下的各个元素数据进行处理，得到分别对应于每一元素特征类型的参考指标。
由于认知数据库中已经预先存储了大量样本被试者的特征向量及其在各个认知维度下的认知状况评估结果和整体认知状况评估结果，为便于描述，这里将每一被试者的特征向量作为一条样本特征数据。基于此，对于目标特征数据涉及到的每一元素特征类型，可以从这些样本特征数据中提取同一元素特征类型下的各个元素数据，并将同一元素特征类型下的各个元素数据进行数据处理，以得到分别对应于每一元素特征类型的参考指标，作为评估阈值，用以评估当前被试者在每一元素特征类型对应的认知维度上的认知状况。
一种可选的实现方式是，本步骤B中“将同一元素特征类型下的各个元素数据进行处理，得到分别对应于每一元素特征类型的参考指标”的具体实现过程可以包括下属步骤B1-B2：
步骤B1：将同一元素特征类型下的各个元素数据进行平均计算和标准差计算，得到一个平均值和一个标准差值。
在本实现方式中，对于目标特征数据涉及到的每一元素特征类型，可以从认知数据库中对应于每一样本被试者的样本特征数据中提取同一元素特征类型下的各个元素数据，并计算该同一元素特征类型下的各个元素数据的平均值和标准差，其中，平均值可以用m来表示，标准差值可以用s来表示。
举例说明：以元素特征类型为被试者交谈语音的声学特征中的“填充停顿词个数”为例，若在认知数据库中，该元素特征类型下的各个元素数据分别为4、5、6、7和8，则可以计算出该元素特征类型下的各个元素数据的平均值m为6、标准差值s为
步骤B2：根据每一元素特征类型对应的平均值和标准差值，生成对应于每一元素特征类型的参考指标。
通过步骤B1计算出每一元素特征类型对应的平均值m和标准差值s后，可以根据该平均值m和标准差值s，生成其对应的元素特征类型的参考指标，对于该元素特征类型对应的认知维度，可以将该参考指标作为评估阈值，用以评估被试者在相应认知维度上的认知状况。
具体地，可以根据该元素特征类型的属性，将其评估阈值设置为平均值m与n(比如n为1～2之间的任一值)倍标准差s的差值或和值。举例说明：基于上述举例，当某个元素特征类型为“填充停顿词个数”时，假设对应计算得到的平均值m和标准差值s分别为6和由于“填充停顿词个数”越少表明认知状况越好，因此，将大于平均值m的数值作为评估阈值更为合适，比如
步骤C：根据目标元素数据对应的元素特征类型的参考指标，确定被试者在目标元素数据对应的认知维度上的认知状况。
在目标特征数据的各个目标元素数据中，若某元素特征类型下的目标元素数据超过了该元素特征类型对应的评估阈值，则可以评估出被试者在该目标元素数据对应的认知维度上具有认知障碍以及认知障碍程度的高低，反之则认知正常。
举例说明：基于上述举例，如图4所示，在目标特征数据和认知数据库中的6个样本特征数据中，假设第5个方格位置均为元素特征类型“填充停顿词个数”的值，当基于认知数据库的6个样本特征数据，通过步骤B计算出元素特征类型“填充停顿词个数”的参考指标(即评估阈值)为后，则可以将目标特征数据中第5个位置的目标元素数据，与该参考指标进行比较，若超过了该参考指标，则可以判断出被试者在“填充停顿词个数”对应的认知维度“语言”上具有认知障碍，并认知障碍程度较高，反之则认知正常。
S2053：根据每一认知维度对应的评估结果，评估被试者的认知状况。
在本实现方式中，当通过步骤S2052，评估出被试者在目标特征数据所反映的每一认知维度上的认知状况后，可以根据每一认知维度对应的评估结果，判断出被试者的认知状况。具体来讲，可以预先设置一个评估规则，比如，该评估规则为“当被试者在两个或两个以上的不同认知维度出现认知障碍且不同纬度的认知得分高于对应的得分阈值(比如0.7)，则判断被试者为认知障碍且认知障碍程度较高”，基于此，若被试者满足该评估规则，则可以判断被试者为认知障碍且认知障碍程度较高，反之，则判断被试者为认知正常或认知障碍程度较低。
进一步的，为了提高评估结果的准确性，还可以将本实施例介绍的认知评估方法与现有的利用国际通用的面向认知评估的神经心理学量表对被试者进行认知评估的方法相结合，以便更准确地评估出被试者的认知状况。
综上，本实施例利用从被试者的交谈语音中提取的声学特征和识别文本的文本特征、从被试者的手写轨迹中提取的轨迹特征、从被试者的肢体动作中提取的动作特征以及从被试者的面部表情中提取的表情特征，来评估被试者的认知状况，从而在对被试者进行认知评估的过程中，考虑了与被试者的语言、记忆、执行功能以及视空间功能等有关联的特征数据，进一步提高了评估结果的准确性。
第三实施例
本实施例将对一种认知评估装置进行介绍，相关内容请参见上述方法实施例。
参见图5，为本实施例提供的一种认知评估装置的组成示意图，该装置500包括：
关联信息收集单元501，用于在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息，所述关联信息包括所述被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情中的至少一种信息；
认知状况评估单元502，用于根据所述关联信息，评估所述被试者的认知状况。
在本实施例的一种实现方式中，所述认知状况评估单元502包括：
第一特征生成子单元，用于若所述关联信息中包括所述交谈语音，则生成所述交谈语音的声学特征和/或所述交谈语音的识别文本的文本特征；
第二特征生成子单元，用于若所述关联信息中包括所述手写轨迹，则生成所述手写轨迹的轨迹特征；
第三特征生成子单元，用于若所述关联信息中包括所述肢体动作，则生成所述肢体动作的动作特征；
第四特征生成子单元，用于若所述关联信息中包括所述面部表情，则生成所述面部表情的表情特征；
认知状况评估子单元，用于根据生成的特征数据，评估所述被试者的认知状况。
在本实施例的一种实现方式中，所述文本特征包括所述识别文本在词汇层面、语用层面、句法层面中的至少一个层面上的特征。
在本实施例的一种实现方式中，所述轨迹特征包括表征所述被试者在书写过程中的笔迹连贯程度和/或时间花费程度的特征。
在本实施例的一种实现方式中，表征所述被试者在书写过程中的笔迹连贯程度的特征，包括：
在所述被试者的手写轨迹中，各个完整连续的笔划占总笔划数的比例；其中，所述完整连续的笔划为前后两个独立的笔划在书写过程中形成了一条连贯笔划。
在本实施例的一种实现方式中，表征所述被试者在书写过程中的时间花费程度的特征，包括以下至少一个特征：
每一笔划所花费的实际书写时间、每一笔划所花费的平均书写时间、各个实际书写时间中的最大值、前后相邻两个笔划之间的间隔书写时间、各个间隔书写时间中的最大值、各个间隔书写时间的平均值。
在本实施例的一种实现方式中，所述动作特征包括表征所述被试者的肢体灵活程度的特征。
在本实施例的一种实现方式中，所述表情特征包括表征所述被试者在不同情绪类型下的情绪表现程度和/或情绪切换频率的特征。
在本实施例的一种实现方式中，所述认知状况评估子单元具体用于：
利用预先构建的第一认知判定模型，根据生成的特征数据，评估所述被试者的认知状况。
在本实施例的一种实现方式中，所述认知状况评估子单元包括：
目标特征数据确定子单元，用于将生成的特征数据作为目标特征数据；
第一认知状况评估子单元，用于利用预先构建的第二认知判定模型，根据所述目标特征数据，评估所述被试者在所述目标特征数据所反映的每一认知维度上的认知状况；
第二认知状况评估子单元，用于根据每一认知维度对应的评估结果，评估所述被试者的认知状况。
在本实施例的一种实现方式中，所述第一认知状况评估子单元包括：
元素数据确定子单元，用于将所述目标特征数据中的每一元素数据分别作为目标元素数据，其中，不同目标元素数据对应不同的元素特征类型且每一目标元素数据对应至少一个认知维度；
参考指标确定子单元，用于从预先构建的认知数据库所存储的各个样本特征数据中，分别提取每一元素特征类型下的各个元素数据，并将同一元素特征类型下的各个元素数据进行处理，得到分别对应于每一元素特征类型的参考指标；
认知状况确定子单元，用于根据所述目标元素数据对应的元素特征类型的参考指标，确定所述被试者在所述目标元素数据对应的认知维度上的认知状况。
在本实施例的一种实现方式中，所述参考指标确定子单元包括：
元素数据处理子单元，用于将同一元素特征类型下的各个元素数据进行平均计算和标准差计算，得到一个平均值和一个标准差值；
参考指标生成子单元，用于根据每一元素特征类型对应的平均值和标准差值，生成对应于每一元素特征类型的参考指标。
进一步地，本申请实施例还提供了一种认知评估装置，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述认知评估方法的任一种实现方法。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述认知评估方法的任一种实现方法。
进一步地，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述认知评估方法的任一种实现方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (19)
1.一种认知评估方法，其特征在于，包括：
在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息，所述关联信息包括所述被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情中的至少一种信息；
根据所述关联信息，评估所述被试者的认知状况。
2.根据权利要求1所述的方法，其特征在于，所述根据所述关联信息，评估所述被试者的认知状况，包括：
若所述关联信息中包括所述交谈语音，则生成所述交谈语音的声学特征和/或所述交谈语音的识别文本的文本特征；
若所述关联信息中包括所述手写轨迹，则生成所述手写轨迹的轨迹特征；
若所述关联信息中包括所述肢体动作，则生成所述肢体动作的动作特征；
若所述关联信息中包括所述面部表情，则生成所述面部表情的表情特征；
根据生成的特征数据，评估所述被试者的认知状况。
3.根据权利要求2所述的方法，其特征在于，所述文本特征包括所述识别文本在词汇层面、语用层面、句法层面中的至少一个层面上的特征。
4.根据权利要求2所述的方法，其特征在于，所述轨迹特征包括表征所述被试者在书写过程中的笔迹连贯程度和/或时间花费程度的特征。
5.根据权利要求4所述的方法，其特征在于，表征所述被试者在书写过程中的笔迹连贯程度的特征，包括：
在所述被试者的手写轨迹中，各个完整连续的笔划占总笔划数的比例；其中，所述完整连续的笔划为前后两个独立的笔划在书写过程中形成了一条连贯笔划。
6.根据权利要求4所述的方法，其特征在于，表征所述被试者在书写过程中的时间花费程度的特征，包括以下至少一个特征：
每一笔划所花费的实际书写时间、每一笔划所花费的平均书写时间、各个实际书写时间中的最大值、前后相邻两个笔划之间的间隔书写时间、各个间隔书写时间中的最大值、各个间隔书写时间的平均值。
7.根据权利要求2所述的方法，其特征在于，所述动作特征包括表征所述被试者的肢体灵活程度的特征。
8.根据权利要求2所述的方法，其特征在于，所述表情特征包括表征所述被试者在不同情绪类型下的情绪表现程度和/或情绪切换频率的特征。
9.根据权利要求2至8任一项所述的方法，其特征在于，所述根据生成的特征数据，评估所述被试者的认知状况，包括：
利用预先构建的第一认知判定模型，根据生成的特征数据，评估所述被试者的认知状况。
10.根据权利要求2至8任一项所述的方法，其特征在于，所述根据生成的特征数据，评估所述被试者的认知状况，包括：
将生成的特征数据作为目标特征数据；
利用预先构建的第二认知判定模型，根据所述目标特征数据，评估所述被试者在所述目标特征数据所反映的每一认知维度上的认知状况；
根据每一认知维度对应的评估结果，评估所述被试者的认知状况。
11.根据权利要求10所述的方法，其特征在于，所述根据所述目标特征数据，评估所述被试者在所述目标特征数据所反映的每一认知维度上的认知状况，包括：
将所述目标特征数据中的每一元素数据分别作为目标元素数据，其中，不同目标元素数据对应不同的元素特征类型且每一目标元素数据对应至少一个认知维度；
从预先构建的认知数据库所存储的各个样本特征数据中，分别提取每一元素特征类型下的各个元素数据，并将同一元素特征类型下的各个元素数据进行处理，得到分别对应于每一元素特征类型的参考指标；
根据所述目标元素数据对应的元素特征类型的参考指标，确定所述被试者在所述目标元素数据对应的认知维度上的认知状况。
12.根据权利要求11所述的方法，其特征在于，所述将同一元素特征类型下的各个元素数据进行处理，得到分别对应于每一元素特征类型的参考指标，包括：
将同一元素特征类型下的各个元素数据进行平均计算和标准差计算，得到一个平均值和一个标准差值；
根据每一元素特征类型对应的平均值和标准差值，生成对应于每一元素特征类型的参考指标。
13.一种认知评估装置，其特征在于，包括：
关联信息收集单元，用于在对被试者进行认知评估的过程中，收集与认知障碍相关的关联信息，所述关联信息包括所述被试者在认知评估过程中的交谈语音、手写轨迹、肢体动作、面部表情中的至少一种信息；
认知状况评估单元，用于根据所述关联信息，评估所述被试者的认知状况。
14.根据权利要求13所述的装置，其特征在于，所述认知状况评估单元包括：
第一特征生成子单元，用于若所述关联信息中包括所述交谈语音，则生成所述交谈语音的声学特征和/或所述交谈语音的识别文本的文本特征；
第二特征生成子单元，用于若所述关联信息中包括所述手写轨迹，则生成所述手写轨迹的轨迹特征；
第三特征生成子单元，用于若所述关联信息中包括所述肢体动作，则生成所述肢体动作的动作特征；
第四特征生成子单元，用于若所述关联信息中包括所述面部表情，则生成所述面部表情的表情特征；
认知状况评估子单元，用于根据生成的特征数据，评估所述被试者的认知状况。
15.根据权利要求14所述的装置，其特征在于，所述认知状况评估子单元包括：
目标特征数据确定子单元，用于将生成的特征数据作为目标特征数据；
第一认知状况评估子单元，用于利用预先构建的第二认知判定模型，根据所述目标特征数据，评估所述被试者在所述目标特征数据所反映的每一认知维度上的认知状况；
第二认知状况评估子单元，用于根据每一认知维度对应的评估结果，评估所述被试者的认知状况。
16.根据权利要求15所述的装置，其特征在于，所述第一认知状况评估子单元包括：
元素数据确定子单元，用于将所述目标特征数据中的每一元素数据分别作为目标元素数据，其中，不同目标元素数据对应不同的元素特征类型且每一目标元素数据对应至少一个认知维度；
参考指标确定子单元，用于从预先构建的认知数据库所存储的各个样本特征数据中，分别提取每一元素特征类型下的各个元素数据，并将同一元素特征类型下的各个元素数据进行处理，得到分别对应于每一元素特征类型的参考指标；
认知状况确定子单元，用于根据所述目标元素数据对应的元素特征类型的参考指标，确定所述被试者在所述目标元素数据对应的认知维度上的认知状况。
17.一种认知评估装置，其特征在于，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-12任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-12任一项所述的方法。
19.一种计算机程序产品，其特征在于，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行权利要求1-12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811353995.4A CN109448851A (zh) | 2018-11-14 | 2018-11-14 | 一种认知评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811353995.4A CN109448851A (zh) | 2018-11-14 | 2018-11-14 | 一种认知评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109448851A true CN109448851A (zh) | 2019-03-08 |
Family
ID=65552850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811353995.4A Pending CN109448851A (zh) | 2018-11-14 | 2018-11-14 | 一种认知评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109448851A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993999A (zh) * | 2019-03-28 | 2019-07-09 | 广东小天才科技有限公司 | 一种基于书写进度的智能报读方法及电子设备 |
| CN110495854A (zh) * | 2019-07-30 | 2019-11-26 | 科大讯飞股份有限公司 | 特征提取方法、装置、电子设备及存储介质 |
| CN111012315A (zh) * | 2020-01-02 | 2020-04-17 | 辽宁中晨优智医疗技术有限公司 | 一种基于人认知功能的脑健康诊断设备 |
| CN111081229A (zh) * | 2019-12-23 | 2020-04-28 | 科大讯飞股份有限公司 | 基于语音的评分方法及相关装置 |
| CN111195167A (zh) * | 2020-01-13 | 2020-05-26 | 科大讯飞股份有限公司 | 头型矫正方法、头型矫正装置以及枕头 |
| CN112704500A (zh) * | 2020-12-02 | 2021-04-27 | 中南大学 | 一种精神状态筛查系统、精神状态筛查方法及存储介质 |
| CN114098639A (zh) * | 2021-11-16 | 2022-03-01 | 上海德律风置业有限公司 | 一种基于ai算法的老人认知等级评测方法 |
| CN114224343A (zh) * | 2022-01-13 | 2022-03-25 | 平安科技（深圳）有限公司 | 认知障碍检测方法、装置、设备及存储介质 |
| CN114343577A (zh) * | 2021-12-31 | 2022-04-15 | 科大讯飞股份有限公司 | 认知功能评价方法、终端设备以及计算机可读存储介质 |
| CN114916921A (zh) * | 2022-07-21 | 2022-08-19 | 中国科学院合肥物质科学研究院 | 一种快速言语认知评估方法及装置 |
| CN117414135A (zh) * | 2023-10-20 | 2024-01-19 | 郑州师范学院 | 一种行为心理异常检测方法、系统及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101740024A (zh) * | 2008-11-19 | 2010-06-16 | 中国科学院自动化研究所 | 基于广义流利的口语流利度自动评估方法 |
| CN103561651A (zh) * | 2010-11-24 | 2014-02-05 | 数字制品有限责任公司 | 评估认知功能的系统和方法 |
| CN105069294A (zh) * | 2015-08-07 | 2015-11-18 | 北京环度智慧智能技术研究所有限公司 | 一种用于认知能力值测试的计算和分析方法 |
| CN106355010A (zh) * | 2016-08-30 | 2017-01-25 | 深圳市臻络科技有限公司 | 一种自助认知评估的装置和方法 |
| CN106599558A (zh) * | 2016-12-05 | 2017-04-26 | 武汉智普天创科技有限公司 | 一种基于虚拟现实的认知评估方法及系统 |
| CN108428202A (zh) * | 2017-02-14 | 2018-08-21 | 富成人工智能有限公司 | 一种用于交付和管理学习培训计划的方法和系统 |
| CN108764204A (zh) * | 2018-06-06 | 2018-11-06 | 姜涵予 | 一种评测知觉状态的方法及装置 |
| CN108777171A (zh) * | 2018-06-06 | 2018-11-09 | 姜涵予 | 一种评测感觉状态的方法及装置 |
-
2018
- 2018-11-14 CN CN201811353995.4A patent/CN109448851A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101740024A (zh) * | 2008-11-19 | 2010-06-16 | 中国科学院自动化研究所 | 基于广义流利的口语流利度自动评估方法 |
| CN103561651A (zh) * | 2010-11-24 | 2014-02-05 | 数字制品有限责任公司 | 评估认知功能的系统和方法 |
| CN105069294A (zh) * | 2015-08-07 | 2015-11-18 | 北京环度智慧智能技术研究所有限公司 | 一种用于认知能力值测试的计算和分析方法 |
| CN106355010A (zh) * | 2016-08-30 | 2017-01-25 | 深圳市臻络科技有限公司 | 一种自助认知评估的装置和方法 |
| CN106599558A (zh) * | 2016-12-05 | 2017-04-26 | 武汉智普天创科技有限公司 | 一种基于虚拟现实的认知评估方法及系统 |
| CN108428202A (zh) * | 2017-02-14 | 2018-08-21 | 富成人工智能有限公司 | 一种用于交付和管理学习培训计划的方法和系统 |
| CN108764204A (zh) * | 2018-06-06 | 2018-11-06 | 姜涵予 | 一种评测知觉状态的方法及装置 |
| CN108777171A (zh) * | 2018-06-06 | 2018-11-09 | 姜涵予 | 一种评测感觉状态的方法及装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993999A (zh) * | 2019-03-28 | 2019-07-09 | 广东小天才科技有限公司 | 一种基于书写进度的智能报读方法及电子设备 |
| CN110495854A (zh) * | 2019-07-30 | 2019-11-26 | 科大讯飞股份有限公司 | 特征提取方法、装置、电子设备及存储介质 |
| CN111081229A (zh) * | 2019-12-23 | 2020-04-28 | 科大讯飞股份有限公司 | 基于语音的评分方法及相关装置 |
| CN111081229B (zh) * | 2019-12-23 | 2022-06-07 | 科大讯飞股份有限公司 | 基于语音的评分方法及相关装置 |
| CN111012315A (zh) * | 2020-01-02 | 2020-04-17 | 辽宁中晨优智医疗技术有限公司 | 一种基于人认知功能的脑健康诊断设备 |
| CN111195167A (zh) * | 2020-01-13 | 2020-05-26 | 科大讯飞股份有限公司 | 头型矫正方法、头型矫正装置以及枕头 |
| CN112704500B (zh) * | 2020-12-02 | 2022-04-26 | 中南大学 | 一种精神状态筛查系统、精神状态筛查方法及存储介质 |
| CN112704500A (zh) * | 2020-12-02 | 2021-04-27 | 中南大学 | 一种精神状态筛查系统、精神状态筛查方法及存储介质 |
| CN114098639A (zh) * | 2021-11-16 | 2022-03-01 | 上海德律风置业有限公司 | 一种基于ai算法的老人认知等级评测方法 |
| CN114343577A (zh) * | 2021-12-31 | 2022-04-15 | 科大讯飞股份有限公司 | 认知功能评价方法、终端设备以及计算机可读存储介质 |
| CN114343577B (zh) * | 2021-12-31 | 2024-02-13 | 科大讯飞股份有限公司 | 认知功能评价方法、终端设备以及计算机可读存储介质 |
| CN114224343A (zh) * | 2022-01-13 | 2022-03-25 | 平安科技（深圳）有限公司 | 认知障碍检测方法、装置、设备及存储介质 |
| CN114224343B (zh) * | 2022-01-13 | 2023-10-20 | 平安科技（深圳）有限公司 | 认知障碍检测方法、装置、设备及存储介质 |
| CN114916921A (zh) * | 2022-07-21 | 2022-08-19 | 中国科学院合肥物质科学研究院 | 一种快速言语认知评估方法及装置 |
| CN117414135A (zh) * | 2023-10-20 | 2024-01-19 | 郑州师范学院 | 一种行为心理异常检测方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109448851A (zh) | 一种认知评估方法及装置 | |
| Yang et al. | Integrating deep and shallow models for multi-modal depression analysis—hybrid architectures | |
| CN107766447B (zh) | 一种使用多层注意力网络机制解决视频问答的方法 | |
| CN111709358B (zh) | 基于课堂视频的师生行为分析系统 | |
| CN108648757B (zh) | 一种基于多维度课堂信息的分析方法 | |
| D'Mello et al. | Language and discourse are powerful signals of student emotions during tutoring | |
| CN110992741A (zh) | 一种基于课堂情绪和行为分析的学习辅助方法及系统 | |
| CN113537005B (zh) | 一种基于姿态估计的线上考试学生行为分析方法 | |
| Sethu et al. | The ambiguous world of emotion representation | |
| CN115239527B (zh) | 基于知识库的教学特征融合与建模的教学行为分析系统 | |
| CN111833853A (zh) | 语音处理方法及装置、电子设备、计算机可读存储介质 | |
| CN107456208A (zh) | 多模式交互的言语语言功能障碍评估系统与方法 | |
| CN113197579A (zh) | 一种基于多模态信息融合的智能心理评估方法及系统 | |
| CN112133407A (zh) | 一种基于语音与表情的快速智能情绪测评分析方法 | |
| CN110298597A (zh) | 一种测评方法、装置及存储介质 | |
| Zhang et al. | Multimodal Deception Detection Using Automatically Extracted Acoustic, Visual, and Lexical Features. | |
| Gong et al. | Vocalsound: A dataset for improving human vocal sounds recognition | |
| Al-Alwani | Mood extraction using facial features to improve learning curves of students in e-learning systems | |
| CN114021962A (zh) | 教学评估方法、评估装置及其相关设备和存储介质 | |
| Sidhu et al. | Deep learning based emotion detection in an online class | |
| JP2016085284A (ja) | 人の発言に基づいて学習項目に対する評価レベルを推定するプログラム、装置及び方法 | |
| JP2018004813A (ja) | コミュニケーション能力推定装置、方法およびプログラム | |
| CN108228779A (zh) | 一种基于学习社区对话流的成绩预测方法 | |
| CN111950480A (zh) | 一种基于人工智能的英语发音自检方法和自检系统 | |
| CN109272262B (zh) | 一种自然语言特征的分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |