CN114916921A - 一种快速言语认知评估方法及装置 - Google Patents

Abstract

本发明涉及一种快速言语认知评估方法，包括：收集被试者在构音任务和认知任务下的语音数据；对被试者在认知任务下的语音数据进行语音识别，得到对应的文本数据；根据被试者的语音数据和文本数据，进行声学特征和语义特征的提取；将声学特征和语义特征拼接成特征向量；构建认知评估模型，将特征向量输入到认知评估模型中，得到被试者的认知评估结果。本发明能够降低对认知评估条件的要求，可以在不需要专业人员及量表的情况下，对被试进行认知评估；能够节约时间、降低成本，可以在较短时间内完成认知评估，给出评估结果，并且相对于专业人员进行量表认知评估，成本较低；更客观、可重复性高，避免了由于人工评估主观原因所导致的误差。

Description

一种快速言语认知评估方法及装置

技术领域

本发明涉及神经认知评估技术领域，尤其是一种快速言语认知评估方法及装置。

背景技术

轻度认知障碍被认为是老年痴呆症的第一阶段，也可以认为是老年痴呆的前驱症状之一。因此通过开展早期筛查，在轻度认知障碍阶段尽早发现并进行及时干预与理疗，就能尽量避免或延缓发展为痴呆的进程，从而大大提升患者的生活质量和健康水平。现有的认知障碍检测基于病史和认知量表测试，包括大量的认知评估量表测验，同时可能需要用医学影像学和血液检测的方法排除其他疾病的影响。但是这些量表测验需要由经过培训的专业评估员进行现场评估，并且耗时久、成本较高，因此无法做到在规模庞大的老年人群体中推广使用。而且，现有方法需要待检测者去专门的医院科室才能接受检测，潜在的认知障碍患者在病情早期往往并不知道自己患有这一疾病，等到病情比较严重，甚至已发展为痴呆时才去医院检查，也就错过了早期检测的最好时机。

在相当一部分的认知评估方法中，通常是利用临床中常用的面向认知评估的神经心理学量表对被试者进行认知状况的评估。在具体的认知评估实践中，主试者(医生或专业评估人员)与被试者需要进行一对一的面对面交流，在交流过程中，主试者要根据神经心理学量表的要求（如蒙特利尔认知评估量表MOCA、简易精神状态检查量表MMSE等）对被试进行询问，并根据该量表的评分细节对被试者的回答结果进行评分。最后主试将被试者在量表中每一项的得分进行累加，得到被试者的总分，并将该总分与量表的参考阈值进行比较，从而对被试者的认知状况进行评估。

但是在上述的认知评估过程中，存在一些问题。首先，对于不同的主试者评可能会因为个人的主观因素，造成同一被试者的量表的得分不同，从而有可能导致认知评估的不准确；其次，在传统的认知评估实践中需要严格的环境和专业的人员，因此会导致较高的成本；最后，基于神经心理学认知量表的认知评估需要耗费较长的时间。

目前基于语音数据的分析，已经在神经认知评估领域中广泛应用，比如公开号为CN109448851A的专利将语音数据作为多模态数据的一种，用于进行神经认知评估，但这种方法测试流程不确定且语音测试任务也没有明确的定义；公开号为CN109493968A的专利，记录待检测者在目标时间段的声音数据，用于神经认知评估，但这种方法需要收集较长时间段的语音数据，无法在短时间内给出神经认知评估结果。

发明内容

本发明的首要目的在于提供一种节约时间、降低成本，能够在较短时间内完成认知评估，给出评估结果的快速言语认知评估方法。

为实现上述目的，本发明采用了以下技术方案：一种快速言语认知评估方法，该方法包括下列顺序的步骤：

（1）收集被试者在构音任务和认知任务下的语音数据；

（2）对被试者在认知任务下的语音数据进行语音识别，得到对应的文本数据；

（3）根据被试者的语音数据和文本数据，进行声学特征和语义特征的提取；

（4）将声学特征和语义特征拼接成特征向量；

（5）构建认知评估模型，将特征向量输入到认知评估模型中，得到被试者的认知评估结果。

在步骤（1）中，所述构音任务包括：持续长元音发声任务、DDK任务和S/Z任务；所述认知任务包括：色词任务、言语流畅性任务、图片命名任务、连续减三任务、句子阅读任务、句子复述任务、图片描述任务、短片延迟描述任务和自我介绍任务。

在步骤（3）中，所述声学特征包括频率特征、源特征、谱特征和DDK特征；其中，所述频率特征包括基频、第一共振峰、第二共振峰以及基频标准差；所述源特征包括幅度微扰、频率微扰和谐噪比；所述谱特征包括梅尔谱系数和倒谱峰值距离；所述DDK特征包括辅音发音时长VOT、音节持续时长、音节速率和停顿时长；

所述语义特征包括词汇特征和句法特征；所述词汇特征包括词汇密度、词汇多样性、词汇数量、词汇速率、词句比和功能词比率；所述句法特征包括句子数量和句法复杂度。

在步骤（5）中，所述构建认知评估模型具体包括以下步骤：

（5a）使用支持向量机SVM作为目标模型，对被试者的认知情况进行分类评估；

（5b）收集大量正常人和认知障碍群体在构音任务和认知任务下的语音数据；

（5c）用步骤（5b）收集的语音数据训练目标模型，获取最优参数，得到认知评估模型。

所述持续长元音发声任务是指：要求被试者在保证发音清晰的前提下以最长时间发元音；所述发音清晰是指发音响度稳定、持续；所述DDK任务是指：要求被试者在保证发音清晰的前提下，在给定的时间内，依次发出爆破音与元音组成的多个音节；所述S/Z任务是指：要求被试者在保证发音清晰的前提下以最长时间分别发辅音/s/和/z/；

所述色词任务包括三步：第一步要求被试者阅读多个汉字，第二步要求被试者说出多个圆点的颜色，第三步要求被试者说出多个不同颜色汉字的颜色；

所述言语流畅性任务包含语义流畅性和词汇流畅性，语义流畅性要求被试者在给定时间内说出特定类别物体的名字，词汇流畅性要求被试者在给定时间内说以特定字开头的词语或者短句；所述图片命名任务依次显示多张图片，每张图片显示给定时间，要求被试者在给定时间内说出图片中物体的名称；所述连续减三任务要求被试者从一个数字开始计算每次减3，要求被试者把计算结果读出，而非减到负数；

所述句子阅读任务要求被试者依次阅读多个复杂度不同的句子；

所述句子复述任务是指：被试者将依次听到多个句子，在听到句子后，要求被试者通过模仿所听到句子的节奏和情感来复述所听到的句子；

所述图片描述任务是指，要求被试者在给定时间内对所看到的图片进行描述；所述短片延迟描述任务是指，要求被试者首先观看一部短片，结束后对被试者进行限时注意力分散，接着要求被试者回忆短片的内容，并在给定时间内对短片进行描述；所述自我介绍任务是指要求被试者在给定时间内作自我介绍。

本发明的另一目的在于提供一种快速言语认知评估方法的装置，包括：

语音采集单元，用于在对被试者进行认知评估的过程中，收集被试者在构音任务和认知任务下的语音数据；

文本转录单元，用于将被试者在认知任务下的语音数据转录为文本数据；

第一特征提取单元，用于从语音数据中提取声学特征；

第二特征提取单元，用于从文本数据中提取语义特征；

特征拼接单元，用于将声学特征和语义特征拼接成特征向量；

认知评估单元，用于根据特征向量，评估被试者的认知状况。

所述语音采集单元包括显示器、麦克风及声卡设备。

所述文本转录单元包括：

数据预处理子单元，用于将语音数据进行预处理，包括降噪、归一化、删除无声音段；

语音识别子单元，用于将预处理后的语音数据转录为文本。

由上述技术方案可知，本发明的有益效果为：第一，本发明能够降低对认知评估条件的要求，可以在不需要专业人员及量表的情况下，对被试者进行认知评估；第二，本发明能够节约时间、降低成本，可以在较短时间内完成认知评估，给出评估结果，并且相对于专业人员进行量表认知评估，成本较低；第三，本发明更客观、可重复性高，避免了由于人工评估主观原因所导致的误差。

附图说明

图1为本发明的方法流程图；

图2为本发明的装置结构框图。

具体实施方式

如图1所示，一种快速言语认知评估方法，该方法包括下列顺序的步骤：

（1）收集被试者在构音任务和认知任务下的语音数据；

（2）对被试者在认知任务下的语音数据进行语音识别，得到对应的文本数据；

（3）根据被试者的语音数据和文本数据，进行声学特征和语义特征的提取；

（4）将声学特征和语义特征拼接成特征向量；

（5）构建认知评估模型，将特征向量输入到认知评估模型中，得到被试者的认知评估结果。

在步骤（1）中，所述构音任务包括：持续长元音发声任务、DDK任务和S/Z任务；所述认知任务包括：色词任务、言语流畅性任务、图片命名任务、连续减三任务、句子阅读任务、句子复述任务、图片描述任务、短片延迟描述任务和自我介绍任务。

将采用本发明实现认知评估的任一参与者称为被试者，被试者可以是正常年轻人、认知受损群体、老年人群体。为了能够准确评估被试者的认知水平，首先收集被试者在完成构音任务、认知任务时的语音数据。在一个具有较低环境背景噪音的房间中，背景噪音小于45dB，通过一个放置于距离被试者口腔正前方约10厘米的电容式麦克风录音。所述麦克风连接到专业级声卡设备，转换为音频信号并被传输至一台电脑，同时将音频信号采样至44.1kHz、16bit，并保存为单声道的wav格式。

在步骤（3）中，所述声学特征包括频率特征、源特征、谱特征和DDK特征；其中，所述频率特征包括基频、第一共振峰、第二共振峰以及基频标准差；所述源特征包括幅度微扰、频率微扰和谐噪比；频率微扰量化声门频率的扰动，幅度微扰量化声门幅度的扰动，谐噪比用来测量语音中周期能量和噪音能量的比值。

所述谱特征包括梅尔谱系数和倒谱峰值距离；其中，梅尔谱系数在语音处理领域是十分常用的特征，它采用一组三角带通滤波器将语音频率转换到梅尔刻度，获取了13维的MFCC。倒谱峰值距离被定义为倒谱的谱回归线在倒谱峰值q频率的值减去倒谱峰值。

所述DDK特征包括辅音发音时长VOT、音节持续时长、音节速率和停顿时长；

所述语义特征包括词汇特征和句法特征；所述词汇特征包括词汇密度、词汇多样性、词汇数量、词汇速率、词句比和功能词比率；所述句法特征包括句子数量和句法复杂度。

在步骤（5）中，所述构建认知评估模型具体包括以下步骤：

（5a）使用支持向量机SVM作为目标模型，对被试者的认知情况进行分类评估；

（5b）收集大量正常人和认知障碍群体在构音任务和认知任务下的语音数据；

（5c）用步骤（5b）收集的语音数据训练目标模型，获取最优参数，得到认知评估模型。

所述持续长元音发声任务是指：要求被试者在保证发音清晰的前提下以最长时间发元音/a/；所述发音清晰是指发音响度稳定、持续；所述DDK任务是指：要求被试者在保证发音清晰的前提下尽可能快的在5秒内持续的发连续音节/pa-ta-ka/；所述S/Z任务是指：要求被试者在保证发音清晰的前提下尽自己最大的努力以最长时间分别发辅音/s/和/z/；

所述色词任务包括三步：第一步要求被试者阅读十二个汉字，第二步要求被试者说出十二个圆点的颜色，第三步要求被试者说出十二个不同颜色汉字的颜色；所述十二个汉字由红、黄、蓝、绿四个汉字随机排列产生；所述十二个圆点的颜色由红黄蓝绿四种颜色的圆点随机排列而成；所述不同颜色的汉字是由红、黄、蓝、绿四个汉字和红黄蓝绿四种颜色随机组合而成；

所述言语流畅性任务包含语义流畅性和词汇流畅性，语义流畅性要求被试者在30秒内说出能想到的动物的名字，词汇流畅性要求被试者在30秒内说以“水”字开头的词语或者短句；所述图片命名任务依次显示30张图片，每张图片显示8秒，要求被试者在8秒内说出图片中物体的名称；所述连续减三任务要求被试者从100开始计算每次减3，要求被试者把计算结果读出，而非减到负数；

所述句子阅读任务要求被试者依次阅读六个句子，六个句子分别是：1、“水开了”；2、“橘子是酸的”；3、“吃葡萄不吐葡萄皮”；4、“老人拄着拐杖独自过人行横道”；5、“当他回到家的时候，发现屋子里坐满了朋友”；6、“枯藤老树昏鸦，小桥流水人家，古道西风瘦马，夕阳西下，断肠人在天涯”；

所述句子复述任务是指：被试者将依次听到三个句子：1、“遥知不是雪，为有暗香来”；2、“俱往矣，数风流人物，还看今朝！”；3、“看！他冲过了终点！哦，我们赢了！”，在听到句子后，要求被试者模仿所听到句子的节奏和情感复述所听到的句子；

所述图片描述任务是指，要求被试者在1分钟内对所看到的图片进行描述；所述短片延迟描述任务是指，要求被试者首先观看一部2分钟的短片，结束后对被试者进行1分钟的注意力分散，要求被试者回忆短片的内容，并在1分钟内对短片进行描述；所述自我介绍任务是指要求被试者在1分钟内对自己作自我介绍。

如图2所示，本装置包括：

语音采集单元，用于在对被试者进行认知评估的过程中，收集被试者在构音任务和认知任务下的语音数据；

文本转录单元，用于将被试者在认知任务下的语音数据转录为文本数据；

第一特征提取单元，用于从语音数据中提取声学特征；

第二特征提取单元，用于从文本数据中提取语义特征；

特征拼接单元，用于将声学特征和语义特征拼接成特征向量；

认知评估单元，用于根据特征向量，评估被试者的认知状况。

所述语音采集单元包括显示器、麦克风及声卡设备。

所述文本转录单元包括：

数据预处理子单元，用于将语音数据进行预处理，包括降噪、归一化、删除无声音段；

语音识别子单元，用于将预处理后的语音数据转录为文本。文本转录的脚本由python进行编写实现。将预处理后的音频数据，经过python脚本处理得到对应的文本数据。

综上所述，本发明能够客观、自动化地对被试者的认知水平进行评估，并且相对于传统认知评估方式，本发明的成本较低。在对被试者进行评估的过程中，只需要收集其在完成语音任务的语音数据即可。特定任务的发音数据包含了被试丰富的认知信息，基于此数据进一步加工获取能够反映被试者不同认知维度的特征，从而能够准确地评估被试的认知水平。

Claims (8)

1.一种快速言语认知评估方法，其特征在于：该方法包括下列顺序的步骤：

（1）收集被试者在构音任务和认知任务下的语音数据；

（2）对被试者在认知任务下的语音数据进行语音识别，得到对应的文本数据；

（3）根据被试者的语音数据和文本数据，进行声学特征和语义特征的提取；

（4）将声学特征和语义特征拼接成特征向量；

（5）构建认知评估模型，将特征向量输入到认知评估模型中，得到被试者的认知评估结果。

2.根据权利要求1所述的快速言语认知评估方法，其特征在于：在步骤（1）中，所述构音任务包括：持续长元音发声任务、DDK任务和S/Z任务；所述认知任务包括：色词任务、言语流畅性任务、图片命名任务、连续减三任务、句子阅读任务、句子复述任务、图片描述任务、短片延迟描述任务和自我介绍任务。

3.根据权利要求1所述的快速言语认知评估方法，其特征在于：在步骤（3）中，所述声学特征包括频率特征、源特征、谱特征和DDK特征；其中，所述频率特征包括基频、第一共振峰、第二共振峰以及基频标准差；所述源特征包括幅度微扰、频率微扰和谐噪比；所述谱特征包括梅尔谱系数和倒谱峰值距离；所述DDK特征包括辅音发音时长VOT、音节持续时长、音节速率和停顿时长；

所述语义特征包括词汇特征和句法特征；所述词汇特征包括词汇密度、词汇多样性、词汇数量、词汇速率、词句比和功能词比率；所述句法特征包括句子数量和句法复杂度。

4.根据权利要求1所述的快速言语认知评估方法，其特征在于：在步骤（5）中，所述构建认知评估模型具体包括以下步骤：

（5a）使用支持向量机SVM作为目标模型，对被试者的认知情况进行分类评估；

（5b）收集大量正常人和认知障碍群体在构音任务和认知任务下的语音数据；

（5c）用步骤（5b）收集的语音数据训练目标模型，获取最优参数，得到认知评估模型。

5.根据权利要求2所述的快速言语认知评估方法，其特征在于：所述持续长元音发声任务是指：要求被试者在保证发音清晰的前提下以最长时间发元音；所述发音清晰是指发音响度稳定、持续；所述DDK任务是指：要求被试者在保证发音清晰的前提下，在给定的时间内，依次发出爆破音与元音组成的多个音节；所述S/Z任务是指：要求被试者在保证发音清晰的前提下以最长时间分别发辅音/s/和/z/；

所述色词任务包括三步：第一步要求被试者阅读多个汉字，第二步要求被试者说出多个圆点的颜色，第三步要求被试者说出多个不同颜色汉字的颜色；

所述言语流畅性任务包含语义流畅性和词汇流畅性，语义流畅性要求被试者在给定时间内说出特定类别物体的名字，词汇流畅性要求被试者在给定时间内说以特定字开头的词语或者短句；所述图片命名任务依次显示多张图片，每张图片显示给定时间，要求被试者在给定时间内说出图片中物体的名称；所述连续减三任务要求被试者从一个数字开始计算每次减3，要求被试者把计算结果读出，而非减到负数；

所述句子阅读任务要求被试者依次阅读多个复杂度不同的句子；

所述句子复述任务是指：被试者将依次听到多个句子，在听到句子后，要求被试者通过模仿所听到句子的节奏和情感来复述所听到的句子；

所述图片描述任务是指，要求被试者在给定时间内对所看到的图片进行描述；所述短片延迟描述任务是指，要求被试者首先观看一部短片，结束后对被试者进行限时注意力分散，接着要求被试者回忆短片的内容，并在给定时间内对短片进行描述；所述自我介绍任务是指要求被试者在给定时间内作自我介绍。

6.实施权利要求1至5中任一项所述的快速言语认知评估方法的装置，其特征在于：包括：

语音采集单元，用于在对被试者进行认知评估的过程中，收集被试者在构音任务和认知任务下的语音数据；

文本转录单元，用于将被试者在认知任务下的语音数据转录为文本数据；

第一特征提取单元，用于从语音数据中提取声学特征；

第二特征提取单元，用于从文本数据中提取语义特征；

特征拼接单元，用于将声学特征和语义特征拼接成特征向量；

认知评估单元，用于根据特征向量，评估被试者的认知状况。

7.根据权利要求6所述的装置，其特征在于：所述语音采集单元包括显示器、麦克风及声卡设备。

8.根据权利要求6所述的装置，其特征在于：所述文本转录单元包括：

数据预处理子单元，用于将语音数据进行预处理，包括降噪、归一化、删除无声音段；

语音识别子单元，用于将预处理后的语音数据转录为文本。

Images