CN112991335A - 一种想像能力评估方法、系统及可读存储介质 - Google Patents
一种想像能力评估方法、系统及可读存储介质 Download PDFInfo
- Publication number
- CN112991335A CN112991335A CN202110443689.5A CN202110443689A CN112991335A CN 112991335 A CN112991335 A CN 112991335A CN 202110443689 A CN202110443689 A CN 202110443689A CN 112991335 A CN112991335 A CN 112991335A
- Authority
- CN
- China
- Prior art keywords
- brain
- imagination
- image data
- brain image
- testee
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 26
- 210000004556 brain Anatomy 0.000 claims abstract description 134
- 230000003925 brain function Effects 0.000 claims abstract description 27
- 230000036992 cognitive tasks Effects 0.000 claims abstract description 19
- 238000012706 support-vector machine Methods 0.000 claims abstract description 19
- 230000001149 cognitive effect Effects 0.000 claims abstract description 16
- 238000012163 sequencing technique Methods 0.000 claims abstract description 11
- 230000000284 resting effect Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 27
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000010187 selection method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 241000282414 Homo sapiens Species 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000001936 parietal effect Effects 0.000 description 2
- 210000002442 prefrontal cortex Anatomy 0.000 description 2
- 230000011273 social behavior Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012942 design verification Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000004326 gyrus cinguli Anatomy 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000008449 language Effects 0.000 description 1
- 230000005415 magnetization Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Abstract
本发明公开了一种想像能力评估方法、系统及可读存储介质，属于数据处理分析技术领域，包括获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。本发明实现了对认知灵活性及想像能力客观的、科学的评估。
Description
技术领域
本发明涉及数据处理分析技术领域，特别涉及一种想像能力评估方法、系统及可读存储介质。
背景技术
当前的认知灵活性与想象能力评估方法与装置主要以传统心理学量表评估为，人类的认知过程遵循着利用从当前环境和过去记忆中收集的信息来产生对未来的预测的规律。研究表明，人脑中跨DMN的区域表现出这样的影响，包括前叶/背外侧和背外侧前额叶皮层、侧颞和顶叶皮层、前耳、后扣带和海马。传统的心理测量范式主要有AUT任务(AlternateUses Task)、WCST(威斯康星卡片分类测试)、IGT决策任务等。
对想象能力的测试主要依靠“大五”人格特征或五因素人格模型中的“开放性”特征得分进行评估，主要包括以下几种方式：
(a)基于生理信号的人格评估方法，如基于皮肤电阻进行人格评估，基于脑电生理信号进行人格评估，或者在人格的测量中将参与者的能力作为整体评估内容的一部分进行测量。
(b)基于社交行为与使用物品行为等行为特征的人格评估方法。如根据编程过程中使用编程帮助按键、出现同类错误、粘贴次数等数据，采用朴素贝叶斯模型与K邻近模型进行人格预测的方法，基于社交网络点赞内容与内容主题分析等自然语言处理技术的人格预测方法，基于手机用户的手机使用行为的人格测评方法，基于眼动特征的人格预测方法等。
(c)基于多模态数据融合的人格预测方法。如将语音数据、文本数据、视频数据进行特征提取与融合，进行人格预测的方法。
上述现有技术存在以下缺陷：
(1)基于传统心理学进行能力评估的方法，由于数据来自于被试的主观回答或被试的任务完成情况，故所得结果缺乏客观性、真实性、准确性，也可能因为评分标准的跨文化性、主试的专业程度差等因素导致所得测量结果有失偏颇，种种原因也导致了所得的数据结论信效度差且测量方式难以推广。
(2)在人格测量方面，已有方法均未专门针对认知灵活性与想象能力这一特定能力进行专门化评估：基于用户信息与社交行为的人格测评方法如若未经过科学理论指导与规范实验设计验证相关技术路径，则缺乏可解释性和科学依据；基于多模态融合数据的人格测评在模态融合的算法方面，仍然需要技术提升以使所得融合结果更为准确，此过程中也面临缺乏实验检验的问题。
发明内容
本发明的目的在于克服现有技术存在的缺陷，实现对认知灵活性和想像能力的客观、科学的测评。
为实现以上目的，本发明采用一种想像能力评估方法，包括：
获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；
将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；
基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；
将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。
进一步地，所述基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序，包括：
利用db-5小波滤波器将所述被试者的第二脑影像成像的时间序列分解为多个频带，对于每个频带对应的脑影像，计算所述大脑功能连接区域中各区域对之间的皮尔逊相关性，并对皮尔逊相关性超过相关性阈值的区域打上标签；
使用路径查找算法Dijkstra或中心度算法PageRank，利用邻接矩阵对打上标签的区域计算得到大脑连接性网络特征；
使用mRMR特征选择方法，基于特征与标签之间的信息统计依赖性对大脑连接性网络特征进行排序，得到排序后的大脑连接性网络特征序列。
进一步地，所述利用db-5小波滤波器将所述被试者的磁共振成像时间序列分解为5个频带，分别为范围在0.015～0.03Hz内的频带B1、范围在0.03～0.06Hz的频带B2、范围在0.06～0.11Hz的频带B3、范围在0.11～0.22Hz的频带B4和范围在0.22～0.44Hz的频带B5。
进一步地，还包括：
获取所述被试者的人口学基本信息作为预测因子；
使用随机森林算法对预测因子进行回归分类，得到与所述被试者的认知灵活性和想像能力的相关性显著的因素。
进一步地，在所述获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据时，还包括：
在所述被试者在执行想像认知任务时，记录所述被试者的描述音频作为音频文件，并获取执行想像认知任务时的脑影像数据作为第二脑影像数据。
进一步地，还包括：
将所述语音文件表示为一系列对数光谱图，并将对数光谱图作为神经网络模型的输入，得到所述被试者的灵活性与想像能力的分类结果。
进一步地，还包括：
采集设定数量的参与者的所述第一脑影像数据和第二脑影像数据；
将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域，基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；
将每个参与者的大脑连接性网络特征序列作为所述支持矢量机分类器的输入、每个参与者的想像力分类结果作为输出，对所述支持矢量机分类器进行训练。
进一步地，还包括：
采集设定数量的参与者在执行想像认知任务时的描述音频作为音频文件；
将每个参与者的音频文件表示为对数光谱图，并将对数光谱图作为神经网络模型的输入、将每个参与者的想象力分类结果作为输出，对所述神经网络模型进行训练。
第二方面，采用一种想象能力评估系统，包括：数据获取模块、提取模块、特征排序模块和分类模块，其中：
数据获取模块用于获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；
提取模块用于将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；
特征排序模块用于基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；
分类模块用于将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。
第三方面，采用一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如上所述的想像能力评估方法。
与现有技术相比，本发明存在以下技术效果：本发明在认知神经科学指导下涉及并建立规范的实验流程，利用实验所得数据作为依据设计想像能力评估方法，实现了对认知灵活性及想像能力客观的、科学的评估。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种想像能力评估方法的流程图；
图2是数据采集流程图；
图3是神经网络模型的结构图；
图4是一种想像能力评估系统的结构图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种想像能力评估方法，包括如下步骤S1至S4：
S1、获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；
第一脑影像数据的获取过程为：被试者在静态仰卧状态听从指导语(比如“清空思维”，但不仅限于此)一定时长(比如5分钟)，被试者在静息状态下，采用3.0T的功能磁共振成像设备进行脑影像扫描，记录被试者的默认网络活动状态脑影像数据作为第一脑影像数据。
第二脑影像数据的获取过程为：在5分钟后，按照标准规范，被试者观看图片并自由想象与图片有关的内容，并在想象过程中记录被试者的脑影像数据作为第二脑影像数据，即作为第一脑影像数据的对照样本。
S2、将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；
需要说明的是，本实施例中使用计算机，对第一脑影像数据和第二脑影响数据特征进行对比研究，可以理解为对被试者静息状态下的BOLD(血氧依赖水平)特征和启动想像认知任务时的BOLD(血氧依赖水平)进行对比研究。以确认磁共振成像支持了健康被试者与认知灵活性或想象力受损被试者的认知功能半球侧化。用横向化指数来量化了半球横向化的程度，使用SPM8 LI-toolbox中的已有公式(LI)如下：
其中，AL和AR分别指左(L)和右(R)半球内相等ROI的fMRI活动度。
需要说明的时，已确认可以提取到的存在差异的脑功能连接区域包括但不限于：后扣带回皮质(PCC)、楔前叶(Precuneus)、内侧前额叶皮质(MPFC)、顶下小叶(IPL)及双侧颞叶皮质(BTC)。
S3、基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；
S4、将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。
作为进一步优选的技术方案，本实施例中脑影像数据是通过3.0T磁共振成像扫描仪获得，实际使用时丢弃扫描仪每次运行的前四张图像，以使纵向磁化强度达到平衡。
并对最终扫描的脑影像图像进行预处理，预处理操作包括切片时间校正，运动和失真校正、空间平滑，排除标准外的图像。
作为进一步优选的技术方案，上述步骤S3：基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序，具体包括如下细分步骤S31至S33：
S31、利用db-5小波滤波器将所述被试者的第二脑影像成像的时间序列分解为多个频带，对于每个频带对应的脑影像，计算所述大脑功能连接区域中各区域对之间的皮尔逊相关性，并对皮尔逊相关性超过相关性阈值的区域打上标签；
具体地，相关性阈值范围为0.4～1.0之间，可以理解为相关性在0.4-0.6范围内为中等程度相关，相关性在0.6-0.8范围内为强相关，相关性在0.8-1.0范围内为极强相关；在实际操作中，本领域技术人员可根据实际情况，具体是设置相关性阈值。
需要说明的是，利用db-5小波滤波器将从每个受试者中提取的时间序列分解为5个频带，频带为B1(0.015～0.03Hz)、B2(0.03～0.06Hz)、B3(0.06～0.11Hz)、B4(0.11～0.22Hz)和B5(0.22～0.44Hz)。对于每个频带(其中∈{B1、B2、B3、B4、B5})的图像，计算区域对之间的皮尔逊相关性(Pik、j)：
其中，X＝Pik，Y＝j，X,Y是每对取值，δ是标准差，μ是平均数，E为数学期望或均值。
S32、使用路径查找算法Dijkstra或中心度算法PageRank，利用邻接矩阵对打上标签的区域计算得到大脑连接性网络特征；
S33、使用mRMR特征选择方法，基于特征与标签之间的信息统计依赖性对大脑连接性网络特征进行排序，得到排序后的大脑连接性网络特征序列。
需要说明的是，通过特征排序来去除不相关的冗余特征(噪声)来降低学习的难度，去除噪声的干扰，留下关键因素，提高预测精度，选择网络特征。
作为进一步优选的技术方案，本实施例还需对支持矢量机分类器进行预先训练，如图2所示，过程如下：
招募符合实验标准的参与者共200人，其中男性100人，女性100人；初中学历男女各25人，高中学历各25人，本科学历各25人，本科以上学历各25人；
要求参与者在静态仰卧状态听从指导语“清空思维”5分钟，在参与者静息状态下，采用3.0T的功能磁共振成像设备进行脑影像扫描，记录参与者的默认网络活动状态脑影像数据作为第一脑影像数据；
在5分钟后，分别按照标准规范，观看图片并自由想象与图片有关的内容并对着录音装置进行叙述，在此过程中记录参与者所描述的音频得到音频文件，并在想象过程中记录参与者的脑影像数据作为第二脑影像数据；
将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域，基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；
将每个参与者的大脑连接性网络特征序列作为所述支持矢量机分类器的输入、每个参与者的想像力分类结果作为输出，对所述支持矢量机分类器进行训练。
作为进一步优选的技术方案，在上述步骤S4：将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果中，通过使用支持矢量机分类器(Support Vector Machine，SVM)在数据集找到灵活性与想象能力不同类别之间的最佳分离超平面，分离超平面是SVM直接给出的结果的一种表达方式，是一个二维几何空间中的分类，SVM会在数据集合中找出不同类别的分离界限并且分离出来，即得到被试者的认知灵活性与想象能力的分类结果，将被试者分为能力强与能力弱两类。
作为进一步优选的技术方案，还包括：
获取所述被试者的人口学基本信息作为预测因子；
使用随机森林算法对预测因子进行回归分类，得到与所述被试者的认知灵活性和想像能力的相关性显著的因素，该结果可提供给心理咨询师或参与者本人，为治疗参与者认知灵活性或想象力缺陷的问题提供参考。
具体为：在人口学基本信息中，分别定义被试者社会人口学基本调查中，如年龄A，性别S，学历E等作为预测因子。使用SPSS 23.0版本对预测因子进行数据的预处理后，使用随机森林算法(Random Forest，RF)对预测因子进行回归分类。
在实际使用时，输入被试者的社会人口学信息，即可直接给出各预测因子的排名，目的在于分析被试者的社会人口学信息，存在哪些预测因子和被试者的认知能力及想象力的相关性最为显著。
作为进一步优选的技术方案，本实施例还包括：
采集设定数量的参与者在执行想像认知任务时的描述音频作为音频文件；
将每个参与者的音频文件表示为对数光谱图，并将对数光谱图作为神经网络模型的输入、将每个参与者的想象力分类结果作为输出，对所述神经网络模型进行训练。
作为进一步优选的技术方案，本实施例还将所述语音文件表示为一系列对数光谱图，并将对数光谱图作为训练好的神经网络模型的输入，得到所述被试者的灵活性与想像能力的分类结果。
作为进一步优选的技术方案，本实施例不仅获得音频与图像资料分析的各自结果，也可将根据脑影像数据评估的被试者的认知灵活性与想象能力的分类结果与根据语音文件评估得到的被试者的认知灵活性与想象能力的分类结果使用并集的方式展示，以进一步增加准确性。
具体地来说，将音频文件表示为一系列对数光谱图，并随机采样，以平衡正负样本。由于录音的数量和不同的长度，将音频文件切成较短的片段，称为样本，在每个参与者中得到尽可能多的样本，样本S＝4s(4s是裁剪文件的最佳长度)。以确保分类算法的所有输入都有相同的大小，而且可生成大量的样本来训练模型，因此这些模型将直观地、更有代表性和准确。
从COVAREP(v1.3.2)中提取的开源MATLAB和一些工具箱：基频、性能、能量、归一化振幅商、24兆频上端系数(MFCC)等制作语音特征。将对数光谱图作为输入特征，每个对数谱图表示为尺寸为F0×T0的矩阵。
本实施例中的神经网络模型采用基于卷积神经网络(Convolutional NeuralNetworks，CNNs)，具体为2016年视听情感挑战(AVEC-2016)的抑郁分类子挑战(DCC)中提供的实验方案，如图3所示：
其中，F0和T0是对数光谱图的大小，N是1d-CNN层中滤波器的数量，k是最大池核的大小，s是步幅，p是填充(在所有实验中等于s)，n3和n4分别是第三层和第四层的神经元的数量。1d-CNN结构的参数配置如下：输入尺寸为F0×T0＝513×125，第1层的滤波器数为具有F1×1大小的N＝128，第2层的内核大小、步幅和填充分别为k＝5、＝4和p＝4，第4层的神经元数为n4＝128。
需要说明的是，本实施例中使用编程语言Python3.6；利用LibROSA工具对对数光谱图进行计算；在Keras中对神经网络模型进行编程。
如图4所示，本实施例公开了一种想像能力评估系统，包括：数据获取模块10、提取模块20、特征排序模块30和分类模块40，其中：
数据获取模块10用于获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；
提取模块20用于将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；
特征排序模块30用于基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；
分类模块40用于将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。
作为进一步优选的技术方案，特征排序模块30包括相关性计算单元、网络特征计算单元以及特征排序单元，其中：
相关性计算单元用于利用db-5小波滤波器将所述被试者的磁共振成像时间序列分解为多个频带，对于每个频带对应的脑影像，计算所述大脑功能连接区域中各区域对之间的皮尔逊相关性，并对皮尔逊相关性超过相关性阈值的区域打上标签；
网络特征计算单元用于使用路径查找算法Dijkstra或中心度算法PageRank，利用邻接矩阵对打上标签的区域计算得到大脑连接性网络特征；
特征排序单元用于使用mRMR特征选择方法，基于特征与标签之间的信息统计依赖性对大脑连接性网络特征进行排序，得到排序后的大脑连接性网络特征序列。
作为进一步优选的技术方案，数据获取模块10还用于在所述被试者在执行想像认知任务时，获取所述被试者的描述音频作为音频文件。
该系统还包括基于音频的想像能力预测模块，将所述语音文件表示为一系列对数光谱图，并将对数光谱图作为基于音频的想像能力预测模块的输入，得到所述被试者的灵活性与想像能力的分类结果。
作为进一步优选的技术方案，本实施例将基于音频的想像能力预测模块与支持矢量机分类器置入一个储存装置中，储存装置可通过USB接口与通用主机进行连接，使得该系统可通过接口调用，与不同设备连接，增加装置的可推广性。
需要说明的是，该系统可以通过获取被试者音频数据获得认知灵活性与想象能力的评估结果，也可通过启动想像认知任务前后磁共振成像的图像信息获得认知灵活性与想象能力的评估结果，或二者相结合。
作为进一步优选的技术方案，本实施例使用200个参与者中的50份数据，即25％样本量的社会人口学信息、音频、脑影像数据作为测试集，在分析主机上进行实际效果验证，使得得到验证准确率达到95％以上。
本实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如上所述的想像能力评估方法。
本实施例封装上述系统进入储存介质并预设置调用接口，使得该装置能够在通用计算机端插入主机调用相关计算程序，即可预测被试的想象能力。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种想像能力评估方法，其特征在于，包括：
获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；
将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；
基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；
将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。
2.如权利要求1所述的想像能力评估方法，其特征在于，所述基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序，包括：
利用db-5小波滤波器将所述被试者的第二脑影像成像的时间序列分解为多个频带，对于每个频带对应的脑影像，计算所述大脑功能连接区域中各区域对之间的皮尔逊相关性，并对皮尔逊相关性超过相关性阈值的区域打上标签；
使用路径查找算法Dijkstra或中心度算法PageRank，利用邻接矩阵对打上标签的区域计算得到大脑连接性网络特征；
使用mRMR特征选择方法，基于特征与标签之间的信息统计依赖性对大脑连接性网络特征进行排序，得到排序后的大脑连接性网络特征序列。
3.如权利要求2所述的想像能力评估方法，其特征在于，所述利用db-5小波滤波器将所述被试者的磁共振成像时间序列分解为5个频带，分别为范围在0.015～0.03Hz内的频带B1、范围在0.03～0.06Hz的频带B2、范围在0.06～0.11Hz的频带B3、范围在0.11～0.22Hz的频带B4和范围在0.22～0.44Hz的频带B5。
4.如权利要求1所述的想像能力评估方法，其特征在于，还包括：
获取所述被试者的人口学基本信息作为预测因子；
使用随机森林算法对预测因子进行回归分类，得到与所述被试者的认知灵活性和想像能力的相关性显著的因素。
5.如权利要求1所述的想像能力评估方法，其特征在于，在所述获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据时，还包括：
在所述被试者在执行想像认知任务时，记录所述被试者的描述音频作为音频文件，并获取执行想像认知任务时的脑影像数据作为第二脑影像数据。
6.如权利要求5所述的想像能力评估方法，其特征在于，还包括：
将所述语音文件表示为一系列对数光谱图，并将对数光谱图作为神经网络模型的输入，得到所述被试者的灵活性与想像能力的分类结果。
7.如权利要求1所述的想像能力评估方法，其特征在于，还包括：
采集设定数量的参与者的所述第一脑影像数据和第二脑影像数据；
将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域，基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；
将每个参与者的大脑连接性网络特征序列作为所述支持矢量机分类器的输入、每个参与者的想像力分类结果作为输出，对所述支持矢量机分类器进行训练。
8.如权利要求6所述的想像能力评估方法，其特征在于，还包括：
采集设定数量的参与者在执行想像认知任务时的描述音频作为音频文件；
将每个参与者的音频文件表示为对数光谱图，并将对数光谱图作为神经网络模型的输入、将每个参与者的想象力分类结果作为输出，对所述神经网络模型进行训练。
9.一种想象能力评估系统，其特征在于，包括：数据获取模块、提取模块、特征排序模块和分类模块，其中：
数据获取模块用于获取被试者静息状态下的脑影像数据作为第一脑影像数据，以及获取被试者在执行想像认知任务时的脑影像数据作为第二脑影像数据；
提取模块用于将第一脑影像数据和第二脑影像数据进行特征比对，提取有差异的脑功能连接区域；
特征排序模块用于基于有差异的脑功能连接区域，计算大脑连接性网络特征，并对大脑连接性网络特征进行排序；
分类模块用于将排序后的大脑连接性网络特征作为支持矢量机分类器的输入，得到被试者灵活性与想像能力的分类结果。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行可实现如权利要求1-8中任意一项所述的想像能力评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443689.5A CN112991335B (zh) | 2021-04-23 | 2021-04-23 | 一种想像能力评估方法、系统及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110443689.5A CN112991335B (zh) | 2021-04-23 | 2021-04-23 | 一种想像能力评估方法、系统及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991335A true CN112991335A (zh) | 2021-06-18 |
| CN112991335B CN112991335B (zh) | 2024-04-26 |
Family
ID=76339991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110443689.5A Active CN112991335B (zh) | 2021-04-23 | 2021-04-23 | 一种想像能力评估方法、系统及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991335B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469274A (zh) * | 2021-07-20 | 2021-10-01 | 科大讯飞股份有限公司 | 一种阅读能力的测评方法、装置以及设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110301431A1 (en) * | 2010-06-05 | 2011-12-08 | The Board Of Trustees Of The Leland Stanford Junior University | Methods of classifying cognitive states and traits and applications thereof |
| CN102293656A (zh) * | 2011-05-25 | 2011-12-28 | 四川大学华西医院 | 基于磁共振成像的情绪稳定性评价系统及其评价方法 |
| CN104635934A (zh) * | 2015-02-28 | 2015-05-20 | 东南大学 | 基于逻辑思维和形象思维的脑机接口方法 |
| CN107909117A (zh) * | 2017-09-26 | 2018-04-13 | 电子科技大学 | 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置 |
| CN109948740A (zh) * | 2019-04-26 | 2019-06-28 | 中南大学湘雅医院 | 一种基于静息态脑影像的分类方法 |
| CN110477909A (zh) * | 2019-07-31 | 2019-11-22 | 同济大学 | 一种基于静息态脑电数据的性别分类方法 |
| CN110718301A (zh) * | 2019-09-26 | 2020-01-21 | 东北大学 | 基于动态脑功能网络的阿尔茨海默病辅助诊断装置及方法 |
| CN110752033A (zh) * | 2019-08-30 | 2020-02-04 | 康美健康云服务有限公司 | 一种认知评估的信息化方法、系统及可读存储介质 |
| CN110827271A (zh) * | 2019-11-13 | 2020-02-21 | 上海交通大学 | 基于功能影像数据构建个体辨识力提高的脑功能网络方法 |
| CN110833414A (zh) * | 2019-11-28 | 2020-02-25 | 广州中医药大学第一附属医院 | 一种鼻咽癌放疗后放射性脑损伤生物标志物的多模态分子成像策略 |
| WO2020053849A1 (en) * | 2018-09-13 | 2020-03-19 | Quantalx Neuroscience Ltd | A reliable tool for evaluating brain health |
| CN111447874A (zh) * | 2017-10-03 | 2020-07-24 | 株式会社国际电气通信基础技术研究所 | 判别装置、抑郁症状的判别方法、抑郁症状的水平的判断方法、抑郁症患者的分类方法、抑郁症状的治疗效果的判断方法和脑活动训练装置 |
| CN111728590A (zh) * | 2020-06-30 | 2020-10-02 | 中国人民解放军国防科技大学 | 基于动态功能连接的个体认知能力预测方法和系统 |
| CN111754395A (zh) * | 2020-07-01 | 2020-10-09 | 太原理工大学 | 一种脑功能超网络模型的鲁棒性评估方法 |
| CN112396584A (zh) * | 2020-11-19 | 2021-02-23 | 西安科技大学 | 基于特征模态与分层模块的脑功能模式特征提取方法 |
-
2021
- 2021-04-23 CN CN202110443689.5A patent/CN112991335B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110301431A1 (en) * | 2010-06-05 | 2011-12-08 | The Board Of Trustees Of The Leland Stanford Junior University | Methods of classifying cognitive states and traits and applications thereof |
| CN102293656A (zh) * | 2011-05-25 | 2011-12-28 | 四川大学华西医院 | 基于磁共振成像的情绪稳定性评价系统及其评价方法 |
| CN104635934A (zh) * | 2015-02-28 | 2015-05-20 | 东南大学 | 基于逻辑思维和形象思维的脑机接口方法 |
| CN107909117A (zh) * | 2017-09-26 | 2018-04-13 | 电子科技大学 | 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置 |
| CN111447874A (zh) * | 2017-10-03 | 2020-07-24 | 株式会社国际电气通信基础技术研究所 | 判别装置、抑郁症状的判别方法、抑郁症状的水平的判断方法、抑郁症患者的分类方法、抑郁症状的治疗效果的判断方法和脑活动训练装置 |
| WO2020053849A1 (en) * | 2018-09-13 | 2020-03-19 | Quantalx Neuroscience Ltd | A reliable tool for evaluating brain health |
| CN109948740A (zh) * | 2019-04-26 | 2019-06-28 | 中南大学湘雅医院 | 一种基于静息态脑影像的分类方法 |
| CN110477909A (zh) * | 2019-07-31 | 2019-11-22 | 同济大学 | 一种基于静息态脑电数据的性别分类方法 |
| CN110752033A (zh) * | 2019-08-30 | 2020-02-04 | 康美健康云服务有限公司 | 一种认知评估的信息化方法、系统及可读存储介质 |
| CN110718301A (zh) * | 2019-09-26 | 2020-01-21 | 东北大学 | 基于动态脑功能网络的阿尔茨海默病辅助诊断装置及方法 |
| CN110827271A (zh) * | 2019-11-13 | 2020-02-21 | 上海交通大学 | 基于功能影像数据构建个体辨识力提高的脑功能网络方法 |
| CN110833414A (zh) * | 2019-11-28 | 2020-02-25 | 广州中医药大学第一附属医院 | 一种鼻咽癌放疗后放射性脑损伤生物标志物的多模态分子成像策略 |
| CN111728590A (zh) * | 2020-06-30 | 2020-10-02 | 中国人民解放军国防科技大学 | 基于动态功能连接的个体认知能力预测方法和系统 |
| CN111754395A (zh) * | 2020-07-01 | 2020-10-09 | 太原理工大学 | 一种脑功能超网络模型的鲁棒性评估方法 |
| CN112396584A (zh) * | 2020-11-19 | 2021-02-23 | 西安科技大学 | 基于特征模态与分层模块的脑功能模式特征提取方法 |
Non-Patent Citations (4)
| Title |
|---|
| KOSTAS GEORGIADIS 等: "Exploiting the heightened phase synchrony in patients with neuromuscular disease for the establishment of efficient motor imagery BCIs", 《JOURNAL OF NEUROENGINEERING AND REHABILITATION》 * |
| MING LI 等: "Identification of Triple-Negative Breast Cancer Genes and a Novel High-Risk Breast Cancer Prediction Model Development Based on PPI Data and Support Vector Machines", 《FRONTIERS IN GENETICS》, vol. 10 * |
| 柳素红 等: "基于位置信息重建和时频域信息融合的脑电信号情感识别", 《计算机工程》 * |
| 钟毅欣 等: "基于静息态功能磁共振成像的肝性脑病患者脑功能网络连接", 《中国医学影像技术》, vol. 32, no. 3 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469274A (zh) * | 2021-07-20 | 2021-10-01 | 科大讯飞股份有限公司 | 一种阅读能力的测评方法、装置以及设备 |
| CN113469274B (zh) * | 2021-07-20 | 2024-04-16 | 科大讯飞股份有限公司 | 一种阅读能力的测评方法、装置以及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991335B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101969540B1 (ko) | 인지 기능 재활 훈련 방법 및 장치 | |
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| Pham et al. | Classification of short time series in early Parkinsonʼ s disease with deep learning of fuzzy recurrence plots | |
| Yalamanchili et al. | Real-time acoustic based depression detection using machine learning techniques | |
| NZ717804A (en) | Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy | |
| CN114787883A (zh) | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 | |
| Senn et al. | Ensembles of bert for depression classification | |
| Soni et al. | Graphical representation learning-based approach for automatic classification of electroencephalogram signals in depression | |
| Bilalpur et al. | EEG-based evaluation of cognitive workload induced by acoustic parameters for data sonification | |
| Toto et al. | Audio-based depression screening using sliding window sub-clip pooling | |
| CN115862868A (zh) | 心理测评系统、平台、电子设备及存储介质 | |
| Lu et al. | Speech depression recognition based on attentional residual network | |
| CN112991335A (zh) | 一种想像能力评估方法、系统及可读存储介质 | |
| Gonçales et al. | An empirical evaluation of machine learning techniques to classify code comprehension based on EEG data | |
| Molla et al. | A predictive analysis framework of heart disease using machine learning approaches | |
| Amini et al. | Word associations contribute to machine learning in automatic scoring of degree of emotional tones in dream reports | |
| CN115607156B (zh) | 基于多模态的心理认知筛查测评方法、系统及存储介质 | |
| Flores et al. | Depression screening using deep learning on follow-up questions in clinical interviews | |
| CN116484290A (zh) | 一种基于Stacking集成的抑郁症识别模型构建方法 | |
| Nakagawa et al. | A telecare system that estimates quality of life through communication | |
| Mijić et al. | Classification of cognitive load using voice features: A preliminary investigation | |
| Gamage et al. | Academic depression detection using behavioral aspects for Sri Lankan university students | |
| Zhang et al. | Multimodal Fast–Slow Neural Network for learning engagement evaluation | |
| Satyanarayana | An Approach for finding emotions using Seed Dataset with KNN Classifier | |
| Churi et al. | A deep learning approach for depression classification using audio features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220215 Address after: 230000 No. 5089, high tech Zone, Hefei, Anhui Applicant after: Hefei zhongjuyuan Intelligent Technology Co.,Ltd. Address before: No. 5089, Wangjiang West Road, Hefei City, Anhui Province, 230000, b1205-b1208, future center, Institute of advanced technology, University of science and technology of China Applicant before: Artificial Intelligence Research Institute of Hefei comprehensive national science center (Artificial Intelligence Laboratory of Anhui Province) |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |