CN117954100A - 一种基于用户行为的认知能力测试和训练方法及系统 - Google Patents
一种基于用户行为的认知能力测试和训练方法及系统 Download PDFInfo
- Publication number
- CN117954100A CN117954100A CN202410348043.2A CN202410348043A CN117954100A CN 117954100 A CN117954100 A CN 117954100A CN 202410348043 A CN202410348043 A CN 202410348043A CN 117954100 A CN117954100 A CN 117954100A
- Authority
- CN
- China
- Prior art keywords
- cognitive ability
- user
- eye movement
- behavior
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 106
- 230000003930 cognitive ability Effects 0.000 title claims abstract description 98
- 230000006399 behavior Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 title claims abstract description 48
- 230000004424 eye movement Effects 0.000 claims abstract description 75
- 238000004458 analytical method Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 17
- 238000001228 spectrum Methods 0.000 claims description 16
- 230000007812 deficiency Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 208000010877 cognitive disease Diseases 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 210000001747 pupil Anatomy 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000019771 cognition Effects 0.000 abstract description 10
- 238000010998 test method Methods 0.000 abstract description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000003920 cognitive function Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007278 cognition impairment Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Neurology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Neurosurgery (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提出了一种基于用户行为的认知能力测试和训练方法，涉及认知能力测试技术领域，方法包括：用户信息采集、测试题目生成、测试数据获取、特征提取与融合、认知能力分析、生成训练方案，仅通过采集眼动视频和整体视频，降低了对测试要求，同时也使得获取的眼动视频和整体视频可以同时具有高清晰度，针对眼动视频和整体视频的特点，选择不同的预处理手段，保证了眼动数据和行为数据的准确性；在对注视序列和行为序列进行融合时，增强了用户行为认知能力测试本身对特征序列的影响，进一步提升了测试结果的准确性，也使得本发明的测试方法更具有普遍适用性。
Description
技术领域
本发明涉及认知能力测试技术领域，尤其涉及一种基于用户行为的认知能力测试和训练方法及系统。
背景技术
认知能力测试是一种重要的工具，可以帮助我们更好地了解个体的认知能力和特点，为教育、临床和人力资源管理等领域提供有价值的信息。随着技术的不断发展，期待看到更多创新的认知能力测试方法和技术出现。
公开（公告）号为CN116230169A的中国发明专利公开了一种基于用户行为的认知能力测试和训练方法，在用户完成测试关卡(游戏)的过程中，对其认知度进行计算。但是该发明仅通过点击屏幕的时间间隔对用户认知度进行计算，忽略了用户在实际测试过程中的行为数据，这些数据可能包含了有关用户认知过程的宝贵信息。
公开（公告）号为CN113974589B的中国发明专利公开了一种多模态行为范式评估优化系统及认知能力评价方法，基于大量的测试数据，构建基于认知能力的贝叶斯信念网络，该网络可进一步为行为范式方法诊断和评价提供依据。但是该发明在获取分析数据时，需要同时通过多个传感器同时采集用户的生理数据，如佩戴脑电帽等，使得测试环境受限，测试价格昂贵，其普遍适用性低，佩戴各种仪器同时也增加了用户的心理负担。
在认知能力测试时，用户眼动数据和行为数据，如测试过程中的反应时间、行为模式、注视路径等，可以提供关于用户认知过程的重要线索。通过对这些数据的分析，可以更深入地了解用户的认知能力，并设计出更符合用户实际需求的测试方法。
因此，基于用户行为构建一种测试简单、适用范围广的认知能力测试和训练方法仍然十分迫切。
发明内容
本发明提供一种基于用户行为的认知能力测试和训练方法及系统，以实现在设计和运行配电网自愈系统时，将机器学习与配电网故障自愈相结合，提高系统的自动化水平。
一种基于用户行为的认知能力测试和训练方法，具体包括如下步骤：
步骤S1，用户信息采集：获取待测用户信息，并对所述用户信息进行预处理，根据所述预处理后的信息生成信息特征向量；
步骤S2，测试题目生成：根据所述用户信息特征向量生成测试题目；
步骤S3，测试数据获取：待测用户完成所述测试题目，得到答题结果，并对答题过程进行视频拍摄，所述视频拍摄包括眼动视频拍摄和整体视频拍摄；
步骤S4，特征提取与融合：对所述眼动视频和所述整体视频进行特征提取，并对提取的特征进行融合；具体步骤为：
步骤S41，对所述眼动视频和所述整体视频进行预处理；
步骤S42，获取预处理后的眼动视频的注视序列，所述注视序列包括注视点坐标信息、人眼的瞳孔数据、时间戳信息和眼动频谱特征；
步骤S43，获取预处理后的整体视频的行为序列，所述行为序列包括肢体坐标信息、时间戳信息和行为频谱特征；
步骤S44，将所述注视序列和所述行为序列进行融合，得到融合后的特征序列；
步骤S5，认知能力分析：将所述融合后的特征序列和所述答题结果输入认知能力分析模型，输出认知能力分析结果，所述认知能力分析结果包括认知能力障碍类型和认知能力障碍等级；
步骤S6，生成训练方案：根据所述认知能力障碍类型和认知能力障碍等级生成训练方案。
进一步的，所述用户信息包括：用户的年龄、受教育程度、工作经历。
进一步的，根据所述预处理后的信息生成特征向量，具体为：根据所述用户的年龄，确认年龄标签；根据所述受教育程度，确认教育程度标签；根据所述工作经历，确认经验标签；由所述年龄标签、教育程度标签、经验标签组成特征向量。
进一步的，所述步骤S41，对所述眼动视频和所述整体视频进行预处理，具体为：
步骤S411，对所述眼动视频进行人脸检测、眼睛定位、眼睛跟踪、去噪和归一化；
步骤S412，对所述整体视频进行人体检测、姿态估计、去噪和归一化。
进一步的，所述步骤S44，将所述注视序列和所述行为序列进行融合时，融合公式为：
（1）
（2）
（3）
其中，
I为融合后的特征序列，IY为注视序列，IX为行为序列，
ω1为眼动频率变化率，ω2为行为频率变化率，
fY0为正常状态下眼动频率，fX0为正常状态下行为频率，fY为根据眼动频谱特征获得的眼动频率，fX为根据行为频谱特征获得的行为频率。
进一步的，所述正常状态下眼动频率和正常状态下行为频率，获取方法为：采集待测用户在安静状态下的眼动频率和行为频率。
进一步的，所述认知能力障碍类型包括：记忆能力缺陷、注意力缺陷、执行能力缺陷、语言能力缺陷、视觉空间能力缺陷。
进一步的，所述认知能力分析模型为卷积神经网络，结构为：2个输入层，2个卷积层，1个最大池化层，1个全连接层，输出层采用5个Softmax分类器。
一种基于用户行为的认知能力测试和训练系统，所述系统采用如上任一项所述的基于用户行为的认知能力测试和训练方法，具体包括如下模块：
用户信息采集模块：获取待测用户信息，并对所述用户信息进行预处理，根据所述预处理后的信息生成信息特征向量；
测试题目生成模块：与所述用户信息采集模块连接，用于根据所述用户信息特征向量生成测试题目；
测试数据获取模块：与所述测试题目生成模块连接，用于待测用户完成所述测试题目，得到答题结果，并对答题过程进行视频拍摄，所述视频拍摄包括眼动视频拍摄和整体视频拍摄；
特征提取与融合模块：与所述测试数据获取模块连接，用于对所述眼动视频和所述整体视频进行特征提取，并对提取的特征进行融合；
认知能力分析模块：与所述特征提取与融合模块连接，用于将所述融合后的特征序列和所述答题结果输入认知能力分析模型，输出认知能力分析结果，所述认知能力分析结果包括认知能力障碍类型和认知能力障碍等级；
训练方案生成模块：与所述认知能力分析模块连接，用于根据所述认知能力障碍类型和认知能力障碍等级生成训练方案。
一种电子设备，所述电子设备包括：处理器和存储器，所述处理器通过调用所述存储器存储的程序或指令，用于执行如上任一项所述的基于用户行为的认知能力测试和训练方法的步骤。
与现有技术相比较，本发明的有益效果在于：
其一，本发明仅通过采集眼动视频和整体视频，作为用户在行为测试过程中的视频数据，对数据进行分析获取分析结果，降低了对测试地点、环境和设备的要求，无需佩戴专业仪器，降低了用户的心理负担，降低了成本，普遍适用性高；
其二，本发明在获取视频时，分别获取眼动视频和整体视频，使得获取的眼动视频和整体视频可以同时具有高清晰度，为后续视频处理提供更精准的数据基础；
其三，本发明在视频预处理时，针对眼动视频和整体视频的特点，选择不同的预处理手段，对于眼动视频进行人脸检测、眼睛定位、眼睛跟踪、去噪和归一化，得到用户眼动视频的注视点坐标信息、人眼的瞳孔数据、时间戳信息和眼动频谱特征，对于用户整体视频进行人体检测、姿态估计、去噪和归一化，得到用户整体视频的肢体坐标信息、时间戳信息和行为频谱特征，保证了眼动数据和行为数据的准确性；
其四，本发明在对注视序列和行为序列进行融合时，充分考虑了眼动频率变化率、行为频率变化率以及待测用户在安静状态下的眼动频率和行为频率，增强了用户行为认知能力测试本身对特征序列的影响，降低了待测用户自身因素的影响，进一步提升了测试结果的准确性，也使得本发明的测试方法更具有普遍适用性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为基于用户行为的认知能力测试和训练方法流程示意图；
图2为基于用户行为的认知能力测试和训练系统结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
下面结合附图（表）对本发明的具体实施方式做出说明。
本发明提出了一种基于用户行为的认知能力测试和训练方法，降低了测试硬件要求，针对眼动视频和整体视频的特点，选择不同的预处理手段，保证了眼动数据和行为数据的准确性；在对注视序列和行为序列进行融合时，增强了用户行为认知能力测试本身对特征序列的影响，进一步提升了测试结果的准确性，也使得本发明的测试方法更具有普遍适用性。
实施例1
如图1所示，本发明提出了一种基于用户行为的认知能力测试和训练方法，具体包括如下步骤：
步骤S1，用户信息采集：获取待测用户信息，并对所述用户信息进行预处理，根据所述预处理后的信息生成信息特征向量。
用户信息包括：用户的年龄、受教育程度、工作经历；
根据所述预处理后的信息生成特征向量，具体为：根据所述用户的年龄，确认年龄标签；根据所述受教育程度，确认教育程度标签；根据所述工作经历，确认经验标签；由所述年龄标签、教育程度标签、经验标签组成特征向量；
获取用户的年龄、受教育程度和工作经历等信息可以帮助我们提供更具针对性、有效的测试，并更准确地评估用户的认知能力。
步骤S2，测试题目生成：根据所述用户信息特征向量生成测试题目。
步骤S3，测试数据获取：待测用户完成所述测试题目，得到答题结果，并对答题过程进行视频拍摄，所述视频拍摄包括眼动视频拍摄和整体视频拍摄。
本发明仅通过采集眼动视频和整体视频，作为用户在行为测试过程中的视频数据，对数据进行分析获取分析结果，降低了对测试地点、环境和设备的要求，无需佩戴专业仪器，降低了用户的心理负担，降低了成本，普遍适用性高；在获取视频时，分别获取眼动视频和整体视频，使得获取的眼动视频和整体视频可以同时具有高清晰度，为后续视频处理提供更精准的数据基础。
进一步的，本发明可以将设计的认知能力测试系统集成在一个电脑，或者手机APP中，通过自带的摄像头即可获取眼动视频；对于整体视频，可选择在适当位置布设一个摄像头，这样就无需佩戴专业设备，降低了硬件要求，也无需在固定的地点进行测试，更容易被测试者接受，提升了普遍适用性。
步骤S4，特征提取与融合：对所述眼动视频和所述整体视频进行特征提取，并对提取的特征进行融合。
结合眼动视频和行为视频，可以获得更全面的关于用户认知和行为表现的信息。这种综合方法有助于更准确地评估用户的认知功能、情绪状态和行为模式，从而为研究或诊断提供有价值的洞察。
对提取的特征进行融合的具体步骤为：
步骤S41，对所述眼动视频和所述整体视频进行预处理；
步骤S41，对所述眼动视频和所述整体视频进行预处理，具体为：
步骤S411，对所述眼动视频进行人脸检测、眼睛定位、眼睛跟踪、去噪和归一化，以确保能够准确地提取出眼睛的运动信息；
步骤S412，对所述整体视频进行人体检测、姿态估计、去噪和归一化，可以获得肢体的运动轨迹、姿态变化、动作识别等信息，以便进行后续的研究和应用。
在视频预处理时，针对眼动视频和整体视频的特点，选择不同的预处理手段，对于眼动视频进行人脸检测、眼睛定位、眼睛跟踪、去噪和归一化，得到用户眼动视频的注视点坐标信息、人眼的瞳孔数据、时间戳信息和眼动频谱特征，对于用户整体视频进行人体检测、姿态估计、去噪和归一化，得到用户整体视频的肢体坐标信息、时间戳信息和行为频谱特征，保证了眼动数据和行为数据的准确性。
步骤S42，获取预处理后的眼动视频的注视序列，所述注视序列包括注视点坐标信息、人眼的瞳孔数据、时间戳信息和眼动频谱特征；
步骤S43，获取预处理后的整体视频的行为序列，所述行为序列包括肢体坐标信息、时间戳信息和行为频谱特征；
步骤S44，将所述注视序列和所述行为序列进行融合，得到融合后的特征序列。
融合公式为：
（1）
（2）
（3）
其中，
I为融合后的特征序列，IY为注视序列，IX为行为序列，
ω1为眼动频率变化率，ω2为行为频率变化率，
fY0为正常状态下眼动频率，fX0为正常状态下行为频率，fY为根据眼动频谱特征获得的眼动频率，fX为根据行为频谱特征获得的行为频率。
所述正常状态下眼动频率和正常状态下行为频率，获取方法为：采集待测用户在安静状态下的眼动频率和行为频率。
其中，安静状态可以指，闭目入静、听舒缓音乐、阅读等一定时间后，使得身心保持平缓、安静的状态。
在对注视序列和行为序列进行融合时，充分考虑了眼动频率变化率、行为频率变化率以及待测用户在安静状态下的眼动频率和行为频率，增强了用户行为认知能力测试本身对特征序列的影响，降低了待测用户自身因素的影响，进一步提升了测试结果的准确性，也使得本发明的测试方法更具有普遍适用性。
步骤S5，认知能力分析：将所述融合后的特征序列和所述答题结果输入认知能力分析模型，输出认知能力分析结果，所述认知能力分析结果包括认知能力障碍类型和认知能力障碍等级；
认知能力障碍类型包括：记忆能力缺陷、注意力缺陷、执行能力缺陷、语言能力缺陷、视觉空间能力缺陷。这些类型涵盖了认知功能的核心方面，这些方面在日常生活中和学习、工作中都扮演着至关重要的角色，这些认知能力缺陷类型的选择有助于更全面地了解用户的认知功能状况，为评估和干预提供有价值的参考。通过评估这些方面的表现，可以更好地了解用户的认知障碍类型，为制定个性化的干预和治疗方案提供依据。
认知能力障碍等级包括轻度障碍、中度障碍和重度障碍。这里并不对每种障碍进行介绍，现有技术中任意一种分类方式都可在本发明中使用，只需要根据确定的分类方式，选择对应的训练数据。
所述认知能力分析模型为卷积神经网络，结构为：2个输入层，2个卷积层，1个最大池化层，1个全连接层，输出层采用5个Softmax分类器输出每个认知能力障碍类型的概率，根据所述概率确定认知能力障碍等级。
步骤S6，生成训练方案：根据所述认知能力障碍类型和认知能力障碍等级生成训练方案。
根据所述的认知能力障碍类型和障碍等级，可以生成一个针对性的训练方案，用户根据训练方案进行训练，训练过程中随时进行测试，根据测试结果再及时更新训练方案，帮助用户正确、及时的克服认知障碍。
实施例2
如图2所示，本发明还提出一种基于用户行为的认知能力测试和训练系统，使用如实施例1任一项所述的一种基于用户行为的认知能力测试和训练方法，包括以下部分：
用户信息采集模块：获取待测用户信息，并对所述用户信息进行预处理，根据所述预处理后的信息生成信息特征向量；
测试题目生成模块：与所述用户信息采集模块连接，用于根据所述用户信息特征向量生成测试题目；
测试数据获取模块：与所述测试题目生成模块连接，用于待测用户完成所述测试题目，得到答题结果，并对答题过程进行视频拍摄，所述视频拍摄包括眼动视频拍摄和整体视频拍摄；
特征提取与融合模块：与所述测试数据获取模块连接，用于对所述眼动视频和所述整体视频进行特征提取，并对提取的特征进行融合；
认知能力分析模块：与所述特征提取与融合模块连接，用于将所述融合后的特征序列和所述答题结果输入认知能力分析模型，输出认知能力分析结果，所述认知能力分析结果包括认知能力障碍类型和认知能力障碍等级；
训练方案生成模块：与所述认知能力分析模块连接，用于根据所述认知能力障碍类型和认知能力障碍等级生成训练方案。
实施例3
一种电子设备，所述电子设备包括：
处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如实施例1任一项所述的基于用户行为的认知能力测试和训练方法的步骤。
实施例4
一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序指令，所述计算机程序指令使计算机执行如实施例1任一项所述的一种基于用户行为的认知能力测试和训练方法的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本发明范围。如本发明说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。
Claims (10)
1.一种基于用户行为的认知能力测试和训练方法，其特征在于，包括如下步骤：
步骤S1，用户信息采集：获取待测用户信息，并对所述用户信息进行预处理，根据所述预处理后的信息生成信息特征向量；
步骤S2，测试题目生成：根据所述用户信息特征向量生成测试题目；
步骤S3，测试数据获取：待测用户完成所述测试题目，得到答题结果，并对答题过程进行视频拍摄，所述视频拍摄包括眼动视频拍摄和整体视频拍摄；
步骤S4，特征提取与融合：对所述眼动视频和所述整体视频进行特征提取，并对提取的特征进行融合；具体步骤为：
步骤S41，对所述眼动视频和所述整体视频进行预处理；
步骤S42，获取预处理后的眼动视频的注视序列，所述注视序列包括注视点坐标信息、人眼的瞳孔数据、时间戳信息和眼动频谱特征；
步骤S43，获取预处理后的整体视频的行为序列，所述行为序列包括肢体坐标信息、时间戳信息和行为频谱特征；
步骤S44，将所述注视序列和所述行为序列进行融合，得到融合后的特征序列；
步骤S5，认知能力分析：将所述融合后的特征序列和所述答题结果输入认知能力分析模型，输出认知能力分析结果，所述认知能力分析结果包括认知能力障碍类型和认知能力障碍等级；
步骤S6，生成训练方案：根据所述认知能力障碍类型和认知能力障碍等级生成训练方案。
2.根据权利要求1所述的基于用户行为的认知能力测试和训练方法，其特征在于，所述用户信息包括：用户的年龄、受教育程度、工作经历。
3.根据权利要求2所述的基于用户行为的认知能力测试和训练方法，其特征在于，根据所述预处理后的信息生成特征向量，具体为：根据所述用户的年龄，确认年龄标签；根据所述受教育程度，确认教育程度标签；根据所述工作经历，确认经验标签；由所述年龄标签、教育程度标签、经验标签组成特征向量。
4.根据权利要求1所述的基于用户行为的认知能力测试和训练方法，其特征在于，所述步骤S41，对所述眼动视频和所述整体视频进行预处理，具体为：
步骤S411，对所述眼动视频进行人脸检测、眼睛定位、眼睛跟踪、去噪和归一化；
步骤S412，对所述整体视频进行人体检测、姿态估计、去噪和归一化。
5.根据权利要求1所述的基于用户行为的认知能力测试和训练方法，其特征在于，所述步骤S44，将所述注视序列和所述行为序列进行融合时，融合公式为：
（1）
（2）
（3）
其中，
I为融合后的特征序列，IY为注视序列，IX为行为序列，
ω1为眼动频率变化率，ω2为行为频率变化率，
fY0为正常状态下眼动频率，fX0为正常状态下行为频率，fY为根据眼动频谱特征获得的眼动频率，fX为根据行为频谱特征获得的行为频率。
6.根据权利要求5所述的基于用户行为的认知能力测试和训练方法，其特征在于，所述正常状态下眼动频率和正常状态下行为频率，获取方法为：采集待测用户在安静状态下的眼动频率和行为频率。
7.根据权利要求1所述的基于用户行为的认知能力测试和训练方法，其特征在于，所述认知能力障碍类型包括：记忆能力缺陷、注意力缺陷、执行能力缺陷、语言能力缺陷、视觉空间能力缺陷。
8.根据权利要求7所述的基于用户行为的认知能力测试和训练方法，其特征在于，所述认知能力分析模型为卷积神经网络，结构为：2个输入层，2个卷积层，1个最大池化层，1个全连接层，输出层采用5个Softmax分类器。
9.一种基于用户行为的认知能力测试和训练系统，其特征在于，所述系统采用权利要求1至8任一项所述的基于用户行为的认知能力测试和训练方法，具体包括如下模块：
用户信息采集模块：获取待测用户信息，并对所述用户信息进行预处理，根据所述预处理后的信息生成信息特征向量；
测试题目生成模块：与所述用户信息采集模块连接，用于根据所述用户信息特征向量生成测试题目；
测试数据获取模块：与所述测试题目生成模块连接，用于待测用户完成所述测试题目，得到答题结果，并对答题过程进行视频拍摄，所述视频拍摄包括眼动视频拍摄和整体视频拍摄；
特征提取与融合模块：与所述测试数据获取模块连接，用于对所述眼动视频和所述整体视频进行特征提取，并对提取的特征进行融合；
认知能力分析模块：与所述特征提取与融合模块连接，用于将所述融合后的特征序列和所述答题结果输入认知能力分析模型，输出认知能力分析结果，所述认知能力分析结果包括认知能力障碍类型和认知能力障碍等级；
训练方案生成模块：与所述认知能力分析模块连接，用于根据所述认知能力障碍类型和认知能力障碍等级生成训练方案。
10.一种电子设备，所述电子设备包括：处理器和存储器，其特征在于，所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至8任一项所述的基于用户行为的认知能力测试和训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410348043.2A CN117954100B (zh) | 2024-03-26 | 2024-03-26 | 一种基于用户行为的认知能力测试和训练方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410348043.2A CN117954100B (zh) | 2024-03-26 | 2024-03-26 | 一种基于用户行为的认知能力测试和训练方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117954100A true CN117954100A (zh) | 2024-04-30 |
| CN117954100B CN117954100B (zh) | 2024-06-14 |
Family
ID=90802019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410348043.2A Active CN117954100B (zh) | 2024-03-26 | 2024-03-26 | 一种基于用户行为的认知能力测试和训练方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117954100B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109222969A (zh) * | 2018-10-31 | 2019-01-18 | 郑州大学 | 一种基于多传感器数据融合的可穿戴式人体上肢肌肉运动疲劳检测及训练系统 |
| CN109730701A (zh) * | 2019-01-03 | 2019-05-10 | 中国电子科技集团公司电子科学研究院 | 一种情绪数据的获取方法及装置 |
| CN109976525A (zh) * | 2019-03-27 | 2019-07-05 | 上海大学 | 一种用户界面交互方法、装置及计算机设备 |
| CN110070534A (zh) * | 2018-05-22 | 2019-07-30 | 深圳科亚医疗科技有限公司 | 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置 |
| CN110633362A (zh) * | 2019-09-17 | 2019-12-31 | 江南大学 | 一种个性化认知功能评价量表系统 |
| CN111326253A (zh) * | 2018-12-14 | 2020-06-23 | 深圳先进技术研究院 | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
| CN112541529A (zh) * | 2020-12-04 | 2021-03-23 | 北京科技大学 | 表情与姿态融合的双模态教学评价方法、设备及存储介质 |
| CN112580526A (zh) * | 2020-12-22 | 2021-03-30 | 中南大学 | 基于视频监控的学生课堂行为识别系统 |
| CN113729710A (zh) * | 2021-09-26 | 2021-12-03 | 华南师范大学 | 一种融合多生理模态的实时注意力评估方法及系统 |
| CN114246589A (zh) * | 2021-12-23 | 2022-03-29 | 北京津发科技股份有限公司 | 记忆认知能力测评方法及系统 |
| CN115607156A (zh) * | 2022-10-21 | 2023-01-17 | 厦门诸格量科技有限公司 | 基于多模态的心理认知筛查测评方法、系统及存储介质 |
| CN116386862A (zh) * | 2023-02-10 | 2023-07-04 | 平安科技（深圳）有限公司 | 多模态认知障碍的评估方法、装置、设备和存储介质 |
| CN116564355A (zh) * | 2023-05-29 | 2023-08-08 | 西安电子科技大学 | 一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质 |
| CN117371215A (zh) * | 2023-10-17 | 2024-01-09 | 山东产研智能电机研究院有限公司 | 一种基于多维度信息融合的机电设备健康评估算法 |
| CN117547273A (zh) * | 2023-11-14 | 2024-02-13 | 重庆邮电大学 | 面向驾驶员里程焦虑的生理反应检测方法及系统 |
-
2024
- 2024-03-26 CN CN202410348043.2A patent/CN117954100B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070534A (zh) * | 2018-05-22 | 2019-07-30 | 深圳科亚医疗科技有限公司 | 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置 |
| CN109222969A (zh) * | 2018-10-31 | 2019-01-18 | 郑州大学 | 一种基于多传感器数据融合的可穿戴式人体上肢肌肉运动疲劳检测及训练系统 |
| CN111326253A (zh) * | 2018-12-14 | 2020-06-23 | 深圳先进技术研究院 | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 |
| CN109730701A (zh) * | 2019-01-03 | 2019-05-10 | 中国电子科技集团公司电子科学研究院 | 一种情绪数据的获取方法及装置 |
| CN109976525A (zh) * | 2019-03-27 | 2019-07-05 | 上海大学 | 一种用户界面交互方法、装置及计算机设备 |
| CN110633362A (zh) * | 2019-09-17 | 2019-12-31 | 江南大学 | 一种个性化认知功能评价量表系统 |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
| CN112541529A (zh) * | 2020-12-04 | 2021-03-23 | 北京科技大学 | 表情与姿态融合的双模态教学评价方法、设备及存储介质 |
| CN112580526A (zh) * | 2020-12-22 | 2021-03-30 | 中南大学 | 基于视频监控的学生课堂行为识别系统 |
| CN113729710A (zh) * | 2021-09-26 | 2021-12-03 | 华南师范大学 | 一种融合多生理模态的实时注意力评估方法及系统 |
| CN114246589A (zh) * | 2021-12-23 | 2022-03-29 | 北京津发科技股份有限公司 | 记忆认知能力测评方法及系统 |
| CN115607156A (zh) * | 2022-10-21 | 2023-01-17 | 厦门诸格量科技有限公司 | 基于多模态的心理认知筛查测评方法、系统及存储介质 |
| CN116386862A (zh) * | 2023-02-10 | 2023-07-04 | 平安科技（深圳）有限公司 | 多模态认知障碍的评估方法、装置、设备和存储介质 |
| CN116564355A (zh) * | 2023-05-29 | 2023-08-08 | 西安电子科技大学 | 一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质 |
| CN117371215A (zh) * | 2023-10-17 | 2024-01-09 | 山东产研智能电机研究院有限公司 | 一种基于多维度信息融合的机电设备健康评估算法 |
| CN117547273A (zh) * | 2023-11-14 | 2024-02-13 | 重庆邮电大学 | 面向驾驶员里程焦虑的生理反应检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117954100B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mekyska et al. | Identification and rating of developmental dysgraphia by handwriting analysis | |
| CN111326253A (zh) | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 | |
| CN105069294A (zh) | 一种用于认知能力值测试的计算和分析方法 | |
| Chen et al. | DeepFocus: Deep encoding brainwaves and emotions with multi-scenario behavior analytics for human attention enhancement | |
| CN115064246B (zh) | 一种基于多模态信息融合的抑郁症评估系统及设备 | |
| CN108175425A (zh) | 一种分析处理装置和潜能值测验的认知指标分析方法 | |
| CN111317448B (zh) | 一种分析视觉空间认知的方法及系统 | |
| Edughele et al. | Eye-tracking assistive technologies for individuals with amyotrophic lateral sclerosis | |
| Majumder et al. | sEmoD: A personalized emotion detection using a smart holistic embedded IoT system | |
| CN115299947A (zh) | 基于多模态生理数据的心理量表置信度评估方法及系统 | |
| Nugrahaningsih et al. | Assessing learning styles through eye tracking for e-learning applications | |
| CN115177253A (zh) | 基于多模态数据学生心理危机预警系统 | |
| CN111738234B (zh) | 基于个体眼动特征的自动化共情能力识别方法 | |
| CN117954100B (zh) | 一种基于用户行为的认知能力测试和训练方法及系统 | |
| WO2024038134A1 (en) | Methods and devices in performing a vision testing procedure on a person | |
| Liu et al. | Challenges in designing a brain-machine search interface | |
| Mantri et al. | Real time multimodal depression analysis | |
| Zhang et al. | Multimodal Fast–Slow Neural Network for learning engagement evaluation | |
| Khosravi et al. | Employing a Wearable Eye-tracker to Observe Mind-wandering in Dynamic Stimuli | |
| MežA et al. | Towards automatic real-time estimation of observed learner’s attention using psychophysiological and affective signals: The touch-typing study case | |
| WO2024062935A1 (ja) | 情報処理装置、システム、情報処理方法、およびプログラム | |
| CN109480757A (zh) | 视功能检测方法和系统及装置 | |
| US20240289616A1 (en) | Methods and devices in performing a vision testing procedure on a person | |
| Karolus | Proficiency-aware systems: designing for user skill and expertise | |
| Gangadharan et al. | Deep learning of biomechanical dynamics with spatial variability for lifestyle management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |