CN106176009B - 一种多模态认知检测与康复系统装置 - Google Patents

一种多模态认知检测与康复系统装置 Download PDF

Info

Publication number
CN106176009B
CN106176009B CN201610513354.5A CN201610513354A CN106176009B CN 106176009 B CN106176009 B CN 106176009B CN 201610513354 A CN201610513354 A CN 201610513354A CN 106176009 B CN106176009 B CN 106176009B
Authority
CN
China
Prior art keywords
module
host
button
training
rehabilitation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610513354.5A
Other languages
English (en)
Other versions
CN106176009A (zh
Inventor
郁志华
蒋皆恢
张敏娜
刘庭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI GERIATRIC INSTITUTE OF CHINESE MEDICINE
Shanghai Precision Biotechnology Co Ltd
University of Shanghai for Science and Technology
Original Assignee
SHANGHAI GERIATRIC INSTITUTE OF CHINESE MEDICINE
Shanghai Precision Biotechnology Co Ltd
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI GERIATRIC INSTITUTE OF CHINESE MEDICINE, Shanghai Precision Biotechnology Co Ltd, University of Shanghai for Science and Technology filed Critical SHANGHAI GERIATRIC INSTITUTE OF CHINESE MEDICINE
Priority to CN201610513354.5A priority Critical patent/CN106176009B/zh
Publication of CN106176009A publication Critical patent/CN106176009A/zh
Application granted granted Critical
Publication of CN106176009B publication Critical patent/CN106176009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F5/00—Orthopaedic methods or devices for non-surgical treatment of bones or joints; Nursing devices; Anti-rape devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Neurology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Neurosurgery (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Nursing (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Vascular Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种多模态认知检测与康复系统装置，所述装置包括主机(100)、带触摸功能的显示装置触摸屏(200)、播音装置(300)、按键装置(400)、旋钮装置(500)、摇杆装置(600)、视频录入装置(700)、视觉追踪装置(800)、脑电采集装置(900)以及IC卡读卡器(1000)。本发明中西医结合，通过对AD早期MCI患者的评估以及进行康复训练，符合中医“治未病”的学术思想。在预防保健服务体系环境下认知功能训练与康复技术，实现实时、实地信息的交互。本系统便于广泛推广，不仅提升老年人的生活品质，而且能够减轻社会负担，有较大的应用价值和社会效益。

Description

一种多模态认知检测与康复系统装置
技术领域
本发明涉及医用检测与康复系统装置，具体涉及一种多模态认知检测与康复系统装置。
背景技术
阿尔茨海默病(Alzheimer’s disease，AD)现已成为中国老年人继心血管疾病、恶性肿瘤、脑卒中之后的第四大杀手，随着人口老龄化，AD的发病率呈逐年显著上升趋势。由于AD的病情过程不可逆转，所以AD的早期诊断、干预以及防治尤为重要。
以往的研究证实对于良性健忘老人、轻度认知功能损害(Mild CognitionImpairment，MCI)和早期AD患者进行认知检测与康复有助于延缓良性健忘的加重、降低MCI的AD转化率、缓解AD的病程，提高患者生活质量。
目前提供康复训练的方式多为开设康复中心，通过人工康复训练与群体生活等改善患者认知功能障碍等问题。由于医务人员欠缺，康复中心或邀请志愿者参与，或使工作人员超负荷工作，导致康复工作的专业性与效率不高。另外，训练方法主要使用机械装置、纸质训练或者利用计算机按键操作的方式，但由于操作不便，并且缺乏趣味性，不利于坚持参与训练，得不到认知康复的机会。因此，开发互动性、趣味性以及参与性强认知康复系统成为关注的热点。目前国内外正开展通过多重数据整合来发现AD的早期临床表现，所使用的参数往往是正电子放射成像技术PET、功能性核磁共振fMRI，核磁共振、相关事件电位P300等，但上述设备必需要在具有相关设备的医院中有专业医师进行诊断和分析。中医对AD及其早期病症MCI在古籍中也有着相似的描述，因而如果早期发现AD和MCI，同时进行认知能力康复训练，具有重要意义。
发明内容
本发明所要解决的技术问题在于克服上述不足之处，研究设计互动性好、趣味性强，有利于改善患者认知功能障碍等的认知康复系统。本发明提供了一种多模态认知检测与康复系统装置。
本发明所述装置包括：主机、带触摸功能的显示装置、播音装置、按键装置、旋钮装置、摇杆装置、视频录入装置、视觉追踪装置、脑电采集装置、IC卡读卡器。
所述主机的接口面板上分别设置有VGA接口101、音频接口102、5个USB接口103a-103e，3个串口104a-104b。
所述带触摸功能的显示装置(如触摸屏)与主机上的VGA接口101以及USB接口103a连接，用于显示以及人机交互。
所述播音装置通过主机100上的音频接口102与主机100相连，用于播放声音。
所述按键装置通过串口104c连接于主机；所述按键装置包括多个按键以及单片机，按键的引脚连接到单片机的数字输入输出端口，单片机扫描按键状态并通过串口将按键状态信息打包发送至主机100，测试者按下按键进行选择，以实现训练过程中的交互。
所述旋钮装置通过串口104a连接于主机100；所述旋钮装置包括两个旋转电位器以及单片机，旋转电位器引脚连接到单片机的模拟输入输出端口，单片机将来自旋转电位器的模拟电压信号转换成数字信号后打包通过串口发送给主机，所述的两个旋转电位器分别用于控制小球的水平以及垂直运动方向。
所述摇杆装置通过串口104b连接于主机100；所述摇杆装置包括两个摇杆以及单片机，摇杆的引脚连接到单片机的模拟输入输出端口，单片机将来自摇杆的模拟电压信号转换成数字信号后打包通过串口发送给主机100，所述的两个摇杆分别用于在训练中控制两个不同小球的运动方向。
所述视频录入装置通过USB接口103b连接于主机100；所述视频录入装置为通过USB接口与主机100相连的USB摄像头，用于采集测试者的图像信息。
所述视觉追踪装置通过USB接口103c连接于主机100；所述视觉追踪装置为通过USB接口与主机100相连的视觉追踪仪，用于捕捉测试者视线位置并将其映射为屏幕坐标。
所述IC卡读卡器通过USB接口103d与主机相连，用于资料录入、信息查询以及快速登录。
所述脑电采集装置通过蓝牙接收器上的USB接口103e连接于主机100。
所述脑电采集装置包括脑电采集模块、蓝牙接收器和通过3D打印的头套，所述脑电采集模块包括蓝牙发射装置以及脑电采集单元，脑电采集模块被固定安装在头套上，测试者通过佩戴头套便可进行脑电信息的采集，所采集的脑电信息通过脑电采集模块中的蓝牙发射装置发送，主机端通过蓝牙接收器接收。
所述主机100内设置多模态认知检测与康复系统总模块。
所述多模态认知检测与康复系统总模块，包括登陆界面模块和系统主界面模块。
所述登陆界面模块具有一用户名输入框和密码输入框，用户在用户名输入框中输入用户名，在密码输入框内输入登陆密码，单击登陆按钮即可进入多模态认知检测与康复系统，单击退出按钮即可关闭并退出多模态认知检测与康复系统。
所述系统主界面模块的中心位置设置有训练选择模块，训练选择模块下端设置认知检测模块、打印模块和退出模块，其中认知检测模块、打印模块和退出模块位于同一行。
所述训练选择模块设置三行四列共十个按钮，第一行设置反应力测试按钮、无意义图形再认按钮、人物识别按钮，第二行设置文字识别按钮、理解力测试按钮、双手调节按钮，第三行设置操作能力测试按钮、表情识别按钮、迷宫按钮，第四行设置视觉追踪按钮。
当点击所述训练选择模块中的某个按钮，就会进入对应的训练界面；每个训练界面上设置训练内容显示区、参数显示区、开始测试按钮、保存结果按钮、返回按钮，训练内容显示区用于显示训练内容，参数显示区用于显示训练过程中的相关参数(如专注度、反应时间、正确率等)，点击开始测试按钮后训练开始，点击保存结果按钮后将保存训练结果，点击返回按钮将返回系统主界面。
所述认知检测模块设置有认知检测按钮，单击认知检测按钮，进行认知功能检测。
所述打印报告模块设置打印按钮，单击打印按钮进入打印预览界面后，对训练评估结果进行打印前查看及打印操作。
所述退出模块设置退出按钮，单击退出按钮将退出系统。
本发明所述装置使用时，采集测试和训练过程中的脑电、眼动、反应时间、细微动作等数据，通过采用基于云计算的医学数据挖掘方法，综合运用人工神经网络、模糊逻辑、遗传算法、粗糙集理论和支持向量机等手段构建认知检测模型和康复评定模型，对测试者的认知能力进行检测和评估，检测和评估的结果可由上述打印模块进行打印。本发明装置具有以下有益效果：
本发明以中医理论为指导，以西医检测为手段，通过对AD早期MCI患者受损的认知功能进行的康复训练，符合中医“治未病”的学术思想。在预防保健服务体系环境下认知功能训练与康复技术，实现实时、实地(Any time,Any Place)信息的交互，从而达到能在社区进行检测的眼动、脑电、双手调节等装置。同时也与临床常用的认知能力检测量表形成互补，在诊断和康复方面并不与韦氏学习记忆量表、简易智能状态量表等形成交集。
本发明的多模态认知检测与康复系统，可以对测试者的认知能力进行检测和评估。系统中的反应力测试用于对测试者的反应力进行训练，以提高其反应力；无意义图形再认、人物识别用于检测和提高测试者的记忆力；文字识别、理解力测试用于检测和提高测试者的理解力和分析能力；双手调节、操作能力测试可用来检测和提高测试者的双手协调能力；表情识别训练用于训练测试者的理解力、判断力和反应能力；迷宫用于检测和改善测试者的视空间能力；视觉追踪用于检测和提高测试者的理解力、判断力和注意力。可以延缓测试者大脑老化，改善测试者的认知能力。本系统便于广泛推广，提升老年人的生活品质的同时也能够减轻社会负担，有较大的应用价值和社会效益。
附图说明
图1为本发明多模态认知检测与康复系统装置的结构示意图。
图2为本发明多模态认知检测与康复系统装置按键模块1的示意图。
图3为本发明多模态认知检测与康复系统装置按键模块2的示意图。
图4为本发明多模态认知检测与康复系统装置登陆界面示意图。
图5为本发明多模态认知检测与康复系统装置主界面示意图。
图6为本发明多模态认知检测与康复系统装置训练选择模块界面示意图。
图7为本发明多模态认知检测与康复系统装置文字识别训练界面示意图。
图8为本发明多模态认知检测与康复系统装置的反应力测试训练界面示意图。
图9为本发明多模态认知检测与康复系统装置的无意义图形再认训练界面示意图。
图10为本发明多模态认知检测与康复系统装置的另一种无意义图形再认训练界面示意图。
图11为本发明多模态认知检测与康复系统装置的人物识别训练界面示意图。
图12为本发明多模态认知检测与康复系统装置的理解力测试训练界面示意图。
图13为本发明多模态认知检测与康复系统装置的双手调节训练界面示意图。
图14为本发明多模态认知检测与康复系统装置的操作能力测试训练界面示意图。
图15为本发明多模态认知检测与康复系统装置的表情识别训练界面示意图。
图16为本发明多模态认知检测与康复系统装置的另一表情识别训练界面示意图。
图17为本发明多模态认知检测与康复系统装置的迷宫训练界面示意图。
图18为本发明多模态认知检测与康复系统装置的另一迷宫训练界面示意图。
图19为本发明多模态认知检测与康复系统装置的视觉追踪训练界面示意图。
图20为本发明多模态认知检测与康复系统装置的另一视觉追踪训练界面示意图。
图21为本发明多模态认知检测与康复系统装置的另一视觉追踪训练界面示意图。
其中：
100为主机，101为视频图像阵列(VideoGraphic Array,VGA)接口，102为音频接口，103a、103b、103c、103d、103e为USB接口1、2、3、4、5，104a、104b、104c为串口1、2、3，200为显示装置，300为播音装置，400为按键装置，410为Arduino单片机1，420为按键模块1，430为按键模块2，411为Arduino单片机410上的串口，412为Arduino单片机410上的数字输入输出端口模块，500为旋钮装置，510为Arduino单片机2，520为旋转电位器1，530为旋转电位器2，511为Arduino单片机510上的串口，512为Arduino单片机510上的模拟输入输出端口模块，512上设置有A0、A2两个端口，600为摇杆装置，610为Arduino单片机3，620为摇杆1,630为摇杆2，611为Arduino单片机610上的串口，612为Arduino单片机610上的模拟输入输出端口模块，612上设置有A0-A3四个模拟端口，700为视频录入装置，800为视觉追踪装置，900为脑电采集装置，910为脑电采集模块，911为蓝牙发射装置，912为及脑电采集单元，920为蓝牙接收器，1000为IC卡读卡器，421、422、423为420按键模块1中的按键1、2、3、430a、430b、430c、430d、430e、430f、430g、430h、430i、420j为430按键模块2中编号1～10的十个按键，A代表黄色，B代表红色，C代表绿色，D代表蓝色。
具体实施方式
以下结合附图和具体实施方式来进一步描述本发明。
实施例1
参见图1，本发明多模态认知检测与康复系统装置，包括主机100，以及与所述主机100的VGA接口101以及USB接口103连接的带触摸功能的显示装置(触摸屏)200；与主机100音频接口102连接的播音装置300；与主机100通过串口104c连接的按键装置400；与主机100通过串口104a连接的旋钮装置500；与主机100通过串口104c连接的摇杆装置600；与主机100通过USB接口103b连接的视频录入装置700；与主机100通过USB接口103c连接的视觉追踪装置800；与主机100通过USB接口103d相连的IC卡读卡器1000；与主机100通过USB接口103e连接的脑电采集装置900。
所述主机100内设置多模态认知检测和康复系统总模块。
所述带触摸功能的显示装置(触摸屏)200用于在测试和训练过程进行显示和实现人机交互。
所述播音装置300通过主机100上的音频接口102与主机100相连，用于播放声音。
按键装置400包括Arduino单片机410、按键模块420以及按键模块430。
具体的，参见图2和图3，所述按键模块420从左至右设置有A黄色、B红色、C绿色按键各一个，依次与Arduino单片机410上输入输出端口模块412中的端口14～16相连，所述按键模块430设置两排共10个按键，其中第一排从左至右依次设置有编号1～5的5个按键，第二排从左至右依次设置有编号6～10的5个按键，按键模块430中的按键依次连接到Arduino单片机410上输入输出端口模块412中的输入输出端口3～13。Arduino单片机410扫描按键状态并通过串口411将按键状态信息打包发送至主机100，测试者按下按键进行选择，以实现训练过程中的交互。
所述旋钮装置500包括Arduino单片机510、旋转电位器520、旋转电位器530，其中旋转电位器530位于旋转电位器520的右侧。
具体的，所述旋转电位器520、旋转电位器530的引脚分别连接到Arduino单片机510上模拟输入输出端口模块511中的端口A0、A1，Arduino单片机510将来自两个旋转电位器的模拟电压信号转换成数字信号后，打包通过串口512发送给主机100，所述的两个旋转电位器520和530分别用于在训练中控制小球的水平以及垂直运动方向。
所述摇杆装置600包括Arduino单片机610、摇杆620和摇杆630，其中摇杆630位于摇杆620的右侧。
具体的，摇杆620、摇杆630的引脚分别连接到Arduino单片机610上模拟输入输出端口模块611中的端口A0～A4，Arduino单片机630将来自两个摇杆的模拟电压信号转换成数字信号后打包通过串口611发送给主机100，所述的两个摇杆分别用于在训练中控制两个不同小球的运动方向。
所述视频录入装置700为通过USB接口103b与主机100相连的摄像头，用于采集测试者的图像信息。
所述视觉追踪装置800为通过USB接口103c与主机100相连的视觉追踪仪，用于记录测试者视线位置并将其映射为屏幕坐标。
所述IC卡读卡器1000通过USB接口103d与主机100相连，用于资料录入、信息查询以及快速登录。
所述脑电采集装置900包括脑电采集模块910、蓝牙接收器920，脑电采集模块包括蓝牙发射装置911、脑电采集单元912以及通过3D打印的头套，脑电采集模块被固定安装在头套上，测试者通过佩戴头套便可进行脑电信息的采集，所采集的脑电信息通过脑电采集模块中的蓝牙发射装置911发送，通过与主机100上USB接口103e连接的蓝牙接收器920进行接收。
主机100内设置的多模态认知检测与康复系统总模块，包括用于登陆多模态认知检测与康复系统的登陆界面模块110和系统主界面模块120。
参见图4，该登陆界面模块110具有用户名输入框111和密码输入框112，用户在用户名输入框111中输入用户名，在密码输入框112内输入登陆密码，单击登陆按钮113即可进入多模态认知检测与康复系统主界面，单击退出按钮114即可关闭并退出多模态认知检测与康复系统。
参见图5，在系统主界面模块120的中心位置设置有训练选择模块121，训练选择模块下端设置认知检测模块122、打印模块123和退出模块124，所述认知检测模块122、打印模块123和退出模块124位于同一行。
参见图6，所述训练选择模块121中设置有所有训练项目选择按钮，其中第一排依次设置有反应力测试按钮121a、无意义图形再认按钮121b、人物识别按钮121c，第二排依次设置有文字识别按钮121d、理解力测试按钮121e、双手调节按钮121f，第三排依次设置有操作能力测试按钮121g、表情识别按钮121h、迷宫按钮121i，第四排依次设置有视觉追踪按钮121j。
参见图7，所述训练选择模块121中的每一个训练项目，以文字识别为例，均设置有训练内容显示区121da、参数显示区121db、开始测试按钮121dc、保存结果按钮121dd、返回按钮121de，训练内容显示区121da用于显示训练内容，参数显示区121db用于显示训练过程中的相关参数(如专注度、反应时间、正确率等)。
点击上述开始测试按钮121dc后训练开始，在训练开始之前将播放与本项训练相关的引导语或者显示与本项训练相关的文字说明，点击上述保存结果按钮121dd后将保存本项训练结果，点击返回按钮121de将返回系统主界面。
所述认知检测模块122设置有认知检测按钮，单击认知检测按钮后，将对训练选择模块中的所有认知训练项目进行综合检测，同时将采集检测过程中的相关参数(如专注度、反应时间、正确率等)。
所述打印报告模块123设置打印按钮，单击打印按钮进入打印预览界面后，对训练结果进行打印前查看及打印操作。
所述退出模块124设置退出按钮，单击退出按钮将退出系统。
将上述测试和训练过程中采集到的脑电、眼动、反应时间、细微动作等数据，通过采用基于云计算的医学数据挖掘方法，综合运用人工神经网络(Monica Di Luca,EnzoGrossi,Barbara Borroni,Artificial neural networks allow the use ofsimultaneous measurements of Alzheimer Disease markers for early detection ofthe disease.2005；)、模糊逻辑(Susan M.Bridges,Rayford B.Vaughn,A Fuzzy DataMining And Genetic Algorithms Applied To Intrusion Detection,2000；杨天奇，一种基于模糊逻辑规则的数据挖掘方法，2003；关晓蔷，钱宇华.基于不完备信息系统的决策树生成算法,2013)、遗传算法(张会敏，叶明全，孟婷玮等，遗传算法优化BP神经网络的老年痴呆症智能诊断，2014)、粗糙集理论(C.Lee,C.P.Lam,M.Masek；Rough-Fuzzy HybridApproach for Identification of Bio-markers and Classification on Alzheimer'sDisease Data,2011)和支持向量机(Christopher J.C.Burges，A Tutorial on SupportVector Machines for Pattern Recognition，1998；张学工，关于统计学习理论与支持向量机，2000；)等手段构建认知检测模型和康复评定模型，对测试者的认知能力进行检测和评估，检测和评估的结果可由上述打印报告模块进行打印。
实施例2 本发明多模态认知检测与康复系统训练方法如下：
文字识别用于对测试者的文字理解能力进行测试和训练，参见图7，在训练过程中，测试者需要根据屏幕上出现的文字提示选出对应的图片，并要求测试者尽快按下按键装置400中按键模块420中与小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。
反应力测试用于对测试者的反应力进行训练，以提高其反应力。参见图8，在训练过程中，当屏幕上出现某种颜色的小球时，要求测试者尽快按下按键装置400中按键模块420中与小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。
参见图9和图10，无意义图形再认用于训练测试者的记忆力，即：识记、保持和重现客观事物所反映的内容和经验的能力。在训练过程中，测试者首先要牢记屏幕中出现的五个目标图形，然后在接下来出现的十个图形中将所有的目标图形全部找出，并按下按键装置400的按键模块430中对应编号的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。
参见图11，人物识别用于对测试者的记忆力进行测试和训练。在训练过程中，测试者需根据语音或者文字提示从几张图片中选出常见的人物类型，并按下按键装置400中按键模块420中与所选图片下小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。
参见图12，理解力测试用于对测试者的理解力和分析能力进行测试和训练。在训练过程中，测试者需根据语音或者文字提示从远景图片、近景图片以及人物图片中选出符合要求的图片，并按下按键装置400的按键模块420中与所选图片下小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。
参见图13，双手调节测试中，测试者通过操作两个旋钮使小球按照预定轨迹运动，从而对测试者双手调节能力进行训练，同时，测试者的轨迹偏离次数、完成时间和脑电信息将被记录。
参见图14，操作能力测试中，测试者通过操作两个摇杆来控制两个小球的运动，从而对测试者双手操作能力进行训练。在训练过程中，要求测试者左右手同时分别操作一个摇杆，将小球1沿轨迹移动至小球2所在的位置，将小球2沿轨迹移动至小球1所在的位置，同时，测试者的轨迹偏离次数、完成时间和脑电信息将被记录。
参见图15和图16，表情识别用于训练测试者的理解力、判断力、表情复制能力以及反应能力。在训练过程中，要求测试者根据语音或者文字提示从所给的表情图片中选出与之相符的表情图片，并尽快按下按键装置400中按键模块420中与小球颜色相同的按键；或者复制屏幕中出现的表情动作，主机100将通过视频录入装置700采集测试者的表情信息，并对其进行判断。同时，测试者的反应时间、正确次数、准确率和脑电信息将被记录。
参见图17和18，迷宫用于检测和训练测试者的视空间能力。在训练过程中，要求测试者首先观察给出的迷宫和路径，待路径消失后，在带触摸功能的显示装置(触摸屏)200上开始进行走迷宫操作，同时，测试者的准确率、错误盲端次数以及训练过程中的脑电信息将被记录。
参见图19、图20和图21，在视觉追踪训练中，测试者通过双眼追踪屏幕上的小球来进行理解力、判断力、注意力的测试和训练。在训练过程中，要求测试者根据语音或者文字提示从屏幕中出现的多个不同颜色的小球中寻找某个特定颜色的小球或者使视线跟随屏幕中的小球移动。同时，测试者的反应时间、正确率、吻合率以及训练过程中的脑电信息将被记录。
尽管上面对本发明的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (7)

1.一种多模态认知检测与康复系统装置，包括主机(100)、带触摸功能的显示装置触摸屏(200)、视频录入装置(700)和脑电采集装置(900)，其特征在于，所述多模态认知检测与康复系统装置还包括播音装置(300)，按键装置(400)、旋钮装置(500)、摇杆装置(600)、视觉追踪装置(800)以及IC卡读卡器(1000)；所述带触摸功能的显示装置触摸屏(200)与主机VGA接口(101)以及USB接口Ⅰ连接；所述播音装置(300)与主机音频接口(102)连接；所述按键装置(400)与主机通过串口Ⅲ连接；所述旋钮装置(500)与主机通过串口Ⅰ连接、所述摇杆装置(600)与主机通过串口Ⅱ连接；所述视频录入装置(700)与主机通过USB接口Ⅱ连接；所述视觉追踪装置(800)与主机通过USB接口Ⅲ连接、所述脑电采集装置(900)与主机通过USB接口Ⅴ连接；所述IC卡读卡器(1000)通过USB接口Ⅳ与主机(100)相连，用于资料录入、信息查询以及快速登录；所述主机(100)内设置多模态认知检测与康复系统总模块；所述主机(100)内设置的多模态认知检测与康复系统总模块，包括用于登陆多模态认知检测与康复系统的登陆界面模块(110)和系统主界面模块(120)；所述登陆界面模块(110)具有用户名输入框(111)和密码输入框(112)，用户在用户名输入框(111)中输入用户名，在密码输入框(112)内输入登陆密码，单击登陆按钮(113)即可进入多模态认知检测与康复系统主界面，单击退出按钮(114)即可关闭并退出多模态认知检测与康复系统；所述系统主界面模块(120)的中心位置设有训练选择模块(121)，训练选择模块下端设置认知检测模块(122)、打印模块(123)和退出模块(124)，所述认知检测模块(122)、打印模块(123)和退出模块(124)位于同一行；所述训练选择模块(121)中设置有所有训练项目选择按钮，其中第一排依次设置有反应力测试按钮(121a)、无意义图形再认按钮(121b)、人物识别按钮(121c)，第二排依次设置有文字识别按钮(121d)、理解力测试按钮(121e)、双手调节按钮(121f)，第三排依次设置有操作能力测试按钮(121g)、表情识别按钮(121h)、迷宫按钮(121i)，第四排依次设置有视觉追踪按钮(121j)；所述训练选择模块(121)中的每一个训练项目均设置有训练内容显示区(121da)、参数显示区(121db)、开始测试按钮(121dc)、保存结果按钮(121dd)、返回按钮(121de)；所述训练内容显示区(121da)用于显示训练内容；所述参数显示区(121db)用于显示训练过程中的相关参数；所述相关参数包括专注度、反应时间和正确率。
2.根据权利要求1所述一种多模态认知检测与康复系统装置，其特征在于，所述按键装置(400)包括Arduino单片机Ⅰ、按键模块Ⅰ以及按键模块Ⅱ；所述按键模块Ⅰ从左至右设置有A黄色、B红色、C绿色按键各一个，依次与Arduino单片机Ⅰ上模拟输入输出端口模块(412)中的端口14、15、16相连，所述按键模块Ⅱ设置两排共10个按键，其中第一排从左至右依次设置有编号1、2、3、4、5的5个按键，第二排从左至右依次设置有编号6、7、8、9、10的5个按键，按键模块Ⅱ中的10个按键依次连接到Arduino单片机Ⅰ上模拟输入输出端口模块Ⅰ中的输入输出端口3、4、5、6、7、8、9、10、11、12；Arduino单片机Ⅰ扫描按键状态并通过串口Ⅳ将按键状态信息打包发送至主机(100)，测试者按下按键进行选择，以实现训练过程中的交互。
3.根据权利要求1所述一种多模态认知检测与康复系统装置，其特征在于，所述旋钮装置(500)包括Arduino单片机Ⅱ、旋转电位器Ⅰ和旋转电位器Ⅱ，所述旋转电位器Ⅱ位于旋转电位器Ⅰ的右侧；所述旋转电位器Ⅰ和旋转电位器Ⅱ的引脚分别连接到Arduino单片机Ⅱ上模拟输入模拟输出端口模块Ⅱ中的端口A0、A1；所述Arduino单片机Ⅱ将来自旋转电位器Ⅰ和旋转电位器Ⅱ的模拟电压信号转换成数字信号后，打包通过串口Ⅴ发送给主机(100)；所述的旋转电位器Ⅰ和旋转电位器Ⅱ分别用于在训练中控制小球的水平以及垂直运动方向。
4.根据权利要求1所述一种多模态认知检测与康复系统装置，其特征在于，所述摇杆装置(600)包括Arduino单片机Ⅲ、摇杆Ⅰ和摇杆Ⅱ，所述摇杆Ⅱ位于摇杆Ⅰ的右侧；所述摇杆Ⅰ和摇杆Ⅱ的引脚分别连接到Arduino单片机Ⅲ上模拟输入输出端口模块Ⅲ中的端口A0、A1、A2、A3、A4；所述Arduino单片机Ⅲ将来自两个摇杆的模拟电压信号转换成数字信号后打包通过串口Ⅵ发送给主机(100)，所述的摇杆Ⅰ和摇杆Ⅱ分别用于在训练中控制两个不同小球的运动方向。
5.根据权利要求1所述一种多模态认知检测与康复系统装置，其特征在于，所述视频录入装置(700)为通过USB接口Ⅱ与主机(100)相连的摄像头，用于采集测试者的图像信息。
6.根据权利要求1所述一种多模态认知检测与康复系统装置，其特征在于，所述视觉追踪装置(800)为通过USB接口Ⅲ与主机(100)相连的视觉追踪仪，用于记录测试者视线位置并将其映射为屏幕坐标。
7.根据权利要求1所述一种多模态认知检测与康复系统装置，其特征在于，所述脑电采集装置(900)包括脑电采集模块(910)、蓝牙接收器(920)以及通过3D打印的头套；所述脑电采集模块(910)包括蓝牙发射装置(911)以及脑电采集单元(912)，脑电采集模块(910)被固定安装在头套上，测试者通过佩戴头套便可进行脑电信息的采集，所采集的脑电信息通过脑电采集模块(910)中的蓝牙发射装置(911)发送，通过与主机(100)上USB接口Ⅴ的蓝牙接收器(920)进行接收。
CN201610513354.5A 2016-07-01 2016-07-01 一种多模态认知检测与康复系统装置 Active CN106176009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610513354.5A CN106176009B (zh) 2016-07-01 2016-07-01 一种多模态认知检测与康复系统装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610513354.5A CN106176009B (zh) 2016-07-01 2016-07-01 一种多模态认知检测与康复系统装置

Publications (2)

Publication Number Publication Date
CN106176009A CN106176009A (zh) 2016-12-07
CN106176009B true CN106176009B (zh) 2019-09-03

Family

ID=57463213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610513354.5A Active CN106176009B (zh) 2016-07-01 2016-07-01 一种多模态认知检测与康复系统装置

Country Status (1)

Country Link
CN (1) CN106176009B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11850055B2 (en) * 2017-04-28 2023-12-26 Maxell, Ltd. Electroencephalographic data analysis system, information processing terminal, electronic device, and method of presenting information for dementia examination
CN108744220B (zh) * 2018-03-14 2021-07-09 青岛同昌康复设备科技有限公司 一种基于3d打印技术的多感官训练系统
CN108665962A (zh) * 2018-04-17 2018-10-16 上海大学 一种数字化神经心理测验系统和方法
JP7126851B2 (ja) * 2018-04-23 2022-08-29 株式会社ニューコム 認知機能評価装置
CN109091113A (zh) * 2018-08-31 2018-12-28 广西中医药大学第附属医院 一种轻度认知障碍诊断装置及数据处理装置
CN108888949A (zh) * 2018-09-17 2018-11-27 龙岩学院 一种基于Arduino的游戏互动装置及方法
CN109589122B (zh) * 2018-12-18 2022-02-15 中国科学院深圳先进技术研究院 一种认知能力测评系统及方法
CN109793499A (zh) * 2019-01-16 2019-05-24 同方健康科技（北京）股份有限公司 记忆能力测试仪及记忆能力测试方法
CN111723824A (zh) * 2019-03-18 2020-09-29 北京木牛领航科技有限公司 基于微动探测技术和神经网络算法的生物特征识别方法
CN110942812A (zh) * 2019-04-24 2020-03-31 上海大学 自动化认知功能评估系统
CN111419274A (zh) * 2020-04-01 2020-07-17 青岛大学附属医院 一种蓝牙超声设备
CN113539489A (zh) * 2020-11-13 2021-10-22 厦门市和家健脑智能科技有限公司 用于评估视觉注意力的人机交互方法和装置
CN113191470A (zh) * 2021-05-07 2021-07-30 深圳市中幼强脑教育科技有限公司 课堂内脑电数据采集系统中快速身份绑定方法
CN113425293B (zh) * 2021-06-29 2022-10-21 上海交通大学医学院附属新华医院 一种听觉失认障碍评估系统及方法
CN114366033A (zh) * 2022-01-29 2022-04-19 上海赛增医疗科技有限公司 认知能力测试终端、方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101779960A (zh) * 2010-02-24 2010-07-21 沃建中 刺激信息认知能力值测试系统及其方法
CN102039031A (zh) * 2010-12-28 2011-05-04 华中科技大学 基于虚拟现实的手部多功能康复系统
CN104248441A (zh) * 2013-06-25 2014-12-31 常州市建本医疗康复器材有限公司 认知康复训练系统
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101524267A (zh) * 2008-03-04 2009-09-09 黄林 用于检查个人身心健康的综合评测系统及方案
CN201227465Y (zh) * 2008-06-03 2009-04-29 吴剑波 多路径便携式心理情绪调节及智力潜能激发仪
CN203280976U (zh) * 2013-04-15 2013-11-13 福建中医药大学 应用于认知康复训练系统的可移动摇杆
CN104267818A (zh) * 2014-09-29 2015-01-07 陕西高新实业有限公司 一种新型中文输入虚拟键盘系统
CN204759525U (zh) * 2015-06-30 2015-11-11 长春大学 一种应用体感互动模式的康复训练系统
CN205054234U (zh) * 2015-10-19 2016-03-02 昆明医科大学 一种针对行人进行神经认知功能检测的手腕穿戴设备
CN105280044B (zh) * 2015-11-17 2018-03-20 东南大学 一种面向孤独症谱系障碍儿童的智能教学系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101779960A (zh) * 2010-02-24 2010-07-21 沃建中 刺激信息认知能力值测试系统及其方法
CN102039031A (zh) * 2010-12-28 2011-05-04 华中科技大学 基于虚拟现实的手部多功能康复系统
CN104248441A (zh) * 2013-06-25 2014-12-31 常州市建本医疗康复器材有限公司 认知康复训练系统
CN105279387A (zh) * 2015-11-17 2016-01-27 东南大学 一种面向孤独症谱系障碍儿童的执行功能评测与训练系统

Also Published As

Publication number Publication date
CN106176009A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106176009B (zh) 一种多模态认知检测与康复系统装置
US6503085B1 (en) Use of virtual reality and desk top computer formats to diagnose executive dysfunctions
US6053739A (en) Measurement of attention span and attention deficits
Olson et al. Perceptual constraints on implicit learning of spatial context
Heyes et al. Motor learning by observation: evidence from a serial reaction time task
CN102388412B (zh) 用于评定医疗超声成像操作员的资格的系统和方法
CN108665962A (zh) 一种数字化神经心理测验系统和方法
Wilkinson et al. Eye-tracking measures reveal how changes in the design of aided AAC displays influence the efficiency of locating symbols by school-age children without disabilities
Mehigan et al. Using eye tracking technology to identify visual and verbal learners
KR20120139950A (ko) 선천적 및 후천적 통합 적성검사 시스템
JP2002253509A (ja) 脳機能検査方法とその装置、脳機能検査システム、脳機能検査サービス方法及びそのプログラムと装置
JP2006218065A (ja) 認知課題反応計測システムおよび認知課題反応計測方法
US9355366B1 (en) Automated systems for improving communication at the human-machine interface
US11317849B2 (en) Virtual reality device for diagnosis of nerve disorder, system and method for thereof
Jones et al. Is the mind inherently forward looking? Comparing prediction and retrodiction
CN103251418A (zh) 一种图像认知心理分析系统
CN110942812A (zh) 自动化认知功能评估系统
Tu et al. Attentional control is a stable construct in infancy but not steadily linked with self-regulatory functions in toddlerhood.
Albright et al. Visual neuroscience for architecture: Seeking a new evidence‐based approach to design
Luongo et al. The design of a game-based software for children with autism spectrum disorder
JPH03264055A (ja) 知能診査装置並びに該装置の機能を備えた診断システム
Wang et al. Assessing user mental workload for smartphone applications with built-in sensors
Girouard Adaptive brain-computer interface
Sapkota et al. Manual tapping enhances visual short‐term memory performance where visual and motor coordinates correspond
CN114177470A (zh) 一种自闭症儿童康复训练虚拟现实系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant