CN111513991B - 基于人工智能技术的主动式手部全指康复设备 - Google Patents

基于人工智能技术的主动式手部全指康复设备 Download PDF

Info

Publication number
CN111513991B
CN111513991B CN202010481482.2A CN202010481482A CN111513991B CN 111513991 B CN111513991 B CN 111513991B CN 202010481482 A CN202010481482 A CN 202010481482A CN 111513991 B CN111513991 B CN 111513991B
Authority
CN
China
Prior art keywords
electroencephalogram
rehabilitation
user
training
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010481482.2A
Other languages
English (en)
Other versions
CN111513991A (zh
Inventor
高忠科
芮林格
马文庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Original Assignee
Tianjin Furuilong Metal Products Co ltd
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Furuilong Metal Products Co ltd, Tianjin University filed Critical Tianjin Furuilong Metal Products Co ltd
Priority to CN202010481482.2A priority Critical patent/CN111513991B/zh
Publication of CN111513991A publication Critical patent/CN111513991A/zh
Application granted granted Critical
Publication of CN111513991B publication Critical patent/CN111513991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285—Hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/16—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for hands or fingers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12—Driving means
    • A61H2201/1238—Driving means with hydraulic or pneumatic drive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00—Devices for specific parts of the body
    • A61H2205/06—Arms
    • A61H2205/065—Hands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0009—Computerised real time comparison with previous movements or motion sequences of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0065—Evaluating the fitness, e.g. fitness level or fitness index
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0096—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load using performance related parameters for controlling electronic or video games or avatars

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Evolutionary Computation (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于人工智能技术的新型主动式手部全指康复设备，包括有依次连接的便携式脑电采集设备、生理状态分析模块和手部康复设备，脑控主动训练界面和辅助脑控训练界面均无线连接生理状态分析模块，使用者通过脑控主动训练界面或辅助脑控训练界面选择所需的手部康复训练模式，便携式脑电采集设备用于采集使用者的脑电信号；生理状态分析模块接收脑电信号，并结合迁移学习，智能识别使用者选择的康复动作送入脑控主动训练界面或辅助脑控训练界面进行显示，以及送入手部康复设备，手部康复设备根据生理状态分析模块识别的使用者选择的康复动作，做出对应的手指或手掌动作，帮助使用者进行手部运动。本发明能够协助使用者完成康复训练。

Description

基于人工智能技术的主动式手部全指康复设备
技术领域
本发明涉及一种手部智能康复系统。特别是涉及一种基于人工智能技术的新型主动式手部全指康复设备。
背景技术
我国现有脑卒中患者数量巨大，原因多样，范围广泛。脑卒中发作后，会引起发病血管所供应的脑区受损，导致单侧或双侧肢体无力。患者需要进行积极的运动康复训练才有希望恢复受损的手部运动功能。此外，对于一些手部骨折或进行过断肢手术的患者，也需要进行康复训练来恢复手部功能。康复训练的要点在于恢复脑部意识与手部动作的自然同步，因此需要结合人脑的意识信号来配合手部的康复动作。脑电图(EEG)记录大脑皮层的活动，是大脑皮层脑神经细胞活动的总体反映，其中包含了大量的生理和病理信息，体现了人脑的活动状态和思维情况。脑电信号检测技术可以识别患者当前想要进行的康复动作，驱动康复设备协助患者完成动作，加快康复速度。
便携式脑电采集系统相比于医疗机构的传统脑电采集仪器，在保证采集精度，采集速度满足要求的条件下，具有极小的体积与质量，工作条件要求低，大幅提高了易携性，在脑机接口设备中获得了广泛的应用。尤其是在患者不能长期住院的条件下，便携式脑电采集系统可以为患者提供进行居家脑电监控的条件，为一些需要持续监视脑电变化的病症提供了便利。便携式脑电采集系统的核心芯片一般包括控制芯片和A/D转换芯片。FPGA(Field Programmable Gate Array)，即现场可编程门阵列，是控制芯片的一种，它是在PAL、GAL、 CPLD等可编程器件的基础上进一步发展的产物。相比于其他片上SOC系统，FPGA以逻辑单元阵列LCA为核心，具有优越的并行处理能力，打破了顺序执行的模式，能在每个时钟周期内完成更多的处理任务。因此，FPGA满足脑电信号采集系统高精度、高稳定性、高运算能力的要求，片上硬件资源也足以实现脑电信号实时采集所需要的功能。
脑电信号数据具有数量大，特征多，变化快的特点，在完成数据采集后如果进行人为分析往往会浪费掉大量时间，并且会遗漏掉某些重要信息。近年来，许多利用机器对数据进行智能分析的方法获得了越来越多研究人员的青睐。频域分析法是脑电信号研究领域的一种常见方法。脑电信号可以表示为不同频率的正弦信号的合成。通过将脑电信号数据进行频域转换，可以获得许多在时域条件下不能获得的信息。机器学习作为一种人工智能方法，在处理大数据信息上有着很强的优越性，而代表机器学习最先进理论的深度学习(deeplearning)在脑电信号的研究中获得了广泛的普及。深度学习是一种端到端的学习方法，它可以直接从输入中提取更深层次的内在表征。到目前为止，已有许多深度学习的体系结构被提出并应用于脑电分析、医疗影像、康复训练等领域。尤其是卷积神经网络(CNN)是一种强大的深度学习框架。通过设置合适的卷积核，CNN能够从样本数据中提取各种潜在的特征。为了获得更好的结果，提出了具有更多层、更多连接和更详细卷积的相关模型。
发明内容
本发明所要解决的技术问题是，提供一种能够对手部动作意图有效辨识，实现手部康复训练功能的基于人工智能技术的新型主动式手部全指康复设备。
本发明所采用的技术方案是：一种基于人工智能技术的新型主动式手部全指康复设备，包括脑控主动训练界面和辅助脑控训练界面，还设置有依次连接的便携式脑电采集设备、生理状态分析模块和手部康复设备，所述脑控主动训练界面和辅助脑控训练界面均无线连接生理状态分析模块，使用者通过所述的脑控主动训练界面或辅助脑控训练界面选择所需的手部康复训练模式，所述的便携式脑电采集设备用于采集使用者的脑电信号；所述的生理状态分析模块接收脑电信号，并结合迁移学习，智能识别使用者选择的康复动作送入脑控主动训练界面或辅助脑控训练界面进行显示，以及送入手部康复设备，所述的手部康复设备根据生理状态分析模块识别的使用者选择的康复动作，做出对应的手指或手掌动作，帮助使用者进行手部运动。
一种基于人工智能技术的新型主动式手部全指康复设备，应用包括如下步骤：
1)使用者在康复训练前，通过脑控主动训练界面选择想要进行的康复模式；
2)使用者在进入康复模式后选择想要进行的康复动作；
3)通过便携式脑电采集设备采集使用者脑电信号；
4)利用生理状态分析模块对采集到的脑电信号进行判断，识别使用者想要进行的康复动作；
5)康复气动手进行动作变化，帮助使用者进行手部运动康复。
本发明的基于人工智能技术的新型主动式手部全指康复设备，能够实现对EEG脑电信号的准确获取、有效辨识和正确分类，通过识别使用者的动作意图，驱动手部康复设备做出相应动作，协助使用者完成康复训练。
附图说明
图1是本发明基于人工智能技术的新型主动式手部全指康复设备构成框图；
图2是本发明中便携式脑电采集设备构成框图；
图3是本发明中脑控主动训练界面的构成框图
图4是本发明中脑控主动训练模式的动作选择界面；
图5是本发明中脑控主动训练模式的动作播放界面；
图6是本发明中辅助脑控训练模式的提示界面；
图7是本发明中机载主动训练模式的动作选择界面；
图8是本发明中机载主动训练模式的动作播放界面；
图9a是本发明中基于迁移学习的深度学习分析方法中预训练的框图；
图9b是本发明中基于迁移学习的深度学习分析方法中参数微调的框图；
图10是本发明中基于迁移学习的深度学分析方法下深度卷积神经网络的结构图；
图11是本发明中频域分析法的方法框图；
图12是本发明中辨识强化神经网络的结构图；
图13是本发明中认知强化深度卷积神经网络的结构图；
图14是本发明中手部康复设备的构成框图；
图15是本发明基于便携式脑电采集设备的手部智能康复系应用示意图。
具体实施方式
下面结合实施例和附图对本发明的基于人工智能技术的新型主动式手部全指康复设备做出详细说明。
如图1所示，本发明的基于人工智能技术的新型主动式手部全指康复设备，包括脑控主动训练界面1和辅助脑控训练界面2，还设置有依次连接的便携式脑电采集设备3、生理状态分析模块4和手部康复设备5，所述脑控主动训练界面1和辅助脑控训练界面2均无线连接生理状态分析模块4，使用者通过所述的脑控主动训练界面1或辅助脑控训练界面2选择所需的手部康复训练模式，所述的便携式脑电采集设备3用于采集使用者的脑电信号；所述的生理状态分析模块4接收脑电信号，并结合迁移学习，智能识别使用者选择的康复动作送入脑控主动训练界面1或辅助脑控训练界面2进行显示，以及送入手部康复设备5，所述的手部康复设备5根据生理状态分析模块4识别的使用者选择的康复动作，做出对应的手指或手掌动作，帮助使用者进行手部运动。
如图2所示，本发明所述的便携式脑电采集设备3包括有：依次连接的用于采集EEG脑电信号的脑电极帽及其转接线31、用于脑电信号放大和转换的生物电信号采集模块32、用于控制生物电信号采集模块32的FPGA处理器33和用于传输EEG脑电信号的WIFI无线数据传输电路34，以及分别连接生物电信号采集模块32和FPGA处理器33的电源电路35，其中，所述的脑电极帽及其转接线31中的脑电极帽采集使用者不同脑区的EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块12相连接，用于生物电信号的采集和传输；
所述的生物电信号采集模块32是由数片集成了用于接收脑电帽采集的电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器PGA和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器ADC的生物电信号采集芯片组成；
所述的FPGA处理器33用于调整生物电信号采集模块32的采集模式与参数和控制WIFI 无线数据传输电路34的传输模式与速度；
所述的WIFI无线数据传输电路34的输出连接所述生理状态分析模块4的输入端，工作在Soft AP模式，最高传输速率54Mbps，将脑电信号数据向生理状态分析模块4传输；
所述的电源电路35，输入电压为5V，由锂电池进行供电，通过电压转换模块提供系统不同芯片的工作电压。
所述便携式脑电采集设备3获取使用者对应于脑电极帽的A1，T5，O1，FP1，FCz，Oz，C4，P4，P3，C3，Fz，Cz，Pz，FP2，O2，T6共十六个电极的EEG脑电信号；脑电极帽的电极分布符合10/20国际标准导联。
本发明所述的脑控主动训练界面1如图3所示，包括有：依次连接的用于显示图像的显示屏13、用于与生理状态分析模块4进行数据传输的WIFI模块11、用于控制显示屏13和WIFI模块11工作的FPGA处理器12，所述辅助脑控训练界面2包括依次连接的用于显示图像的PC端显示屏、用于与生理状态分析模块4进行数据传输的WIFI模块、用于控制显示屏和WIFI模块工作的PC端CPU处理器。
本发明所述脑控主动训练界面1和辅助脑控训练界面2共有三种康复模式供使用者选择，每种康复模式包含9个手部康复动作，如下所示：
(1)9个康复动作分别为：屈曲、伸展、二指捏、三指捏、弯大拇指、弯食指、弯中指、弯无名指和弯小拇指；
(2)用于使用者选择的脑控主动训练模式分为初级模式和高级模式，其中，
如图4所示，包括所述的初级模式下使用者每次从9个康复动作中选择2个动作进行训练，如图5所示，在训练时，脑控主动训练界面依次出现这2个动作的连续动作影像，使用者根据影像提示在脑内进行相同动作的想象，来激发运动想象脑电信号；便携式脑电采集设备3采集使用者当前的运动想象脑电信号，生理状态分析模块4根据运动想象脑电信号智能识别使用者想象的动作，送入脑控主动训练界面1和辅助脑控训练界面2进行显示，以及驱动手部康复设备5做出对应动作；
如图6所示，所述的高级模式下使用者每次从9个康复动作中选择4个动作进行训练，在训练时，脑控主动训练界面依次出现这4个动作的连续动作影像，使用者根据影像提示在脑内进行相同动作的想象，来激发运动想象脑电信号；便携式脑电采集设备3采集使用者当前的运动想象脑电信号，生理状态分析模块4根据运动想象脑电信号智能识别使用者想象的动作，送入脑控主动训练界面1和辅助脑控训练界面2进行显示，以及驱动手部康复设备5 做出对应动作；
(3)使用者选择辅助脑控训练模式，该模式下每次从9个康复动作中选择4个动作进行训练，如图7所示，在训练时，脑控主动训练界面(1)提示使用者使用辅助脑控训练界面5 进行训练，辅助脑控训练界面2上显示使用者选择的4个动作的图片，该四张图片以12Hz、14Hz、16Hz和18Hz四种不同频率显示；使用者对每一个图片进行持续性注视来激发SSVEP脑电信号，便携式脑电采集设备3采集使用者当前的SSVEP脑电信号，生理状态分析模块4智能识别使用者当前注视的图片，驱动辅助脑控训练界面2显示该图片对应的连续动作影像，使用者根据影像的提示进行脑内动作想象，便携式脑电采集设备3采集使用者当前的运动想象脑电信号，生理状态分析模块4根据运动想象脑电信号智能识别使用者想象的动作，驱动手部康复设备5做出对应动作；
(4)使用者选择机载主动训练模式，如图8所示，使用者在脑控主动训练界面直接选择想要进行的康复动作和训练时长，脑控主动训练界面直接驱动手部康复设备4做出对应动作。
所述生理状态分析模块4共有两种脑电分析方法，一种是基于迁移学习的深度学习分析方法，针对脑控主动训练界面1中脑控主动训练模式下的运动想象脑电信号，一种是频域分析方法，针对辅助脑控训练界面2中辅助脑控训练模式下的SSVEP脑电信号。其中，
所述的基于迁移学习的深度学习分析方法如图9a、图9b所示，包括如下步骤：
1)进入预训练阶段，对多名使用者的运动想象脑电信号样本作松弛假设，即认为不同使用者之间的信号差别与同一使用者内不同样本之间的信号差别相同；
2)对于每位使用者的运动想象脑电信号
Figure RE-GDA0002549589340000041
Li为信号长度，Ci为使用者序号；将所有的初始使用者运动想象脑电信号进行拼接，组成运动想象脑电信号序列
Figure RE-GDA0002549589340000051
3)对运动想象脑电信号序列
Figure RE-GDA0002549589340000052
进行预处理，使用巴特沃斯滤波器对运动想象脑电信号序列进行带通滤波，获得Mu频段(4～14Hz)的脑电信号
Figure RE-GDA0002549589340000053
与Beta频段(14～32Hz)的脑电信号
Figure RE-GDA0002549589340000054
4)将脑电信号
Figure RE-GDA0002549589340000055
和脑电信号
Figure RE-GDA0002549589340000056
送入深度卷积神经网络中，进行模型训练与参数调整，获得初始深度卷积神经网络模型；
如图10所示，所述的初始深度卷积神经网络模型包括两个分支，每一分支对应于使用者 Mu频段或Beta频段的脑电信号
Figure RE-GDA0002549589340000057
和脑电信号
Figure RE-GDA0002549589340000058
每一分支依次包括：
(4.1)数据输入层，输入数据为使用者Mu频段或Beta频段的脑电信号
Figure RE-GDA0002549589340000059
和脑电信号
Figure RE-GDA00025495893400000510
(4.2)第一卷积层，卷积核大小为3×3，卷积核数量为8个，卷积核选择ReLU作为激活函数；
(4.3)第二卷积层，卷积核大小为5×5，卷积核数量为4个，卷积核选择ReLU作为激活函数；
(4.4)第一批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(4.5)第一最大池化层，池化核大小为2×2；
(4.6)第三卷积层，卷积核大小为5×5，卷积核数量为12个，卷积核选择ReLU作为激活函数；
(4.7)第二批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(4.8)第二最大池化层，池化核大小为2×2；
(4.9)第四卷积层，卷积核大小为5×5，卷积核数量为12个，卷积核选择ReLU作为激活函数；
(4.10)第三批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(4.11)第三最大池化层，池化核大小为2×2；
(4.12)第五卷积层，卷积核大小为3×3，卷积核数量为8个，卷积核选择ReLU作为激活函数
(4.13)第四批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(4.14)第四最大池化层，池化核大小为2×2；
(4.15)一个Flatten层，用于将多维的输入一维化；
(4.16)一个全连接层，选择ReLU作为激活函数，选择L2范数作为正则化项，L2范数设置为0.0005；
(4.17)将两个分支的全连接层的输出进行串联构成串联层，将所述的串联层与一个分类层相连，所述分类层的输出即为生理状态分析模块(2)输出的康复动作的识别结果。
分类层输出的康复动作的识别结果，是屈曲、伸展、二指捏、三指捏、弯大拇指、弯食指、弯中指、弯无名指和弯小拇指共9个康复动作中的一个。
5)对每位使用者的运动想象脑电信号
Figure RE-GDA0002549589340000061
分别进行预处理，使用巴特沃斯滤波器对运动想象脑电信号进行带通滤波，获得Mu频段(4～14Hz)的脑电信号
Figure RE-GDA0002549589340000062
和Beta频段(14～32Hz) 的脑电信号
Figure RE-GDA0002549589340000063
6)进入参数微调阶段，将每位使用者预处理后的脑电信号
Figure RE-GDA0002549589340000064
和脑电信号
Figure RE-GDA0002549589340000065
依次送入初始深度卷积神经网络模型，利用Keras对初始深度卷积神经网络模型进行全监督训练，模型学习率设为0.005，共进行500周期的循环训练，Batchsize大小为600，对初始深度卷积神经网络模型进行模型参数微调，分别获得每个人的特有深度卷积神经网络模型；所述特有深度卷积神经网络模型的输出即为生理状态分析模块(2)输出的康复动作识别结果。
所述的频域分析方法如图11所示，具体包括如下步骤：
1)对于每个使用者的长度为L的SSVEP脑电信号时间序列{x(i)，i＝1，2，3…L}进行预处理；
将所述的SSVEP脑电信号时间序列分割为M个不重叠的等长时移窗口序列：
ym＝[x((m-1)N+j)，m＝1，2，.....，M，j＝1，2，......N]
其中，M代表窗口数，N代表窗口长度，m表示窗口序号，ym表示窗口序号m对应的时移窗口序列；
对时移窗口序列ym进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰；
2)对于每段时移窗口序列ym，使用快傅里叶变换算法进行频域转换，将时域数据表示的时移窗口序列ym转换为频域数据表示的时移窗口序列yk：
Figure RE-GDA0002549589340000066
其中，T代表采样点数量，WT表示复数变换值，k表示对应的正弦波频率值；
3)对于频域数据表示的时移窗口序列yk，使用遍历最大值法对0-60Hz内的频率点进行遍历，寻找具有最大幅值的频率点；
4)将所述的频率点对应的频率分别与12Hz、14Hz、16Hz和18Hz进行对比，将距离最近的频率点所对应的动作视为当前使用者的意图动作。
所述的生理状态分析模块4针对辅助脑控训练模式下的SSVEP脑电信号的频域分析法，会因某些使用者的特殊情况或特殊状态导致识别精度较低，需要使用辨识强化神经网络方法和认知强化深度卷积神经网络方法提升康复动作的识别结果的准确率。
频域分析法在某些使用者身上会获得非常低的分辨精度，所述脑电信号辨识精度非常低的使用者一般分类识别精度小于70％，是由于使用者的SSVEP脑电信号中含有的与任务有关的信息较少或者有效信息被伪影淹没，因此在特定的康复模式中的表现要更为“迟钝”，不能有效地利用特定的康复模式来进行康复训练，此时可以采用辨识强化神经网络方法以提高脑电信号辨识精度非常低的使用者的分类准确率，所述的辨识强化神经网络方法具体包括：
1)通过便携式脑电采集设备采集辨识精度小于70％的使用者5秒的SSVEP脑电信号，舍弃掉前1秒的SSVEP脑电信号，变为4秒的SSVEP脑电信号，对4秒的SSVEP脑电信号进行预处理，预处理方法是将所述的SSVEP脑电信号时间序列分割为M个不重叠的等长时移窗口序列：
ym＝[x((m-1)N+j)，m＝1，2，.....，M，j＝1，2，......N]
其中，M代表窗口数，N代表窗口长度，m表示窗口序号，ym表示窗口序号m对应的时移窗口序列；
对时移窗口序列ym进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰；
2)通过快速傅里叶变换算法对SSVEP脑电信号的各个电极通道求取θ频带为4-7Hz、α频带为8-13Hz、β频带为13-30Hz，共三个频带的平均功率，并作为电极通道的测量值；
3)分别将每个电极通道的测量值映射为二维彩色脑电信号图像；具体包括：
(3.1)通过等距方位投影将电极通道的三维坐标转换成二维坐标，三维坐标系的投影中心到二维坐标系的其他点的距离都保持不变，以保持电极通道之间的相对距离；
(3.2)利用Clough-Tocher插值法将全部电极通道的平均功率测量值映射为二维灰度脑电信号图像，该二维灰度脑电信号图像保持了SSVEP脑电信号中蕴含的空间结构信息和频域信息；
(3.3)对θ、α和β三个不同的频带重复第(3.1)～第(3.2)步的图像映射过程，得到θ、α和β三个频带的二维灰度脑电信号图像；
(3.4)将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像。
4)将二维彩色脑电信号图像输入辨识强化神经网络进行特征提取与分类，辨识强化神经网络结合卷积神经网络与长短时记忆模型能够提取SSVEP脑电信号中的时-空深度特征。所述的辨识强化神经网络是由卷积神经网络模型和长短时记忆模型共同构成，如图12所示，包括以下步骤：
(4.1)对于输入的二维彩色脑电信号图像，通过卷积神经网络模型提取各帧图像的频域和空间特征，获得特征向量；所述的卷积神经网络共包含4个分支，每一分支的输入对应于时长为1秒的SSVEP脑电信号时移窗口序列，每一分支依次包括：
(4.1.1)数据输入层，时长为1秒的SSVEP脑电信号时移窗口序列；
(4.1.2)第一卷积层，卷积核大小为5×5，卷积核数量为4个，卷积核选择ReLU作为激活函数；
(4.1.3)第一最大池化层，池化核大小为2×2；
(4.1.4)第二卷积层，卷积核大小为5×5，卷积核数量为4个，卷积核选择ReLU作为激活函数；
(4.1.5)第二最大池化层，池化核大小为2×2；
(4.1.6)第三卷积层，卷积核大小为5×5，卷积核数量为2个，卷积核选择ReLU作为激活函数；
(4.1.7)第三最大池化层，池化核大小为2×2；
(4.1.8)第四卷积层，卷积核大小为5×5，卷积核数量为1个，卷积核选择ReLU作为激活函数；
(4.1.9)第四最大池化层，池化核大小为2×2；
(4.1.10)一个Flatten层，用于将多维的输入一维化；
(4.2)按照SSVEP脑电信号时移窗口序列的排列顺序，将位于排列第一个的分支获得的特征向量输入到一个长短时记忆模块中，用于提取特征向量中的时序信息，将该输出与下一个分支的输出特征向量共同作为下一个分支中长短时记忆模块的输入；
(4.3)对每个分支的输出特征向量实施一维卷积；
(4.4)将步骤(4.3)得到的一维卷积后的输出和步骤(4.2)所述长短时记忆模型中的最后一个长短时记忆模块的输出进行整合，将整合后的输出馈送到辨识强化神经网络的全连接层中，最终送入到辨识强化神经网络的分类层进行分类。
所述的频域分析法在使用者处于疲劳状态下会大幅降低识别精度，使用者的疲劳状态是由于为完成认知任务而长时间集中注意力关注刺激目标造成的，与正常状态相比，在疲劳状态下使用者将会承受更大的认知工作量，认知能力大幅度降低，较难专注于自己的认知任务，此时采用认知强化深度卷积神经网络方法提高脑电信号辨识精度，所述的认知强化深度卷积神经网络方法具体包括：
1)通过便携式脑电采集设备采集疲劳状态下的使用者5秒的SSVEP脑电信号，舍弃掉前1秒的SSVEP脑电信号，变为4秒的SSVEP脑电信号，对4秒的SSVEP脑电信号进行预处理，预处理方法是将所述的SSVEP脑电信号时间序列分割为M个不重叠的等长时移窗口序列：
ym＝[x((m-1)N+j)，m＝1，2，.....，M，j＝1，2，......N]
其中，M代表窗口数，N代表窗口长度，m表示窗口序号，ym表示窗口序号m对应的时移窗口序列；
对时移窗口序列ym进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰；
2)使用长度为2秒的滑动窗口对长度为4秒的SSVEP脑电信号进行切分，滑动窗口的步长设置为0.25秒，经过切分得到9个长度为2秒的SSVEP脑电信号；
3)使用快速傅里叶变换算法分别对9个长度为2秒的SSVEP脑电信号进行处理，并保留前50Hz的100个频率点；
4)对数据进行归一化，加快在认知强化深度卷积神经网络的收敛速度；
5)将步骤3)得到的数据输入至认知强化深度卷积神经网络进行特征提取与分类。
所述的认知强化深度卷积神经网络，如图13所示，结构为依次连接的：
1)数据输入层，输入数据为二维彩色脑电信号图像；
2)第一卷积层，卷积核大小为4×4，卷积核数量为5个，卷积核选择ReLU作为激活函数；
3)第一最大池化层，池化核大小为2×2；
4)第二卷积层，卷积核大小为4×4，卷积核数量为4个，卷积核选择ReLU作为激活函数；
5)第二最大池化层，池化核大小为2×2；
6)第三卷积层，卷积核大小为4×4，卷积核数量为3个，卷积核选择ReLU作为激活函数；
7)第三最大池化层，池化核大小为2×2；
8)第四卷积层，卷积核大小为4×4，卷积核数量为3个，卷积核选择ReLU作为激活函数；
9)第四最大池化层，池化核大小为2×2；
8)第五卷积层，卷积核大小为4×4，卷积核数量为1个，卷积核选择ReLU作为激活函数；
9)第五最大池化层，池化核大小为2×2；
10)全连接层，选择ReLU作为激活函数，选择L2范数作为正则化项，L2范数设置为0.0005；
11)分类层，所述分类层的输出即为生理状态分析模块(2)输出的康复动作的识别结果。
所述分类层输出的康复动作的识别结果，是屈曲、伸展、二指捏、三指捏、弯大拇指、弯食指、弯中指、弯无名指和弯小拇指共9个康复动作中的一个。
如图14所示，手部康复设备4是由FPGA处理器41和康复气动手42组成，FPGA处理器41接收来自于生理状态分析模块3输出的康复动作的识别结果，根据康复动作的识别结果对应的康复动作驱动康复气动手42做出相应的动作，以协助使用者进行手部康复运动，与此同时，康复气动手42中的传感器，对使用者的手部进行自用力检测，将检测数据发送至FPGA 处理器41，FPGA处理器41根据所述的检测数据判断使用者的康复程度，以此来调节康复手的辅助力量。
如图15所示，本发明的基于人工智能技术的新型主动式手部全指康复设备的应用，包括如下步骤：
1)使用者在康复训练前，通过脑控主动训练界面选择想要进行的康复模式；
2)使用者在进入康复模式后选择想要进行的康复动作；
3)通过便携式脑电采集设备采集使用者脑电信号；
4)利用生理状态分析模块对采集到的脑电信号进行判断，识别使用者想要进行的康复动作；
5)康复气动手进行动作变化，帮助使用者进行手部运动康复。

Claims (16)

1.一种基于人工智能技术的主动式手部全指康复设备，包括脑控主动训练界面(1)和辅助脑控训练界面(2)，其特征在于，还设置有依次连接的便携式脑电采集设备(3)、生理状态分析模块(4)和手部康复设备(5)，所述脑控主动训练界面(1)和辅助脑控训练界面(2)均无线连接生理状态分析模块(4)，使用者通过所述的脑控主动训练界面(1)或辅助脑控训练界面(2)选择所需的手部康复训练模式，所述的便携式脑电采集设备(3)用于采集使用者的脑电信号；所述的生理状态分析模块(4)接收脑电信号，并结合迁移学习，智能识别使用者选择的康复动作送入脑控主动训练界面(1)或辅助脑控训练界面(2)进行显示，以及送入手部康复设备(5)，所述的手部康复设备(5)根据生理状态分析模块(4)识别的使用者选择的康复动作，做出对应的手指或手掌动作，帮助使用者进行手部运动；
所述脑控主动训练界面(1)和辅助脑控训练界面(2)共有三种康复模式供使用者选择，每种康复模式包含9个手部康复动作，如下所示：
(1)9个康复动作分别为：屈曲、伸展、二指捏、三指捏、弯大拇指、弯食指、弯中指、弯无名指和弯小拇指；
(2)用于使用者选择的脑控主动训练模式分为初级模式和高级模式，其中，
包括所述的初级模式下使用者每次从9个康复动作中选择2个动作进行训练，在训练时，脑控主动训练界面依次出现这2个动作的连续动作影像，使用者根据影像提示在脑内进行相同动作的想象，来激发运动想象脑电信号；便携式脑电采集设备(3)采集使用者当前的运动想象脑电信号，生理状态分析模块(4)根据运动想象脑电信号智能识别使用者想象的动作，送入脑控主动训练界面(1)和辅助脑控训练界面(2)进行显示，以及驱动手部康复设备(5)做出对应动作；
所述的高级模式下使用者每次从9个康复动作中选择4个动作进行训练，在训练时，脑控主动训练界面依次出现这4个动作的连续动作影像，使用者根据影像提示在脑内进行相同动作的想象，来激发运动想象脑电信号；便携式脑电采集设备(3)采集使用者当前的运动想象脑电信号，生理状态分析模块(4)根据运动想象脑电信号智能识别使用者想象的动作，送入脑控主动训练界面(1)和辅助脑控训练界面(2)进行显示，以及驱动手部康复设备(5)做出对应动作；
(3)使用者选择辅助脑控训练模式，该模式下每次从9个康复动作中选择4个动作进行训练，在训练时，脑控主动训练界面(1)提示使用者使用辅助脑控训练界面(2)进行训练，辅助脑控训练界面(2)上显示使用者选择的4个动作的图片，该四张图片以12Hz、14Hz、16Hz和18Hz四种不同频率显示；使用者对每一个图片进行持续性注视来激发SSVEP脑电信号，便携式脑电采集设备(3)采集使用者当前的SSVEP脑电信号，生理状态分析模块(4)智能识别使用者当前注视的图片，驱动辅助脑控训练界面(2)显示该图片对应的连续动作影像，使用者根据影像的提示进行脑内动作想象，便携式脑电采集设备(3)采集使用者当前的运动想象脑电信号，生理状态分析模块(4)根据运动想象脑电信号智能识别使用者想象的动作，驱动手部康复设备(5)做出对应动作；
(4)择机载主动训练模式，使用者在脑控主动训练界面直接选择想要进行的康复动作和训练时长，脑控主动训练界面直接驱动手部康复设备(5)做出对应动作；
所述生理状态分析模块(4)共有两种脑电分析方法，一种是基于迁移学习的深度学习分析方法，针对脑控主动训练界面(1)中脑控主动训练模式下的运动想象脑电信号，一种是频域分析方法，针对辅助脑控训练界面(2)中辅助脑控训练模式下的SSVEP脑电信号；
所述的基于迁移学习的深度学习分析方法包括如下步骤：
1)进入预训练阶段，对多名使用者的运动想象脑电信号样本作松弛假设，即认为不同使用者之间的信号差别与同一使用者内不同样本之间的信号差别相同；
2)对于每位使用者的运动想象脑电信号
Figure FDA0003589177640000021
Li为信号长度，Ci为使用者序号；将所有的初始使用者运动想象脑电信号进行拼接，组成运动想象脑电信号序列
Figure FDA0003589177640000022
3)对运动想象脑电信号序列
Figure FDA0003589177640000023
进行预处理，使用巴特沃斯滤波器对运动想象脑电信号序列进行带通滤波，获得Mu频段的脑电信号
Figure FDA0003589177640000024
与Beta频段的脑电信号
Figure FDA0003589177640000025
4)将脑电信号
Figure FDA0003589177640000026
和脑电信号
Figure FDA0003589177640000027
送入深度卷积神经网络中，进行模型训练与参数调整，获得初始深度卷积神经网络模型；
5)对每位使用者的运动想象脑电信号
Figure FDA0003589177640000028
分别进行预处理，使用巴特沃斯滤波器对运动想象脑电信号进行带通滤波，获得Mu频段(4～14Hz)的脑电信号
Figure FDA0003589177640000029
和Beta频段(14～32Hz)的脑电信号
Figure FDA00035891776400000210
6)进入参数微调阶段，将每位使用者预处理后的脑电信号
Figure FDA00035891776400000211
和脑电信号
Figure FDA00035891776400000212
依次送入初始深度卷积神经网络模型，利用Keras对初始深度卷积神经网络模型进行全监督训练，模型学习率设为0.005，共进行500周期的循环训练，Batchsize大小为600，对初始深度卷积神经网络模型进行模型参数微调，分别获得每个人的特有深度卷积神经网络模型；所述特有深度卷积神经网络模型的输出即为生理状态分析模块(4)输出的康复动作识别结果。
2.根据权利要求1所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，所述的便携式脑电采集设备(3)包括有：依次连接的用于采集EEG脑电信号的脑电极帽及其转接线(31)、用于脑电信号放大和转换的生物电信号采集模块(32)、用于控制生物电信号采集模块(32)的FPGA处理器(33)和用于传输EEG脑电信号的WIFI无线数据传输电路(34)，以及分别连接生物电信号采集模块(32)和FPGA处理器(33)的电源电路(35)，其中，所述的脑电极帽及其转接线(31)中的脑电极帽采集使用者不同脑区的EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块(32)相连接，用于生物电信号的采集和传输；
所述的生物电信号采集模块(32)是由数片集成了用于接收脑电帽采集的电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器的生物电信号采集芯片组成；
所述的FPGA处理器(33)用于调整生物电信号采集模块(32)的采集模式与参数和控制WIFI无线数据传输电路(34)的传输模式与速度；
所述的WIFI无线数据传输电路(34)的输出连接所述生理状态分析模块(4)的输入端，工作在Soft AP模式，最高传输速率54Mbps，将脑电信号数据向生理状态分析模块(4)传输；
所述的电源电路(35)，输入电压为5V，由锂电池进行供电，通过电压转换模块提供系统不同芯片的工作电压。
3.根据权利要求2所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，所述便携式脑电采集设备(3)获取使用者对应于脑电极帽的A1，T5，O1，FP1，FCz，Oz，C4，P4，P3，C3，Fz，Cz，Pz，FP2，O2，T6共十六个电极的EEG脑电信号；脑电极帽的电极分布符合10/20国际标准导联。
4.根据权利要求1所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，所述的脑控主动训练界面(1)包括有：依次连接的用于显示图像的显示屏(13)、用于与生理状态分析模块(4)进行数据传输的WIFI模块(11)、用于控制显示屏(13)和WIFI模块(11)工作的FPGA处理器(12)，所述辅助脑控训练界面(2)包括依次连接的用于显示图像的PC端显示屏、用于与生理状态分析模块(4)进行数据传输的WIFI模块、用于控制显示屏和WIFI模块工作的PC端CPU处理器。
5.根据权利要求1所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，步骤4)所述的初始深度卷积神经网络模型包括两个分支，每一分支对应于使用者Mu频段或Beta频段的脑电信号
Figure FDA0003589177640000031
和脑电信号
Figure FDA0003589177640000032
每一分支依次包括：
(4.1)数据输入层，输入数据为使用者Mu频段或Beta频段的脑电信号
Figure FDA0003589177640000033
和脑电信号
Figure FDA0003589177640000034
(4.2)第一卷积层，卷积核大小为3×3，卷积核数量为8个，卷积核选择ReLU作为激活函数；
(4.3)第二卷积层，卷积核大小为5×5，卷积核数量为4个，卷积核选择ReLU作为激活函数；
(4.4)第一批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(4.5)第一最大池化层，池化核大小为2×2；
(4.6)第三卷积层，卷积核大小为5×5，卷积核数量为12个，卷积核选择ReLU作为激活函数；
(4.7)第二批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(4.8)第二最大池化层，池化核大小为2×2；
(4.9)第四卷积层，卷积核大小为5×5，卷积核数量为12个，卷积核选择ReLU作为激活函数；
(4.10)第三批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(4.11)第三最大池化层，池化核大小为2×2；
(4.12)第五卷积层，卷积核大小为3×3，卷积核数量为8个，卷积核选择ReLU作为激活函数
(4.13)第四批量归一化层，用于加速初始深度卷积神经网络模型训练过程，减轻过拟合程度；
(4.14)第四最大池化层，池化核大小为2×2；
(4.15)一个Flatten层，用于将多维的输入一维化；
(4.16)一个全连接层，选择ReLU作为激活函数，选择L2范数作为正则化项，L2范数设置为0.0005；
(4.17)将两个分支的全连接层的输出进行串联构成串联层，将所述的串联层与一个分类层相连，所述分类层的输出即为生理状态分析模块(4)输出的康复动作的识别结果。
6.根据权利要求5所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，分类层输出的康复动作的识别结果，是屈曲、伸展、二指捏、三指捏、弯大拇指、弯食指、弯中指、弯无名指和弯小拇指共9个康复动作中的一个。
7.根据权利要求1所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，所述的频域分析方法具体包括如下步骤：
1)对于每个使用者的长度为L的SSVEP脑电信号时间序列{x(i),i＝1,2,3…L}进行预处理；
将所述的SSVEP脑电信号时间序列分割为M个不重叠的等长时移窗口序列：
ym＝[x((m-1)N+j),m＝1,2,……,M,j＝1,2,……N]
其中，M代表窗口数,N代表窗口长度，m表示窗口序号，ym表示窗口序号m对应的时移窗口序列；
对时移窗口序列ym进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰；
2)对于每段时移窗口序列ym，使用快傅里叶变换算法进行频域转换，将时域数据表示的时移窗口序列ym转换为频域数据表示的时移窗口序列yk：
Figure FDA0003589177640000041
其中，T代表采样点数量，WT表示复数变换值，k表示对应的正弦波频率值；
3)对于频域数据表示的时移窗口序列yk，使用遍历最大值法对0-60Hz内的频率点进行遍历，寻找具有最大幅值的频率点；
4)将所述的频率点对应的频率分别与12Hz、14Hz、16Hz和18Hz进行对比，将距离最近的频率点所对应的动作视为当前使用者的意图动作。
8.根据权利要求1所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，所述的生理状态分析模块(4)针对辅助脑控训练模式下的SSVEP脑电信号的频域分析法，需要使用辨识强化神经网络方法和认知强化深度卷积神经网络方法提升康复动作的识别结果的准确率。
9.根权利要求8所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，所述的辨识强化神经网络方法具体包括：
1)通过便携式脑电采集设备采集辨识精度小于70％的使用者5秒的SSVEP脑电信号，舍弃掉前1秒的SSVEP脑电信号，变为4秒的SSVEP脑电信号，对4秒的SSVEP脑电信号进行预处理，预处理方法是将SSVEP脑电信号时间序列分割为M个不重叠的等长时移窗口序列：
ym＝[x((m-1)N+j),m＝1,2,……,M,j＝1,2,……N]
其中，M代表窗口数,N代表窗口长度，m表示窗口序号，ym表示窗口序号m对应的时移窗口序列；
对时移窗口序列ym进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰；
2)通过快速傅里叶变换算法对SSVEP脑电信号的各个电极通道求取θ频带为4-7Hz、α频带为8-13Hz、β频带为13-30Hz，共三个频带的平均功率，并作为电极通道的测量值；
3)分别将每个电极通道的测量值映射为二维彩色脑电信号图像；
4)将二维彩色脑电信号图像输入辨识强化神经网络进行特征提取与分类。
10.根据权利要求9所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，步骤3)所述的将每个电极通道的测量值映射为二维彩色脑电信号图像，具体包括：
(3.1)通过等距方位投影将电极通道的三维坐标转换成二维坐标，三维坐标系的投影中心到二维坐标第的其他点的距离都保持不变，以保持电极通道之间的相对距离；
(3.2)利用Clough-Tocher插值法将全部电极通道的平均功率测量值映射为二维灰度脑电信号图像，该二维灰度脑电信号图像保持了SSVEP脑电信号中蕴含的空间结构信息和频域信息；
(3.3)对θ、α和β三个不同的频带重复第(3.1)～第(3.2)步的图像映射过程，得到θ、α和β三个频带的二维灰度脑电信号图像；
(3.4)将θ、α和β三个频带的二维灰度脑电信号图像转化为二维彩色脑电信号图像。
11.根据权利要求9所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，步骤4)所述的辨识强化神经网络是由卷积神经网络模型和长短时记忆模型共同构成，包括以下步骤：
(4.1)对于输入的二维彩色脑电信号图像，通过卷积神经网络模型提取各帧图像的频域和空间特征，获得特征向量；所述的卷积神经网络共包含4个分支，每一分支的输入对应于时长为1秒的SSVEP脑电信号时移窗口序列，每一分支依次包括：
(4.1.1)数据输入层，时长为1秒的SSVEP脑电信号时移窗口序列；
(4.1.2)第一卷积层，卷积核大小为5×5，卷积核数量为4个，卷积核选择ReLU作为激活函数；
(4.1.3)第一最大池化层，池化核大小为2×2；
(4.1.4)第二卷积层，卷积核大小为5×5，卷积核数量为4个，卷积核选择ReLU作为激活函数；
(4.1.5)第二最大池化层，池化核大小为2×2；
(4.1.6)第三卷积层，卷积核大小为5×5，卷积核数量为2个，卷积核选择ReLU作为激活函数；
(4.1.7)第三最大池化层，池化核大小为2×2；
(4.1.8)第四卷积层，卷积核大小为5×5，卷积核数量为1个，卷积核选择ReLU作为激活函数；
(4.1.9)第四最大池化层，池化核大小为2×2；
(4.1.10)一个Flatten层，用于将多维的输入一维化；
(4.2)按照SSVEP脑电信号时移窗口序列的排列顺序，将位于排列第一个的分支获得的特征向量输入到一个长短时记忆模块中，用于提取特征向量中的时序信息，将该输出与下一个分支的输出特征向量共同作为下一个分支中长短时记忆模块的输入；
(4.3)对每个分支的输出特征向量实施一维卷积；
(4.4)将步骤(4.3)得到的一维卷积后的输出和步骤(4.2)所述长短时记忆模型中的最后一个长短时记忆模块的输出进行整合，将整合后的输出馈送到辨识强化神经网络的全连接层中，最终送入到辨识强化神经网络的分类层进行分类。
12.根据权利要求8所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，认知强化深度卷积神经网络方法，所述的认知强化深度卷积神经网络方法具体包括：
1)通过便携式脑电采集设备采集疲劳状态下的使用者5秒的SSVEP脑电信号，舍弃掉前1秒的SSVEP脑电信号，变为4秒的SSVEP脑电信号，对4秒的SSVEP脑电信号进行预处理，预处理方法是将SSVEP脑电信号时间序列分割为M个不重叠的等长时移窗口序列：
ym＝[x((m-1)N+j),m＝1,2,.....,M,j＝1,2,……N]
其中，M代表窗口数,N代表窗口长度，m表示窗口序号，ym表示窗口序号m对应的时移窗口序列；
对时移窗口序列ym进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰；
2)使用长度为2秒的滑动窗口对长度为4秒的SSVEP脑电信号进行切分，滑动窗口的步长设置为0.25秒，经过切分得到9个长度为2秒的SSVEP脑电信号；
3)使用快速傅里叶变换算法分别对9个长度为2秒的SSVEP脑电信号进行处理，并保留前50Hz的100个频率点；
4)对数据进行归一化，加快在认知强化深度卷积神经网络的收敛速度；
5)将步骤3)得到的数据输入至认知强化深度卷积神经网络进行特征提取与分类。
13.根据权利要求12所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，所述的认知强化深度卷积神经网络，结构依次连接的为：
1)数据输入层，输入数据为二维彩色脑电信号图像；
2)第一卷积层，卷积核大小为4×4，卷积核数量为5个，卷积核选择ReLU作为激活函数；
3)第一最大池化层，池化核大小为2×2；
4)第二卷积层，卷积核大小为4×4，卷积核数量为4个，卷积核选择ReLU作为激活函数；
5)第二最大池化层，池化核大小为2×2；
6)第三卷积层，卷积核大小为4×4，卷积核数量为3个，卷积核选择ReLU作为激活函数；
7)第三最大池化层，池化核大小为2×2；
8)第四卷积层，卷积核大小为4×4，卷积核数量为3个，卷积核选择ReLU作为激活函数；
9)第四最大池化层，池化核大小为2×2；
8)第五卷积层，卷积核大小为4×4，卷积核数量为1个，卷积核选择ReLU作为激活函数；
9)第五最大池化层，池化核大小为2×2；
10)全连接层，选择ReLU作为激活函数，选择L2范数作为正则化项，L2范数设置为0.0005；
11)分类层，所述分类层的输出即为生理状态分析模块(4)输出的康复动作的识别结果。
14.根据权利要求13所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，所述分类层输出的康复动作的识别结果，是屈曲、伸展、二指捏、三指捏、弯大拇指、弯食指、弯中指、弯无名指和弯小拇指共9个康复动作中的一个。
15.根据权利要求1所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，手部康复设备(5)是由FPGA处理器(41)和康复气动手(42)组成，FPGA处理器(41)接收来自于生理状态分析模块(4)输出的康复动作的识别结果，根据康复动作的识别结果对应的康复动作驱动康复气动手(42)做出相应的动作，以协助使用者进行手部康复运动，与此同时，康复气动手(42)中的传感器，对使用者的手部进行自用力检测，将检测数据发送至FPGA处理器(41)，FPGA处理器(41)根据所述的检测数据判断使用者的康复程度，以此来调节康复手的辅助力量。
16.根据权利要求1所述的基于人工智能技术的主动式手部全指康复设备，其特征在于，应用包括如下步骤：
1)使用者在康复训练前，通过脑控主动训练界面选择想要进行的康复模式；
2)使用者在进入康复模式后选择想要进行的康复动作；
3)通过便携式脑电采集设备采集使用者脑电信号；
4)利用生理状态分析模块对采集到的脑电信号进行判断，识别使用者想要进行的康复动作；
5)康复气动手进行动作变化，帮助使用者进行手部运动康复。
CN202010481482.2A 2020-05-31 2020-05-31 基于人工智能技术的主动式手部全指康复设备 Active CN111513991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481482.2A CN111513991B (zh) 2020-05-31 2020-05-31 基于人工智能技术的主动式手部全指康复设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481482.2A CN111513991B (zh) 2020-05-31 2020-05-31 基于人工智能技术的主动式手部全指康复设备

Publications (2)

Publication Number Publication Date
CN111513991A CN111513991A (zh) 2020-08-11
CN111513991B true CN111513991B (zh) 2022-06-03

Family

ID=71911628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481482.2A Active CN111513991B (zh) 2020-05-31 2020-05-31 基于人工智能技术的主动式手部全指康复设备

Country Status (1)

Country Link
CN (1) CN111513991B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114081787A (zh) * 2021-11-24 2022-02-25 桂林航天工业学院 基于脑电信号控制的康复手套系统
CN114504730A (zh) * 2022-01-30 2022-05-17 天津大学 基于深度学习的便携式脑控手部电刺激康复系统
CN114360686B (zh) * 2022-03-07 2022-06-03 西南医科大学附属医院 融合游戏的康复训练计算机装置、运行方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315478A (zh) * 2017-07-05 2017-11-03 中国人民解放军第三军医大学 一种运动想象上肢智能康复机器人系统及其训练方法
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN108304068A (zh) * 2018-01-30 2018-07-20 山东建筑大学 一种基于脑机接口的上肢康复训练机器人控制系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2400266B8 (en) * 2003-04-02 2006-06-15 Cisco Tech Ind Data Networking
US11016495B2 (en) * 2018-11-05 2021-05-25 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315478A (zh) * 2017-07-05 2017-11-03 中国人民解放军第三军医大学 一种运动想象上肢智能康复机器人系统及其训练方法
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN108304068A (zh) * 2018-01-30 2018-07-20 山东建筑大学 一种基于脑机接口的上肢康复训练机器人控制系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Deep Learning Method for Improving the Classification Accuracy of SSMVEP-Based BCI;Zhongke Gao 等;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS-II: Express Briefs》;20200326;第67卷(第12期);第3447-3451页 *
LEARNING REPRESENTATIONS FROM EEG WITH DEEP RECURRENT-CONVOLUTIONAL NEURAL NETWORKS;Pouya Bashivan 等;《Conference Paper at ICLR 2016》;20160229;第1-15页 *

Also Published As

Publication number Publication date
CN111513991A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111513991B (zh) 基于人工智能技术的主动式手部全指康复设备
CN111631907B (zh) 基于脑机交互混合智能的脑卒中患者手部康复系统
CN112120694B (zh) 一种基于神经网络的运动想象脑电信号分类方法
CN111513735B (zh) 基于脑机接口和深度学习的重度抑郁症辨识系统及应用
CN111616682B (zh) 基于便携式脑电采集设备的癫痫发作预警系统及应用
CN110495893B (zh) 一种运动意图连续脑肌电多层次动态融合识别系统及方法
CN113951900B (zh) 一种基于多模态信号的运动想象意图识别方法
CN112022619B (zh) 一种上肢康复机器人多模态信息融合感知系统
CN111631848B (zh) 基于脑机混合智能的意念控制假肢系统
CN111544855B (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN107212883B (zh) 一种基于脑电控制的机械臂写字装置及控制方法
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
Wang et al. Multiband decomposition and spectral discriminative analysis for motor imagery BCI via deep neural network
CN115050104A (zh) 基于多通道表面肌电信号的连续手势动作识别方法
CN114242202A (zh) 脑卒中手部康复训练方法、装置及系统
CN114504330A (zh) 一种基于便携式脑电采集头环的疲劳状态监测系统
CN105796091B (zh) 一种用于去除心电信号车辆运动噪声的智能终端
CN111543983B (zh) 一种基于神经网络的脑电信号通道选择方法
CN112998725A (zh) 一种基于运动观察的脑机接口技术的康复方法与系统
CN116758619A (zh) 基于面部视频的情感分类方法、系统、存储介质及设备
CN114504730A (zh) 基于深度学习的便携式脑控手部电刺激康复系统
CN111317466A (zh) 一种脑电信号成像方法、系统以及计算机设备
CN115374831A (zh) 多模态配准和时空特征注意的动静结合速度想象分类方法
Park et al. Application of EEG for multimodal human-machine interface
CN114936574A (zh) 一种基于bci的高灵活度机械手系统及其实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant