CN112057082B - 基于脑机接口的机器人辅助脑瘫康复表情训练系统 - Google Patents

基于脑机接口的机器人辅助脑瘫康复表情训练系统 Download PDF

Info

Publication number
CN112057082B
CN112057082B CN202010939356.7A CN202010939356A CN112057082B CN 112057082 B CN112057082 B CN 112057082B CN 202010939356 A CN202010939356 A CN 202010939356A CN 112057082 B CN112057082 B CN 112057082B
Authority
CN
China
Prior art keywords
action
robot
brain
video
computer interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010939356.7A
Other languages
English (en)
Other versions
CN112057082A (zh
Inventor
卢振利
赵宇
王红
沈昱澄
单长考
刘燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202010939356.7A priority Critical patent/CN112057082B/zh
Publication of CN112057082A publication Critical patent/CN112057082A/zh
Application granted granted Critical
Publication of CN112057082B publication Critical patent/CN112057082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5025—Activation means
    • A61H2201/5028—Contact activation, i.e. activated at contact with a surface of the user to be treated

Abstract

本发明提出了一种基于脑机接口的机器人辅助脑瘫康复表情训练系统，包括脑机接口设备、控制端、表情机器人；脑机接口设备包括多个传感器分别位于大脑的左右两侧的对应部位，与控制端连接，采集头皮的脑电信号、眼肌电信号以及其他噪声信号发送至控制端；表情机器人，包括单片机及多个舵机，通过调节舵机实现转动，设定不同位置舵机的转动角度控制机器人实现眼睛，眉毛，嘴巴对应的动作；控制端，接收脑机接口设备的数据并对数据进行处理识别得到对应动作的特征信号通过串口发送给机器人上的控制板，从而使表情机器人动作。本发明使得患者的训练变被动为主动，充分调动患者的主动参与意识，实现运动相关特征模型，记录下评价患者的状态，便于追溯。

Description

基于脑机接口的机器人辅助脑瘫康复表情训练系统
技术领域
本发明涉及脑瘫康复训练技术领域，尤其涉及基于脑机接口的机器人辅助脑瘫康复表情训练系统。
背景技术
脑性瘫痪是由于出生后各种原因造成的脑损伤导致的以运动障碍为主的残疾，常伴有智力、语言、视觉和感知觉的障碍，而且这些障碍往往会制约运动功能的康复效果。脑卒中患者的运动功能障碍的治疗和康复已经成为现代康复医学和康复工程的研究热点，很多研究表明，在药物以及手术治疗的基础上，辅以一定的康复治疗，有助于提高疗效。除了传统的由治疗师来进行的训练外，很多机构都在进行使用脑神经康复机器人进行康复治疗的研究。目前的康复机器人主要是应用工业机器人的控制技术，对于患者仅仅是被动的运动治疗，缺乏对患者主动参与性的刺激。对脑瘫患者康复的研究表明，患者主动参与康复训练将在很大程度上刺激神经功能的恢复，从而可以达到较好的康复效果。
脑-机接口是一种通过脑电来对外界进行控制的技术，而且不需要肢体或者语言等行为的参与，可以将脑-机接口技术与康复训练系统结合在一起，使患者能够主动参与到治疗过程中来，从而提高治疗效果，另外对于康复指导师，无法实现动作的识别和记录，为此，提出基于脑机接口的机器人辅助脑瘫康复表情训练系统来解决上述问题。
发明内容
本发明的目的是为了解决现有技术中存在人机交互弱，对于康复动作的记录依靠人工的缺点，而提出的基于脑机接口的机器人辅助脑瘫康复表情训练系统。
为了实现上述目的，本发明采用了如下技术方案：
本发明公开了一种基于脑机接口的机器人辅助脑瘫康复表情训练系统，包括脑机接口设备、控制端、表情机器人；
脑机接口设备为非植入型，包括多个传感器分别位于大脑的左右两侧的对应部位，与控制端连接，采集头皮的脑电信号、眼肌电信号以及其他噪声信号发送至控制端；
表情机器人，包括单片机及多个舵机，通过调节PWM的值控制舵机实现0°-180°转动，设定不同位置舵机的转动角度控制机器人实现眼睛，眉毛，嘴巴对应的动作；
控制端，接收脑机接口设备的数据并对数据进行处理识别得到对应动作的特征信号通过串口发送给机器人上的控制板，从而使表情机器人动作。
优选的，还包括视觉采集模块，采集动作视频片段是由眉毛或嘴巴的动作采集的、可分解为多动作组合的重要动作元素；
控制端还包括构建一个眉毛-其他元素模型，指定最可能发生的动作为眉毛动作，其余动作均为其他动作，该元素模型具体动作含义动作时序视觉特征包括动作含义、动作时序和视觉特征；
眉毛-其他元素模型要求元素可被分解为多个动作，所述眉毛-其他元素模型建模三个部分内容：
步骤1.1动作含义包括嘴巴动的微笑、眨眼每个动作发生的概率，以及每个其他动作和眉毛动作同时出现的概率；
步骤1.2动作时序包括动作在元素发生过程中的先后顺序，以及动作持续时间与元素持续时间的比值；
步骤1.3视觉特征包括每个动作在运动持续过程中的梯度和光流统计特征；
步骤1.4利用动作视频及其对应的动作含义构建训练集，视频选择眨眼和微笑作为两类动作的视频集，分别从动作含义动作时序视觉特征动作含义、动作时序和视觉特征三个方面训练所述眉毛-其他元素模型；
所述步骤1.3中要求输入的动作视频动作含义含有时间记录及元素记录，能够与视频时间相对应，针对某类型动作视频训练所述眉毛-其他的步骤如下：
步骤2.1输入一系列动作视频及其对应的动作含义，从训练语句中提取关键词，并根据训练语句的元素记录，统计每个关键词的出现概率，以及多个关键词同时出现的概率；
步骤2.2选定出现概率最大的关键词为眉毛关键词；
步骤2.3将训练语句与动作视频相对应，记录关键词出现时间，并统计关键词表示的动作持续时间与元素持续时间；
步骤2.4在关键词出现时间段计算时空兴趣点的梯度特征和光流特征，统计梯度直方图和光流直方图作为动作的视觉特征；
步骤3.输入一段的动作视频，利用训练得到的元素模型在输入视频中提取动作视频片段，并给出候选视频片段与模型的匹配度；
所述步骤3输入一段动作视频，其视频片段提取过程分为以下步骤：
步骤3..1在输入视频上分别检测眉毛动作和其他动作，得到所有动作的出现时间段；
步骤3.2以眉毛动作为基准，结合动作时序确定元素发生时间段计为候选动作视频片段；
步骤3.3在候选动作视频片段匹配元素模型，得出模型匹配度；
步骤4.将动作视频片段分类按照匹配度排序，将度较高的动作视频片段自动合成为一个动作视频视频。
优选的，对表情机器人的控制是调用Python中的serial库设定端口号和波特率实现Python向表情机器人发送动作数据。
优选的，对机器人的控制是调用Python中的serial库设定端口号和波特率实现Python向机器人发送数据；动作与标志字符对应，眨眼设置为1，微笑设为0。
优选的，控制端使用WebSocket即时通信，只需要在控制端与表情机器人通过HTTP协议实现一个握手动作后，单独建立一条TCP的通信通道进行数据的传输。
优选的，握手成功后，在原程序中加入多线程程序，启动多线程实现接收和发送多条消息；系统中根据设备传感器通道的位置对接收到的信号所对应的通道号进行了设定，每个或几个通道采集传输动作，通道顺序每一个通道的数据为一列，随着时间逐行增加。
优选的，采集眨眼睛时位于眉毛上方的通道的信号最强，微笑时位于太阳穴上下的信号最强，采用连续小波变换提取信号及时间：
Figure GDA0003781860420000051
α为单次眨眼、皱眉的尺度参数，τ为不同时刻的动作的平移量，Ψ(t)为基本小波，
Figure GDA0003781860420000052
为基本小波的小波族，f(t)为原始信号；
离散小波变换(DWT)：
Figure GDA0003781860420000053
x(n)采集到单次眨眼、皱眉信号，Ψ(2-αn-τ)是针对连续尺度参数和连续平移参数的小波族；将尺度参数和平移量离散化，在处理信号的过程中对信号进行分解，重构，进而得到单次眨眼、皱眉信号特征。
优选的，非植入型脑机接口设备型号为Emotiv EPOC+。
优选的，单片机为Arduino。
与现有技术相比，本基于脑机接口的机器人辅助脑瘫康复表情训练系统的优点在于：
1、脑-机接口的引入使得患者的训练变被动为主动，充分调动患者的主动参与意识，使患者的精神高度集中于训练，从而有利于提高治疗效果。
2、脑-机接口更为直接的方式，并且运动相关的脑电型号可以作为系统的控制信号，通过模型的采集与识别，可以记录下各患者的参数，用来评价患者的回复过程，有助于后续的研究使用。
3、本发明中运用WebSocket通信可以替代HTTP协议即时通信时采用的轮询，只需要在服务器与客户端通过HTTP协议实现一个握手动作后，单独建立一条TCP的通信通道进行数据的传输，减少了不必要的请求、浪费流量和服务器资源，在系统中需要实时接设备数据，使用WebSocket更加方便快捷。
附图说明
图1为本发明提出的基于脑机接口的机器人辅助脑瘫康复表情训练系统的系统框图；
图2为本发明提出的基于脑机接口的机器人辅助脑瘫康复表情训练系统的动作对应表图；
图3为本发明提出的基于脑机接口的机器人辅助脑瘫康复表情训练系统的WebSocket服务器与客户端交互图；
图4为本发明提出的基于脑机接口的机器人辅助脑瘫康复表情训练系统的表情机器人结构示意图；
图5为本发明提出的基于脑机接口的机器人辅助脑瘫康复表情训练系统的传感器通道表。
图中：1表情机器人。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-5，基于脑机接口的机器人辅助脑瘫康复表情训练系统，包括EmotivEPOC+设备、PC机和表情机器人1，Emotiv EPOC+设备对应佩戴在被测者的头部外侧，且Emotiv EPOC+设备上配备有14个通道的传感器，Emotiv EPOC+设备与PC机之间通过2.4GHz的无线蓝牙适配器建立连接，且PC机中装配有C++和python语言程序软件，Emotiv EPOC+设备与PC机建立连接后通过信号采集方法进行通信，PC机在信号采集完成后将表情信息传递至表情机器人1内，PC机内设置有用于显示表情的人机交互界面，且PC机中的数据记录会传输至人机交互界面内。
其中，Emotiv EPOC+基于蓝牙传输的便携式脑电采集设备，运用贴在皮肤表面的非植入性电极采集头皮的脑电信号也包含眼电信号和肌电信号以及其他噪声信号，PC机采用的是Windows系统，装有系统所需的各类软件，并且通过USB串口实现对表情机器人1的信号传输，具体的，Emotiv EPOC+采集到的信号经USB收发器发送到PC机，PC机接收数据并对数据进行处理识别得到对应动作的特征信号通过USB串口发送给表情机器人1上的控制板，并使表情机器人1动作，且对表情机器人1的控制是调用Python中的serial库设定端口号和波特率实现Python向机器人发送数据，动作与标志字符对应如图2所示。
表情机器人1内部含有Arduino开发板和多个舵机，可以通过调节PWM的值控制舵机实现0°～180°转动，设定不同位置舵机的转动角度控制机器人实现眼睛，眉毛，嘴巴在不同程度上的动作。
其中，Emotiv EPOC+设备与PC机建立连接后的信号采集方法步骤为：
a、在C++语言环境下调用低能耗蓝牙开发程序与Emotiv API，生成可供调用的dll动态库；
b、然后在python中创建服务器端程序，调用生成的动态库，创建多线程；
c、服务器端与客户端通过WebSocket进行通信，WebSocket用于浏览器与服务器进行全双工通讯，并且该系统在Python环境下创建客户端。
WebSocket是一种基于TCP协议的全双工通信协议，是HTML5中的一种新的协议，可以在C、Python、C++等多种语言或者框架及服务器中应用，WebSocket模拟Socket协议，实现双向发送和接收信息，使服务器端与客户端之间的数据交换简单化，允许服务器端主动向客户端发送数据，客户端与服务器端通过握手建立连接后可以实现持久双向数据传输，WebSocket通信可以替代HTTP协议即时通信时采用的轮询，只需要在服务器与客户端通过HTTP协议实现一个握手动作后，单独建立一条TCP的通信通道进行数据的传输，减少了不必要的请求、浪费流量和服务器资源，具体的，客户端发送请求报文request header，主要包含升级协议，地址等信息，其中Sec-WebSocket-Key是随机生成的，起到基本的保护作用，防止其他恶意或者无意的连接，Sec-WebSocket-Version表示当前使用的WebSocket版本，服务器端接受握手响应，响应报文的出现代表完成握手操作，接下来可以进行通信，握手成功后，在原程序中加入多线程程序，启动多线程实现接收和发送多条消息。系统中根据设备传感器通道的位置对接收到的信号所对应的通道号进行了设定，如图5所示，设定信号传输速率为256Hz，按照上述通道顺序每一个通道的数据为一列，随着时间逐行增加。
在该系统运行中，需要被测者集中注意力想象眨眼与微笑两种动作，在想象的同时大脑控制面部肌肉活动，做出相应的动作，所以在使用Emotiv EPOC+获取系统所需的脑电信号的同时也采集到了头部肌电信号与眼动信号。经过多次实验发现眨眼睛时位于眉毛上方的AF3和AF4通道的信号最强，微笑时位于太阳穴上下的F7和F8信号较强，所以主要对这4个通道的数据进行分析，采用逐个通道分析再结合的方式，进一步的，小波变换可以有效减少噪声并且提取有用信号，还能够得到特征信号所在的时间。连续小波变换(CWT)公式：
Figure GDA0003781860420000091
其中，α为尺度参数，τ为平移量，Ψ(t)为基本小波，
Figure GDA0003781860420000092
为基本小波的小波族，f(t)为原始信号。
离散小波变换(DWT)：
Figure GDA0003781860420000093
该系统中采集到的信号是离散的，并且连续小波函数在尺度和时间上容易存在信息冗余并且采集到的数据大多是离散的，所以更适合采用离散小波变换，离散小波函数将尺度参数和平移量离散化，在处理信号的过程中对信号进行分解，重构，得到特征信号点。
为了能够收集和提高训练师对于患者的训练过程数据，还包括视觉采集模块，采集动作视频片段是由眉毛或嘴巴的动作采集的、可分解为多动作组合的重要动作元素；
控制端还包括构建一个眉毛-其他元素模型，指定最可能发生的动作为眉毛动作，其余动作均为其他动作，该元素模型具体动作含义动作时序视觉特征包括动作含义、动作时序和视觉特征；
眉毛-其他元素模型要求元素可被分解为多个动作，所述眉毛-其他元素模型建模三个部分内容：
步骤1.1动作含义包括嘴巴动的微笑、眨眼每个动作发生的概率，以及每个其他动作和眉毛动作同时出现的概率；
步骤1.2动作时序包括动作在元素发生过程中的先后顺序，以及动作持续时间与元素持续时间的比值；
步骤1.3视觉特征包括每个动作在运动持续过程中的梯度和光流统计特征；
步骤1.4利用动作视频及其对应的动作含义构建训练集，视频选择眨眼和微笑作为两类动作的视频集，分别从动作含义动作时序视觉特征动作含义、动作时序和视觉特征三个方面训练所述眉毛-其他元素模型；
所述步骤1.3中要求输入的动作视频动作含义含有时间记录及元素记录，能够与视频时间相对应，针对某类型动作视频训练所述眉毛-其他的步骤如下：
步骤2.1输入一系列动作视频及其对应的动作含义，从训练语句中提取关键词，并根据训练语句的元素记录，统计每个关键词的出现概率，以及多个关键词同时出现的概率；
步骤2.2选定出现概率最大的关键词为眉毛关键词；
步骤2.3将训练语句与动作视频相对应，记录关键词出现时间，并统计关键词表示的动作持续时间与元素持续时间；
步骤2.4在关键词出现时间段计算时空兴趣点的梯度特征和光流特征，统计梯度直方图和光流直方图作为动作的视觉特征；
步骤3.输入一段的动作视频，利用训练得到的元素模型在输入视频中提取动作视频片段，并给出候选视频片段与模型的匹配度；
所述步骤3输入一段动作视频，其视频片段提取过程分为以下步骤：
步骤3.1在输入视频上分别检测眉毛动作和其他动作，得到所有动作的出现时间段；
步骤3.2以眉毛动作为基准，结合动作时序确定元素发生时间段计为候选动作视频片段；
步骤3.3在候选动作视频片段匹配元素模型，得出模型匹配度；
步骤4.将动作视频片段分类按照匹配度排序，将度较高的动作视频片段自动合成为一个动作视频视频。
操作流程：基于脑机接口设备的表情机器人辅助脑瘫康复训练系统通过脑机接口设备Emotiv EPOC+采集脑瘫患儿的面部动作信号，控制表情机器人做出相应的动作。训练师根据训练过程中记录下来的数据结合患儿的实际情况调整训练计划，从而达到帮助脑瘫患儿恢复正常生活，提高生活质量的目的。
系统调试操作，首先将设备的14个通道的传感器逐个安装上，被测者戴上设备，打开开关，按压耳后两侧的传感器，调整各个传感器位置，查看Emotiv EPOC+是否连接好，确保AF3通道信号正常连接，即指示灯为绿色，运行系统的Python程序，首先观察服务器与客户端是否成功连接，根据第二节内容，确定握手成功，并且有传感器信号源源不断写入txt文件。然后测试系统人机交互界面是否正常，系统初始界面，界面设定了动作选择按钮，康复训练师可以根据实际情况选择训练动作，具体的，眨眼睛和微笑时对应的界面和机器人动作，此处规定：眨眼睛时眼睛由张开-闭合-张开，微笑时眼睛为正常睁开状态，嘴角上扬，嘴巴可以微微张开。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于脑机接口的机器人辅助脑瘫康复表情训练系统，其特征在于，包括脑机接口设备、控制端、表情机器人；
脑机接口设备为非植入型，包括多个传感器分别位于大脑的左右两侧的对应部位，与控制端连接，采集头皮的脑电信号、眼肌电信号以及噪声信号发送至控制端；
表情机器人，包括单片机及多个舵机，通过调节PWM的值控制舵机实现0°-180°转动，设定不同位置舵机的转动角度控制机器人实现眼睛，眉毛，嘴巴对应的动作；
控制端，接收脑机接口设备的数据并对数据进行处理识别得到对应动作的特征信号通过串口发送给机器人上的控制板，从而使表情机器人动作。
2.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统，其特征在于，
还包括视觉采集模块，采集动作视频片段是由眉毛或嘴巴的动作采集的、可分解为多动作组合的重要动作元素；
控制端还包括构建一个眉毛-其他元素模型，指定最可能发生的动作为眉毛动作，其余动作均为其他动作，该元素模型动作时序视觉特征包括动作含义、动作时序和视觉特征；
眉毛-其他元素模型要求元素可被分解为多个动作，所述眉毛-其他元素模型建模三个部分内容：
步骤1.1动作含义包括嘴巴动的微笑、眨眼每个动作发生的概率，以及每个其他动作和眉毛动作同时出现的概率；
步骤1.2动作时序包括动作在元素发生过程中的先后顺序，以及动作持续时间与元素持续时间的比值；
步骤1.3视觉特征包括每个动作在运动持续过程中的梯度和光流统计特征；
步骤1.4利用动作视频及其对应的动作含义构建训练集，视频选择眨眼和微笑作为两类动作的视频集，分别从动作含义动作时序视觉特征动作含义、动作时序和视觉特征三个方面训练所述眉毛-其他元素模型；
所述步骤1.3中要求输入的动作视频动作含义含有时间记录及元素记录，能够与视频时间相对应，针对某类型动作视频训练所述眉毛-其他的步骤如下：
步骤2.1输入一系列动作视频及其对应的动作含义，从训练语句中提取关键词，并根据训练语句的元素记录，统计每个关键词的出现概率，以及多个关键词同时出现的概率；
步骤2.2选定出现概率最大的关键词为眉毛关键词；
步骤2.3将训练语句与动作视频相对应，记录关键词出现时间，并统计关键词表示的动作持续时间与元素持续时间；
步骤2.4在关键词出现时间段计算时空兴趣点的梯度特征和光流特征，统计梯度直方图和光流直方图作为动作的视觉特征；
步骤3.输入一段的动作视频，利用训练得到的元素模型在输入视频中提取动作视频片段，并给出候选视频片段与模型的匹配度；
所述步骤3输入一段动作视频，其视频片段提取过程分为以下步骤：
步骤3.1在输入视频上分别检测眉毛动作和其他动作，得到所有动作的出现时间段；
步骤3.2以眉毛动作为基准，结合动作时序确定元素发生时间段计为候选动作视频片段；
步骤3.3在候选动作视频片段匹配元素模型，得出模型匹配度；
步骤4.将动作视频片段分类按照匹配度排序，将度较高的动作视频片段自动合成为一个动作视频。
3.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统，其特征在于，对表情机器人的控制是调用Python中的serial库设定端口号和波特率实现Python向表情机器人发送动作数据。
4.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统，其特征在于，对机器人的控制是调用Python中的serial库设定端口号和波特率实现Python向机器人发送数据；动作与标志字符对应，眨眼设置为1，微笑设为0。
5.根据权利要求4所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统，其特征在于，控制端使用WebSocket即时通信，只需要在控制端与表情机器人通过HTTP协议实现一个握手动作后，单独建立一条TCP的通信通道进行数据的传输。
6.根据权利要求5所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统，其特征在于，握手成功后，在原程序中加入多线程程序，启动多线程实现接收和发送多条消息；系统中根据设备传感器通道的位置对接收到的信号所对应的通道号进行了设定，每个或几个通道采集传输动作，通道顺序每一个通道的数据为一列，随着时间逐行增加。
7.根据权利要求6所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统，其特征在于，采集眨眼睛时位于眉毛上方的通道的信号最强，微笑时位于太阳穴上下的信号最强，采用连续小波变换提取信号及时间：
Figure FDA0003802267150000041
α为单次眨眼、皱眉的尺度参数，τ为不同时刻的动作的平移量，Ψ(t)为基本小波，
Figure FDA0003802267150000042
为基本小波的小波族，f(t)为原始信号；
离散小波变换(DWT)：
Figure FDA0003802267150000043
x(n)采集到单次眨眼、皱眉信号，Ψ(2-αn-τ)是针对连续尺度参数和连续平移参数的小波族；将尺度参数和平移量离散化，在处理信号的过程中对信号进行分解，重构，进而得到单次眨眼、皱眉信号特征。
8.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统，其特征在于：非植入型脑机接口设备型号为Emotiv EPOC+。
9.根据权利要求1所述的基于脑机接口的机器人辅助脑瘫康复表情训练系统，其特征在于：单片机为Arduino。
CN202010939356.7A 2020-09-09 2020-09-09 基于脑机接口的机器人辅助脑瘫康复表情训练系统 Active CN112057082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010939356.7A CN112057082B (zh) 2020-09-09 2020-09-09 基于脑机接口的机器人辅助脑瘫康复表情训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010939356.7A CN112057082B (zh) 2020-09-09 2020-09-09 基于脑机接口的机器人辅助脑瘫康复表情训练系统

Publications (2)

Publication Number Publication Date
CN112057082A CN112057082A (zh) 2020-12-11
CN112057082B true CN112057082B (zh) 2022-11-22

Family

ID=73662854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010939356.7A Active CN112057082B (zh) 2020-09-09 2020-09-09 基于脑机接口的机器人辅助脑瘫康复表情训练系统

Country Status (1)

Country Link
CN (1) CN112057082B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115985462A (zh) * 2023-02-10 2023-04-18 四川大学 儿童脑瘫康复益智训练系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5899867A (en) * 1996-10-11 1999-05-04 Collura; Thomas F. System for self-administration of electroencephalographic (EEG) neurofeedback training
JP2007037667A (ja) * 2005-08-01 2007-02-15 Saga Univ 肢体機能回復支援装置
JP2007050249A (ja) * 2005-08-18 2007-03-01 Omer Einav リハビリテーション並びにトレーニングのための方法及び器械
JP2007108620A (ja) * 2005-10-13 2007-04-26 Ichiro Hagiwara 表情訓練器
CN103853071A (zh) * 2014-01-20 2014-06-11 南京升泰元机器人科技有限公司 基于生物信号的人机面部表情交互系统
WO2016083826A1 (en) * 2014-11-28 2016-06-02 The Nottingham Trent University Facial exercise system
JP2016126500A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム
CN106774906A (zh) * 2016-12-22 2017-05-31 南京邮电大学 一种基于情绪识别的康复机器人交互控制方法
CN107174477A (zh) * 2017-05-18 2017-09-19 宿州迅驰电子科技有限公司 一种智能可穿戴式脑瘫儿康复机器人
CN108211241A (zh) * 2017-12-27 2018-06-29 复旦大学附属华山医院 一种基于镜像视觉反馈的面部肌肉康复训练系统
CN108721048A (zh) * 2018-05-02 2018-11-02 南京邮电大学 康复训练控制方法、计算机可读存储介质和终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005113099A2 (en) * 2003-05-30 2005-12-01 America Online, Inc. Personalizing content
US20140242560A1 (en) * 2013-02-15 2014-08-28 Emotient Facial expression training using feedback from automatic facial expression recognition

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5899867A (en) * 1996-10-11 1999-05-04 Collura; Thomas F. System for self-administration of electroencephalographic (EEG) neurofeedback training
JP2007037667A (ja) * 2005-08-01 2007-02-15 Saga Univ 肢体機能回復支援装置
JP2007050249A (ja) * 2005-08-18 2007-03-01 Omer Einav リハビリテーション並びにトレーニングのための方法及び器械
JP2007108620A (ja) * 2005-10-13 2007-04-26 Ichiro Hagiwara 表情訓練器
CN103853071A (zh) * 2014-01-20 2014-06-11 南京升泰元机器人科技有限公司 基于生物信号的人机面部表情交互系统
WO2016083826A1 (en) * 2014-11-28 2016-06-02 The Nottingham Trent University Facial exercise system
JP2016126500A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム
CN106774906A (zh) * 2016-12-22 2017-05-31 南京邮电大学 一种基于情绪识别的康复机器人交互控制方法
CN107174477A (zh) * 2017-05-18 2017-09-19 宿州迅驰电子科技有限公司 一种智能可穿戴式脑瘫儿康复机器人
CN108211241A (zh) * 2017-12-27 2018-06-29 复旦大学附属华山医院 一种基于镜像视觉反馈的面部肌肉康复训练系统
CN108721048A (zh) * 2018-05-02 2018-11-02 南京邮电大学 康复训练控制方法、计算机可读存储介质和终端

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
基于表情和语音交互的脑瘫康复训练系统;卢振利，等;《高技术通讯》;20190331;第29卷(第3期);第287-294页 *
基于语音识别的脑瘫康复数字训练系统设计;卢振利，等;《高技术通讯》;20200531;第30卷(第5期);第526-532页 *
表情训练在痉挛型脑性瘫痪患儿康复中的应用;朱俞岚;《中华医学会第九次全国物理医学与康复学学术会议论文集》;20070501;第557页 *
面向孤独症辅助康复的交互机器人系统;潘航，等;《计算机集成制造系统》;20190331;第25卷(第3期);第673-680页 *
面向机器人辅助脑瘫康复的语义训练系统设计;卢振利，等;《高技术通讯》;20190228;第29卷(第2期);第183-188页 *

Also Published As

Publication number Publication date
CN112057082A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
Pfurtscheller et al. 15 years of BCI research at Graz University of Technology: current projects
Blankertz et al. Optimizing spatial filters for robust EEG single-trial analysis
EP4101371A1 (en) Electroencephalogram signal classifying method and apparatus, electroencephalogram signal classifying model training method and apparatus, and medium
Belkacem et al. Real-time control of a video game using eye movements and two temporal EEG sensors
CN113398422A (zh) 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
CN110047575B (zh) 一种基于远程决策的反馈式助眠系统
CN108520239B (zh) 一种脑电信号分类方法及系统
Craig et al. Adaptive EEG thought pattern classifier for advanced wheelchair control
CN106951064A (zh) 引入对象连续动作的稳态视觉诱发范式设计及辨识方法
CN112008725B (zh) 一种人机融合脑控机器人系统
CN109144238B (zh) 一种基于眼电编码的人机交互系统及其交互方法
CN112057082B (zh) 基于脑机接口的机器人辅助脑瘫康复表情训练系统
Gudiño-Mendoza et al. Detecting the intention to move upper limbs from electroencephalographic brain signals
CN113126766A (zh) 一种脑机接口康复训练系统及方法
Li et al. An adaptive P300 model for controlling a humanoid robot with mind
CN110688013A (zh) 一种基于ssvep的英文键盘拼写系统及拼写方法
Almeida et al. Brain Waves Classification Using a Single-Channel Dry EEG Headset: An Application for Controlling an Intelligent Wheelchair
CN113506607A (zh) 一种基于树莓派的便携式脑卒中康复训练系统及方法
Bi et al. A brain-computer interface in the context of a head up display system
CN107329582A (zh) 一种基于eog的快速字符输入方法
Alzahrani p300 wave detection using emotiv epoc+ headset: effects of matrix size, flash duration, and colors
Wang et al. Optimization of machine learning method combined with brain-computer interface rehabilitation system
Cao et al. An optimizational tactile P300 brain-computer interface paradigm
KR20200052209A (ko) 뇌 기계 인터페이스 기반의 움직임 의도 검출에 따른 착용형 로봇 제어 장치 및 방법
CN110353667A (zh) 一种脑卒中康复系统及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant