CN107616880A - 一种基于脑电意念和深度学习的智能电动轮椅实现方法 - Google Patents
一种基于脑电意念和深度学习的智能电动轮椅实现方法 Download PDFInfo
- Publication number
- CN107616880A CN107616880A CN201710648288.7A CN201710648288A CN107616880A CN 107616880 A CN107616880 A CN 107616880A CN 201710648288 A CN201710648288 A CN 201710648288A CN 107616880 A CN107616880 A CN 107616880A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- electroencephalogram
- wheelchair
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑电意念和深度学习的智能电动轮椅实现方法，包括可穿戴脑电采集、脑电深度学习模型、电动轮椅控制系统和雷达防撞系统四个功能模块组成，模块间的协调工作实现了对脑电数据的采集、分析处理、分类结果转化、轮椅终端控制的一体式服务，最终实现了基于脑电意念和深度学习的智能电动轮椅。本发明实现一种全新的智能轮椅控制方式，为电动轮椅添加设计了雷达防撞系统，可防止轮椅出现误操作、路面过度颠簸等意外情况导致的撞击，在使用过程中具有很高的安全性。
Description
技术领域
本发明涉及一种基于脑电波信号采集、脑电数据深度学习模型设计和嵌入式软硬件设计的实现方案，旨在实现基于脑电意念和深度学习的智能电动轮椅，属于脑电波技术和嵌入式系统的交叉领域。
背景技术
脑电(EEG，Electro Encephalon Gram)是反映人类大脑活动的一种非常有效和常见的生物电工具指标，EEG信号中混合包含数种不同频率的脑电波。δ(DELTA)波的频率最低，幅值最大；θ(THETA)波在正常成人中多见于有睡意或睡眠状态；α(ALPHA)波是成人脑电中的基本节律，其波形近似于正弦波，有时呈半弧状或锯齿状，它并不总是存在，在深睡、恐惧、愤怒时，大脑中没有α脑波；β(BETA)波被认为与思维活动有关，当睁眼、精神紧张或兴奋时出现，在强烈意识活动时最明显，表示大脑处于兴奋状态；γ(Gamma)波的频率最高，幅值最小，被认为与主动、需要注意力的活动有关，在进行复杂思维活动或大脑处于高度兴奋状态时出现。随着人工智能、机器学习和大数据分析功能的不断强化，人们能从脑电信号中挖掘出的有用信息越来越多，这也使得脑电的可操作性与稳定性得到了不断的增强。大脑驱动控制技术(Brain Actuated Control,BAC)应运而生，读取出人类大脑的EEG信号并通过分析转化为外部设备的控制指令，从而建立起一个通道使得大脑与周围环境间能够完成信息的交流与控制。
深度学习是机器学习中一种基于对数据进行表征学习的方法，深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。传统对脑电的处理均是采用预处理、特征提取、分类等流程进行分析，这种传统的方法准确率不高且耗时较多，由于脑电信号属于和时间序列相关的信号，为脑电数据构建深度学习模型，可快速获取脑电特征。引入深度学习的理论与方法，这是未来脑电信号分析处理的必然趋势。
随着社会经济的发展和生活水平的提高，残障人士的生活质量也在逐年提升。更多的市场瞄准和定位在了残障人士的健康生活辅具及新技术的研发，这些新技术和工具将使得残障人士(尤其是腿脚残疾和患有渐冻症的人群)可以脱离亲友完成简单便捷的生活自理。针对于现有的智能电动轮椅的智能性和便捷性尚未达到理想状态的问题，本发明专利旨在采用基于深度学习的脑电意念感知技术来设计新型的智能电动轮椅，为残障人士提供更好的服务。
发明内容
本发明的目的是帮助那些手脚有残疾、身体瘫痪、患有渐冻症等残障人群，方便他们的日常生活，提出一种基于脑电意念和深度学习的智能电动轮椅实现方法，该方法由可穿戴脑电采集、脑电深度学习模型、电动轮椅控制系统和雷达防撞系统等四个功能模块组成。模块间的协调工作实现了对脑电数据的采集、分析处理、分类结果转化、轮椅终端控制的一体式服务，最终实现了基于脑电意念和深度学习的智能电动轮椅。
技术方案如下：
本发明的技术方案包括脑电波数据采集、脑电数据深度学习模型设计、雷达防撞系统和电动轮椅控制系统等四个部分：
1、可穿戴脑电设备的功能是实时采集佩戴者脑部的EEG数据，由于人体脑部信号非常微弱，因此需要采用多电极、高采样率方式进行信号采集，通过特定的蓝牙接收器获取脑电原始数据，并将采集到的数据通过USB接口发送至脑电信号滤波与去伪迹模块中，进行脑电数据的初步处理。
2、由于传统脑电数据的预处理和特征提取等过程非常耗时，本方法对大量带标签的脑电数据进行训练，确定深度学习模型中的各项参数，并构建出最优模型，将实时脑电数据输入到该模型中，即可直接获得脑电分类结果。
3、目前大多数的电动轮椅类型均是摇杆控制的电动轮椅，本方法对电动轮椅的方向摇杆控制模块进行改造，而保留对轮椅电机的电子电路控制模块，本方法使用PWM调制出3路0.5V～4.5V的模拟电压，其中一路恒为2.5V，作为参考电压，另外两个电压的不同组合代表了轮椅前后左右四个方向运动时的电压值，轮椅根据输入的电压值即可对其进行方向的任意控制。
4、为安全起见，本轮椅为残障人士配备设计了雷达防撞系统，以防止轮椅出现误操作、路面过度颠簸等意外情况导致的撞击。该雷达防撞系统有四个雷达探头，分别用于监测轮椅的前后左右四个方向的情况，并将监测的雷达数据传输到主机盒中，主机盒将通过UART口输出四个雷达探头的数据，轮椅上的控制系统接收并处理来自雷达防撞系统的数据，若发现距离过近则轮椅立即停止，以防止发生撞击事故。
以上技术方案实现的关键步骤如下：
步骤1)脑电波数据采集：由于人体脑部信号非常微弱，因此需要采用多电极、高采样率方式对脑电信号进行采集。本方法采用可穿戴脑电设备实现信号的采集，要求该设备至少有14个采集通道，采样频率有128Hz和256Hz两种，并可以通过软件进行采样频率的设定。脑电设备将采集不同受试者在不同状态下的大量脑电数据，并建立大规模脑电数据库。在实验方案中，需要佩戴者按照预先设定的时间间隔进行左右手、前进、后退等运动想象，与此同时记录脑电数据并设立相应的标签。采集过程中应调整设备尽量实现最小化干扰并最大程度的保证采集数据的准确性。
步骤2)脑电深度学习模型共包含3个部分:输入层、隐藏层、输出层。首先，该方法需要随机设定一些初始的参数。假设该模型共有K层，并且每层的通道数为nk,其中k∈{1,2,…,K}，其中将第一层作为输入层，中间层作为隐藏层，最后一层作为输出层，lr表示学习模型的学习率，bs代表输入脑电数据的批尺寸。由于采集的脑电数据非常之多，需要将这些数据划分为若干份大小等同的组。例如我们有100000个样本作为输入数据，将批尺寸设置为10，将会得到10个样本数量为10000的样本组。
步骤3)在建立脑电深度学习模型之前，需要建立多标签的脑电数据库，我们将所有脑电数据集划分为5类标签，第一类标签可表示成[0,1,0,0,0,0]，相应地其他几类标签可分别表示为[0,0,1,0,0,0]、[0,0,0,1,0,0]、[0,0,0,0,1,0]和[0,0,0,0,0,1]。单个脑电样本数据可以用nin和ns来表示，其中nin表示脑电单个样本数据的长度，ns表示样本的宽度。样本长度表示每一行有nin个输入值，样本长度表示共有ns行。在本方法中，将ns设置为1，因此每一个脑电样本数据仅有一行，从而第k层样本数据可以表示为例如，X1代表第一层即输入层的数据。符号Wk(k+1)表示k与k+1层之间的权值，其中号 例如W12表示第一层和第二层之间的权值。
步骤4)在模型的第一层有n1＝nin，这就意味着第一层的节点数等于数据输入值的个数。现假设输入数据为3维元组[bs,ns,nin]，即共有bs个输入格式为[ns,nin]的脑电数据，我们可将其整形转化为[bs*ns,nin]。模型第一层和第二层之间关系如公式(1)所示：
X2＝X1*W12+b1 (1)
相应地，学习模型中任意两层之间的关系均可由如下公式(2)来表示：
Xk＝Xk-1*Wk(k+1)+bk,k∈1,2,…,(k-1) (2)
为了增加系统的非线性，我们选择使用sigmoid函数，可有如下公式(3)来表示：
其中x表示输入值，S代表输出，从而得到X2＝sigmoid(X1*W12+b1)。
步骤5)为了更好区分不同类别数据的差异性，可使用softmax函数对每一层的数据Xk进行处理，如下公式(4)来表示：
其中X'Kij表示第K层数据中第j个样本输出结果中的第i个值，nl表示样本标签的总数量。
在进行上述处理后，本方法需要对结果进行评估，其代价函数公式如(5)所示:
其中yij表示第j个样本的真实标签数组中的第i个值，L2为损失函数，其公式如(6)所示：
其中λ为损失函数的系数，vh2为网络中的可训练变量，nh1为整个网络中可变张量的数量，nh2为某个特定张量中的可变化数值的个数。
步骤6)本方法使用argmax函数求取最终的分类标签，例如单个样本得到的最终分类结果为[0.034,0.125,0.061,0.033,0.405,0.112]，使用argmax函数寻找的分类结果中的最大值为0.405，对应位置为4。设第j个样本的预测标签值为Yj，则
Yj＝arg max(X'Kij)，i∈1,2,…,nl (7)
若预测标签Yj与真实标签labelj一致，则在真值表的相应位置上加1，否则加0，最终可以计算出预测的准确率，计算公式如(8)所示:
步骤7)通过以上步骤，获取到了最终的分类结果，还需要将这些分类结果转化为嵌入式控制指令。方法中将分类结果与预先设计好的控制指令一一对应，并将控制指令发送至电动轮椅的主控制模块，主控制模块收到指令并进行解析和调制相应的PWM脉冲来控制轮椅的驱动电压，调制出3路0.5V～4.5V的模拟电压，其中一路恒为2.5V，作为参考电压，另外两个电压的不同组合代表了轮椅前后左右四个方向运动时的电压值，如此即可不需要摇杆直接对轮椅进行方向的任意控制。
步骤8)最后，为保证轮椅的稳定性和使用者的安全，本方法为轮椅设计了一种雷达防撞系统。该系统由一个主接收器和四个方向的雷达探头组成，小型雷达探头分布在轮椅前后左右四个方向上，防撞系统的主接收器实时接收来自这四个雷达探头返回的数据并进行结果输出，轮椅上的主控制器接收并解析来自防撞系统的数据，实现在轮椅靠近障碍物时自动停止轮椅的运行，最大程度地保障使用人员的人身安全。
有益效果
1、本发明将脑电波技术和电动轮椅的控制技术结合在一起，实现一种全新的智能轮椅控制方式，能够很好地帮助腿脚残疾和患有渐冻症的残障人群；
2、本发明使用深度学习技术，采用循环神经网络模型对脑电数据进行分析，省去传统脑电处理中的预处理、特征提取等步骤，能够快速、准确的获得脑电特征并进行分类。
3、本发明中为电动轮椅添加设计了雷达防撞系统，可防止轮椅出现误操作、路面过度颠簸等意外情况导致的撞击，在使用过程中具有很高的安全性。
附图说明
图1本发明系统框图。
图2本发明深度学习模型参数确定流程图。
图3本发明轮椅控制电路图。
图4本发明雷达防撞系统电路图。
具体实施方式
本发明提出的基于脑电意念和深度学习的智能电动轮椅实现方法，由可穿戴脑电采集、脑电深度学习模型、雷达防撞系统和电动轮椅控制系统等四个功能模块组成，系统框图如图1所示，下面将结合附图对本发明的权利要求作详细描述。应当明确，以下内容仅仅用来描述本发明而不作为对本发明的限制。
一、脑电采集模块。
本方法中使用Emotiv Epoc+意念控制器作为脑电波数据采集设备，该设备是美国加州旧金山的神经科技公司研发出的附有电极的特殊头环，使用者戴上之后，该设备即可实时提取使用者当前脑电波的原始数据，并通过无线蓝牙的方式对原始脑电数据进行传输，接收端使用官方标配的USB Dongle进行数据接收。Emotiv EPOC+头盔最重要的部分是十六个感测器，其中有两个感测器作为参考电极，14个电极即为脑电波数据的14路原始通道。脑电数据采集严格按照特定时间间隔进行，采集数据时受试者佩戴脑电设备坐在电脑屏幕前，根据屏幕的指示受试者进行相应的脑部想象活动。每次实验要求受试者根据屏幕提示完成一种任务的想象，时间持续为Tsamp，采样频率为256Hz(也可以设置为128Hz)，所以每一个样本的通道会产生256*Tsamp(或128*Tsamp)个采样点，在一个周期中每个动作重复执行nsamp次，共五类任务。
(1)基准任务：在该任务下，要求受试者尽可能地闭眼放松，尽量不要去想任何事情，所以可将该任务看做脑电图的基准。
(2)想象左转任务：在该任务下，屏幕持续Tsamp时间出现向左的箭头，受试者根据此提示握紧左拳并想象向左行走，记录此周期的脑电数据并设置相应左转运动标签。
(3)想象右转任务：在该任务下，屏幕持续Tsamp时间出现向右的箭头，受试者根据此提示握紧右拳并想象向右行走，记录此周期的脑电数据并设置相应右转运动标签。
(4)想象前行任务：在该任务下，屏幕持续Tsamp时间出现向上的箭头，受试者根据此提示握紧双拳并想象向前行走，记录此周期的脑电数据并设置相应向前运动标签。
(5)想象后退任务：在该任务下，屏幕持续Tsamp时间出现向下的箭头，受试者根据此提示蹙起双脚并想象后退行走，记录此周期的脑电数据并设置相应后退运动标签。
二、脑电深度学习模型
通过脑电数据库训练出深度学习模型，并确定模型中神经网络层数、学习率、权值等各个参数，将实时采集的脑电数据输入此学习模型中，即可获得最终分类，而不需要进行预处理、特征提取等过程，最优学习模型的参数确定流程图如图2所示。
(1)根据正交试验法，选取学习模型层数、学习率、批尺寸、损失函数系数和每层的数据通道数等参数作为模型的决定参数；
(2)将步骤(1)五个参数分别划分为若干个等级，如将损失函数系数的值划分为0.002～0.008共四个等级，将层数划分为5～8四个等级，其他参数与此类型，步骤(1)中的五个参数划分的等级个数需要保持一致。
(3)将步骤(2)中划分等级后的各个参数，按照顺序进行组合并设定为学习模型参数，同时将带有标签的脑电数据输入到学习模型中进行分类，并统计各个模型下的分类准确率。
(4)综合步骤(3)中所有学习模型的准确率，确定五个参数的重要性等级，并得出这些参数的具体数值，建立起最佳的脑电深度学习模型。
深度学习模型中的各项参数包含模型层数、权值和学习率等参数在学习训练中不断的被改进和重置，在初始状态下可为模型中的重要参数设置一个随机值。将初始权值W12设置为0，b1设置为0.9，另外使用正交实验法分别设定参数λ、lr、nk、K和nb，其模型层数和对应参数如表(1)所示：
| Level1 | Level2 | Level3 | Level4 | |
| λ | 0.002 | 0.004 | 0.006 | 0.008 |
| lr | 0.005 | 0.01 | 0.015 | 0.02 |
| nk | 8 | 14 | 28 | 36 |
| K | 5 | 6 | 7 | 8 |
| nb | 1 | 3 | 6 | 13 |
将采集的带标签的脑电数据集输入到不同参数的学习模型中，计算得到相应的准确率acc进行比较，其结果如表(2)所示：
| No. | λ | lr | nk | K | nb | acc |
| 1 | 0.002 | 0.005 | 8 | 5 | 1 | 0.67 |
| 2 | 0.002 | 0.01 | 14 | 6 | 3 | 0.81 |
| 3 | 0.002 | 0.015 | 28 | 7 | 6 | 0.85 |
| 4 | 0.002 | 0.02 | 36 | 8 | 13 | 0.66 |
| 5 | 0.004 | 0.005 | 8 | 5 | 1 | 0.71 |
| 6 | 0.004 | 0.01 | 14 | 6 | 3 | 0.93 |
| 7 | 0.004 | 0.015 | 28 | 7 | 6 | 0.86 |
| 8 | 0.004 | 0.02 | 36 | 8 | 13 | 0.77 |
| 9 | 0.006 | 0.005 | 8 | 5 | 1 | 0.8 |
| 10 | 0.006 | 0.01 | 14 | 6 | 3 | 0.83 |
| 11 | 0.006 | 0.015 | 28 | 7 | 6 | 0.89 |
| 12 | 0.006 | 0.02 | 36 | 8 | 13 | 0.75 |
| 13 | 0.008 | 0.005 | 8 | 5 | 1 | 0.36 |
| 14 | 0.008 | 0.01 | 14 | 6 | 3 | 0.65 |
| 15 | 0.008 | 0.015 | 28 | 7 | 6 | 0.51 |
| 16 | 0.008 | 0.02 | 36 | 8 | 13 | 0.42 |
| Best | 0.005 | 0.004 | 14 | 7 | 3 |
从表中可以看出，输入同一组脑电数据，深度学习模型不同参数的设定会得到不同的准确率，模型训练过程如图2所示，其参数的重要性等级为：lr>nk>λ>bs>K。根据实验结果，最终可设定的参数为：lr＝0.004,λ＝0.005,nk＝16,K＝6,nb＝3。
三、电动轮椅控制系统
本发明对传统电动轮椅中的摇杆系统进行改造设计，使用PWM调制技术，调制出3路0.5V～4.5V的模拟电压，其中一路恒为2.5V，作为参考电压，另外两个电压的不同组合代表了轮椅前后左右四个方向运动时的电压值，如此可直接对轮椅进行方向的任意控制。
本发明使用STM32F103作为主控制芯片，配合外围元件构成主控制电路，实现脑电指令的解析和对电动轮椅的控制功能。该芯片的工作电压为3.3V，将芯片的PC3、PC4和PC5三个引脚进行编程作为PWM输出口，其中PC3引脚占空比始终为百分之七十五，其引脚电压恒保持为2.5V，作为参考电压，PC4和PC5电压值则根据深度学习模型输出结果进行调整，从而实现将脑电分类结果转化为实际的嵌入式控制，其电路具体如图3所示。
三、雷达防撞系统
本发明为轮椅设计了雷达防撞系统，以防止轮椅出现误操作、路面过度颠簸等意外情况导致的撞击。本发明使用GM3101作为主控制芯片配合外围电路形成雷达测距与监控系统，其电路设计图如图4所示。GM3101是专用于倒车雷达的超声波测距芯片，该芯片提供4路超声波探头的驱动，并根据超声波特性和倒车雷达的使用环境进行一系列智能化处理，在保证超声波测距精准性的基础上，更加强了报警功能的准确性和实用性。
GM3101的工作电压为5V，芯片封装采用QFP44形式，芯片通过探头发送和接收超声波信号，根据发送和接收的时间差计算障碍物的距离，输出相应报警信号，输出信息包含：各探头检测到的障碍物距离的危险等级、最近障碍物的方位、最近障碍物的距离值和附加消息，其中附加消息是专门用于输出环境适应处理的结果。GM3101报警信号的输出周期为80ms，输出精度为0.05米，如果整个检测周期内都没有检测到物体，则不输出任何报警信号。下表所示为障碍物危险等级和障碍物距离的对应关系表：
| 分段 | 障碍物距离 | 障碍物危险级别 |
| 1 | 1.2～3.15米 | 安全 |
| 2 | 0.6～1.2米 | 警示 |
| 3 | 0.3～0.6米 | 危险 |
| 4 | <0.3米 | 停车 |
Claims (1)
1.一种基于脑电意念和深度学习的智能电动轮椅实现方法，其特征在于，包括可穿戴脑电采集、脑电深度学习模型、电动轮椅控制系统和雷达防撞系统四个功能模块组成，具体实现方法步骤如下：
步骤1)脑电波数据采集：由于人体脑部信号非常微弱，需要采用多电极、高采样率方式对脑电信号进行采集，采用可穿戴脑电设备实现信号的采集，要求该设备至少有14个采集通道，采样频率有128Hz和256Hz两种，并通过软件进行采样频率的设定；脑电设备将采集不同受试者在不同状态下的大量脑电数据，并建立大规模脑电数据库；需要佩戴者按照预先设定的时间间隔进行左右手、前进、后退运动想象，与此同时记录脑电数据并设立相应的标签；采集过程中应调整设备尽量实现最小化干扰并最大程度的保证采集数据的准确性；
步骤2)脑电深度学习模型共包含3个部分:输入层、隐藏层、输出层；首先，需要随机设定一些初始的参数；假设该模型共有K层，并且每层的通道数为nk,其中k∈{1,2,…,K}，其中将第一层作为输入层，中间层作为隐藏层，最后一层作为输出层，lr表示学习模型的学习率，bs代表输入脑电数据的批尺寸；
步骤3)在建立脑电深度学习模型之前，需要建立多标签的脑电数据库，将所有脑电数据集划分为5类标签，第一类标签可表示成[0,1,0,0,0,0]，相应地其他几类标签可分别表示为[0,0,1,0,0,0]、[0,0,0,1,0,0]、[0,0,0,0,1,0]和[0,0,0,0,0,1]；
单个脑电样本数据可以用nin和ns来表示，其中nin表示脑电单个样本数据的长度，ns表示样本的宽度。样本长度表示每一行有nin个输入值，样本长度表示共有ns行；在本方法中，将ns设置为1，因此每一个脑电样本数据仅有一行，从而第k层样本数据可以表示为X1代表第一层即输入层的数据；符号Wk(k+1)表示k与k+1层之间的权值，其中号W12表示第一层和第二层之间的权值；
步骤4)在模型的第一层有n1＝nin，这就意味着第一层的节点数等于数据输入值的个数；现假设输入数据为3维元组[bs,ns,nin]，即共有bs个输入格式为[ns,nin]的脑电数据，我们可将其整形转化为[bs*ns,nin]；模型第一层和第二层之间关系如公式(1)所示：
X2＝X1*W12+b1 (1)
相应地，学习模型中任意两层之间的关系均可由如下公式(2)来表示：
Xk＝Xk-1*Wk(k+1)+bk,k∈1,2,…,(k-1) (2)
为了增加系统的非线性，我们选择使用sigmoid函数，可有如下公式(3)来表示：
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>+</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>x</mi>
</mrow>
</msup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中x表示输入值，S代表输出，从而得到X2＝sigmoid(X1*W12+b1)；
步骤5)为了更好区分不同类别数据的差异性，可使用softmax函数对每一层的数据Xk进行处理，如下公式(4)来表示：
<mrow>
<msup>
<msub>
<mi>X</mi>
<mrow>
<mi>K</mi>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<msub>
<mi>X</mi>
<mrow>
<mi>K</mi>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>l</mi>
</msub>
</msubsup>
<msub>
<mi>X</mi>
<mrow>
<mi>K</mi>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中X'Kij表示第K层数据中第j个样本输出结果中的第i个值，nl表示样本标签的总数量；
在进行上述处理后，需要对结果进行评估，其代价函数公式如(5)所示:
<mrow>
<mi>C</mi>
<mi>o</mi>
<mi>s</mi>
<mi>t</mi>
<mo>=</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>b</mi>
<mi>s</mi>
</msub>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>b</mi>
<mi>s</mi>
</msub>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>l</mi>
</msub>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mi>log</mi>
<mo>(</mo>
<msubsup>
<mi>X</mi>
<mrow>
<mi>K</mi>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mi>log</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msubsup>
<mi>X</mi>
<mrow>
<mi>K</mi>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>L</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中yij表示第j个样本的真实标签数组中的第i个值，L2为损失函数，其公式如(6)所示：
<mrow>
<msub>
<mi>L</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mi>&lambda;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>h</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mrow>
<mi>h</mi>
<mn>1</mn>
</mrow>
</msub>
</munderover>
<mfrac>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>h</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mrow>
<mi>h</mi>
<mn>2</mn>
</mrow>
</msub>
</msubsup>
<msubsup>
<mi>v</mi>
<msub>
<mi>h</mi>
<mn>2</mn>
</msub>
<mn>2</mn>
</msubsup>
</mrow>
<mn>2</mn>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中λ为损失函数的系数，vh2为网络中的可训练变量，nh1为整个网络中可变张量的数量，nh2为某个特定张量中的可变化数值的个数；
步骤6)使用argmax函数求取最终的分类标签，单个样本得到的最终分类结果为[0.034,0.125,0.061,0.033,0.405,0.112]，使用argmax函数寻找的分类结果中的最大值为0.405，对应位置为4；设第j个样本的预测标签值为Yj，则
Yj＝argmax(X'Kij)，i∈1,2,…,nl (7)
若预测标签Yj与真实标签labelj一致，则在真值表的相应位置上加1，否则加0，最终计算出预测的准确率，计算公式如(8)所示:
<mrow>
<mi>a</mi>
<mi>c</mi>
<mi>c</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>b</mi>
<mi>s</mi>
</msub>
</munderover>
<msub>
<mi>&alpha;</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&alpha;</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>Y</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<msub>
<mi>label</mi>
<mi>j</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤7)通过以上步骤，获取到了最终的分类结果，还需要将这些分类结果转化为嵌入式控制指令；方法中将分类结果与预先设计好的控制指令一一对应，并将控制指令发送至电动轮椅的主控制模块，主控制模块收到指令并进行解析和调制相应的PWM脉冲来控制轮椅的驱动电压，调制出3路0.5V～4.5V的模拟电压，其中一路恒为2.5V，作为参考电压，另外两个电压的不同组合代表了轮椅前后左右四个方向运动时的电压值，如此即不需要摇杆直接对轮椅进行方向的任意控制；
步骤8)为保证轮椅的稳定性和使用者的安全，为轮椅设计了一个主接收器和四个方向的雷达探头组成，小型雷达探头分布在轮椅前后左右四个方向上，防撞系统的主接收器实时接收来自这四个雷达探头返回的数据并进行结果输出，轮椅上的主控制器接收并解析来自防撞系统的数据，实现在轮椅靠近障碍物时自动停止轮椅的运行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710648288.7A CN107616880B (zh) | 2017-08-01 | 2017-08-01 | 一种基于脑电意念和深度学习的智能电动轮椅实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710648288.7A CN107616880B (zh) | 2017-08-01 | 2017-08-01 | 一种基于脑电意念和深度学习的智能电动轮椅实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107616880A true CN107616880A (zh) | 2018-01-23 |
| CN107616880B CN107616880B (zh) | 2020-10-09 |
Family
ID=61088174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710648288.7A Active CN107616880B (zh) | 2017-08-01 | 2017-08-01 | 一种基于脑电意念和深度学习的智能电动轮椅实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107616880B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446020A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
| CN108536154A (zh) * | 2018-05-14 | 2018-09-14 | 重庆师范大学 | 基于生物电信号控制的低速自动驾驶智能轮椅构建方法 |
| CN109481164A (zh) * | 2018-11-29 | 2019-03-19 | 江苏理工学院 | 一种基于脑电信号的电动轮椅控制系统 |
| CN111839926A (zh) * | 2020-06-18 | 2020-10-30 | 南京邮电大学 | 一种头姿交互控制与自主学习控制共享的轮椅控制方法及系统 |
| CN112883914A (zh) * | 2021-03-19 | 2021-06-01 | 西安科技大学 | 一种多分类器结合的矿用机器人意念感知与决策方法 |
| CN113274206A (zh) * | 2021-05-19 | 2021-08-20 | 哈尔滨理工大学 | 一种基于眼动和深度学习的电动轮椅实现方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5474082A (en) * | 1993-01-06 | 1995-12-12 | Junker; Andrew | Brain-body actuated system |
| CN103349595A (zh) * | 2013-07-16 | 2013-10-16 | 杭州电子科技大学 | 基于多模式分层控制的脑机接口智能轮椅 |
| CN106503799A (zh) * | 2016-10-11 | 2017-03-15 | 天津大学 | 基于多尺度网络的深度学习模型及在脑状态监测中的应用 |
-
2017
- 2017-08-01 CN CN201710648288.7A patent/CN107616880B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5474082A (en) * | 1993-01-06 | 1995-12-12 | Junker; Andrew | Brain-body actuated system |
| CN103349595A (zh) * | 2013-07-16 | 2013-10-16 | 杭州电子科技大学 | 基于多模式分层控制的脑机接口智能轮椅 |
| CN106503799A (zh) * | 2016-10-11 | 2017-03-15 | 天津大学 | 基于多尺度网络的深度学习模型及在脑状态监测中的应用 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446020A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
| CN108446020B (zh) * | 2018-02-28 | 2021-01-08 | 天津大学 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
| CN108536154A (zh) * | 2018-05-14 | 2018-09-14 | 重庆师范大学 | 基于生物电信号控制的低速自动驾驶智能轮椅构建方法 |
| CN109481164A (zh) * | 2018-11-29 | 2019-03-19 | 江苏理工学院 | 一种基于脑电信号的电动轮椅控制系统 |
| CN111839926A (zh) * | 2020-06-18 | 2020-10-30 | 南京邮电大学 | 一种头姿交互控制与自主学习控制共享的轮椅控制方法及系统 |
| CN112883914A (zh) * | 2021-03-19 | 2021-06-01 | 西安科技大学 | 一种多分类器结合的矿用机器人意念感知与决策方法 |
| CN112883914B (zh) * | 2021-03-19 | 2024-03-19 | 西安科技大学 | 一种多分类器结合的矿用机器人意念感知与决策方法 |
| CN113274206A (zh) * | 2021-05-19 | 2021-08-20 | 哈尔滨理工大学 | 一种基于眼动和深度学习的电动轮椅实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107616880B (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107616880B (zh) | 一种基于脑电意念和深度学习的智能电动轮椅实现方法 | |
| Zhang et al. | Cognitive load measurement in a virtual reality-based driving system for autism intervention | |
| Solovey et al. | Classifying driver workload using physiological and driving performance data: two field studies | |
| Mühlbacher-Karrer et al. | A driver state detection system—Combining a capacitive hand detection sensor with physiological sensors | |
| Lin et al. | EEG-based assessment of driver cognitive responses in a dynamic virtual-reality driving environment | |
| Saha et al. | EEG analysis for cognitive failure detection in driving using type-2 fuzzy classifiers | |
| CN102184415B (zh) | 一种基于脑电信号的疲劳状态识别方法 | |
| CN104978035A (zh) | 基于体感电刺激诱发p300的脑机接口系统及其实现方法 | |
| CN109512442A (zh) | 一种基于LightGBM的EEG疲劳状态分类方法 | |
| Li et al. | Analysis and classification of EEG signals using a hybrid clustering technique | |
| CN102184019A (zh) | 基于隐性注意的视听联合刺激脑-机接口方法 | |
| Ahmed | Wheelchair movement control VIA human eye blinks | |
| Lin et al. | Assessment of driver's driving performance and alertness using EEG-based fuzzy neural networks | |
| CN105046273A (zh) | 基于多尺度样本熵的癫痫脑皮层电图信号分类方法 | |
| Wang et al. | Classification of EEG signal using convolutional neural networks | |
| CN110367975A (zh) | 一种基于脑机接口的疲劳驾驶检测预警方法 | |
| Chen | A primer on neural signal processing | |
| CN109567832A (zh) | 一种基于智能手环的检测愤怒驾驶状态的方法及系统 | |
| Padmavathi et al. | A review on EEG based brain computer interface systems | |
| Zou et al. | EEG feature extraction and pattern classification based on motor imagery in brain-computer interface | |
| Boubchir et al. | EEG error potentials detection and classification using time-frequency features for robot reinforcement learning | |
| Bang et al. | Interpretable convolutional neural networks for subject-independent motor imagery classification | |
| Chang et al. | Exploring covert states of brain dynamics via fuzzy inference encoding | |
| Moctezuma | Towards Universal EEG systems with minimum channel count based on Machine Learning and Computational Intelligence | |
| Miah et al. | Real-time eeg classification of voluntary hand movement directions using brain machine interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |