CN107049308B - 一种基于深度神经网络的意念控制系统 - Google Patents

Abstract

本发明涉及脑电波控制技术领域，具体为一种基于深度神经网络的意念控制系统。一种基于深度神经网络的意念控制系统，包括脑电波采集模块、深度神经网络模块和外部设备接口模块，所述脑电波采集模块与所述深度神经网络模块通过蓝牙连接，所述深度神经网络模块与所述外部设备接口模块通过WIFI连接；所述脑电波采集模块，包括采集电极、参考电极、脑电采集芯片和蓝牙发射器，所述采集电极和所述参考电极均与所述脑电采集芯片连接，所述脑电采集芯片与所述蓝牙发射器连接。本发明直接通过人体的脑电波图像来训练深度神经网络以得到通用性较高、脑电波信号分类识别效果非常精确的模型，大大提高了意念控制系统的多样性、通用性和精确性。

Description

一种基于深度神经网络的意念控制系统

技术领域

本发明涉及脑电波控制技术领域，具体为一种基于深度神经网络的意念控制系统。

背景技术

意念控制即利用脑电波这种生物电信号实现脑电接口的技术。目前对于脑电波检测模块的普及化商品化使得人们可以获取较为准确的脑电波。然而目前市面上打着意念控制旗号的商品所用的原理是人在兴奋、紧张、昏迷等不同状态之下，脑电波的频率会有明显的不同，约在1～40赫兹之间，依照不同的频率，脑波又被进一步分为α、β、δ、θ波。当人在一定的压力之下精神高度集中时，脑波的频率在12～38赫兹之间，这个波段被称为β波，是“意识”层面的脑波；当人注意力下降，处于放松状态时，脑波的频率会下降到8～12赫兹，这被称为α波。利用这个原理当人精神达到集中频段时，单片机会发出一个触发信号控制机器，市面上的产品意念控制机器人，意念控制飞行器，意念控制小游戏都是使用这个方法，与其说是意念控制不如说是控制开关，直接通过脑电波频率的骤变来控制相关机器，控制效果往往不是很理想。

发明内容

本发明针对现有技术存在的问题，提出了一种基于深度神经网络的意念控制系统，直接通过人体的脑电波图像来训练深度神经网络以得到通用性较高、脑电波信号分类识别效果非常精确的模型，大大提高了意念控制系统的多样性、通用性和精确性。

本发明解决其技术问题所采用的技术方案是：一种基于深度神经网络的意念控制系统，包括脑电波采集模块、深度神经网络模块和外部设备接口模块，所述脑电波采集模块与所述深度神经网络模块通过蓝牙连接，所述深度神经网络模块与所述外部设备接口模块通过WIFI连接；

所述脑电波采集模块，包括采集电极、参考电极、脑电采集芯片和蓝牙发射器，所述采集电极和所述参考电极均与所述脑电采集芯片连接，所述脑电采集芯片与所述蓝牙发射器连接，所述脑电采集芯片将所述采集电极采集的实时脑电波通过所述蓝牙发射器实时发送给上位机；

所述深度神经网络模块，包括预处理单元，深度神经网络建模单元和脑电波分类单元；所述预处理单元用于对原始脑电波进行去噪、滤波以及放大处理以获取初始脑电波图像，并将所述初始脑电波图像压缩成最终脑电波图像；所述深度神经网络建模单元用于通过最终脑电波图像建立并实时优化深度神经网络模型；所述脑电波分类单元用于通过深度神经网络模型对最终脑电波图像进行分类；

所述外部设备接口模块，用于将外部设备接口与所述深度神经网络模块通过WIFI连接，以使所述脑电波分类单元将分类结果发送给外部设备的控制芯片。

作为优选，所述深度神经网络建模单元，包括初始模型建立单元和模型优化单元；所述初始模型建立单元通过一定量的最终脑电波图像训练样本数据训练深度神经网络模型以得到脑电波分类模型，并使得脑电波分类模型的分类准确率不小于90%；所述模型优化单元通过实时获取的最终脑电波图像以及通过脑电波分类模型预测得到的分类结果来进一步训练脑电波分类模型以对脑电波分类模型进行优化。

作为优选，所述深度神经网络建模单元包括第一建模单元，第二建模单元，第三建模单元，第四建模单元，第五建模单元和第六建模单元；所述第一建模单元采用年龄段在20岁以下的男性脑电波图像进行深度神经网络建模以形成第一深度神经网络模型；所述第二建模单元采用年龄段在20-50岁之间的男性脑电波图像进行深度神经网络建模以形成第二深度神经网络模型；所述第三建模单元采用年龄段在50岁以上的男性脑电波图像进行深度神经网络建模以形成第三深度神经网络模型；所述第四建模单元采用年龄段在20岁以下的女性脑电波图像进行深度神经网络建模以形成第四深度神经网络模型；所述第五建模单元采用年龄段在20-50岁之间的女性脑电波图像进行深度神经网络建模以形成第五深度神经网络模型；所述第六建模单元采用年龄段在50岁以上的女性脑电波图像进行深度神经网络建模以形成第六深度神经网络模型。

作为优选，所述第一建模单元，所述第二建模单元，所述第三建模单元，所述第四建模单元，所述第五建模单元和所述第六建模单元分别包括若干个子动作建模单元，每一子动作建模单元采用相应用户的某一特定行为动作所产生的脑电波图像进行建模。

作为优选，所述预处理单元还包括将脑电波的异常值去除。

作为优选，所述采集电极包括电极本体，安装所述电极本体的外罩，所述电极本体与所述外罩内部通过弹簧连接，所述弹簧的轴向长度大于所述外罩的轴向长度，所述外罩内部设有气压调节器，所述气压调节器与设置在所述外罩外部的旋转开关连接。

作为优选，所述外罩罩口设有可拆卸的膜贴，所述膜贴围绕所述电极本体设有若干透气孔。

作为优选，所述意念控制系统还包括心率采集模块，心率分析模块和控制终端，所述心率采集模块与所述心率分析模块连接，所述心率分析模块与所述控制终端连接；

所述心率采集模块包括脉搏传感器；

所述心率分析模块包括脉搏数据预处理单元，脉搏数据存储单元和脉搏比较器；

所述控制终端包括脉搏阈值设定单元，且所述控制终端与所述外部设备接口模块连接。

作为优选，所述脉搏阈值设定单元用于设定阈值V1和V2；其中，V1为低迷阈值，当用户的脉搏值小于或等于V1时，表明用户处于低迷状态；V2为亢奋阈值，当用户的脉搏值大于或等于V2时，表明用户处于亢奋状态；所述脉搏比较器用于将用户的脉搏信息的实时值V与设定的阈值V1和V2做比较，并将比较结果返控制终端。

作为优选，所述阈值设定单元包括自动阈值设定一级子单元和人为阈值设定一级子单元；所述自动阈值设定一级子单元根据用户的历史脉搏信息自动确定低迷阈值V1和亢奋阈值V2；所述人为阈值设定一级子单元通过用户人为设定脉搏的低迷阈值V1和亢奋阈值V2；

所述自动阈值设定一级子单元具体包括脉搏提取二级子单元，脉搏预处理二级子单元，脉搏平均值计算二级子单元和脉搏阈值确定二级子单元；

所述脉搏提取二级子单元，用于从脉搏数据存储单元存储的历史脉搏信息中随机采集至少30条时长为1分钟的脉搏信息；

所述脉搏预处理二级子单元，用于将每条脉搏信息中低于60次/每钟及高于100次/分钟的异常脉搏值去除，然后求得每条脉博信息的平均脉搏值；

所述脉搏平均值计算二级子单元，用于根据每条脉博信息的平均脉搏值求得脉搏信息总的平均脉搏值；

所述脉搏阈值确定二级子单元，用于将总的平均脉搏值减去10以得到低迷阈值V1，将总的平均脉搏值加上10以得到亢奋阈值V2。

本发明的有益效果是，直接通过脑电波图像来对深度神经网络建模，且通过用户的不同年龄性别以及所针对的行为动作采用不同的深度神经网络建模来对脑电波图像进行分类，大大提高了意念控制系统的多样性、通用性和精确性；用户只要将采集电极放于额头然后通过调节旋转开关就能实现电极的安装或拆卸，非常简单便捷，且脑电波采集稳定；通过用户的心率信号来辅助脑电波一起实现意念控制，提高了意念控制系统的可靠性。

附图说明

图1为本发明一种基于深度神经网络的意念控制系统的框架图；

图2为图1中脑电波采集模块的框架图；

图3为图1中深度神经网络模块的框架图；

图4为本发明采集电极的结构示意图；

其中，1、电极本体，2、外罩，3、弹簧，4、旋转开关。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

如图1至图4所示，一种基于深度神经网络的意念控制系统，包括脑电波采集模块、深度神经网络模块和外部设备接口模块，所述脑电波采集模块与所述深度神经网络模块通过蓝牙连接，所述深度神经网络模块与所述外部设备接口模块通过WIFI连接。

所述脑电波采集模块，包括采集电极、参考电极、脑电采集芯片和蓝牙发射器，所述采集电极和所述参考电极均与所述脑电采集芯片连接，所述脑电采集芯片与所述蓝牙发射器连接，通过将所述采集电极贴于用户额头来采集用户的实时脑电波信号，通过将所述参考电极夹持在用户耳朵上来作为电极参考，所述脑电采集芯片将所述采集电极采集的实时脑电波通过所述蓝牙发射器实时发送给上位机。

所述采集电极包括电极本体1，安装所述电极本体1的外罩2，所述电极本体1与所述外罩2内部通过弹簧3连接，所述弹簧3的轴向长度大于所述外罩2的轴向长度，所述外罩2内部设有气压调节器，所述气压调节器与设置在所述外罩2外部的旋转开关4连接。在弹簧放松状态下，电极本体1突出于外罩2，需要采集脑电波时，将电极本体1放在额头上，然后按下外罩2，使外罩2与额头贴紧，然后转动旋转开关4，通过气压调节器将外罩2内部的空气抽走一定的量，使得采集电极与额头牢牢连接，脑电波采集稳定。当需要将采集电极取下时，只需要转动旋转开关4，通过气压调节器往外罩2内部充入一定的空气，使得外罩2内外气压平衡，就能够将采集电极取下，采集电极安装拆卸非常便利。所述外罩2罩口设有可拆卸的膜贴，所述膜贴围绕所述电极本体1设有若干透气孔。采集电极多次用后会有油渍弄脏电极本体1，通过使用膜贴可防止电极本体1被污染，从而延长了采集电极的使用寿命，膜贴可经常更换，安全卫生。膜贴上设有透气孔，便于空气流通，以实现采集电极与额头的有效连接。

所述深度神经网络模块，包括预处理单元，深度神经网络建模单元和脑电波分类单元。所述预处理单元用于对原始脑电波进行去噪、滤波以及放大处理以获取初始脑电波图像，并将所述初始脑电波图像压缩成最终脑电波图像。每一幅最终脑电波图像作为训练深度神经网络建模模型的一组数据，通过一定数量的最终脑电波图像完成对深度神经网络模型的训练。

所述深度神经网络建模单元用于通过最终脑电波图像建立并实时优化深度神经网络模型。所述深度神经网络建模单元，包括初始模型建立单元和模型优化单元。所述初始模型建立单元通过一定量的最终脑电波图像训练样本数据训练深度神经网络模型以得到脑电波分类模型，并使得脑电波分类模型的分类准确率不小于90%。所述模型优化单元通过实时获取的最终脑电波图像以及通过脑电波分类模型预测得到的分类结果来进一步训练脑电波分类模型以对脑电波分类模型进行优化。所述脑电波分类单元用于通过深度神经网络模型对最终脑电波图像进行分类。

所述深度神经网络建模单元包括第一建模单元，第二建模单元，第三建模单元，第四建模单元，第五建模单元和第六建模单元；所述第一建模单元采用年龄段在20岁以下的男性脑电波图像进行深度神经网络建模以形成第一深度神经网络模型；所述第二建模单元采用年龄段在20-50岁之间的男性脑电波图像进行深度神经网络建模以形成第二深度神经网络模型；所述第三建模单元采用年龄段在50岁以上的男性脑电波图像进行深度神经网络建模以形成第三深度神经网络模型；所述第四建模单元采用年龄段在20岁以下的女性脑电波图像进行深度神经网络建模以形成第四深度神经网络模型；所述第五建模单元采用年龄段在20-50岁之间的女性脑电波图像进行深度神经网络建模以形成第五深度神经网络模型；所述第六建模单元采用年龄段在50岁以上的女性脑电波图像进行深度神经网络建模以形成第六深度神经网络模型。即使是针对同一个行为动作，不同性别以及不同年龄段的用户所产生的脑电波图像也是存在差异的，因此，需要建立多个深度神经网络模型，每个深度神经网络模型采用相对应人体的脑电波图像进行训练建模。当用户使用该意念控制系统时，需要针对自身的情况，选择与自己相对应的深度神经网络模型来进行脑电波图像分类。

所述第一建模单元，所述第二建模单元，所述第三建模单元，所述第四建模单元，所述第五建模单元和所述第六建模单元分别包括若干个子动作建模单元，每一子动作建模单元采用相应用户的某一特定行为动作所产生的脑电波图像进行建模。同一用户对不同的行为所产生的脑电波有可能是类似的，因此，需要在选择好年龄段以及性别后，还需要针对不同的行为动作选择相应的子动作建模单元，这样，子动作建模单元训练出来的深度神经网络模型就能够有效地判定脑电波信号的意念控制结果。

所述预处理单元还包括将脑电波的异常值去除，将一幅脑电波图像中超出或低于预设值的图像数据点去除，可进一步提高意念控制的可靠性。

所述外部设备接口模块，用于将外部设备接口与所述深度神经网络模块通过WIFI连接，以使所述脑电波分类单元将分类结果发送给外部设备的控制芯片，控制芯片通过分类结果控制不同的机器或设备做出与分类结果相对应的动作，以实现意念控制。

所述意念控制系统还包括心率采集模块，心率分析模块和控制终端，所述心率采集模块与所述心率分析模块连接，所述心率分析模块与所述控制终端连接。所述心率采集模块包括用于与用户手腕接触的脉搏传感器。所述心率分析模块包括脉搏数据预处理单元，脉搏数据存储单元和脉搏比较器。所述控制终端包括脉搏阈值设定单元，且所述控制终端与所述外部设备接口模块连接。

所述阈值设定单元用于设定阈值V1和V2；其中，V1为低迷阈值，当用户的脉搏值小于或等于V1时，表明用户处于低迷状态；V2为亢奋阈值，当用户的脉搏值大于或等于V2时，表明用户处于亢奋状态。当用户处于低迷状态或处于亢奋状态时，意念控制的效果会不理想，甚至会产生相反的意念控制结果，因此，该状态下，意念控制系统对脑电波不做任何处理。当脉搏在V1和V2之间时，表示用户处于正常状态，意念控制系统可正常进行，以对获取的脑电波图像做出相应的动作。

所述阈值设定单元包括自动阈值设定一级子单元和人为阈值设定一级子单元。所述自动阈值设定一级子单元根据用户的历史脉搏信息自动确定低迷阈值V1和亢奋阈值V2。所述人为阈值设定一级子单元通过用户人为设定脉搏的低迷阈值V1和亢奋阈值V2。所述自动阈值设定一级子单元具体包括脉搏提取二级子单元，脉搏预处理二级子单元，脉搏平均值计算二级子单元和脉搏阈值确定二级子单元。所述脉搏提取二级子单元，用于从脉搏数据存储单元存储的历史脉搏信息中随机采集至少30条时长为1分钟的脉搏信息。所述脉搏预处理二级子单元，用于将每条脉搏信息中低于60次/每钟及高于100次/分钟的异常脉搏值去除，然后求得每条脉博信息的平均脉搏值。所述脉搏平均值计算二级子单元，用于根据每条脉博信息的平均脉搏值求得脉搏信息总的平均脉搏值。所述脉搏阈值确定二级子单元，用于将总的平均脉搏值减去10以得到低迷阈值V1，将总的平均脉搏值加上10以得到亢奋阈值V2。所述脉搏比较器用于将用户的脉搏信息的实时值V与设定的阈值V1和V2做比较，并将比较结果返控制终端，控制终端决定是否对所采集的脑电波做进一步处理，使得意念控制系统更加可靠。

本发明的意念控制系统通过在心率正常的情况下通过合适的深度神经网络模型对脑电波信号进行分类，可以实现多向控制，同时在识别中拥有较高准确率，可以达到心中所想即能实现，真真正正的意念控制。本发明的意念控制系统可以应用在诸多领域，以形成各种新型产品。如利用意念控制系统对残疾人辅助器械、机械义肢进行控制，帮助患者，利用意念控制系统对汽车、飞行器、船只等进行控制，降低学习成本，利用意念控制系统对智能家居进行，控制方便生活。

上面所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (1)

1.基于深度神经网络的意念控制系统，其特征在于：包括脑电波采集模块、深度神经网络模块和外部设备接口模块，所述脑电波采集模块与所述深度神经网络模块通过蓝牙连接，所述深度神经网络模块与所述外部设备接口模块通过WIFI连接；

所述脑电波采集模块，包括采集电极、参考电极、脑电采集芯片和蓝牙发射器，所述采集电极和所述参考电极均与所述脑电采集芯片连接，所述脑电采集芯片与所述蓝牙发射器连接，所述脑电采集芯片将所述采集电极采集的实时脑电波通过所述蓝牙发射器实时发送给上位机；

所述深度神经网络模块，包括预处理单元，深度神经网络建模单元和脑电波分类单元；所述预处理单元用于对原始脑电波进行去噪、滤波以及放大处理以获取初始脑电波图像，并将所述初始脑电波图像压缩成最终脑电波图像；所述深度神经网络建模单元用于通过最终脑电波图像建立并实时优化深度神经网络模型；所述脑电波分类单元用于通过深度神经网络模型对最终脑电波图像进行分类；

所述外部设备接口模块，用于将外部设备接口与所述深度神经网络模块通过WIFI连接，以使所述脑电波分类单元将分类结果发送给外部设备的控制芯片；

所述深度神经网络建模单元包括第一建模单元，第二建模单元，第三建模单元，第四建模单元，第五建模单元和第六建模单元；所述第一建模单元采用年龄段在20岁以下的男性脑电波图像进行深度神经网络建模以形成第一深度神经网络模型；所述第二建模单元采用年龄段在20-50岁之间的男性脑电波图像进行深度神经网络建模以形成第二深度神经网络模型；所述第三建模单元采用年龄段在50岁以上的男性脑电波图像进行深度神经网络建模以形成第三深度神经网络模型；所述第四建模单元采用年龄段在20岁以下的女性脑电波图像进行深度神经网络建模以形成第四深度神经网络模型；所述第五建模单元采用年龄段在20-50岁之间的女性脑电波图像进行深度神经网络建模以形成第五深度神经网络模型；所述第六建模单元采用年龄段在50岁以上的女性脑电波图像进行深度神经网络建模以形成第六深度神经网络模型；

所述第一建模单元，所述第二建模单元，所述第三建模单元，所述第四建模单元，所述第五建模单元和所述第六建模单元分别包括若干个子动作建模单元，每一子动作建模单元采用相应用户的某一特定行为动作所产生的脑电波图像进行建模；

所述采集电极包括电极本体（1），安装所述电极本体（1）的外罩（2），所述电极本体（1）与所述外罩（2）内部通过弹簧（3）连接，所述弹簧（3）的轴向长度大于所述外罩（2）的轴向长度，所述外罩（2）内部设有气压调节器，所述气压调节器与设置在所述外罩（2）外部的旋转开关（4）连接；

所述外罩（2）罩口设有可拆卸的膜贴，所述膜贴围绕所述电极本体（1）设有若干透气孔；

所述深度神经网络建模单元，包括初始模型建立单元和模型优化单元；所述初始模型建立单元通过一定量的最终脑电波图像训练样本数据训练深度神经网络模型以得到脑电波分类模型，并使得脑电波分类模型的分类准确率不小于90%；所述模型优化单元通过实时获取的最终脑电波图像以及通过脑电波分类模型预测得到的分类结果来进一步训练脑电波分类模型以对脑电波分类模型进行优化；

所述预处理单元还包括将脑电波的异常值去除；

所述意念控制系统还包括心率采集模块，心率分析模块和控制终端，所述心率采集模块与所述心率分析模块连接，所述心率分析模块与所述控制终端连接；

所述心率采集模块包括脉搏传感器；

所述心率分析模块包括脉搏数据预处理单元，脉搏数据存储单元和脉搏比较器；

所述控制终端包括脉搏阈值设定单元，且所述控制终端与所述外部设备接口模块连接；

所述脉搏阈值设定单元用于设定阈值V1和V2；其中，V1为低迷阈值，当用户的脉搏值小于或等于V1时，表明用户处于低迷状态；V2为亢奋阈值，当用户的脉搏值大于或等于V2时，表明用户处于亢奋状态；所述脉搏比较器用于将用户的脉搏信息的实时值V与设定的阈值V1和V2做比较，并将比较结果返回控制终端；

所述脉搏阈值设定单元包括自动阈值设定一级子单元和人为阈值设定一级子单元；所述自动阈值设定一级子单元根据用户的历史脉搏信息自动确定低迷阈值V1和亢奋阈值V2；所述人为阈值设定一级子单元通过用户人为设定脉搏的低迷阈值V1和亢奋阈值V2；

所述自动阈值设定一级子单元具体包括脉搏提取二级子单元，脉搏预处理二级子单元，脉搏平均值计算二级子单元和脉搏阈值确定二级子单元；

所述脉搏提取二级子单元，用于从脉搏数据存储单元存储的历史脉搏信息中随机采集至少30条时长为1分钟的脉搏信息；

所述脉搏预处理二级子单元，用于将每条脉搏信息中低于60次/每钟及高于100次/分钟的异常脉搏值去除，然后求得每条脉博信息的平均脉搏值；

所述脉搏平均值计算二级子单元，用于根据每条脉博信息的平均脉搏值求得脉搏信息总的平均脉搏值；

所述脉搏阈值确定二级子单元，用于将总的平均脉搏值减去10以得到低迷阈值V1，将总的平均脉搏值加上10以得到亢奋阈值V2。

Images