CN113070875A - 一种基于脑波识别的机械手控制方法及装置 - Google Patents
一种基于脑波识别的机械手控制方法及装置 Download PDFInfo
- Publication number
- CN113070875A CN113070875A CN202110220320.8A CN202110220320A CN113070875A CN 113070875 A CN113070875 A CN 113070875A CN 202110220320 A CN202110220320 A CN 202110220320A CN 113070875 A CN113070875 A CN 113070875A
- Authority
- CN
- China
- Prior art keywords
- brain wave
- manipulator
- single chip
- chip microcomputer
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000009471 action Effects 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 239000000523 sample Substances 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 239000011664 nicotinic acid Substances 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000036649 mental concentration Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000004761 scalp Anatomy 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007920 subcutaneous administration Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种基于脑波识别的机械手控制方法及装置，该方法包括：将无源干电极作为探针电极，通过TGAM传感器采集人体脑波信号；脑波信号经过滤波放大及模数转换后，通过串口蓝牙传输至单片机；单片机基于构建的脑波识别模型对脑波信号进行识别，并结合现实场景的图像识别结果，驱动机械手进行指定操作。通过该方案实现机械手的脑波控制，功能多样化、使用方便，充分考虑不同人群的差异性，方便配备个性化脑波控制动作，结合硬件和软件上的优化设计，可满足多样化使用需求。
Description
技术领域
本发明涉及智能控制领域，尤其涉及一种基于脑波识别的机械手控制方法及装置。
背景技术
随着科技的发展，基于人的声音、眼球乃至于脑电波的自动控制设备得到了广泛的应用。其中，脑电波的远程操控不仅可以使人们远离危险现场对设备进行操作，而且有助于发展助残智能设备。例如可以帮助残障人士表达行动想法，使渐冻症患者使用脑控设备维持正常生活，使残疾人群利用机械臂进行书写等。然而，目前，基于脑电波的控制方法大多只能控制设备启动关闭、转动等简单操作，具体可应用场景有限。
发明内容
有鉴于此，本发明实施例提供了一种基于脑波识别的机械手控制方法及装置，以解决现有脑电波控制方式简单，可应用场景有限的问题。
在本发明实施例的第一方面，提供了一种基于脑波识别的机械手控制方法，包括：
将无源干电极作为探针电极，通过TGAM传感器采集人体脑波信号；
脑波信号经过滤波放大及模数转换后，通过串口蓝牙传输至单片机；
单片机基于构建的脑波识别模型对脑波信号进行识别，并结合现实场景的图像识别结果，驱动机械手进行指定操作；
其中，所述机械手为仿生多抓机械手，由多个连杆组成，所述机械手上安装有摄像头。
在本发明实施例的第二方面，提供了一种基于脑波识别的机械手控制装置，包括：
脑波读取模块，用于将无源干电极作为探针电极，通过TGAM传感器采集人体脑波信号，并对脑波信号进行滤波放大、模数转换处理；
蓝牙模块，用于将脑波信号发送至单片机；
单片机，用于通过脑波识别模型对脑波信号进行识别，并对现实场景的图像识别，根据脑波识别结果和图像识别结果，生成机械手控制指令；
单片机驱动板，用于驱动机械手进行指定操作；
机械手，用于接收驱动信号完成指定操作；
其中，所述机械手为仿生多抓机械手，由多个连杆组成，所述机械手上安装有摄像头。
本发明实施例中，通过采集人体的脑电信号，对脑电信号进行降噪，结合现实场景的图像识别，可根据脑电信号做出相应的手部动作，实现脑机交互。相比较传统的义肢和智能义肢，其使用起来更加的方便，功能多样化。机械手整体结构精巧，能充分考虑不同人群的差异性，方便配备个性化脑波控制动作，结合硬件和软件上的优化设计，能够胜任多样化使用需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的一种基于脑波识别的机械手控制方法的流程示意图；
图2为本发明的一个实施例提供的α波、β波、θ波及δ波的波形示意图；
图3为本发明的一个实施例提供的不同状态下四种波形能量值直方图；
图4为本发明的一个实施例提供的机械手示意图；
图5为本发明的一个实施例提供的一种基于脑波识别的机械手控制方法的另一流程示意图；
图6为本发明的一个实施例提供的一种基于脑波识别的机械手控制装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。
需要说明的是，脑波的检测与采集方式大致分为头皮层次脑电波采集、皮下电位采集、神经元放电采集三类。目前精准采集度最高的是皮下电位采集，但由于需要专业的医疗设备以及皮下电极植入，设备价格高昂，实验成本高。本申请选择基于头皮层次电位采集的方式，其对人体无损害，价格适中。基于头皮层次电位采集的原理为：通过额叶上的电位变化，即大脑产生的脑电波的变化获取原始脑波数据，采集时将一个电极夹于采集者的单耳，另一个电极贴于测试者前额，以采集脑电信号的变化。
请参阅图1，图1为本发明一个实施例提供的一种基于脑波识别的机械手控制方法的流程示意图，包括：
S101、将无源干电极作为探针电极，通过TGAM传感器采集人体脑电信号；
利用干式电极，可以从人体大脑中检测微弱的脑电信号，基于电容耦合信号的原理的无源干电极作为脑电采集点电极，大大简化使用过程，佩戴方便安全且舒适。同时采用参考导联组合的电位参考点作为理论上的零电位点，以便描记到脑电活动原形即电位绝对值。参考导联的电位参考点一般选择在单侧耳垂，因此REF电极(参考点电极)参考电位电极采用单面耳夹式设计，佩戴稳定。
使用TGAM芯片神经读取模块，该模块集成了相关算法，通过对各种脑波数据的综合计算，解读出出使用者精神“集中度”水平或“注意度”水平的强烈程度，该指数值的范围设定为0到100。
S102、脑电信号经过滤波放大及模数转换后，通过串口蓝牙传输至单片机；
利用TGAM中的响应算法过滤掉周围的噪音及其他电力干扰，并将脑波信号转化为数字信号进行输出。其高达512Hz的数据采样率使得脑波数据的读取更为灵敏，且能够输出多重脑波信号如：原始脑电信号、专注、放松、眨眼等，通过对这些不同数值的读取，可以完成后续各种各样的功能。
人类头皮上能够采集到的电压为±50μV，而通过对脑波特征的分析可知，人类脑波正常情况下波动范围为2.8～45.9Hz，因此首先考虑剔除2.8～45.9Hz之外的波动信号，将[2.8，45.9]Hz区间内的脑波信号作为主要提取对象。
在脑波的分析和计算时,使用傅里叶变换(FFT)算法，通过傅里叶变换将脑波信号由时域转换到频域，获得脑电波信号的频率、功率等参数。但仅经过傅里叶变换产生的频域数据只能显示出单一时刻的频率、功率变化，数据特征效果单一，不能很好地分析脑波信号。优选的，依次通过统计分析、快速傅里叶变换、小波变换和马拉特算法等处理脑波信号。
马拉特算法从空间概念上抽象地说明了小波多分辨率共性，随着尺度由大到小变更，在各尺度上能够由粗到细地展现图像的差异特点。在大尺度空间里，可观察图像轮廓；在小尺度空间里，可观察图像细节。
设f是要处理的信号,Hjf为分辨率2j下f的最佳逼近，则Hjf可进一步分解为f在分辨率2j-1下的近似Hj-1f以及位于分辨率2j-1与2j之间的细节Dj-1之和。
首先对信号进行分解，分解公式为：
分解过程的系数表达式为：
使用尺度方程使小波变换具有短支撑集、正交性、对称性等特性，尺度方程公式为：
小波函数为：
采集的脑波信号频率位于[2.8，45.9]区间，因此把区间外的频率所对应的小波系数设为0，将区间内的频率小波系数重构后得到可用信息。信号重构公式为：
重构过程的系数表达式为：
经过变换，得到原始脑波的高频系数与低频系数，并由此获取相应的重构信号。对这些重构信号不同层的FFT进行分析，可以获得与α波、β波、θ波及δ波相似的信号，如图2所示
鉴于下表中不同的脑电波波形具有不同的频段，选取三个人进行测试，获取α波、β波、θ波及δ波的平均能量值。
平均能量值计算公式为：
得到的α波、β波、θ波、δ波四种波形的平均能量值，这些值分别取自被采样者处于疲劳状态、平常状态、注意力集中状态的情况。以直方图的形式直观地展示出来如图3。
可以发现:疲劳状态下δ波能量值最高；α波能量值在平常状态下能量值最低；β波能量值在疲劳状态和注意力集中状态下能量数值相差不大且高于平常状态；θ波能量值在疲劳状态下最高。
再以δ波能量作为参考，寻找δ波能量值较大的数据，去除疲劳状态的波形数据后，通过α波、β波能量值的变化可以发现精神越集中的情况，α波与β波的能量值越高，基于此就可使用数据值的前后变化分析得出一个人的精神集中度变化，且通过平均值，可以粗略地估量精神集中时α波与β波脑波范围分别在[40，80]、[30，70]区间内。与此同时在精神集中的状态下，当人在眨眼活动时，α波能量值会出现大的波动，波动的规律为α波能量值呈快速指数型升高到一个峰值后，迅速下降至精神集中状态时α波能量值之下，形成一个波谷，之后能量值逐渐趋于精神集中状态时的能量值。
S103、单片机基于构建的脑波识别模型对脑波信号进行识别，并结合现实场景的图像识别结果，驱动机械手进行指定操作。
其中，所述机械手为仿生多抓机械手，由多个连杆组成，所述机械手上安装有摄像头。在机械手表面套上防滑手套，手指处做特殊的处理，增大与物体之间的摩擦力使抓手抓取更牢固。
单片机将在程序运行后系统启动后将首先进行各外设初始化，完成后循环抓取串口缓冲区中的数据，当抓取数据特征位符合数据流特征位时，视蓝牙连接正常，通过蓝牙接收打包的脑波信号数据。
获取大量脑电波信号图像数据，对图像数据预处理后，提取图像特征，并构建脑波识别模型，对所述脑波识别模型进行评估，若所述脑波识别模型识别准确度超过预设值，则将所述脑波识别模型部署至单片机，以通过脑波识别模型识别脑波信号。
利用机器学习，先将可视化的图形作为大量的数据集预处理来过滤其中的噪声，然后计算提取出特征，并使用适当的算法进行模型构建获取预期准确的值，然后根据测试集来评估模型的准确度，最后将模型部署、应用到实际环境中，为每个客户量身定制其控制机械手时的神经阈值参数，同时用户也可以通过终端软件自行手动调整参数以达到最佳的使用体验。
若人体脑波信号预定参数达到设定的阈值，单片机根据图像识别的结果确定预抓取物体位置，控制机械手完成指定抓取动作。
具体的，通过图像识别算法，获取物体抓取框，根据物体抓取框、多爪机械手的结构和各手指之间的位置关系，计算多爪机械手抓取的可抓取点。
优选的，在进行物体抓取位置选择时，采用滑动窗口算法生成候选框，将从抓取框推荐算法和特征提取网络中得到的信息输入到金字塔卷积层得到特征向量，并通过支持向量机判断抓取框是否正确。
抓取不规则物体时，找到抓取位置是至关重要的，通常不规则物体的几何因素和质量分布都与抓取位置有关。检测物体的方法是从局部来考虑，将所有可能成为抓取框的侯选位置找出，并且将找出来的位置一一用检测算法进行检验，从而得到这些位置恰好就是抓取位置的概率。在上述过程中，需要设置一个阈值来对概率的高低进行判断，当得出的概率比阈值高的时候就将其所对应的位置定为正确的抓取位置，而当概率低于阈值时就将对应的位置。从图像的局部区域进行分析时，首要任务是得到候选框，而产生候选框的各种算法中，比较常用且效果比较好的是滑动窗口算法。
在进行目标检测时，若使用滑动窗口算法来生成候选框的话，那么就会有很多的候选框被生成，同时会为后续的计算与分析带来很大的工作量，所以控制候选框的数量这一步骤是至关重要的。经过第一步的目标检测之后，下一步就是通过抓取框推荐算法，之后将从抓取框推荐算法和特征提取网络中得到的信息输入到金字塔卷积层中，该步骤能够把抓取位置信息转变成向量信息，得到特征向量。在进行特征提取时，会出现图像尺寸变换而导致特征也随之变化的情况，金字塔卷积层则可以消除这种不利的情况。而且，金字塔卷积层能够减少计算量，节省计算时间。最后使用支持向量机对从金字塔卷积层中获取的特征向量进行判断与分析，得出抓取框是否正确。
在一个实施例中，为单片机配备驱动板，驱动板具有8路PWM舵机接口、6路总舵机接口、二次开发通信接口、电机接口、电源输出接口、I IC接口、电源正负极、控制开关、功能按键KEY1和KEY2、LED1和LED2。其中，功能按键KEY1是复位WIFI键，KEY2是关机键。LED1和LED2分别代表电源和通信的状态。通过PWM舵机接口将多爪机械手与单片机连接起来，从而可以用单片机控制机械手的运动
在一个实施例中，结合3D打印和LFD-01舵机设计制作机械手装置，如图4所示。该手掌在相关软件和参数的控制下，能够做出各式各样的手势，为了避免因堵转带来的机械手损坏，采用防堵转舵机对手指进行驱动。同时为其配备一个USB摄像头，该摄像头支持MJPG格式输出并且焦距可调，在几乎不占用单片机运算资源的情况下提供480P，30FPS的高晰度低延迟的图像，方便进行图像识别。LFD-01防堵转舵机内置堵转保护算法，保证舵机不会因为堵转、碰撞而烧坏，从而大大延长舵机使用寿命。使用的多爪机械手一共有6个舵机，其中包括一个基座上方的手掌旋转舵机和5个控制手指动作的舵机。
图5为本发明一个实施例提供的基于脑波识别的机械手控制方法另一流程示意图，如图5所示：
TGAM神经信号读取模块采集使用者的神经信号(脑电波)，对信号处理后，数据打包由蓝牙转发至单片机，单片机根据摄像头采集的图像数据及图像识别结果，向单片机驱动板发送控制指令，以控制机械手进行指定操作。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图6为本发明实施例提供的一种基于脑波识别的机械手控制装置的结构示意图，该装置包括：
脑波读取模块610，用于将无源干电极作为探针电极，通过TGAM传感器采集人体脑波信号，并对脑波信号进行滤波放大、模数转换处理；
具体的，所述对脑波信号进行滤波放大、模数转换处理包括：
依次通过统计分析、快速傅里叶变换、小波变换和马拉特算法处理脑波信号。
蓝牙模块620，用于将脑波信号发送至单片机；
单片机630，用于通过脑波识别模型对脑波信号进行识别，并对现实场景的图像识别，根据脑波识别结果和图像识别结果，生成机械手控制指令；
其中，所述脑波识别模型构建过程包括：获取大量脑电波信号图像数据，对图像数据预处理后，提取图像特征，并构建脑波识别模型，对所述脑波识别模型进行评估，若所述脑波识别模型识别准确度超过预设值，则将所述脑波识别模型部署至单片机，以通过脑波识别模型识别脑波信号。
若人体脑波信号预定参数达到设定的阈值，单片机根据图像识别的结果确定预抓取物体位置，以控制机械手完成指定抓取动作。
通过图像识别算法，获取物体抓取框，根据物体抓取框、多爪机械手的结构和各手指之间的位置关系，计算多爪机械手抓取的可抓取点。
单片机驱动板640，用于驱动机械手进行指定操作；
机械手650，用于接收驱动信号完成指定操作；
其中，所述机械手为仿生多抓机械手，由多个连杆组成，所述机械手上安装有摄像头，用于采集现实场景图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，实现脑波信号识别并生成控制指令。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于脑波识别的机械手控制方法，其特征在于，包括：
将无源干电极作为探针电极，通过TGAM传感器采集人体脑波信号；
脑波信号经过滤波放大及模数转换后，通过串口蓝牙传输至单片机；
单片机基于构建的脑波识别模型对脑波信号进行识别，并结合现实场景的图像识别结果，驱动机械手进行指定操作；
其中，所述机械手为仿生多抓机械手，由多个连杆组成，所述机械手上安装有摄像头。
2.根据权利要求1所述方法，其特征在于，所述脑波信号经过滤波放大及模数转换包括：
依次通过统计分析、快速傅里叶变换、小波变换和马拉特算法处理脑波信号。
3.根据权利要求1所述方法，其特征在于，所述单片机基于构建的脑波识别模型对脑波信号进行识别之前还包括：
获取大量脑电波信号图像数据，对图像数据预处理后，提取图像特征，并构建脑波识别模型，对所述脑波识别模型进行评估，若所述脑波识别模型识别准确度超过预设值，则将所述脑波识别模型部署至单片机，以通过脑波识别模型识别脑波信号。
4.根据权利要求1所述的方法，其特征在于，所述单片机基于构建的脑波识别模型对脑波信号进行识别，并结合现实场景的图像识别结果，驱动机械手进行指定操作包括：
若人体脑波信号预定参数达到设定的阈值，单片机根据图像识别的结果确定预抓取物体位置，控制机械手完成指定抓取动作。
5.根据权利要求4所述方法，其特征在于，所述单片机根据图像识别的结果确定预抓取物体位置，控制机械手完成指定抓取动作还包括：
通过图像识别算法，获取物体抓取框，根据物体抓取框、多爪机械手的结构和各手指之间的位置关系，计算多爪机械手抓取的可抓取位置。
6.一种基于脑波识别的机械手控制装置，其特征在于，包括：
脑波读取模块，用于将无源干电极作为探针电极，通过TGAM传感器采集人体脑波信号，并对脑波信号进行滤波放大、模数转换处理；
蓝牙模块，用于将脑波信号发送至单片机；
单片机，用于通过脑波识别模型对脑波信号进行识别，并对现实场景的图像识别，根据脑波识别结果和图像识别结果，生成机械手控制指令；
单片机驱动板，用于驱动机械手进行指定操作；
机械手，用于接收驱动信号完成指定操作；
其中，所述机械手为仿生多抓机械手，由多个连杆组成，所述机械手上安装有摄像头。
7.根据权利要求6所述装置，其特征在于，所述对脑波信号进行滤波放大、模数转换处理包括：
依次通过统计分析、快速傅里叶变换、小波变换和马拉特算法处理脑波信号。
8.根据权利要求6所述装置，其特征在于，所述通过脑波识别模型对脑波信号进行识别之前还包括：
获取大量脑电波信号图像数据，对图像数据预处理后，提取图像特征，并构建脑波识别模型，对所述脑波识别模型进行评估，若所述脑波识别模型识别准确度超过预设值，则将所述脑波识别模型部署至单片机，以通过脑波识别模型识别脑波信号。
9.根据权利要求6所述的装置，其特征在于，所述根据脑波识别结果和图像识别结果，生成机械手控制指令包括：
若人体脑波信号预定参数达到设定的阈值，单片机根据图像识别的结果确定预抓取物体位置，以控制机械手完成指定抓取动作。
10.根据权利要求9所述装置，其特征在于，所述若人体脑波信号预定参数达到设定的阈值，单片机根据图像识别的结果确定预抓取物体位置，以控制机械手完成指定抓取动作还包括：
通过图像识别算法，获取物体抓取框，根据物体抓取框、多爪机械手的结构和各手指之间的位置关系，计算多爪机械手抓取的可抓取位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110220320.8A CN113070875A (zh) | 2021-02-26 | 2021-02-26 | 一种基于脑波识别的机械手控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110220320.8A CN113070875A (zh) | 2021-02-26 | 2021-02-26 | 一种基于脑波识别的机械手控制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113070875A true CN113070875A (zh) | 2021-07-06 |
Family
ID=76609643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110220320.8A Pending CN113070875A (zh) | 2021-02-26 | 2021-02-26 | 一种基于脑波识别的机械手控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113070875A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115249405A (zh) * | 2021-12-30 | 2022-10-28 | 郑州大学第一附属医院 | 一种可穿戴式儿童尿床预警装置及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101590648A (zh) * | 2009-05-14 | 2009-12-02 | 天津工程师范学院 | 基于脑-机接口的服务机器人系统 |
| CN102198660A (zh) * | 2011-05-04 | 2011-09-28 | 上海海事大学 | 基于脑-机接口的机械手臂控制系统及动作命令控制方案 |
| CN105563495A (zh) * | 2016-02-01 | 2016-05-11 | 浙江大学 | 基于精细化运动想象脑电信号控制的机械手系统及方法 |
| CN106598206A (zh) * | 2015-10-15 | 2017-04-26 | 厦门万久科技有限公司 | 基于脑电波的智能抓取装置 |
| CN109240282A (zh) * | 2018-07-30 | 2019-01-18 | 王杰瑞 | 一种可操纵智能医疗机器人 |
| CN111110982A (zh) * | 2019-12-02 | 2020-05-08 | 燕山大学 | 基于运动想象的手部康复训练方法 |
-
2021
- 2021-02-26 CN CN202110220320.8A patent/CN113070875A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101590648A (zh) * | 2009-05-14 | 2009-12-02 | 天津工程师范学院 | 基于脑-机接口的服务机器人系统 |
| CN102198660A (zh) * | 2011-05-04 | 2011-09-28 | 上海海事大学 | 基于脑-机接口的机械手臂控制系统及动作命令控制方案 |
| CN106598206A (zh) * | 2015-10-15 | 2017-04-26 | 厦门万久科技有限公司 | 基于脑电波的智能抓取装置 |
| CN105563495A (zh) * | 2016-02-01 | 2016-05-11 | 浙江大学 | 基于精细化运动想象脑电信号控制的机械手系统及方法 |
| CN109240282A (zh) * | 2018-07-30 | 2019-01-18 | 王杰瑞 | 一种可操纵智能医疗机器人 |
| CN111110982A (zh) * | 2019-12-02 | 2020-05-08 | 燕山大学 | 基于运动想象的手部康复训练方法 |
Non-Patent Citations (7)
| Title |
|---|
| 巢娅等: "基于语义分割与脑-机接口的机械手抓取方法研究" * |
| 张新良等: "双目视觉伺服的 4-DOF 机械手臂运动控制" * |
| 李宏伟等: "基于脑-机接口的机械手实时运动控制系统研究" * |
| 李瑛达等: "脑波控制的智能医疗轮椅系统", 《物联网技术》 * |
| 谭立忠等: "《脑科学技术发展与应用》", 31 December 2018, 中国宇航出版社 * |
| 马倩倩等: "轻量级卷积神经网络的机器人抓取检测研究" * |
| 魏英姿等: "多模态卷积神经网络的物体抓取检测" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115249405A (zh) * | 2021-12-30 | 2022-10-28 | 郑州大学第一附属医院 | 一种可穿戴式儿童尿床预警装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209885B (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| Edla et al. | Classification of EEG data for human mental state analysis using Random Forest Classifier | |
| CN111631907B (zh) | 基于脑机交互混合智能的脑卒中患者手部康复系统 | |
| Sadiq et al. | Exploiting pretrained CNN models for the development of an EEG-based robust BCI framework | |
| CN110555468A (zh) | 一种联合递归图和cnn的脑电信号识别方法及系统 | |
| CN111616682A (zh) | 基于便携式脑电采集设备的癫痫发作预警系统及应用 | |
| CN108523883A (zh) | 一种基于实际动作建模的左右食指连续运动想象识别系统 | |
| CN111671420B (zh) | 一种从静息态脑电数据中提取特征的方法及终端设备 | |
| Shioji et al. | Personal authentication based on wrist EMG analysis by a convolutional neural network | |
| Sarin et al. | Automated ocular artifacts identification and removal from EEG data using hybrid machine learning methods | |
| CN113070875A (zh) | 一种基于脑波识别的机械手控制方法及装置 | |
| CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
| CN113312994A (zh) | 一种手势分类识别方法及其应用 | |
| CN111317466A (zh) | 一种脑电信号成像方法、系统以及计算机设备 | |
| Nirabi et al. | Machine Learning-Based Stress Level Detection from EEG Signals | |
| CN112450946A (zh) | 一种基于循环生成对抗网络的脑电伪迹修复的方法 | |
| Fouad et al. | Attempts towards the first brain-computer interface system in INAYA Medical College | |
| Aljebory et al. | Classification of EMG Signals: Using DWT Features and ANN Classifier | |
| Somnathe et al. | Brain Computer Interaction Framework for Speech and Motor Impairment Using Deep Learning | |
| Suganthi et al. | Pattern recognition for EMG based forearm orientation and contraction in myoelectric prosthetic hand | |
| Kim et al. | Exploring the Number of Repetitions in Trials for the Performance Convergence of Classification in Motor Imagery Task with Hand-Grasping | |
| CN112545535B (zh) | 一种基于振幅整合脑电图的睡眠觉醒周期的分析方法 | |
| Liu et al. | Low quality samples detection in motor imagery EEG data by combining independent component analysis and confident learning | |
| Bhalerao et al. | FBSE based automated classification of motor imagery EEG signals in brain–computer interface | |
| MURUGESWARI | WAVELET DECOMPOSITION METHOD BASED AUTOMATED DIAGNOSIS OF MUSCLE DISEASES |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210706 |