CN108279620A - 基于脑电波结合肢体动作的仿生手臂控制装置及控制方法 - Google Patents
基于脑电波结合肢体动作的仿生手臂控制装置及控制方法 Download PDFInfo
- Publication number
- CN108279620A CN108279620A CN201810317437.6A CN201810317437A CN108279620A CN 108279620 A CN108279620 A CN 108279620A CN 201810317437 A CN201810317437 A CN 201810317437A CN 108279620 A CN108279620 A CN 108279620A
- Authority
- CN
- China
- Prior art keywords
- brain wave
- control module
- bionic arm
- sensor
- limb action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 67
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 41
- 210000003414 extremity Anatomy 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 claims description 3
- 230000024159 perception of rate of movement Effects 0.000 claims description 2
- 230000003592 biomimetic effect Effects 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000007812 deficiency Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/25—Pc structure of the system
- G05B2219/25257—Microcontroller
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Toys (AREA)
Abstract
本发明公开了一种基于脑电波结合肢体动作的仿生手臂控制装置及控制方法，它包括控制模块，脑电波传感器和运动感测传感器与控制模块无线连接；语音播报模块与控制模块通过导线连接；控制模块与仿生手臂通过无线网络连接；解决了现有技术存在的仿生机械臂带来的不足，以及现有仿生机械臂信号采集不稳定，精度不准确，易受干扰，系统成本高，实时性差及不方便携带等技术问题。
Description
技术领域
本发明属于机器人控制技术，尤其涉及一种基于脑电波结合肢体动作的仿生手臂控制装置及控制方法。
背景技术
随着互联网的发展以及触角的延伸，大脑——这个人体中最神秘的器官正逐渐展现出其更新奇的一面。越来越多的学者对脑电波控制技术进行了深入而广泛的研究。人的大脑是由无数神经交错而成的，当这些数以万计的神经相互作用时，脑电波模式就会表现出相应的思维状态，并且会产生轻微的放电。不同的神经活动会表现出不同的思维状态；不同的思维状态会发出不同振幅和频率的脑电波。
仿生手臂是人工智能研究领域中的一个热点问题，应用前景非常广泛。从本质上来讲，仿生手臂是一种能按既定的程序或要求，自动完成物件传送或操作作业的机械装置。它能部分地代替人的手工劳动，还能模拟人的手臂动作，完成较复杂的作业。近年来，越来越多的研究学者试图把脑电波技术应用在仿生手臂中，即可以用意念控制的仿生手臂。
当前的脑电波采集技术发展的还很不成熟，信号采集容易受到干扰，不稳定的同时随机性较大，采集精度不够准确且不方便携带。
发明内容
本发明要解决的技术问题是：提供一种基于脑电波结合肢体动作的仿生手臂控制装置及控制方法，以解决现有技术存在的仿生机械臂的不足，以及现有仿生机械臂信号采集不稳定，精度不准确，易受干扰，系统成本高，实时性差及不方便携带等技术问题。
本发明技术方案：
一种基于脑电波结合肢体动作的仿生手臂控制装置，它包括控制模块，脑电波传感器和运动感测传感器与控制模块无线连接；语音播报模块与控制模块通过导线连接；控制模块与仿生手臂通过无线。
所述控制模块与上位机通过无线网络连接。
脑电波传感器为贴片式便携传感器，安装在眼镜或耳机上。
运动感测传感器为贴片式便携传感器，集成三轴磁传感器、三轴加速度传感器以及三轴陀螺仪传感器，安装在手腕上。
控制模块采用开源的Arduino平台。
仿生手臂为RB-796MG大扭力舵机。
所述语音播报模块为WT588D系列语音芯片。
所述的基于脑电波结合肢体动作的仿生手臂控制装置的控制方法，它包括：
步骤1、将控制模块与脑电波传感器之间通过无线通信方式连接，将控制模块与运动感测传感器之间通过无线通信方式连接，控制模块与语音播报模块之间通过导线连接；
步骤2、通过脑电波传感器获取大脑的脑电波信息，并将获取的信息通过无线通信方式发送至控制模块；
步骤3、控制模块将接收到的脑电波信息进行处理，判断用户意念状态信息以及用户准备开始进行的运动状态信息，向仿生手臂发送运动指令；
步骤4、通过运动感测传感器获取肢体运动状态信息，并将获取的信息通过无线通信方式发送至控制模块；
步骤5、控制模块根据接收到的运动状态信息，向仿生手臂发送运动指令。
所述的基于脑电波结合肢体动作的仿生手臂控制装置的控制方法，控制模块在向仿生手臂发送运动指令的同时，控制模块也向语音播报模块和上位机发送播报信息。
本发明的有益效果：
与现有技术相比，本发明基于脑电波结合肢体动作的仿生手臂控制装置及控制方法采用物联网传感技术和无线通信技术，借助脑电波控制技术，将其应用在仿生手臂上，能够实现意念控制，其控制方式采用脑电波启动和停止动作并给出仿生手臂动作状态，无需集中注意力，不担心其他干扰；采用肢体前、后、左、右单一以及组合空间动作控制仿生手臂的运动方向，空间精度精确，实用性强，操作简单。系统以智能化语音播报意念控制的方式代替原有仿生机械臂，以解决现有技术中脑电波数据采集控制不稳定、精确度不高以及数据难以应用等技术问题，提高了系统的实用性、便携性，优化了用户体验。系统中使用的脑电波传感器和九轴运动感测传感器均为贴片式便携传感器，不与人体皮肤直接接触，且方便用户携带，也可用于珠宝装饰。本仿生手臂控制系统操作简单、成本低廉、扩展性强、采集数据精确高，且不对人体产生伤害，小巧方便实用性强；解决了现有技术存在的仿生机械臂带来的不足，以及现有仿生机械臂信号采集不稳定，精度不准确，易受干扰，系统成本高，实时性差及不方便携带等技术问题。
附图说明
图1为本发明控制结构示意图。
具体实施方式
本发明采用DCS系统的基本设计思想，即分散控制任务而集中监视与管理，使用物联网技术完成仿生手臂控制功能。
所述脑电波传感器为美国Neurosky公司研发的世界第一款的脑电图传感器ThinkGear AM芯片，采用贴片式便携传感器取缔涂导电胶湿传感器来采集脑部周围人体发出的脑电信号，并将采集到的脑电信号转换成电信号，从而实现控制，具有精度高、反应快、易携带等优点，且传感器的结构简单，形式灵活多样，在检测和控制领域应用广泛。
所述运动感测传感器为美国PNI公司的运动跟踪引擎，该传感器集成了PNI三轴磁传感器、三轴加速度传感器、三轴陀螺仪传感器，与标准的6轴IMU空间位置传感器相比，其测量结果更加精确、数据更加可靠。除此之外，九轴运动感测传感器能够在测量中对干扰行为进行不断校正，实时性较强，非常适合应用于机器人控制技术。
所述的控制模块采用开源的Arduino平台。Arduino是一款便捷灵活、方便上手的开源硬件产品，具有丰富的接口，片内资源丰富。本发明拟通过Arduino平台3个串口分别与脑电波传感器、九轴运动感测传感器以及仿生手臂之间进行无线通信，其功耗低、运算能力强。
所述的仿生手臂采用RB-796MG大扭力舵机。仿生手臂采用关节与九自由度串联式结构，由伸缩臂舵机和9个RB-796MG大扭力舵机组成，伸缩臂舵机控制抓取动作，其余舵机控制仿生手臂的运动方向及运动状态。
所述的语音播报模块采用WT588D系列语音芯片，它集单片机和语音电路于一体，增加可编辑功能，可根据实际用法外置SPI-FLASH存储器，以功能多、音质好、应用范围广以及性能稳定的优点著称，弥补了以往各类语音芯片应用领域小的缺陷。
本实施方式所述的种基于脑电波结合肢体动作的仿生手臂控制装置，采用脑电波结合肢体动作来控制仿生手臂。其中，脑电波眨眼强度用来控制仿生手臂的启停，专注强度用来控制仿生手臂大致的抓取动作，无需担心干扰；用户肢体动作用来控制仿生手臂的伸、屈、旋转单个或组合的具体运动方式，操作简单方便。
一种基于脑电波结合肢体动作的仿生手臂控制装置，它包括控制模块，脑电波传感器和运动感测传感器与控制模块通过窄带物联网连接；语音播报模块与控制模块通过导线连接；控制模块与仿生手臂通过窄带物联网连接。
窄带物联网（NB-IoT）相比蓝牙、ZigBee等短距离通信技术，具备广覆盖、可移动以及大连接数等特性，能够带来更加丰富的应用场景，其低速率、低频段、低成本和高覆盖等特点使其逐步成为万物互联网络的一个重要分支。
所述控制模块与上位机通过无线或导线连接。
脑电波传感器为贴片式便携传感器，安装在眼镜或耳机上。
运动感测传感器为贴片式便携传感器，集成三轴磁传感器、三轴加速度传感器以及三轴陀螺仪传感器，安装在手腕上。
一种基于脑电波结合肢体动作的仿生手臂控制装置及方法包括：
步骤1、将控制模块与脑电波传感器之间通过无线通信方式连接，将控制模块与九轴运动感测传感器之间通过无线通信方式连接，控制模块与语音播报模块之间通过导线连接，各模块之间建立通讯网络；
步骤2、通过脑电波传感器获取大脑的脑电波信息，并将获取的信息通过无线通信方式发送至控制模块；
步骤3、控制模块将接收到的脑电波信息进行处理，判断用户意念状态信息以及用户准备开始进行的大致运动状态信息，向仿生手臂发送运动指令，向语音播报模块发送播报信息，同时将所采集到的信息通过无线通信方式发送至上位机提醒；
步骤4、通过九轴运动感测传感器获取肢体运动状态信息，并将获取的信息通过无线通信方式发送至控制模块；
步骤5、控制模块将接收到的运动状态信息进行处理，向仿生手臂发送运动指令，向语音播报模块发送播报信息，同时将所采集到的信息通过无线通信方式发送至上位机提醒。
本发明一种基于脑电波结合肢体动作的仿生手臂控制系统可应用于机器人，或需要辅助的老年、残障人士。在系统初始化时，脑电波传感器采集脑电波信息，发送给控制模块并设置眨眼强度和专注度阈值，通过分析所获得的脑电波数据其眨眼强度和专注度是否在阈值区间来判断用户意念状态信息以及用户准备开始进行的大致运动状态信息。当脑电波传感器检测到眨眼强度在阈值区间内时，控制模块马上向仿生手臂发送启动命令，向语音播报模块发送播报信息；反之，眨眼强度不在阈值区间内时，仿生手臂运动停止，不向仿生手臂发送运动指令，不向语音播报模块发送播报信息。根据专注度产生的相应的不同占空比的PWM信号控制伸缩臂舵机伸缩动作，根据九轴运动感测传感器上肢运动姿态角度信号产生9路PWM信号控制RB-796MG大扭力舵机按用户需求伸缩旋转。
本发明一种基于脑电波结合肢体动作的仿生手臂控制系统以智能化意念控制的方式代替原有仿生机械臂，以解决现有技术中脑电波数据采集控制不稳定、精确度不高以及数据难以应用等技术问题，提高了系统的实用性、便携性，优化了用户体验。为早日实现意念控制生活提供了技术保障。
Claims (10)
1.一种基于脑电波结合肢体动作的仿生手臂控制装置，它包括控制模块，其特征在于：脑电波传感器和运动感测传感器与控制模块通过无线网络连接；语音播报模块与控制模块通过导线连接；控制模块与仿生手臂通过无线网络连接。
2.根据权利要求1所述的一种基于脑电波结合肢体动作的仿生手臂控制装置，其特征在于：所述控制模块与上位机通过无线或导线连接。
3.根据权利要求1所述的一种基于脑电波结合肢体动作的仿生手臂控制装置，其特征在于：脑电波传感器为贴片式便携传感器，安装在眼镜或耳机上。
4.根据权利要求1所述的一种基于脑电波结合肢体动作的仿生手臂控制装置，其特征在于：运动感测传感器为贴片式便携传感器，集成三轴磁传感器、三轴加速度传感器以及三轴陀螺仪传感器，安装在手腕上。
5.根据权利要求1所述的一种基于脑电波结合肢体动作的仿生手臂控制装置，其特征在于：控制模块采用开源的Arduino平台。
6.根据权利要求1所述的一种基于脑电波结合肢体动作的仿生手臂控制装置，其特征在于：所述无线网络采用窄带物联网。
7.根据权利要求1所述的一种基于脑电波结合肢体动作的仿生手臂控制装置，其特征在于：仿生手臂为RB-796MG大扭力舵机。
8.根据权利要求1所述的一种基于脑电波结合肢体动作的仿生手臂控制装置，其特征在于：所述语音播报模块为WT588D系列语音芯片。
9.如权利要求1所述的基于脑电波结合肢体动作的仿生手臂控制装置的控制方法，它包括：
步骤1、将控制模块与脑电波传感器之间通过无线通信方式连接，将控制模块与运动感测传感器之间通过无线通信方式连接，控制模块与语音播报模块之间通过导线连接；
步骤2、通过脑电波传感器获取大脑的脑电波信息，并将获取的信息通过无线通信方式发送至控制模块；
步骤3、控制模块将接收到的脑电波信息进行处理，判断用户意念状态信息以及用户准备开始进行的运动状态信息，向仿生手臂发送运动指令；
步骤4、通过运动感测传感器获取肢体运动状态信息，并将获取的信息通过无线通信方式发送至控制模块；
步骤5、控制模块根据接收到的运动状态信息，向仿生手臂发送运动指令。
10.根据权利要求9所述的基于脑电波结合肢体动作的仿生手臂控制装置的控制方法，其特征在于：控制模块在向仿生手臂发送运动指令的同时，控制模块也向语音播报模块和上位机发送播报信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810317437.6A CN108279620A (zh) | 2018-04-10 | 2018-04-10 | 基于脑电波结合肢体动作的仿生手臂控制装置及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810317437.6A CN108279620A (zh) | 2018-04-10 | 2018-04-10 | 基于脑电波结合肢体动作的仿生手臂控制装置及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108279620A true CN108279620A (zh) | 2018-07-13 |
Family
ID=62811550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810317437.6A Pending CN108279620A (zh) | 2018-04-10 | 2018-04-10 | 基于脑电波结合肢体动作的仿生手臂控制装置及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108279620A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109172067A (zh) * | 2018-08-21 | 2019-01-11 | 中国地质大学（武汉） | 一种基于脑电信号和语音信号共同控制的智能义肢系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104997581A (zh) * | 2015-07-17 | 2015-10-28 | 西安交通大学 | 基于面部表情驱动脑电信号的假手控制方法及装置 |
| CN105943207A (zh) * | 2016-06-24 | 2016-09-21 | 吉林大学 | 一种基于意念控制的智能假肢运动系统及其控制方法 |
| CN107550687A (zh) * | 2017-10-11 | 2018-01-09 | 王勃然 | 多功能自适应性康复手套 |
| CN107817731A (zh) * | 2017-11-27 | 2018-03-20 | 中国兵器工业计算机应用技术研究所 | 融合肌电和脑电信息的无人平台操控系统及操控方法 |
-
2018
- 2018-04-10 CN CN201810317437.6A patent/CN108279620A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104997581A (zh) * | 2015-07-17 | 2015-10-28 | 西安交通大学 | 基于面部表情驱动脑电信号的假手控制方法及装置 |
| CN105943207A (zh) * | 2016-06-24 | 2016-09-21 | 吉林大学 | 一种基于意念控制的智能假肢运动系统及其控制方法 |
| CN107550687A (zh) * | 2017-10-11 | 2018-01-09 | 王勃然 | 多功能自适应性康复手套 |
| CN107817731A (zh) * | 2017-11-27 | 2018-03-20 | 中国兵器工业计算机应用技术研究所 | 融合肌电和脑电信息的无人平台操控系统及操控方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109172067A (zh) * | 2018-08-21 | 2019-01-11 | 中国地质大学（武汉） | 一种基于脑电信号和语音信号共同控制的智能义肢系统 |
| CN109172067B (zh) * | 2018-08-21 | 2023-08-29 | 中国地质大学（武汉） | 一种基于脑电信号和语音信号共同控制的智能义肢系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104134060B (zh) | 基于肌电信号和运动传感器的手语翻译和显示发声系统 | |
| CN105943207B (zh) | 一种基于意念控制的智能假肢运动系统及其控制方法 | |
| Aylward et al. | Sensemble: A Wireless, Compact, Multi-User Sensor System for Interactive Dance. | |
| US10061389B2 (en) | Gesture recognition system and gesture recognition method | |
| US8242880B2 (en) | Tongue operated magnetic sensor systems and methods | |
| CN107553499A (zh) | 一种多轴机械臂的自然手势运动控制系统和方法 | |
| CN105867656B (zh) | 一种基于体感音乐穿戴设备的演奏动作识别方法 | |
| CN103513770A (zh) | 基于三轴陀螺仪的人机接口设备及人机交互方法 | |
| CN109172066A (zh) | 基于语音控制与视觉识别的智能假肢手及其系统和方法 | |
| CN103543843A (zh) | 基于加速度传感器的人机接口设备及人机交互方法 | |
| CN105007636A (zh) | 一种面向运动康复的可穿戴式无线传感网节点装置 | |
| CN109846487A (zh) | 基于MIMU/sEMG融合的大腿运动姿态测量方法和装置 | |
| CN109498375B (zh) | 一种人体运动意图识别控制装置及控制方法 | |
| Aylward et al. | A compact, wireless, wearable sensor network for interactive dance ensembles | |
| CN203552178U (zh) | 腕带式手部运动识别装置 | |
| CN108279620A (zh) | 基于脑电波结合肢体动作的仿生手臂控制装置及控制方法 | |
| CN107647951A (zh) | 用于辅助上下肢运动的方法、系统及计算机可读介质 | |
| Fang et al. | Toward a wireless wearable system for bidirectional human-machine interface with gesture recognition and vibration feedback | |
| Ni et al. | Human posture detection based on human body communication with muti-carriers modulation | |
| CN109508088A (zh) | 一种基于肌电信号手语识别翻译臂环及手语识别方法 | |
| CN205692125U (zh) | 手势判别设备 | |
| CN109171720A (zh) | 一种肌电惯性信号和视频信息同步采集装置及方法 | |
| CN209360687U (zh) | 一种肌电惯性信号和视频信息同步采集装置 | |
| CN109558006B (zh) | 无线分布式肢体动作捕捉设备 | |
| CN204636626U (zh) | 一种带有感知反馈功能的假肢系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180713 |
|
| RJ01 | Rejection of invention patent application after publication |