CN107901040A - 基于ros的机器人肌电控制系统 - Google Patents

基于ros的机器人肌电控制系统 Download PDF

Info

Publication number
CN107901040A
CN107901040A CN201711254207.1A CN201711254207A CN107901040A CN 107901040 A CN107901040 A CN 107901040A CN 201711254207 A CN201711254207 A CN 201711254207A CN 107901040 A CN107901040 A CN 107901040A
Authority
CN
China
Prior art keywords
robot
ros
stm32
control system
terminal devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711254207.1A
Other languages
English (en)
Inventor
陈思佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711254207.1A priority Critical patent/CN107901040A/zh
Publication of CN107901040A publication Critical patent/CN107901040A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了基于ROS的机器人肌电控制系统,包括肌电采集传感器和姿态传感器,还包括STM32终端设备,所述STM32终端设备接受肌电采集传感器和姿态传感器传输到操作端;所述操作端对STM32终端设备接受肌电采集传感器和姿态传感器的信号进行处理后通过WIFI网络发送控制指令到运行ROS平台Ubuntu的主机当中,同时主机通过网络传递图像至操作端;所述主机通过串口发送控制指令控制机器人机身与机械臂;本发明的机器人肌电控制系统,突破了之前主要把VR概念用于看影视材料,虚拟游戏等方面的局限性,用户可通过肌电和手机app联合控制机器人上的机械手的运动和机器人本身的前进运动状态,实现机器人的自动跟随功能。

Description

基于ROS的机器人肌电控制系统
技术领域
本发明涉及机器人技术领域,具体为基于ROS的机器人肌电控制系统。
背景技术
当今时代是智能机器人技术迅猛发展的时代,人们根据自己的需求开发出了种类繁多的机器人。随着网络、移动通信等技术的高速发展,机器人智能水平和自动化水平得到了不断的提高,人类的生活观念和生活方式也因此在慢慢改变,社会的生产、发展也因此有了巨大的变化。其中,轮式机器人的运用尤其广泛。如家用扫地机,餐饮机器人等。相比于步态移动的机器人,轮式机器人只需控制前后左右的方向控制即可。另一方面,视频及跟踪技术在机器人上的运用也已经普及,特别是视觉跟踪在工业,服务业等方面有着不可小觑的运用。
假肢在康复工程上的运用尤其广泛。一般的,用于假肢控制的仿生控制信号主要有人体自身的肌电信号、脑电信号、神经电信号和声音等,利用脑电信号、神经电信号进行假肢控制还处于实验室研究阶段,因此肌电信号可谓是最直接最简便的控制信号。然而,肌电信号本身信号弱,噪声多,还存在运动伪影的影响,而加速度信号是相对于重力加速度而言的,所以肌电结合加速度的假肢控制将更精准的判别动作。
例如美国Willow Garage公司的PR2服务机器人,科研人员针对PR2 开发了大量的应用,而它们大多数都是开源的。有了这款面向开发者的服务机器人开发平台,科研人员和开发者可以用它开发各种应用,如让PR2 机器人当一个餐厅服务员上菜,也可以让它洗衣服,洗碗等。还可以让它给老人送上热茶。另一家美国公司fetch robotics是基于PR2机器人的技术成立的一个独立公司,它们提供了面向仓储物流业的简单易用的服务机器人系统。主要的应用是模拟现代化物流配送,如有人在网上下单,系统接到订单以后发指令给fetch,让它自动到指定的货架抓取客户的商品,并放到一个篮子里运到打包处人工打包贴单寄出。与PR2不同的是,fetch 的开发功能对客户是封闭的,也就是如果想使用它必须由官方定制应用以适应特定的场景或客户特殊的需求,它的价格也非常贵。除了昂贵的硬件成本,还有后续应用定制的成本,所以虽然目前还没有正式上市,不过据了解他们已经开始着手销售了,不过销售的形式比较特殊,是本体加软件开发的总包模式。也就是说该公司提供的是基于具体应用的机器人仓储物流解决方案,并不会单独卖它的机器人本体。
除了美国的服务机器人,欧洲也有多家开发服务机器人的公司,如意大利的PALrobotics。他们也是一个致力于提供科研用服务机器人的公司。有人形机器人和轮式机器人等。轮式机器人TiAGo,与fetch很像,机械构型上没有太大区别。主要的不同是定位,PAL是基于ROS的开源操作系统上开发应用,用户可以自行开发和科研。
总体来说,虽然生产服务机器人的公司非常多,但是面向的客户大多是科研院所,能真正进入平常百姓家的带有机械臂的服务机器人并不多。这主要是由于成本和可靠性两个问题决定的,一般来说,可靠性好的服务机器人成本会高的吓人。要想真正平民化,除了不停地开发更可靠的算法外,整体价格的降低,尤其是硬件成本的降低,将起到至关重要的作用。
国内的服务机器人虽然起步比较晚,但是也研发出了功能强大的服务机器人。例如由北京康力优蓝机器人科技有限公司研发的优友机器人。优友机器人在技术上的特点是其开发独立的机器人操作系统,该框架可以进行人脸识别、语音交互、情感识别等功能,主要功能是与人进行语音对话。这种产品主要应用于在家里陪伴老人和小孩,在银行可以做人机自主业务办理,在旅游景点可以做机器人导游,还有在央视春晚表演过的优必选的舞蹈机器人等。国内的机器人虽然在外形,语义等功能方面做得不错,在大都还停留在娱乐和表演方面。曾经多次新闻中出现的餐厅机器人,后来发现很多餐厅老板还是放弃了这样的机器人,原因在于虽然有足够的外表,但实用性不够,其行走还是需要沿着地面上的轨道,除了一开始的机器人噱头,后续并没有给餐厅带来多大的便利和人工成本的节省。
发明内容
针对以上问题,本发明提供了基于ROS的机器人肌电控制系统,突破了之前主要把VR概念用于看影视材料,虚拟游戏等方面的局限性,用户可通过肌电和手机app联合控制机器人上的机械手的运动和机器人本身的前进运动状态,实现机器人的自动跟随功能;可以有效解决背景技术中的问题。
为实现上述目的,本发明提供如下技术方案:基于ROS的机器人肌电控制系统,包括肌电采集传感器和姿态传感器,还包括STM32终端设备,所述STM32终端设备接受肌电采集传感器和姿态传感器传输到操作端;
所述操作端对STM32终端设备接受肌电采集传感器和姿态传感器的信号进行处理后通过WIFI网络发送控制指令到运行ROS平台Ubuntu的主机当中,同时主机通过网络传递图像至操作端;
所述主机通过串口发送控制指令控制机器人机身与机械臂。
作为本发明一种优选的技术方案,所述肌电采集传感器和姿态传感器通过卡尔曼滤波姿态融合算法进行融合再传输到STM32终端设备中,所述姿态传感器共有两个,所述肌电采集传感器为8通道肌电采集传感器,能够读取小臂和大臂的运动状态。
作为本发明一种优选的技术方案,所述操作端采用安卓端的App,操作端与STM32终端设备之间通过蓝牙数据传输。
作为本发明一种优选的技术方案,所述操作端信号连接有VR设备显示器,所述主机信号连接有双目摄像头,所述双目摄像头与VR设备显示器相配合。
作为本发明一种优选的技术方案,所述操作端对STM32终端设备接受肌电采集传感器和姿态传感器的信号的处理包括对传感器数据的特征提取、模式识别、预测用户手臂摆动姿态和机器人运动状态。
作为本发明一种优选的技术方案,所述姿态传感器的型号为MPU-6050 六轴姿态传感器。
作为本发明一种优选的技术方案,所述主机通过Kinect摄像头、3D深度感应器获取深度图像,实现对用户手势动作的获取。
与现有技术相比,本发明的有益效果是:
采集用户的肌电信号来控制Replacement机器人的机械臂,使其能够与用户的手臂动作相匹配,用户可以通过自身的手臂动作来控制机器人上的机械臂。相比于传统的光学传感器和按键的操控方式来说具有排干扰性强,操作更为灵活和复杂等优点。
通过获取kinect的深度图像实现小车对物体的跟随,可以实现上位机控制小车是否要进行跟随,通过分析获取到的kinect骨骼图像数据,识别出被监测者的行为模式,为突发情况做预警,通过表面肌电传感器和三轴加速度传感器识别用户手臂及手部动作,现实位于小车上机械假手的方位控制和手部的抓握行为,通过小车上的摄像头可以将视频传到上位机上,可以实时观察小车前方的情况。
附图说明
图1为本发明系统结构图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:
请参阅图1,本发明提供一种技术方案:
基于ROS的机器人肌电控制系统,包括肌电采集传感器和姿态传感器,将电极片贴在被测表面肌肉上,通过电极导联线连接到肌电信号采集传感器中对信号进行提取和处理。
为了能够精准捕捉到人体的手部运动状态,采用了MPU-6050六轴姿态传感器,可以得到手臂摆动的x、y、z轴的倾角(或称为俯仰角Pitch、滚转角Roll、偏航角Yaw),通过I2C读取MPU6050的六个数据(三轴加速度AD值、三轴角速度AD值),经过卡尔曼滤波姿态融合算法就得到 Pitch、Roll、Yaw角,从而获得手臂的运动状态,通过网络远程控制机器人上的机械臂。
系统还包括STM32终端设备,所述STM32终端设备接受肌电采集传感器和姿态传感器传输到操作端;本系统选用STM32作为主控芯片。STM32系列基于专为要求高性能、低成本、低功耗的嵌入式应用专门设计的ARM Cortex-M3内核。
STM32集成嵌入式Flash和SRAM存储器的ARM Cortex-M3内核。和 8/16位设备相比,ARM Cortex-M332位RISC处理器提供了更高的代码效率。STM32F103xx微控制器带有一个嵌入式的ARM核,所以可以兼容所有的 ARM工具和软件。STM32具有嵌入式Flash存储器和RAM存储器:内置多达 512KB的嵌入式Flash,可用于存储程序和数据。多达64KB的嵌入式SRAM 可以以CPU的时钟速度进行读写(不待等待状态)。
关于主控芯片的外围电路我们主要在最小系统版的基础上加了
MPU6050,三组编码器的采集端口,以及一个用于显示速度,电压等参数的 led显示屏。同时也预留了其他暂时没用到的端口,以便后续的扩展。
由于单片机IO引脚的输出电流只有10~20ma,而驱动机器人运动的直流电机正常工作的电流一般要求在1-2A,所以这时候要借助电机驱动来达到目的。在基于肌电控制的ROS服务机器人系统中电机驱动的作用是根据接收到的单片机三个IO的PWM控制信号进行功率放大,即放大IO口的电流驱动直流电机的运转。在轮式机器人的电机驱动电路设计中,选用的电机驱动芯片是市面上用得最多的BTS7971驱动,选用该芯片是因为BTS7971的外围驱动硬件相关电路相对简单,但可靠性却比一般驱动芯片高,可实现PWM脉宽平滑调速以及电机的正反转。考虑到本系统最终需要负重10千克左右的,本小车采用三个型号为MD36自带AB向编码器的行星电机。故需要三组BTN驱动模块来对电机进行驱动。其每一个电机都是由不同的PWM波进行控制,也即每一个车轮的转速可以单独控制,这方便了方向的控制,并通过编码器获取每个电机的实时速度,便于对它进行反馈控制。
所述操作端对STM32终端设备接受肌电采集传感器和姿态传感器的信号进行处理后通过WIFI网络发送控制指令到运行ROS平台Ubuntu的主机当中,同时主机通过网络传递图像至操作端;
所述主机通过串口发送控制指令控制机器人机身与机械臂。
优选的,所述肌电采集传感器和姿态传感器通过卡尔曼滤波姿态融合算法进行融合再传输到STM32终端设备中,所述姿态传感器共有两个,所述肌电采集传感器为8通道肌电采集传感器,能够读取小臂和大臂的运动状态。
优选的,所述操作端采用安卓端的App,操作端与STM32终端设备之间通过蓝牙数据传输。
优选的,所述操作端信号连接有VR设备显示器,所述主机信号连接有双目摄像头,所述双目摄像头与VR设备显示器相配合。它的工作原理是将左右眼图像交互显示在屏幕上的方式,使用立体眼镜与这类立体显示模式搭配,只需要将垂直同步讯号作为快门切换同步讯号即可达成立体显像的目的。而使用其它立体显像设备则将左右眼图像(以垂直同步讯号分隔的画面)分送至左右眼显示设备上即可。
优选的,所述操作端对STM32终端设备接受肌电采集传感器和姿态传感器的信号的处理包括对传感器数据的特征提取、模式识别、预测用户手臂摆动姿态和机器人运动状态。
优选的,所述姿态传感器的型号为MPU-6050六轴姿态传感器。
优选的,所述主机通过Kinect摄像头、3D深度感应器获取深度图像,实现对用户手势动作的获取。Kinect for Xbox 360,简称Kinect,是由微软开发,应用于Xbox 360主机的周边设备。它让玩家不需要手持或踩踏控制器,而是使用语音指令或手势来操作Xbox360的系统界面。它也能捕捉玩家全身上下的动作,用身体来进行游戏,带给玩家“免控制器的游戏与娱乐体验”。
Kinect有三个镜头,中间的镜头是RGB彩色摄影机,用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的 3D结构光深度感应器,用来采集深度数据(场景中物体到摄像头的距离)。彩色摄像头最大支持1280*960分辨率成像,红外摄像头最大支持640*480 成像。Kinect还搭配了追焦技术,底座马达会随着对焦物体移动跟着转动。 Kinect也内建阵列式麦克风,由四个麦克风同时收音,比对后消除杂音,并通过其采集声音进行语音识别和声源定位。
Kinect中间的镜头是摄影机、左右两颗镜头则是3D深度感应器;同时具有追焦功能,底座马达可左右旋转27度。此外还有阵列式麦克风,可同时获取彩色影像、3D深度影像、以及声音讯号。
本发明的工作原理:用户头戴VR眼镜,手臂贴有MPU6050和肌电采集传感器,所采集的信号通过蓝牙传至手机APP端,通过APP端对信号的分析,把实际要进行的动作通过socket发送至机器人端,从而用于控制操纵杆和取物。另外在普通模式下,App手机端对机器人进行的是方向控制。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.基于ROS的机器人肌电控制系统,其特征在于:包括肌电采集传感器和姿态传感器,还包括STM32终端设备,所述STM32终端设备接受肌电采集传感器和姿态传感器传输到操作端;
所述操作端对STM32终端设备接受肌电采集传感器和姿态传感器的信号进行处理后通过WIFI网络发送控制指令到运行ROS平台Ubuntu的主机当中,同时主机通过网络传递图像至操作端;
所述主机通过串口发送控制指令控制机器人机身与机械臂。
2.根据权利要求1所述的基于ROS的机器人肌电控制系统,其特征在于:所述肌电采集传感器和姿态传感器通过卡尔曼滤波姿态融合算法进行融合再传输到STM32终端设备中;所述肌电采集传感器为8通道肌电采集传感器;所述姿态传感器为两个,分别安装在小臂和大臂上,用于检测小臂和大臂的运动状态。
3.根据权利要求1所述的基于ROS的机器人肌电控制系统,其特征在于:所述操作端采用安卓端的App,操作端与STM32终端设备之间通过蓝牙数据传输。
4.根据权利要求1所述的基于ROS的机器人肌电控制系统,其特征在于:所述操作端信号连接有VR设备显示器,所述主机信号连接有双目摄像头,所述双目摄像头与VR设备显示器相配合。
5.根据权利要求1所述的基于ROS的机器人肌电控制系统,其特征在于:所述操作端对STM32终端设备接受肌电采集传感器和姿态传感器的信号的处理包括对传感器数据的特征提取、模式识别、预测用户手臂摆动姿态和机器人运动状态。
6.根据权利要求1所述的基于ROS的机器人肌电控制系统,其特征在于:所述姿态传感器的型号为MPU-6050六轴姿态传感器。
7.根据权利要求1所述的基于ROS的机器人肌电控制系统,其特征在于:所述主机通过Kinect摄像头、3D深度感应器获取深度图像,实现对用户手势动作的获取。
CN201711254207.1A 2017-12-03 2017-12-03 基于ros的机器人肌电控制系统 Pending CN107901040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711254207.1A CN107901040A (zh) 2017-12-03 2017-12-03 基于ros的机器人肌电控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711254207.1A CN107901040A (zh) 2017-12-03 2017-12-03 基于ros的机器人肌电控制系统

Publications (1)

Publication Number Publication Date
CN107901040A true CN107901040A (zh) 2018-04-13

Family

ID=61853786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711254207.1A Pending CN107901040A (zh) 2017-12-03 2017-12-03 基于ros的机器人肌电控制系统

Country Status (1)

Country Link
CN (1) CN107901040A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108786015A (zh) * 2018-06-26 2018-11-13 郑州大学 一种穿戴式手指功能主动康复训练系统
CN108875563A (zh) * 2018-04-28 2018-11-23 尚谷科技(天津)有限公司 一种基于肌肉信号的人体动作识别方法
CN111438673A (zh) * 2020-03-24 2020-07-24 西安交通大学 基于立体视觉和手势控制的高空作业遥操作方法及系统
CN111531537A (zh) * 2020-05-07 2020-08-14 金陵科技学院 基于多传感器的机械臂控制方法
CN115026837A (zh) * 2022-07-25 2022-09-09 武汉科技大学 一种高空作业机器人及其远程控制方法和远程控制系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875563A (zh) * 2018-04-28 2018-11-23 尚谷科技(天津)有限公司 一种基于肌肉信号的人体动作识别方法
CN108786015A (zh) * 2018-06-26 2018-11-13 郑州大学 一种穿戴式手指功能主动康复训练系统
CN111438673A (zh) * 2020-03-24 2020-07-24 西安交通大学 基于立体视觉和手势控制的高空作业遥操作方法及系统
CN111531537A (zh) * 2020-05-07 2020-08-14 金陵科技学院 基于多传感器的机械臂控制方法
CN111531537B (zh) * 2020-05-07 2022-11-01 金陵科技学院 基于多传感器的机械臂控制方法
CN115026837A (zh) * 2022-07-25 2022-09-09 武汉科技大学 一种高空作业机器人及其远程控制方法和远程控制系统

Similar Documents

Publication Publication Date Title
CN107901040A (zh) 基于ros的机器人肌电控制系统
CN105013137B (zh) 一种智能跑步机系统及其使用方法
CN102576466B (zh) 用于跟踪模型的系统和方法
CN202150897U (zh) 一种体感控制游戏电视机
CN205334369U (zh) 基于动作捕捉的舞台表演系统
CN107065409A (zh) 动向投影装置及其工作方法
CN204658444U (zh) 一种基于三自由度搬运机构的下棋机器人
CN103207667B (zh) 一种人机互动的控制方法及其运用
CN107050775B (zh) 一种基于虚拟现实技术的多路径可变幅室内攀岩机
CN107027014A (zh) 一种动向智能投影系统及其方法
CN106313072A (zh) 一种基于Kinect的体感控制的类人型机器人
CN102553232A (zh) 人体姿态捕捉装置及其实现方法
CN207253639U (zh) 一种基于虚拟现实的运动交互系统
CN106707834A (zh) 一种基于计算机视觉技术的遥控设备
CN204046742U (zh) 一种利用智能眼镜进行实时监控控制的移动机器人
CN108421252A (zh) 一种基于ar设备的游戏实现方法和ar设备
CN107734195A (zh) 一种可与移动通信设备双向实时同步运动姿态及状态的智能魔方系统
CN109699300A (zh) 一种智能柑橘采摘机的控制系统及其控制方法
CN103252077A (zh) 下棋机器人
CN208227136U (zh) 一种可与移动通信设备双向实时同步运动姿态及状态的魔方系统
CN206883648U (zh) 机器人
CN107818705A (zh) 多传感器融合的早教机器人系统及运行方法
CN107168371A (zh) 一种飞行陪伴机器人控制方法及系统
CN107053214A (zh) 一种基于体感控制的机器人对战装置及控制方法
CN108858176A (zh) 一种智能机器狗

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180413

WD01 Invention patent application deemed withdrawn after publication