CN113064442A - 一种基于ros的手势远程控制无人机 - Google Patents

一种基于ros的手势远程控制无人机 Download PDF

Info

Publication number
CN113064442A
CN113064442A CN202110244771.5A CN202110244771A CN113064442A CN 113064442 A CN113064442 A CN 113064442A CN 202110244771 A CN202110244771 A CN 202110244771A CN 113064442 A CN113064442 A CN 113064442A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
gesture
ros
remote control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110244771.5A
Other languages
English (en)
Inventor
胡文
甘良志
李旭光
薛文轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Normal University
Original Assignee
Jiangsu Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Normal University filed Critical Jiangsu Normal University
Priority to CN202110244771.5A priority Critical patent/CN113064442A/zh
Publication of CN113064442A publication Critical patent/CN113064442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于ROS的手势远程控制无人机,通过将手势识别技术与无人机相结合,通过MPU‑9050采集手势数据,在ROS系统建立接收IMU值的ROS‑Ardunio节点,将其作为ROS主题发送给Ardunio控制板进行处理,通过NRF24L01无线模块对数据进行发送,在无人机端将收到的数据通过Pixhawk进行分析处理,输出相应的PWM波来控制无人机的飞行状态。经试验证实该系统可通过手势直接改变无人机的飞行状态,本发明通过操作者配戴手势手套,通过特定的姿势,远程发送操作指令给无人机,控制无人机的飞行姿态。改变无人机的传统控制方式,使用效果出色,整体具有较好的可操作性。

Description

一种基于ROS的手势远程控制无人机
技术领域
本发明涉及无人机控制技术领域,涉及一种远程控制无人机,特别是一种基于ROS的手势远程控制无人机。
背景技术
随着全球工业4.0的到来,无人机已经深入我们生活,各行各业好似都和无人机有着密切的关系。如:无人机警用安防、农林植保、电力巡检、户外航拍、地理测绘等诸多领域。
然而就目前的无人机控制交互而言一般都通过常规的按钮操作、遥控器摇杆操作、触摸屏操作等进行,其操作复杂,对操作者的专业要求比较高,需要经过专业的训练才可以熟练操控。即使是专业的操作人员也会因为误触控制按键,造成无人机失控,从而坠机的风险。
发明内容
本发明所要解决的技术问题在于针对上述现有技术的不足,旨在提供一种基于ROS的手势远程控制无人机。能够通过手势直接控制无人机飞行状态,相对于传统的摇杆控制,更加方便快捷,便于操控者直接控制无人机,大大降低了无人机的操作难度。
为解决上述技术问题,本发明提出的技术方案是:
一种基于ROS的手势远程控制无人机,包括:
手势信号采集单元:包括手势姿态采集手套、设置在所述手势姿态采集手套上用于采集手势动作信号的传感器组件、与所述的传感器组件相连接的手套数据控制模块;
状态控制器单元:用于将所述的信号采集单元采集的特定手势姿态信号转化为运动指令;
无线通信单元:用于实现所述的手套数据控制模块与所述的无人机控制器单元之间的通信;
无人机控制器单元:包括惯性测量模块IMU和主控处理器MCU,IMU感知飞行器在空中的姿态,将数据送给主控处理器MCU。主控处理器MCU将根据用户操作的指令,以及IMU数据,通过飞行算法控制飞行器的稳定运行。
无人机机架单元:包括有支撑板,所述支撑板分为上支撑板和下支撑板,所述支撑板上支撑板与下支撑板大小相同,相互支撑对应,所述上支撑板安装八轴机架、机架末端分别安装无刷电机,无刷电机分别连接螺旋桨。
优选地,所述的手势状态传感器组件为MPU-9250,其内部的状态传感器,可以采集人体特定手势的偏航和俯仰两个旋转分量。
优选的,所述的状态控制器单元为Ardunio MEGA 2560,使用Ardunio-ROS组合计算MPU-9050方向并且将其通过无线通信单元发送给无人机无线接收控制器。
优选的,所述的手势信号采集单元MPU-9250和状态控制器单元Ardunio MEGA2560安装在手套手掌中间,组成手势控制手套。
优选的,所述的无线通信单元和无人机主控制器单元安装在无人机交叉部位,并且由减震环保护固定。
优选的,所述的无人机机架采用碳纤维、铝和玻璃纤维材料制作。
优选的,所述的主控处理器MCU为Pixhawk飞行控制器。
优选的,所述的无人机控制器系统由接收机、NRF24L01无线模块、报警器、安全开关、GPS模块、电子调速器和无刷电机;进一步接收机、报警器、安全开关、GPS模块、电子调速器、NRF24L01无线模块与所述飞行控制器Pixhawk连接,无刷电机与所述电子调速器连接。
与现有技术相比,本发明的有益效果:
本发明提出一种将手势识别技术与无人机相结合的无人机系统。该系统通过MPU-9050采集手势数据,在ROS系统建立接收IMU值的ROS-Ardunio节点,将其作为ROS主题发送给Ardunio控制板进行处理,通过NRF24L01无线模块对数据进行发送,在无人机端将收到的数据通过Pixhawk进行分析处理,输出相应的PWM波来控制无人机的飞行状态。经试验证实该系统可通过手势直接改变无人机的飞行状态,本发明通过操作者配戴手势手套,通过特定的姿势,远程发送操作指令给无人机,控制无人机的飞行姿态。改变无人机的传统控制方式,使用效果出色,整体具有较好的可操作性。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是本发明的手势手套结构示意图。
图2是本发明的无人机结构俯视图。
图3是本发明的无人机结构左视图。
图4是本发明的Ardunio与MPU-9250连接局部电路原理图。
图5是本发明的Ardunio与NRF24L01连接局部电路原理图。
图6是本发明的手势遥控基本结构流程图。
图7是本发明的远程遥控无人机功能流程图。
图8是本发明的手势及运动映射图。
图9是本发明的Arduino-ROS节点流程图。
图中:1-手套、2-惯性测量单元、3-NRF24L01无线模块、4-Ardunio控制板、5-无人机机架、6-无刷电机、7-GPS模块、8-主控处理器、9-无人机支撑架、10-下支撑板、11-上支撑板、12-螺旋桨、13-起落支撑架、14-电池。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
一种基于ROS的手势远程控制无人机,该总系统由姿态控制手套系统和无人机系统组成,具体外观及构造请参阅图1、图2、图3所示,姿态控制手套系统结构主要包括五指手套1、惯性测量单元MPU-92502、NRF24L01无线模块3和Ardunio控制板4组成。无人机系统结构主要由机身支架、动力系统、指挥控制系统组成。其中机身支架由无人机机架5和起落支撑架13组成。动力系统由无刷电机6、螺旋桨12和电池14组成。指挥控制系统由无人机Pixhawk主控处理器8和GPS模块7组成。
实施例2:
请参阅图1所示,检测手势的主要模块为惯性测量单元2,惯性测量单元安装在手套1上,Ardunio控制板与惯性测量单元MPU-9250引脚连接如下表1所示。
表1Ardunio控制板与惯性测量单元MPU-9250引脚连接表
Arduino引脚 MPU-9250引脚
SCL(PD0) SCL
SDA(PD1) SDA
RXD1(PD2) INT
5V VCC
GND GND
通过特定的手势,使用Arduino-ROS组合计算惯性测量单元2的方位,并且将其发送到PC上。ROS节点在PC上运行,PC将方向数据映射为无人机的速度命令(twist)消息,无人机GPS模块7接收速度位置信息,实现无人机的位姿控制。
实施例3:
请参阅图5、图6所示,由实施例2可知通过Arduino-ROS组合计算惯性测量单元2的方位,惯性测量单元2使用I2C协议与Arduino控制板4通信,并且由Arduino控制板4计算出惯性测量单元2的方位值,并且通过rosserial协议发送给计算机端,ROS主题接收方位值转换为无人机的方位、倾斜和横滚位置信息。将上一步获取到的编码方位数据通过UART协议发送到串口中通过Arduino控制板4进行接收,并将数据转发给NRF24L01无线模块3进行无线发射。同时在无人机端实时接收NRF24L01模块3数据,将接收到的数据传输到无人机飞行控制部分。
实施例4:
请参阅图1、图7所示,使用一只手套1、将Arduino控制板4固定在手掌中心区域,将惯性测量单元2固定在手指区域,NRF24L01无线模块3用于发送姿态信息给无人机端,Ardunio控制板与无线模块NRF24L01引脚连接如表2所示。
表2Ardunio控制板与无线模块NRF24L01引脚连接表
Arduino引脚 NRF24L01引脚
OC3C(PE5) CSN
RXD3(PJ0) MOSI
3.3V VCC
GND GND
T3(PE6) CE
TXD2(PH1) SCK
RXD2(PH0) MISO
实施例5:
请参阅读图1和图8所示,人体手势一般分为四种:垂直肘关节顺时针旋转、垂直肘关节逆时针旋转、手俯仰向上移动和手俯仰向下移动。手势和无人机的运动映射参考下表3所示。
表3手势和无人机的运动映射参考表
手势 无人机运动
肘关节顺时针旋转(IMU偏航) 无人机顺时针旋转
肘关节逆时针旋转(IMU偏航) 无人机逆时针旋转
手向上倾斜(IMU俯仰) 无人机向前移动
手向下倾斜(IMU俯仰) 无人机向后移动
垂直肘旋转映射到无人机在Z轴方向上的滚转运动,手臂上下的摆动映射到无人机的正方向前进和反方向前进运动。具体映射实例如下;当手势中的惯性测量单元2与地面平行时,称为起始位置。此时无人机悬停静止,不会移动当肘部绕Z轴旋转时,无人机也将绕Z轴做偏航移动。并且机器人的旋转速度取决于肘部旋转多少度。为了使无人机前进后退,则进行手势的俯仰运动,如果手势仰向上,则无人机向前移动;反之如果手势向下,泽无人机向后移动。
实施例6:
请参阅读图4所示,惯性测量单元2通过与Arduino控制板4之间通过I2C进行通信连接,其中惯性测量单元2采用MPU-9250IMU,由陀螺仪、加速度计和罗盘组成9轴运动跟踪设备。MPU-9250IMU内置了数字运动处理器,可以融合加速度计、陀螺仪和磁力计值,获得9轴运动分量,这里用到了偏航和俯仰两个旋转分量。
实施例7:
请参阅读图5所示,无线模块3采用射频收发器件NRF24L01,工作于2.4-2.5GHzISM频段,可通过程序配置输出功率和通信频道,与无人机系统主控处理器8进行控制数据的双向传输,实现无人机的偏航和俯仰运动控制。
实施例8:
请参阅读图9所示,将惯性测量单元2通过与Arduino控制板4之间通过I2C进行通信,获取手势旋转值,并且将这些值发送给PC端ROS,编写一个Arduino-ROS节点,用于接收惯性测量单元2的位姿信息值,将偏航、俯仰和滚动以及对应于惯性测量单元2运动进行坐标转换作为ROS主题发布。同时在ROS中创建一个节点,用于接收惯性测量单元2中的位姿值,并将其作为ROS主题发送。通过PC运行ROS串行服务器节点获取Arduino节点主题,可以观察Arduino的惯性测量单元2数据信息。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明设计的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明设计范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明设计内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种基于ROS的手势远程控制无人机,其特征在于,包括:
手势信号采集单元:包括手势姿态采集手套、设置在所述手势姿态采集手套上用于采集手势动作信号的传感器组件、与所述的传感器组件相连接的手套数据控制模块;
状态控制器单元:用于将所述的信号采集单元采集的特定手势姿态信号转化为运动指令;
无线通信单元:用于实现所述的手套数据控制模块与所述的无人机控制器单元之间的通信;
无人机控制器单元:包括惯性测量模块IMU和主控处理器MCU,IMU感知飞行器在空中的姿态,将数据送给主控处理器MCU。主控处理器MCU将根据用户操作的指令,以及IMU数据,通过飞行算法控制飞行器的稳定运行。
无人机机架单元:包括有支撑板,所述支撑板分为上支撑板和下支撑板,所述支撑板上支撑板与下支撑板大小相同,相互支撑对应,所述上支撑板安装八轴机架、机架末端分别安装无刷电机,无刷电机分别连接螺旋桨。
2.根据权利要求1所述的一种基于ROS的手势远程控制无人机,其特征在于,所述的手势状态传感器组件为MPU-9250,其内部的状态传感器,可以采集人体特定手势的偏航和俯仰两个旋转分量。
3.根据权利要求1所述的一种基于ROS的手势远程控制无人机,其特征在于,所述的状态控制器单元为Ardunio MEGA 2560,使用Ardunio-ROS组合计算MPU-9050方向并且将其通过无线通信单元发送给无人机无线接收控制器。
4.根据权利要求1所述的一种基于ROS的手势远程控制无人机,其特征在于,所述的手势信号采集单元MPU-9250和状态控制器单元Ardunio MEGA 2560安装在手套手掌中间,组成手势控制手套。
5.根据权利要求1所述的一种基于ROS的手势远程控制无人机,其特征在于,所述的无线通信单元和无人机主控制器单元安装在无人机交叉部位,并且由减震环保护固定。
6.根据权利要求1所述的一种基于ROS的手势远程控制无人机,其特征在于,所述的无人机机架采用碳纤维、铝和玻璃纤维材料制作。
7.根据权利要求1所述的一种基于ROS的手势远程控制无人机,其特征在于,所述的主控处理器MCU为Pixhawk飞行控制器。
8.根据权利要求1所述的一种基于ROS的手势远程控制无人机,其特征在于,所述的无人机控制器系统由接收机、NRF24L01无线模块、报警器、安全开关、GPS模块、电子调速器和无刷电机;进一步接收机、报警器、安全开关、GPS模块、电子调速器、NRF24L01无线模块与所述飞行控制器Pixhawk连接,无刷电机与所述电子调速器连接。
CN202110244771.5A 2021-03-05 2021-03-05 一种基于ros的手势远程控制无人机 Pending CN113064442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110244771.5A CN113064442A (zh) 2021-03-05 2021-03-05 一种基于ros的手势远程控制无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110244771.5A CN113064442A (zh) 2021-03-05 2021-03-05 一种基于ros的手势远程控制无人机

Publications (1)

Publication Number Publication Date
CN113064442A true CN113064442A (zh) 2021-07-02

Family

ID=76559912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110244771.5A Pending CN113064442A (zh) 2021-03-05 2021-03-05 一种基于ros的手势远程控制无人机

Country Status (1)

Country Link
CN (1) CN113064442A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115537A (zh) * 2021-11-22 2022-03-01 中国电子科技集团公司第五十四研究所 一种无人系统手势控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108873792A (zh) * 2018-09-03 2018-11-23 中国科学院长春光学精密机械与物理研究所 一种基于arm和dsp的工业级无人机飞控系统
CN109557931A (zh) * 2017-09-25 2019-04-02 南京开天眼无人机科技有限公司 一种无人机快速自动续航系统
CN110703794A (zh) * 2019-11-29 2020-01-17 河池学院 一种基于ros的多无人机控制系统及其控制方法
CN210109640U (zh) * 2019-12-25 2020-02-21 北京航空航天大学 一种无人机手势控制装置
CN111124126A (zh) * 2019-12-25 2020-05-08 北京航空航天大学 一种无人机手势控制方法
CN111290574A (zh) * 2020-01-19 2020-06-16 山东超越数控电子股份有限公司 一种利用手势控制无人机的方法,设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109557931A (zh) * 2017-09-25 2019-04-02 南京开天眼无人机科技有限公司 一种无人机快速自动续航系统
CN108873792A (zh) * 2018-09-03 2018-11-23 中国科学院长春光学精密机械与物理研究所 一种基于arm和dsp的工业级无人机飞控系统
CN110703794A (zh) * 2019-11-29 2020-01-17 河池学院 一种基于ros的多无人机控制系统及其控制方法
CN210109640U (zh) * 2019-12-25 2020-02-21 北京航空航天大学 一种无人机手势控制装置
CN111124126A (zh) * 2019-12-25 2020-05-08 北京航空航天大学 一种无人机手势控制方法
CN111290574A (zh) * 2020-01-19 2020-06-16 山东超越数控电子股份有限公司 一种利用手势控制无人机的方法,设备及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115537A (zh) * 2021-11-22 2022-03-01 中国电子科技集团公司第五十四研究所 一种无人系统手势控制方法及系统

Similar Documents

Publication Publication Date Title
CN104808675B (zh) 基于智能终端的体感飞行操控系统及终端设备
CN106774436B (zh) 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法
CN107357311B (zh) 一种基于混合控制技术的无人机侦察系统
WO2017148222A1 (zh) 多传感器信息采集导航系统及方法
CN107438804B (zh) 一种用于控制无人机的穿戴式设备及无人机系统
TWI459234B (zh) 手持裝置及利用其控制無人飛行載具的方法
CN205540288U (zh) 一种具有多功能地面站的无人机系统
CN106125747A (zh) 基于vr交互的无人机机载第一视角随动吊舱系统
Lementec et al. Recognition of arm gestures using multiple orientation sensors: gesture classification
CN102194300B (zh) 一种具有室内导航功能的系统及监护器
CN105793792A (zh) 无人机的飞行辅助方法和系统、无人机和移动终端
CN110488850A (zh) 一种基于树莓派的四旋翼无人机视觉导航系统及方法
CN206532142U (zh) 一种基于视觉的旋翼无人机稳定跟踪移动目标的控制系统
CN114019990A (zh) 用于控制可移动物体的系统和方法
WO2021127888A1 (zh) 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质
CN113448343B (zh) 用于设定飞行器的目标飞行路径的方法、系统和可读介质
CN107703950B (zh) 一种利用体感控制的水下机器人及控制方法
CN106444810A (zh) 借助虚拟现实的无人机机械臂空中作业系统及其控制方法
CN103977539A (zh) 颈椎康复保健辅助训练系统
CN110498039A (zh) 一种基于仿生扑翼飞行器的智能监控系统
KR20170090888A (ko) Hmd를 이용한 무인기 조종 장치
CN108132673A (zh) 一种基于stm32的四旋翼飞行器控制系统
CN106547275A (zh) 一种新型旋翼类无人机自动定位操控方法
CN113064442A (zh) 一种基于ros的手势远程控制无人机
CN112817322A (zh) 一种头戴式无人直升机控制系统及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702