CN110695990A - 一种基于Kinect手势识别的机械臂控制系统 - Google Patents

一种基于Kinect手势识别的机械臂控制系统 Download PDF

Info

Publication number
CN110695990A
CN110695990A CN201910898784.7A CN201910898784A CN110695990A CN 110695990 A CN110695990 A CN 110695990A CN 201910898784 A CN201910898784 A CN 201910898784A CN 110695990 A CN110695990 A CN 110695990A
Authority
CN
China
Prior art keywords
control module
arm
trolley
kinect
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910898784.7A
Other languages
English (en)
Inventor
俞洋
沈威君
陈佐政
宋伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Technology
Jiangsu Institute of Technology
Original Assignee
Jiangsu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Institute of Technology filed Critical Jiangsu Institute of Technology
Priority to CN201910898784.7A priority Critical patent/CN110695990A/zh
Publication of CN110695990A publication Critical patent/CN110695990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种机械臂控制系统，具体为一种基于Kinect手势识别的机械臂控制系统，包括旋转底座(1)、大臂(2)、小臂(3)、转动腕(4)、机械爪(5)、摄像头(6)、机械臂运动控制模块(7)、小车运动控制模块(8)、WiFi模块一(9)、WiFi模块二(10)和移动小车(11)，机械臂运动控制模块(7)、小车运动控制模块(8)、WiFi模块一(9)和WiFi模块二(10)均安装在移动小车(11)上，所述旋转底座(1)与移动小车(11)转动配合，用户可以在计算机客户端前遥控控制小车的运动、手势控制五自由度的舵机机械臂。实验成本低，控制灵活方便，能够到达较为危险的环境，完成远程任务。在军事侦查、教育科研、医学研究等领域都有较好的应用前景。

Description

一种基于Kinect手势识别的机械臂控制系统
技术领域
本发明涉及一种机械臂控制系统，具体为一种基于Kinect手势识别的机械臂控制系统。
背景技术
随着机器人和虚拟现实等技术的不断发展，传统的人机交互方式逐渐难以满足人与计算机之间自然交互的需求。基于视觉的手势识别作为一种新颖的人机交互技术，得到了国内外研究人员的普遍关注。然而，彩色相机受限于其光学传感器的性能，难以应对复杂的光照条件和杂乱的背景。因此，具有更多图像信息的深度相机(如Kinect)成为研究者们研究手势识别的重要工具。
尽管Kinect传感器已经成功应用于人脸识别，人体跟踪和人体动作识别等方面，但使用Kinect进行手势识别仍是一个悬而未决的问题。因为相比于人体或者人脸，人手在图像上目标更小，导致更难以定位或跟踪，而且人手有着复杂的关节结构，运动时手指部分容易发生自遮挡，这也会导致手势识别更容易受到分割错误的影响，因此总体来说识别手势仍然是非常具有挑战性的问题。
发明内容
本发明的目的是为了解决上述技术不足，提供了一种结构简单，操控方便，可视化的基于Kinect手势识别的机械臂控制系统。
为解决上述技术问题，本发明所采用的技术方案为：一种基于Kinect手势识别的机械臂控制系统，其特征在于：包括旋转底座、大臂、小臂、转动腕、机械爪、摄像头、机械臂运动控制模块、小车运动控制模块、WiFi模块一、WiFi模块二和移动小车，所述机械臂运动控制模块、小车运动控制模块、WiFi模块一和WiFi模块二均安装在移动小车上，所述旋转底座与移动小车转动配合，所述大臂的一端设在旋转底座上，所述大臂的另一端与小臂的一端连接，小臂的另一端与转动腕连接，所述转动腕还与机械爪连接，所述摄像头设在移动小车前端且朝向机械爪，计算机通过WiFi模块一分别与机械臂运动控制模块和摄像头信号连接，计算机通过WiFi模块二和小车运动控制模块信号连接，所述机械臂运动控制模块分别与旋转底座、大臂、小臂、转动腕和机械爪信号连接，还包括Kinect相机，所述Kinect相机与计算机信号连接。
作为优选，所述机械臂运动控制模块和小车运动控制模块均为Arduino控制模块。
作为优选，所述WiFi模块二为Openwrt-WiFi模块，所述WiFi模块一为W50-WiFi模块。
为解决上述技术问题，本发明所采用的技术方案为：一种基于Kinect手势识别的机械臂控制方法，包括如下步骤：步骤1：计算机的客户端遥控小车，WiFi模块二将指令传输至控制移动小车车轮的小车运动控制模块，以此控制小车的运动；
步骤2：移动小车上的摄像头实时采集移动小车前方的图像，并通过WiFi模块一传输至计算机客户端，让用户可以实时观察移动小车运动的位置和机械爪要抓取的目标物的位置，计算机客户端将该位置进行计算后通过WiFi模块一发送指令至机械臂运动控制模块，从而分别控制旋转底座、大臂、小臂、转动腕和机械爪的动作，计算机客户端将该位置进行计算后还通过WiFi模块二发送指令至小车运动控制模块，从而控制移动小车移动；
步骤3：深度相机Kinect通过USB连接到计算机，实时采集人的手势动作，并传送至计算机客户端的算法控制模块；
步骤4：计算机客户端的算法控制模块首先对采集到的手势动作数据进行滤波去噪，采用中值滤波，去除红外摄像头无法捕捉的某些点；
步骤5：计算机客户端的算法控制模块再利用深度直方图进行阈值将人体的手部图像分离；
步骤6：计算机客户端的算法控制模块对分离出来的手部图像，采用Zhang细化算法对手势图像进行细化，以便于运动学分析；
步骤7：算法控制模块采用运动学逆解算法分析得出手势动作和运动方向，以此通过WIFI模块发送不同的指令给控制机械臂舵机的Arduino控制模块；
步骤8：Arduino控制模块根据指令的不同，分别控制机械臂的五个舵机，完成底座左右运动、大臂上下运动、小臂上下运动、手腕左右旋转和爪子张合。
作为优选，所述步骤6所述的，采用Zhang细化算法对手势图像进行细化，以便于运动学分析具体是指计算机客户端的算法控制模块将手在x，y，z轴正负6个方向上的运动范围、手腕关节顺逆时针运动的角度范围、食指和拇指的张合范围，依次线性映射为对应舵机的转动角度范围值。
作为优选，所述转动角度范围值为0°-179°。
作为优选，所述逆解算法使用Python语言编写。
作为优选，所述移动小车上的摄像头实时采集移动小车前方的图像具体为使用Python语言调用opencv库函数实时捕捉移动小车上的摄像头拍摄的内容。
作为优选，所述深度相机Kinect通过USB连接到计算机，实时采集人的手势动作，并传送至计算机客户端的算法控制模块具体是指与PC端相连的Kinect相机首先捕捉人体手势，然后将深度图像数据流传输至PC端，以PC端为客户端，在visual stdio2015的开发坏境中，调用Kinect官方NUI函数库，将Kinect相机获取的数据流转化成可以被软件直接使用的数据格式。
本发明所达到的有益效果：本发明的基于Kinect手势识别的机械臂控制系统，用户可以在计算机客户端前遥控控制小车的运动、手势控制五自由度的舵机机械臂。实验成本低，控制灵活方便，能够到达较为危险的环境，完成远程任务。在军事侦查、教育科研、医学研究等领域都有较好的应用前景。
附图说明
图1为基于Kinect手势识别的机械臂控制系统的结构示意图。
图2为基于Kinect手势识别的机械臂控制系统的手势控制方式示意图。
图3为基于Kinect手势识别的机械臂控制系统的系统框示图。
附图说明：1、旋转底座，2、大臂，3、小臂，4、转动腕，5、机械爪，6、摄像头，7、机械臂运动控制模块，8、小车运动控制模块，9、WiFi模块一，10、WiFi模块二，11、移动小车。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图所示：一种基于Kinect手势识别的机械臂控制系统，包括旋转底座1、大臂2、小臂3、转动腕4、机械爪5、摄像头6、机械臂运动控制模块7、小车运动控制模块8、WiFi模块一9、WiFi模块二10和移动小车11，所述机械臂运动控制模块7、小车运动控制模块8、WiFi模块一9和WiFi模块二10均安装在移动小车11上，所述旋转底座1与移动小车11转动配合，所述大臂2的一端设在旋转底座1上，所述大臂2的另一端与小臂3的一端连接，小臂3的另一端与转动腕4连接，所述转动腕4还与机械爪5连接，所述摄像头6设在移动小车11前端且朝向机械爪5，计算机通过WiFi模块一9分别与机械臂运动控制模块7和摄像头6信号连接，计算机通过WiFi模块二10和小车运动控制模块8信号连接，所述机械臂运动控制模块分别与旋转底座1、大臂2、小臂3、转动腕4和机械爪5信号连接，还包括Kinect相机，所述Kinect相机与计算机信号连接；所述机械臂运动控制模块7和小车运动控制模块8均为Arduino控制模块；所述WiFi模块二10为Openwrt-WiFi模块，所述WiFi模块一9为W50-WiFi模块。
一种基于Kinect手势识别的机械臂控制方法，包括如下步骤：步骤1：计算机的客户端遥控小车，WiFi模块二10将指令传输至控制移动小车11车轮的小车运动控制模块8，以此控制小车的运动；
步骤2：移动小车11上的摄像头6实时采集移动小车11前方的图像，并通过WiFi模块一9传输至计算机客户端，让用户可以实时观察移动小车11运动的位置和机械爪5要抓取的目标物的位置，计算机客户端将该位置进行计算后通过WiFi模块一9发送指令至机械臂运动控制模块7，从而分别控制旋转底座1、大臂2、小臂3、转动腕4和机械爪5的动作，计算机客户端将该位置进行计算后还通过WiFi模块二10发送指令至小车运动控制模块8，从而控制移动小车11移动；
步骤3：深度相机Kinect通过USB连接到计算机，实时采集人的手势动作，并传送至计算机客户端的算法控制模块；
步骤4：计算机客户端的算法控制模块首先对采集到的手势动作数据进行滤波去噪，采用中值滤波，去除红外摄像头无法捕捉的某些点；
步骤5：计算机客户端的算法控制模块再利用深度直方图进行阈值将人体的手部图像分离；
步骤6：计算机客户端的算法控制模块对分离出来的手部图像，采用Zhang细化算法对手势图像进行细化，以便于运动学分析；
步骤7：算法控制模块采用运动学逆解算法分析得出手势动作和运动方向，以此通过WIFI模块发送不同的指令给控制机械臂舵机的Arduino控制模块；
步骤8：Arduino控制模块根据指令的不同，分别控制机械臂的五个舵机，完成底座左右运动、大臂上下运动、小臂上下运动、手腕左右旋转和爪子张合。
所述步骤6所述的，采用Zhang细化算法对手势图像进行细化，以便于运动学分析具体是指计算机客户端的算法控制模块将手在x，y，z轴正负6个方向上的运动范围、手腕关节顺逆时针运动的角度范围、食指和拇指的张合范围，依次线性映射为对应舵机的转动角度范围值。
所述转动角度范围值为0°-179°。
所述逆解算法使用Python语言编写。
所述移动小车11上的摄像头6实时采集移动小车11前方的图像具体为使用Python语言调用opencv库函数实时捕捉移动小车11上的摄像头6拍摄的内容。
所述深度相机Kinect通过USB连接到计算机，实时采集人的手势动作，并传送至计算机客户端的算法控制模块具体是指与PC端相连的Kinect相机首先捕捉人体手势，然后将深度图像数据流传输至PC端，以PC端为客户端，在visual stdio2015的开发坏境中，调用Kinect官方NUI函数库，将Kinect相机获取的数据流转化成可以被软件直接使用的数据格式。
本发明的基于Kinect手势识别的机械臂控制系统，用户可以在计算机客户端前遥控控制小车的运动、手势控制五自由度的舵机机械臂。实验成本低，控制灵活方便，能够到达较为危险的环境，完成远程任务。在军事侦查、教育科研、医学研究等领域都有较好的应用前景。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于Kinect手势识别的机械臂控制系统，其特征在于：包括旋转底座(1)、大臂(2)、小臂(3)、转动腕(4)、机械爪(5)、摄像头(6)、机械臂运动控制模块(7)、小车运动控制模块(8)、WiFi模块一(9)、WiFi模块二(10)和移动小车(11)，所述机械臂运动控制模块(7)、小车运动控制模块(8)、WiFi模块一(9)和WiFi模块二(10)均安装在移动小车(11)上，所述旋转底座(1)与移动小车(11)转动配合，所述大臂(2)的一端设在旋转底座(1)上，所述大臂(2)的另一端与小臂(3)的一端连接，小臂(3)的另一端与转动腕(4)连接，所述转动腕(4)还与机械爪(5)连接，所述摄像头(6)设在移动小车(11)前端且朝向机械爪(5)，计算机通过WiFi模块一(9)分别与机械臂运动控制模块(7)和摄像头(6)信号连接，计算机通过WiFi模块二(10)和小车运动控制模块(8)信号连接，所述机械臂运动控制模块分别与旋转底座(1)、大臂(2)、小臂(3)、转动腕(4)和机械爪(5)信号连接，还包括Kinect相机，所述Kinect相机与计算机信号连接。
2.根据权利要求1所述的基于Kinect手势识别的机械臂控制系统，其特征在于：所述机械臂运动控制模块(7)和小车运动控制模块(8)均为Arduino控制模块。
3.根据权利要求1所述的基于Kinect手势识别的机械臂控制系统，其特征在于：所述WiFi模块二(10)为Openwrt-WiFi模块，所述WiFi模块一(9)为W50-WiFi模块。
4.一种基于Kinect手势识别的机械臂控制方法，其特征在于：包括如下步骤：步骤1：计算机的客户端遥控小车，WiFi模块二(10)将指令传输至控制移动小车(11)车轮的小车运动控制模块(8)，以此控制小车的运动；
步骤2：移动小车(11)上的摄像头(6)实时采集移动小车(11)前方的图像，并通过WiFi模块一(9)传输至计算机客户端，让用户可以实时观察移动小车(11)运动的位置和机械爪(5)要抓取的目标物的位置，计算机客户端将该位置进行计算后通过WiFi模块一(9)发送指令至机械臂运动控制模块(7)，从而分别控制旋转底座(1)、大臂(2)、小臂(3)、转动腕(4)和机械爪(5)的动作，计算机客户端将该位置进行计算后还通过WiFi模块二(10)发送指令至小车运动控制模块(8)，从而控制移动小车(11)移动；
步骤3：深度相机Kinect通过USB连接到计算机，实时采集人的手势动作，并传送至计算机客户端的算法控制模块；
步骤4：计算机客户端的算法控制模块首先对采集到的手势动作数据进行滤波去噪，采用中值滤波，去除红外摄像头无法捕捉的某些点；
步骤5：计算机客户端的算法控制模块再利用深度直方图进行阈值将人体的手部图像分离；
步骤6：计算机客户端的算法控制模块对分离出来的手部图像，采用Zhang细化算法对手势图像进行细化，以便于运动学分析；
步骤7：算法控制模块采用运动学逆解算法分析得出手势动作和运动方向，以此通过WIFI模块发送不同的指令给控制机械臂舵机的Arduino控制模块；
步骤8：Arduino控制模块根据指令的不同，分别控制机械臂的五个舵机，完成底座左右运动、大臂上下运动、小臂上下运动、手腕左右旋转和爪子张合。
5.根据权利要求4所述的基于Kinect手势识别的机械臂控制方法，其特征在于：所述步骤6所述的，采用Zhang细化算法对手势图像进行细化，以便于运动学分析具体是指计算机客户端的算法控制模块将手在x，y，z轴正负6个方向上的运动范围、手腕关节顺逆时针运动的角度范围、食指和拇指的张合范围，依次线性映射为对应舵机的转动角度范围值。
6.根据权利要求5所述的基于Kinect手势识别的机械臂控制方法，其特征在于：所述转动角度范围值为0°-179°。
7.根据权利要求4所述的基于Kinect手势识别的机械臂控制方法，其特征在于：所述逆解算法使用Python语言编写。
8.根据权利要求4所述的基于Kinect手势识别的机械臂控制方法，其特征在于：所述移动小车(11)上的摄像头(6)实时采集移动小车(11)前方的图像具体为使用Python语言调用opencv库函数实时捕捉移动小车(11)上的摄像头(6)拍摄的内容。
9.根据权利要求4所述的基于Kinect手势识别的机械臂控制方法，其特征在于：所述深度相机Kinect通过USB连接到计算机，实时采集人的手势动作，并传送至计算机客户端的算法控制模块具体是指与PC端相连的Kinect相机首先捕捉人体手势，然后将深度图像数据流传输至PC端，以PC端为客户端，在visual stdio2015的开发坏境中，调用Kinect官方NUI函数库，将Kinect相机获取的数据流转化成可以被软件直接使用的数据格式。
CN201910898784.7A 2019-09-23 2019-09-23 一种基于Kinect手势识别的机械臂控制系统 Pending CN110695990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910898784.7A CN110695990A (zh) 2019-09-23 2019-09-23 一种基于Kinect手势识别的机械臂控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910898784.7A CN110695990A (zh) 2019-09-23 2019-09-23 一种基于Kinect手势识别的机械臂控制系统

Publications (1)

Publication Number Publication Date
CN110695990A true CN110695990A (zh) 2020-01-17

Family

ID=69196033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910898784.7A Pending CN110695990A (zh) 2019-09-23 2019-09-23 一种基于Kinect手势识别的机械臂控制系统

Country Status (1)

Country Link
CN (1) CN110695990A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111688526A (zh) * 2020-06-18 2020-09-22 福建百城新能源科技有限公司 一种用户侧新能源汽车储能充电站
CN111745644A (zh) * 2020-05-29 2020-10-09 东莞市易联交互信息科技有限责任公司 基于手势的遥控小车控制方法、系统和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390168A (zh) * 2013-07-18 2013-11-13 重庆邮电大学 基于Kinect深度信息的智能轮椅动态手势识别方法
CN103597515A (zh) * 2011-06-06 2014-02-19 微软公司 用于识别张开的或闭合的手的系统
CN203973551U (zh) * 2014-06-13 2014-12-03 济南翼菲自动化科技有限公司 一种通过身体姿势操控的远程控制机器人
CN106384115A (zh) * 2016-10-26 2017-02-08 武汉工程大学 一种机械臂关节角度检测方法
CN106909216A (zh) * 2017-01-05 2017-06-30 华南理工大学 一种基于Kinect传感器的仿人机械手控制方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN108908374A (zh) * 2018-09-20 2018-11-30 安徽理工大学 一种快递分拣机器人及控制系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597515A (zh) * 2011-06-06 2014-02-19 微软公司 用于识别张开的或闭合的手的系统
CN103390168A (zh) * 2013-07-18 2013-11-13 重庆邮电大学 基于Kinect深度信息的智能轮椅动态手势识别方法
CN203973551U (zh) * 2014-06-13 2014-12-03 济南翼菲自动化科技有限公司 一种通过身体姿势操控的远程控制机器人
CN106384115A (zh) * 2016-10-26 2017-02-08 武汉工程大学 一种机械臂关节角度检测方法
CN106909216A (zh) * 2017-01-05 2017-06-30 华南理工大学 一种基于Kinect传感器的仿人机械手控制方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法
CN108908374A (zh) * 2018-09-20 2018-11-30 安徽理工大学 一种快递分拣机器人及控制系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111745644A (zh) * 2020-05-29 2020-10-09 东莞市易联交互信息科技有限责任公司 基于手势的遥控小车控制方法、系统和存储介质
CN111688526A (zh) * 2020-06-18 2020-09-22 福建百城新能源科技有限公司 一种用户侧新能源汽车储能充电站
CN111688526B (zh) * 2020-06-18 2021-07-20 福建百城新能源科技有限公司 一种用户侧新能源汽车储能充电站

Similar Documents

Publication Publication Date Title
CN106909216B (zh) 一种基于Kinect传感器的仿人机械手控制方法
CN108453742B (zh) 基于Kinect的机器人人机交互系统及方法
CN109955254B (zh) 移动机器人控制系统及机器人末端位姿的遥操作控制方法
Li Human–robot interaction based on gesture and movement recognition
WO2020221311A1 (zh) 基于可穿戴设备的移动机器人控制系统及控制方法
CN109044651B (zh) 未知环境中基于自然手势指令的智能轮椅控制方法及系统
CN111694428B (zh) 基于Kinect的手势与轨迹远程控制机器人系统
CN109164829B (zh) 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法
CN1304931C (zh) 一种头戴式立体视觉手势识别装置
US11409357B2 (en) Natural human-computer interaction system based on multi-sensing data fusion
CN107765855A (zh) 一种基于手势识别控制机器人运动的方法和系统
CN109571513B (zh) 一种沉浸式移动抓取服务机器人系统
CN111459274B (zh) 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN106625658A (zh) 一种实时模仿人体上半身动作的人形机器人控制方法
CN106326881B (zh) 用于实现人机交互的手势识别方法和手势识别设备
CN110695990A (zh) 一种基于Kinect手势识别的机械臂控制系统
CN113021357A (zh) 一种便于移动的主从水下双臂机器人
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
Karuppiah et al. Automation of a wheelchair mounted robotic arm using computer vision interface
CN208826630U (zh) 一种带远程主操作手的关节式机械臂
Wu et al. Kinect-based robotic manipulation: From human hand to end-effector
CN108127667B (zh) 一种基于关节角增量的机械臂体感交互控制方法
CN116476074A (zh) 基于混合现实技术的远程机械臂操作系统及人机交互方法
Chu et al. Hands-free assistive manipulator using augmented reality and tongue drive system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117