CN111694428B - 基于Kinect的手势与轨迹远程控制机器人系统 - Google Patents

基于Kinect的手势与轨迹远程控制机器人系统 Download PDF

Info

Publication number
CN111694428B
CN111694428B CN202010447471.2A CN202010447471A CN111694428B CN 111694428 B CN111694428 B CN 111694428B CN 202010447471 A CN202010447471 A CN 202010447471A CN 111694428 B CN111694428 B CN 111694428B
Authority
CN
China
Prior art keywords
robot
gesture
point
points
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010447471.2A
Other languages
English (en)
Other versions
CN111694428A (zh
Inventor
于鸿洋
王敏旭
王昭婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010447471.2A priority Critical patent/CN111694428B/zh
Publication of CN111694428A publication Critical patent/CN111694428A/zh
Application granted granted Critical
Publication of CN111694428B publication Critical patent/CN111694428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/117Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Kinect的手势与轨迹远程控制机器人系统,属于机器人控制技术领域。本发明通过Kinect深度摄像头实时采集目标人员的深度图与彩色图来感知目标人员动作,在彩色图中使用Kinect SDK识别出目标人员的人体骨骼模型,并据此分割出右手手掌,在深度图中利用手部二维坐标信息得到手掌深度信息,从而生成手部三维坐标,输出三维偏移量。此外,对于分割出来的手掌进行轮廓提取,使用凸包算法求出凸包集,连结凸包集生成多边形拟合曲线,再通过与原手部轮廓的对比生成凹陷集,根据几何方法,判断识别手势,得到对应指令。将三维偏移量坐标与手势控制指令通过TCP通信传递给机器人,控制机器人完成相应指令,与目标人员手势轨迹同步。

Description

基于Kinect的手势与轨迹远程控制机器人系统
技术领域
本发明属于机器人控制方法,具体涉及一种基于Kinect的手势与轨迹远程控制技术。
背景技术
随着工业机器人的普及,某些特定场景下机器人操作的安全性、实时性以及简易性成为了需要解决的新问题。传统的机器人一般通过有线设备控制,而物理接线的长度有限且不易变更,操作人员在例如:加热炉边,高楼边等场景下使用机器人进行工作,便会产生安全隐患,增加公司的安全成本。此外,操作人员通常需要随时携带控制设备端才能操控机器人,且机器人功能操作界面通常繁琐复杂,不利于人机实时交流:例如机器人动作的临时变更、细微调节等。
伴随着计算机设备己经深入涉及到社会生活中的各个方面,其利用计算机进行视觉和数字图像处理技术也日趋成熟,在各个尖端的技术邻域中早己展露锋芒。计算机视觉的目的是分析、研究让计算机智能化的达到类似人类的双眼“看”的一门研究科学。计算机视觉技术就是利用了摄像机以及电脑替代人眼使得计算机拥有人类的双眼所具有的分割、分类、识别、跟踪、判别决策等功能。计算机视觉系统就是创建了能够在的平面图像或者的三维立体图像的数据中,以获取所需要的“信息”的一个完整的人工智能系统。
计算机视觉技术(CV)是一门包括了计算机科学与工程、神经生理学、物理学、信号处理、认知科学、应用数学与统计等多门科学学科的综合性科学技术。由于计算视觉技术系统在基于高性能的计算机的基础上,其能够快速的获取大量的数据信息并且基于智能算法能够快速的进行处理信息,也易于同设计信息和加工控制信息集成。
Kinect摄像头并不是仅仅局限于图像信息的传输以及显示,而是完完全全的展现了人机互动的理念,它的实质是一款的体感摄影机,其导入了即时动态捕捉、影像辨识、等多种功能展现了智能性,可以通过分析所获得的图像信息,就能得到对于空间,视觉上非常有用的信息:从而可以给人们带来除了平面的中上下、左右的信息以外还可以得到前后的透视信息,从而得到的场景和物体的信息,对于计算机视觉技术和人工智能都会有很大的帮助:简而言之,Kinect的本质是三维空间中能够捕捉到人们的运动状态的智能摄像头。
Kinect的具体工作过程就是,借助了PrimeSense软件以及摄像头去侦测,然后捕捉到视频图像中的手势动作,接着将其和获得的影像信息和本身内部所事先存储的人体模型的信息进行比较对照,在一定比例上,符合内部的人体模型的视频中的物体就被识别成人体的相关骨路的模型,并告知系统的控制端,由模拟的物体识别成计算机系统可识别的数字模型转换成某个虚拟的角色,当识别到人体骨路模型的关键部位从而进行动作的触发。由于在图像识别和智能控制系统的帮助下,从而制造出的虚拟骨路模型,这样就可以帮助系统识别出人体的关键部位。
发明内容
本发明的发明目的在于:针对上述存在的问题,提供一种基于Kinect的手势与轨迹远程控制机器人系统,实现对机器人的远程控制,简化机器人操作以及保障在特定场景下机器人工作的安全性。
本发明的基于Kinect的手势与轨迹远程控制机器人系统,包括主控系统、图像采集模块和机器人控制模块:
其中,主控系统,用于协调控制所有工作(根据图像采集模块的输入图像数据进行手势指令的识别,计算出三维偏移量信息,再进一步通过机器人控制模块控制机械臂的运动轨迹、运动状态等),优选为搭载性能较好GPU的PC机;
图像采集模块,通过TCP与主控系统实时通信,通过Kinect2.0深度摄像头实时采集目标人员的彩色图以及深度图,并将采集到的图像数据实时传输给主控系统;
机器人控制模块,包括机械臂,并通过TCP与主控系统实时通信;
主控系统将三维深度偏移坐标转换为机器人工具坐标,手势识别的指令结果,一并通过TCP传递给机器人控制模块,用于控制机械臂同步目标人员的动作以及执行相关自定义指令;
即,本发明的主控系统包括人机交互模块,手势识别模块和轨迹检测模块;
其中,人机交互模块包括主控系统工作状态的实时显示,机器人工作状态的实时显示和机器人控制模块与主控的TCP通信;
手势识别模块基于图像采集模块传输的图像数据,进行手部轮廓的提取,多边形拟合曲线的生成,以及当前手势控制指令的判别;
轨迹检测模块用于人体骨骼模型的实时显示,手部二维坐标信息以及对应得到的三维坐标信息和本次轨迹偏移量信息的计算处理。
进一步的,由于本系统人体识别和手势识别需要清晰且遮挡目标较少的图像,所以Kinect摄像头应当位于光线良好,无大型遮挡目标人员上半身以及较多下半身障碍物的区域。
进一步的,由于本系统目的是远程控制机器人与目标人员手势轨迹同步,所以机器人应位于大于机械臂最大可达范围高度的座台之上,周围无障碍物,避免在同步过程中因障碍物而保护性停止。
进一步的,手势识别模块根据多边形拟合曲线和手部轮廓比较得出凹陷集,并查找手势的几何特征,进而完成手势识别;
其中,多边形拟合曲线由凸包集合连结而成:
(1)找到所有点中纵坐标y最小的点;
(2)计算其余点与该点的连线与x轴之间夹角的余弦值,将这些点按其对于最低点的余弦值从大到小排序;
(3)根据三点向量是否是逆时针转动原则依次遍历所有点,将符合逆时针转动原则的点按顺序放入集合;
(4)顺次连结集合中的点得到多边形拟合曲线。
其中,凹陷集通过对比凸包集和手掌轮廓得出,包含所有轮廓的凸型缺陷,一个凸型缺陷结构体包括4个元素,缺陷起点坐标,缺陷终点坐标,缺陷中离凸包线距离最远的点的坐标,以及此时最远的距离。
其中,手势识别所使采用的几何算法为:
(1)在手部定位出2个中心点坐标,其中一个中心点是利用Kinect跟踪得到的手部骨骼点位置,2个中心点坐标之间的距离阈值为预设值;
(2)根据这2个中心点的坐标,分别计算出在这2个中心点坐标上的凸凹点的个数;
(3)利用上面求出的4种点的个数进行初步手势判别;
(4)根据凹凸点个数决定是否进一步计算部分凹凸点连结成的直线斜率关系。
为了避免手势之间的相互干扰,以此提高系统的准确性和实时,需严格地根据设定的几何关系设计指令手势,尽量使手指朝上且无粘连。
因为Kinect照相机坐标系范围大于机器人工具坐标系范围,为了避免手部三维坐标直接转化为机器人工具坐标落到机器人可达范围之外,本系统通过计算三维坐标偏移量来确定机器人同步轨迹,同时会对偏移量进行逻辑判断:若在机器人可达范围之外,则以最大可达偏移量作为传输数据。
为了避免机器人在同步过程中由于外力,碰到障碍物,角度等不可控因素保护性停止,同时为了方便回溯机器人运动轨迹,主控系统存储最近T次采集的目标人员手势的三维坐标信息,以便于回溯处理,其中T为预设值。
机器人若碰到障碍物保护性停止,将通过TCP通信传回意外停止信息,帮助主控系统获取上一次的起点位置信息,以便于使得机器人回复到本段运动轨迹的起点位置。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明通过将Kinect深度摄像头和手势识别应用于机器人远程实时控制,解决了在危险的建筑施工环境下,操作人员人身安全的保障为题;
2、本发明既可以让机器人与操作人员手部轨迹同步,人为进行机器人运动的精准控制,同时也可以根据手势指令实时切换到不同工作状态,提高机器人工作效率。
3、本发明相比传统的机器学习手势识别方法,通过检测凸包集及凹陷集,并根据二者几何关系判别手势,可以节省大量时间,对硬件的计算能力要求也相对较低。
4、本发明利用Kinect深度摄像头装载的红外线摄像头,能获取更加准确的深度变化信息,从而更为精准的控制机器人的移动。
附图说明
图1是本发明基于Kinect的手势与轨迹远程控制机器人系统的总体架构图。
图2是本发明基于Kinect的手势与轨迹远程控制机器人系统的流程图。
图3是本发明的系统基本构造。
图4是本发明使用的凸包算法的结果示例图。
图5是本发明使用的凸包算法的三点向量逆时针转动的数学原理图。
图6是本发明的凹陷集结果示例图。
图7是具体实施方式中的手势示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合实施方式和附图,对本发明作进一步地详细描述。
本发明提供了一种基于Kinect的手势与轨迹远程控制机器人系统。该系统利用Kinect摄像头实时采集图像来感知目标人员动作,在彩色图中使用Kinect SDK(SoftwareDevelopment Kit)的人体模型识别出目标人员,分割出右手手掌,在深度图中利用手掌二维坐标信息获取手掌三维坐标信息,同时提取手掌轮廓使用多边形拟合曲线的方式确定手势,完成机器人的远程控制。简化了机器人操作以及在特定场景下机器人工作的安全性。
参见图1,本发明的基于Kinect的手势与轨迹远程控制机器人系统包括:人机交互模块,手势识别模块,轨迹检测模块和机器人控制模块。
其中,人机交互模块包括主控工作状态的实时显示,机器人工作状态的实时显示和机器人与主控的TCP通信。
手势识别模块包括图像采集(基于Kinect深度摄像头实时采集到的目标人员彩色图以及深度图),手部轮廓的提取,多边形拟合曲线的生成,以及当前手势控制指令的判别。
轨迹检测模块包括人体骨骼模型的实时显示,手部二维坐标信息以及对应得到的三维坐标信息,本次轨迹偏移量信息。
机器人控制模块包括机器人工具坐标系下的轨迹偏移量以及手势控制指令。
参考图2,本发明的基于Kinect的手势与轨迹远程控制机器人系统的控制处理过程为:主控是搭载了高性能GPU的PC端。通过外接的Kinect深度摄像头实时采集目标人员的彩色图和深度图,使用Kinect SDK通过比对预先存储好的人体模型,生成相应的人体骨骼模型,获取手部二维坐标,转换成深度坐标后再据此在深度图中获取深度信息,生成手部三维坐标信息,并计算出三维的手部轨迹偏移量。此外,进一步分割出手掌掩膜区域后,利用凸包算法生成多边形拟合曲线,再求出凹陷集,利用凸包集和凹陷集的几何关系进行手势识别。然后主控系统将三维深度偏移坐标转换为机器人工具坐标,手势识别的指令结果,一并通过TCP传递给机器人进行交互,用于控制机械臂同步目标人员的动作以及执行相关自定义指令。
参考图3,本发明的基于Kinect的手势与轨迹远程控制机器人系统的基本构造包含主控系统(主控装置),图像采集装置和机器人控制端。
所述主控系统用来协调控制所有工作,本具体实施方式中,其运行环境为Windows10操作系统,开发语言为C++,编译器为Visual Studio2017,使用的第三方依赖框架为OpenCV2.4.9,OpenNI,Kinect SDK等。
图像采集装置的硬件部分包括Kinect2.0深度摄像头。
机器人控制端包括UR10机械臂及其控制箱。
其中,Kinect摄像头应放置于光线良好,无大型障碍物的区域,不应遮挡目标人员上半身以及较多下半身,以消除环境对识别人体,生成人体骨骼模型的影响,同时也可以较好地获取到目标人员的彩色图以及深度图,便于后续进行手势分割以及轮廓提取。此外图像采集装置还会将相机坐标,深度坐标,rgb坐标进行相互转换,以获取对应所需深度信息。
机器人控制端的UR10机械臂位于大于机械臂最大可达范围高度的座台之上,周围无障碍物,并通过TCP和主控系统实时通信。本具体实施方式中,通过路由器与主控系统相连。
主控系统会根据手势指令识别和计算出的三维偏移量信息,控制机械臂的运动轨迹、运动状态等。在具体实现时,应谨慎严格地根据设定的几何关系设计指令手势,避免手势之间的相互干扰,以此提高系统的准确性和实时性。
本发明的基于Kinect的手势与轨迹远程控制机器人系统的具体实现过程如下:
S1、搭建系统,该系统包括UR10(Universal Robots 10)机械臂,座台以及控制箱,将搭载GPU的PC机作为主控系统,图像采集装置为Kinect2.0摄像头。
S2、设置一个图像采集装置,主要是利用Kinect摄像头采集目标人员的彩色图和深度图像,作为系统的感知输入,为后续识别人体模型,分割手掌并获取三维坐标信息,提取手掌轮廓进行手势识别做准备。
其中,步骤S2的具体实现可以设置为:
首先,实时显示所述环境的信息,以及机器人在环境中的工作状态。并且可以通过远程终端实时监控。其中,远程终端可以是PC,移动设备,VR设备等。
其次,可以将Kinect摄像头位于干扰相对较少的环境中,以便于快速实时识别人体模型,减少反应时间。
S3、对采集的图像信息(即系统的感知输入)进行轨迹检测处理,本具体实施方式中,在主控装置中设置轨迹检测模块,其主要包括人体的检测以及手掌的分割。
其中,人体的检测由Kinect SDK(由OpenNI编写)通过比对预先存储好的人体模型来完成。定义一定数量(例如25个)的关键部位颜色并在彩色图上实时绘制出来,便于监控目标人员状态,再获取右手手掌位置的二维相机坐标(x,y),转换成深度坐标(x1,y1)在深度图中获取深度信息z1,最终得到手掌的三维坐标信息(x1,y1,z1),与上一次获取的三维坐标(x0,y0,z0)取差值,将偏移量(x1-x0,y1-y0,z1-z0)转换为机器人工具坐标控制机器人移动。
更进一步地,所述S3方法还包括:
S3.1、实时生成目标人员当前的人体模型,根据模型分割手掌。
S3.2、主控通过通信模块实时将偏移量和工作状态同步给机器人,主控机器人统一协调工作任务。
S3.3、保存最近一定数量的手掌三维信息便于回溯(例如最近10次的)。此外,预防机器人因意外情况保护性停止,需重新回到上一次起点位置。
S4、主控装置还包括手势识别模块,该模块主要包括手掌轮廓的提取,多边形拟合曲线的生成以及手势识别。
其中,手势定位和提取功能的实现主要是依靠OpenCV(open source computervision)和OpenNI((Open Natural Interaction)),定位部分是根据OpenNI的人体骨架跟踪功能,手部提取依靠获取的深度图。画出手部轮廓后,求出凸包集的顶点,并根据此信息画出轮廓的多边形拟合曲线以及凹陷点,利用凸包点以及凹陷点和手部中心点的几何关系,做出逻辑判别,识别手势。
更进一步的,所述S4方法还包括:
S4.1、手部提取的具体方法是:在手的附近利用深度信息阈值化出手的区域(定位轮廓中与手部有关的点,在该点的周围提取出满足预设要求的区域)。
S4.2、使用中值滤波法消除孤立的噪声点,获取最终手部轮廓区域。
S4.3、多边形拟合曲线通过连结凸包集合来生成,凸包集合可以用来检测其轮廓的凸型缺陷。其目的是,找出一个由其中某些点作为顶点组成的凸多边形,恰好能围住所有的N个点。点排序时间复杂度O(nlogn),检查每个点O(n),综合时间复杂度O(nlogn)。具体处理过程为:
S4.3.1、找到所有点中纵坐标y最小的点,也就是这些点中最下面的点,记为A(ax,ay),即点A。
S4.3.2、然后计算其余点与该点的连线与x轴之间夹角的余弦值,将这些点按其对于最低点(点A)的余弦值从大到小排序,排序好的点记为B(bx,by),C(cx,cy),D(dx,dy),如图4所示。
S4.3.3、将最低点A和排序好的点中的第一个点B压入栈中,然后从C开始计算,计算栈顶两个点与该点三点向量是否是逆时针转动(逆时针转动原则),若是,则将该点压入栈中,否则将栈顶元素推出。参考图5,具体数学计算公式如下:
area=(bx-ax)*(cy-ay)-(by-ay)*(cx-ax)。
area>0,A-B-C逆时针旋转;
area<0,A-B-C顺时针旋转;
area=0,A-B-C在一条直线上。
S4.3.4、最后栈里面元素就是所有的凸包外围的点。
S4.4、凹陷集则通过对比凸包集和手掌轮廓得出,包含所有轮廓的凸型缺陷,如图6。一个凸型缺陷结构体包括4个元素,缺陷起点坐标,缺陷终点坐标,缺陷中离凸包线距离最远的点的坐标,以及此时最远的距离。
S4.5、手势识别所使用的几何算法详细为:
S4.5.1、先在手部定位出2个中心点坐标,这2个中心点坐标之间的距离阈值为预设值,其中一个中心点是利用Kinect跟踪得到的手部骨骼点位置,另一个是另一个是凸包重心点,直接根据凸包集合点的平均值得到。
S4.5.2、根据这2个中心点的坐标,分别计算出在这2个中心点坐标上的凸凹点的个数。
S4.5.3、利用上面求出的4种点:凹陷集,凸包集,手部中心点和凸包重心点的几何关系进行初步手势判别。几何关系根据自定义手势的特征(例如手势包括的手指数)来设置,但都与两个中心点上方凸点和凹点的数量(即与所限定的手势所包括的手指数相匹配,其中凸点和凹点为成对的关系,例如当前手势包括的手指数为2,则对应的凸点和凹点对的数量为2),以及阈值内凸点的数量有关。其中阈值动态变化,根据Kinect中心点与上方凹陷集的距离来计算,即由于Kinect中心点与凸包重心点阈值外的凸点个数与手势特征成正比,从而利用阈值内凸点个数与阈值外凸点个数的差值确定具体手势。例如图7所给出的手势1-5的判定为:
手势1:
(1-1)手部中心点上方存在大于等于一个凹点;
(1-2)手部中心点上方,阈值外仅存在一个凸点;
(1-3)手部中心点上方最多存在不超过两个凸点;
(1-4)凸包重心点上方存在至少两个凸点;
(1-5)凸包重心点上方,阈值外仅存在一个凸点。
当满足以上全部条件时,则判定手势为手势1。
手势2:
(2-1)手部中心点上方存在大于等于两个凹点;
(2-2)手部中心点上方,阈值外存在两个凸点;
(2-3)手部中心点上方最多存在不超过三个凸点;
(2-4)凸包重心点上方存在至少三个凸点;
(2-5)凸包重心点上方,阈值外存在两个凸点。
当满足以上全部条件时,则可判定为手势2。
手势3:
(3-1)手部中心点上方存在大于等于三个凹点;
(3-1)手部中心点上方,阈值外存在三个凸点;
(3-1)手部中心点上方最多存在不超过四个凸点;
(3-1)凸包重心点上方存在至少三个凸点;
(3-1)凸包重心点上方,阈值外存在三个凸点。
当满足以上全部条件时,则可判定为手势3。
手势4:
(4-1)手部中心点上方存在大于等于四个凹点;
(4-2)手部中心点上方,阈值外仅存在四个凸点;
(4-3)手部中心点上方最多存在不超过五个凸点;
(4-4)凸包重心点上方存在至少四个凸点;
(4-5)凸包重心点上方,阈值外存在四个凸点。
当满足以上全部条件时,则可判定为手势4。
手势5:
(5-1)手部中心点上方存在大于等于五个凹点;
(5-2)手部中心点上方,阈值外存在五个凸点;
(5-3)手部中心点上方最多存在不超过六个凸点;
(5-4)凸包重心点上方存在至少五个凸点;
(5-5)凸包重心点上方,阈值外存在五个凸点。
当满足以上全部条件时,则可判定为手势5。
S4.5.4、由于设置的手势可能包含摇摆,旋转,俯仰这类角度变化,因此当4种点几何关系相同时先判断为同一个手势。对于摇摆和俯仰手势而言,下一步判断依据是Kinect手部中心点和纵坐标最小的凸包点连线的斜率:当连线长度不变,在XY坐标系上斜率为正,则手掌向右倾斜,反之则向左;当连线缩短,在YZ坐标系上斜率为正则手掌后仰,反之前俯。对于旋转手势而言,判断依据是横坐标最小的凸包点与最大的凸包点的连线斜率,在XZ坐标轴上斜率为正则手掌顺时针旋转,反之则逆时针旋转。
S5、UR10机械臂控制子系统,采用TCP协议与总控终端进行通信,通信内容包括:(1)手势控制指令,(2)机械臂的实时路径坐标偏移量。
更进一步地,所述S5方法还包括:
S5.1、根据主控的输出的三维坐标偏移量,编程实现机械臂的路径规划并执行。整个过程中实时通过TCP与主控终端利用手势控制指令进行交互,可以实时中断或更改机械臂的任务。
S5.2、手势控制指令包括开始,结束,2倍速,0.5倍速,归于原点。
S6、由于本系统所使用的几何算法原因,选定的手势需手指方向朝上,此外,为了系统结果的准确可靠性,应尽量使不同手势在手指位置形态上差异较大,减少它们的相互干扰。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。

Claims (3)

1.基于Kinect的手势与轨迹远程控制机器人系统,其特征在于,包括主控系统、图像采集模块和机器人控制模块:
其中,图像采集模块,通过TCP与主控系统实时通信,通过Kinect深度摄像头实时采集目标人员的彩色图以及深度图,并将采集到的图像数据实时传输给主控系统;
主控系统包括人机交互模块,手势识别模块和轨迹检测模块;
所述人机交互模块包括主控系统工作状态的实时显示,机器人工作状态的实时显示和机器人控制模块与主控的TCP通信;
所述手势识别模块基于图像采集模块传输的图像数据,进行手势控制指令的识别处理;
所述轨迹检测模块用于人体骨骼模型的实时显示,手部二维坐标信息以及对应得到的三维坐标信息和本次轨迹偏移量信息的计算处理;
机器人控制模块,包括机械臂,并通过TCP与主控系统实时通信;
主控系统将三维深度偏移坐标转换为机器人工具坐标,以及手势识别的指令结果一并通过TCP传递给机器人控制模块,用于控制机械臂同步目标人员的动作以及执行相关自定义指令;
所述手势识别模块根据多边形拟合曲线和手部轮廓比较得出凹陷集,并查找手势的几何特征,完成手势识别;
其中,多边形拟合曲线由凸包集合连结而成,包括:
(1)找到所有点中纵坐标y最小的点;
(2)计算其余点与该点的连线与x轴之间夹角的余弦值,将这些点按其对于最低点的余弦值从大到小排序;
(3)根据三点向量是否是逆时针转动原则依次遍历所有点,将符合逆时针转动原则的点按顺序放入集合;
(4)顺次连结集合中的点得到多边形拟合曲线;
其中,凹陷集通过对比凸包集和手掌轮廓得出,包含所有轮廓的凸型缺陷,一个凸型缺陷结构体包括4个元素,缺陷起点坐标,缺陷终点坐标,缺陷中离凸包线距离最远的点的坐标,以及此时最远的距离;
其中,手势识别所使采用的几何算法为:
在手部定位出2个中心点坐标,这2个中心点坐标之间的距离阈值为预设值,其中一个中心点是利用Kinect跟踪得到的手部骨骼点位置,另一个是凸包重心点;
根据这2个中心点的坐标,分别计算出在这2个中心点坐标上的凸凹点的个数;
利用求出的4种点:凹陷集,凸包集,手部中心点和凸包重心点的几何关系进行初步手势判别。
2.如权利要求1所述的系统,其特征在于,主控系统存储最近T次采集的目标人员手势的三维坐标信息,其中T为预设值。
3.如权利要求1所述的系统,其特征在于,机器人若碰到障碍物保护性停止,则机器人控制模块通过TCP通信向主控系统传回意外停止信息,从而使得主控系统获取上一次的起点位置信息,使得机器人回复到本段运动轨迹的起点位置。
CN202010447471.2A 2020-05-25 2020-05-25 基于Kinect的手势与轨迹远程控制机器人系统 Active CN111694428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010447471.2A CN111694428B (zh) 2020-05-25 2020-05-25 基于Kinect的手势与轨迹远程控制机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010447471.2A CN111694428B (zh) 2020-05-25 2020-05-25 基于Kinect的手势与轨迹远程控制机器人系统

Publications (2)

Publication Number Publication Date
CN111694428A CN111694428A (zh) 2020-09-22
CN111694428B true CN111694428B (zh) 2021-09-24

Family

ID=72478210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010447471.2A Active CN111694428B (zh) 2020-05-25 2020-05-25 基于Kinect的手势与轨迹远程控制机器人系统

Country Status (1)

Country Link
CN (1) CN111694428B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238650B (zh) 2021-04-15 2023-04-07 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
CN113829357B (zh) * 2021-10-25 2023-10-03 香港中文大学(深圳) 机器人手臂遥操作方法、装置、系统及介质
CN114399789B (zh) * 2021-12-31 2023-03-21 淮阴工学院 一种基于静态手势识别的机械臂远程控制方法
CN114701583B (zh) * 2022-04-18 2023-02-24 东北大学秦皇岛分校 一种绳驱柔性双关节仿生蟹及控制方法
CN115256059B (zh) * 2022-08-01 2024-01-23 长鑫存储技术有限公司 一种磨片装置控制方法、系统及研磨抛光机
CN115570558B (zh) * 2022-10-28 2023-07-11 武汉恒新动力科技有限公司 面向被操控对象集群的体感协同遥操作系统及方法
CN115617046A (zh) * 2022-11-01 2023-01-17 中国第一汽车股份有限公司 一种路径规划方法、装置、电子设备及存储介质
CN115908573B (zh) * 2023-02-20 2023-06-02 季华实验室 一种橡胶手套开口定位方法、系统、电子设备及存储介质
CN116330305B (zh) * 2023-05-30 2023-10-31 常州旭泰克系统科技有限公司 多模态人机交互装配方法、系统、设备及其介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
WO2015188268A1 (en) * 2014-06-08 2015-12-17 Hsien-Hsiang Chiu Gestural interface with virtual control layers
CN107688779A (zh) * 2017-08-18 2018-02-13 北京航空航天大学 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置
CN107885213A (zh) * 2017-11-22 2018-04-06 广东艾可里宁机器人智能装备有限公司 一种扫地机器人室内导航系统及方法
CN108748139A (zh) * 2018-04-18 2018-11-06 四川文理学院 基于体感式的机器人控制方法及装置
CN109916393A (zh) * 2019-03-29 2019-06-21 电子科技大学 一种基于机器人位姿的多重栅格值导航方法及其应用
CN110046558A (zh) * 2019-03-28 2019-07-23 东南大学 一种用于机器人控制的手势识别方法
CN110232308A (zh) * 2019-04-17 2019-09-13 浙江大学 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6873711B2 (ja) * 2017-01-16 2021-05-19 東芝テック株式会社 商品認識装置
CN109740497B (zh) * 2018-12-27 2022-07-26 河海大学 一种基于最小二乘曲线拟合的指尖检测方法
CN110362195A (zh) * 2019-06-10 2019-10-22 东南大学 基于双稳态编码和柔性角度传感器的手势识别及交互系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
WO2015188268A1 (en) * 2014-06-08 2015-12-17 Hsien-Hsiang Chiu Gestural interface with virtual control layers
CN107688779A (zh) * 2017-08-18 2018-02-13 北京航空航天大学 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置
CN107885213A (zh) * 2017-11-22 2018-04-06 广东艾可里宁机器人智能装备有限公司 一种扫地机器人室内导航系统及方法
CN108748139A (zh) * 2018-04-18 2018-11-06 四川文理学院 基于体感式的机器人控制方法及装置
CN110046558A (zh) * 2019-03-28 2019-07-23 东南大学 一种用于机器人控制的手势识别方法
CN109916393A (zh) * 2019-03-29 2019-06-21 电子科技大学 一种基于机器人位姿的多重栅格值导航方法及其应用
CN110232308A (zh) * 2019-04-17 2019-09-13 浙江大学 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法

Also Published As

Publication number Publication date
CN111694428A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111694428B (zh) 基于Kinect的手势与轨迹远程控制机器人系统
Wang et al. Real-time hand-tracking with a color glove
CN103984928B (zh) 基于景深图像的手指手势识别方法
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN109044651B (zh) 未知环境中基于自然手势指令的智能轮椅控制方法及系统
US20130249786A1 (en) Gesture-based control system
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
Ganapathyraju Hand gesture recognition using convexity hull defects to control an industrial robot
Abe et al. Virtual 3-D interface system via hand motion recognition from two cameras
CN106625658A (zh) 一种实时模仿人体上半身动作的人形机器人控制方法
Hongyong et al. Finger tracking and gesture recognition with kinect
CN105589553A (zh) 一种智能设备的手势控制方法和系统
CN109968310A (zh) 一种机械臂交互控制方法及系统
CN114495273A (zh) 一种机器人手势遥操作方法及相关装置
CN103426000A (zh) 一种静态手势指尖检测方法
Vidhate et al. Virtual paint application by hand gesture recognition system
CN116476074A (zh) 基于混合现实技术的远程机械臂操作系统及人机交互方法
Kopinski et al. A time-of-flight-based hand posture database for human-machine interaction
Wameed et al. Hand gestures robotic control based on computer vision
Jayasurya et al. Gesture controlled AI-robot using Kinect
KR101465896B1 (ko) 전면부 카메라 및 후면부 카메라를 이용하여 제어 명령을 생성하는 이동 단말
Ghosh et al. Real-time 3d markerless multiple hand detection and tracking for human computer interaction applications
Li et al. Human-machine Collaboration Method Based on Key Nodes of Human Posture
Safaei et al. Evaluating 3d hand motion with a softkinetic camera
Yang et al. Hand Tracking Based on the Kinect and Kalman Filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant