CN105319991A - 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 - Google Patents

一种基于Kinect视觉信息的机器人环境识别与作业控制方法 Download PDF

Info

Publication number
CN105319991A
CN105319991A CN201510829528.4A CN201510829528A CN105319991A CN 105319991 A CN105319991 A CN 105319991A CN 201510829528 A CN201510829528 A CN 201510829528A CN 105319991 A CN105319991 A CN 105319991A
Authority
CN
China
Prior art keywords
robot
information
kinect
key point
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510829528.4A
Other languages
English (en)
Other versions
CN105319991B (zh
Inventor
丁亮
陶建国
黎佳骏
高海波
邓宗全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201510829528.4A priority Critical patent/CN105319991B/zh
Publication of CN105319991A publication Critical patent/CN105319991A/zh
Application granted granted Critical
Publication of CN105319991B publication Critical patent/CN105319991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric

Abstract

一种基于Kinect视觉信息的机器人环境识别与作业控制方法，涉及机器人作业领域，尤其涉及一种基于Kinect视觉信息的机器人环境识别与作业控制方法。本发明为了解决现有机器人的传感系统存在稳定性及精确度较低的问题而且作业控制存在不稳定性难以实现预定任务或所需时间较长且操作过程复杂的问题。本发明按以下步骤进行：一、通过Kinect传感器a获取彩色图像和深度信息；二、显示对齐后的彩色图像和深度信息；三、获取机器人所处环境信息；四、获取关键点的三维坐标信息；五、运用关键点坐标信息计算所需的机器人运动轨迹；六、将特定运动指令下发给机器人。本发明适用于机器人作业领域。

Description

一种基于Kinect视觉信息的机器人环境识别与作业控制方法
技术领域
本发明涉及机器人作业领域，具体涉及一种基于Kinect视觉信息的机器人环境识别与作业控制方法。
背景技术
随着机器人技术的发展，越来越多的机器人被应用于工厂之外的动态非结构化的任务环境中，如救灾、医疗、助残等。复杂的环境对机器人的传感系统提出了更高的要求。在硬件方面，常用的CCD相机及3D激光雷达等费用较高难以普及，并且传统的环境识别技术存在稳定性及精确度较低的问题。
在作业方面，传统的机器人作业系统时常具有以下两个问题之一：(1)过分依赖程序自动控制。这种方法在工业化大生产中十分有效，但是在复杂的非结构化的环境中容易造成机器人的不稳定性难以实现预定任务。(2)过分依赖人类控制。这种方法能保证机器人完成复杂的任务，但是所需时间较长且操作过程复杂，不便于理解记忆。以上两个问题阻碍了机器人在更复杂环境条件下的应用。
发明内容
Kinect传感器可获得机器人周围的彩色图像和深度信息。操作员通过观察彩色图像了解机器人目前所处的环境特点，通过监控深度信息了解前方的障碍物及距离情况；操作员通过遥操作的方式将机器人移动到特定的工位上，在此过程中通过观察彩色图像粗略确定方位，通过监控深度信息可以准确获得机器人所处的位置情况；到达预定工作位置后，操作员运用鼠标在彩色图像上选取目标位置，同时程序会记录该位置的深度信息；通过连续的点选可以获得机器人完成后续运动所必须的点位、线条和平面；程序会根据当前要执行的任务从获得的点位信息中计算所需的参数，并完成规划，下发给机器人执行作业。
本发明为了解决现有机器人的传感系统存在稳定性及精确度较低的问题而且作业控制存在不稳定性难以实现预定任务或所需时间较长且操作过程复杂的问题，而提出了一种基于Kinect视觉信息的机器人环境识别与作业控制方法。
一种基于Kinect视觉信息的机器人环境识别与作业控制方法基于包括Kinect传感器a、机器人本体b、上位机c和显示屏d的硬件系统来实现的；Kinect传感器a、机器人本体b以及显示屏d均与上位机c连接；
所述上位机c中安装有包含人机交互界面1、图像及信息显示模块2、关键点信息获取及指令发送模块3的软件系统；人机交互界面1完成对图像及信息显示模块2以及关键点信息获取及指令发送模块3的调用；图像及信息显示模块2实现彩色图像及深度信息的获取和显示，以及对鼠标点指向像素的三维坐标的获取；关键点信息获取及指令发送模块3实现对确定的关键点的三维坐标信息进行采集，以及后续的运动指令发送；
其中图像及信息显示模块2、关键点信息获取及指令发送模块3均与人机交互界面1相连；
一种基于Kinect视觉信息的机器人环境识别与作业控制方法按以下步骤进行：
一、通过Kinect传感器a，获得机器人周围环境的彩色图像和深度信息；
二、通过上位机c将步骤一中获得的彩色图像和深度信息按像素一一对齐，并将对齐后的彩色图像和深度信息通过图像及信息显示模块2显示在显示屏d上；
三、通过观察彩色图像了解机器人目前所处的环境特点，通过监控深度信息了解前方的障碍物及距离情况；
四、使用上位机c上的鼠标在彩色图像上点击，通过关键点信息获取及指令发送模块3获得所需的关键点三维坐标信息；
五、通过上位机c运用关键点坐标信息计算所需的机器人运动轨迹；
六、通过关键点信息获取及指令发送模块3，将特定运动指令下发给机器人。
本发明包括以下有益效果：
1、用Kinect传感器可以同时获得彩色及深度图像，便于操作员对周围环境产生直观的感受，同时可以让操作员对距离、深度信息有更好的把握，解决了现有机器人的传感系统存在稳定性及精确度较低的问题；
2、采用人机交互的方式进行机器人作业控制，避免了由程序在复杂环境下自动决策造成的不稳定性；同时通过封装基本的运动形式减少操作人员对复杂细节的控制，减少操作所需的时间。
附图说明
图1是本发明的系统结构框图；
图2是本发明开门动作实例的操作流程图；
图3是本发明开门动作实例的门宽度及旋转方向示意图；
图4是本发明开门动作实例的门把手长度及旋转方向示意图；
图5是本发明开门动作实例的门法线方向示意图；
图6是本发明开门动作实例的门把手接触点示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合图1至图6和具体实施方式对本发明作进一步详细的说明。
具体实施方式一、本实施方式所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法基于包括Kinect传感器a、机器人本体b、上位机c和显示屏d的硬件系统来实现的；Kinect传感器a、机器人本体b以及显示屏d均与上位机c连接；
所述上位机c中安装有包含人机交互界面1、图像及信息显示模块2、关键点信息获取及指令发送模块3的软件系统；人机交互界面1完成对图像及信息显示模块2以及关键点信息获取及指令发送模块3的调用；图像及信息显示模块2实现彩色图像及深度信息的获取和显示，以及对鼠标点指向像素的三维坐标的获取；关键点信息获取及指令发送模块3实现对确定的关键点的三维坐标信息进行采集，以及后续的运动指令发送；
其中图像及信息显示模块2、关键点信息获取及指令发送模块3均与人机交互界面1相连；
一种基于Kinect视觉信息的机器人环境识别与作业控制方法按以下步骤进行：
一、通过Kinect传感器a，获得机器人周围环境的彩色图像和深度信息；
二、通过上位机c将步骤一中获得的彩色图像和深度信息按像素一一对齐，并将对齐后的彩色图像和深度信息通过图像及信息显示模块2显示在显示屏d上；
三、通过观察彩色图像了解机器人目前所处的环境特点，通过监控深度信息了解前方的障碍物及距离情况；
四、使用上位机c上的鼠标在彩色图像上点击，通过关键点信息获取及指令发送模块3获得所需的关键点三维坐标信息；
五、通过上位机c运用关键点坐标信息计算所需的机器人运动轨迹；
六、通过关键点信息获取及指令发送模块3，将特定运动指令下发给机器人。
本实施方式包括以下有益效果：
1、用Kinect传感器可以同时获得彩色及深度图像，便于操作员对周围环境产生直观的感受，同时可以让操作员对距离、深度信息有更好的把握，解决了现有机器人的传感系统存在稳定性及精确度较低的问题；
2、采用人机交互的方式进行机器人作业控制，避免了由程序在复杂环境下自动决策造成的不稳定性；同时通过封装基本的运动形式减少操作人员对复杂细节的控制，减少操作所需的时间。
具体实施方式二、本实施方式是对具体实施方式一所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明，所述上位机c还与键盘和鼠标连接。
具体实施方式三、本实施方式是对具体实施方式一或二所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明，步骤一中所述的Kinect传感器a，以30Hz的频率传回机器人周围环境的彩色图像和深度信息。
具体实施方式四、本实施方式是对具体实施方式一至三之一所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明，步骤二中将彩色图像和深度信息对齐后，还将获得的深度信息通过坐标变换，变换到整个机器人的基坐标系中。
具体实施方式五、本实施方式是对具体实施方式一至四之一所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明，步骤五中的所述计算所需的机器人运动轨迹要依据当前任务的性质和获得的关键点三维坐标信息的先后顺序。
具体实施方式六、本实施方式是对具体实施方式一至五之一所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明，步骤五中步骤六中所述特定运动指令为上位机c内已封装好的运动指令。
具体实施方式七、本实施方式结合机器人开门动作阐述本一种基于Kinect视觉信息的机器人环境识别与作业控制方法。
步骤A.确定当前机器人当前位置；
步骤B.控制机器人向门运动；
步骤C.测量门的宽度和开门方向；
步骤D.测量门把手长度和旋转方向；
步骤E.获得机器人与门法线夹角；
步骤F.调整机器人方向为正对门；
步骤G.获得门把手上操作点位置；
步骤H.规划机器人运动并下发指令。
图1是本发明的系统结构框图；图2是本发明开门动作实例的操作流程图；
在所述步骤A中，操作员通过观察彩色图像确定机器人周围的环境，通过监控深度信息获得机器人周围的障碍物及距离情况。
在所述步骤B中，操作员通过遥操作将机器人运动到预定位置，在此过程中通过观察彩色图像可以获得大致的位置与方向信息，通过监控深度信息可以准确的了解到机器人与门的距离。
在所述步骤C中，操作员运用鼠标在彩色图像中依次点击P1和P2，参照图3。通过Algorithm1可以求出门的长度以及打开方向。
在所述Algorithm1中，输入量为依次点选的两个点的坐标值，输出量为两个点之间的距离也就是门的宽度和门旋转的方向。
在所述步骤D中，操作员运用鼠标在彩色图像中依次点击P3和P4，参照图4；通过Algorithm1可以求出门把手的长度及旋转方向。
在所述步骤E中，操作员依次点击PA，PB和PC点，参照图5，通过公式(1)求出机器人与门法线的偏差角：
θ d i f f = a r c c o s ( ( x C - x A ) ( z B - z A ) - ( x B - x A ) ( z C - z A ) | n → d | ) - - - ( 1 )
其中：
n → d = ( y B - y A ) ( z C - z A ) - ( z B - z A ) ( y C - y A ) ( x C - x A ) ( z B - z A ) - ( x B - x A ) ( z C - z A ) ( x B - x A ) ( y C - y A ) - ( x C - x A ) ( y B - y A ) - - - ( 2 )
为门法线方向，(xA,yA,zZ)，(xB,yB,zB)，(xC,yC,zC)分别为点PA，PB和PC的坐标。
在所述步骤F中，操作员将所述步骤E中求出的偏差角下发给机器人，机器人完成偏差调整。
在所述步骤G中，操作员点击P5点，参照图6，获得机械臂与门把手的接触位置。
在所述步骤H中，操作员将上述步骤中获得的参数下发给机器人，控制机器人运动。

Claims (6)

1.一种基于Kinect视觉信息的机器人环境识别与作业控制方法，所述方法是基于包括Kinect传感器(a)、机器人本体(b)、上位机(c)和显示屏(d)的硬件系统来实现的；Kinect传感器(a)、机器人本体(b)以及显示屏(d)均与上位机(c)连接；
所述上位机(c)中安装有包含人机交互界面(1)、图像及信息显示模块(2)、关键点信息获取及指令发送模块(3)的软件系统；人机交互界面(1)完成对图像及信息显示模块(2)以及关键点信息获取及指令发送模块(3)的调用；图像及信息显示模块(2)实现彩色图像及深度信息的获取和显示，以及对鼠标点指向像素的三维坐标的获取；关键点信息获取及指令发送模块(3)实现对确定的关键点的三维坐标信息进行采集，以及后续的运动指令发送；
其中图像及信息显示模块(2)、关键点信息获取及指令发送模块(3)均与人机交互界面(1)相连；
其特征在于所述方法按以下步骤进行：
一、通过Kinect传感器(a)，获得机器人周围环境的彩色图像和深度信息；
二、通过上位机(c)将步骤一中获得的彩色图像和深度信息按像素一一对齐，并将对齐后的彩色图像和深度信息通过图像及信息显示模块(2)显示在显示屏(d)上；
三、通过观察彩色图像了解机器人目前所处的环境特点，通过监控深度信息了解前方的障碍物及距离情况；
四、使用上位机(c)上的鼠标在彩色图像上点击，通过关键点信息获取及指令发送模块(3)获得所需的关键点三维坐标信息；
五、通过上位机(c)运用关键点三维坐标信息计算所需的机器人运动轨迹；
六、通过关键点三维坐标信息获取及指令发送模块(3)，将特定运动指令下发给机器人。
2.如权利要求1所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法，其特征在于所述上位机(c)还与键盘和鼠标连接。
3.如权利要求1或2所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法，其特征在于步骤一中所述的Kinect传感器(a)，以30Hz的频率传回机器人周围环境的彩色图像和深度信息。
4.如权利要求3所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法，其特征在于步骤二中将彩色图像和深度信息对齐后，还将获得的深度信息通过坐标变换，变换到整个机器人的基坐标系中。
5.如权利要求4所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法，其特征在于步骤五中的所述计算所需的机器人运动轨迹要依据当前任务的性质和获得的关键点三维坐标信息的先后顺序。
6.如权利要求5所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法，其特征在于步骤六中所述特定运动指令为上位机(c)内已封装好的运动指令。
CN201510829528.4A 2015-11-25 2015-11-25 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 Active CN105319991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510829528.4A CN105319991B (zh) 2015-11-25 2015-11-25 一种基于Kinect视觉信息的机器人环境识别与作业控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510829528.4A CN105319991B (zh) 2015-11-25 2015-11-25 一种基于Kinect视觉信息的机器人环境识别与作业控制方法

Publications (2)

Publication Number Publication Date
CN105319991A true CN105319991A (zh) 2016-02-10
CN105319991B CN105319991B (zh) 2018-08-28

Family

ID=55247603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510829528.4A Active CN105319991B (zh) 2015-11-25 2015-11-25 一种基于Kinect视觉信息的机器人环境识别与作业控制方法

Country Status (1)

Country Link
CN (1) CN105319991B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824430A (zh) * 2016-06-07 2016-08-03 北京行云时空科技有限公司 三维信息交互方法及可穿戴设备
CN105867433A (zh) * 2016-03-31 2016-08-17 纳恩博（北京）科技有限公司 一种移动控制方法、移动电子设备及移动控制系统
CN106094575A (zh) * 2016-08-26 2016-11-09 中南大学 一种机器人运输虚拟可视化控制方法及系统
CN106503653A (zh) * 2016-10-21 2017-03-15 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
CN107203213A (zh) * 2017-07-12 2017-09-26 深圳市普渡科技有限公司 一种基于分时遥操作的多机器人送餐系统
CN107639621A (zh) * 2017-09-30 2018-01-30 中广核研究院有限公司 一种用于核电站场所的遥操作设备、系统及其作业方法
CN110347273A (zh) * 2019-07-12 2019-10-18 哈尔滨工业大学（威海） 基于激光的人机交互方法
CN111949111A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681542A (zh) * 2012-03-07 2012-09-19 陶重犇 一种室内多用途移动机器人实验平台
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN103218826A (zh) * 2013-03-19 2013-07-24 浙江中控研究院有限公司 基于Kinect的抛体检测、三维定位与轨迹预测方法
CN203092551U (zh) * 2013-03-15 2013-07-31 西北师范大学 一种基于Kinect和FPGA的家庭服务机器人
CN104315998A (zh) * 2014-10-29 2015-01-28 武汉科技大学 一种基于深度图像和方位角的门开度判断方法
CN104856720A (zh) * 2015-05-07 2015-08-26 东北电力大学 一种基于rgb-d传感器的机器人辅助超声扫描系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681542A (zh) * 2012-03-07 2012-09-19 陶重犇 一种室内多用途移动机器人实验平台
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN203092551U (zh) * 2013-03-15 2013-07-31 西北师范大学 一种基于Kinect和FPGA的家庭服务机器人
CN103218826A (zh) * 2013-03-19 2013-07-24 浙江中控研究院有限公司 基于Kinect的抛体检测、三维定位与轨迹预测方法
CN104315998A (zh) * 2014-10-29 2015-01-28 武汉科技大学 一种基于深度图像和方位角的门开度判断方法
CN104856720A (zh) * 2015-05-07 2015-08-26 东北电力大学 一种基于rgb-d传感器的机器人辅助超声扫描系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴若鸿 等: "基于Kinect的移动机械臂平台开门策略设计与实现", 《计算机工程与设计》 *
吴若鸿: "基于视觉信息与方位角的移动机械臂开门控制系统研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105867433A (zh) * 2016-03-31 2016-08-17 纳恩博（北京）科技有限公司 一种移动控制方法、移动电子设备及移动控制系统
CN105824430A (zh) * 2016-06-07 2016-08-03 北京行云时空科技有限公司 三维信息交互方法及可穿戴设备
CN106094575A (zh) * 2016-08-26 2016-11-09 中南大学 一种机器人运输虚拟可视化控制方法及系统
CN106094575B (zh) * 2016-08-26 2017-05-17 中南大学 一种机器人运输虚拟可视化控制方法及系统
CN106503653A (zh) * 2016-10-21 2017-03-15 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
CN107203213A (zh) * 2017-07-12 2017-09-26 深圳市普渡科技有限公司 一种基于分时遥操作的多机器人送餐系统
CN107639621A (zh) * 2017-09-30 2018-01-30 中广核研究院有限公司 一种用于核电站场所的遥操作设备、系统及其作业方法
CN111949111A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN110347273A (zh) * 2019-07-12 2019-10-18 哈尔滨工业大学（威海） 基于激光的人机交互方法
CN110347273B (zh) * 2019-07-12 2023-04-28 哈尔滨工业大学（威海） 基于激光的人机交互方法

Also Published As

Publication number Publication date
CN105319991B (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
CN105319991A (zh) 一种基于Kinect视觉信息的机器人环境识别与作业控制方法
US20210283784A1 (en) Utilizing optical data to control operation of a snake-arm robot
US20210023694A1 (en) System and method for robot teaching based on rgb-d images and teach pendant
EP1584426B1 (en) Tool center point calibration system
US20100172733A1 (en) Intelligent interface device for grasping of an object by a manipulating robot and method of implementing this device
Frank et al. Toward mobile mixed-reality interaction with multi-robot systems
CN107030692B (zh) 一种基于感知增强的机械手遥操作方法及系统
US20210154844A1 (en) Simulation device and robot system using augmented reality
CN103925879A (zh) 基于3d图像传感器的室内机器人视觉手眼关系标定方法
US11504846B2 (en) Robot teaching system based on image segmentation and surface electromyography and robot teaching method thereof
CN103900504A (zh) 纳米尺度下的实时三维视觉信息反馈方法
CN113505694A (zh) 一种基于视线追踪的人机交互方法、装置及计算机设备
Assadzadeh et al. Excavator 3D pose estimation using deep learning and hybrid datasets
CN104700403B (zh) 一种基于kinect的手势控制液压支架的虚拟示教方法
Angelopoulos et al. Drone brush: Mixed reality drone path planning
Frank et al. Towards teleoperation-based interactive learning of robot kinematics using a mobile augmented reality interface on a tablet
CN106406572A (zh) 光标的控制方法和装置
CN113172659A (zh) 基于等效中心点识别的柔性机器人臂形测量方法及系统
CN111645067A (zh) 一种高智能机器人环境感知方法及系统
CN115847491A (zh) 一种空间在轨维修机器人目标自主测量方法
US20230249341A1 (en) Robot teaching method and robot working method
CN211890823U (zh) 基于RealSense相机的四自由度机械臂视觉伺服控制系统
JP5563505B2 (ja) 群ロボット制御システム、群ロボット制御装置、及び群ロボット制御方法
CN113829357B (zh) 机器人手臂遥操作方法、装置、系统及介质
JPH11202928A (ja) 作業支援装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant