CN105319991B - 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 - Google Patents
一种基于Kinect视觉信息的机器人环境识别与作业控制方法 Download PDFInfo
- Publication number
- CN105319991B CN105319991B CN201510829528.4A CN201510829528A CN105319991B CN 105319991 B CN105319991 B CN 105319991B CN 201510829528 A CN201510829528 A CN 201510829528A CN 105319991 B CN105319991 B CN 105319991B
- Authority
- CN
- China
- Prior art keywords
- robot
- information
- door
- kinect
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
一种基于Kinect视觉信息的机器人环境识别与作业控制方法,涉及机器人作业领域,尤其涉及一种基于Kinect视觉信息的机器人环境识别与作业控制方法。本发明为了解决现有机器人的传感系统存在稳定性及精确度较低的问题而且作业控制存在不稳定性难以实现预定任务或所需时间较长且操作过程复杂的问题。本发明按以下步骤进行:一、通过Kinect传感器a获取彩色图像和深度信息;二、显示对齐后的彩色图像和深度信息;三、获取机器人所处环境信息;四、获取关键点的三维坐标信息;五、运用关键点坐标信息计算所需的机器人运动轨迹;六、将特定运动指令下发给机器人。本发明适用于机器人作业领域。
Description
技术领域
本发明涉及机器人作业领域,具体涉及一种基于Kinect视觉信息的机器人环境识别与作业控制方法。
背景技术
随着机器人技术的发展,越来越多的机器人被应用于工厂之外的动态非结构化的任务环境中,如救灾、医疗、助残等。复杂的环境对机器人的传感系统提出了更高的要求。在硬件方面,常用的CCD相机及3D激光雷达等费用较高难以普及,并且传统的环境识别技术存在稳定性及精确度较低的问题。
在作业方面,传统的机器人作业系统时常具有以下两个问题之一:(1)过分依赖程序自动控制。这种方法在工业化大生产中十分有效,但是在复杂的非结构化的环境中容易造成机器人的不稳定性难以实现预定任务。(2)过分依赖人类控制。这种方法能保证机器人完成复杂的任务,但是所需时间较长且操作过程复杂,不便于理解记忆。以上两个问题阻碍了机器人在更复杂环境条件下的应用。
发明内容
Kinect传感器可获得机器人周围的彩色图像和深度信息。操作员通过观察彩色图像了解机器人目前所处的环境特点,通过监控深度信息了解前方的障碍物及距离情况;操作员通过遥操作的方式将机器人移动到特定的工位上,在此过程中通过观察彩色图像粗略确定方位,通过监控深度信息可以准确获得机器人所处的位置情况;到达预定工作位置后,操作员运用鼠标在彩色图像上选取目标位置,同时程序会记录该位置的深度信息;通过连续的点选可以获得机器人完成后续运动所必须的点位、线条和平面;程序会根据当前要执行的任务从获得的点位信息中计算所需的参数,并完成规划,下发给机器人执行作业。
本发明为了解决现有机器人的传感系统存在稳定性及精确度较低的问题而且作业控制存在不稳定性难以实现预定任务或所需时间较长且操作过程复杂的问题,而提出了一种基于 Kinect视觉信息的机器人环境识别与作业控制方法。
一种基于Kinect视觉信息的机器人环境识别与作业控制方法基于包括Kinect传感器a、机器人本体b、上位机c和显示屏d的硬件系统来实现的;Kinect传感器a、机器人本体b 以及显示屏d均与上位机c连接;
所述上位机c中安装有包含人机交互界面1、图像及信息显示模块2、关键点信息获取及指令发送模块3的软件系统;人机交互界面1完成对图像及信息显示模块2以及关键点信息获取及指令发送模块3的调用;图像及信息显示模块2实现彩色图像及深度信息的获取和显示,以及对鼠标点指向像素的三维坐标的获取;关键点信息获取及指令发送模块3实现对确定的关键点的三维坐标信息进行采集,以及后续的运动指令发送;
其中图像及信息显示模块2、关键点信息获取及指令发送模块3均与人机交互界面1相连;
一种基于Kinect视觉信息的机器人环境识别与作业控制方法按以下步骤进行:
一、通过Kinect传感器a,获得机器人周围环境的彩色图像和深度信息;
二、通过上位机c将步骤一中获得的彩色图像和深度信息按像素一一对齐,并将对齐后的彩色图像和深度信息通过图像及信息显示模块2显示在显示屏d上;
三、通过观察彩色图像了解机器人目前所处的环境特点,通过监控深度信息了解前方的障碍物及距离情况;
四、使用上位机c上的鼠标在彩色图像上点击,通过关键点信息获取及指令发送模块3 获得所需的关键点三维坐标信息;
五、通过上位机c运用关键点坐标信息计算所需的机器人运动轨迹;
六、通过关键点信息获取及指令发送模块3,将特定运动指令下发给机器人。
本发明包括以下有益效果:
1、用Kinect传感器可以同时获得彩色及深度图像,便于操作员对周围环境产生直观的感受,同时可以让操作员对距离、深度信息有更好的把握,解决了现有机器人的传感系统存在稳定性及精确度较低的问题;
2、采用人机交互的方式进行机器人作业控制,避免了由程序在复杂环境下自动决策造成的不稳定性;同时通过封装基本的运动形式减少操作人员对复杂细节的控制,减少操作所需的时间。
附图说明
图1是本发明的系统结构框图;
图2是本发明开门动作实例的操作流程图;
图3是本发明开门动作实例的门宽度及旋转方向示意图;
图4是本发明开门动作实例的门把手长度及旋转方向示意图;
图5是本发明开门动作实例的门法线方向示意图;
图6是本发明开门动作实例的门把手接触点示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合图1至图6和具体实施方式对本发明作进一步详细的说明。
具体实施方式一、本实施方式所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法基于包括Kinect传感器a、机器人本体b、上位机c和显示屏d的硬件系统来实现的;Kinect传感器a、机器人本体b以及显示屏d均与上位机c连接;
所述上位机c中安装有包含人机交互界面1、图像及信息显示模块2、关键点信息获取及指令发送模块3的软件系统;人机交互界面1完成对图像及信息显示模块2以及关键点信息获取及指令发送模块3的调用;图像及信息显示模块2实现彩色图像及深度信息的获取和显示,以及对鼠标点指向像素的三维坐标的获取;关键点信息获取及指令发送模块3实现对确定的关键点的三维坐标信息进行采集,以及后续的运动指令发送;
其中图像及信息显示模块2、关键点信息获取及指令发送模块3均与人机交互界面1相连;
一种基于Kinect视觉信息的机器人环境识别与作业控制方法按以下步骤进行:
一、通过Kinect传感器a,获得机器人周围环境的彩色图像和深度信息;
二、通过上位机c将步骤一中获得的彩色图像和深度信息按像素一一对齐,并将对齐后的彩色图像和深度信息通过图像及信息显示模块2显示在显示屏d上;
三、通过观察彩色图像了解机器人目前所处的环境特点,通过监控深度信息了解前方的障碍物及距离情况;
四、使用上位机c上的鼠标在彩色图像上点击,通过关键点信息获取及指令发送模块3 获得所需的关键点三维坐标信息;
五、通过上位机c运用关键点坐标信息计算所需的机器人运动轨迹;
六、通过关键点信息获取及指令发送模块3,将特定运动指令下发给机器人。
本实施方式包括以下有益效果:
1、用Kinect传感器可以同时获得彩色及深度图像,便于操作员对周围环境产生直观的感受,同时可以让操作员对距离、深度信息有更好的把握,解决了现有机器人的传感系统存在稳定性及精确度较低的问题;
2、采用人机交互的方式进行机器人作业控制,避免了由程序在复杂环境下自动决策造成的不稳定性;同时通过封装基本的运动形式减少操作人员对复杂细节的控制,减少操作所需的时间。
具体实施方式二、本实施方式是对具体实施方式一所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明,所述上位机c还与键盘和鼠标连接。
具体实施方式三、本实施方式是对具体实施方式一或二所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明,步骤一中所述的Kinect传感器a,以30Hz 的频率传回机器人周围环境的彩色图像和深度信息。
具体实施方式四、本实施方式是对具体实施方式一至三之一所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明,步骤二中将彩色图像和深度信息对齐后,还将获得的深度信息通过坐标变换,变换到整个机器人的基坐标系中。
具体实施方式五、本实施方式是对具体实施方式一至四之一所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明,步骤五中的所述计算所需的机器人运动轨迹要依据当前任务的性质和获得的关键点三维坐标信息的先后顺序。
具体实施方式六、本实施方式是对具体实施方式一至五之一所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法的进一步说明,步骤五中步骤六中所述特定运动指令为上位机c内已封装好的运动指令。
具体实施方式七、本实施方式结合机器人开门动作阐述本一种基于Kinect视觉信息的机器人环境识别与作业控制方法。
步骤A.确定当前机器人当前位置;
步骤B.控制机器人向门运动;
步骤C.测量门的宽度和开门方向;
步骤D.测量门把手长度和旋转方向;
步骤E.获得机器人与门法线夹角;
步骤F.调整机器人方向为正对门;
步骤G.获得门把手上操作点位置;
步骤H.规划机器人运动并下发指令。
图1是本发明的系统结构框图;图2是本发明开门动作实例的操作流程图;
在所述步骤A中,操作员通过观察彩色图像确定机器人周围的环境,通过监控深度信息获得机器人周围的障碍物及距离情况。
在所述步骤B中,操作员通过遥操作将机器人运动到预定位置,在此过程中通过观察彩色图像可以获得大致的位置与方向信息,通过监控深度信息可以准确的了解到机器人与门的距离。
在所述步骤C中,操作员运用鼠标在彩色图像中依次点击P1和P2,参照图3。通过Algorithm1可以求出门的长度以及打开方向。
在所述Algorithm1中,输入量为依次点选的两个点的坐标值,输出量为两个点之间的距离也就是门的宽度和门旋转的方向。
在所述步骤D中,操作员运用鼠标在彩色图像中依次点击P3和P4,参照图4;通过Algorithm1可以求出门把手的长度及旋转方向。
在所述步骤E中,操作员依次点击PA,PB和PC点,参照图5,通过公式(1)求出机器人与门法线的偏差角:
其中:
为门法线方向,(xA,yA,zA) ,(xB,yB,zB),(xC,yC,zC)分别为点PA,PB和PC的坐标。
在所述步骤F中,操作员将所述步骤E中求出的偏差角下发给机器人,机器人完成偏差调整。
在所述步骤G中,操作员点击P5点,参照图6,获得机械臂与门把手的接触位置。
在所述步骤H中,操作员将上述步骤中获得的参数下发给机器人,控制机器人运动。
Claims (6)
1.一种基于Kinect视觉信息的机器人环境识别与作业控制方法,所述方法是基于包括Kinect传感器(a)、机器人本体(b)、上位机(c)和显示屏(d)的硬件系统来实现的;Kinect传感器(a)、机器人本体(b)以及显示屏(d)均与上位机(c)连接;
所述上位机(c)中安装有包含人机交互界面(1)、图像及信息显示模块(2)、关键点信息获取及指令发送模块(3)的软件系统;人机交互界面(1)完成对图像及信息显示模块(2)以及关键点信息获取及指令发送模块(3)的调用;图像及信息显示模块(2)实现彩色图像及深度信息的获取和显示,以及对鼠标点指向像素的三维坐标的获取;关键点信息获取及指令发送模块(3)实现对确定的关键点的三维坐标信息进行采集,以及后续的运动指令发送;
其中图像及信息显示模块(2)、关键点信息获取及指令发送模块(3)均与人机交互界面(1)相连;
其特征在于所述方法按以下步骤进行:
一、通过Kinect传感器(a),获得机器人周围环境的彩色图像和深度信息;
二、通过上位机(c)将步骤一中获得的彩色图像和深度信息按像素一一对齐,并将对齐后的彩色图像和深度信息通过图像及信息显示模块(2)显示在显示屏(d)上;
三、通过观察彩色图像了解机器人目前所处的环境特点,通过监控深度信息了解前方的障碍物及距离情况;包括以下步骤:
步骤A.确定当前机器人当前位置;
步骤B.控制机器人向门运动;
在所述步骤A中,操作员通过观察彩色图像确定机器人周围的环境,通过监控深度信息获得机器人周围的障碍物及距离情况;
在所述步骤B中,操作员通过遥操作将机器人运动到预定位置,在此过程中通过观察彩色图像可以获得大致的位置与方向信息,通过监控深度信息可以准确的了解到机器人与门的距离;
四、使用上位机(c)上的鼠标在彩色图像上点击,通过关键点信息获取及指令发送模块(3)获得所需的关键点三维坐标信息;包括以下步骤:
步骤C.测量门的宽度和开门方向;输入量为依次点选的两个点的坐标值,输出量为两个点之间的距离也就是门的宽度和门旋转的方向;
步骤D.测量门把手长度和旋转方向;
在所述步骤C中,操作员运用鼠标在彩色图像中依次点击P1和P2,通过以下步骤求出门的长度以及打开方向:
两点的坐标为P1(x1,y1,z1)、P2(x2,y2,z2);
两点间的距离为dDW;旋转方向为ODR;
将的赋值给dDW,
如果y1-y2>0,则旋转方向为ODR为CCW;
否则旋转方向为ODR为CW;
在所述步骤D中,操作员运用鼠标在彩色图像中依次点击P3和P4,按照步骤C求出门把手的长度及旋转方向;
五、通过上位机(c)运用关键点三维坐标信息计算所需的机器人运动轨迹;包括以下步骤:
步骤E.获得机器人与门法线夹角;
步骤F.调整机器人方向为正对门;
步骤G.获得门把手上操作点位置;
在所述步骤E中,操作员依次点击PA,PB和PC点,通过公式(1)求出机器人与门法线的偏差角:
其中:
为门法线方向,(xA,yA,zA),(xB,yB,zB),(xC,yC,zC)分别为点PA,PB和PC的坐标;
在所述步骤F中,操作员将所述步骤E中求出的偏差角下发给机器人,机器人完成偏差调整;
在所述步骤G中,操作员点击P5点,获得机械臂与门把手的接触位置;
六、通过关键点三维坐标信息获取及指令发送模块(3),将特定运动指令下发给机器人,包括以下步骤:
步骤H.规划机器人运动并下发指令;
在所述步骤H中,操作员将上述步骤中获得的参数下发给机器人,控制机器人运动。
2.如权利要求1所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法,其特征在于所述上位机(c)还与键盘和鼠标连接。
3.如权利要求1或2所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法,其特征在于步骤一中所述的Kinect传感器(a),以30Hz的频率传回机器人周围环境的彩色图像和深度信息。
4.如权利要求3所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法,其特征在于步骤二中将彩色图像和深度信息对齐后,还将获得的深度信息通过坐标变换,变换到整个机器人的基坐标系中。
5.如权利要求4所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法,其特征在于步骤五中的所述计算所需的机器人运动轨迹要依据当前任务的性质和获得的关键点三维坐标信息的先后顺序。
6.如权利要求5所述的一种基于Kinect视觉信息的机器人环境识别与作业控制方法,其特征在于步骤六中所述特定运动指令为上位机(c)内已封装好的运动指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510829528.4A CN105319991B (zh) | 2015-11-25 | 2015-11-25 | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510829528.4A CN105319991B (zh) | 2015-11-25 | 2015-11-25 | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105319991A CN105319991A (zh) | 2016-02-10 |
CN105319991B true CN105319991B (zh) | 2018-08-28 |
Family
ID=55247603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510829528.4A Active CN105319991B (zh) | 2015-11-25 | 2015-11-25 | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105319991B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105867433A (zh) * | 2016-03-31 | 2016-08-17 | 纳恩博(北京)科技有限公司 | 一种移动控制方法、移动电子设备及移动控制系统 |
CN105824430A (zh) * | 2016-06-07 | 2016-08-03 | 北京行云时空科技有限公司 | 三维信息交互方法及可穿戴设备 |
CN106094575B (zh) * | 2016-08-26 | 2017-05-17 | 中南大学 | 一种机器人运输虚拟可视化控制方法及系统 |
CN106503653B (zh) * | 2016-10-21 | 2020-10-13 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
CN107203213A (zh) * | 2017-07-12 | 2017-09-26 | 深圳市普渡科技有限公司 | 一种基于分时遥操作的多机器人送餐系统 |
CN107639621A (zh) * | 2017-09-30 | 2018-01-30 | 中广核研究院有限公司 | 一种用于核电站场所的遥操作设备、系统及其作业方法 |
CN111949111B (zh) * | 2019-05-14 | 2022-04-26 | Oppo广东移动通信有限公司 | 交互控制方法、装置、电子设备及存储介质 |
CN110347273B (zh) * | 2019-07-12 | 2023-04-28 | 哈尔滨工业大学(威海) | 基于激光的人机交互方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102681542A (zh) * | 2012-03-07 | 2012-09-19 | 陶重犇 | 一种室内多用途移动机器人实验平台 |
CN103106688B (zh) * | 2013-02-20 | 2016-04-27 | 北京工业大学 | 基于双层配准方法的室内三维场景重建方法 |
CN203092551U (zh) * | 2013-03-15 | 2013-07-31 | 西北师范大学 | 一种基于Kinect和FPGA的家庭服务机器人 |
CN103218826B (zh) * | 2013-03-19 | 2016-08-10 | 浙江中控研究院有限公司 | 基于Kinect的抛体检测、三维定位与轨迹预测方法 |
CN104315998B (zh) * | 2014-10-29 | 2017-02-15 | 武汉科技大学 | 一种基于深度图像和方位角的门开度判断方法 |
CN104856720B (zh) * | 2015-05-07 | 2017-08-08 | 东北电力大学 | 一种基于rgb‑d传感器的机器人辅助超声扫描系统 |
-
2015
- 2015-11-25 CN CN201510829528.4A patent/CN105319991B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105319991A (zh) | 2016-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105319991B (zh) | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 | |
US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
CN112672860B (zh) | 用于ar和数字孪生的机器人校准 | |
US7714895B2 (en) | Interactive and shared augmented reality system and method having local and remote access | |
EP1584426B1 (en) | Tool center point calibration system | |
US7298385B2 (en) | Method and device for visualizing computer-generated informations | |
WO2011065035A1 (ja) | ロボットの教示データを作成する方法およびロボット教示システム | |
EP2783812A2 (en) | Robot device and method for manufacturing an object | |
CN107662195A (zh) | 一种具有临场感的机器手主从异构遥操作控制系统及控制方法 | |
Richter et al. | Augmented reality predictive displays to help mitigate the effects of delayed telesurgery | |
TW201923610A (zh) | 3次元空間監視裝置、3次元空間監視方法、及3次元空間監視程式 | |
CN104385282A (zh) | 一种视觉智能数控系统及其视觉计测方法 | |
CN110682291B (zh) | 一种基于vr的机器人遥操作系统及其遥操作方法 | |
CN112706158B (zh) | 基于视觉和惯导定位的工业人机交互系统及方法 | |
JP2018202514A (ja) | ロボットの教示のための情報を表示するロボットシステム | |
JP2019119027A (ja) | ロボットシステムの制御方法、およびロボットシステム | |
CN107257946B (zh) | 用于虚拟调试的系统 | |
CN106527239A (zh) | 一种多机器人协同操作模式的方法及系统 | |
De Pace et al. | Leveraging enhanced virtual reality methods and environments for efficient, intuitive, and immersive teleoperation of robots | |
Ponomareva et al. | Grasplook: a vr-based telemanipulation system with r-cnn-driven augmentation of virtual environment | |
CN111645067A (zh) | 一种高智能机器人环境感知方法及系统 | |
US20230326096A1 (en) | Processing device, processing system, head mounted display, processing method, and storage medium | |
US20230152887A1 (en) | Systems and methods for calibrating an eye tracking system | |
CN106774178A (zh) | 一种自动化控制系统及方法、机械设备 | |
JP7366264B2 (ja) | ロボット教示方法及びロボット作業方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |