CN111331608A - 一种基于立体视觉的机器人主动避障规划方法 - Google Patents
一种基于立体视觉的机器人主动避障规划方法 Download PDFInfo
- Publication number
- CN111331608A CN111331608A CN202010294468.1A CN202010294468A CN111331608A CN 111331608 A CN111331608 A CN 111331608A CN 202010294468 A CN202010294468 A CN 202010294468A CN 111331608 A CN111331608 A CN 111331608A
- Authority
- CN
- China
- Prior art keywords
- robot
- point cloud
- camera
- unit
- obstacle avoidance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000012790 confirmation Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 230000009471 action Effects 0.000 description 4
- 238000009776 industrial production Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于立体视觉的机器人主动避障规划方法，对机器人A的运动范围进行测算，然后选取三个相机C布置点，使得相机C可以全覆盖机器人的工作空间，然后对相机C进行固定，通过手眼标定单元对相机C和机器人A的位置进行标定，然后确认相机C和机器人A的相对位姿关系，本发明涉及机器人避障技术领域。该基于立体视觉的机器人主动避障规划方法，通过立体视觉点云重建的方法来有效的规划机器人的运动轨迹，保证机器人能够在合理区域运行，并设计出合理、安全的运行轨迹保证末端工具完成既定任务，提高生产效率和安全性，当有突然的事故发生时，机器人能及时规避调整路径，当无法规避时能及时停车，避障效果更好。
Description
技术领域
本发明涉及机器人避障技术领域，具体为一种基于立体视觉的机器人主动避障规划方法。
背景技术
机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类工作的工作，例如生产业、建筑业，或是危险的工作，狭义上对机器人的定义还有很多分类法及争议，有些电脑程序甚至也被称为机器人，在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作，理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物，目前科学界正在向此方向研究开发，随着机器人的发展，当今科学技术日益发达，高科技产品尤其是机器人在工业生产中运用的越来越广泛，它能够代替人类完成许许多多的工作，但如何能让机器人自动化的完成人类交给的任务成为设计机器人的关键，国际上对机器人的概念已经逐渐趋近一致，一般来说，人们都可以接受这种说法，即机器人是靠自身动力和控制能力来实现各种功能的一种机器。
现阶段机器人在工业生产中基本都是按照人为预设的程序来进行重复性的工作，但当出现不可预见性的突然事故(比如传感器失效、人为误操作等)机器人是无法有效的完成预定的生产任务的，而且常常会造成了人员和设备损伤；而当遇到多设备多人员协作生产的场合时机器人只能通过降低节拍规划干涉区来保证生产工作的正常进行，有些场合甚至只能使用人工方式。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于立体视觉的机器人主动避障规划方法，解决了机器人在工业生产中基本都是按照人为预设的程序来进行重复性的工作，但当出现不可预见性的突然事故(比如传感器失效、人为误操作等)机器人是无法有效的完成预定的生产任务的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于立体视觉的机器人主动避障规划方法，包括以下步骤：
步骤一、深度相机C的布置：对机器人A的运动范围进行测算，然后选取三个相机C布置点，使得相机C可以全覆盖机器人的工作空间，然后对相机C进行固定；
步骤二、点云模型的生成：通过手眼标定单元对相机C和机器人A的位置进行标定，然后通过位姿关系确认单元，确认相机C和机器人A的相对位姿关系，通过深度相机C采集点云数据，并且将深度相机C采集到的点云数据通过点云数据转换单元转换后，通过基坐标系生成单元转换到机器人基坐标系A下，然后经过点云融合生成单元将机器人基坐标系A下的点云数据通过点云融合生成单元融合形成机器人A工作空间内的点云模型；
步骤三、点云防重叠处理：将步骤二中通过点云融合生成单元融合形成机器人A工作空间内的点云模型经过OTCOMAP转换单元转换成八叉树的形式，然后通过位姿融合单元对位姿进行融合；
步骤四、机器人路线的规划：结合步骤三中的通过位姿融合单元中融合的位姿关系，对机器人的路线进行规划，机器人在此空间内根据不同的目标点进行避障路径规划，当出现新的物体出阻碍在机器人前进的路径上时，通过路线重新规划单元重新规划机器人的最优路径，避开障碍，当障碍物距离机器人过近，使得机器人无法调整新的运行轨迹时，提前控制机器人减速停止，重新启动后规划路线。
优选的，所述步骤二中的手眼标定单元的输出端与位姿关系确认单元的输入端连接，并且位姿关系确认单元的输出端与点云数据转换单元的输入端连接。
优选的，所述步骤二中的点云数据转换单元的输出端与基坐标系生成单元的输入端连接，并且基坐标系生成单元的输出端与点云融合生成单元的输入端连接。
优选的，所述步骤二中的点云融合生成单元的输出端与步骤三中的OTCOMAP转换单元的输入端连接。
优选的，所述步骤三中的OTCOMAP转换单元的输出端与位姿融合单元的输入端连接。
优选的，所述步骤三中位姿融合单元的输出端与步骤四中的路线重新规划单元的输入端连接。
优选的，所述步骤一中的相机在固定时，确保相机C的稳定性，不会产生晃动。
优选的，所述步骤一中的相机C监控范围内的遮挡物全部去除。
(三)有益效果
本发明提供了一种基于立体视觉的机器人主动避障规划方法。与现有技术相比，具备以下有益效果：该基于立体视觉的机器人主动避障规划方法，通过对机器人A的运动范围进行测算，然后选取三个相机C布置点，使得相机C可以全覆盖机器人的工作空间，然后对相机C进行固定，相机在固定时，确保相机C的稳定性，不会产生晃动，通过手眼标定单元对相机C和机器人A的位置进行标定，然后通过位姿关系确认单元，确认相机C和机器人A的相对位姿关系，通过深度相机C采集点云数据，并且将深度相机C采集到的点云数据通过点云数据转换单元转换后，通过基坐标系生成单元转换到机器人基坐标系A下，然后经过点云融合生成单元将机器人基坐标系A下的点云数据通过点云融合生成单元融合形成机器人A工作空间内的点云模型，将步骤二中通过点云融合生成单元融合形成机器人A工作空间内的点云模型经过OTCOMAP转换单元转换成八叉树的形式，然后通过位姿融合单元对位姿进行融合，结合步骤三中的通过位姿融合单元中融合的位姿关系，对机器人的路线进行规划，机器人在此空间内根据不同的目标点进行避障路径规划，当出现新的物体出阻碍在机器人前进的路径上时，通过路线重新规划单元重新规划机器人的最优路径，避开障碍，当障碍物距离机器人过近，使得机器人无法调整新的运行轨迹时，提前控制机器人减速停止，重新启动后规划路线，通过立体视觉点云重建的方法来有效的规划机器人的运动轨迹，保证机器人能够在合理区域运行，并设计出合理、安全的运行轨迹保证末端工具完成既定任务，提高生产效率和安全性，当有突然的事故发生时，机器人能及时规避调整路径，当无法规避时能及时停车，避障效果更好。
附图说明
图1为本发明的原理图；
图2为本发明的系统原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明实施例提供一种技术方案：一种基于立体视觉的机器人主动避障规划方法，包括以下步骤：
步骤一、深度相机C的布置：对机器人A的运动范围进行测算，然后选取三个相机C布置点，使得相机C可以全覆盖机器人的工作空间，然后对相机C进行固定，步骤一中的相机在固定时，确保相机C的稳定性，不会产生晃动，步骤一中的相机C监控范围内的遮挡物全部去除；
步骤二、点云模型的生成：通过手眼标定单元对相机C和机器人A的位置进行标定，然后通过位姿关系确认单元，确认相机C和机器人A的相对位姿关系，通过深度相机C采集点云数据，并且将深度相机C采集到的点云数据通过点云数据转换单元转换后，通过基坐标系生成单元转换到机器人基坐标系A下，然后经过点云融合生成单元将机器人基坐标系A下的点云数据通过点云融合生成单元融合形成机器人A工作空间内的点云模型，步骤二中的手眼标定单元的输出端与位姿关系确认单元的输入端连接，并且位姿关系确认单元的输出端与点云数据转换单元的输入端连接，步骤二中的点云数据转换单元的输出端与基坐标系生成单元的输入端连接，并且基坐标系生成单元的输出端与点云融合生成单元的输入端连接；
步骤三、点云防重叠处理：将步骤二中通过点云融合生成单元融合形成机器人A工作空间内的点云模型经过OTCOMAP转换单元转换成八叉树的形式，然后通过位姿融合单元对位姿进行融合，步骤二中的点云融合生成单元的输出端与步骤三中的OTCOMAP转换单元的输入端连接，步骤三中的OTCOMAP转换单元的输出端与位姿融合单元的输入端连接，步骤三中位姿融合单元的输出端与步骤四中的路线重新规划单元的输入端连接；
步骤四、机器人路线的规划：结合步骤三中的通过位姿融合单元中融合的位姿关系，对机器人的路线进行规划，机器人在此空间内根据不同的目标点进行避障路径规划，当出现新的物体出阻碍在机器人前进的路径上时，通过路线重新规划单元重新规划机器人的最优路径，避开障碍，当障碍物距离机器人过近，使得机器人无法调整新的运行轨迹时，提前控制机器人减速停止，重新启动后规划路线。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于立体视觉的机器人主动避障规划方法，其特征在于：包括以下步骤：
步骤一、深度相机C的布置：对机器人A的运动范围进行测算，然后选取三个相机C布置点，使得相机C可以全覆盖机器人的工作空间，然后对相机C进行固定；
步骤二、点云模型的生成：通过手眼标定单元对相机C和机器人A的位置进行标定，然后通过位姿关系确认单元，确认相机C和机器人A的相对位姿关系，通过深度相机C采集点云数据，并且将深度相机C采集到的点云数据通过点云数据转换单元转换后，通过基坐标系生成单元转换到机器人基坐标系A下，然后经过点云融合生成单元将机器人基坐标系A下的点云数据通过点云融合生成单元融合形成机器人A工作空间内的点云模型；
步骤三、点云防重叠处理：将步骤二中通过点云融合生成单元融合形成机器人A工作空间内的点云模型经过OTCOMAP转换单元转换成八叉树的形式，然后通过位姿融合单元对位姿进行融合；
步骤四、机器人路线的规划：结合步骤三中的通过位姿融合单元中融合的位姿关系，对机器人的路线进行规划，机器人在此空间内根据不同的目标点进行避障路径规划，当出现新的物体出阻碍在机器人前进的路径上时，通过路线重新规划单元重新规划机器人的路径，避开障碍，当障碍物距离机器人过近，使得机器人无法调整新的运行轨迹时，提前控制机器人减速停止，重新启动后规划路线。
2.根据权利要求1所述的一种基于立体视觉的机器人主动避障规划方法，其特征在于：所述步骤二中的手眼标定单元的输出端与位姿关系确认单元的输入端连接，并且位姿关系确认单元的输出端与点云数据转换单元的输入端连接。
3.根据权利要求1所述的一种基于立体视觉的机器人主动避障规划方法，其特征在于：所述步骤二中的点云数据转换单元的输出端与基坐标系生成单元的输入端连接，并且基坐标系生成单元的输出端与点云融合生成单元的输入端连接。
4.根据权利要求1所述的一种基于立体视觉的机器人主动避障规划方法，其特征在于：所述步骤二中的点云融合生成单元的输出端与步骤三中的OTCOMAP转换单元的输入端连接。
5.根据权利要求1所述的一种基于立体视觉的机器人主动避障规划方法，其特征在于：所述步骤三中的OTCOMAP转换单元的输出端与位姿融合单元的输入端连接。
6.根据权利要求1所述的一种基于立体视觉的机器人主动避障规划方法，其特征在于：所述步骤三中位姿融合单元的输出端与步骤四中的路线重新规划单元的输入端连接。
7.根据权利要求1所述的一种基于立体视觉的机器人主动避障规划方法，其特征在于：所述步骤一中的相机在固定时，确保相机C的稳定性，不会产生晃动。
8.根据权利要求1所述的一种基于立体视觉的机器人主动避障规划方法，其特征在于：所述步骤一中的相机C监控范围内的遮挡物全部去除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010294468.1A CN111331608A (zh) | 2020-04-15 | 2020-04-15 | 一种基于立体视觉的机器人主动避障规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010294468.1A CN111331608A (zh) | 2020-04-15 | 2020-04-15 | 一种基于立体视觉的机器人主动避障规划方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111331608A true CN111331608A (zh) | 2020-06-26 |
Family
ID=71179065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010294468.1A Pending CN111331608A (zh) | 2020-04-15 | 2020-04-15 | 一种基于立体视觉的机器人主动避障规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111331608A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
| US20160107313A1 (en) * | 2014-10-17 | 2016-04-21 | GM Global Technology Operations LLC | Dynamic obstacle avoidance in a robotic system |
| CN109822579A (zh) * | 2019-04-10 | 2019-05-31 | 江苏艾萨克机器人股份有限公司 | 基于视觉的协作机器人安全控制方法 |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
-
2020
- 2020-04-15 CN CN202010294468.1A patent/CN111331608A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
| US20160107313A1 (en) * | 2014-10-17 | 2016-04-21 | GM Global Technology Operations LLC | Dynamic obstacle avoidance in a robotic system |
| CN109822579A (zh) * | 2019-04-10 | 2019-05-31 | 江苏艾萨克机器人股份有限公司 | 基于视觉的协作机器人安全控制方法 |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104722926B (zh) | 一种机器人三维激光自动切割系统方法 | |
| Lukač | The fourth ICT-based industrial revolution" Industry 4.0"—HMI and the case of CAE/CAD innovation with EPLAN P8 | |
| Rojas et al. | A variational approach to minimum-jerk trajectories for psychological safety in collaborative assembly stations | |
| US8942850B2 (en) | Method and system for assisting in the handling of robotized machines in a congested environment | |
| US9643318B2 (en) | Teleoperation of machines having at least one actuated mechanism | |
| US20170274528A1 (en) | Robot system that controls robot including multiple mechanical units, the mechanical units, and robot control device | |
| Landi et al. | Safety barrier functions for human-robot interaction with industrial manipulators | |
| Zanchettin et al. | Towards an optimal avoidance strategy for collaborative robots | |
| CN104785958B (zh) | 一种低温罐外件机器人焊接工作站 | |
| Tsarouchi et al. | ROS based coordination of human robot cooperative assembly tasks-An industrial case study | |
| CN105643607A (zh) | 一种具备感知和认知能力的智能工业机器人 | |
| CN104759736A (zh) | 集装箱波纹板焊接机器人及其视觉伺服控制系统 | |
| CN103612262B (zh) | 一种热室环境下靶体遥控自动维护装置及其维护方法 | |
| CN105128012A (zh) | 一种开放式智能服务机器人系统及其多种控制方法 | |
| CN109202958B (zh) | 一种复合机器人视觉抓取平台 | |
| CN111367284A (zh) | 一种搬运机器人的移动控制方法、系统及相关组件 | |
| CN114407015A (zh) | 一种基于数字孪生的遥操作机器人在线示教系统及方法 | |
| CN117260100B (zh) | 一种变电站电力设备铁附件智能定位焊接系统 | |
| JP6478771B2 (ja) | 産業用ロボットの回避軌道生成装置および回避軌道生成方法 | |
| JP2018075679A (ja) | 協働動作領域を有するロボットシステム | |
| CN203636184U (zh) | 集装箱波纹板焊接机器人及其视觉伺服控制系统 | |
| Glogowski et al. | Robot speed adaption in multiple trajectory planning and integration in a simulation tool for human-robot interaction | |
| CN112775962A (zh) | 用于确定安全区域的方法、机器人系统和计算机程序 | |
| CN111331608A (zh) | 一种基于立体视觉的机器人主动避障规划方法 | |
| Pereira et al. | Improving efficiency of human-robot coexistence while guaranteeing safety: Theory and user study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200626 |
|
| RJ01 | Rejection of invention patent application after publication |