CN113001536B - 一种面向协作多机器人的防碰撞检测方法及装置 - Google Patents

一种面向协作多机器人的防碰撞检测方法及装置 Download PDF

Info

Publication number
CN113001536B
CN113001536B CN201911323410.9A CN201911323410A CN113001536B CN 113001536 B CN113001536 B CN 113001536B CN 201911323410 A CN201911323410 A CN 201911323410A CN 113001536 B CN113001536 B CN 113001536B
Authority
CN
China
Prior art keywords
collision
robot
cooperative
control module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911323410.9A
Other languages
English (en)
Other versions
CN113001536A (zh
Inventor
尹震宇
马跃
郭锐锋
杨东升
陈玄一
邢健
樊超
李明时
李秋霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Computing Technology of CAS
Original Assignee
Shenyang Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Computing Technology of CAS filed Critical Shenyang Institute of Computing Technology of CAS
Priority to CN201911323410.9A priority Critical patent/CN113001536B/zh
Publication of CN113001536A publication Critical patent/CN113001536A/zh
Application granted granted Critical
Publication of CN113001536B publication Critical patent/CN113001536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明设计了一种面向协作多机器人的防碰撞检测方法及装置，装置包括多区域图像采集模块、防碰撞预测模块和防碰撞控制模块。方法包括防碰撞控制模块控制设置在工作区域的多个单目摄像头进行分区域图像采集，防碰撞预测模块通过图像处理单元和防碰撞分析单元进行碰撞预测，并将处理结果传递至防碰撞控制模块构成反馈回路，防碰撞控制模块根据协作多机器人部件间的实际最短距离判断是否低于安全临界值，通过急停信号停止机器人的运行，从而保证设备的安全。本发明建立了协作多机器人不同运动时刻不同位置的碰撞检测，可以灵活根据机器人设备系统的不同运动路径，进行相应的硬件安装及碰撞检测，具有较强的灵活性和适应性。

Description

一种面向协作多机器人的防碰撞检测方法及装置
技术领域
本发明属于工业机器人领域，具体的说是一种面向协作多机器人的多目视觉防碰撞检测装置及方法，应用于工业上协作多机器人的防碰撞检测。
背景技术
多机器人协作是目前工业机器人领域发展的一个重要方向，它能有效提高机器人的工作效率。与此同时，多机器人协作时机器人部件间的碰撞问题越来越重要，严重影响机器人工作时的安全性。因此，实时检测多机器人协作时部件间碰撞的发生对于整个机器人系统的安全具有非常重要的意义。
如何在多机器人协作加工过程中实时检测设备间将要发生的碰撞，并采取相应的有效措施是非常重要的问题。
在机器人领域中，机器人运行过程中的实时碰撞检测主要包括三种方法。第一种方法是通过机器人自身传感器估计出机器人各关节的位置信息。该方法由于存在机器人运动振动会导致计算结果不够准确，同时该方法由机器人内部传感器进行数据传输，传输和计算过程缓慢导致实时性较差。第二种方法是采用距离传感器。距离传感器成本较高，且安装位置较为严格。由于多机器人协作时部件间运动极为复杂，需要安装的距离传感器数量较多，从而导致成本高昂。第三种方法是建立多维视觉系统计算出机器人末端位置信息。此方法在协作多机器人设备系统中并不适用。主要原因是协作多机器人的碰撞需要检测多机器人各个部件间的碰撞，而各个部件在空间中的运动极其复杂。多维视觉系统固定安装后，也只能实现部件在某些固定姿态下的碰撞检测。同时协作多机器人工作范围较大，普通的多维度安装摄像头，视野范围仍然较小，无法达到对协作多机器人在较大区域进行工作时的碰撞检测。
发明内容
根据上述提出的技术问题，提出一种面向协作多机器人的防碰撞检测方法及装置，用于解决现有的碰撞检测方法中采用机器人内部传感器计算不准确、实时性较差的缺点，同时也克服了采用距离传感器导致的成本过高的缺点，并且解决了现有多维视觉系统在协作多机器人的碰撞检测中视野范围较小的问题。
本发明采用的技术手段如下：
一种面向协作多机器人的防碰撞检测装置，包括：多区域图像采集模块、防碰撞预测模块和防碰撞控制模块；所述多区域图像采集模块接收防碰撞控制模块的控制信号，采集协作多机器人设备在工作区域的原始图像，再输出至防碰撞预测模块进行数据处理，得到碰撞预测结果反馈给控制模块用于协作多机器人设备的急停控制。
所述防碰撞预测模块和防碰撞控制模块是采用RISC处理器实现的。
所述多区域图像采集模块包括设置在工作区域的采集支架和安装在其上的多个单目摄像头，用于协作多机器人在工作区域工作时部件间位置信息的分区域获取。
在协作多机器人工作区域内容易发生部件间碰撞的位置上分别安装单目摄像头，使得每个摄像头分别采集预设区域内的图像。
所述摄像头的安装位置和角度应调整至使得所采集的图像中空间内协作多机器人部件间最短距离所在直线与相机投影平面平行，所述最短距离为机器人执行预先设定运动轨迹下，读取机器人内部的位姿信息计算得出的。
所述防碰撞预测模块包括图像处理单元和防碰撞分析单元；
图像处理单元是采用RISC处理器的矩阵运算单元对接收的图像数据进行处理，获取协作多机器人部件间的图像最短距离；
防碰撞分析单元将获取的部件间图像最短距离转换为实际的最短物理距离并与预设阈值区间比较，获取碰撞检测结果反馈至控制模块。
所述防碰撞控制模块包括采集控制电路和急停控制电路，采集控制电路结合协作多机器人的运动时序控制各个单目摄像头采集图像，急停控制电路结合碰撞检测反馈结果输出指令给协作多机器人。
一种面向协作多机器人的防碰撞检测方法，包括以下步骤：
防碰撞控制模块结合协作多机器人的工作时序，通过采集控制电路控制多区域图像采集模块中的单目摄像头按照相应的顺序依次进行图像采集及传输，并在传输完毕后依次停止采集；
防碰撞预测模块根据接收的图像数据，在图像处理单元内进行矩阵运算获取协作多机器人部件间的图像最短距离，并输出至防碰撞分析单元；防碰撞分析单元根据获取的部件间的图像最短距离计算实际的部件间的最短物理距离，并与预设阈值比较，输出反馈结果至防碰撞控制模块；
防碰撞控制模块根据获取到的防碰撞检测结果，通过急停控制电路输出急停指令给协作多机器人用于防碰撞轨迹规划。
所述预设阈值为根据最短距离设置的，最短距离为根据机器人执行预先设定运动轨迹下，读取机器人内部的位姿信息计算得出的。
所述计算实际的部件间的最短物理距离是通过对摄像头预先标定并结合标定的图像尺度计算的。
本发明的有益效果是：
1.本发明建立了协作多机器人不同运动时刻不同位置的碰撞检测，可以灵活根据机器人设备系统的不同运动路径，进行相应的硬件安装及碰撞检测，具有较强的灵活性和适应性。
2.本发明所述的面向协作多机器人的防碰撞检测方法及装置，通过多区域图像采集模块、防碰撞预测模块和防碰撞控制模块，构建起了一套基于机器视觉的防碰撞检测方法及装置，能够实时监测多机器人协作加工工件时部件间的位置信息。同时，当检测到部件间即将发生碰撞时，控制模块将会接收到警示信号，从而采取及时的保护措施，保障了协作多机器人设备系统的安全性。
附图说明
图1为本发明防碰撞检测装置的整体示意图；
图2为本发明的多区域采集支架的结构示意图；
图3为本发明单个摄像头安装示意图；
图4为本发明协作多机器人不同时刻部件相对位置示意图；
图5为本发明防碰撞控制模块中的采集控制电路。
具体实施方式
下面结合附图对本发明做进一步的详细说明。
一种面向协作多机器人的多目视觉防碰撞检测装置，如图1所示，包括：多区域图像采集模块、防碰撞预测模块和防碰撞控制模块。多区域图像采集模块接收防碰撞控制模块的控制信号，负责从协作多机器人设备上采集图像，将采集到的图像数据输入至防碰撞预测模块，根据数据处理结果，反馈给控制模块，进行协作多机器人设备的急停控制。
多区域图像采集模块中，由于协作多机器人在较大的工作区域内会有多个容易发生部件间碰撞的位置，因此在这些位置上需要分别安装单目摄像头，使得每个摄像头分别负责固定区域内的图像采集。如图2所示用一套多区域采集支架对所有摄像头进行固定。
单目摄像头的安装角度如图3所示，摄像头的安装角度应调整至使得所采集的图像中，三维空间内部件间最短距离所在直线与相机所在投影平面平行，即两个部件间的最短距离在图像上的投影最长。其中，最短距离所在位置可以通过读取机器人当前姿态信息计算得出。协作多机器人在三个不同时刻下的相对位置如图4所示，图中三个容易发生碰撞的位置均需要安装单目摄像头，并使用多区域采集支架进行固定。
安装完成后，需要对摄像头进行标定和矫正。计算得出摄像头的内部参数和外部参数，便于在图像识别过程中获取更加准确的位置信息。标定前，需要在部件相应位置固定好上特定标签，采集标签图像，计算出图像与实物之间的比例尺度。
检测系统进行防碰撞检测时，具体步骤如下：
防碰撞控制模块首先需要完成对摄像头采集图像的控制。当协作多机器人运行到图2中的不同位置时，需要控制相应位置的摄像头进行图像采集，并关闭其他位置的摄像头，从而使得图像数据传输效率最大化。如图5所示，为控制模块中的采集控制电路。该电路包含了与逻辑门、非逻辑门和三个相应的时序判断电路等。当达到相应时序时，对应的判断电路输出高电平；碰撞检测结果默认值为低电平，表示没有碰撞发生；此时会控制相应的摄像头进行采集。
防碰撞预测模块中的图像处理单元获取到实时传输的图像数据后，需要在RISC处理器上的矩阵运算单元进行相应的处理，计算出协作多机器人部件间的图像最短距离；防碰撞预测模块中的分析单元将根据图像处理单元的输入进行计算，并将防碰撞检测结果输入至控制模块。由于不同摄像头在不同位置时图像的尺度不同，因此需要提前对图像的尺度进行标定。结合标定好的尺度，根据图像处理单元识别出的图像空间中的距离，计算出相应的物理距离。当防碰撞分析单元计算出的部件间实际最短距离大于或等于设定好的安全临界值时，会传递安全信号至控制模块，表示当前检测结果不会发生碰撞；当计算出的部件间实际最短距离小于设定好的安全临界值时，会传递警示信号至控制模块，表示有发生碰撞的危险；
防碰撞控制模块根据获取到的防碰撞检测结果，传递控制信号至协作多机器人设备系统，当检测结果表明有发生碰撞的危险时，控制信号将会中止协作多机器人的运行，从而避免了潜在的安全隐患。
实验表明，这种协作多机器人防碰撞检测装置利用多区域图像采集模块、防碰撞预测模块和防碰撞控制模块，可以进行协作多机器人在部分易发生碰撞的工作区域进行碰撞前的检测。该方法可以提前根据协作多机器人部件间的位置信息，进行碰撞预测和安全预警。该方法同时建立了协作多机器人不同运动时刻不同位置的碰撞检测，可以灵活根据机器人设备系统的不同运动路径，进行相应的硬件安装及软件检测，具有较强的适应性。
本发明所述的面向协作多机器人的多目视觉防碰撞检测方法及装置，通过多区域图像采集模块、防碰撞预测模块和防碰撞控制模块，构建起了一套基于机器视觉的防碰撞检测装置及方法，能够实时监测多机器人协作加工工件时部件间的位置信息，并将该信息反馈给控制模块。同时，当检测到部件间即将发生碰撞时，控制模块将会接收到警示信号，从而采取及时的保护措施，保障了协作多机器人设备系统的安全性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (6)

1.一种面向协作多机器人的防碰撞检测装置，其特征在于，包括：多区域图像采集模块、防碰撞预测模块和防碰撞控制模块；所述多区域图像采集模块接收防碰撞控制模块的控制信号，采集协作多机器人设备在工作区域的原始图像，再输出至防碰撞预测模块进行数据处理，得到碰撞预测结果反馈给控制模块用于协作多机器人设备的急停控制；
所述多区域图像采集模块包括设置在工作区域的采集支架和安装在其上的多个单目摄像头，用于协作多机器人在工作区域工作时部件间位置信息的分区域获取；
在协作多机器人工作区域内容易发生部件间碰撞的位置上分别安装单目摄像头，使得每个摄像头分别采集预设区域内的图像；
摄像头的安装位置和角度应调整至使得所采集的图像中空间内协作多机器人部件间最短距离所在直线与相机投影平面平行，所述最短距离为机器人执行预先设定运动轨迹下，读取机器人内部的位姿信息计算得出的。
2.根据权利要求1所述的一种面向协作多机器人的防碰撞检测装置 ，其特征在于，所述防碰撞预测模块和防碰撞控制模块是采用RISC处理器实现的。
3.根据权利要求1所述的一种面向协作多机器人的防碰撞检测装置，其特征在于，所述防碰撞预测模块包括图像处理单元和防碰撞分析单元；
图像处理单元是采用RISC处理器的矩阵运算单元对接收的图像数据进行处理，获取协作多机器人部件间的图像最短距离；
防碰撞分析单元将获取的部件间图像最短距离转换为实际的最短物理距离并与预设阈值区间比较，获取碰撞检测结果反馈至控制模块。
4.根据权利要求1所述的一种面向协作多机器人的防碰撞检测装置，其特征在于，所述防碰撞控制模块包括采集控制电路和急停控制电路，采集控制电路结合协作多机器人的运动时序控制各个单目摄像头采集图像，急停控制电路结合碰撞检测反馈结果输出指令给协作多机器人。
5.一种面向协作多机器人的防碰撞检测方法，其特征在于，包括以下步骤：
防碰撞控制模块结合协作多机器人的工作时序，通过采集控制电路控制多区域图像采集模块中的单目摄像头按照相应的顺序依次进行图像采集及传输，并在传输完毕后依次停止采集；
防碰撞预测模块根据接收的图像数据，在图像处理单元内进行矩阵运算获取协作多机器人部件间的图像最短距离，并输出至防碰撞分析单元；防碰撞分析单元根据获取的部件间的图像最短距离计算实际的部件间的最短物理距离，并与预设阈值比较，输出反馈结果至防碰撞控制模块；所述预设阈值为根据最短距离设置的，最短距离为根据机器人执行预先设定运动轨迹下，读取机器人内部的位姿信息计算得出的；
防碰撞控制模块根据获取到的防碰撞检测结果，通过急停控制电路输出急停指令给协作多机器人用于防碰撞轨迹规划。
6.根据权利要求5所述的一种面向协作多机器人的防碰撞检测方法，其特征在于，所述计算实际的部件间的最短物理距离是通过对摄像头预先标定并结合标定的图像尺度计算的。
CN201911323410.9A 2019-12-20 2019-12-20 一种面向协作多机器人的防碰撞检测方法及装置 Active CN113001536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911323410.9A CN113001536B (zh) 2019-12-20 2019-12-20 一种面向协作多机器人的防碰撞检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911323410.9A CN113001536B (zh) 2019-12-20 2019-12-20 一种面向协作多机器人的防碰撞检测方法及装置

Publications (2)

Publication Number Publication Date
CN113001536A CN113001536A (zh) 2021-06-22
CN113001536B true CN113001536B (zh) 2022-08-23

Family

ID=76381951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911323410.9A Active CN113001536B (zh) 2019-12-20 2019-12-20 一种面向协作多机器人的防碰撞检测方法及装置

Country Status (1)

Country Link
CN (1) CN113001536B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276122A (zh) * 2021-06-23 2021-08-20 浙江安防职业技术学院 一种安全检测机器人控制方法及系统
CN113359770B (zh) * 2021-07-06 2023-06-02 南京苏美达智能技术有限公司 自动行走设备间的协同运行控制方法及系统
CN113334392B (zh) * 2021-08-06 2021-11-09 成都博恩思医学机器人有限公司 一种机械臂防碰撞方法、装置、机器人及存储介质
CN113799143B (zh) * 2021-11-18 2022-04-19 广东隆崎机器人有限公司 一种多机器人在工作区域内的安全协作方法及装置
CN114924513B (zh) * 2022-06-07 2023-06-06 中迪机器人(盐城)有限公司 一种多机器人协同控制系统及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4182870B2 (ja) * 2003-12-03 2008-11-19 日本ビクター株式会社 移動ロボット
CN1304178C (zh) * 2004-05-24 2007-03-14 熊勇刚 一种多机械臂机器人关节间的碰撞检测方法
DE102004030144B4 (de) * 2004-06-22 2007-09-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Nahbereichsdetektion um eine Robotereinheit
US8386080B2 (en) * 2009-09-15 2013-02-26 Harris Corporation Robotic apparatus implementing collision avoidance scheme and associated methods
JP5571432B2 (ja) * 2010-03-30 2014-08-13 カール シュトルツ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフト 医療用ロボットシステム
EP3932628A1 (en) * 2012-12-10 2022-01-05 Intuitive Surgical Operations, Inc. Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
US9555545B2 (en) * 2014-05-21 2017-01-31 Bot & Dolly, Llc Systems and methods for time-based parallel robotic operation
CN106289081A (zh) * 2015-06-25 2017-01-04 闽浪仪器科技（厦门）有限公司 一种全自动视觉在线质量检测及分检系统
CN205068153U (zh) * 2015-08-07 2016-03-02 浙江海洋学院 一种基于行走机器人的分布式视觉定位系统
CN105302132A (zh) * 2015-08-07 2016-02-03 浙江海洋学院 一种基于行走机器人的分布式视觉定位系统及方法
CN106325280B (zh) * 2016-10-20 2019-05-31 上海物景智能科技有限公司 一种多机器人防碰撞方法及系统
CN106393144B (zh) * 2016-11-26 2018-09-04 顺德职业技术学院 一种多机器人操作模式下视觉跟踪的方法及系统
CN108801255B (zh) * 2017-05-04 2023-10-27 罗伯特·博世有限公司 用于避免机器人碰撞的方法、装置和系统
CN108527370B (zh) * 2018-04-16 2020-06-02 北京卫星环境工程研究所 基于视觉的人机共融安全防护控制系统
CN108274469B (zh) * 2018-04-23 2020-11-03 东北大学 基于多维视觉传感器的真空机械手防碰撞检测系统的检测方法
CN109894781A (zh) * 2019-04-12 2019-06-18 常熟理工学院 多机器人焊接控制方法及系统
CN110253570B (zh) * 2019-05-27 2020-10-27 浙江工业大学 基于视觉的工业机械臂人机安全系统
CN110303498B (zh) * 2019-07-03 2020-10-09 广东博智林机器人有限公司 搬运系统及其控制方法、地砖铺贴系统

Also Published As

Publication number Publication date
CN113001536A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113001536B (zh) 一种面向协作多机器人的防碰撞检测方法及装置
US10850927B2 (en) Work system, method for executing work on object, and robot
US9122266B2 (en) Camera-based monitoring of machines with mobile machine elements for collision prevention
CN108274469B (zh) 基于多维视觉传感器的真空机械手防碰撞检测系统的检测方法
EP3280976B1 (en) Object position measurement with automotive camera using vehicle motion data
US7505620B2 (en) Method for the monitoring of a monitored zone
US11583951B2 (en) Method for collision avoidance and laser machining tool
US9377778B2 (en) Integration of manufacturing control functions using a multi-functional vision system
KR20190080489A (ko) 로봇 동작 모니터링 시스템 및 그 방법
US11161697B2 (en) Work robot system and work robot
US10796425B1 (en) Imagery-based member deformation gauge
CN210819569U (zh) 基于二维码定位的车底巡检机器人及巡检系统
US11707842B2 (en) Robot system and coordinate conversion method
CN116428984A (zh) 一种五金模具冲压加工智能检测系统
US20190257978A1 (en) Object monitoring device using sensor
CN113247145A (zh) 车辆组装系统和组装车辆的方法
KR100933024B1 (ko) 부재 위치 정보 인식 장치 및 방법
JPH09265316A (ja) プラント設備点検装置およびプラント設備点検システム
US20150066195A1 (en) Method for positioning a tool of a machine tool in the visual field of a visual system and relative machine tool
US20180298756A1 (en) System and method for measuring and aligning roof bolts
US11161239B2 (en) Work robot system and work robot
JP7270389B2 (ja) 火災探査システム
US10469823B2 (en) Image apparatus for detecting abnormality of distance image
KR101702517B1 (ko) 의장품 돌출부 검사 장치
CN113715935A (zh) 一种汽车挡风玻璃自动装配系统及自动装配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant