CN116038684A - 一种基于视觉的机器人碰撞预警方法 - Google Patents

一种基于视觉的机器人碰撞预警方法 Download PDF

Info

Publication number
CN116038684A
CN116038684A CN202211101086.8A CN202211101086A CN116038684A CN 116038684 A CN116038684 A CN 116038684A CN 202211101086 A CN202211101086 A CN 202211101086A CN 116038684 A CN116038684 A CN 116038684A
Authority
CN
China
Prior art keywords
robot
obstacle
collision
vision
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211101086.8A
Other languages
English (en)
Inventor
张冶
粟华
史婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Estun Automation Co Ltd
Nanjing Estun Robotics Co Ltd
Original Assignee
Nanjing Estun Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Estun Robotics Co Ltd filed Critical Nanjing Estun Robotics Co Ltd
Priority to CN202211101086.8A priority Critical patent/CN116038684A/zh
Publication of CN116038684A publication Critical patent/CN116038684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提出了一种基于视觉的机器人碰撞预警方法,涉及机器人控制方法领域。根据不同安全等级,机器人进行相应的不同动作,从而避免机器人与周围的物体或人的直接接触,达到安全保护的目的。判断是否有障碍物;定位任意三个连续等时间间隔的障碍物位置和高度;建立障碍物时间运动轨迹模型以及原地运动模型;预测障碍物下一时刻运动轨迹位置信息;设定自适应安全阈值碰撞预警规则;根据规则判断是否需要预警,以及是否需要报警;重复上述步骤,在线实时更新障碍物时间轨迹模型和原地运动模型,直至机器人工作结束。可以用于工厂、展馆、实验室等使用工业机器人或服务机器人的场所,具有安全、高效、精准识别的特点。

Description

一种基于视觉的机器人碰撞预警方法
技术领域
本发明涉及机器人控制方法领域。
背景技术
随着科技的快速发展,机器人(工业机器人、服务型机器人等)的应用已经越来越普遍。机器人基本是按照事先编译好的程序沿着对应的轨迹在运行,然而并不能感知和发现周围运动的物体。机器人在运动过程中,时常会有人或者其他设备在机器人周边作业,如果周边人或物进入到机器人的工作区域内,机器人会与之发生碰撞,造成人员或者设备受到伤害,为了避免这一问题的产生,需要在机器人周边安装上围栏。
公告号为“CN205651378U”、名称为“一种机器人碰撞检测系统”的中国使用新型专利中通过电容感应原理实现碰撞开关检测;公开号为“CN104985598A”、名为“一种工业机器人碰撞检测方法”的中国发明专利申请中通过计算关节理论力矩值与关节实际采样力矩值之间的差值,当力矩差超出一定阈值时则视为碰撞。以上两种专利均是通过外部传感器感知的方式判断机器人与物体或人是否接触,但是该方式的缺点是机器人只有碰到物体或人后,才能感知并停止运动。如果机器人末端是尖锐工件而碰撞物体是柔性物体或人时,不可避免的会造成伤害,影响机器人作业和人身、财产安全。因此,机器人作业过程中,如何预防机器人与人或物发生碰撞对机器人工业应用尤为重要。
公告号为“CN109746942B”、名为“机器人、运动控制系统以及机器人防碰撞方法”的中国发明专利中提出通过测距传感器测量机器人与邻近物体的间隔距离,据此判断机器人与邻近物体之间的危险程度,设置多级阈值进行安全预警。该专利需要额外配置测距传感器,增加硬件成本,且依赖于人为经验设置阈值。公开号为“CN113568407A”、名为“一种基于深度视觉的人机协作安全预警及系统”的中国发明专利申请中提出一种基于深度视觉的人机协作安全预警方法及系统,利用Yolov5模型实时处理机器人生产环境区域的图像,定位和标记图像中的行人,并计算所有行人与机器人的相对距离,与设定的安全防护等级距离进行比较,发出不同等级的预警信号。该专利无需外置测距传感器,采用深度学习训练模型定位行人,将检测框的中心点视为人的位置,即认为人是一个质点,未考虑人自身活动范围,同样地,依赖人为经验设置安全阈值。
发明内容
本发明针对以上问题,提出了一种基于视觉的机器人碰撞预警系统,通过视觉系统定位机器人周围的人或物等运动障碍物,分别建立障碍物的时间运动轨迹模型和原地运动轨迹模型,在线实时更新模型,自适应多级安全预警阈值,多维度实时判断机器人与周边物体或人是否将要(或可能)发生碰撞,根据不同安全等级,机器进行相应的不同动作,从而避免机器人与物体或人的直接接触,达到安全保护的目的。
本发明的技术方案为:按以下步骤进行预警:
步骤1、通过多个视觉传感器监测机器人周围环境,并判断是否有障碍物;
是则进入下一步,否则保持机器人常速运动;
步骤2、定位任意三个连续等时间间隔的障碍物位置和高度;
步骤3、建立障碍物时间运动轨迹模型以及原地运动模型;
步骤4、预测障碍物下一时刻运动轨迹位置信息;
步骤5、设定自适应安全阈值碰撞预警规则;
步骤6、根据步骤5的规则判断是否需要预警,以及是否需要报警;
需要报警则控制机器人停止运动;
需要预警则控制机器人减速运动;
无需预警及报警,则保持机器人常速运动;
重复上述步骤,在线实时更新障碍物时间轨迹模型和原地运动模型,直至机器人工作结束。
所述机器人碰撞预警方法基于机器人碰撞预警系统来实现,所述机器人碰撞预警系统包括机器人1、机器人控制系统2、视觉系统4以及多个视觉传感器3,所述机器人1连接机器人控制系统2,并在机器人控制系统2的控制下动作;
多个视觉传感器3连接视觉系统4,所述视觉系统4与机器人控制系统2也保持数据交互,通过视觉系统4按步骤1-步骤6对是否需要预警,以及是否需要报警进行判断,然后反馈给机器人控制系统2对机器人1进行相应的控制。
进一步的,步骤2中视觉检测系统获取物体或人的任意三个连续等时间间隔时刻的中心位置,位置信息分别记为pt-2(xt-2,yt-2,zt-2),pt-1(xt-1,yt-1,zt-1),pt(xt,yt,zt),t≥2;并获取物体或人的任意三个连续等时间间隔时刻的高度ht-2,ht-1,ht(t≥2);
进一步的,步骤3对上述步骤2获得的连续三个位置点pt-2、pt-1、pt进行圆拟合,得到物体或人当前时刻t的运动轨迹半径Rt和中心点Pt(Xt,Yt,Zt);
若pt-2、pt-1、pt不共线,分别计算出时间运动轨迹中心点Pt与障碍物t-2和t时刻位置pt-2、pt的角度,即
Figure BDA0003840427830000031
Figure BDA0003840427830000032
对应的角度θt-2、θttt-2);
假设连续三个时刻障碍物为匀速运动,根据上述拟合圆结果和三个点位置,估算出障碍物的运动速度
Figure BDA0003840427830000033
记录障碍物时间运动轨迹模型,记作
Figure BDA0003840427830000034
步骤4根据障碍物时间运动轨迹模型
Figure BDA0003840427830000035
估算障碍物下一时刻的位置
Figure BDA0003840427830000036
若pt-2、pt-1、pt共线,障碍物时间轨迹模型近似为Rt无穷大的圆,运动速度
Figure BDA0003840427830000037
则下一时刻的预测位置
Figure BDA0003840427830000038
进一步的,步骤3建立原地运动模型时,将障碍物视为以当前位置pt为中心,半径为r的球体,其中活动半径
Figure BDA0003840427830000039
记录障碍物原地运动模型,记作mt(pt,r)。
进一步的,步骤5按以下步骤设定自适应安全阈值碰撞预警规则;
获取当前时刻机器人末端的坐标
Figure BDA00038404278300000310
计算当前时刻机器人和障碍物的相对距离
Figure BDA00038404278300000311
与运动轨迹中心的相对距离
Figure BDA00038404278300000312
其中,
Figure BDA00038404278300000313
Figure BDA00038404278300000314
计算当前时刻机器人末端
Figure BDA00038404278300000315
与障碍物时间运动轨迹中心Pt的角度,即
Figure BDA00038404278300000316
对应的角度
Figure BDA00038404278300000317
根据上述
Figure BDA0003840427830000041
mt(pt,r)、
Figure BDA00038404278300000417
dt和Dt结果,设置碰撞安全预警规则,自适应多级阈值,作为机器人下一个动作的依据;
然后按照pt-2、pt-1、pt是否共线,以及障碍物只有原地运动或者静止,自适应安全阈值碰撞预警规则。
进一步的,若pt-2、pt-1、pt不共线,则设定以下规则:
Figure BDA0003840427830000043
时,则机器人正常运行,无预警和报警;
Figure BDA0003840427830000044
时,且dt>r,进一步判断
Figure BDA0003840427830000045
是否在
Figure BDA0003840427830000046
范围内:若
Figure BDA0003840427830000047
触发碰撞预警信号,机器人作减速运动;
反之,若
Figure BDA0003840427830000048
机器人作正常运动,无预警和报警信号;
Figure BDA0003840427830000049
时,且dt≤r,触发碰撞报警信号,机器人停止运动;
Figure BDA00038404278300000410
时,触发碰撞报警信号,机器人停止运动。
进一步的,若pt-2、pt-1、pt共线,则设定以下规则:
当dt>r时,进一步判断判断
Figure BDA00038404278300000411
是否在pt
Figure BDA00038404278300000412
线段上:若
Figure BDA00038404278300000413
则下一时刻可能发生碰撞,触发碰撞预警信号,机器人作减速运动;
反之,若
Figure BDA00038404278300000414
则机器人作正常运动。
当dt≤r时,触发碰撞报警信号,机器人停止运动。
进一步的,若pt-2、pt-1、pt共点,障碍物只有原地运动或者静止,此时,时间轨迹模型为Rt=0的圆,Pt=pt,Rt=0,
Figure BDA00038404278300000415
Dt=dt,则下一时刻的预测位置
Figure BDA00038404278300000416
碰撞预警规则简化为:当dt>r时,则机器人正常运行;当dt≤r时,机器人在障碍物原地运动范围内,触发碰撞报警信号,机器人停止运动。
本发明优点:
一、本发明建立机器人周边障碍物的时间运动轨迹模型,自适应设置多级安全阈值,同时在线实时更新,无需依赖人为经验,更具科学依据;
二、本发明近似建立机器人周边障碍物的原地运动模型,障碍物不再视为一个质点,碰撞预警结果更精准和安全;
三、本发明采用视觉系统定位机器人和其周边障碍物的位置,计算二者的相对距离,无需外置测距传感器,节省了硬件成本。
四、本发明提出的基于视觉的碰撞预警系统,在保证安全生产的前提下,使得机器人的工作效率达到更优。
本发明可以用于工厂、展馆、实验室等使用工业机器人或服务机器人的场所,具有安全、高效、精准识别的特点。
附图说明
图1是本案中视觉监视预警系统的示意图;
图2是本案的工作流程图;
图3是本案中障碍物时间运动轨迹模型和原地运动模型示意图;
图4是本案中自适应多级安全阈值碰撞规则示意图;
图中1是机器人,2是机器人控制系统,3是视觉传感器,4是视觉系统。
具体实施方式
为能清楚说明本专利的技术特点,下面通过具体实施方式,并结合其附图,对本专利进行详细阐述。
本发明中的视觉监视安全预警系统如图1所示,包括机器人1、机器人控制系统2、视觉传感器3、视觉系统4,组成整个安全预警系统。通过视觉传感器3实时监测机器人1的动作区域,并采集机器人1动作区域内障碍物和机器人1的图像信息,然后通过有线或无线的方式传送给视觉系统4,识别机器人运动区域内是否有运动物体或人的存在,若有,进一步分析判断机器人1和对象物体是否将要发生碰撞,自适应设置安全阈值,产生多级预警信号,根据不同的安全预警信号,机器人控制器2发送不同指令给机器人使其放慢动作速度或停止,从而避免了机器人和运动物体或人的直接接触,直至该运动物体或人运动至机器人的安全运动范围,控制器2将发送信号给机器人1让其恢复运动。
基于视觉的机器人碰撞预警系统按以下方法工作,所述方法包含以下步骤,如图2所示。
关于障碍物识别定位;
如图1所示,机器人运动区域内架设至少一台视觉传感器,视觉系统识别是否有物体或人进入到机器人动作区域内,如果否,机器人常速运动。如果是,则进一步分析。
具体来说:视觉系统先对机器人周围环境建模,若有人或物体进入机器人动作区域内,视觉系统则会检测到周围环境异常。
关于障碍物时间运动轨迹模型建立与位置预测;
当视觉传感器监视到机器人运动范围内有运动的物体或人时,视觉检测系统获取物体或人的任意三个连续等时间间隔时刻的位置(障碍物中心位置),且三个位置不共线,位置信息分别记为pt-2(xt-2,yt-2,zt-2),pt-1(xt-1,yt-1,zt-1),pt(xt,yt,zt),t≥2;
根据上述步骤获得的连续三个位置点pt-2、pt-1、pt进行圆拟合,得到物体或人当前时刻t的运动轨迹半径Rt和中心点Pt(Xt,Yt,Zt);
分别计算出时间运动轨迹中心点Pt与障碍物t-2和t时刻位置pt-2、pt的角度,即
Figure BDA0003840427830000061
Figure BDA0003840427830000062
对应的角度θt-2、θttt-2);
假设连续三个时刻障碍物为匀速运动,根据上述拟合圆结果和三个点位置,估算出障碍物的运动速度
Figure BDA0003840427830000063
根据上述步骤结果,记录障碍物时间运动轨迹模型,记作
Figure BDA0003840427830000064
如图3所示;
根据障碍物时间运动轨迹模型
Figure BDA0003840427830000065
可估算障碍物下一时刻的位置
Figure BDA0003840427830000066
计算出时间运动轨迹中心点Pt与障碍物t+1时刻预测位置
Figure BDA0003840427830000067
的角度,即
Figure BDA0003840427830000068
对应的角度
Figure BDA0003840427830000069
关于障碍物原地运动模型建立;
视觉检测系统获取物体或人的任意三个连续等时间间隔时刻的高度ht-2,ht-1,ht(t≥2);
将障碍物视为以当前位置pt为中心,半径为r的球体,其中活动半径
Figure BDA0003840427830000071
只需初始化计算一次;
根据上述步骤,记录障碍物原地运动模型,记作mt(pt,r),如图3所示。
关于自适应安全阈值碰撞预警规则;根据设置的规则,控制系统判定后将发送不同的指令使机器人进行不同的动作,即正常运动、减速运动、停止运动,同时,若产生报警和预警信号,可显示在机器人控制系统的示教器上。
获取当前时刻机器人末端的坐标
Figure BDA0003840427830000072
计算当前时刻机器人和障碍物的相对距离
Figure BDA0003840427830000073
与运动轨迹中心的相对距离
Figure BDA0003840427830000074
其中,
Figure BDA0003840427830000075
Figure BDA0003840427830000076
计算当前时刻机器人末端
Figure BDA0003840427830000077
与障碍物时间运动轨迹中心Pt的角度,即
Figure BDA0003840427830000078
对应的角度
Figure BDA0003840427830000079
根据上述
Figure BDA00038404278300000710
mt(pt,r)、
Figure BDA00038404278300000720
dt和Dt结果,如图4所示,设置碰撞安全预警规则,自适应多级阈值,作为机器人下一个动作的依据,具体如下:
Figure BDA00038404278300000712
时,机器人位于障碍物运动轨迹之外,则机器人正常运行,无预警和报警信号;
Figure BDA00038404278300000713
时,且dt>r,当前机器人位置
Figure BDA00038404278300000714
与障碍物无碰撞,进一步判断障碍物从当前位置pt(xt,yt,zt)运动到下一时刻预测位置
Figure BDA00038404278300000715
过程中是否会发生碰撞,即判断
Figure BDA00038404278300000716
是否在
Figure BDA00038404278300000717
范围内:若
Figure BDA00038404278300000718
障碍物当前正在靠近机器人,且下一时刻的预测轨迹位置
Figure BDA00038404278300000719
经过当前机器人位置
Figure BDA0003840427830000081
则下一时刻可能发生碰撞,触发碰撞预警信号,机器人作减速运动;
反之,若
Figure BDA0003840427830000082
即当前障碍物正在靠近机器人且下一时刻的预测轨迹位置
Figure BDA0003840427830000083
不经过当前机器人位置
Figure BDA0003840427830000084
或者当前障碍物正在向远离机器人方向运动,则机器人在下一时刻不会与障碍物发生碰撞,机器人作正常运动,无预警和报警信号;
Figure BDA0003840427830000085
时,且dt≤r,机器人在障碍物原地运动范围内,触发碰撞报警信号,机器人停止运动;
Figure BDA0003840427830000086
时,机器人在障碍物运动轨迹之内,触发碰撞报警信号,机器人停止运动。
重复上述所有步骤,在线实时更新障碍物时间轨迹模型和原地运动模型,自适应安全阈值,实现机器人碰撞预警。
值得注意的是,上述方法同样适用于pt-2、pt-1、pt共线、只有原地运动或静止的障碍物,上述时间轨迹模型和碰撞预警规则可进一步简化:
若pt-2、pt-1、pt共线,障碍物时间轨迹模型近似为Rt无穷大的圆,运动速度
Figure BDA0003840427830000087
则下一时刻的预测位置
Figure BDA0003840427830000088
碰撞预警规则简化为:
当dt>r时,当前机器人位置
Figure BDA0003840427830000089
与障碍物无碰撞,进一步判断障碍物从当前位置pt(xt,yt,zt)运动到下一时刻预测位置
Figure BDA00038404278300000810
过程中是否会发生碰撞,即判断
Figure BDA00038404278300000811
是否在pt
Figure BDA00038404278300000812
线段上:若
Figure BDA00038404278300000813
障碍物当前正在靠近机器人,且下一时刻的预测轨迹位置
Figure BDA00038404278300000814
经过当前机器人位置
Figure BDA00038404278300000815
则下一时刻可能发生碰撞,触发碰撞预警信号,机器人作减速运动;
反之,若
Figure BDA00038404278300000816
即当前障碍物正在靠近机器人且下一时刻的预测轨迹位置
Figure BDA00038404278300000817
不经过当前机器人位置
Figure BDA00038404278300000818
或者当前障碍物正在向远离机器人方向运动,则机器人在下一时刻不会与障碍物发生碰撞,机器人作正常运动。
当dt≤r时,机器人在障碍物原地运动范围内,触发碰撞报警信号,机器人停止运动。
若pt-2、pt-1、pt共点,障碍物只有原地运动或者静止,此时,时间轨迹模型为Rt=0的圆,Pt=pt,Rt=0,
Figure BDA0003840427830000091
Dt=dt,则下一时刻的预测位置
Figure BDA0003840427830000092
碰撞预警规则简化为:
当dt>r时,机器人在障碍物原地运动范围外,机器人位于障碍物运动轨迹之外,则机器人正常运行;
当dt≤r时,机器人在障碍物原地运动范围内,触发碰撞报警信号,机器人停止运动。
重复上述所有步骤,在线实时更新障碍物时间轨迹模型和原地运动模型,自适应安全阈值,实现机器人碰撞预警。
本发明具体实施途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。

Claims (9)

1.一种基于视觉的机器人碰撞预警方法,其特征在于,按以下步骤进行预警:
步骤1、通过多个视觉传感器监测机器人周围环境,并判断是否有障碍物;
是则进入下一步,否则保持机器人常速运动;
步骤2、定位任意三个连续等时间间隔的障碍物位置和高度;
步骤3、建立障碍物时间运动轨迹模型以及原地运动模型;
步骤4、预测障碍物下一时刻运动轨迹位置信息;
步骤5、设定自适应安全阈值碰撞预警规则;
步骤6、根据步骤5的规则判断是否需要预警,以及是否需要报警;
需要报警则控制机器人停止运动;
需要预警则控制机器人减速运动;
无需预警及报警,则保持机器人常速运动;
重复上述步骤,在线实时更新障碍物时间轨迹模型和原地运动模型,直至机器人工作结束。
2.根据权利要求1所述的一种基于视觉的机器人碰撞预警方法,其特征在于,所述机器人碰撞预警方法基于机器人碰撞预警系统来实现,所述机器人碰撞预警系统包括机器人(1)、机器人控制系统(2)、视觉系统(4)以及多个视觉传感器(3),所述机器人(1)连接机器人控制系统(2),并在机器人控制系统(2)的控制下动作;
多个视觉传感器(3)连接视觉系统(4),所述视觉系统(4)与机器人控制系统(2)也保持数据交互,通过视觉系统(4)按步骤1-步骤6对是否需要预警,以及是否需要报警进行判断,然后反馈给机器人控制系统(2)对机器人(1)进行控制。
3.根据权利要求1所述的一种基于视觉的机器人碰撞预警方法,其特征在于,步骤2中视觉检测系统获取物体或人的任意三个连续等时间间隔时刻的中心位置,位置信息分别记为pt-2(xt-2,yt-2,zt-2),pt-1(xt-1,yt-1,zt-1),pt(xt,yt,zt),t≥2;并获取物体或人的任意三个连续等时间间隔时刻的高度ht-2,ht-1,ht(t≥2)。
4.根据权利要求3所述的一种基于视觉的机器人碰撞预警方法,其特征在于,步骤3对上述步骤2获得的连续三个位置点pt-2、pt-1、pt进行圆拟合,得到物体或人当前时刻t的运动轨迹半径Rt和中心点Pt(Xt,Yt,Zt);
若pt-2、pt-1、pt不共线,分别计算出时间运动轨迹中心点Pt与障碍物t-2和t时刻位置pt-2、pt的角度,即对应的角度θt-2、θttt-2);
假设连续三个时刻障碍物为匀速运动,根据上述拟合圆结果和三个点位置,估算出障碍物的运动速度
记录障碍物时间运动轨迹模型,记作
步骤4根据障碍物时间运动轨迹模型估算障碍物下一时刻的位置
若pt-2、pt-1、pt共线,障碍物时间轨迹模型近似为Rt无穷大的圆,运动速度则下一时刻的预测位置
5.根据权利要求4所述的一种基于视觉的机器人碰撞预警方法,其特征在于,步骤3建立原地运动模型时,将障碍物视为以当前位置pt为中心,半径为r的球体,其中活动半径记录障碍物原地运动模型,记作mt(pt,r)。
6.根据权利要求5所述的一种基于视觉的机器人碰撞预警方法,其特征在于,步骤5按以下步骤设定自适应安全阈值碰撞预警规则;
获取当前时刻机器人末端的坐标
计算当前时刻机器人和障碍物的相对距离与运动轨迹中心的相对距离
其中,
计算当前时刻机器人末端与障碍物时间运动轨迹中心Pt的角度,即对应的角度
根据上述mt(pt,r)
dt和Dt结果,设置碰撞安全预警规则,自适应多级阈值,作为机器人下一个动作的依据;
然后按照pt-2、pt-1、pt是否共线,以及障碍物只有原地运动或者静止,自适应安全阈值碰撞预警规则。
7.根据权利要求6所述的一种基于视觉的机器人碰撞预警方法,其特征在于,若pt-2、pt-1、pt不共线,则设定以下规则:
时,则机器人正常运行,无预警和报警信号;
时,且dt>r,进一步判断是否在范围内:若触发碰撞预警信号,机器人作减速运动;
反之,若机器人作正常运动,无预警和报警信号;
时,且dt≤r,触发碰撞报警信号,机器人停止运动;
时,触发碰撞报警信号,机器人停止运动。
8.根据权利要求6所述的一种基于视觉的机器人碰撞预警方法,其特征在于,若pt-2、pt-1、pt共线,则设定以下规则:
当dt>r时,进一步判断判断是否在pt线段上:若则下一时刻可能发生碰撞,触发碰撞预警,机器人作减速运动;
反之,若则机器人作正常运动。
当dt≤r时,触发碰撞报警信号,机器人停止运动。
9.根据权利要求6所述的一种基于视觉的机器人碰撞预警方法,其特征在于,若pt-2、pt-1、pt共点,障碍物只有原地运动或者静止,此时,时间轨迹模型为Rt=0的圆,则下一时刻的预测位置碰撞预警规则简化为:当dt>r时,则机器人正常运行;当dt≤r时,机器人在障碍物原地运动范围内,触发碰撞报警信号,机器人停止运动。
CN202211101086.8A 2022-09-09 2022-09-09 一种基于视觉的机器人碰撞预警方法 Pending CN116038684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211101086.8A CN116038684A (zh) 2022-09-09 2022-09-09 一种基于视觉的机器人碰撞预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211101086.8A CN116038684A (zh) 2022-09-09 2022-09-09 一种基于视觉的机器人碰撞预警方法

Publications (1)

Publication Number Publication Date
CN116038684A true CN116038684A (zh) 2023-05-02

Family

ID=86112079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211101086.8A Pending CN116038684A (zh) 2022-09-09 2022-09-09 一种基于视觉的机器人碰撞预警方法

Country Status (1)

Country Link
CN (1) CN116038684A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117226843A (zh) * 2023-09-27 2023-12-15 盐城工学院 一种基于视觉伺服的机器人移动轨迹控制方法及系统
CN117697760A (zh) * 2024-01-03 2024-03-15 佛山科学技术学院 一种机器人安全运动控制方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117226843A (zh) * 2023-09-27 2023-12-15 盐城工学院 一种基于视觉伺服的机器人移动轨迹控制方法及系统
CN117226843B (zh) * 2023-09-27 2024-02-27 盐城工学院 一种基于视觉伺服的机器人移动轨迹控制方法及系统
CN117697760A (zh) * 2024-01-03 2024-03-15 佛山科学技术学院 一种机器人安全运动控制方法及系统
CN117697760B (zh) * 2024-01-03 2024-05-28 佛山科学技术学院 一种机器人安全运动控制方法及系统

Similar Documents

Publication Publication Date Title
CN116038684A (zh) 一种基于视觉的机器人碰撞预警方法
CN108958263A (zh) 一种机器人避障方法及机器人
CN102323822B (zh) 一种避免工业机器人碰撞工人的方法
CN106325280A (zh) 一种多机器人防碰撞方法及系统
JP2021500668A (ja) 監視装置、産業用設備、監視方法及びコンピュータプログラム
CN106003043A (zh) 机械臂的避障方法及避障系统
JP2009545457A (ja) 機械の衝突防止のためのカメラを利用した監視方法及び装置
EP3826948B1 (en) Pedestrian-vehicle safety systems for loading docks
CN102099614A (zh) 防备机器人危险事件的人安全保护系统
CN108028017A (zh) 用于在机动车的驾驶员辅助系统中区分真实障碍物和虚假障碍物的方法
CN114634112A (zh) 基于ai视觉和uwb技术起重机起吊区域的人员防撞系统
CN112347876A (zh) 一种基于tof摄像头的障碍物识别方法、清洁机器人
JP2022548009A (ja) 物体移動システム
NO342011B1 (en) Tunnel monitoring system and method of operation
CN114187676A (zh) 一种巡检方法、装置、设备、系统和存储介质
KR102140195B1 (ko) 레이더를 이용한 야생동물 침입 탐지 방법 및 그 시스템
WO2022211793A1 (en) Control systems for automatic barriers
CN113467468B (zh) 一种基于嵌入式的机器人智能避障系统及方法
KR101238788B1 (ko) 엘리베이터 방범시스템 및 방법
CN111427354A (zh) 一种基于Kinect的安防巡检AGV小车
CN207352464U (zh) 一种智能机器人的碰撞感应系统
KR102510022B1 (ko) 레이더 센서 기반의 터널 내 상황 인식을 위한 장치 및 방법
CN114879273A (zh) 洁净室环境检测装置移动搭载平台控制系统及方法
Bostelman et al. Development of standard test methods for unmanned and manned industrial vehicles used near humans
JP5445319B2 (ja) 移動体検出プログラムおよび移動体検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231215

Address after: No. 178 Yanhu Road, Jiangning Economic and Technological Development Zone, Nanjing City, Jiangsu Province, 211151

Applicant after: NANJING ESTUN ROBOTICS Co.,Ltd.

Applicant after: NANJING ESTUN AUTOMATION Co.

Address before: 210000 Yanhu Road, Jiangning Economic and Technological Development Zone, Nanjing, Jiangsu Province, No. 178

Applicant before: NANJING ESTUN ROBOTICS Co.,Ltd.