CN111201115B - 机器人控制方法 - Google Patents

机器人控制方法 Download PDF

Info

Publication number
CN111201115B
CN111201115B CN201880064581.1A CN201880064581A CN111201115B CN 111201115 B CN111201115 B CN 111201115B CN 201880064581 A CN201880064581 A CN 201880064581A CN 111201115 B CN111201115 B CN 111201115B
Authority
CN
China
Prior art keywords
robot
eligible
judged
objects
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880064581.1A
Other languages
English (en)
Other versions
CN111201115A (zh
Inventor
N·莱门特
A·德克
R·罗伯茨
B·马蒂亚斯
J·田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN111201115A publication Critical patent/CN111201115A/zh
Application granted granted Critical
Publication of CN111201115B publication Critical patent/CN111201115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/147Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using electro-magnetic technology, e.g. tags or radar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40203Detect position of operator, create non material barrier to protect operator

Abstract

一种用于控制机器人(1)的方法,包括以下步骤:a)判定(S2)在机器人(1)的邻近区中是否存在非永久性对象(18、19、20);b)如果存在非永久性对象(18、19、20),则判定(S5、S6、S11、S12)对象是否有资格得到延伸保护;以及c)在对象(18、19、20)周围定义安全区域(21),机器人(1)不准进入所述安全区域(21)或在所述安全区域(21)中机器人(1)的最大允许速度小于在所述区域外,其中安全区域(21)在所述对象(18、19、20)有资格得到延伸保护的情况下比在所述对象(18、19、20)没有资格得到延伸保护的情况下从所述对象(18、19、20)延伸到更大的距离。

Description

机器人控制方法
本发明涉及用于控制机器人的方法并且涉及其中使用该方法的机器人系统。
在工业中无论在哪里使用机器人,保护员工免于由于机器人受伤是主要的关注问题。传统上,在机器人周围建造了围栏,其配备有警报器,每当有人打开围栏,所述警报器引起机器人的紧急停止。这样的机器人只能完成根本不要求人的干预的完全自动化、高度重复性任务。机器人与人之间的直接交互是不可能的。
为了使机器人和人能够协同操作而不被围栏分离,要求更加复杂的安全概念。一个这样的概念称为速度和分离监控(SSM),其在ISO/TS 15066:2016-机器人和机器人装置-协作机器人,条款5.5.4中被描述。SSM旨在维持人与机器人之间的距离以及机器人运动速度的特定组合,以便确保机器人工作空间中的人无法触及移动的机器人。为了实现这一点,人的位置必须被确定并且机器人必须相应地调整它的速度和/或轨迹,维持与人的安全距离。
具有检测人的位置所要求的空间分辨率的传感器(诸如视频摄像机或雷达系统)本身不能区分人和非人(特别是无生命的)对象。运动本身并不是准则,因为在传感器的检测范围内新出现的任何对象只能够通过移动或通过已经被移动而到达那里。然而,如果由传感器检测到的任何对象被指派对于人来说将合适的安全距离,那么人与机器人之间的交互仍将是实际上不可能的,因为机器人将不能触碰被带入其触及范围内的任何对象,并且机器人可能容易被减速,或甚至被机器人无法在不违反对象的安全距离的情况下经过的对象来阻止实行编程的任务。
本发明的目标是提供用于控制机器人的方法,该方法确保在机器人的邻近区(vicinity)中的人的必要安全性,同时避免对机器人的移动自由的不必要限制。
该目标通过用于控制机器人的方法来实现,该方法包括以下步骤:
a)判定在机器人的邻近区中是否存在非永久性对象;
b)如果存在非永久性对象,则判定该对象是否有资格得到延伸保护,以及
c)在对象周围限定安全区域,机器人不准进入该安全区域,或在该安全区域中机器人的最大允许速度小于在所述区域外,其中安全区域在所述对象有资格得到延伸保护的情况下比在所述对象没有资格得到延伸保护的情况下从所述对象延伸到更大的距离;
d)安全区域被实时更新并且总是包含对象且与对象一起行进。安全区域还包含围绕对象的额外边距,其考虑了传感器系统延迟和对象的最大速度。
如果对象没有资格得到延伸保护,则安全区域所延伸到的距离可以是零;即,可以允许机器人触碰或甚至抓住并且操控对象。
邻近区可以视为等同于传感器或多个传感器的检测范围,步骤a)的判定基于所述传感器或多个传感器的输出。
原则上,有资格得到延伸保护的对象应该是任何人,而没有资格得到延伸保护的对象应该是无生命的。然而,当对象新进入了机器人的邻近区时,或许还不可能断定它是否是人;因此,当检测到对象进入机器人的邻近区时,它应当最初被判断为有资格得到延伸保护,尽管该判断之后在已经收集了关于该对象的更多信息时可以被反转。
工件也必须被带到邻近区中以便由机器人对其进行工作。如果如上面提到的那样这些工件最初被判断为有资格得到延伸保护,则机器人将被阻止触碰它们和对它们进行工作,至少直到已经收集了通过其可判断工件是无生命的信息,由此机器人的工作将被大大减速。为了在机器人的操作中避免不必要的延迟,在机器人的邻近区中应当定义工件进入点,使得可判断通过该工件进入点进入邻近区的对象没有资格得到延伸保护。当然在该情况下,应当设计机器人的邻近区使得来自邻近区以外的人无法接近工件进入点。
对于被发现没有资格得到延伸保护的第一对象(之后也称为无资格对象),安全距离可被设置成非常低或甚至零,因为第一对象可被安全地预期为不会无法预测地移动并且可能撞到机器人。当然,如果第一对象被人抓取则这样的假设不再有效。因此,如果第一对象与第二对象之间的距离变得小于预定极限,并且对象中的至少一个已被判断为有资格得到延伸保护,则另一对象也被判断为有资格。
第一对象这样的资格变化导致它的安全区域的突然增加,由此机器人可能在未移动的情况下突然发现它自己处于安全区域中。为了避免需要在这样的情况下突然制动机器人,有用的是,在人实际上已能够抓取第一对象之前(即,在第二对象(其可能是人)与第一对象之间的距离还未小于预设阈值时,该预设阈值被定义为表征由人对第一对象的抓取,该阈值可以被定义为零或接近零)重新使第一对象具有资格。
如果之后结果第二对象已经经过第一对象,即对象之间的距离再次增加,而距离实际上没有变得小于预设阈值,则第一对象的状态可被恢复为无资格。
如果两个对象彼此足够靠近而变得不能区分(通常因为人抓取无生命对象或人在传感器检测的方向上部分或完全被对象遮挡),则由此产生的组合对象也应被判断为有资格得到延伸保护。
如果这样的对象划分成两个或多于两个对象(例如因为人放下之前抓取的对象),则至少直到已经收集了用于可靠判断的足够数据为止,可能无法断定两个对象中的一个对象是否实际上是无生命的。因此,延伸保护的资格应由从划分产生的对象中的每个对象继承。
对象很可能是无生命的并且因此没有资格得到延伸保护的判定可基于各种准则。一个准则是没有可检测的对象运动。该准则的优势是可使用与对象的检测相同的空间分辨传感器以虽然粗略而没有额外成本的方式检查它。如果使用能够检测由于呼吸或心跳而引起的微运动的高度敏感传感器,则该准则的可靠性大大提高,如例如在US 2011 025547 A1或US 2014 316261 A1中描述的。
作为另一个准则,可判断对象的物理性质(诸如大小、形状、重量或表面温度)是否与人类不一致。还可基于来自上面提到的空间分辨传感器的数据来实行形状和大小的判断。这样的判断必须考虑所检测的对象可以包括人和由他携带的无生命对象的事实,使得如果对象的形状或尺寸对于人来说太小而不符合,则该对象可被确定地判断为没有资格。
对于基于重量或表面温度的判断,额外传感器变得必要,诸如覆盖机器人的邻近区的地板的重量敏感型传感器垫、用于无接触式温度测量的高温计等等。
还可以通过使用特定标签来促进判断。意图在机器人的邻近区中被使用的对象(例如要由机器人对其进行工作的工件、工具等)可被提供有标签,所述标签适于被机器人系统的传感器读取并且规定所标记的对象的性质。可存在光标签,例如QR标签,其可被充当空间分辨传感器的摄像机读取;RFID标签具有以下优势:它可被读取而无论它是否面对传感器天线。
标签的数据不应被用作对象性质的唯一指示;应当检查从标签读取的数据是否符合所检测的对象的可检测物理性质,以便发现所检测的对象是否只是所标记的对象或它是否是所标记的对象和另一个对象的组合,所述另一个对象可能是携带所标记的对象的人。
还可从预定义计算机模型(例如场景中的设备的固定设置和已知装置的CAD或虚拟现实模型)做出或推导出判断。针对环境变化的更新,被视为现实环境的“数字孪生”的计算机模型可被周期性地重新扫描。
如果预定义准则没有虑及某一判断,则应当为操作者提供以下可能性:声明对象是否有资格得到延伸保护。
本发明的另外的目标是机器人系统,其包括机器人、用于监管机器人的邻近区的传感器系统和用于基于来自传感器系统的数据使用如上面描述的方法来控制机器人的处理器单元,以及计算机程序产品,其包括计算机代码部件,所述计算机代码部件使计算机能够执行该方法。
本发明的另外的特征和优势将从参考附图的实施例的随后描述变得显而易见。
图1是机器人和它的邻近区的示意平面视图;
图2是其中有资格得到延伸保护的对象正进入邻近区的平面视图;
图3是图示机器人的邻近区中的对象的资格的示例性改变的图解;
图4是机器人和它的邻近区的另一个平面视图;
图5是图示对象的资格的示例性改变的另一个图解;以及
图6是在控制机器人的处理器单元中实行的方法的流程图。
图1是工业机器人1和它的工作环境的示意平面视图。在这里示出的实施例中,机器人1具有固定底座2、一个铰接臂3和该臂的自由端处的末端执行器(end effector)4,但应记住的是,随后将描述的方法也能适用于更复杂的系统,其中机器人是移动的和/或其中它包括多于一个臂和/或多于一个末端执行器。
机器人1的运动由处理器单元5(通常为微型计算机)控制,以便实行预定义的制造任务,例如将由输送机(conveyor)7供应的一系列第一工件6中的每个第一工件与取自板条箱(crate)9的第二工件8组合。
处理器单元5可以包括两个功能上分离但协同操作的处理器单元:用于控制机器人的第一处理器单元,和用于传感器数据评估的第二传感器单元。两者可在相同的电子产品机架内,但也可被设置成彼此分开。两者在功能上一起组成处理器单元5。
处理器单元5连接到空间分辨传感器10,所述空间分辨传感器10被设计并且定位成监测机器人1的邻近区。在下面,机器人1的邻近区和在其中对象可被传感器10检测的空间中的区域将被视为相同的,假设传感器10已被适当设置来检测不管从哪个方向可能接近机器人1并且与它碰撞的任何对象。在图1中,传感器10被表示为单个摄像机。实际上它可以包括从不同方向查看机器人1的邻近区的几个摄像机,使得没有对象能够被机器人1同时从所有摄像机隐藏,并且使得处理器单元5可通过三角测量确定由多于一个摄像机看到的对象的坐标。
当然,能够提供关于机器人1的邻近区中的对象的空间分辨信息的任何其他类型的传感器可被用作传感器10或被组合到传感器10中,例如雷达装置、一个或多个激光或微波扫描器、底座2周围的地板上的重量敏感型地砖(weight-sensitive tile)等。
在图1中,机器人1在其中工作的空间部分地由壁或屏障11约束。这些壁或屏障11中的部分在传感器10的检测范围中。壁11中的一个壁具有通道12,移动对象可以在任意时间通过该通道12进入机器人1的邻近区并且与它碰撞。尽管对象与机器人1之间的接触可以是所期望的并且不应被阻止,但应确保当这样的接触发生时,机器人1处于静止并且无法损坏对象。因此,处理器单元5总是定义安全区域13,所述安全区域13从通道12延伸到邻近区内并且它将不允许机器人1进入。安全区域13的尺寸由以下条件确定:每当对象以例如快速行走的人的合理速度通过通道12进入邻近区时,在对象与机器人1能够触碰彼此之前应可能让机器人静止。
安全区域13的大小可以根据机器人的瞬时速度而变化。机器人移动得越快,让它停止所需要的时间越长,并且侵入对象在该时间内将覆盖的距离越长;因此安全区域13的宽度可适应于机器人速度。
此外,可考虑机器人移动的方向,当机器人1正在接近通道12时使得安全区域13更大,并且当机器人1远离它移动时使得安全区域更窄。
传感器10的检测范围可不仅受到壁11限制,而且还受到诸如例如容纳处理器单元5的电子产品机架14的对象限制,该电子产品机架14可能是可移动的但当机器人1在操作时通常不被移动。在图1的平面视图中,在机架14与输送机7之间存在通道15,该通道15对传感器10是隐藏的,并且根据与上面针对安全区域13描述的相同准则来限定的另外的安全区域16从该通道15延伸到机器人1的邻近区中。
尽管处理器单元5或许可能从由传感器10提供的数据确定壁11、机架14和输送机7的位置,但传感器10无法检测通道12、15。因此,在设置图1的系统时,可以为处理器单元5提供邻近区的几何模型,其中规定了人可能通过其进入的所有通道。
图1的系统具有至少一个更多的通道17,即第一工件6通过其进入邻近区的一个通道。指派给该通道17的安全区域可能是机器人1的操作的妨碍,因为在控制机器人1在板条箱9与输送机7之间的移动时可能必须考虑该安全区域。因此,该通道17没有指派给它的安全区域。可以通过以下假设在实际上证明这里没有安全区域是正当的:没有人将会自愿坐在输送机上,并且因此有资格得到延伸保护的对象可能通过通道17接近机器人1的可能性可被忽略;或者可以通过阻止进入通道17之外的输送机7的上游部分或通过使通道17太小而人不能通过,在技术上证明这里没有安全区域是正当的。
当系统在操作时,传感器10将检测通过通道17进入邻近区的任何第一工件6,但由于该通道17没有指派给它的安全区域,工件6被自动检测为它们自身,即被检测为不必被保护免于与机器人接触而是在那里要由机器人处置的对象。
如果对象18通过具有安全区域的通道进入邻近区则情况不同,如在图2中示出的。这里,通过通道12进入邻近区的对象18是携带板条箱20的人19。当对象18不在传感器10的全视野中时,处理器单元5无法确认对象18的性质并且必须预期它不可预测地移动。因此,作为预防,它将对象18视为有资格得到延伸保护并且因此根据与上面针对安全区域13所描述的相同准则在所述对象18周围定义安全区域21。当对象18在机器人1的邻近区中移动并且例如用装满新的第二工件8的新板条箱20替换旧板条箱9时,对象18将保持被该安全区域21围绕。
图3图示在该替换的过程中处理器单元5对邻近区中的各种对象18、9的资格的判断是如何演变的。在图解的左侧,在过程的开始(步骤a),存在两个符号:距机器人1远距离d处的方形符号,其代表对象18;以及在小距离处的圆形符号,其代表板条箱9。对象18的符号有交叉影线,指示它有资格得到延伸保护;板条箱9的符号是空的,因为板条箱9没有资格,而它之中的工件8在那里要由机器人1操控。
当人19接近板条箱9时,对象18和板条箱9的资格状况在步骤b和c保持不变。当两者之间的距离小到足以使板条箱9在人19的手臂长度内,即如果距离小于0.85m,则处理器单元5改变板条箱9的状态,这在步骤d中通过图3中其符号的交叉阴影线指示。现在安全区域21被延伸到也包围板条箱9,如在图4中示出的。延伸的安全区域21防止机器人1从板条箱9提取新的第二工件。
人19放下新板条箱20,由此板条箱20和人19变得可被传感器10和处理器单元5区分为两个对象。这通过步骤e中出现的用于板条箱20和用于人19的不同符号来表示。
在步骤f,人19拿起旧板条箱9,这通过代替板条箱9的符号的、由人19和板条箱9形成的组合对象的新符号22表示。在下面的步骤中,组合对象22(即人19和旧板条箱9)离开邻近区,而新板条箱20留下。
如果继续保护新板条箱20免于与机器人1接触,则机器人1无法用板条箱20中的新的工件8工作。因此,必须定义适当的准则,其使处理器单元能够判定对象不再有资格得到延伸保护并且减少它的安全区域。
对于这样的判定的一个可能准则是没有运动。如果在预定时间跨度内未检测到对象的运动,则对象可被假设为无生命的并且因此不需要即使对象突然开始移动也将防止与机器人1接触的程度的保护。这样的时间跨度的持续时间取决于传感器10能够检测运动的精度。如果传感器10敏感到足以检测与心跳或呼吸有关的微运动,则几秒的持续时间对于可靠判断可以是足够的。
判断还可以基于温度。如果要判断的对象是人或包括人,则它的表面的至少一部分应发出红外辐射。因此,如果传感器10包括高温计,并且该高温计没有检测到具有可能符合人体的温度的对象表面的部分,则对象最可能是无生命的并且可被判断为没有资格得到延伸保护。
容易评估的另一个准则是对象的重量;如果它与人的重量明显不同,则对象可被判断为没有资格。该准则的缺点是无法远程感测重量,使得必须以相当大的成本为机器人的邻近区配备适当的传感器,诸如上面提到的重量敏感型地砖。
如果传感器10包括摄像机,则图像处理技术可以用于从由摄像机提供的数据提取关于对象的形状和/或尺寸的信息,并且如果这些数据允许排除人的存在(例如在板条箱19的情况下,因为它对人来说太小而不符合),则延伸保护可以被取消。
可能存在这样的情况:人带入机器人1的邻近区的对象甚至在人已留下它之后移动,例如风扇。如果运动是将阻止处理器单元5将对象的状态改变为无资格的准则,则风扇将总是享有它周围的宽安全区域,这可对机器人1的移动性施加严格限制并且降低其生产率。因此,处理器单元5可具有用户界面23,在所述用户界面23,用户可例如通过在屏幕上显示的邻近区的图像中将处理器单元5已发现有资格得到延伸保护的对象突出显示来检查它们,并且如果有必要的话,改变对象的状态。
根据优选实施例,板条箱9、20携带标签24,所述标签24可被传感器10读取并且规定标签24所附连到的对象的性质和/或该对象的特性中的一些特性。这样的标签可以是可使用传感器10的摄像机来读取的光标签,例如QR标签。优选地,它是通过无线电通信的标签,诸如RFID标签、蓝牙或NFC装置,并且处理器单元5具有用于与标签24通信的连接到它的无线电接口25。在该情况下,当标签24进入无线电接口25的范围时,处理器单元5从标签24接收数据,它可从该数据得出关于对象的由传感器10可检测的特性的结论,所述对象可以即将进入或可以已经进入机器人1的邻近区。这些数据可以例如规定携带标签24的对象是板条箱、它的大小以及其他特性。当对象18(包括板条箱20和携带它的人19)进入邻近区并且传感器10检测到该对象18的特性时,处理器单元5发现这些与对象18不匹配。因此,当人19携带板条箱在机器人1的邻近区中移动时,来自标签24的数据将从不引发处理器单元5拒绝延伸保护。然而,在图3的步骤k中,板条箱20一被放下并且变得可检测为属于它自己的对象,处理器单元5就将从标签24找到数据来匹配该对象,使得板条箱20与人19之间的距离一旦足够长就发现板条箱20没有资格得到延伸保护。
没有资格得到延伸保护的对象可仍然具有安全区域,但该安全区域的宽度可被大大减少;在板条箱20的情况下,这样的安全区域可以防止机器人触碰板条箱20的壁,同时小到足以允许机器人伸进板条箱20中并且取出工件8而没有违反安全区域。备选地,无资格对象可以根本没有安全区域;在该情况下,将允许机器人1触碰并且处置它,例如抓住板条箱20并且将它从人19放置它的地方拉到更接近输送机7的位置。
图5的图解涉及其中对象移动通过机器人1的邻近区而实际上没有与其中的其他对象物理交互的情形,例如其中人19通过通道12进入、在机器人1上进行工作并且再次走出。图解的第一步骤与图3的那些相似;在步骤d中,在人19去往机器人1的末端执行器4的路上,人19在距板条箱9的手臂长度内经过并且由此使板条箱9也有资格得到延伸保护。然而,在步骤g,因为人19在不触碰板条箱9的情况下再次离开邻近区,板条箱9的状态被反转为没有资格。这可基于上面描述的准则之一或其组合来进行,使得在人19已经离开后,机器人1在一定延迟后回到正常操作。备选地,如果通过人19仅靠近而对板条箱9赋予了有资格状态,并且如果在这些人与板条箱之间没有发生接触,使得两个对象从未变得不能区分,则人19一旦开始远离板条箱9移动或至少在两个对象9、19之间的距离增加超出所述手臂长度或某一其他适当定义的阈值时,板条箱9的状态就可回到无资格,从而使恢复正常操作的延迟最小化。
图6是处理器单元5的控制方法的流程图,该方法被持续重复以便实现上面描述的行为。
在步骤S1,处理器单元5提取关于机器人的邻近区的当前数据,例如图像,或如果传感器10包括多个摄像机,则提取一组图像。基于邻近区的预定义的几何模型,它识别形成该邻近区的永久性对象,诸如壁11、输送机7、机架14以及可能还识别机器人1本身(S2)。未通过这些对象说明的任何图像细节必定与非永久性对象相关。如果这些对象中的任何对象已经在方法的之前迭代中存在,则与它有关的数据将已被处理器单元5记录;如果存在非永久性对象,其自之前迭代以来已经移动或新进入了邻近区,则在步骤S3中将检测到它,因为如从当前传感器数据导出的它的位置将与所记录的位置数据中的任何位置数据不匹配。
如果存在这样的对象,并且在步骤S4中发现它的位置相比于任何最近记录的位置更接近于通道12、15或17,则该对象被判断为在邻近区中是新的。如果通道是可由人经过的通道12、15中的一个(S5),则对象可能是人并且因此在步骤S6中判断该对象有资格得到延伸保护;否则,如果进入点是通道17,则在步骤S7中判断该对象没有资格。进入点被包括在步骤S8中记录的对象数据中。
如果在步骤S4中,发现对象相比于通道更接近之前存在的对象,则对象被视为与所述之前存在的对象相同或者是所述之前存在的对象的片段(fragment),并且所述之前存在对象的保护状态和进入点被复制到现在的对象(S9)。以此方式,在图2的对象18移动通过邻近区时,它总是被判断为有资格得到延伸保护,而在输送机7上移动的工件6则没有资格。由于分裂(fragmentation)的可能性,当人19在图4的场景中放下板条箱20并且远离它移动时,两者变成属于它们自己的对象并且被判断为有资格得到延伸保护。
步骤S10检查对象的所复制的状态是否没有资格以及它的进入点是否是通道12、15中的一个。如果两个条件都被满足,则在步骤S11实行在手臂长度内是否存在确实有资格的另一个对象的检查,并且如果存在的话,则将对象的状态改变为有资格(12)。这就是图3的步骤d中对于板条箱9所发生的情况。
如果在步骤S3中发现当前数据集与之前记录的数据集相同,则它必定属于自之前的迭代以来还未移动的对象。如果对象的状态是没有资格(S13),则对于它什么都不发生。否则处理单元5使用上面描述的准则中的一个或多个准则来检查(S14)状态是否可以被改变,并且如果满足准则,则将状态改变为无资格(S15)。
步骤S16检查是否存在其数据尚未被处理的对象,并且如果存在的话,方法回到步骤S3来处理另一个数据集;如果不存在的话,迭代完成。
参考标号
1 机器人
2 底座
3 臂
4 末端执行器
5 处理器单元
6 第一工件
7 输送机
8 第二工件
9 板条箱
10 传感器
11 壁、屏障
12 通道
13 安全区域
14 机架
15 通道
16 安全区域
17 通道
18 对象
19 人
20 板条箱
21 安全区域
22 组合对象
23 用户界面
24 标签
25 无线电接口

Claims (9)

1.一种用于控制机器人(1)的方法,基于由传感器(10)提供的机器人的邻近区的图像由处理器(5)使用图像处理技术来执行所述方法,所述方法包括以下步骤:
a)判定(S2)在所述机器人(1)的邻近区中是否存在非永久性对象(18、19、20);
b)如果存在作为移动对象或作为新进入了所述机器人的邻近区的对象的非永久性对象(18、19、20),则判定(S5、S6、S11、S12)所述对象是否有资格得到延伸保护;以及
c)在所述对象(18、19、20)周围定义安全区域(21),所述机器人(1)不准进入所述安全区域(21)或在所述安全区域(21)中所述机器人(1)的最大允许速度小于在所述区域外,其中所述安全区域(21)在所述对象(18、19、20)有资格得到延伸保护的情况下比在所述对象(18、19、20)没有资格得到延伸保护的情况下从所述对象(18、19、20)延伸到更大的距离,
其中至少如果两个对象(9、19)互相足够靠近而变得对所述处理器(5)不能区分并且所述对象(19)中的至少一个已被判断为有资格,则所得到的组合的对象(22)也被判断为有资格。
2.如权利要求1所述的方法,其中当检测到(S5)对象(18、19、20)进入所述机器人(1)的所述邻近区时,至少最初判断(S6)所述对象(18、19、20)有资格得到延伸保护。
3.如权利要求1所述的方法,其中所述邻近区包括工件进入点(17),并且通过所述工件进入点(17)进入所述邻近区的对象(6)被判断(S7)为没有资格得到延伸保护。
4.如权利要求1、2或3所述的方法,其中如果两个对象(19、9)之间的所述距离变得小于预定极限,并且所述对象(19)中的至少一个已被判断为有资格,则另一对象(9)也被判断为有资格(S11、S12)。
5.如权利要求4所述的方法,其中如果所述另一对象(9)在所述距离变得小于所述预定极限之前没有资格,并且如果所述距离再次增加而未变得小于可以被定义为零或接近零的预设阈值,则所述另一对象(9)再次被判断为没有资格。
6.如前述权利要求中任一项所述的方法,其中如果有资格的对象(18)划分成两个或多于两个对象(19、20),则每个所得到的对象也被判断为有资格。
7.如前述权利要求中任一项所述的方法,其中如果满足以下准则中的至少一个,则对象(9、20)被判断为没有资格:
-在预定时间跨度内未检测到所述对象(9、20)的运动,
-在至少大小、形状、重量或表面温度之中选择的所述对象(9、20)的至少一个物理性质被检测为与人类不一致;
-所述对象(9、19)配备有标签(24),并且从所述标签(24)读取的数据符合所述对象(9、19)的可检测物理性质;
-所述对象被操作者声明为没有资格。
8.一种机器人系统,包括:机器人(1);至少一个传感器(10),所述至少一个传感器(10)用于监管所述机器人的邻近区;以及处理器单元(5),所述处理器单元(5)用于基于来自所述传感器(10)的数据使用如前述权利要求之一所述的方法来控制所述机器人(1)。
9.一种计算机程序产品,包括程序代码部件,所述程序代码部件使计算机能够执行根据权利要求1至7中任一项所述的方法。
CN201880064581.1A 2017-08-02 2018-07-25 机器人控制方法 Active CN111201115B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP17184381.6 2017-08-02
EP17184381 2017-08-02
EP17194103.2A EP3437804A1 (en) 2017-08-02 2017-09-29 Robot control method
EP17194103.2 2017-09-29
PCT/EP2018/070161 WO2019025255A1 (en) 2017-08-02 2018-07-25 ROBOT CONTROL METHOD

Publications (2)

Publication Number Publication Date
CN111201115A CN111201115A (zh) 2020-05-26
CN111201115B true CN111201115B (zh) 2023-04-04

Family

ID=59522943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880064581.1A Active CN111201115B (zh) 2017-08-02 2018-07-25 机器人控制方法

Country Status (4)

Country Link
US (1) US11511432B2 (zh)
EP (2) EP3437804A1 (zh)
CN (1) CN111201115B (zh)
WO (1) WO2019025255A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830131B2 (en) 2018-02-06 2023-11-28 Veo Robotics, Inc. Workpiece sensing for process management and orchestration
EP3844432A4 (en) 2018-08-30 2022-06-15 Veo Robotics, Inc. SYSTEMS AND METHODS FOR AUTOMATIC SENSOR ALIGNMENT AND CONFIGURATION
EP3843956A4 (en) 2018-08-30 2021-12-22 Veo Robotics, Inc. SYSTEM IDENTIFICATION OF THE DYNAMICS OF INDUSTRIAL ROBOTS FOR SAFETY CRITICAL APPLICATIONS
WO2020176473A1 (en) 2019-02-27 2020-09-03 Veo Robotics, Inc. System architecture for safety applications
EP3966642A1 (en) * 2019-03-15 2022-03-16 EID Robotics Oy A system and a method for forming a controlled safety area for a manipulator
US11278361B2 (en) 2019-05-21 2022-03-22 Verb Surgical Inc. Sensors for touch-free control of surgical robotic systems
US11504193B2 (en) * 2019-05-21 2022-11-22 Verb Surgical Inc. Proximity sensors for surgical robotic arm manipulation
EP3980853A4 (en) 2019-08-23 2022-08-24 Veo Robotics, Inc. SAFE OPERATION OF MACHINERY USING POTENTIAL OCCUPANCY ENVELOPES
US11919173B2 (en) 2019-08-23 2024-03-05 Veo Robotics, Inc. Motion planning and task execution using potential occupancy envelopes
US20220234209A1 (en) * 2019-08-23 2022-07-28 Ilya A. Kriveshko Safe operation of machinery using potential occupancy envelopes
US11256241B1 (en) 2019-09-12 2022-02-22 Veo Robotics, Inc. Optimized factory schedule and layout generation
EP4069472A4 (en) * 2019-12-05 2024-03-20 Magna powertrain gmbh & co kg METHOD AND CONFIGURATION IN THE CONTEXT OF BARRIER-FREE ROBOTICS
JP7243603B2 (ja) * 2019-12-09 2023-03-22 トヨタ自動車株式会社 搬送ロボットシステム
CN113471119A (zh) * 2020-03-31 2021-10-01 芝浦机械电子装置株式会社 基板处理装置以及基板处理方法
CN116806184A (zh) * 2021-02-04 2023-09-26 Abb瑞士股份有限公司 机器人的机械阻抗控制方法、控制系统及机器人
KR102519131B1 (ko) * 2021-04-02 2023-04-10 한국전자기술연구원 태그 기반 로봇 제어기의 작업 궤적 생성 방법 및 장치
JP2022175508A (ja) * 2021-05-13 2022-11-25 オムロン株式会社 領域設定装置、ラック、制御システム、領域設定方法及びプログラム
CN113219926A (zh) * 2021-05-13 2021-08-06 中国计量大学 基于数字孪生系统的人机共融制造单元安全风险评估方法
CN113400353B (zh) * 2021-07-07 2024-02-02 西北工业大学 基于数字孪生的多指灵巧手状态监测方法、装置及设备
CN114905520B (zh) * 2022-06-28 2023-11-24 中国华能集团清洁能源技术研究院有限公司 双臂协作机器人安全限位方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065811A (ja) * 2006-08-08 2008-03-21 Matsushita Electric Ind Co Ltd 障害物回避方法と障害物回避移動装置
WO2010060475A1 (en) * 2008-11-26 2010-06-03 Abb Research Ltd. Industrial robot
US9032659B1 (en) * 2011-03-08 2015-05-19 Scott A. Duneman Rotatable forearm/hand-guard assembly for a firearm

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004041821A1 (de) * 2004-08-27 2006-03-16 Abb Research Ltd. Vorrichtung und Verfahren zur Sicherung eines maschinell gesteuerten Handhabungsgerätes
US8358234B2 (en) 2009-03-26 2013-01-22 Tialinx, Inc. Determination of hostile individuals armed with weapon, using respiration and heartbeat as well as spectral analysis at 60 GHz
WO2014008929A1 (de) * 2012-07-10 2014-01-16 Siemens Aktiengesellschaft Roboteranordnung und verfahren zum steuern eines roboters
WO2014172668A1 (en) 2013-04-18 2014-10-23 California Institute Of Technology Life detecting radars
US9404363B2 (en) * 2013-08-30 2016-08-02 Joy Mm Delaware, Inc. Proximity detection systems and methods
US10186130B2 (en) * 2016-07-28 2019-01-22 The Boeing Company Using human motion sensors to detect movement when in the vicinity of hydraulic robots
US20200050839A1 (en) * 2016-10-20 2020-02-13 Robo-Team Home Ltd. Human-tracking robot
JP6822069B2 (ja) * 2016-11-01 2021-01-27 オムロン株式会社 監視システム、監視装置、および監視方法
US11097422B2 (en) * 2017-02-07 2021-08-24 Veo Robotics, Inc. Safety-rated multi-cell workspace mapping and monitoring
EP3421189B1 (de) * 2017-06-28 2019-05-22 Sick AG Verfahren zum überwachen einer maschine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065811A (ja) * 2006-08-08 2008-03-21 Matsushita Electric Ind Co Ltd 障害物回避方法と障害物回避移動装置
WO2010060475A1 (en) * 2008-11-26 2010-06-03 Abb Research Ltd. Industrial robot
US9032659B1 (en) * 2011-03-08 2015-05-19 Scott A. Duneman Rotatable forearm/hand-guard assembly for a firearm

Also Published As

Publication number Publication date
US11511432B2 (en) 2022-11-29
EP3661703A1 (en) 2020-06-10
WO2019025255A1 (en) 2019-02-07
CN111201115A (zh) 2020-05-26
US20200164516A1 (en) 2020-05-28
EP3437804A1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
CN111201115B (zh) 机器人控制方法
CN111226178B (zh) 监视设备、工业系统、用于监视的方法及计算机程序
US20150158178A1 (en) Robot arrangement and method for controlling a robot
US9731421B2 (en) Recognition-based industrial automation control with person and object discrimination
CN104007715B (zh) 具有位置和导数决定参考的基于识别的工业自动化控制
CN104076761B (zh) 具有基于置信度的决定支持的基于识别的工业自动化控制
US10259116B2 (en) Robot system
JP6822069B2 (ja) 監視システム、監視装置、および監視方法
KR102235513B1 (ko) 적어도 부분적으로 자율적으로 움직이는, 이동식 의료용 유닛을 동작시키기 위한 방법, 및 이동식 의료용 유닛
US20140135984A1 (en) Robot system
US20150049911A1 (en) Method and device for safeguarding a hazardous working area of an automated machine
EP2772812B1 (en) Recognition-based industrial automation control with redundant system input support
CN108068140A (zh) 用于作用到物件上的设备和方法
EP3569366B1 (en) Robot control method and apparatus
US11370612B2 (en) Transport system for products and method of removing a dropped product
CN114115217B (zh) 自主移动机器人控制系统、方法、存储介质及控制装置
CN109314859A (zh) 用于安全控制的方法、装置和系统
Marvel et al. Test methods for the evaluation of manufacturing mobile manipulator safety
US11971721B2 (en) Autonomous mobile robot control system, control method thereof, a non-transitory computer readable medium storing control program thereof, and autonomous mobile robot control device
US20230418296A1 (en) Autonomous mobile robot control system and autonomous mobile robot control method
JP2022064653A (ja) 監視制御装置及び監視制御用プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant