CN106471546A - 在移动对象存在的情况下控制机器人 - Google Patents

在移动对象存在的情况下控制机器人 Download PDF

Info

Publication number
CN106471546A
CN106471546A CN201580007104.8A CN201580007104A CN106471546A CN 106471546 A CN106471546 A CN 106471546A CN 201580007104 A CN201580007104 A CN 201580007104A CN 106471546 A CN106471546 A CN 106471546A
Authority
CN
China
Prior art keywords
frame
robot
mco
unexpected
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580007104.8A
Other languages
English (en)
Inventor
H·基科瑞
B·J·蒂博多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106471546A publication Critical patent/CN106471546A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37571—Camera detecting reflected light from laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39091—Avoid collision with moving obstacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40203—Detect position of operator, create non material barrier to protect operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49152—Feedhold, stop motion if machine door is open, if operator in forbidden zone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49158—On near collision reduce speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)

Abstract

在此提供了一种用于在移动对象(112)存在的情况下控制机器人(102)的方法、系统及一个或多个计算机可读储存介质。该方法包括从三维相机系统(104)捕获多个帧并且分析帧以识别连接对象。该帧与之前的帧比较以识别移动连接对象MCO。如果非预期MCO在该帧中，则做出是否该非预期MCO在可动作区域中的确定。如果是，则指示该机器人(102)采取动作。

Description

在移动对象存在的情况下控制机器人
背景技术
机器人通常用于工业环境中的任务。例如，机器人可以被用于喷绘、移动零件、组装物件以及许多其他任务。然而，在运动中的机器人可对进入该机器人的工作空间的人类以及物体造成危害。已经实施了防止诸如机器人臂之类的移动机器人的损害的两种普遍的方法。这些方法包括将机器人臂置于笼中，使得其他对象不能进入操作场。另一普遍的方法是定义由LIDAR、压力垫或类似传感器覆盖的排他性区域，该传感器可被用来在排他性区域中在有对象存在时触发机器人上的停止状态。然而，这两种方法需要配置工作空间或者将机器人置于隔离位置的显著努力。
发明内容
以下呈现了各个实施例的简易说明以便于提供对本文描述的一些方面的基本理解。发明内容并非要求保护的主题的详尽阐述。其并不旨在识别要求保护的主题的关键元件也不旨在描绘各个实施例的范围。其唯一的目的是以简单的形式呈现要求保护的主题的一些概念以作为之后呈现的更具体的描述的序言。
一个实施例提供了用于在移动对象存在的情况下控制机器人的方法。该方法包括从三维相机系统捕获多个帧并且分析帧以识别连接对象。该帧与之前的帧比较以识别移动连接对象(MCO)。如果非预期MCO在该帧中，机器人被指示采取动作。
另一实施例提供了用于在移动对象存在的情况下控制机器人的系统。该系统包括三维相机、处理器以及系统存储器。该系统存储器包括代码，该代码在由处理器执行时被配置为从三维相机收集多个帧，分析帧以识别连接对象，并且将该帧与之前的帧比较以识别移动连接对象(MCO)。该代码还被配置为确定MCO是否在非预期存在，且如果是，则向机器人控制器发送信号。
此外，另一实施例提供了用于储存计算机可读指令的一个或多个计算机可读储存介质。计算机可读指令提供用于在移动对象存在的情况下控制机器人的系统，该计算机可读指令包括代码，该代码被配置为从三维相机系统捕获多个帧，分析帧以识别连接对象，并且将该帧与之前的帧比较以识别移动连接对象(MCO)。该计算机可读指令还包括代码，该代码被配置为确定非预期MCO是否在该帧中，且如果是，则指示机器人采取动作。
以下的描述和附图具体地提出了要求保护的主题的某些说明性方面。然而，这些方面说明了其中各个实施方式的原理可以被采用的各种方式中的一些方式，并且要求保护的主题旨在包括所有这样的方面和它们的等同物。要求保护的主题的其他优点和新颖特征在结合附图考虑时从以下各个实施例的具体描述中将变得明显。
附图说明
图1是机器人臂的示意图，其中运动感应相机被置于工作场所之上以定义用于机器人臂的警告区和排除区；
图2是两单元系统的框图，该两单元系统用于在移动对象存在的情况下控制机器人的运动；
图3是包括控制系统的机器人的框图，该控制系统用于在移动对象存在的情况下控制运动；
图4是根据本文描述的实施例的计算系统的框图，该计算系统可以用来在移动对象存在的情况下控制机器人的运动；
图5是根据本文描述的实施例的机器人的框图，该计算系统可以在移动对象存在的情况下被使用；
图6是用于在移动对象存在的情况下控制机器人的方法的流程图；以及
图7是计算机可读储存介质的框图，该计算机可读储存介质储存适用于在移动对象存在的情况下控制机器人的代码。
具体实施方式
如上所述，运动的机器人可对接近该机器人的人类或对象造成危害。例如，在工业环境中使用的机器人臂可能是具有显著速度和动量的大的重型设备。虽然一些基于深度的方法已经被实施以用于控制机器人，这些方法主要关注的是复杂的碰撞避免计算。这些工具的非常高的复杂度可能使得其在工业环境中的使用成为问题。
相应地，针对设备存在可以可靠地控制机器人的运动而不向过程添加不必要的复杂度的需要。尽管诸如光幕和其他传感器之类的现有工具可以被用来形成围绕机器人的排除区域，所涉及的运动的复杂度可以向工作空间增加显著的限制。
因此，本文描述的实施例提供了使用三维相机对机器人的运动的控制，该三维相机被用来确定非预期移动连接对象(MCO)在围绕机器人的可动作区域中。非预期MCO的存在可被用来控制机器人的运动。如本文中使用的，移动连接对象是三维像素(在本文中称为体元)的群组，其被确定为基本上接近并且具有一致的运动向量，这指示它们是单个对象的经连接的部分。随着机器人在计算系统的控制下移动，其预期运动可以由机器人控制器识别并且从分析中移除。类似地，在危险区中的诸如传送带、自动载运车、组装线等的任何辅助设备的运动也可以从分析中移除。任何剩余的移动连接对象可以被识别为非预期的。取决于非预期的移动连接对象的位置，机器人的运动可以被控制，例如通过减缓或停止机器人的运动。
作为引文，附图中的一些描述了在一个或多个结构性元件(不同地被称为功能性)、模块、特征、元件等的环境下的概念。在附图中所示的各种元件可以以任何方式被实施，诸如经由软件、硬件(例如，分立逻辑元件)、固件或其任何组合。在一些实施例中，各种元件可以反映在实际实施方式中的对应元件的使用。在其他实施例中，在附图中所示的任何单个元件可以由多个实际元件被实施。在附图中任何两个或更多单独的元件的描绘可反映由单个实际元件执行的不同功能。如以下讨论的，图1提供了关于一个可以被用来实施附图中所示的功能的系统的细节。
其他附图以流程形式描述了概念。在该形式中，某些操作被描述为构成以某顺序执行的不同框。这样的实施方式是示例性的且是非限制性的。本文描述的某框可以被集合在一起并以单个操作被执行，某些框可以被拆开为复数组件框，并且某些框可以以与本文说明的顺序不同的顺序被执行(包括执行多个框的并行方式)。在流程中所示的框可以通过软件、硬件、固件、人工处理等被实施。如在本文中使用的，硬件可以包括计算机系统、分立逻辑元件，诸如特定用途集成电路(ASIC)等。
关于术语，词语“被配置为”和“被适配为”包含任何种类的功能性可以被构建以执行所识别的操作的任何方式。功能性可以被配置为(或适配为)例如使用软件、硬件、固件等执行操作。
术语“逻辑”包含用于执行任务的任何功能性。例如，在流程中所示的每个操作对应于用于执行该操作的逻辑。例如可以使用软件、硬件、固件等而执行操作。
如在本文中使用的，术语“元件”、“系统”等旨在涉及计算机相关的实体，是硬件、软件(例如，在执行中)或固件，或其任意组合。例如，元件可以是在处理器上运行的过程、对象、可执行文件、程序、功能、库、子程序、计算机、或者软件和硬件的组合。
通过说明的方式，在服务器上运行的应用和服务器两者都可以是部件。一个或多个部件可以处于过程内并且部件可以在一个计算机上被本地化和/或在两个或更多计算机之间分配。术语“处理器”通常被理解为指的是硬件部件，诸如计算机系统的处理单元。
此外，所要求保护的主题可以被实现为方法、装置或使用标准编程和/或工程技术以产生软件、固件、硬件、或其任何组合的制造物品以控制计算机来实现所公开的主题。本文使用的术语“制造物品”旨在涵盖能够由任何计算机可读储存设备或媒体访问的计算机程序。
计算机可读储存介质可以包括但不限于：磁储存设备(例如，硬盘、软盘、磁条等)、光盘(例如，压缩光盘(CD)和数字通用盘(DVD)等)、智能卡、以及快闪存储器设备(例如，卡、棒和键驱动等)。相对地，计算机可读介质(即，非储存介质)通常可以附加地包括诸如用于无线信号的传输介质之类的通信介质。
图1是具有机器人臂102和深度感应相机104的机器人系统100的示意图，该深度感应相机104被置于工作空间106之上以限定围绕机器人臂102的警告区108和危险区110。在该实施例中，深度感应相机104被置于工作空间106之上，给出了围绕机器人臂102的清晰视场。在其他实施例中，深度感应相机104可以被置于机器人的侧面，例如在工作空间106的入口处。在一个实施例中，深度感应相机104可以被置于机器人本身上，例如在机器人臂102的外壳的前表面上且直接在机器人臂102的下方。
深度感应相机104可以是RGB-D型相机，诸如用于MicrosoftTM公司的XboxTM视频游戏的KinectTM相机。然而，本文中描述的技术并不限于该相机，因为任何数目的其他系统也可以被用来识别工作场所106内的移动连接对象(MCO)。这样的相机可以包括从MesaImaging AG、SoftKinetic以及其他公司可得的深度感应相机。这些相机中的许多相机使用红外(IR)或近IR激光器来将光投影到场景上，并且使用已知的飞行时间(TOF)算法来从检测到的反射的光计算深度图。除了基于TOF的系统之外或用于替代基于TOF的系统，可以使用其他类型的系统。例如，可以使用从ImagingSource或Stereo Vision Imaging,Inc.可得的立体相机。这些相机使用两个或更多偏置相机来收集每一帧，并且通过与对象关联的每一帧的位置偏移而计算在帧内的每个对象的位置。
使用这些系统中的任何系统，当诸如人之类的对象112进入检测空间时，深度感应相机104确定具有彼此相近位置的一组体元114在所收集的帧内。该组体元114被识别为连接对象。用来形成连接对象的体元的分组可以通过之前确定的误差范围而被控制。因而，即使由深度感应相机104检测到的体元并不填充连接对象的所有的空间，分组也可以进行。该分组针对下一帧被重复，形成了在该帧内的连接对象。在下一帧中连接对象的位置与在前一帧中连接对象的位置相比较以确定针对体元的运动向量。具有不一致的运动向量的体元可以被消除，并且剩余的该组体元114可以被识别为移动连接对象(MCO)。
如果机器人臂102正在移动则也可以被检测为MCO。然而，机器人臂102的运动可以由机器人控制器的控制序列被确定。相应地，当机器人臂102正在移动时，从预期的MCO检测到的体元，其可以不被考虑。诸如传送带、自动载运车之类的在工作空间106内的对象的任何附加的预期运动也可以不被考虑为预期MCO。该检测可以包括在每个收集到的帧处的MCO的简单计数，其中预期MCO从该计数中被减去。如果一旦所有的预期MCO被移除后计数仍保持在零以上，则进一步的动作可以被触发。
如果非预期MCO(诸如对象112)在工作场所106内被检测到，取决于人112接近于机器人臂102，多个不同动作可以发生。例如，如果对象112在警告区108内，可听警告系统116、视觉警告系统118或其两者可以被激活。此外，如果对象112更加接近，机器人臂102的运动可以被减缓以允许休止。除了任何警告系统116和118的激活之外，如果对象112被检测到在危险区110内，机器人臂102可以被停止。这可以包括被机器人臂102使用来操作的任何辅助设备，诸如传送带、自动载运车、喷绘系统、压缩器等。诸如减缓机器人臂102及将其移动到接近于对象112的位置的例如用于与对象112相互作用的其他动作也可以被执行。
图1并不限于所示的物件，也可以包括任何数目的并未示出的其他物件。例如，工作空间106可以包括以上提及的辅助设备。此外，物件的配置可以与所示的不同。例如，机器人并不必须是机器人臂102，也可以是自动起重机、自动载运车、或任何数目的其他物件。在一些实施例中，多个深度感应相机可以被置于诸如载运车路径之类的细长工作空间之上以警示工人。在该情况下，警告区108和危险区110可以被定义为围绕每个移动车辆，其将被识别为预期MCO。视觉警告系统118和可听警告系统116随后可以被安装在移动车辆本身上。图1的系统100被示出为具有通过信号线120耦合到机器人臂102的深度感应相机104的单个单元系统。然而，各实施例并不限于该配置，并且可以包括如本文所述的适合用于改造当前系统的单独的单元。
图2是两单元系统200的框图，该两单元系统用于在移动对象存在的情况下控制机器人的运动。在两单元系统200中，检测模块202与机器人204通过信号线206连通地耦合。检测模块202还可以通过信号线209被连通地耦合到警告系统208。
检测模块202包括深度传感器210，诸如以上讨论的RGB-D相机。深度传感器210被用来通过视觉模块212捕获帧。视觉模块212可以使用各种技术来确定在该帧中经连接的体元的群组，并且与相继的帧比较以确定在图像中运动的区域。这些区域随后可以被识别为MCO。在每一帧处，MCO 216的数目被报告至控制模块214。
除了由视觉模块212报告的MCO 216的数目之外，控制模块214在信号线206上接收来自机器人控制器218的输入。来自机器人控制器218的信息可以简单地是机器人是否处于运动中的信号或者可以包括关于机器人状态的更多具体信息。如果机器人处于运动中，若多于两个MCO由视觉模块212所指示，停止命令可以被发送到机器人控制器218。如果机器人现在不处于运动中，若任何MCO(即，非预期MCO)由视觉模块所报告，停止命令可以被发送到机器人控制器218。来自视觉模块212的运动的报告可以在多个帧上被过滤以防止误报。在一个实施例中，MCO的预期数目可以在多个帧上被观察。
可以注意到的是，该实施方式并不需要针对MCO(包括机器人)的复杂识别或定位数据，而仅需要存在多少非预期MCO的计数。在其他实施例中，围绕工作空间可以定义多个区具有不同的警告级别。
图3是根据本文描述的实施例的包括单个单元的计算系统300的框图，该计算系统可以用来在移动对象存在的情况下控制机器人的运动。计算系统300可以包括被适配为执行储存的指令的例如为中央处理单元(CPU)的处理器302以及储存能够由处理器302执行的指令的存储器设备304。这样的指令可以被用来检测在由机器人占据的工作空间中的MCO，并且控制该机器人的运动。处理器302可以是单核处理器、多核处理器、计算群集器、或任何数量的其他配置。存储器设备304可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、或任何其他合适的存储器系统。
处理器302可以通过总线306被连接到储存设备308，其被适配为储存帧捕获及分析模块310、移动连接对象模块312、以及位置警报模块314。储存设备308可以是硬盘驱动器、光盘驱动器、指状驱动器、驱动器的阵列、或它们的任意组合。网络接口控制器315可以被适配为通过总线406将处理器302连接到网络316。通过网络316，控制信号可以被发送到机器人控制器318以用于当有非预期MCO存在时减缓或停止运动，并且用于当围绕机器人的区域没有非预期MCO时重新开始运动。
处理器302可以通过总线306被链接到显示接口320，其被适配为将系统300连接到显示设备322。显示设备322可以包括计算机监视器、相机、电视机、投影机、虚拟现实显示器、三维(3D)显示器、或移动设备等。在计算系统300内的人机接口324可以将处理器302连接到键盘326和定点设备328。定点设备328可以包括鼠标、轨迹球、触摸板、操纵杆、指点杆、手写笔、或触摸屏等。
处理器302还可以通过总线306被链接到输入/输出接口330，其被适配为将计算系统300连接到任何数目的输入/输出设备。例如，输入/输出接口330可以将计算系统300连接到IR相机332以及一个或多个IR激光器334。在一些实施例中，IR相机332和IR激光器334可以被包括在单个成像设备336内。成像设备336可以是3D相机、游戏系统、RGB-D相机、计算机等。此外，成像设备336并不需要基于IR激光器等，但可以包括立体显示技术。在其他实施例中，IR激光器334的所有或一部分可以被外部地连接到包括IR相机332的成像设备。此外，在一些实施例中，计算系统300可以是成像设备。在这样的实施例中，IR相机332和IR激光器334可以驻留在计算系统300内，而不是经由输入/输出接口330外部地连接到计算系统300。
此外，计算系统300可以包括图形处理单元(GPU)338。GPU 338可以通过总线306链接到计算系统300的处理器302、存储器设备304、储存设备308、输入/输出接口330、以及任何数量的其他部件。在各个实施例中，GPU 338被适配为执行指令，诸如储存在存储器304(不论是与处理器302结合还是独立于处理器302)中的指令。例如，GPU 338可以执行被用来实施用于分析帧数据从而确定MCO在一系列帧中存在的方法的指令的所有或一部分。例如，在一些实施例中，处理器302和GPU 338可以被并行使用以用于重构在所捕获的图像中的帧数据。在这样的实施例中，帧数据可以以至少约20帧每秒(fps)的速率被重构，提供了用于控制机器人的运动的快速动作。取决于所使用的处理器302和GPU 338，更高的或更低的帧重构可以被实现。当机器人与非预期MCO相互作用时(例如，从自动载运车移除零件)，诸如30fps、40fps或更高的更重构速率可以是有用的。例如在被用来基于非预期MCO的位置减缓或停止机器人的系统中，诸如20fps、10fps或更低的更低重构速率可以以较低成本提供足够的覆盖。
通过网络316，计算系统300可以被耦合到警告系统340，其可以包括诸如闪光灯之类的可视警告系统342以及诸如警笛或电喇叭之类的可听警报系统344。可以理解的是，警告系统340可以例如通过输入/输出接口330被直接耦合到计算系统300。
在该实施例中，机器人控制器318可以包括网络接口卡346以用于与计算系统300在网络316上通信。机器人控制器318还可以包括与计算系统300类似的单元。例如机器人控制器318可以包括被适配为执行储存的指令的例如为中央处理单元(CPU)的处理器348以及储存能够由处理器348执行的指令的存储器设备350。这样的指令可以包括用于机器人的操作代码，诸如用来控制机器人的运动的代码。处理器348可以是单核处理器、多核处理器、计算群集器、或任何数量的其他配置。此外，处理器348可以是微控制器、分布式控制系统(DCS)、可编程逻辑控制器(PLC)或其他类型的车间控制系统的部分。存储器设备350可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、或任何其他合适的存储器系统。
处理器348可以通过总线352被连接到被适配用来储存运动模块356、传感器或位置检测模块358和操作模块360(例如，包括机器人特定的操作程序)的储存设备354。储存设备354可以包括硬盘驱动器、光盘驱动器、指状驱动器、驱动器的阵列、或它们的任意组合。
网络接口控制器346可以被适配为通过总线352将处理器348连接到网络316。通过网络316，控制信号可以被发送到机器人控制器318以用于当有非预期MCO存在时减缓或停止运动，并且用于当围绕机器人的区域没有非预期MCO时重新开始运动。
处理器348可以通过总线352被链接到显示接口362，其被适配为将机器人控制器318连接到显示设备364。显示设备364可以包括LCD屏幕、计算机监视器、或移动设备等。在机器人控制器318内的人机接口366可以将处理器348连接到键盘368、定点设备370或训练垂饰372。定点设备370可以包括鼠标、轨迹球、触摸板、操纵杆、指点杆、手写笔、或触摸屏等。训练垂饰372可以被用来通过训练机器人的移动而将操作程序输入操作模块360。在训练期间，视觉模块可以被禁用以允许执行训练。
处理器348还可以通过总线352被链接到电动机控制器374，其被适配为将机器人控制器318连接到任何数目的电动机376以控制机器人的运动。例如，电动机控制器374可以控制用于机器人臂的电动机，这允许机器人臂在基底上竖直地旋转，从该基底延伸出去，打开及关闭夹持器或其他操作器等。
处理器348还可以通过总线352被链接到位置传感器接口378。位置传感器接口378可以将机器人控制器318链接到可使机器人控制器318得知机器人的当前位置的多个位置传感器380。例如，机器人臂可以在每个关节处包括光学传感器以使机器人控制器318得知机器人臂在该关节的位置。
图3的框图并不意在指示计算系统300要包括图3中所示的所有部件。此外，取决于特定实施方式的细节，计算系统300可以包括未在图3中所示的任何数目的附加部件。例如，如以上所述的用于辅助设备的控制器可以被耦合到网络，并且与计算系统300和机器人控制器318连通。如上提及的，系统并不被限制为两个单元，但可以具有在单个装置中的功能。
图4是包括视觉系统的机器人400的框图，该视觉系统用于在移动对象存在的情况下控制运动。相同编号的物件如在以上所描述的。在图4中所示的实施例中，机器人控制器402被直接耦合到用于检测在工作空间中的非预期MCO的深度传感器210。如相对于图5讨论的，这将两个单独单元的功能结合在单个机器人控制器402中。在该实施例中，人机接口设备(HMI)404可以包括显示器、定点设备、键盘或训练垂饰，如以上所述。此外，机器人控制器402还可以与线路控制406相互作用，该线路控制406可以控制诸如传送带之类的辅助设备。
图5是根据本文描述的实施例的机器人500的框图，该计算系统可以在移动对象存在的情况下被使用。相同编号的物件如在以上所描述的。在该实施例中，相对于图3描述的两单元系统的所有的功能已经被结合到机器人控制502中。此外，警报系统控制器504可以被用来控制警告设备342和344。
图6是用于在移动对象存在的情况下控制机器人的方法600的流程图。方法600在捕获工作空间的帧或图像的框602处开始。这可以使用深度相机(RGB-D)或立体相机而被执行，如上所述。在框604处，框数据被分析用来识别连接对象。这可以如相对于图1所描述般被执行。在框606处，帧数据与之前的帧比较以识别运动。显示运动的任何连接对象可以被识别为移动连接对象(MCO)。MCO的总计数针对工作空间的边界内的对象而被做出。
在框608处，来自机器人控制器的数据可以被用来确定运动是否针对机器人、辅助设备或其两者被期待。如果运动是被期待的，在框610处，可以从计数中移除每个运动被期待的MCO。
流程继续到框612以确定是否有非预期MCO存在，例如若MCO的计数在所有预期的MCO已经被移除之后保持在一或更大。如果不是，流程返回到框602以继续。
如果在框612处有非预期MCO存在，流程可以继续到框614以将该非预期MCO定位在例如危险区(H)、警告区(W)中。在一些实施例中，框612可以被排除并且流程可以直接去往框616。
如果该非预期MCO处于危险区中，流程可以继续到框616。在框616处，可听警告、视觉警告或其两者被激活。在框618处，机器人的运动被停止。流程随后在框602处继续。可以注意到的是，当非预期MCO的计数返回零时，警报可以被停止并且运动自动地重新开始。在一些实施例中，运动可以继续被停止，直到操作员允许运动继续为止。
如果该非预期MCO处于警告区中，流程继续到框620。在框620处，可听警告、视觉警告或其两者被激活。在框622处，机器人的运动被减缓。流程随后在框602处继续。可以注意到的是，当非预期MCO的计数返回零时，警报可以被停止并且机器人可以被允许自动地返回全速。
方法600并不被限于所示的框。例如，框可以被添加以至少部分地基于检测到非预期MCO而控制辅助设备。机器人的运动可以包括其他动作，诸如以缓慢速度移动机器人接近非预期MCO从而允许非预期MCO与机器人的相互作用。此外，如前所述，不是所有的框都必须呈现。如果仅使用一个区，框614可以被排除。
图7是计算机可读储存介质700的框图，该计算机可读储存介质700储存适用于在移动对象存在的情况下控制机器人的代码。该代码能够由处理器702在总线704上访问。计算机可读储存介质可以包括硬盘驱动器、指状驱动器、随机存取存储器驱动器、或任何数目的其他单元，如相对于图2所描述的。该代码例如可以包括帧捕获模块706，其配置为捕获来自深度感应相机的帧。移动连接对象模块708可以被用来分析当前帧并且将结果与针对过往帧的结果进行比较以识别帧中的MCO。机器人运动控制模块710可以被用来例如基于来自移动连接对象模块708和机器人控制器的数据而保持追踪在工作空间中的非预期MCO的数目。位置警报模块712随后可以被用来指示机器人减缓或停止运动。
虽然本主题已经以特定于结构特征和/或方法动作的语言进行了描述，但是应当理解，在所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作被公开作为实现权利要求的示例形式。

Claims (10)

1.一种用于在移动对象存在的情况下控制机器人的系统，包括：
三维相机；
处理器；以及
包括代码的系统存储器，所述代码在由所述处理器执行时被配置为：
从所述三维相机收集多个帧；
分析帧以识别连接对象；
将所述帧与之前的帧比较以识别移动连接对象(MCO)；
确定所述MCO是否不被预期存在；如果是，则
向机器人控制器发送信号以采取动作。
2.根据权利要求1所述的系统，其中所述系统存储器包括代码，所述代码在由所述处理器执行时被配置为：如果非预期的所述MCO进入危险区域则向所述机器人传送停止运动信号。
3.根据权利要求1所述的系统，其中所述系统存储器包括代码，所述代码在由所述处理器执行时被配置为：如果非预期的所述MCO进入警告区域则向所述机器人传送慢速运动信号。
4.根据权利要求1所述的系统，包括视觉警告系统、可听警告系统或者所述视觉警告系统和所述可听警告系统两者。
5.根据权利要求4所述的系统，其中所述系统存储器包括代码，所述代码在由所述处理器执行时被配置为：在非预期的所述MCO进入危险区域或警告区域时激活所述视觉警告系统、所述可听警告系统或者所述视觉警告系统和所述可听警告系统两者。
6.一种用于在移动对象存在的情况下控制机器人的方法，包括：
从三维相机系统捕获多个帧；
分析帧以识别连接对象；
将所述帧与之前的帧比较以识别移动连接对象(MCO)；
确定非预期MCO是否在所述帧中；如果是，则
指示所述机器人采取动作。
7.根据权利要求6所述的方法，其中分析帧包括形成包括基本上接近的体元以形成连接对象的群组。
8.根据权利要求7所述的方法，其中将所述帧与之前的帧比较包括：
将形成连接对象的体元的群组的位置与形成所述连接对象的体元的所述群组的之前的位置比较；
消除具有不一致的运动向量的任何体元；以及
将在所述群组中剩余的体元定义为移动连接对象。
9.根据权利要求6所述的方法，包括从所述机器人控制器确定所述机器人的预期运动以将所述机器人识别为预期MCO。
10.根据权利要求6所述的方法，包括在确定非预期MCO是否在所述帧中之前从所述帧移除预期MCO。
CN201580007104.8A 2014-02-04 2015-01-30 在移动对象存在的情况下控制机器人 Pending CN106471546A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/172,230 2014-02-04
US14/172,230 US9452531B2 (en) 2014-02-04 2014-02-04 Controlling a robot in the presence of a moving object
PCT/US2015/013633 WO2015119838A2 (en) 2014-02-04 2015-01-30 Controlling a robot in the presence of a moving object

Publications (1)

Publication Number Publication Date
CN106471546A true CN106471546A (zh) 2017-03-01

Family

ID=52464606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580007104.8A Pending CN106471546A (zh) 2014-02-04 2015-01-30 在移动对象存在的情况下控制机器人

Country Status (5)

Country Link
US (3) US9452531B2 (zh)
EP (2) EP3102367B1 (zh)
KR (1) KR102293263B1 (zh)
CN (1) CN106471546A (zh)
WO (1) WO2015119838A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109514322A (zh) * 2018-11-02 2019-03-26 拓卡奔马机电科技有限公司 裁床安全防护系统及方法
CN109732560A (zh) * 2019-03-14 2019-05-10 北京物资学院 一种喷绘机器人
CN109794940A (zh) * 2019-03-01 2019-05-24 北京达盛智联教育技术有限公司 一种双目人工智能机械臂教学装置

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9452531B2 (en) * 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
US9701018B2 (en) * 2014-04-01 2017-07-11 Bot & Dolly, Llc Software interface for authoring robotic manufacturing process
US10462076B2 (en) 2014-05-06 2019-10-29 Clearpath Robotics Inc. System, apparatus and method for automatic environmental data collection and analysis
AT516097B1 (de) * 2014-07-03 2016-09-15 Blue Danube Robotics Gmbh Schutzverfahren und Schutzvorrichtung für Handhabungsgerät
US9902061B1 (en) * 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
DE102014223701B4 (de) * 2014-11-20 2019-03-07 Siemens Healthcare Gmbh Vorgebbare Beweglichkeit für ein robotisches Gerät
US9623560B1 (en) * 2014-11-26 2017-04-18 Daniel Theobald Methods of operating a mechanism and systems related therewith
JP6530621B2 (ja) * 2015-03-17 2019-06-12 ファナック株式会社 機械と可搬式無線操作盤との間の距離に基づいて警告を発生し、または機械を停止させる機能を備えたロボット制御システム
US10241515B2 (en) 2015-05-29 2019-03-26 Clearpath Robotics, Inc. Method, system and apparatus for handling operational constraints for control of unmanned vehicles
JP6554946B2 (ja) * 2015-07-03 2019-08-07 株式会社デンソーウェーブ ロボットシステム
JP6554945B2 (ja) * 2015-07-03 2019-08-07 株式会社デンソーウェーブ ロボットシステム
JP6464945B2 (ja) * 2015-07-03 2019-02-06 株式会社デンソーウェーブ ロボットシステム
DE102015009048B3 (de) * 2015-07-13 2016-08-18 Kuka Roboter Gmbh Steuern eines nachgiebig geregelten Roboters
US10198706B2 (en) * 2015-07-31 2019-02-05 Locus Robotics Corp. Operator identification and performance tracking
US20170091999A1 (en) * 2015-09-25 2017-03-30 Rafael Blumenfeld Method and system for determining a configuration of a virtual robot in a virtual environment
US20170092000A1 (en) * 2015-09-25 2017-03-30 Moshe Schwimmer Method and system for positioning a virtual object in a virtual simulation environment
US10215852B1 (en) * 2015-10-05 2019-02-26 Google Llc Robotic radar assistance
JP6601155B2 (ja) * 2015-10-28 2019-11-06 株式会社デンソーウェーブ ロボット制御システム
JP6328599B2 (ja) * 2015-11-20 2018-05-23 ファナック株式会社 ロボットの動作可能範囲を算出するロボットの手動送り装置
DE102015225587A1 (de) * 2015-12-17 2017-06-22 Volkswagen Aktiengesellschaft Interaktionssystem und Verfahren zur Interaktion zwischen einer Person und mindestens einer Robotereinheit
US10662045B2 (en) 2016-02-11 2020-05-26 Clearpath Robotics Inc. Control augmentation apparatus and method for automated guided vehicles
AT518498B1 (de) * 2016-03-29 2018-09-15 B & R Ind Automation Gmbh Positionsüberwachung einer Kinematik
DE102016004902A1 (de) * 2016-04-22 2017-10-26 Kuka Roboter Gmbh Überwachung eines Roboters
DE102016004889A1 (de) * 2016-04-22 2017-10-26 Kuka Roboter Gmbh Zufuhr von elektrischer Energie und/oder Kraftstoff zu einem Kraftfahrzeug mittels eines Roboters
WO2017185207A1 (zh) * 2016-04-25 2017-11-02 深圳普得技术有限公司 一种感知机器人及其感知方法
US10275982B2 (en) * 2016-05-13 2019-04-30 Universal Entertainment Corporation Attendant device, gaming machine, and dealer-alternate device
US9868214B2 (en) * 2016-06-20 2018-01-16 X Development Llc Localization of a mobile system
JP6470235B2 (ja) * 2016-07-27 2019-02-13 ファナック株式会社 安全管理方法および安全管理システム
CN107717982B (zh) * 2016-08-12 2020-09-25 财团法人工业技术研究院 机械手臂的控制装置及操作方法
US11000953B2 (en) * 2016-08-17 2021-05-11 Locus Robotics Corp. Robot gamification for improvement of operator performance
US10414048B2 (en) 2016-09-14 2019-09-17 Faro Technologies, Inc. Noncontact safety sensor and method of operation
CN106406312B (zh) * 2016-10-14 2017-12-26 平安科技（深圳）有限公司 导览机器人及其移动区域标定方法
US10829347B2 (en) 2016-11-22 2020-11-10 Manitowoc Crane Companies, Llc Optical detection system for lift crane
GB2559020B (en) * 2016-11-28 2021-11-03 Faro Tech Inc Noncontact safety sensor and method of operation
JP6420296B2 (ja) * 2016-12-01 2018-11-07 ファナック株式会社 ロボットの干渉領域を自動で設定するロボット制御装置
KR20180076450A (ko) * 2016-12-28 2018-07-06 한국기계연구원 로봇의 충돌 방지 장치 및 방법
US11518051B2 (en) 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US20230191635A1 (en) * 2017-01-13 2023-06-22 Clara Vu Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11541543B2 (en) 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US10099372B2 (en) 2017-02-07 2018-10-16 Veo Robotics, Inc. Detecting and classifying workspace regions for safety monitoring
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
US11945119B2 (en) 2017-02-07 2024-04-02 Veo Robotics, Inc. Crosstalk mitigation for multi-cell workspace monitoring
US11097422B2 (en) 2017-02-07 2021-08-24 Veo Robotics, Inc. Safety-rated multi-cell workspace mapping and monitoring
US11679504B2 (en) 2018-02-06 2023-06-20 Veo Robotics, Inc. Crosstalk mitigation for multi-cell workspace monitoring
JP6866673B2 (ja) * 2017-02-15 2021-04-28 オムロン株式会社 監視システム、監視装置、および監視方法
JP6490121B2 (ja) * 2017-02-17 2019-03-27 ファナック株式会社 ロボットシステム
WO2018168536A1 (en) * 2017-03-14 2018-09-20 Omron Corporation Learning apparatus and learning method
JP6900918B2 (ja) * 2017-03-14 2021-07-07 オムロン株式会社 学習装置及び学習方法
DK201700203A1 (en) * 2017-03-23 2018-11-27 Mrr Safety system for collaborative robot
US10766140B2 (en) * 2017-04-13 2020-09-08 Battelle Memorial Institute Teach mode collision avoidance system and method for industrial robotic manipulators
JP6953778B2 (ja) * 2017-04-28 2021-10-27 オムロン株式会社 協調ロボット、コントローラ、および方法
JP6416980B1 (ja) * 2017-05-17 2018-10-31 ファナック株式会社 監視領域を分割した空間領域を監視する監視装置
WO2018213931A1 (en) 2017-05-25 2018-11-29 Clearpath Robotics Inc. Systems and methods for process tending with a robot arm
CN107363831B (zh) * 2017-06-08 2020-01-10 中国科学院自动化研究所 基于视觉的遥操作机器人控制系统及方法
DE102017005604A1 (de) * 2017-06-12 2018-12-13 Kuka Deutschland Gmbh Überwachung eines Roboters
EP3432099B1 (en) * 2017-07-20 2021-09-01 Siemens Aktiengesellschaft Method and system for detection of an abnormal state of a machine
US11001446B2 (en) 2017-08-31 2021-05-11 Clearpath Robotics Inc. Apparatus, systems, and methods for payload pick-up and drop-off with a self-driving material-transport vehicle
WO2019041043A1 (en) 2017-08-31 2019-03-07 Clearpath Robotics Inc. SYSTEMS AND METHODS FOR GENERATING A MISSION FOR A SELF-CONTAINING MATERIAL TRANSPORT VEHICLE
US11072071B2 (en) * 2017-09-19 2021-07-27 Autodesk, Inc. Modifying robot dynamics in response to human presence
JP6633584B2 (ja) * 2017-10-02 2020-01-22 ファナック株式会社 ロボットシステム
US10564823B1 (en) 2017-10-03 2020-02-18 Sprint Communications Company L.P. Mobile device transparent screen overlay
WO2019084686A1 (en) * 2017-10-31 2019-05-09 Clearpath Robotics Inc. Systems and methods for operating robotic equipment in controlled zones
EP3495202B1 (en) * 2017-12-05 2020-08-19 Guima Palfinger S.A.S. Truck-mountable detection system
ES1222444Y (es) * 2017-12-06 2019-03-22 Wide Automation S R L Sistema de seguridad
US11830131B2 (en) 2018-02-06 2023-11-28 Veo Robotics, Inc. Workpiece sensing for process management and orchestration
US20220088787A1 (en) * 2018-02-06 2022-03-24 Clara Vu Workplace monitoring and semantic entity identification for safe machine operation
US20210205995A1 (en) * 2018-02-06 2021-07-08 Clara Vu Robot end-effector sensing and identification
TWI664573B (zh) 2018-05-11 2019-07-01 國立交通大學 動作計算裝置、機器人系統及機器人控制方法
CN108789500B (zh) * 2018-05-24 2021-11-05 上海节卡机器人科技有限公司 人机安全防护系统及安全防护方法
EP3578320B1 (de) 2018-06-07 2021-09-15 Sick Ag Konfigurieren einer von einem 3d-sensor überwachten gefahrenstelle
CN112262028B (zh) * 2018-06-11 2024-03-15 松下知识产权经营株式会社 测距系统及测距方法
DE102018114156B3 (de) * 2018-06-13 2019-11-14 Volkswagen Aktiengesellschaft Verfahren zur Steuerung eines Roboters, insbesondere eines Industrieroboters, sowie Vorrichtung zur Steuerung des Roboters
JP7155660B2 (ja) * 2018-06-26 2022-10-19 セイコーエプソン株式会社 ロボット制御装置およびロボットシステム
CN108858193B (zh) * 2018-07-06 2020-07-03 清华大学深圳研究生院 一种机械臂抓取方法及系统
JP7107091B2 (ja) * 2018-08-22 2022-07-27 セイコーエプソン株式会社 ロボットシステム及び制御装置
EP3843956A4 (en) 2018-08-30 2021-12-22 Veo Robotics, Inc. SYSTEM IDENTIFICATION OF THE DYNAMICS OF INDUSTRIAL ROBOTS FOR SAFETY CRITICAL APPLICATIONS
JP7136507B2 (ja) 2018-08-30 2022-09-13 ヴェオ ロボティクス， インコーポレイテッド 深度感知コンピュータビジョンシステム
US11156981B2 (en) 2018-08-30 2021-10-26 Veo Robotics, Inc. Systems and methods for automatic sensor registration and configuration
US11969898B2 (en) * 2018-12-17 2024-04-30 Datalogic Ip Tech S.R.L. Multi-sensor optimization of automatic machines to prevent safety issues
DE102018133472B3 (de) * 2018-12-21 2020-03-12 Franka Emika Gmbh Bewegungsüberwachung eines Robotermanipulators
JP7378168B2 (ja) 2019-02-27 2023-11-13 ヴェオ ロボティクス， インコーポレイテッド 安全用途のためのシステムアーキテクチャ
EP3941693A4 (en) * 2019-03-20 2022-11-30 Covidien LP ROBOTIC SURGICAL COLLISION DETECTION SYSTEMS
GB2583485B (en) * 2019-04-29 2021-09-01 Arrival Ltd A system for preventing collisions in a robotic cell environment
CN110026718B (zh) * 2019-05-21 2021-04-02 郑万众 一种具有预警功能的智能焊接机器人手臂
MX2022006131A (es) * 2019-12-05 2022-06-17 Magna Int Inc Metodo y configuracion para robotica sin vallas.
US11669988B1 (en) * 2020-02-10 2023-06-06 4DMobile, LLC System and method for three-dimensional box segmentation and measurement
CN112060058B (zh) * 2020-09-08 2022-02-01 广州云弈科技有限公司 一种用于区块链智能机器人的防护底座
WO2022081908A2 (en) * 2020-10-15 2022-04-21 Intuitive Surgical Operations, Inc. Detection and mitigation of predicted collisions of objects with user control system
JP2022175508A (ja) * 2021-05-13 2022-11-25 オムロン株式会社 領域設定装置、ラック、制御システム、領域設定方法及びプログラム
EP4131139A1 (de) * 2021-08-03 2023-02-08 Sick Ag Sensoranordnung und verfahren zum absichern eines überwachungsbereichs
KR20230057649A (ko) * 2021-10-22 2023-05-02 주식회사 한화 로봇 안전 감시 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548694A (en) * 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
CN1720008A (zh) * 2002-12-06 2006-01-11 皇家飞利浦电子股份有限公司 用于设备的自动定位的装置和方法
US20060049939A1 (en) * 2004-09-08 2006-03-09 Sick Ag Method and apparatus for the control of a safety-relevant function of a machine
US20090237499A1 (en) * 2006-08-02 2009-09-24 Ulrich Kressel Method for observation of a person in an industrial environment
US20090316135A1 (en) * 2007-03-06 2009-12-24 Cedes Ag Sensor device and system having a conveyor and a sensor device
US20110264266A1 (en) * 2008-12-03 2011-10-27 Abb Research Ltd. Robot safety system and a method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347459A (en) * 1993-03-17 1994-09-13 National Research Council Of Canada Real time collision detection
EP1472052A2 (en) 2002-01-31 2004-11-03 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
US7315738B1 (en) 2003-09-11 2008-01-01 Sprint Spectrum L.P. Method and system for managing multiple directory numbers for a mobile station
DE102004041821A1 (de) * 2004-08-27 2006-03-16 Abb Research Ltd. Vorrichtung und Verfahren zur Sicherung eines maschinell gesteuerten Handhabungsgerätes
CN100556623C (zh) * 2004-10-19 2009-11-04 松下电器产业株式会社 自动机械装置
EP1906281B1 (de) * 2006-09-30 2011-04-06 ABB Technology AG Verfahren und System zur Auslegung und Überprüfung von Sicherheitsbereichen eines Roboters
US8315738B2 (en) * 2008-05-21 2012-11-20 Fanuc Robotics America, Inc. Multi-arm robot system interference check via three dimensional automatic zones
US7790920B2 (en) 2008-09-11 2010-09-07 Lyondell Chemical Technology, L.P. Preparation of acetic acid
KR101572851B1 (ko) 2008-12-22 2015-11-30 삼성전자 주식회사 동적 환경에서 모바일 플랫폼의 지도 작성방법
JP4648486B2 (ja) * 2009-01-26 2011-03-09 ファナック株式会社 人間とロボットとの協調動作領域を有する生産システム
US8415609B2 (en) * 2009-01-31 2013-04-09 Keyence Corporation Safety photoelectric switch
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US20120209069A1 (en) 2009-11-04 2012-08-16 Koninklijke Philips Electronics N.V. Collision avoidance and detection using distance sensors
KR101151707B1 (ko) * 2009-12-30 2012-06-15 한국기술교육대학교 산학협력단 Ｃｔｓ를 이용한 물체감지 및 이동로봇 시스템
WO2011084160A1 (en) * 2010-01-08 2011-07-14 Otis Elevator Company Wireless destination entry for elevator dispatching system
DE102010002250B4 (de) 2010-02-23 2022-01-20 pmdtechnologies ag Überwachungssystem
DE102010063208A1 (de) * 2010-12-16 2012-06-21 Robert Bosch Gmbh Verfahren zum Betreiben einer Sicherungseinrichtung für eine Handhabungsvorrichtung, Sicherungseinrichtung für eine Handhabungsvorrichtung und Handhabungsvorrichtung
WO2014036549A2 (en) * 2012-08-31 2014-03-06 Rethink Robotics, Inc. Systems and methods for safe robot operation
US9452531B2 (en) * 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548694A (en) * 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
CN1720008A (zh) * 2002-12-06 2006-01-11 皇家飞利浦电子股份有限公司 用于设备的自动定位的装置和方法
US20060049939A1 (en) * 2004-09-08 2006-03-09 Sick Ag Method and apparatus for the control of a safety-relevant function of a machine
US20090237499A1 (en) * 2006-08-02 2009-09-24 Ulrich Kressel Method for observation of a person in an industrial environment
US20090316135A1 (en) * 2007-03-06 2009-12-24 Cedes Ag Sensor device and system having a conveyor and a sensor device
US20110264266A1 (en) * 2008-12-03 2011-10-27 Abb Research Ltd. Robot safety system and a method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAUL RYBSKI, ET AL.: "Sensor Fusion for Human Safety in Industrial Workcells", 《2012 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS(IROS)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109514322A (zh) * 2018-11-02 2019-03-26 拓卡奔马机电科技有限公司 裁床安全防护系统及方法
CN109794940A (zh) * 2019-03-01 2019-05-24 北京达盛智联教育技术有限公司 一种双目人工智能机械臂教学装置
CN109732560A (zh) * 2019-03-14 2019-05-10 北京物资学院 一种喷绘机器人

Also Published As

Publication number Publication date
US10994419B2 (en) 2021-05-04
EP3715065A1 (en) 2020-09-30
EP3102367A2 (en) 2016-12-14
EP3102367B1 (en) 2020-05-13
US20150217455A1 (en) 2015-08-06
KR20160117559A (ko) 2016-10-10
US10195741B2 (en) 2019-02-05
WO2015119838A2 (en) 2015-08-13
US20160354927A1 (en) 2016-12-08
EP3715065B1 (en) 2022-01-26
US9452531B2 (en) 2016-09-27
WO2015119838A3 (en) 2016-06-16
KR102293263B1 (ko) 2021-08-23
US20190118381A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
CN106471546A (zh) 在移动对象存在的情况下控制机器人
CN105094005B (zh) 光学安全系统、用于控制机动化工业设备的方法和计算机可读介质
JP5283622B2 (ja) 機械の衝突防止のためのカメラを利用した監視方法及び装置
Schmidt et al. Depth camera based collision avoidance via active robot control
US8698898B2 (en) Controlling robotic motion of camera
CN111263921B (zh) 碰撞检测系统和计算机实现方法
JP2019519387A (ja) 拡張現実ロボットシステムの可視化
EP3948782A1 (en) Robotic control based on 3d bounding shape, for an object, generated using edge-depth values for the object
CN111183401B (zh) 监视系统及监视方法
CN102448681A (zh) 动作空间提示装置、动作空间提示方法以及程序
JP6598191B2 (ja) 画像表示システムおよび画像表示方法
CN105303887B (zh) 用于监视车辆的期望轨迹的方法和设备
CA2970343A1 (en) Apparatus and method for centrally managing human interface sensors and actuators in interactive machines
Burner et al. Evimo2: an event camera dataset for motion segmentation, optical flow, structure from motion, and visual inertial odometry in indoor scenes with monocular or stereo algorithms
Puljiz et al. Implementation of augmented reality in autonomous warehouses: challenges and opportunities
CN112001050B (zh) 设备调试管控方法、装置、电子设备及可读存储介质
CN115565058A (zh) 机器人、避障方法、装置和存储介质
RU2685996C1 (ru) Способ и система предиктивного избегания столкновения манипулятора с человеком
CN113226666A (zh) 用于监控机器人系统的方法和装置
Kidiraliev et al. Using optical sensors for industrial robot-human interactions in a Gazebo environment
Wang et al. Safety in human-robot collaborative assembly
Sato et al. Teleoperation system using past image records considering moving objects
CN115213883A (zh) 机器人控制方法、装置、介质及设备
CN114074320A (zh) 机器人控制方法及装置
CN117484491A (zh) 机器人控制方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170301