CN107486857A - 机器人系统 - Google Patents

机器人系统 Download PDF

Info

Publication number
CN107486857A
CN107486857A CN201710415403.6A CN201710415403A CN107486857A CN 107486857 A CN107486857 A CN 107486857A CN 201710415403 A CN201710415403 A CN 201710415403A CN 107486857 A CN107486857 A CN 107486857A
Authority
CN
China
Prior art keywords
robot
image information
operator
range image
security monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710415403.6A
Other languages
English (en)
Other versions
CN107486857B (zh
Inventor
高桥祐辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN107486857A publication Critical patent/CN107486857A/zh
Application granted granted Critical
Publication of CN107486857B publication Critical patent/CN107486857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34466—Bad circuits, watchdog, alarm, indication
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40203—Detect position of operator, create non material barrier to protect operator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

该机器人系统包括：在距离图像信息中将操作者S识别为安全监视对象的识别单元、在距离图像信息中设定机器人10可以访问且操作者S也可以访问的共同操作区域A2的区域设定单元、以及在距离图像信息中对操作者S为了访问共同操作区域A2而能够超越但机器人10不可超越的第一边界B1及机器人10为了访问共同操作区域A2而能够超越但操作者S不可超越的第二边界B2的边界进行设定的设定单元，所述机器人系统可以检测安全监视对象是否侵入第二边界B2以及未被识别为安全监视对象的非对象物体是否侵入第一边界B1。

Description

机器人系统
技术领域
本发明涉及一种具有机器人的机器人系统，所述机器人进行加工件的输送、对加工件的加工等，更加具体地，涉及一种具有作业中的安全监视功能的机器人系统。
背景技术
在现有的机器人系统中，通过安全护栏物理性地分开了操作者可进入的区域，即操作者侧区域和机器人进行作业的机器人侧区域。但是，为了进行加工件的供给、夹具或模子的更换等，有时需要操作者进入到机器人侧区域。虽然利用安全护栏物理性地分离区域比较简单且具有较高的安全性，但由于操作者进入机器人侧区域时需要打开安全护栏的门锁，因而从提高生产率方面考虑并不理想。
近年来，公开了一种机器人系统：其具有为了提高生产率而配置在机器人侧区域与操作者侧区域之间的光幕以及对光幕的工作和非工作状态进行切换的安全垫开关，当安全垫开关上未增加操作者的体重时，光幕变成非工作状态，进入到机器人臂部能够移动到操作者侧区域的状态，当安全垫开关上增加有操作者的体重时，光幕变成工作状态，当操作者或机器人臂部侵入到光幕的检测范围内时，使机器人停止(例如，参照专利文献1)。
并且，还公开有如下机器人系统：通过摄像装置以机器人和操作者进入视角内的方式进行拍摄，获取从摄像装置到拍摄对象的距离信息，始终监视机器人与操作者之间的距离(例如，参照专利文献2)。
另外，还公开有如下机器人系统：具有设在靠近机器人侧区域的的多个地面反射标记、安装于操作者的操作者反射标记、向机器人侧区域以及地面反射标记照射光的LED光源以及接收来自各反射标记的反射光的受光元件(例如，参照专利文献3)。
现有技术文献
专利文献
专利文献1：日本特开2007-283450号公报
专利文献2：日本特开2012-223831号公报
专利文献3：日本特开2010-231713号公报
发明内容
发明所要解决的问题
如上所述，采用通过安全垫开关使光幕工作的构成时，例如，如果操作者忘记了通过安全垫开关来使光幕工作的体系结构，或者不了解该体系结构而登上操作台进行作业时，光幕处于非工作状态，无法保证操作者的安全。
并且，采用基于由摄像装置获取的图像始终监视机器人与操作者的距离的构成时，需要在图像上确切地识别出操作者，但是有时操作者可能会进入到摄像装置的盲区，并且，根据摄像装置的精确度、操作者穿着的衣服或帽子的颜色或状态的不同，摄像装置识别操作者的精确度有可能会降低，因此操作者有时处于无法安心操作的状态。
并且，采用通过受光部检测来自地面反射标记以及添加在操作者身上的操作者反射标记的反射光的方式时，例如需要按照特殊的图案发射LED，所以装置的构成变得复杂，不具有现实操作性。
鉴于这些问题，本发明的目的在于提供一种能够提高安全监视的可靠性的机器人系统。
解决问题的手段
为了解决上述技术问题，本发明采用如下手段。
本发明一方面的机器人系统包括：距离图像信息获取单元，用于在时间上连续地获取距离图像信息，所述距离图像信息包括机器人的作业区域的至少一部分和操作者或者其他机器人可进入区域的至少一部分；基准图像信息存储部，至少存储有一个基准图像信息，所述基准图像信息用于与所述连续的距离图像信息中出现的图像进行对照，通过所述对照在所述连续的距离图像信息中识别所述操作者或者所述其他机器人；识别单元，参照所述基准图像信息，在所述连续的距离图像信息中将所述操作者或者所述其他机器人识别为安全监视对象；区域设定单元，在所述连续的距离图像信息中，设定共同操作区域，所述机器人能够访问所述共同操作区域，同时，被识别为所述安全监视对象的操作者或者被识别为所述安全监视对象的其他机器人也能够访问所述共同操作区域；边界设定单元，在所述连续的距离图像信息中，设定第一边界，并且设定第二边界，被识别为所述安全监视对象的操作者或者被识别为所述安全监视对象的其他机器人为了访问所述共同操作区域而能够超越所述第一边界，而所述机器人以及未被识别为安全监视对象的非对象物体无法超越所述第一边界，所述机器人为了访问所述共同操作区域能够超越所述第二边界，而所述操作者或者所述其他机器人无法超越所述第二边界；以及，越境检测单元，在所述连续的距离图像信息中，检测所述安全监视对象是否侵入第二边界以及未被识别为所述安全监视对象的非对象物体是否侵入所述第一边界。
在这一方面中，在时间上连续获取的距离图像信息中，操作者或者其他机器人被识别为安全监视对象，因此操作者或者其他机器人在连续的距离图像信息中被跟踪。因此，能够在连续的距离图像信息中不会丢失操作者或者其他机器人而进行持续监视。通过这样，对操作者或者其他机器人是否侵入到第二边界进行确切地检测，例如在检测后停止机器人或者使机器人进行躲避危险的动作，从而可以避免操作者或者其他机器人与机器人接触。
并且，在连续的距离图像信息中，设定有：为了从操作者或者其他机器人侧访问共同操作区域而超越的第一边界和位于共同操作区域内的机器人侧的第二边界，虽然只要被识别为安全监视对象就可以超越第一边界后访问共同操作区域，但是当未被识别为安全监视对象的非对象物体为了访问共同操作区域而超越第一边界时，则会检测到其侵入。因此，例如当非操作者且对安全作业的知识了解不够充分的人员向共同操作区域移动时，在其侵入第一边界的时间点就可以检测到该移动，因此，例如可以通过停止机器人或者使机器人进行躲避危险的动作，避免对安全作业的知识不够充分了解的人员与机器人接触。
在上述方面中，优选地，还包括：机器人停止单元，当通过所述越境检测单元检测到所述安全监视对象或者所述非对象物体的侵入时，停止所述机器人。
如果具有这样的构成，则在出现所述机器人的动作异常或者所述夹具、加工件的意外移动时停止机器人，因此有利于确保操作者的安全及防止机器人的故障。
在上述方面中，优选地，所述识别单元被构成为：将在所述连续的距离图像信息中与所述操作者或者所述其他机器人形成为一体，且与所述操作者或者所述其他机器人一起移动的物体也识别为所述安全监视对象。
如果具有这样的构成，则除了操作者和其他机器人之外，通过操作者或其他机器人搬运的物品也变成安全监视对象，因而能够防止该物品与机器人的接触等，非常有利于确保操作者的安全及防止机器人的故障。
在上述方面中，优选地，所述基准图像信息用于与添加在所述操作者或者所述其他机器人上的标记相对照，且所述操作者或者所述其他机器人出现在所述连续的距离图像信息中，通过该对照将在所述连续的距离图像信息中与对应于所述标记的图像一体的物体识别为所述安全监视对象。
如果具有这样的构成，则不根据操作者的体格或其他机器人的种类，而只是通过标记的对照就能够识别安全监视对象，因此能够提供对于操作者来说安全的环境，并能够简单且确切地防止机器人与其他机器人的接触。
在上述方面中，优选地，所述机器人停止单元被构成为：在所述连续的距离图像信息中对应于所述标记的图像出现超过指定基准的变化时，停止所述机器人。
例如，在操作者的头盔上带有标记，当操作者移动到通常的作业中不会去的位置，并且拍摄距离图像的装置与头盔之间分布有障碍物时，或者操作者采取在通常的作业中不会采取的姿势时，从拍摄距离图像的装置的一侧观察时，标记的形状会发生变化。在这种情况下，停止机器人，因而非常有利于确保操作者的安全。
在上述方面中，优选地，还包括：显示装置，用于显示在所述连续的距离图像信息中所述安全监视对象是否被识别单元识别。
通过观看显示装置，操作者可以了解到自己是否被识别为安全监视对象，因此能够防止在未被识别为安全监视对象的情况下在共同操作区域进行作业，或者防止出现由于不了解自己是否被识别为安全监视对象而待机的待机时间。
在上述方面中，优选地，所述基准图像信息包括关于所述操作者的身高以及体格的信息。
如果具有这样的构成，例如，可以防止虽然佩戴了带有标记的头盔但未得到许可的人员在共同操作区域进行作业，因此非常有利于提高安全性。
在上述方面中，优选地，所述基准图像信息存储部存储有机器人基准图像信息，所述机器人基准图像信息用于在所述连续的距离图像信息中与添加在所述机器人上的机器人用标记进行对照，通过该对照在所述连续的距离图像信息中识别所述机器人，所述识别单元被构成为：参照所述机器人基准图像信息，在所述连续的距离图像信息中将所述机器人识别为安全监视对象机器人，所述越境检测单元被构成为：在所述连续的距离图像信息中，检测所述安全监视对象机器人之外的物体是否侵入所述第二边界。
如果具有这样的构成，则还可以跟踪机器人的位置。因此，在共同操作区域中，当机器人超越允许操作者超越但不允许机器人超越的第一边界时、或者机器人采取与通常不同的动作时等，能够立刻到了解这一现象，有利于提高安全性。
发明的效果
本发明的机器人系统能够提高安全监视的可靠性。
附图说明
图1是根据本发明第一实施方式的机器人系统的概略平面图。
图2是第一实施方式的机器人系统的概略正面图。
图3是示出第一实施方式的机器人系统的安全监视控制部动作例子的流程图。
图4是示出第一实施方式的机器人系统的距离图像的局部示意图。
图5是示出第一实施方式的机器人系统的距离图像的局部示意图。
图6是示出第一实施方式的机器人系统的距离图像的局部示意图。
图7是根据本发明第二实施方式的机器人系统的概略平面图。
图8是第二实施方式的机器人系统的概略正面图。
具体实施方式
下面，参照附图对根据本发明第一实施方式的机器人系统进行说明。
如图1和图2所示，该机器人系统包括：进行指定作业的机器人10、机器人10进行作业的操作台20以及包围机器人10和操作台20的安全护栏30。在该机器人系统中，当操作者S进行操作台20上的夹具、模具、加工件等的更换或调整时，操作者S有时会将手或头部配置在操作台20的上方。在从操作台20观察的与机器人10相反侧的部分，在安全护栏30的一部分设有用于操作者S访问操作台20的开口部31。
该机器人系统还包括：设于操作台20上方的距离图像传感器40，其在图1及图2中的两点虚线所表示的视野中不间歇地拍摄距离图像以拍到机器人10的作业区域中的至少一部分和操作者S可进入区域中的至少一部分，以及支承于安全护栏30的显示装置50。显示装置50配置在靠近开口部31的操作者S能够看到的位置且具有液晶画面。在此，将相隔指定时间拍摄距离图像的情况称为时间上连续地拍摄，未相隔时间间隔连续拍摄距离图像的情况也称为时间上连续地拍摄。
机器人10构成为，例如具有：固定于地面的基底11；基部12，在上下方向延伸的轴线周围支承于基底11；基端侧臂部13，以在大致水平方向绕轴线可旋转的方式支承于基部12；前端侧臂部14，以在大致水平方向绕轴线可旋转的方式支承于基端侧臂部13的前端的；以及前端部15，以在大致水平方向绕轴线可旋转的方式支承于前端侧臂部14的前端部的，由前端部15进行操作台20上的加工件的移动、对加工件的加工等。
机器人10上设有：基部12的旋转用伺服电机、基端侧臂部13的旋转用伺服电机、前端侧臂部14的旋转用伺服电机、前端部15的旋转用伺服电机，各伺服电机连接于机器人控制部16，由机器人控制部16进行控制。
作为距离图像传感器40，例如可以采用立体相机、TOF(Time of Flight：飞行时间)方式的距离图像传感器等。距离图像传感器40是针对所拍摄到的图像的每一个像素，得到有关拍摄到的物体与距离图像传感器40的距离信息的部件。
该机器人系统具有安全监视控制部60，以含有与上述距离相关的信息的状态接收由距离图像传感器40拍摄到的距离图像，并基于接收到的距离图像，进行各种判断。安全监视控制部60还连接于机器人控制部16及显示装置50，并且根据判断结果对机器人控制部16以及显示装置50进行控制。
安全监视控制部60具有图像处理部61和存储装置62。安全监视控制部60基于存储在存储装置62中的图像处理程序对从距离图像传感器40接收到的每一个距离图像进行二值化处理等公知的图像处理，并且将每个处理后图像与对应的距离图像一起存储在存储装置62中。存储装置62还可以是具有临时存储器的装置。像这样，处理后图像、距离图像以及与距离相关的信息按照时间顺序存储在存储装置62中。在本实施方式中，虽然将处理后图像、距离图像和与距离相关的信息的组合作为距离图像信息来处理，但是也可以将处理后图像和与距离相关的信息的组合作为距离图像信息来处理，还可以将距离图像和与距离相关的信息的组合作为距离图像信息来处理，还可以将其他的相同的信息作为距离图像信息来处理。
并且，安全监视控制部60基于图像处理程序进行动作，通过利用所述距离图像信息中的与距离相关的信息，从而在各距离图像中判断或估计每一个像素的高度方向的位置坐标，每一个像素的高度方向的位置坐标也作为距离图像信息的一部分存储在存储装置62中。
安全监视控制部60基于存储在存储装置62中的安全监视程序进行动作，并且利用距离图像信息进行安全监视。参照图3的流程图对这种情况下的安全监视控制部60的动作进行说明。
例如操作者S在未图示的输入部中输入开始监视的命令，安全监视控制部60在接收到该命令信号时(步骤S1)，按照时间顺序，开始在连续的距离图像信息中设定图1以及图2示出的操作者识别区域A1以及共同操作区域A2的处理(步骤S2)。例如，对各距离图像信息中的距离图像或处理后图像进行操作者识别区域A1以及共同操作区域A2的设定。操作者识别区域A1是图1以及图2中被一点虚线围住的区域，共同操作区域A2是图1以及图2中通过斜线表示的区域。共同操作区域A2是操作者S可以访问且机器人10也可以访问的区域。
并且，安全监视控制部60按照时间顺序，开始在连续的距离图像信息中设定图1以及图2示出的操作者侧边界B1以及机器人侧边界B2的处理(步骤S3)。例如，对各距离图像信息中的距离图像或处理后图像进行图1和图2示出的操作者侧边界B1以及机器人侧边界B2的设定。操作者侧边界B1是操作者S访问共同操作区域A2时超越的边界面，机器人侧边界B2是机器人10访问共同操作区域A2时超越的边界面。
并且，安全监视控制部60判断机器人10是否进入到共同操作区域A2内(步骤S4)，当机器人10进入到共同操作区域A2内时，不再进行步骤S4之后的步骤，而是执行后述的步骤S13，返回步骤S4。并且，在机器人10进入到共同操作区域A2内的期间，显示装置50示出机器人10位于指定的区域(步骤S14)。
因此，操作者S可以了解到还不能进行共同操作区域A2的作业。在步骤S13中，安全监视控制部60判断未被识别为安全监视对象的非对象物体或者机器人10是否侵入到操作者侧边界B1(步骤S13)。如果在步骤S13中判断存在侵入，则安全监视控制部60向机器人控制部16发送停止机器人10的停止命令(步骤S12)。
在机器人10未进入共同操作区域A2内时，显示装置50示出机器人10不在作业区域内(步骤S15)。因此，操作者S能够识别出机器人不在共同操作区域A2。
接着，安全监视控制部60按照时间顺序参照连续的距离图像信息，判断其中的处理后图像中的操作者识别区域A1内是否存在例如图1示出的标记M(步骤S5)。当不存在标记M时，与步骤S4中的机器人10进入到共同操作区域A2内时相同，执行步骤S13，返回至步骤S4。
在本实施方式中，标记M由添加在操作者S的头盔或帽子上面的三个黑色正方形着色部构成。三个正方形着色部配置为沿操作者S的宽度方向(左右方向)排列，中间的正方形着色部配置在相对于其他两个正方形着色部的操作者S的前方。因此，看到标记M，即可判断或推测出操作者S是朝着哪个方向。
并且，存储装置62将所述标记M的基准图像作为基准图像信息进行存储，安全监视控制部60按照安全监视程序，对照距离图像信息中的标记M的图像和基准图像信息中的标记M的基准图像，利用公知的相关匹配或边匹配等的图像匹配方法，对步骤S5中是否存在标记M进行判断。具体地，当双方以基准的阈值以上的相似度吻合时，在步骤S5可以判断为存在标记M。
另外，基准图像信息可以包括除了标记M之外的多个基准图像，这种情况下，安全监视控制部60对照距离图像信息中的图像和多个基准图像。作为标记M，还可以使用二维码或特定的图形。
需要说明的是，正方形着色部可以由在距离图像信息中无法表示高度信息且反射率较低或者反射率较高的材质等构成。并且，在本实施方式中，虽然在标记M完全进入到操作者识别区域A1内时判断为标记M存在，但是，还可以在标记M的一部分进入到操作者识别区域A1内时也判断为标记M存在。
并且，在步骤S5中，还可以不特别设定操作者识别区域A1，只判断处理后图像中是否存在标记M。
当在步骤S5中判断操作者识别区域A1内存在标记M时，使显示装置50显示，示出操作者S位于指定的区域(步骤S6)。并且，在分别对应于各处理后图像的连续的距离图像中，安全监视控制部60将被拍摄为与标记M一体状且随着标记M的移动而移动的物体(操作者等)识别为安全监视对象(步骤S7)。
例如，对于如图4的上图那样的距离图像，其下图的斜线范围被识别为安全监视对象。并且，对于如图5上图那样的距离图像，当操作者S与平板车一起移动，操作者S与平板车接触时，其下图的斜线范围被识别为安全监视对象。并且，对于如图6的上图那样的距离图像，当操作者S离开了平板车时，其下图的斜线范围被识别为安全监视对象。在图6中，平板车是非对象物体，而不是安全监视对象。
并且，存储在存储装置62中的基准图像信息还可以具有表示从上方观察操作者S时的形状的基准图像。这种情况下，可以构成为在步骤S5以及/或者S7中，安全监视控制部60对照距离图像信息中的图像和基准图像，当距离图像信息中存在以基准阈值以上的相似度与基准图像吻合的图像时，将对应于该图像的物体识别为安全监视对象。
接着，安全监视控制部60按照时间顺序参照连续的距离图像信息，判断安全监视对象是否持续存在于操作者识别区域A1内或距离图像内(步骤S8)，当不存在时，控制显示装置50显示操作者S不在指定的区域(步骤S9)。
接着，安全监视控制部60对未被识别为安全监视对象的非对象物体是否侵入操作者侧边界B1进行判断(步骤S10)。例如，在头盔上未带有标记M的人员，即当不是操作者S的可能性很高的人员或者对于安全作业的知识不够充分了解的操作者S侵入该区域时，其被识别为不是安全监视对象的非对称物体，并对其是否侵入操作者侧边界B1进行判断。
并且，安全监视控制部60按照时间顺序参照连续的距离图像信息，对安全监视对象是否侵入机器人侧边界B2或者未被识别为安全监视对象的非对象物体是否侵入机器人侧边界B2进行判断(步骤S11)。
当在步骤S10或者步骤S11中判断为存在侵入时，向机器人控制部16发送用于停止机器人10的停止命令(步骤S12)。
在步骤S10以及步骤S11，安全监视对象只要在距离图像信息中的距离图像上与操作者侧边界B1或机器人侧边界B2有一点重叠儿，则判断为存在侵入，但是，还可以在安全监视对象在距离图像信息中的距离图像上超越操作者侧边界B1或机器人侧边界B2时判断为存在侵入。
根据本实施方式，在时间上连续地获取的距离图像信息中，操作者S被识别为安全监视对象，所以操作者S在连续的距离图像信息中被跟踪。因此，在连续的距离图像信息中能够不丢失操作者S进行持续监视。通过这样，能够确切地检测到操作者S进入到不允许侵入的边界时(机器人侧边界B2)的情况。在本实施方式中，在检测到侵入后可以停止机器人10，还可以使机器人10进行躲避危险的动作。
在连续的距离图像信息中，设有用于从操作者S侧访问共同操作区域A2而超越的操作者侧边界B1(第一边界)和共同操作区域A2中的位于机器人10侧的机器人侧边界B2(第二边界)，如果被识别为安全监视对象，则可以超越操作者侧边界B1后访问共同操作区域A2，但是，当未被识别为安全监视对象的非对象物体为了访问共同操作区域A2而超越操作者侧边界B1时，其侵入会被检测到。因此，例如当不是操作者S的、对安全作业的知识不够充分了解的人员朝着共同操作区域A2移动时，在其侵入操作者侧边界B1的那一刻，其移动将会被检测到，因此通过例如停止机器人10或者使机器人10进行躲避危险的动作，可以避免对安全作业的知识不够充分了解的人员与机器人10接触。
并且，机器人10是非对象物体，因此当发生机器人10通过共同操作区域A2后超越操作者侧边界B1等的异常状况时，可以检测到该异常。或者，当发生共同操作区域A2内的夹具或加工件等意外地向操作者S侧移动等的异常或操作者S持有的夹具或加工件脱离操作者S的手后进入到共同操作区域A2内等的异常时，也能够检测到这些异常。
并且，构成为在连续的距离图像信息中跟踪操作者S时，在前一帧中识别到标记M的附近尝试标记M的对照，从而能够缩短处理时间，并且降低出现检测错误的可能性。
并且，被识别为安全监视对象的操作者S可以是多个。这种情况下，对于多个操作者S中的每一个都进行与上述相同的处理。换言之，进行上述的安全监视处理，直到所有的操作者S都识别不到为止。
在本实施方式中，在检测到侵入时停止机器人10，因而有利于确保操作者S的安全，或防止机器人10的故障。
并且，除了操作者S之外，由操作者S搬运的物品也成为安全监视对象，因而能够防止该物品与机器人10接触等，非常有利于确保操作者S的安全或防止机器人10的故障。
并且，还可以构成为即使在检测到侵入时，也使机器人10在共同操作区域A2之外继续进行作业。这种情况下，无需降低机器人10的可用率，同时确保操作者S的安全。
并且，在本实施方式中，存储在存储装置62中的基准图像信息用于与添加在连续的距离图像信息中显示的操作者S上的标记M的图像进行对照，通过该对照，将在连续的距离图像信息中与标记M的图像一体的物体识别为安全监视对象。因此，无论操作者S的体格如何，都能够通过标记M的对照识别安全监视对象，因此可以容易并可靠地提供对操作者S安全的环境。
另外，还可以构成为：除了步骤S10或步骤S11的侵入判断之外，安全监视控制部60还判断在连续的距离图像信息中对应于标记M的图像出现超过指定基准的变化。例如，执行步骤S10或步骤S11的同时，在连续的距离图像信息中，以基准的阈值以上的相似度符合标记M的基准图像信息的图像消失时，可以判断为对应于标记M的图像出现了超过指定基准的变化。
具体地，当操作者S的头盔上带有标记M，操作者S移动到在通常的作业中不会去的位置且距离图像传感器40与头盔之间分布有障碍物时，或操作者S采取了在通常的作业中不会采取的姿势时，则从距离图像传感器40观察，标记M的形状发生了变化。这时，停止机器人10，因而非常有利于确保操作者S的安全。
同时，标记M可以设在头盔的多处以及操作者S的肩膀上。由此，当操作者S在通常情况下未考虑到的范围内倾斜头部时，如果头盔的其他部分的标记M或肩膀上的标记M的图像符合基准图像信息时，也可以进行判断。
并且，在本实施方式中，通过观看显示装置50，就可以了解到操作者S是否被识别为安全监视对象，从而能够防止未被识别为安全监视对象却在共同操作区域A2进行作业或者出现由于不了解是否被识别为安全监视对象而进行待机的待机时间。
需要说明的是，优选地，存储在存储装置62的基准图像信息含有关于操作者S的身高以及体格的信息。距离图像信息具有距离图像中的操作者S的头部或肩膀的高度信息，所以通过在基准图像信息含有允许作业的操作者S的头部或肩膀的高度信息，从而可以判断头盔上带有标记M的人员是不是允许进行作业的人员。
这种情况下，当判断为头盔上带有标记M但并不是允许进行作业的人员时，安全监视控制部60基于安全监视程序，判断该人员为非对象物体，在其侵入操作者侧边界B1时，停止机器人10。
并且，在未带有标记M的人员侵入操作者侧边界B1时，同样通过安全监视控制部60将该人员识别为非对象物体，当该人员侵入操作者侧边界B1时，安全监视控制部60使机器人10停止。
并且，还可以在机器人10上也添加机器人用标记，存储装置62在连续的距离图像信息中对照添加在机器人10上的机器人用标记，通过该对照在连续的距离图像信息中识别机器人10的机器人基准图像信息。这种情况下，安全监视控制部60可以构成为将机器人10与操作者S同样识别为安全监视对象机器人，并且，在连续的距离图像信息中，检测除了安全监视对象的机器人之外的物体是否侵入机器人侧边界B2。
通过这样，还可以跟踪机器人10的位置，当机器人10在共同操作区域A2中超越了允许操作者S超越但不允许机器人10超越的操作者侧边界B1时，或者机器人10进行了与通常不同的活动时等，能够立即得知这些情况，有利于提高安全性。
在本实施方式中，在距离图像信息中设定了操作者识别区域A1、共同操作区域A2、操作者侧边界B1以及机器人侧边界B2。相对于此，还可以在地面利用胶带等设置操作者识别区域A1、共同操作区域A2、操作者侧边界B1以及机器人侧边界B2，将拍摄在距离图像中的这些区域以及边界用作操作者识别区域A1、共同操作区域A2、操作者侧边界B1以及机器人侧边界B2。这种情况下，在距离图像中物体与操作者侧边界B1或机器人侧边界B2重叠时，可以判断为物体侵入这些边界。
并且，为了识别操作者S还可以采用其他方法。例如，在通过距离图像传感器40拍摄到的推测为操作者S的物体中，判断位于最高部分(头部的顶点)的第一高度位置与从第一高度位置向下方仅移动指定距离的第二高度位置(肩膀的上方位置)之间的该物体的图像是否接近圆形。当接近圆形时，识别为操作者S的头部，提取位于比第二高度位置低的第三高度位置与比第三高度位置低的第四高度位置之间的物体的图像，得到接近该图像的长方形，当该长方形的长边长度在短边长度的指定倍数以上时，识别为肩膀。需要说明的是，第三高度位置和第四高度位置设定为肩膀落入其之间。这样，识别出头部和肩膀时，可以识别出是操作者S。
下面，参照附图对根据本发明第二实施方式的机器人系统进行说明。
如图7以及图8所示，与第一实施方式相比，本实施方式设有其他机器人70，依次来代替操作者S。机器人70的前端部带有标记M，机器人70进行与操作者S相同的作业。
在本实施方式中，利用机器人70来代替操作者S，其他构成与第一实施方式相同。因此，只有例如第一实施方式的操作者识别区域A1是用于机器人70的识别区域、操作者侧边界B1是机器人70的边界、在步骤S7中与标记M一体状拍到的机器人70变成安全监视对象等、将监视对象从操作者S转换为机器人70的微小差异，安全监视控制部60所进行的处理和其他构成实质上相同。
因此，在本实施方式中，也可以在时间上连续地得到的距离图像信息中，机器人70被识别为安全监视对象，机器人70在连续的距离图像信息中被跟踪。从而，在连续的距离图像信息中，可以不丢失机器人70进行持续监视。通过这样，能够确切地检测到机器人70是否进入到不能侵入的边界(机器人侧边界B2)，例如在检测到后停止机器人10，并且，可以使机器人10进行躲避危险的动作。这样，可以利用简单的构成跟踪机器人70，防止机器人10与其他机器人70接触。
对于第一实施方式的其他构成或变形例的构成，同样可以以机器人70来替代操作者S来进行理解。
附图标记
10：机器人
16：机器人控制部
20：操作台
30：安全护栏
31：开口部
40：距离图像传感器
50：显示装置
60：安全监视控制部
61：图像处理部
62：存储装置
A1：操作者识别区域
A2：共同操作区域
B1：操作者侧边界
B2：机器人侧边界

Claims (8)

1.一种机器人系统，包括:
距离图像信息获取单元，用于在时间上连续地获取距离图像信息，所述距离图像信息包括机器人的作业区域的至少一部分和操作者或者其他机器人可进入区域的至少一部分；
基准图像信息存储部，至少存储有一个基准图像信息，所述基准图像信息用于与所述连续的距离图像信息中出现的图像进行对照，通过所述对照在所述连续的距离图像信息中识别所述操作者或者所述其他机器人；
识别单元，参照所述基准图像信息，在所述连续的距离图像信息中将所述操作者或者所述其他机器人识别为安全监视对象；
区域设定单元，在所述连续的距离图像信息中，设定共同操作区域，所述机器人能够访问所述共同操作区域，同时，被识别为所述安全监视对象的操作者或者被识别为所述安全监视对象的其他机器人也能够访问所述共同操作区域；
边界设定单元，在所述连续的距离图像信息中，设定第一边界，并且设定第二边界，被识别为所述安全监视对象的操作者或者被识别为所述安全监视对象的其他机器人为了访问所述共同操作区域而能够超越所述第一边界，而所述机器人以及未被识别为安全监视对象的非对象物体无法超越所述第一边界，所述机器人为了访问所述共同操作区域而能够超越所述第二边界，而所述操作者或者所述其他机器人无法超越所述第二边界；以及
越境检测单元，在所述连续的距离图像信息中，检测所述安全监视对象是否侵入所述第二边界以及未被识别为所述安全监视对象的非对象物体是否侵入所述第一边界。
2.根据权利要求1所述的机器人系统，还包括：
机器人停止单元，当通过所述越境检测单元检测到所述安全监视对象或者所述非对象物体的侵入时，停止所述机器人。
3.根据权利要求1或2所述的机器人系统，其中，
所述识别单元被构成为：将在所述连续的距离图像信息中与所述操作者或者所述其他机器人一体且与所述操作者或者所述其他机器人一起移动的物体也识别为所述安全监视对象。
4.根据权利要求2所述的机器人系统，其中，
所述基准图像信息用于与添加在所述连续的距离图像信息中出现的所述操作者或者所述其他机器人上的标记对照，并将通过所述对照在所述连续的距离图像信息中与对应于所述标记的图像一体的物体识别为所述安全监视对象。
5.根据权利要求4所述的机器人系统，其中，
所述机器人停止单元被构成为：在所述连续的距离图像信息中对应于所述标记的图像出现超过指定基准的变化时，停止所述机器人。
6.根据权利要求1至5中任一项所述的机器人系统，还包括：
显示装置，用于显示在所述连续的距离图像信息中所述安全监视对象被识别单元识别。
7.根据权利要求1至6中任一项所述的机器人系统，其中，
所述基准图像信息含有关于所述操作者的身高以及体格的信息。
8.根据权利要求1至7中任一项所述的机器人系统，其中，
所述基准图像信息存储部存储有机器人基准图像信息，所述机器人基准图像信息用于在所述连续的距离图像信息中与添加在所述机器人上的机器人用标记进行对照，通过所述对照在所述连续的距离图像信息中识别所述机器人，
所述识别单元被构成为：参照所述机器人基准图像信息，在所述连续的距离图像信息中将所述机器人识别为安全监视对象机器人，
所述越境检测单元被构成为：在所述连续的距离图像信息中，检测所述安全监视对象机器人之外的物体是否侵入所述第二边界。
CN201710415403.6A 2016-06-13 2017-06-05 机器人系统 Active CN107486857B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016117373A JP6360105B2 (ja) 2016-06-13 2016-06-13 ロボットシステム
JP2016-117373 2016-06-13

Publications (2)

Publication Number Publication Date
CN107486857A true CN107486857A (zh) 2017-12-19
CN107486857B CN107486857B (zh) 2019-03-01

Family

ID=60419991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710415403.6A Active CN107486857B (zh) 2016-06-13 2017-06-05 机器人系统

Country Status (4)

Country Link
US (1) US10259116B2 (zh)
JP (1) JP6360105B2 (zh)
CN (1) CN107486857B (zh)
DE (1) DE102017112770B4 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430399A (zh) * 2019-08-07 2019-11-08 上海节卡机器人科技有限公司 监控区域的防护方法、装置和系统
CN111113374A (zh) * 2018-10-31 2020-05-08 发那科株式会社 机器人系统
CN116494298A (zh) * 2023-05-04 2023-07-28 深圳市东方鼎盛科技有限公司 机器人人机交互安全控制装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11518051B2 (en) 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11541543B2 (en) 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
EP4088890A1 (en) 2017-02-07 2022-11-16 Veo Robotics, Inc. Workspace safety monitoring and equipment control
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
JP6542839B2 (ja) * 2017-06-07 2019-07-10 ファナック株式会社 制御装置及び機械学習装置
JP6626138B2 (ja) * 2018-02-19 2019-12-25 ファナック株式会社 センサを用いた物体監視装置
JP7398658B2 (ja) * 2018-06-11 2023-12-15 パナソニックＩｐマネジメント株式会社 測距システム及び測距方法
DE102018114156B3 (de) * 2018-06-13 2019-11-14 Volkswagen Aktiengesellschaft Verfahren zur Steuerung eines Roboters, insbesondere eines Industrieroboters, sowie Vorrichtung zur Steuerung des Roboters
JP7224843B2 (ja) * 2018-10-15 2023-02-20 株式会社今仙電機製作所 ロボット、このロボットを備えた搬送車、このロボットの制御方法及び制御プログラム
DE102019201696B4 (de) * 2019-02-11 2020-11-05 Zf Friedrichshafen Ag Steuerung einer Bearbeitungsmaschine
JP7036078B2 (ja) * 2019-03-28 2022-03-15 オムロン株式会社 制御システム、制御方法、および制御ユニット
DE102019128782B4 (de) * 2019-10-24 2022-06-09 Sick Ag Bewegbare Maschine mit einem Sicherheitssystem, mit einer Sicherheitssteuerung, mit einem Lokalisierungssystem, mit einem Entfernungssensor und mit einer Konturerkennungseinheit
WO2021171358A1 (ja) * 2020-02-25 2021-09-02 日本電気株式会社 制御装置、制御方法及び記録媒体
WO2021177183A1 (ja) * 2020-03-05 2021-09-10 日本電気株式会社 監視装置、監視システム、監視方法およびプログラム記録媒体
WO2021193914A1 (ja) * 2020-03-27 2021-09-30 三井化学株式会社 ロボット、ロボットシステム、およびロボット制御プログラム
US11348355B1 (en) * 2020-12-11 2022-05-31 Ford Global Technologies, Llc Method and system for monitoring manufacturing operations using computer vision for human performed tasks
JP2022175508A (ja) * 2021-05-13 2022-11-25 オムロン株式会社 領域設定装置、ラック、制御システム、領域設定方法及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05261692A (ja) * 1992-03-17 1993-10-12 Fujitsu Ltd ロボットの作業環境監視装置
JP2007283450A (ja) * 2006-04-18 2007-11-01 National Institute Of Advanced Industrial & Technology 人間ロボット共存作業用安全装置
EP2023160A1 (de) * 2007-08-02 2009-02-11 Sick Ag Dreidimensionale Raumüberwachung mit Konfigurationsmodus zum Bestimmen der Schutzfelder
CN102317044A (zh) * 2009-02-12 2012-01-11 三菱电机株式会社 产业用机器人系统
CN102905861A (zh) * 2010-11-05 2013-01-30 库卡实验仪器有限公司 用于安全监控机器人的方法和装置
DE102012014057A1 (de) * 2012-07-13 2013-03-07 Daimler Ag Verfahren zum Überwachen eines Arbeitsbereichs und Überwachungsanordnung für einen Arbeitsbereich
CN104044148A (zh) * 2013-03-15 2014-09-17 株式会社安川电机 机器人系统、机器人控制方法及被加工物的制造方法
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的系统和方法
CN105583826A (zh) * 2014-11-07 2016-05-18 康茂股份公司 工业机器人和用于控制工业机器人的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768549B2 (en) 2001-06-08 2010-08-03 Honeywell International Inc. Machine safety system with mutual exclusion zone
DE10216023B4 (de) * 2002-04-11 2013-08-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einem Menschen
DE10320343B4 (de) * 2003-05-07 2008-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur überwachten Kooperation zwischen einer Robotereinheit und einem Menschen
JP2008191823A (ja) * 2007-02-02 2008-08-21 Omron Corp 安全管理方法、安全管理システムおよび安全制御機器
DE102007007576B4 (de) * 2007-02-15 2009-01-15 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Sichern eines Arbeitsraums
JP4648486B2 (ja) * 2009-01-26 2011-03-09 ファナック株式会社 人間とロボットとの協調動作領域を有する生産システム
JP5229902B2 (ja) 2009-03-30 2013-07-03 独立行政法人産業技術総合研究所 侵入検知機能付き安全位置検出装置
DE102010002250B4 (de) * 2010-02-23 2022-01-20 pmdtechnologies ag Überwachungssystem
DE102010017857B4 (de) * 2010-04-22 2019-08-08 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
JP5523386B2 (ja) * 2011-04-15 2014-06-18 三菱電機株式会社 衝突回避装置
JP5549724B2 (ja) 2012-11-12 2014-07-16 株式会社安川電機 ロボットシステム
DE102013001987A1 (de) * 2013-02-06 2014-08-07 Salvavidas GmbH Verfahren und Ortungssystem zur Ortung von Menschen und/oder sich insbesondere bewegenden Gegenständen insbesondere für den Einsatz in hybriden Arbeitssystemen
DE102014219754B4 (de) * 2013-10-01 2022-07-07 Avago Technologies International Sales Pte. Ltd. Gestenbasierte industrielle Überwachung
US10486313B2 (en) * 2016-02-09 2019-11-26 Cobalt Robotics Inc. Mobile robot map generation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05261692A (ja) * 1992-03-17 1993-10-12 Fujitsu Ltd ロボットの作業環境監視装置
JP2007283450A (ja) * 2006-04-18 2007-11-01 National Institute Of Advanced Industrial & Technology 人間ロボット共存作業用安全装置
EP2023160A1 (de) * 2007-08-02 2009-02-11 Sick Ag Dreidimensionale Raumüberwachung mit Konfigurationsmodus zum Bestimmen der Schutzfelder
CN102317044A (zh) * 2009-02-12 2012-01-11 三菱电机株式会社 产业用机器人系统
CN102905861A (zh) * 2010-11-05 2013-01-30 库卡实验仪器有限公司 用于安全监控机器人的方法和装置
DE102012014057A1 (de) * 2012-07-13 2013-03-07 Daimler Ag Verfahren zum Überwachen eines Arbeitsbereichs und Überwachungsanordnung für einen Arbeitsbereich
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的系统和方法
CN104044148A (zh) * 2013-03-15 2014-09-17 株式会社安川电机 机器人系统、机器人控制方法及被加工物的制造方法
CN105583826A (zh) * 2014-11-07 2016-05-18 康茂股份公司 工业机器人和用于控制工业机器人的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111113374A (zh) * 2018-10-31 2020-05-08 发那科株式会社 机器人系统
CN110430399A (zh) * 2019-08-07 2019-11-08 上海节卡机器人科技有限公司 监控区域的防护方法、装置和系统
CN116494298A (zh) * 2023-05-04 2023-07-28 深圳市东方鼎盛科技有限公司 机器人人机交互安全控制装置

Also Published As

Publication number Publication date
JP6360105B2 (ja) 2018-07-18
JP2017221985A (ja) 2017-12-21
CN107486857B (zh) 2019-03-01
DE102017112770A1 (de) 2017-12-14
DE102017112770B4 (de) 2019-11-07
US10259116B2 (en) 2019-04-16
US20170355079A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
CN107486857A (zh) 机器人系统
CN111226178B (zh) 监视设备、工业系统、用于监视的方法及计算机程序
CN105247268B (zh) 用于保护自动操作机器的设备和方法
CN111201115B (zh) 机器人控制方法
CN107886044A (zh) 物体识别装置以及物体识别方法
US20140135984A1 (en) Robot system
CA2971432C (en) Using human motion sensors to detect movement when in the vicinity of hydraulic robots
US20150131856A1 (en) Monitoring device and monitoring method
EP3112900B1 (en) Safety system and method to detect a risk condition in a region to be monitored placed close to an operating machine, such as a drilling machine or the like
US20110050878A1 (en) Vision System for Monitoring Humans in Dynamic Environments
US20210185279A1 (en) Systems and methods for personnel location at a drilling site
CN110689725A (zh) 用于道口综合检查的安保机器人系统及其处理方法
US10670185B2 (en) Configurable user detection system
US20220176560A1 (en) Control system, control method, and control unit
US10529047B2 (en) Detection of fraud for access control via facial recognition
CN110516635A (zh) 人脸识别比对装置、门禁系统及方法
EP3336407A1 (en) Apparatus for workplace danger zone
Bexten et al. Validation of workspace monitoring and human detection for soft safety with collaborative mobile manipulator using machine learning techniques in the
CN107908147B (zh) 防误操作方法
CN109314859A (zh) 用于安全控制的方法、装置和系统
JP6806845B2 (ja) ロボットシステムおよびロボット制御方法
KR102637364B1 (ko) 자율 이동 로봇 기반의 안면 및 동작 인식을 이용한 공사장 안전 관리시스템
Du et al. Active view planing for human observation through a RGB-D camera
TW202141346A (zh) 偵測系統及偵測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant