CN108426160B - 监控系统、监控装置及监控方法 - Google Patents

监控系统、监控装置及监控方法 Download PDF

Info

Publication number
CN108426160B
CN108426160B CN201711133392.9A CN201711133392A CN108426160B CN 108426160 B CN108426160 B CN 108426160B CN 201711133392 A CN201711133392 A CN 201711133392A CN 108426160 B CN108426160 B CN 108426160B
Authority
CN
China
Prior art keywords
robot
operator
area
unit
movable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711133392.9A
Other languages
English (en)
Other versions
CN108426160A (zh
Inventor
谷喜东
樋口敏之
松川郁雄
工藤一洋
赤木哲也
下川覚
松冈和成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN108426160A publication Critical patent/CN108426160A/zh
Application granted granted Critical
Publication of CN108426160B publication Critical patent/CN108426160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39082—Collision, real time collision avoidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39091—Avoid collision with moving obstacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40201—Detect contact, collision with human
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40492—Model manipulator by spheres for collision avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/49—Protective device

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种监控系统、监控装置及监控方法。包括：检测部，检测侵入至作业区域内作业者的位置；第1确定部，基于由检测部检测出的作业者的位置来确定表示作业者可移动范围的作业者可动区域；摄像部，拍摄至少包含由第1确定部确定出的作业者可动区域及机器人的预定机器人占有区域的区域；第2确定部，根据由摄像部所拍摄到的区域的图像来确定表示机器人的可动部分可移动的范围的机器人可动区域；第3确定部，根据由摄像部拍摄到的区域的图像来确定作业者的人体区域；测定部，测定由第2确定部所确定出的机器人可动区域与由第3确定部所确定出的人体区域的距离；以及限制部，当由测定部所测定出的距离为预定距离以下时，限制机器人的活动。

Description

监控系统、监控装置及监控方法
技术领域
本技术涉及一种在作业者与机器人进行作业的作业区域内监控作业者及机器人的动作以使作业者可安全地作业的监控系统、监控装置及监控方法。
背景技术
以往，提出有在作业者与机器人协同进行作业的作业区域内监控作业者及机器人的动作的监控系统。例如，专利文献1记载的发明中，利用多个摄像装置来拍摄作业区域的整个区域，对所述所拍摄到的图像进行图像处理，由此来检测作业者的位置与机器人的位置。专利文献1记载的发明中，基于所检测出的作业者的位置与机器人的位置来控制机器人的动作以使作业者可安全地作业。
[现有技术文献]
[专利文献]
[专利文献1]日本专利特表2006-501487号公报
发明内容
[发明所要解决的问题]
所述专利文献1中，需要对作业区域的整个区域的图像进行图像处理，因此存在图像处理的负担增大的问题。
本技术鉴于此种问题，提供一种减轻图像处理的负担的监控系统、监控装置及监控方法。
[解决问题的技术手段]
根据本发明的某一方案，其为一种监控系统，包含在作业者与机器人进行作业的作业区域内监控作业者及机器人的动作以使作业者能够安全地作业的监控装置，所述监控系统包括：检测部，检测侵入至作业区域内的作业者的位置；第1确定部，基于由检测部检测出的作业者的位置来确定表示作业者能够移动的范围的作业者可动区域；摄像部，拍摄至少包含由所述第1确定部确定出的作业者可动区域及机器人的预定机器人占有区域的区域；第2确定部，根据由摄像部所拍摄到的区域的图像来确定表示机器人的可动部分能够移动的范围的机器人可动区域；第3确定部，根据由摄像部所拍摄到的区域的图像来确定作业者的人体区域；测定部，测定由第2确定部所确定出的机器人可动区域与由第3确定部所确定出的人体区域的距离；以及限制部，当由测定部所测定出的距离为预定距离以下时，限制所述机器人的活动。
优选的是，自基于由检测部所检测出的作业者的位置而确定的作业者可动区域，第1确定部排除作业者不会存在的区域，由此而确定为新的作业者可动区域。
优选的是还包括设定部，所述设定部将合成作业者可动区域及至少一部分与作业者可动区域重合的机器人占有区域所得的区域设定为合成区域，第2确定部根据由摄像部所拍摄到的区域中合成区域的图像来确定机器人可动区域，第3确定部根据由摄像部所拍摄到的区域中合成区域的图像来确定人体区域。
优选的是，摄像部限定于合成作业者可动区域及至少一部分与作业者可动区域重合的机器人占有区域所得的合成区域来进行拍摄。
优选的是，第2确定部基于机器人的可动部分上所设置的标记来确定机器人可动区域。
优选的是还包括：第4确定部，基于机器人的可动部分上所设置的标记，根据由摄像部所拍摄到的图像来确定机器人的可动部分的位置；以及比较部，对由第4确定部确定出的机器人的可动部分的位置、与由输入至机器人的控制部中的动作信息所表示的动作加以比较。
优选的是，机器人能够移动，且检测部确定机器人的位置，第1确定部基于由检测部检测出的机器人的位置来确定机器人占有区域。
依据本发明的另一方案的监控装置是在作业者与机器人进行作业的作业区域内监控作业者及机器人的动作以使作业者能够安全地作业的监控装置，所述监控装置包括：第1确定部，基于由检测侵入至作业区域内的作业者的位置的检测部检测出的作业者的位置来确定表示作业者能够移动的范围的作业者可动区域；第2确定部，根据由摄像部所拍摄到的区域的图像来确定表示机器人的可动部分能够移动的范围的机器人可动区域，所述摄像部拍摄至少包含由第1确定部确定出的作业者可动区域及机器人的预定机器人占有区域的区域；第3确定部，根据由摄像部所拍摄到的区域的图像来确定作业者的人体区域；测定部，测定由第2确定部所确定出的机器人可动区域与由第3确定部所确定出的人体区域的距离；以及限制部，当由测定部所测定出的距离为预定值以下时，限制所述机器人的活动。
本发明的又一方案的监控方法是在作业者与机器人进行作业的作业区域内监控作业者及机器人的动作以使作业者能够安全地作业的监控方法，所述监控方法包括以下步骤：基于由检测侵入至作业区域内的作业者的位置的检测部检测出的作业者的位置来确定表示作业者能够移动的范围的作业者可动区域；根据由摄像部所拍摄到的区域的图像来确定表示机器人的可动部分能够移动的范围的机器人可动区域，所述摄像部拍摄至少包含确定出的作业者可动区域及机器人的预定机器人占有区域的区域；根据由摄像部所拍摄到的区域的图像来确定作业者的人体区域；测定机器人可动区域与人体区域的距离；以及当所测定出的距离为预定值以下时，限制所述机器人的活动。
[发明的效果]
根据本技术的监控系统、监控装置及监控方法，可减轻图像处理的负担。
附图说明
图1是表示依据本实施方式的监控系统1的结构例的图。
图2是表示控制器的硬件(hardware)结构的图。
图3是表示监控装置的功能结构例的图。
图4是表示作业者可动区域的图。
图5是表示机器人占有区域的图。
图6是表示作业者可动区域与机器人占有区域的重合区域的图。
图7是表示合成区域600B的图。
图8是表示机器人可动区域的图。
图9是表示机器人可动区域及人体区域的图。
图10是表示群集信息的集合体的图。
图11是表示作业区域等各区域的图。
图12是表示监控装置的流程图的图。
图13是表示所述动作错误(error)的检测方法的图。
图14是表示坐标转换参数的计算方法的图。
图15是表示变形例的监控装置的功能结构例的图。
图16是表示用以确定作业者的位置的另一方法的图。
图17是表示用以确定臂部的位置的另一方法的图。
[符号的说明]
1：监控系统
2：传感器
4：照相机
6：第1确定部
8：第2确定部
10：第3确定部
12：测定部
14：限制部
16：第4确定部
17：设定部
18：比较部
100、110：监控装置
101：CPU
102：ROM
103：RAM
104：闪速存储器
107：输入部
108：通信IF
109：告知装置
120、121：视觉控制器
122：机器人位置确定部
123：照相机指示部
124：发光图案确定部
150：安全控制器
154：发光控制部
200：机器人控制器
202：控制时钟生成部
204：机器人控制指令生成部
300：作业者
300A：作业者可动区域
300B：人体区域
300C：群集信息的集合体
300Ca：群集信息
302、3021、3022、3023、3024：RF标签
304：LED
400：机器人
400A：机器人占有区域
400B：机器人可动区域
402：载置台
404：台部
406：臂部
411：第1臂部
411A：第1臂部区域
412：第2臂部
412A：第2臂部区域
413：第3臂部
413A：第3臂部区域
414、415、416：关节部
421：第1LED
422：第2LED
423：第3LED
481：第1反射标记
482：第2反射标记
483：第3反射标记
500：构造物
500A：排除区域
600A：区域
600B：合成区域
601、602、603、604：参照标记
700：外部照明
α：作业区域
β：侵入检测区域
γ：警告区域
L、Lc：距离
S2～S32：步骤
具体实施方式
参照附图来详细地说明本发明的实施方式。另外，对于图中的相同或相当的部分，标注相同符号而不再重复其说明。
<监控系统1的结构例>
首先，对依据本实施方式的包括监控装置的监控系统1的结构例进行说明。
图1是表示依据本实施方式的监控系统1的结构例的图。参照图1，依据本实施方式的监控系统1具有：监控装置100；一个以上的作为摄像部的照相机4；以及一个以上的作为检测部的传感器2。监控装置100包括：视觉控制器(vision controller)120；以及安全控制器(safe controller)150。本实施方式中，视觉控制器120、安全控制器150、与后述的机器人控制器独立地设置。换言之，视觉控制器120、安全控制器150是与机器人控制器分别由不同的框体构成。图1的示例中，照相机4设置有两台，传感器2设置有两台。
监控系统1在作业者300与机器人400进行作业的作业区域α内监控作业者300及机器人400的动作以使作业者300可安全地作业。本实施方式中，机器人400以并不移动而原地固定的状态进行动作(进行作业)。传感器2检测侵入至作业区域α的作业者300的位置。本实施方式中，作为检测作业者300的位置的方法，使用输出电波的射频(radio frequency，RF)标签(tag)。传感器2能够检测RF标签。作业者300将RF标签302安装在身体的一部分，由此，传感器2确定RF标签302(所述作业者300)的位置。所谓作业者300的位置，例如是指作业区域α中的三维坐标。例如，所谓“传感器2确定所述作业者300的位置”，是指“传感器2获取作业者300上所安装的RF标签302的在作业区域α中的三维坐标”。
而且，也可不使用RF标签而是使用输出超声波的标签。此时，传感器2接收所述超声波，由此传感器2检测RF标签302的位置。而且，标签输出的及传感器2接收的并不限于电波及超声波等，也可为其他。
作业区域α内设置有多个机器人400。图1的示例中，机器人400载置在载置台402上。作业区域α内，作业者300能够进行与机器人400的协同作业。
作业区域α内设置有构造物500。构造物500是作业者300无法进入者。所谓构造物500，例如也可设为包括控制机器人400的机器人控制器的控制装置。而且，构造物500也可设为能够载置作业者300的行李等的搁板。
照相机4主要以动态影像的形式拍摄作业区域α内的作业者300及机器人400等。照相机4包括透镜等光学系统、以及摄像元件。摄像元件为电荷耦合器件(Coupled ChargedDevice，CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)传感器等。而且，本实施方式中，照相机4设置有两台。通过所述两台照相机4，可三维地拍摄作业区域α内的图像。
<监控装置100的硬件结构例>
图2是表示视觉控制器120的硬件结构例的一例的图。参照图2，视觉控制器120具备：执行程序的中央处理器(Central Processing Unit，CPU)101；非易失性地保存数据的只读存储器(Read Only Memory，ROM)102；易失性地保存数据的随机存取存储器(RandomAccess Memory，RAM)103；闪速存储器(flash memory)104；输入部107；收发信息及信号的通信接口(interface，IF)108；以及进行错误告知等的告知装置109。ROM102中保存有CPU101执行的程序等。而且，关于安全控制器150与机器人控制器，也分别采用与图2相同的硬件结构。
<监控装置100的功能结构例>
其次，示出监控装置100的功能结构例。图3是表示监控装置100的功能结构例的图。视觉控制器120包括：第2确定部8、第3确定部10、第4确定部16、以及设定部17。安全控制器150具备：第1确定部6、测定部12、限制部14、比较部18、以及发光控制部154。
传感器2基于所述作业者300上所安装的RF标签302来检测侵入至作业区域α内的作业者300的位置。将表示由所述传感器2所检测出的作业者300的位置的检测信息输入至第1确定部6。第1确定部6基于表示由传感器2检测出的RF标签302(作业者300的位置)的检测信息来确定作业者可动区域300A。
图4是表示作业者可动区域300A的图。作业者可动区域300A表示作业者300可移动的范围。一般而言，作业区域α内的作业者的动作速度是推断的。所谓作业者可动区域300A，是指推测出在规定时间(例如1秒钟)以内，作业者300或作业者300的一部分(例如作业者300的腕部)由于进行动作而通过的区域。
而且，作业者可动区域300A是包括由传感器2所探测到的RF标签302的位置在内的区域。因此，即便在产生传感器2的探测误差的情况下，作业者可动区域300A也为可吸收所述探测误差的区域。如此，本实施方式的作业者可动区域300A也为考虑到传感器2的探测误差的区域。而且，作业者可动区域300A也称为有存在侵入者(即作业者300)的可能性的侵入者存在可能区域。而且，照相机4拍摄的图像中的感兴趣区域(Region of Interest，ROI)是照相机4拍摄的图像中监控所关心的区域，且是与由第1确定部6所确定出的作业者可动区域300A对应的区域。
由第1确定部6所确定出的作业者可动区域300A被输入至设定部17。而且，本说明书中，关于作业者可动区域300A等区域，也以表示此区域的信息这样的含义来使用。因此，例如，所谓“作业者可动区域300A被输入至设定部17”，是指“表示作业者可动区域300A的信息被输入至设定部17”。而且，RAM103中所保存的机器人占有区域400A被输入至设定部17。
此处，对机器人占有区域400A进行说明。图5是表示机器人占有区域400A的图。机器人占有区域400A是机器人400能够执行的全部作业中，机器人400的一部分(例如图8所示的臂部406)及机器人400的全部可通过的区域。而且，机器人占有区域400A是规定的存储区域(本实施方式中为RAM103)中所保存的信息。由于各机器人的位置是预定的，因此机器人占有区域400A是预定的区域。机器人占有区域400A是由三维的坐标(x坐标、y坐标、z坐标)的范围而确定的区域。
监控装置100的管理者、例如作业区域α的监督者等将各机器人400的位置输入至输入部107。监控装置100中所包含的转换部(未特别图示)根据所输入的各机器人400的位置而转换为机器人占有区域。所转换的机器人占有区域针对各机器人的每一个而保存在RAM103中。
一般而言，各机器人的位置是根据作业区域α中的作业内容而变更。根据由监控装置100的管理者所输入的各机器人400的位置，而生成机器人占有区域400A。因此，即便变更机器人的位置，监控装置100也可对应于所述变更而灵活地生成机器人占有区域400A。
设定部17将合成由第1确定部6得出的作业者可动区域300A及至少一部分与所述作业者可动区域300A重合的机器人占有区域400A所得的区域设定为合成区域。图6是表示作业者可动区域300A及至少一部分与所述作业者可动区域300A重合的机器人占有区域400A的图。图6的示例中，作业者可动区域300A与机器人占有区域400A的一部分在区域600A(影线的部位)重合。而且，在作业者可动区域300A与机器人占有区域400A中任意一个的全部包含于另一个的情况下，也可将作业者可动区域300A与机器人占有区域400A中较大一者的区域设为合成区域。
图7是表示由设定部17设定的合成区域600B的图。图7的示例中，设定部17设定自作业者可动区域300A与机器人占有区域400A的逻辑和的区域(OR的区域)将排除区域500A排除的区域为合成区域600B。此处，排除区域500A是构造物500的区域。而且，作业者300无法进入构造物500内。因此，排除区域500A可以说是不会存在作业者300的区域。所设定的合成区域600B被输入至第2确定部8、第3确定部10、及第4确定部16。另外，本实施方式中，设定部17自作业者可动区域300A将排除区域500A排除，设定所述排除后的作业者可动区域300A与机器人占有区域400A的逻辑和的区域(OR的区域)为合成区域600B。
而且，构造物500的位置是预定的。因此，关于所述构造物500的排除区域500A，预先学习且预先保存在规定的存储区域(例如RAM103)中。设定部17使用所述所保存的排除区域500A的信息(坐标)，自作业者可动区域300A将排除区域500A排除。而且，关于所述学习等的方法，也可使用任何方法。关于所述方法，例如记载于“美国专利申请公开2011-242283号说明书”等中。
第2确定部8根据由照相机4所拍摄到的区域的拍摄图像来确定表示机器人400的可动部分(本实施方式中为臂部)可移动的范围的机器人可动区域。所述机器人400是由照相机4所拍摄到的区域的拍摄图像中合成区域600B中所包含的机器人400。图8是表示机器人可动区域的图。
使用图8，首先说明机器人400的详细构造。机器人400包括台部404、以及臂部406。臂部406包括：第1臂部411、第2臂部412、第3臂部413、连接所述第1臂部411与所述第2臂部412的关节部414、连接所述第2臂部412与所述第3臂部413的关节部415、以及连接所述第3臂部413与台部404的关节部416。通过此种构成，臂部406能够进行三维的动作。
第2确定部8基于机器人400的作为可动部分的臂部406上所设置的标记来确定机器人可动区域。本实施方式的标记为发光的发光二极管(Light Emitting Diode，LED)。本实施方式中，第1LED421设置在第1臂部411的延伸方向的中央部。第2LED422设置在第2臂部412的延伸方向的中央部。第3LED423设置在第3臂部413的延伸方向的中央部。各LED通过安全控制器150内的发光控制部154的控制而发光。
而且，各LED优选的是以像缠绕在各臂部这样的形态来安装，以便不会因机器人400的动作而进入机器人400自身的影子中并由此而进入照相机4无法拍摄的位置。
第1LED421、第2LED422、及第3LED423分别以相关联的发光形态来发光。表1是表示相关联的发光形态的图。表1的示例中，第1LED421持续地发光(持续发光)，第2LED422每隔1秒地发光(1秒闪烁)，第3LED423每隔2秒地发光(2秒闪烁)。第1LED421、第2LED422、及第3LED423各自的发光形态(以下称为“LED发光形态”)存储在预定的存储区域(本实施方式中为ROM102)中。
LED 发光形态
第1LED·421 持续发光
第2LED·422 1秒闪烁
第3LED·423 2秒闪烁
表1
由照相机4所拍摄到的拍摄图像被输入至第2确定部8中。第2确定部8提取拍摄图像中合成区域600B中所包含的图像。然后，第2确定部8可在所述提取出的图像内，基于ROM102中所存储的LED发光形态来识别第1臂部411、第2臂部412及第3臂部413的动作。即，第2确定部8将持续发光的LED识别为第1LED421，并识别所述第1LED421的轨迹，由此而可识别第1臂部411的动作。而且，第2确定部8将1秒闪烁发光的LED识别为第2LED422，并识别所述第2LED422的轨迹，由此而可识别第2臂部412的动作。而且，第2确定部8将2秒闪烁发光的LED识别为第3LED423，并识别所述第3LED423的轨迹，由此而可识别第3臂部413的动作。
第2确定部8可通过识别第1臂部411的动作来识别第1臂部411能够动作的第1臂部区域411A(推断存在第1臂部411的区域)。第2确定部8可通过识别第2臂部412的动作来识别第2臂部412能够动作的第2臂部区域412A(推断存在第2臂部412的区域)。第2确定部8可通过识别第3臂部413的动作来识别第3臂部413能够动作的第3臂部区域413A(推断存在第3臂部413的区域)。
进而，第2确定部8通过合成第1臂部区域411A、第2臂部区域412A及第3臂部区域413A而确定机器人可动区域400B。本实施方式中，第2确定部8将第1臂部区域411A、第2臂部区域412A、及第3臂部区域413A的逻辑和的区域(OR的区域)确定为机器人可动区域400B。机器人可动区域400B是基于机器人400的可动部分(即臂部406)的动作，表示臂部406可移动的范围。换言之，机器人可动区域400B是推测出机器人400的臂部406由于进行动作而通过的区域。而且，机器人可动区域400B是包括由第2确定部8识别出的各LED的位置在内的区域。因此，即便在产生第2确定部8的识别误差的情况下，机器人可动区域400B也为可吸收所述识别误差的区域。而且，机器人占有区域400A是机器人400能够执行的全部作业中，机器人400的一部分(例如图8所示的臂部406)及机器人400的全部可通过的区域。另一方面，机器人可动区域400B是基于臂部406当前的动作而预测出所述臂部406通过的区域。因此，机器人可动区域400B是较机器人占有区域400A更窄的区域。
如此，第2确定部8可通过识别拍摄图像中合成区域600B内所包含的各LED(第1LED421、第2LED422、及第3LED423)的动作来确定表示机器人400的可动部分进行动作的范围的机器人可动区域400B。所确定出的机器人可动区域400B被输入至测定部12。机器人可动区域400B是由三维的坐标(x坐标、y坐标、z坐标)的范围而确定的区域。
第3确定部10根据由照相机4所拍摄到的拍摄图像的区域中合成区域600B的图像来确定作业者300的人体区域。图9是表示合成区域600B内的图像中机器人可动区域400B与人体区域300B的图。例如，第3确定部10提取合成区域600B的图像的最小单元的图像(例如像素单元)的特征量。而且，ROM102中预先保存有人体的特征量作为模型。此处，所谓特征量，是表示出作业者300的面孔及作业者300所穿着的作业服等的特征量。第3确定部10对应于所提取的特征量与ROM102中所保存的特征量的差分来计算出一致度。例如，若所述差分大，则由第3确定部10计算出的一致度小，若所述差分小，则由第3确定部10计算出的一致度大。第3确定部10将一致度较预定的阈值更高的特征量的区域确定为人体区域。另外，人体区域的确定方法并不限于此，也可使用其他方法。
而且，第3确定部10也可提取合成区域600B中RF标签302的区域的特征量及所述RF标签302周边的区域的特征量，并不提取其他区域的特征量。根据此种构成，与提取合成区域600B的全部区域的特征量的结构相比较，可缩小提取特征量的区域，因此可减轻提取特征量的处理的负担。所确定出的人体区域300B被输入至测定部12。人体区域300B是由三维的坐标(x坐标、y坐标、z坐标)的范围而确定的区域。
测定部12测定由第2确定部8所确定出的机器人可动区域400B与由第3确定部10所确定出的人体区域300B的距离L。为了所述测定，测定部12将人体区域300B分割为最小单元的区域，由此而生成群集信息的集合体300C。图10是表示群集信息的集合体300C的图。测定部12测定群集信息的集合体300C中最接近机器人可动区域400B的群集信息300Ca与机器人可动区域400B的距离L(三维距离)。所测定出的距离L被输入至限制部14。
当所输入的距离L为预定的距离Lc(阈值)以下时，限制部14对机器人控制器200发送限制信号，由此来限制机器人400的动作。机器人控制器200是控制各机器人400的动作的控制器。限制信号是用以限制机器人400的动作的信号。
此处，所谓动作受限制的机器人400(以下也称为“控制对象机器人”)，是与群集信息300Ca的距离L被判断为距离Lc以下的机器人。而且，所谓机器人的动作的限制，例如包括使机器人400的动作速度降低的处理、以及使机器人400的动作完全停止的处理。而且，预定的距离Lc预先保存在ROM102中。距离Lc例如设为1m。
例如，当通过限制部14而判断为距离L为距离Lc以下时，进而当判断为距离L与距离Lc的差分ΔL为第1规定值Th1以下时，限制部14对机器人控制器200发送内容为使机器人400的动作速度降低的限制信号。由此，机器人控制器200若接收所述限制信号，则可放慢动作受限制的对象机器人400的动作速度。
而且，当通过限制部14而判断为距离L为距离Lc以下时，进而当判断为距离L与距离Lc的差分ΔL为第2规定值Th2(Th2＜Th1)以下时，限制部14对机器人控制器200发送内容为使机器人400的动作完全停止的限制信号。由此，机器人控制器200若接收所述限制信号，则可使动作受限制的对象机器人400的动作完全停止。
如此，监控装置100中，当判断为距离L为距离Lc以下时，对应于作业者300与机器人400的距离L而使机器人400的控制内容不同。具体而言，例如若作业者300与机器人400的距离L较长，则监控装置100进行使机器人400的动作速度降低的控制。而且，若作业者300与机器人400的距离L短，则监控装置100进行使机器人400的动作完全停止的控制。
[关于监控系统1的效果]
其次，说明本实施方式的监控系统1的效果。简单来说，监控系统1确定作业者300的大致位置，并限定于所述所确定出的位置周边来进行图像处理。更详细而言，监控系统1根据由照相机4所拍摄到的图像中合成区域600B的图像来进行图像处理，由此来确定机器人可动区域400B(参照图8)与人体区域300B(参照图9)。然后，监控系统1中，当机器人可动区域400B与人体区域300B的距离L为预定距离Lc以下时，控制对象机器人400的动作受限制。如此，进行机器人400的动作是否受限制这一判断的图像(以下称为“用来执行图像处理的图像”)可限于(缩小为)合成区域的图像。因此，与以往将作业区域的整个区域的图像作为判断对象的图像的现有的监控系统相比较，根据本实施方式的监控系统1，可减轻图像处理的负担。
而且，第3确定部10通过仅对照相机4拍摄的图像中的ROI进行处理而确定人体区域300B，因此可降低用以确定人体区域300B的处理负载。而且，由于可降低所述处理负担，因此可提高监控系统1进行图像处理的对象的帧频(frame rate)。因此，可提高监控系统1的响应性能。
而且，本实施方式的监控系统1中，仅检测合成区域600B内所包含的机器人、即距作业者300分离了距离Lc以下的距离的机器人，并限制所述机器人的动作。换言之，对于所述机器人以外的机器人，并不限制动作。因此，与限制作业区域α内的全部机器人的动作的监控系统相比较，可提高作业区域α内的机器人的运转率。
而且，进行图像处理的图像的区域即合成区域600B是自作业者可动区域300A与机器人占有区域400A的逻辑和的区域将排除区域500A排除的区域。因此，与“对不自作业者可动区域300A与机器人占有区域400A的逻辑和的区域将排除区域500A排除的区域进行图像处理”的监控系统相比较，可缩小进行图像处理的图像的区域，因此可减轻图像处理的负担。
而且，本实施方式的监控系统1测定较机器人占有区域400A更窄的机器人可动区域400B与人体区域300B(群集信息的集合体300C)的距离L。因此，与“测定较机器人可动区域400B更广的机器人占有区域400A与人体区域300B的距离L的监控系统”相比较，可缩小进行测定距离L时的图像处理的图像的区域。因此，可减轻所述图像处理的负担。
而且，本实施方式的监控系统1能够基于机器人400的臂部406上所安装的标记(本实施方式中为第1LED421、第2LED422、及第3LED423)来确定机器人可动区域400B。因此，本实施方式的监控系统1能够准确地确定机器人可动区域400B。
[关于区域]
其次，说明作业区域α以外所设置的区域。图11是表示作业区域α等各区域的图。图11的示例中，自正上方观察各区域。图11的示例中，作为包括作业区域α的全部在内的区域，设置有侵入检测区域β。进而，作为包括侵入检测区域β的全部在内的区域，设置有警告区域γ。
警告区域γ是由于不管是否安装有RF标签302的侵入者侵入，而由告知装置109执行警告告知的区域。所述侵入可利用照相机4进行检测，也可利用与照相机4不同的检测装置(未图示)进行检测。侵入检测区域β是传感器2能够检测·认证安装有RF标签302的侵入者等的区域。在侵入至侵入检测区域β的作业者因RF标签302的未持有等而检测·认证失败的情况下，输出规定的警告。而且，此时，就安全性的观点而言，监控系统1也可使作业系统(机器人400的控制等)停止。
[关于流程图]
其次，对监控装置100的流程图进行说明。图12是用于说明监控装置100的流程图的图。而且，各步骤的主体由监控装置100中所包含的各结构部来表示。
S2中，第1确定部6通过传感器2而开始进行侵入检测区域β中的检测，由此来执行检测作业者的侵入的检测处理。S4中，在通过s2的所述检测处理，检测出作业者向侵入检测区域β的侵入的情况下(S4的YES(是))，进入S6。
S6中，第1确定部6检测传感器2的检测对象。S8中，第1确定部6判断通过S6中的检测处理是否检测出传感器2的检测对象。S8中，在判断为NO(否)的情况下，进入S32。S32中，限制部14对机器人控制器200发送控制信号，由此来限制全部机器人400的动作。此处的限制是使全部机器人400的动作完全停止。如此，在S4中判断为检测出作业者向侵入检测区域的侵入，但S8中判断为未检测出传感器2的检测对象的情况下，传感器2的故障及监控装置100等的至少其中一个发生故障的可能性高。因此，在此种情况下，可通过使全部机器人400的动作完全停止来确保安全性。
S10中，第1确定部6通过传感器2来检测作业者300的位置。其次，S12中，第1确定部6基于后述的坐标转换参数来确定(设定)作业者可动区域300A。其次，S14中，设定部17根据作业者可动区域300A，使用构造物500的三维构造信息来对作业者可动区域300A进行锁定处理。三维构造信息是包含构造物500的三维坐标在内的信息。作为锁定处理，设定部17自作业者可动区域300A将排除区域500A排除。
其次，S16中，设定部17使用机器人占有区域400A来设定合成区域600B。其次，S18中，第2确定部8检测合成区域600B内的机器人400的臂部406上所设置的LED(第1LED421、第2LED422、及第3LED423)的发光。其次，S20中，在由第2确定部8判断为通过S18的检测而检测出LED的发光的情况下(S20的YES)，在S22中，第2确定部8将安装有所检测出的LED的机器人判断为“控制对象机器人”。另一方面，在S20中判断为NO的情况下，返回S10。
S24中，第2确定部8基于所检测出的LED的位置来确定机器人可动区域400B。其次，S26中，第3确定部10确定合成区域600B内的人体区域300B(群集信息的集合体300C)。其次，S28中，测定部12计算出人体区域300B(群集信息的集合体300C)与机器人可动区域400B的距离L(三维距离)。其次，S30中，限制部14判断所计算出的距离L是否为预定的距离Lc以下。在S30中判断为YES的情况下，在S32中，限制控制对象机器人的动作。而且，在S30中判断为NO的情况下，返回S10。
[关于机器人的动作错误]
其次，对机器人的动作错误的检测方法进行说明。图13是用于说明所述动作错误的检测方法的图。使用图3及图13来说明所述动作错误的检测方法。
如图13所示，视觉控制器120的第4确定部16包括发光图案确定部124、以及机器人位置确定部122。而且，机器人控制器200包括控制时钟生成部202、以及机器人控制指令生成部204。
控制时钟生成部202生成控制时钟。所生成的控制时钟被输入至机器人控制指令生成部204及发光控制部154。机器人控制指令生成部204基于所述时钟信号生成指令信号，对机器人400发送所述指令信号。机器人400基于所述指令信号进行动作。
而且，发光控制部154基于时钟信号，对机器人400发送发光控制信号。此处，发光控制信号是表示表1的发光形态的信号。第1LED421、第2LED422、及第3LED423基于所述发光控制信号进行发光。如此，基于时钟信号来使第1LED421、第2LED422及第3LED423发光，且使机器人400进行动作，因此“第1LED421、第2LED422、及第3LED423的发光”与“机器人400(臂部406)的动作”可实现同步。
而且，发光控制部154将表1所示的发光图案信息发送至比较部18。机器人控制指令生成部204将机器人位置信息发送至比较部18。机器人位置信息是机器人控制指令生成部204对机器人400做出指令的各臂部的位置信息(表示作业区域α中的各臂部的位置的信息)。
而且，机器人位置确定部122根据照相机4拍摄到的拍摄图像，基于第1LED421、第2LED422及第3LED423的发光来确定(测定)臂部406的位置。机器人位置确定部122将机器人位置确定信息发送至比较部18。机器人位置确定信息是表示各臂部上所安装的各LED实际存在的位置(所述各LED的行为)的信息(表示机器人位置确定部122确定出的各LED的信息)。
而且，发光图案确定部124根据照相机4拍摄到的拍摄图像来确定各LED的发光图案。此处，发光图案确定部124虽然可确定发光图案，但无法确定所确定出的发光图案对应于各LED中的哪一LED。发光图案确定部124与机器人位置确定部122将发光图案确定信息、与以根据所述发光图案确定信息而确定的发光图案进行发光的LED的行为(机器人位置确定信息)相关联，并发送至比较部18。而且，自图3的第4确定部输出的“动作信息”包括机器人位置确定信息与发光图案确定信息。
比较部18对来自发光控制部154的发光图案信息、与来自发光图案确定部124的发光图案确定信息加以比较。由此，比较部18可识别与实际的发光图案(由发光图案确定部124所确定出的发光图案)对应的LED。在实际的发光图案例如是持续发光的情况下，比较部18识别出所述持续发光的LED为第1LED421。同样地，比较部18识别作为其他LED的第2LED422及第3LED423。然后，比较部18关于识别出的各LED，对机器人位置确定信息与机器人位置信息加以比较，判断所述识别出的LED的行为(位置信息)是否一致。作为所述判断处理的一例，比较部18计算出将机器人位置确定信息数值化所得者、与将机器人位置信息数值化所得者的差分。若所述差分低于阈值，则比较部18判断为双方的位置信息并无差异，若所述差分为阈值以上，则比较部18判断为双方的位置信息存在差异。
在判断为存在差异的情况下，比较部18判断对机器人400的控制等存在异常，并将表示存在所述异常的内容的异常信号发送至告知装置109。告知装置109基于异常信号来执行异常告知。例如，在比较部18判断出机器人的臂部的位置异常的情况下，告知装置109进行“臂部存在异常”这一显示。而且，关于被比较部18判断为存在异常的机器人，也可限制动作。根据此种构成，在判断为机器人400的各臂部中至少一个臂部存在异常的情况下，执行异常告知。因此，可确保作业者的安全性。
而且，监控系统1也可将检测动作错误的有无的对象机器人限定为合成区域600B中所包含的机器人。根据此种构成，与将检测动作错误的有无的对象机器人设为作业区域α内所存在的全部机器人的构成相比较，可削减检测动作错误的有无的处理。而且，监控系统1也可将检测动作错误的有无的对象机器人设为作业区域α内所存在的全部机器人。根据此种构成，可确保存在于作业区域α内的作业者300的安全性。
另外，此处对将机器人400固定的情况进行了说明，但关于能够移动的机器人也能够同样地检测动作错误。
[关于坐标转换参数]
其次，对图12的S12中也有说明的坐标转换参数的计算方法的一例进行说明。通过执行传感器2的坐标系与视觉控制器120的坐标系的校准，可计算出坐标转换参数。坐标转换参数是第1确定部6用来根据由传感器2所检测出的作业者300的位置来确定作业者可动区域300A的参数。
图14是用于说明坐标转换参数的计算方法的图。首先，在作业区域α内配置原点用的参照标记601以及其他点用的参照标记602、参照标记603及参照标记604。而且，以分别重叠于参照标记601～参照标记604的方式配置传感器2的检测对象。本实施方式中，检测对象设为RF标签。以分别重叠于参照标记601～参照标记604的方式配置RF标签3021、RF标签3022、RF标签3023、RF标签3024。另外，其他点用的参照标记并不限于三个，也可设为其他个数，例如三个以上。
视觉控制器120提取其他点用的参照标记602～参照标记604，由此来构建第1参照平面H1。第1参照平面H1是包含参照标记602～参照标记604的平面。进而，视觉控制器120提取原点用的参照标记601，由此来确定第1参照平面H1中的第1坐标原点P1。
其次，安全控制器150基于由分别检测以分别重叠于其他点用的参照标记602、参照标记603及参照标记604的方式配置的RF标签3022～RF标签3024的传感器2所获得的检测信息(三维位置信息)来构建第2参照平面H2。而且，安全控制器150基于由检测以重叠于原点用的参照标记601的方式配置的RF标签3021的传感器2所获得的检测信息(三维位置信息)来确定第2坐标原点P2。然后，监控装置100中所包含的监控装置(未特别图示)基于第1参照平面H1、第1坐标原点P1、第2参照平面H2及第2坐标原点P2来计算出坐标转换参数。所述所计算出的坐标转换参数被保存在规定的存储区域(例如RAM103)中。
[变形例]
以上，通过附图说明了本发明的实施例，但本发明并不限定于所述实施例。本发明并不限于所述实施例，能够进行各种变形、应用。以下，对能够适用于本发明的变形例等进行说明。
[关于拍摄图像]
本实施方式中，说明了照相机4拍摄作业区域α内的全部图像。本变形例中，照相机4仅对合成区域600B的部位进行拍摄。图15是表示本变形例的监控装置110的功能结构例的图。比较图3与图15，视觉控制器的结构不同。本变形例(图15)的视觉控制器121将图3所示的视觉控制器120内的设定部17代替为照相机指示部123，就此方面而言图3与图15不同。
照相机指示部123根据作业者可动区域300A与机器人占有区域400A等来求出合成区域600B。照相机指示部123限定于所述合成区域600B来对照相机4发送用以使照相机4进行拍摄的指示信号。照相机4基于所述指示信号，限定于合成区域600B来进行拍摄。指示信号是表示照相机4的位置、照相机的透镜的光轴的朝向、照相机4的聚焦等的信号。所述所拍摄到的拍摄图像、即限定于合成区域600B而拍摄到的拍摄图像被输入至第2确定部8、第3确定部10及第4确定部16。第2确定部8确定合成区域600B中所包含的机器人400的机器人可动区域。第3确定部10确定合成区域600B中所包含的作业者300的人体区域。第4确定部16确定合成区域600B中所包含的机器人400的动作信息。以后的处理是与本实施方式相同的处理，因此不再重复说明。
根据本变形例的构成，由于限定于合成区域600B来进行拍摄，因此与拍摄作业区域α的全部区域的监控系统相比较，可减少照相机的台数。而且，根据本变形例的构成，当产生合成区域时，照相机4才进行拍摄，因此与照相机4一直进行拍摄的监控系统相比较，可减轻拍摄处理的负担。
[机器人能够移动的情况]
在作业区域α内的机器人中至少一个机器人能够移动的情况下，也能够适用本申请发明。以下，使用图3来进行说明。
此时，传感器2检测能够移动的机器人的位置。作为所述检测能够移动的机器人的位置的方法，例如只要将RF标签安装于能够移动的机器人，由传感器2检测所述RF标签即可。另外，优选使来自作业者300上所安装的RF标签的电波的频率与来自能够移动的机器人上所安装的RF标签的电波的频率不同。由此，监控系统可不会将作业者300与能够移动的机器人混淆地明确进行确定。
然后，第1确定部6确定作业者可动区域，同时确定能够移动的机器人的机器人占有区域。由第1确定部6所确定出的作业者可动区域及机器人占有区域被输入至设定部17。设定部17确定作业者可动区域与机器人占有区域的合成区域。以后的处理是与本实施方式相同的处理，因此不再重复说明。
根据此种构成，即便在作业区域α内存在能够移动的机器人的情况下，也可确保作业者300的安全性。
[关于RF标签]
本实施方式中，说明了传感器2为了确定作业者300的位置而如图1所示，将RF标签302安装于作业者300。然而，若监控系统1可确定作业者300的位置，则也可使用其他方法。图16是用于说明用以确定作业者300的位置的另一方法的图。图16的示例中，将发光的LED304安装于各作业者的一部分。图16中，示出在作业者穿戴的头盔上安装有LED304的例子。
而且，关于所述LED304的检测，并非由传感器2来进行，而是由照相机4来进行。因此，可使照相机4兼有传感器2的处理。根据此种构成，由于无需具备传感器2，因此可削减零件数。而且，优选使作业者300上所安装的LED的发光形态与能够移动的机器人上所安装的LED的发光形态不同。由此，可不会将作业者300与能够移动的机器人混淆地明确进行确定。而且，若可确定作业者300的位置，则并不限于所述方法，也可使用其他方法。
[关于安装于臂部的LED]
本实施方式中，如图8所示，说明了将LED安装于机器人400的臂部406。然而，若监控系统1可确定臂部406的位置，则也可使用其他方法。本变形例中，说明将反射标记安装于臂部406的例子。反射标记是通过受到照明而进行反射的标记。
图17是用于说明用以确定臂部406的位置的另一方法的图。图17中，示出在第1臂部411、第2臂部412及第3臂部413上分别安装有第1反射标记481、第2反射标记482、及第3反射标记483的例子。
而且，为了获得来自所述反射标记的反射光，外部照明700发光。第1反射标记481、第2反射标记482及第3反射标记483分别将来自外部照明700的光以各自不同的图案进行反射。例如，第1反射标记481以蓝色进行反射，第2反射标记482以黄色进行反射，第3反射标记483以红色进行反射。而且，所述反射形态(反射色)预先存储在ROM102中。
第2确定部8可在合成区域600B内的图像内，基于ROM102中所存储的反射形态来识别第1臂部411、第2臂部412及第3臂部413的动作。
而且，反射标记的反射光也可以回归至照相机4的方式构成反射标记。而且，反射标记的反射光也可以扩散的方式构成反射标记。
而且，本实施方式及本变形例中，说明了通过图案而使安装于第1臂部411、第2臂部412及第3臂部413的各标记的发光或反射的形态不同。作为使反射的形态不同的方法，并不限于图案，也可使其他要素不同。所谓其他要素，例如也可设为频率。而且，所谓其他要素，也可设为颜色。即便为此种构成，第2确定部8也可确定第1臂部411、第2臂部412及第3臂部413各自的位置。
而且，优选使机器人400上所安装的标记的形态(例如发光形态)与作业者300上所安装的标记的形态(例如发光形态)不同。由此，监控系统可分辨机器人400及作业者300，因此可确保安全性。
[其他]
另外，作为监控机器人的监控系统，有时使用安全栅、安全光幕(safety lightcurtain)、安全激光扫描仪(safety laser scanner)、安全限位开关(safety limitswitch)等。但是，存在防护区域固定，无法灵活应对作业区域内的线的布局变更等这一课题。与此相对，本发明不使用安全栅、安全光幕等便可确保作业者的安全性，因此可灵活地应对布局变更。
而且，若使用传感器，针对各个机器人在各自的周边三维地构成防护区域，则需要将多个传感器三维地复杂地配置来使用。与此相对，本发明不针对多个机器人分别设置传感器便可确保作业者的安全性，因此可实现传感器的配置的简洁化。
而且，监控装置100中的处理是通过各硬件及由CPU101执行的软件而实现。此种软件有时预先存储在闪速存储器104中。而且，软件有时还保存在存储卡(memory card)及其他记录介质中，作为程序产品(program product)而流通。或者，软件有时还作为能够通过连接于所谓的因特网(intemet)的信息提供者来下载(download)的程序产品而提供。此种软件是通过IC(集成电路)卡读写器(integrated circuit card readerwriter)及其他读取装置而自其记录介质读取，或者，在经由通信IF而下载后，暂时保存在闪速存储器104中。所述软件是通过CPU101而自闪速存储器104读出，进而以能够执行的程序的形式保存在闪速存储器104中。CPU101执行所述程序。
图2所示的构成监控装置100的各构成要素是一般者。因此，本发明的本质部分可以说是保存在闪速存储器104、存储卡及其他记录介质中的软件，或者是能够经由网络而下载的软件。
另外，作为记录介质，不限于数字影碟(Digital Video Disc，DVD)-只读存储器(Read Only Memory，ROM)、光盘(Compact Disc，CD)-ROM、软盘(Flexible Disk，FD)、硬盘(hard disk)，也可为磁带、盒带(cassette tape)、光盘(磁光盘(Magnetic Optical Disc，MO)/迷你盘(Mini Disc，MD)/数字多功能光盘(Digital Versatile Disc，DVD))、光卡、掩模ROM、电可编程只读存储器(Electronically Programmable Read-Only Memory，EPROM)、电可擦可编程只读存储器(Electronically Erasable Programmable Read-Only Memory，EEPROM)、闪速ROM等半导体存储器等的固定地承载程序的介质。而且，记录介质是计算机能够读取所述程序等的非暂时性介质。
此处所谓的程序不仅仅是由CPU能够直接执行的程序，还包括源程序形式的程序、经压缩处理的程序、经加密的程序等。
应认为，此次揭示的实施方式在所有方面仅为例示，并非限制者。应意识到，本发明的范围是由权利要求而非所述说明所示，包含与权利要求均等的含义及范围内的所有变更。

Claims (8)

1.一种监控系统，其包含在作业者与机器人进行作业的作业区域内监控所述作业者及所述机器人的动作以使所述作业者能够安全地作业的监控装置，所述监控系统包括：
检测部，检测侵入至所述作业区域内的所述作业者的位置；
第1确定部，基于由所述检测部检测出的所述作业者的位置来确定表示所述作业者能够移动的范围的作业者可动区域；
摄像部，拍摄至少包含由所述第1确定部确定出的所述作业者可动区域及所述机器人的预定机器人占有区域的区域；
第2确定部，根据由所述摄像部所拍摄到的区域的图像来确定表示所述机器人的可动部分能够移动的范围的机器人可动区域；
第3确定部，根据由所述摄像部所拍摄到的区域的图像来确定所述作业者的人体区域；
测定部，测定由所述第2确定部所确定出的所述机器人可动区域与由所述第3确定部所确定出的所述人体区域的距离；以及
限制部，当由所述测定部所测定出的距离为预定距离以下时，限制所述机器人的活动，
其中自基于由所述检测部所检测出的所述作业者的位置而确定的所述作业者可动区域，所述第1确定部排除所述作业者不会存在的区域，由此而确定为新的所述作业者可动区域。
2.根据权利要求1所述的监控系统，其还包括设定部，将合成所述作业者可动区域及至少一部分与所述作业者可动区域重合的所述机器人占有区域所得的区域设定为合成区域，
所述第2确定部根据由所述摄像部所拍摄到的区域中所述合成区域的图像来确定所述机器人可动区域；
所述第3确定部根据由所述摄像部所拍摄到的区域中所述合成区域的图像来确定所述人体区域。
3.根据权利要求1所述的监控系统，其中所述摄像部限定于合成所述作业者可动区域及至少一部分与所述作业者可动区域重合的所述机器人占有区域所得的合成区域来进行拍摄。
4.根据权利要求1所述的监控系统，其中所述第2确定部基于所述机器人的可动部分上所设置的标记来确定所述机器人可动区域。
5.根据权利要求1所述的监控系统，其还包括：第4确定部，基于所述机器人的可动部分上所设置的标记，根据由所述摄像部所拍摄到的图像来确定所述机器人的可动部分的位置；以及
比较部，对由所述第4确定部确定出的所述机器人的可动部分的位置、与由输入至所述机器人的控制部中的动作信息所表示的动作加以比较。
6.根据权利要求1所述的监控系统，其中所述机器人能够移动，
所述检测部确定所述机器人的位置，
所述第1确定部基于由所述检测部检测出的所述机器人的位置来确定所述机器人占有区域。
7.一种监控装置，其在作业者与机器人进行作业的作业区域内监控所述作业者及所述机器人的动作以使所述作业者能够安全地作业，所述监控装置包括：
第1确定部，基于由检测侵入至所述作业区域内的所述作业者的位置的检测部检测出的所述作业者的位置来确定表示所述作业者能够移动的范围的作业者可动区域；
第2确定部，根据由摄像部所拍摄到的区域的图像来确定表示所述机器人的可动部分能够移动的范围的机器人可动区域，所述摄像部拍摄至少包含由所述第1确定部确定出的所述作业者可动区域及所述机器人的预定机器人占有区域的区域；
第3确定部，根据由所述摄像部所拍摄到的区域的图像来确定所述作业者的人体区域；
测定部，测定由所述第2确定部所确定出的所述机器人可动区域与由所述第3确定部所确定出的所述人体区域的距离；以及
限制部，当由所述测定部所测定出的距离为预定值以下时，限制所述机器人的活动，
其中自基于由所述检测部所检测出的所述作业者的位置而确定的所述作业者可动区域，所述第1确定部排除所述作业者不会存在的区域，由此而确定为新的所述作业者可动区域。
8.一种监控方法，其在作业者与机器人进行作业的作业区域内监控所述作业者及所述机器人的动作以使所述作业者能够安全地作业，所述监控方法包括以下步骤：
基于由检测侵入至所述作业区域内的所述作业者的位置的检测部检测出的所述作业者的位置来确定表示所述作业者能够移动的范围的作业者可动区域；
根据由摄像部所拍摄到的区域的图像来确定表示所述机器人的可动部分能够移动的范围的机器人可动区域，所述摄像部拍摄至少包含确定出的所述作业者可动区域及所述机器人的预定机器人占有区域的区域；
根据由所述摄像部所拍摄到的区域的图像来确定所述作业者的人体区域；
测定所述机器人可动区域与所述人体区域的距离；以及
当所测定出的距离为预定值以下时，限制所述机器人的活动，
所述监控方法还包括以下步骤：
自基于由所述检测部所检测出的所述作业者的位置而确定的所述作业者可动区域，排除所述作业者不会存在的区域，由此而确定为新的所述作业者可动区域。
CN201711133392.9A 2017-02-15 2017-11-15 监控系统、监控装置及监控方法 Active CN108426160B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-025602 2017-02-15
JP2017025602A JP6866673B2 (ja) 2017-02-15 2017-02-15 監視システム、監視装置、および監視方法

Publications (2)

Publication Number Publication Date
CN108426160A CN108426160A (zh) 2018-08-21
CN108426160B true CN108426160B (zh) 2021-02-05

Family

ID=60574370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711133392.9A Active CN108426160B (zh) 2017-02-15 2017-11-15 监控系统、监控装置及监控方法

Country Status (4)

Country Link
US (1) US10452939B2 (zh)
EP (1) EP3363602B1 (zh)
JP (1) JP6866673B2 (zh)
CN (1) CN108426160B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016100445A1 (de) * 2016-01-12 2017-07-13 Pilz Gmbh & Co. Kg Sicherheitseinrichtung und Verfahren zum Überwachen einer Maschine
US11000953B2 (en) * 2016-08-17 2021-05-11 Locus Robotics Corp. Robot gamification for improvement of operator performance
JP2018176397A (ja) * 2017-04-21 2018-11-15 オムロン株式会社 ロボットシステム
JP2018202504A (ja) * 2017-05-31 2018-12-27 ソニー株式会社 医療用支持アームシステム、医療用支持アームの制御方法、および医療用支持アームの制御装置
JP6748145B2 (ja) 2018-05-15 2020-08-26 ファナック株式会社 ロボットシステム
DE102018116371B4 (de) * 2018-07-06 2020-08-06 Sick Ag 3D-Sensor und Verfahren zum Überwachen eines Überwachungsbereichs
JP7144247B2 (ja) * 2018-09-03 2022-09-29 川崎重工業株式会社 ロボットの制御装置
JP6816077B2 (ja) * 2018-09-14 2021-01-20 ファナック株式会社 誘導情報提示装置、誘導情報提示サーバ、誘導情報提示システム、誘導情報提示方法及びプログラム
US11258987B2 (en) 2018-09-21 2022-02-22 Microsoft Technology Licensing, Llc Anti-collision and motion control systems and methods
JP6885909B2 (ja) * 2018-10-12 2021-06-16 ファナック株式会社 ロボット制御装置
US20220063100A1 (en) * 2018-12-28 2022-03-03 Kyocera Document Solutions Inc. Control apparatus
EP3966642A1 (en) * 2019-03-15 2022-03-16 EID Robotics Oy A system and a method for forming a controlled safety area for a manipulator
JP7012040B2 (ja) * 2019-03-28 2022-01-27 本田技研工業株式会社 動作領域制限方法、及びロボット制御装置
JP2020189367A (ja) * 2019-05-22 2020-11-26 セイコーエプソン株式会社 ロボットシステム
US11815598B2 (en) 2019-06-10 2023-11-14 Microsoft Technology Licensing, Llc Anti-collision and motion monitoring, control, and alerting systems and methods
JPWO2021033241A1 (zh) * 2019-08-19 2021-02-25
CN110606084B (zh) * 2019-09-19 2020-12-18 中国第一汽车股份有限公司 巡航控制方法、装置、车辆及存储介质
CN113471119A (zh) * 2020-03-31 2021-10-01 芝浦机械电子装置株式会社 基板处理装置以及基板处理方法
KR102447386B1 (ko) * 2020-06-18 2022-09-23 아주대학교산학협력단 로봇 통합 실행 방법과 이를 이용한 로봇 안전 강화 방법 및 그 시스템
US11621068B2 (en) * 2020-09-11 2023-04-04 International Business Machines Corporation Robotic arm for patient protection
EP4001949A1 (en) * 2020-11-24 2022-05-25 The Boeing Company A system for proximity reporting in an assembly environment
WO2022172522A1 (ja) * 2021-02-15 2022-08-18 パナソニックＩｐマネジメント株式会社 侵入検出装置および侵入検出方法
WO2023026750A1 (ja) * 2021-08-26 2023-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 遠隔監視システム、異常検知システム、遠隔監視方法およびプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104070524A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 机器人系统以及图像显示装置
CN104428823A (zh) * 2012-07-09 2015-03-18 东京毅力科创株式会社 无尘室的监视装置以及无尘室的监视方法
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的系统和方法
CN105150210A (zh) * 2015-05-13 2015-12-16 西北工业大学 一种用于遥操作人机交互的虚拟管道动态避障控制方法
US9238304B1 (en) * 2013-03-15 2016-01-19 Industrial Perception, Inc. Continuous updating of plan for robotic object manipulation based on received sensor data
CN105583826A (zh) * 2014-11-07 2016-05-18 康茂股份公司 工业机器人和用于控制工业机器人的方法
CN105904455A (zh) * 2015-02-20 2016-08-31 发那科株式会社 基于外力而使机器人进行退避动作的人机协调机器人系统
CN105912530A (zh) * 2016-04-26 2016-08-31 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统
CN105922256A (zh) * 2015-02-26 2016-09-07 发那科株式会社 自动切换机器人的动作模式的机器人控制装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1543270B8 (de) 2002-09-24 2013-01-23 Pilz GmbH & Co. KG Verfahren und vorrichtung zum absichern eines gefahrenbereichs
US20100114373A1 (en) * 2008-10-31 2010-05-06 Camotion, Inc. Systems and methods for scanning a workspace volume for objects
JP4648486B2 (ja) * 2009-01-26 2011-03-09 ファナック株式会社 人間とロボットとの協調動作領域を有する生産システム
JP5343641B2 (ja) * 2009-03-12 2013-11-13 株式会社Ｉｈｉ ロボット装置の制御装置及びロボット装置の制御方法
ES2460946T3 (es) 2010-03-31 2014-05-16 Omron Scientific Technologies, Inc. Método y aparato para generar textura en una escena tridimensional
US9498289B2 (en) * 2010-12-21 2016-11-22 Restoration Robotics, Inc. Methods and systems for directing movement of a tool in hair transplantation procedures
JP2013154457A (ja) * 2012-01-31 2013-08-15 Asahi Kosan Kk ワーク移載システム、ワーク移載方法及びプログラム
WO2014008929A1 (de) * 2012-07-10 2014-01-16 Siemens Aktiengesellschaft Roboteranordnung und verfahren zum steuern eines roboters
GB2516448B (en) * 2013-07-22 2016-12-07 Atlantic Inertial Systems Ltd Reactive Ion Etching
DE102013012839B4 (de) * 2013-08-02 2019-05-09 Abb Schweiz Ag Robotersystem
US9452531B2 (en) * 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
JP6402469B2 (ja) * 2014-04-04 2018-10-10 富士電機株式会社 安全制御装置および安全制御システム
US9283678B2 (en) * 2014-07-16 2016-03-15 Google Inc. Virtual safety cages for robotic devices
JP2016151897A (ja) * 2015-02-17 2016-08-22 株式会社安川電機 移動体制御装置および移動体制御方法
US9857786B2 (en) * 2015-03-31 2018-01-02 Recognition Robotics, Inc. System and method for aligning a coordinated movement machine reference frame with a measurement system reference frame
JP6659231B2 (ja) * 2015-04-08 2020-03-04 富士電機株式会社 生産ライン監視システム
US10186130B2 (en) * 2016-07-28 2019-01-22 The Boeing Company Using human motion sensors to detect movement when in the vicinity of hydraulic robots
US10099372B2 (en) * 2017-02-07 2018-10-16 Veo Robotics, Inc. Detecting and classifying workspace regions for safety monitoring
US10252420B2 (en) * 2017-06-09 2019-04-09 Precise Automation, Inc. Collaborative robot

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104428823A (zh) * 2012-07-09 2015-03-18 东京毅力科创株式会社 无尘室的监视装置以及无尘室的监视方法
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的系统和方法
US9238304B1 (en) * 2013-03-15 2016-01-19 Industrial Perception, Inc. Continuous updating of plan for robotic object manipulation based on received sensor data
CN104070524A (zh) * 2013-03-25 2014-10-01 精工爱普生株式会社 机器人系统以及图像显示装置
CN105583826A (zh) * 2014-11-07 2016-05-18 康茂股份公司 工业机器人和用于控制工业机器人的方法
CN105904455A (zh) * 2015-02-20 2016-08-31 发那科株式会社 基于外力而使机器人进行退避动作的人机协调机器人系统
CN105922256A (zh) * 2015-02-26 2016-09-07 发那科株式会社 自动切换机器人的动作模式的机器人控制装置
CN105150210A (zh) * 2015-05-13 2015-12-16 西北工业大学 一种用于遥操作人机交互的虚拟管道动态避障控制方法
CN105912530A (zh) * 2016-04-26 2016-08-31 北京光年无限科技有限公司 面向智能机器人的信息处理方法及系统

Also Published As

Publication number Publication date
CN108426160A (zh) 2018-08-21
US10452939B2 (en) 2019-10-22
EP3363602A1 (en) 2018-08-22
EP3363602B1 (en) 2020-12-16
JP2018130793A (ja) 2018-08-23
JP6866673B2 (ja) 2021-04-28
US20180232593A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
CN108426160B (zh) 监控系统、监控装置及监控方法
US10521625B2 (en) Safety control device, method of controlling safety control device, and recording medium
EP3315268B1 (en) Monitoring device and monitoring method
CN109564382B (zh) 拍摄装置以及拍摄方法
CA3052845C (en) System for identifying a defined object
US11174989B2 (en) Sensor arrangement and method of securing a monitored zone
US9747802B2 (en) Collision avoidance system and method for an underground mine environment
AU2011352408B2 (en) Tracking moving objects using a camera network
CN107886044B (zh) 物体识别装置以及物体识别方法
CN111226178B (zh) 监视设备、工业系统、用于监视的方法及计算机程序
WO2013047083A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像処理システム
WO2018168042A1 (ja) 画像解析装置、画像解析方法、及び画像解析プログラム
JP2015501578A (ja) 射影空間監視のための方法および装置
CN109155055B (zh) 关注区域图像生成装置
JP2016224547A (ja) 画像処理装置、画像処理システム及び画像処理方法
CN111183454B (zh) 识别装置、识别方法及识别程序
JP5370009B2 (ja) 監視システム
JP7282186B2 (ja) 状況認識監視
JP2016214937A (ja) 計測システムおよびコンピュータプログラム
CN113343723A (zh) 发光装置、发光方法及计算机可读介质
WO2016186172A1 (ja) 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム
US20230196495A1 (en) System and method for verifying positional and spatial information using depth sensors
US20230300296A1 (en) Watching monitoring device and watching monitoring method
CN117256005A (zh) 运行管理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant