CN108958097B - 对分割监视区域得到的空间区域进行监视的监视装置 - Google Patents

Abstract

本发明提供的监视装置具备取得三维图像的摄像机和进行摄像机的输出信号的处理的图像处理装置。摄像机的拍摄区域的一部分确定为监视区域。图像处理装置包括将监视区域分割而设定多个空间区域的区域设定部。区域设定部通过以摄像机为始点呈放射状延伸的多个切割面分割监视区域。区域设定部将一方的端部的空间区域设定为警戒区域，将另一方的端部的空间区域设定为限制区域。

Description

对分割监视区域得到的空间区域进行监视的监视装置

技术领域

本发明涉及对分割监视区域得到的空间区域进行监视的监视装置。

背景技术

在现有技术中，已知有如下的监视装置：通过摄像机拍摄图像，基于得到的图像进行拍摄的区域的监视。监视装置通过处理拍摄到的图像、比较多个图像，从而能够进行存在于拍摄的范围的物体的监视。

在这样的监视装置中，能够具备视频摄像机或二维摄像机。监视装置通过处理由摄像机拍摄到的图像，能够检测到人进入预定的区域(例如，参照日本特开2003-143593号公报及日本特开2015-75879号公报)。另外，监视装置能够监视机器人的臂等运动的装置的动作状况(例如，参照日本特开平5-261692号公报)。

发明内容

在监视装置中，能够检测物体进入预定的区域。例如，在制造工厂等，设定作业者可通行的区域和限制作业者进入的制造装置等的作业区域。作业区域是为了不使作业者进入接触制造装置而设定的区域。作业区域例如设定为机器人等制造装置的周围。监视装置能够监视这样的作业区域与作业者可通行的区域的边界的部分。

为了检测进入作业区域，能够使用光幕或二维激光扫描仪。光幕或者二维激光扫描仪能够以监视作业区域的边界的方式配置。

然而，在监视装置监视的区域中，有时为了搬运而使物体通过。例如，有时加工后的工件通过由监视装置监视的区域。该情况下，为了使工件安全通过，具备光幕等的监视装置能够具备静音功能。静音功能是在工件通过的期间中停止工件通过的区域的监视的功能。但是，为了实施静音功能，需要确认工件的通过，因此需要光电传感器等其它装置。

在静音功能工作的情况下，通过光幕或二维激光扫描仪监视的区域成为应监视的区域的一部分。有时作业者等从光幕或二维激光扫描仪监视的区域以外的区域进入作业区域。因此，安装光幕及二维激光扫描仪等设备的位置难以确定，或者监视装置的控制变得复杂。

本公开的一方案的监视装置具备取得三维图像的三维摄像机和进行三维摄像机的输出信号的处理的图像处理装置。三维摄像机的拍摄区域的一部分确定为进行监视的监视区域。图像处理装置包括将监视区域分割而设定多个空间区域的区域设定部。区域设定部通过以三维摄像机为始点呈放射状延伸的多个切割面来分割监视区域，且将预定的方向的一方的端部的空间区域设定为第一空间区域，将预定的方向的另一方的端部的空间区域设定为第二空间区域。

附图说明

图1是实施方式的机器人系统的概略俯视图。

图2是实施方式的机器人系统的概略局部剖视图。

图3是实施方式的机器人系统的块图。

图4是说明监视区域及空间区域的侧视图。

图5是说明监视区域及空间区域的立体图。

图6是说明将监视区域分割得到的空间区域的立体图。

图7是由摄像机拍摄到的图像的例。

图8是摄像机、工件以及传送带的放大侧视图。

图9是摄像机、工件以及传送带的其它放大侧视图。

图10是检测物体的异常的移动方向的控制的流程图。

图11是说明实施方式中允许的空间区域的状态的变化的图。

图12是说明实施方式中不允许的空间区域的状态的变化的第一图。

图13是说明实施方式中不允许的空间区域的状态的变化的第二图。

图14是说明监视区域的其它分割方法的侧视图。

具体实施方式

参照图1至图14，对实施方式的监视装置进行说明。本实施方式的监视装置配置于具备进行预定的作业的机器人的机器人系统。监视装置监视预定的监视区域的状态。

图1是本实施方式的机器人系统的概略图。图2表示本实施方式的机器人系统的局部剖视图。图2是与图1的A-A线相关的向视剖视图。图3表示本实施方式的机器人系统的块图。参照图1至图3，本实施方式的机器人系统具备进行预定的作业的机器人11和控制机器人11的机器人控制装置12。

机器人11连结有作为末端执行器的手13。本实施方式的机器人11对通过传送带14搬送的工件19进行部件安装。传送带14沿箭头81所示的方向搬送工件19。机器人的作业不限于部件的安装，能够进行任意的作业。例如，机器人进行的作业包括工件的朝向的变更、焊接以及涂敷等。末端执行器选定与机器人进行的作业相应的装置。

机器人控制装置12例如包括作为处理器的CPU(Central Processing Unit)和具备经由总线连接于CPU的RAM(Random Access Memory)及ROM(Read Only Memory)等的运算处理装置(数字计算机)。机器人控制装置12对机器人11及手13发送动作指令。

在机器人11的周围，作为机器人11作业的区域，预先设定了作业区域67。在作业区域67配置限制作业者接近的装置。作业区域67是为了安全而设定且限制作业者进入的区域。作业区域67例如设定为，在机器人11进行作业时作业者18或搬送车等不接触机器人11。在本实施方式中，在机器人11的周围配置有划分作业区域67的栅栏15。另外，形成有未配置栅栏15的出口部16。传送带14以通过出口部16的方式配置。工件19通过出口部16从作业区域67搬出。

作业者18能够从出口部16进入被栅栏15包围的作业区域67。但是，在机器人11驱动的期间中，优选作业者18不进入作业区域67。

本实施方式的机器人系统具备监视装置21。监视装置21在机器人11驱动的期间中检测作业者18从出口部16进入作业区域67。另外，监视装置21检测工件19从作业区域67搬出。在本实施方式中，在机器人11驱动的期间中作业者18进入到作业区域67的情况下，机器人控制装置12实施停止机器人11及手13的控制。

监视装置21具备作为向作业者18通知物体的移动的通知装置的显示灯29。显示灯29形成为以预定颜色发光。显示灯29由支撑部件30支撑。显示灯29配置于作业者18能够看到的位置。本实施方式的显示灯29配置于出口部16的附近。

本实施方式的监视装置21包括拍摄预定的区域的图像的摄像机23。摄像机23是取得三维图像的三维摄像机。本实施方式的摄像机23能够得到包括从摄像机23的透镜中心点24到拍摄的物体的距离的信息的距离图像。

本实施方式的摄像机23是通过光飞行时间方式拍摄距离图像的摄像机，也称为TOF(Time of Flight)摄像机。摄像机23包括像素传感器。作为像素传感器，能够采用能够拍摄距离图像的任意的图像传感器。例如，作为像素传感器，能够使用CMOS(ComplementaryMetal Oxide Semiconductor)传感器。监视装置21包括向摄像机23拍摄的区域发射光的光源25。光源25在摄像机23拍摄时发光。摄像机23在从光源25发光后，通过像素传感器对在对象物的表面反射的光进行受光。

摄像机23支撑于在栅栏15固定的支撑部件28。摄像机23配置为能够拍摄出口部16。本实施方式的摄像机23配置为能够从出口部16的正上方拍摄出口部16的整体。

监视装置21具备进行摄像机23的输出信号的处理的图像处理装置22。图像处理装置22能够由包括CPU、ROM以及RAM等的运算处理装置(数字计算机)构成。图像处理装置22形成为能够与机器人控制装置12相互通信。

图像处理装置22具备控制摄像机23及光源25的拍摄控制部33。拍摄控制部33对摄像机23发送拍摄的指令。拍摄控制部33以在摄像机23拍摄时发出多次光的方式控制光源25。

图像处理装置22包括存储对摄像机23的图像进行处理时的信息的存储部37。存储部37例如存储判断距离图像时的距离的判断范围及判断结果。图像处理装置22包括显示与摄像机23的图像相关的信息的显示部38。显示部38由液晶显示面板等构成。显示部38能够显示拍摄到的距离图像。另外，显示部38能够显示警告及判断范围等。

图像处理装置22包括基于光的飞行时间根据摄像机23的输出信号生成距离图像的距离图像生成部31。距离图像包括至物体的进深的信息。例如，距离图像包括从摄像机23的透镜中心点24到拍摄的对象物的距离的信息。例如对像素传感器的每个像素作成距离信息。距离图像生成部31计算光的传播时间，计算从摄像机23到写入图像的物体的距离。距离图像生成部31计量从光源25发出的光返回摄像机23前的时间。距离图像生成部31例如检测光的相位差，计算光在物体的表面反射而返回前的时间。距离图像生成部31基于测定的时间和光的速度，能够计算到对象物的距离。这样，距离图像生成部31接收在摄像机23的像素传感器生成的信号，作成距离图像。另外，距离图像生成部31也可以基于到图像包含的物体的任意的测量点的距离，计算测量点的位置。

图像处理装置22包括进行由摄像机23拍摄到的距离图像的处理的运算处理部35。运算处理部35包括取得由距离图像生成部31生成的距离图像的图像取得部41。

图4表示对通过本实施方式的监视装置进行监视的区域进行说明的侧视图。

图4中示出去除了传送带14及栅栏15等的图。图5表示说明进行本实施方式的监视的区域的立体图。参照图3至图5，本实施方式的摄像机23配置为朝向地板51。摄像机23配置为摄像机的视线(光轴)成为铅垂方向向下。

摄像机23能够拍摄拍摄区域61。拍摄区域61设定为从摄像机23的透镜中心点24呈放射状扩展。本实施方式的拍摄区域61呈四棱锥状。作为拍摄区域61的形状，不限于该形态，能够采用任意的形状。例如，也可以采用使拍摄区域成为圆锥状的摄像机。

在拍摄区域61的一部分设定有进行物体的监视的监视区域62。监视区域62为具有立体的形状的空间区域。本实施方式的监视区域62形成为长方体状。监视区域62的形状不限于长方体，能够采用任意的形状。监视区域62设定为包括作业区域67的内侧与外侧的边界的至少一部分。在监视区域62的内部包括成为监视的对象的部分的出口部16。监视区域62以能够在内部配置工件19的方式设定得较大。本实施方式的监视区域62的高度与栅栏15的高度相同。监视区域62的大小不限于该形态，能够设定为任意的大小。监视区域62的范围由作业者预先设定，且存储于存储部37。

运算处理部35包括将监视区域62分割而设定多个空间区域的区域设定部42。本实施方式的区域设定部42将监视区域62分割成三个空间区域。区域设定部42对监视区域62的分割方法预先设定，且存储于存储部37。

本实施方式的区域设定部42设定作为第一空间区域的警戒区域63、作为第二空间区域的限制区域64以及作为第三空间区域的中间区域65。警戒区域63及限制区域64是包括监视区域62的边界面的边界区域。参照图2，警戒区域63配置于栅栏15的外侧。即，警戒区域63配置于作业区域67的外侧。

限制区域64配置于被栅栏15包围的作业区域67。限制区域64是限制作业者进入的区域。本实施方式中，是在机器人11驱动的期间中禁止作业者进入的区域。限制区域64配置于栅栏15的内侧。

中间区域65是警戒区域63与限制区域64之间的区域。本实施方式中，中间区域65为了在通过传送带14搬送来工件19时将工件19配置于中间区域65的内部，形成得较大。中间区域65设定为，在距离图像中，工件19比中间区域65小。

图6表示对由区域设定部分割得到的空间区域进行说明的立体图。图6中，如箭头82所示，将分割得到的空间区域相互分离地记载。参照图3至图6，区域设定部42通过以摄像机23为始点呈放射状延伸的多个切割面分割监视区域62。本实施方式中，采用以摄像机23的透镜中心点24为始点呈放射状延伸的切割面。

例如，设定从透镜中心点24朝向地板51延伸的平面状的切割面71。切割面71是通过透镜中心点24和监视区域62的底面的顶点66a、66b的平面。通过切割面71，设定警戒区域63与中间区域65的边界面。另外，设定从透镜中心点24朝向地板51延伸的平面状的切割面72。切割面72是通过透镜中心点24和监视区域62的底面的顶点66c、66d的平面。通过切割面72设定中间区域65与限制区域64的边界面。另外，设定从透镜中心点24朝向地板51延伸的平面状的切割面70。切割面70是通过透镜中心点24和监视区域62的底面的顶点66a、66c的平面。通过切割面70设定中间区域65与警戒区域63的边界面及中间区域65与限制区域64的边界面。其它空间区域彼此间的边界面也由从透镜中心点24呈放射状延伸的切割面设定。此外，切割面78是警戒区域63与限制区域64的边界面。切割面78设定于作业区域67与作业区域67的外侧的区域的边界面上。

作为第一空间区域的警戒区域63是箭头81的方向的一方的端部的空间区域。作为第二空间区域的限制区域64是箭头81的方向的另一方的端部的空间区域。第一空间区域及第二空间区域是预定的方向的端部的空间区域。第一空间区域及第二空间区域包括监视区域62的边界面。这样，区域设定部42能够基于多个切割面切断监视区域62，设定多个空间区域。此外，本实施方式的切割面是平面，但不限于该形态，切割面也可以是曲面。

本实施方式的监视装置21在各个空间区域中判断是否存在工件19或者作业者18等物体。运算处理部35包括基于由摄像机23拍摄到的距离图像判断多个空间区域的状态的判断部43。判断部43基于距离图像判断监视区域62的状态、警戒区域63的状态、限制区域64的状态以及中间区域65的状态。

本实施方式的判断部43包括在各个空间区域中判断是否存在成为监视的对象的物体的区域判断部44。图2所示的状态下，区域判断部44判断为在限制区域64存在物体。

图7表示由摄像机拍摄到的距离图像的例。图7中，用线记载物体的边界。从摄像机23观察到的图像成为通过一点透视得到的图像。因此，描绘出栅栏15的顶面15a及侧面15b。拍摄区域61对应于距离图像的外侧的轮廓69。距离图像中，设定与监视区域62对应的图像区域62a。设定与警戒区域63对应的图像区域63a。另外，设定与限制区域64对应的图像区域64a。而且，设定与中间区域65对应的图像区域65a。监视区域62形成为与出口部16的大小对应。

图8表示空间区域及工件的放大侧视图。在图8所示的例中，工件19的一部分配置于监视区域62的内部。工件19配置于限制区域64和中间区域65。参照图3、图7以及图8，区域判断部44在各个空间区域判断是否存在物体。在本实施方式中，在与各个空间区域对应的图像区域62a、63a、64a、65a中设定多个测量点。而且，对于被写入到图像区域62a、63a、64a、65a的物体的测量点，从摄像机23到物体的测量点的距离的判断范围被预先确定，并存储于存储部37。更详细而言，对于与各个图像区域62a、63a、64a、65a对应的像素传感器的像素，预先确定距离的判断范围。对各个像素设定与像素对应的空间区域及距离的判断范围。

例如，箭头83所示的方向对应于一个像素。在此，测量点76包含于警戒区域63，但是测量点77不包含于警戒区域63。透镜中心点24到测量点的距离能够从距离图像得到。区域判断部44在到透镜中心点24的距离包含于判断范围DR1的情况下判断为测量点包含于警戒区域63。在这里的例中，判断范围DR1是距离d1以上且距离d2以下的范围。测量点76包含于判断范围DR1，因此判断为在警戒区域63存在物体。测量点77配置于判断范围DR1的外侧，因此判断为在警戒区域63不存在物体。

在图8所示的工件19的检测中，在工件19的表面设定多个测量点。这些测量点中，例如判断测量点75。对于与测量点75对应的像素，预先确定限制区域64的判断范围DR2。箭头84所示的透镜中心点24到测量点75的距离包含于判断范围DR2。因此，区域判断部44判断为在限制区域64存在物体。在警戒区域63以及中间区域65是否存在物体的判断也能够通过同样的控制实施。另外，检测的物体不限于工件19，也包含作业者18及搬送车等其它物体。

这样，区域判断部44取得从距离图像到物体的表面的测量点的距离，在到测量点的距离处于预先确定的判断范围内的情况下，判断为在与图像区域对应的空间区域的内部存在物体。本实施方式的区域判断部44在物体的至少一部分存在于空间区域时便判断为在该空间区域存在物体。

然而，在距离图像除了成为监视的对象的物体外还包括各种物体。本实施方式的成为监视的对象的物体为工件19及作业者18。例如，在图8所示的例中，在各个空间区域配置有传送带14。在设定判断范围的情况下，能够避开成为监视的对象的物体以外的物体来设定。例如，如图8的判断范围DR2所示地，能够避开传送带14设定判断范围。

在这样的判断范围的设定中，摄像机23能够预先拍摄未配置成为监视的对象的物体的状态的距离图像。能够将该距离图像设定为基准图像。基准图像除了包括栅栏15及传送带14的形状的信息，还包括到栅栏15的距离、到传送带14的距离以及到地板51的距离的信息。作业者基于到各个部件的距离和设定的空间区域的边界面，能够设定距离的判断范围。

或者，区域判断部44也可以判断成为监视的对象的物体是否写入了距离图像。存储部37能够将不含成为监视的对象的物体的距离图像作为基准图像存储。摄像机23拍摄图像后，区域判断部44通过比较本次的距离图像和基准图像，从而能够检测未含于基准图像的物体。该检测中，区域判断部44能够使用物体的轮廓或到物体的距离。并且，区域判断部44能够将未含于基准图像的物体判断为成为监视的对象的物体。区域判断部44能够对于该物体进行是否存在于各个空间区域的判断。该情况的判断范围能够如判断范围DR1所示地不考虑预先配置的传送带等设备而基于各个空间区域的边界面来设定。

图9表示说明其它判断范围的摄像机、工件以及传送带的放大侧视图。在上述的实施方式中，以配置于监视区域62的内部的空间的方式设定判断范围，但不限于该形态。例如，有时物体52通过摄像机23与监视区域62之间。该情况下，存在以下情况：监视区域62被物体52阻断，无法准确判断在监视区域62的内部是否存在物体。因此，在图9所示的例中，将判断范围的始点设定于透镜中心点24。例如，与警戒区域63相关联地，将从透镜中心点24到监视区域62的边界的范围设定为判断范围DR3。另外，与限制区域64相关联地，将从透镜中心点24到传送带14的范围设定为判断范围DR4。

区域判断部44在从透镜中心点24到测量点的距离处于判断范围内的情况下，能够判断为在与测量点对应的空间区域的内部存在物体。通过该控制，即使在摄像机23与监视区域62之间存在物体而使期望的空间区域成为死角的情况下，也能够安全地进行评价。例如，在物体52正在摄像机23与监视区域62之间通过时，警戒区域63的一部分成为死角。但是，区域判断部44在检测到从透镜中心点24到测量点79的距离处于判断范围DR3内的情况下，能够判断为在警戒区域63存在物体。这样，判断范围能够根据配置摄像机23的位置及监视区域的设定方法而任意设定。

参照图8，在本实施方式中，作为从三维摄像机到物体的测量点的距离，采用了从透镜中心点24到物体的测量点的距离，但不限于该形态。作为从三维摄像机到物体的测量点的距离，也可以如箭头85所示地，采用从通过透镜中心点24的平面74到测量点75的距离。该情况下，平面74是相对于摄像机23的视线(光轴)沿垂直的方向延伸的平面。

本实施方式中，设定了通过以摄像机23为始点呈放射状延伸的切割面分割监视区域62而得到的空间区域。这样，区域判断部44能够通过将到物体的表面的距离与判断范围相比来判断物体是否存在于空间区域。区域判断部44能够容易地判断在各个空间区域是否存在物体。

本实施方式中，区域判断部44在警戒区域63及限制区域64判断是否存在物体。进一步地，区域判断部44判断在监视区域62的内部是否存在物体。在监视区域62的判断中，能够设定与监视区域62相关的距离的判断范围来进行判断。或者，预先设定与中间区域65相关的距离的判断范围，区域判断部44能够判断在中间区域65是否存在物体。而且，也可以是，在警戒区域63、中间区域65以及限制区域64的任一区域存在物体的情况下，区域判断部44判断为在监视区域62存在物体。

然后，判断部43判断物体移动的方向。参照图1至图3，判断部43包括移动判断部45，基于第一空间区域的物体的存在状态、第二空间区域的物体的存在状态以及第三空间区域的物体的存在状态，判断物体的移动方向是否正常。空间区域的物体的存在状态相当于在空间区域是否存在物体的判断结果。

移动判断部45允许如箭头81所示地物体从作业区域67的内部向外部搬出。移动判断部45允许物体从栅栏15的内侧的区域向栅栏15的外侧的区域移动。即，移动判断部45将从限制区域64向警戒区域63的物体的移动判断为正常。例如，在从作业区域67搬出工件19的情况下，移动判断部45判断为正常的物体移动。

与之相对，当物体从栅栏15的外侧进入栅栏15的内侧的作业区域67时，移动判断部45判断为异常。移动判断部45在物体从警戒区域63向限制区域64移动的情况下，判断为异常。例如，作业者18从出口部16进入栅栏15的内侧的情况下，移动判断部45判断为异常。

运算处理部35包括向其它装置发送信息的发送部48。移动判断部45在检测到从警戒区域63向限制区域64的物体的移动的情况下判断为异常。然后，发送部48发送将限制作业者接近的装置停止的指令。本实施方式中，发送部48对机器人控制装置12发送将机器人11及手13停止的指令。机器人控制装置12将机器人11及手13停止。

图10表示说明本实施方式的机器人系统的控制的流程图。图10所示的控制能够按照预定的时间间隔反复执行。参照图10及图3，在步骤90，摄像机23拍摄监视区域62。在步骤91，距离图像生成部31生成距离图像。在步骤92，区域判断部44判断在各个空间区域是否存在物体。在此，区域判断部44判断在监视区域62、警戒区域63以及限制区域64的每一个的空间区域是否存在物体。在步骤93，存储部37存储本次的距离图像。另外，存储部37存储在各个空间区域是否存在物体。

然后，在步骤94，移动判断部45判断在上次拍摄到的距离图像以及本次拍摄到的距离图像中，是否在至少一个空间区域存在物体。即，移动判断部45判断在监视区域62、警戒区域63以及限制区域64的至少一个空间区域是否存在物体。在该控制为第一次的情况下，能够采用基准图像作为上次的距离图像。移动判断部45在拍摄到的图像为与基准图像相同的图像的情况下，能够判断为在所有空间区域都不存在物体。

在步骤94中，在所有空间区域都不存在物体的情况下，控制转移到步骤98。该情况下，能够判断为不存在工件19的搬出或作业者18的进入。在步骤98，熄灭显示灯29。在显示灯29已经熄灭的情况下，维持消灯的状态。然后，结束该控制。在步骤94，在上次的距离图像及本次的距离图像中，在至少一个空间区域存在物体的情况下，控制转移到步骤95。

在步骤95，移动判断部45检测各个空间区域的状态的变化。移动判断部45取得本次的拍摄的物体的存在状态和上次的拍摄的物体的存在状态。例如，移动判断部45在预定的空间区域检测是从无物体的状态变成有物体的状态，还是从有物体的状态变成无物体的状态，或者物体的存在状态未变化。然后，在步骤96，移动判断部45判断是否允许空间区域的状态变化，从而判断物体的移动方向是否正常。

图11表示允许的空间区域的状态变化的说明图。图11示出了工件19从作业区域67搬出时的各个空间区域的状态变化。状态101是在限制区域64、监视区域62以及警戒区域63中未检测到物体的状态。接下来的状态102中，工件19移动，工件19的至少一部分存在于限制区域64。状态102例如是图8所示的工件19的一部分配置于中间区域65以及限制区域64的状态。该状态下，判断为在限制区域64和监视区域62存在物体。

当工件19进一步行进时，在状态103，成为在中间区域65的内部存在物体的状态。在状态103下，判断为在限制区域64及警戒区域63不存在物体。状态103例如是如图7所示地在中间区域65的内部配置有工件19的状态。

当工件19进一步行进时，成为状态104。在状态104下，成为在监视区域62及警戒区域63存在物体且在限制区域64不存在物体的状态。当工件19进一步行进时，如状态105所示，成为在全部三个空间区域都不存在物体的状态。

从上次的空间区域的状态向本次的空间区域的状态的变化对应于图11所包括的连续的两个状态的变化时，移动判断部45判断为物体从作业区域67向外侧移动。移动判断部45判断为物体的移动方向正常。另外，在不存在从上次的空间区域的状态向本次的空间区域的状态的变化的情况，移动判断部45判断为物体的移动方向正常。例如，上次的距离图像的状态为状态101，本次的距离图像的状态也是状态101，该情况下，移动判断部45判断为物体的移动方向正常。对于图11所示的正常的状态变化的模式，预先存储于存储部37。

图12示出了空间区域的状态变化异常的第一例。状态101是在三个空间区域不存在物体的状态。接下来的状态111是在监视区域62及警戒区域63存在物体且在限制区域64不存在物体的状态。从状态101向状态111的变化能够判断为物体从作业区域67的外侧向内侧进入。即，如图11所示，状态101之后应进入状态102，但从状态101进入状态111。因此，移动判断部45判断为空间区域的状态变化异常。而且，移动判断部45判断为物体的移动方向异常。

图13示出了空间区域的状态变化异常的第二例。在状态102，在限制区域64及监视区域62存在物体。在接下来的状态112，在三个空间区域都存在物体。如图11所示，在状态102之后应进入状态103，但从状态102进入状态112。该状态的变化例如相当于在搬出工件19时，作业者18进入作业区域67的情况。因此，移动判断部45判断为空间区域的状态的变化异常。并且，移动判断部45判断为物体的移动方向异常。

这样，移动判断部45能够基于空间区域的状态变化判断物体的移动方向是否正常。本实施方式的移动判断部45将正常的状态变化以外的状态变化判断为异常。

参照图10，在步骤96，在空间区域的状态变化正常的情况下，进入步骤97。在步骤97，运算处理部35点亮显示灯。在显示灯29已经被点亮的情况下，维持点的状态。此时的显示灯29的点亮是通知工件19从作业区域67搬出的点亮。作业者18看到显示灯29点亮，从而能够辨识工件19被搬出。

之后，控制返回步骤90，通过摄像机23拍摄距离图像。然后，从步骤91到步骤96，反复进行判断物体的移动方向是否正常的控制。

在步骤96，在空间区域的状态变化不被允许的情况下，控制进入步骤99。例如，在作业者进入作业区域67的情况下，控制进入步骤99。在本实施方式中，在产生图11所示的状态变化以外的状态变化时，控制进入步骤99。

在步骤99，发送部48向机器人控制装置12发送用于使机器人11及手13紧急停止的信号。机器人控制装置12将机器人11及手13停止。这样，能够确保作业者18的安全。

本实施方式的监视装置21能够检测作业者18从栅栏15的外侧的区域通过出口部16进入作业区域67。特别地，监视装置21能够在工件19通过出口部16被搬出的期间中，检测作业者18进入作业区域67。

本实施方式的监视装置21中，能够将监视区域设定为任意的位置及大小。而且，可以以写入整个监视区域62的方式配置摄像机23。因此，能够对监视区域62容易地设定设备的配置。另外，就第一空间区域及第二空间区域而言，设定包括分割监视区域62时的预定的方向的两侧的边界面的区域，因此能够容易地设定进行监视的区域。进一步地，作业者无需进行监视装置21的设备的复杂的控制。

例如，在配置光幕的情况下，为了使作业者不在静音功能发挥效果时穿过，需要探讨配置光幕及光电传感器的位置及控制。此时，存在较多的作业者等穿过的模式，因此需要考虑这些模式。与之相对，本实施方式的监视装置21能够通过简单的设备配置及简单的控制进行监视，以使作业者等物体不穿过。

特别地，本实施方式的监视装置21能够检测正常的物体的移动，并且能够检测异常的物体的移动。在具有向一方的方向搬出的物体的情况下，能够检测物体从另一方的方向进入。即，能够检测向与正常的方向相反的一侧移动的物体。

另外，本实施方式的监视装置21能够由一个三维摄像机及图像处理装置构成，因此监视装置的结构简单。例如，在监视装置包括光幕的情况下，为了实施静音功能，需要光电传感器。与之相对，本实施方式的监视装置能够通过一个三维摄像机检测物体的存在及物体的异常的移动。

本实施方式的显示灯29形成为在检测到从限制区域64朝向警戒区域63的物体的移动的情况下工作。本实施方式中，为了通知作业者18工件19的搬出，使显示灯29工作，但是不限于该形态。也可以构成为，在移动判断部45检测到从警戒区域63向限制区域64的物体的移动的情况下，使显示灯工作。即，也可以，运算处理部35在物体向与允许的方向相反的一侧的方向移动时，实施点亮显示灯的控制。通过该控制，能够警告浸入作业区域67的作业者18。或者，能够通知作业者18物体浸入作业区域67。

或者，也可以，在物体从限制区域64朝向警戒区域63的情况和物体从警戒区域63朝向限制区域64的情况这两方的情况下，都使显示灯29工作。该情况下，优选根据物体移动的方向，变更点灯模式。

作为通知作业者物体的移动的通知装置，不限于显示灯，也可以是产生警报音的蜂鸣器。在监视装置具备蜂鸣器的情况下，也能够使物体搬出时的警报音和物体进入作业区域67的内部时的警报音变化。或者，通知装置也可以包括显示灯及蜂鸣器双方。

本实施方式的区域设定部42将监视区域62分割成三个空间区域，但不限于该形态，也可以将监视区域分割成两个空间区域。

图14表示将监视区域分割成两个空间区域时的侧视图。区域设定部42通过切割面73将监视区域62分割成警戒区域63及限制区域64。根据该监视区域62的分割方法，通过与上述相同的控制，也能够检测物体移动的方向。而且，在判断部43检测到从警戒区域63向限制区域64的物体的移动的情况下，能够实施将机器人停止的控制。

进一步地，区域设定部42也可以将监视区域62分割成四个以上的空间区域。例如，参照图4，可以在警戒区域63的内侧进一步设定空间区域。通过增加分割监视区域而得到的空间区域的数量，能够更详细地判断物体的移动。

本实施方式的摄像机基于光的飞行时间拍摄距离图像，但不限于该形态。三维摄像机能够采用可取得从摄像机到物体的距离的任意的摄像机。作为三维摄像机，例如能够采用包括预先确定了相对位置的两台摄像机的立体摄像机。该情况下，用于分割监视区域的切割面的始点能够设定为成为基准的一方的摄像机的透镜中心点。

本实施方式的监视装置配置于机器人系统，但不限于该形态，能够配置于任意的系统。例如，能够在具备板金冲压机的系统中应用本实施方式的监视装置。另外，能够在判断在预定的区域是否存在物体的任意的系统、或者判断物体是否进入预定的区域的任意的系统配置本实施方式的监视装置。

根据本公开的一方案，能够提供设备的配置的设定及控制容易的监视装置。

在上述的各个控制中，能够在不变更功能及作用的范围内适当变更步骤的顺序。

上述的实施方式能够适当组合。在上述的各个图中，对相同或相似的部分标注相同的符号。此外，上述的实施方式是示例，并非限定发明。另外，在实施方式中，包括技术方案所示的实施方式的变更。

Claims (4)

1.一种监视装置，其特征在于，具备：

取得三维图像的三维摄像机；以及

进行上述三维摄像机的输出信号的处理的图像处理装置，

上述三维摄像机的拍摄区域的一部分确定为进行监视的监视区域，

上述图像处理装置包括将上述监视区域分割而设定多个空间区域的区域设定部，

上述区域设定部通过以上述三维摄像机为始点呈放射状延伸的多个切割面分割上述监视区域，且将预定的方向的一方的端部的空间区域设定为第一空间区域，将预定的方向的另一方的端部的空间区域设定为第二空间区域，

上述图像处理装置包括：

根据上述三维摄像机的输出信号生成包括距离信息的距离图像的距离图像生成部；以及

基于上述距离图像，判断多个空间区域的状态的判断部，

上述区域设定部将第一空间区域与第二空间区域之间的区域设定为第三空间区域，

上述判断部包括移动判断部，该移动判断部基于第一空间区域中的物体的存在状态、第二空间区域中的物体的存在状态以及第三空间区域中的物体的存在状态，判断物体的移动方向是否正常，

上述图像处理装置包括发送信息的发送部，

配置限制作业者接近的装置，且预先设定限制作业者进入的作业区域，

上述区域设定部将第一空间区域设定为配置于作业区域的外侧的警戒区域，将第二空间区域设定为配置于作业区域的内部的限制区域，

在上述判断部检测到从警戒区域朝向限制区域的物体的移动的情况下，上述发送部发送将限制作业者接近的装置停止的指令。

2.根据权利要求1所述的监视装置，其特征在于，

上述三维摄像机是基于光的飞行时间取得到物体的距离的信息的摄像机。

3.根据权利要求1或2所述的监视装置，其特征在于，

上述判断部包括判断在各个空间区域中是否存在成为监视的对象的物体的区域判断部，

上述距离图像包括与各个空间区域对应的图像区域，

对于写入上述图像区域的物体的测量点，预先确定从上述三维摄像机到测量点的距离的判断范围，

上述区域判断部从上述距离图像取得到测量点的距离，在到测量点的距离处于预先确定的判断范围内的情况下，判断为在与上述图像区域对应的空间区域的内部存在物体。

4.根据权利要求1所述的监视装置，其特征在于，

具备通知作业者物体的移动的通知装置，

预先设定限制作业者进入的作业区域，

上述通知装置包括发光的显示灯及发出警报音的蜂鸣器中的至少一方，

上述区域设定部将第一空间区域设定为配置于作业区域的外侧的警戒区域，将第二空间区域设定为配置于作业区域的内侧的限制区域，

在上述判断部检测到从警戒区域朝向限制区域的物体的移动的情况以及上述判断部检测到从限制区域朝向警戒区域的物体的移动的情况中的至少一方的情况下，上述通知装置工作。

Images