CN106476011A - 使用了视觉传感器的机器人系统 - Google Patents

Abstract

本发明涉及使用了视觉传感器的机器人系统，在机器人系统中，信号输出部在检测出根据图像处理部的处理结果而输出表示是进入准备状态的进入准备信号以及在请求了人进入到规定分区的状态下允许人进入到规定分区的进入允许信号的机器人动作停止的情况下，输出进入准备信号，然后，在人请求了进入到规定分区的情况下，输出使机器人的作业停止的指令，或者输出使使机器人的作业停止的指令和人进入所需的使机器人系统中一部分停止的指令这两个指令，输出进入允许信号。

Description

使用了视觉传感器的机器人系统

技术领域

本发明涉及一种使用视觉传感器来提高对人的安全性的机器人系统。

背景技术

在日本专利第5582422号公报中，机器人在限制人进入的动作区域内进行动作。然后，在机器人实施某一工序时检测出人来访到该动作区域时，若在该时间点使机器人的动作停止则会成为在预定的不良阶段的停止，这种情况下，机器人在进行到某一工序以后的其它工序之后被停止。

另外，在日本特开平5-77179号公报中公开了以下技术：在机器人进行动作时被输入请求维护信号的情况下，关于输入请求维护信号时的程序块量，进行动作直至该程序块的程序块结束(block end)为止然后使机器人停止，接着，将机器人设为适合于维护的规定姿势。

并且，在日本专利第4405468号公报中公开了以下技术：通过至少两个不同的方法对由第一图像记录单元和第二图像记录单元记录的图像进行分析，在任一个分析中检测出异物的情况下，使机器人停止。

日本专利第5582422号公报

日本特开平5-77179号公报

日本专利第4405468号公报

发明内容

然而，在日本专利第5582422号公报中，需要预先定义不良阶段来进行编程。因而，在将日本专利第5582422号公报的技术应用于现有的机器人系统时，需要对该机器人系统的程序进行变更或对控制部的电路进行变更。这种变更所需的成本、工时较大。而且，程序和电路的变更要求高度的熟练度和谨慎，因此作业人员受到限制，在机器人系统的现场难以自由地变更。另外，在发生变更错误的情况下，由于变更后的机器人系统反过来有可能使人处于危险，因此，通常不能积极地进行现有机器人系统的程序等的变更。

在日本特开平5-77179号公报中，需要事先设定适合于维护的规定姿势的信息和使机器人移动至该姿势为止的信息。另外，在日本特开平5-77179号公报中，在输入请求维护信号之后，机器人通过程序块结束而暂时停止。因此，在从结束程序块的停止位置移动至适合于维护的规定姿势时，机器人有可能与障害物接触。在维护结束之后返回到程序块结束的停止位置时，也产生相同的问题。

并且，日本专利第4405468号公报中的机器人的停止位置是检测出异物时的位置，因此不指定机器人的停止位置。然而，根据机器人的停止位置不同，有时难以再次开始机器人的动作。

本发明是鉴于这种情形而完成的，目的在于提供一种不对程序等变更就能够应用于现有系统并且不会使人处于危险的机器人系统。

为了完成上述目的，根据第一发明，提供一种机器人系统，包括配置在机器人动作分区的机器人以及控制该机器人使得该机器人在上述机器人动作分区中进行动作的机器人控制部，其特征在于，上述机器人系统具备：摄像部，其拍摄预定分区，该预定分区至少包括上述机器人动作分区的一部分；图像处理部，其对通过该摄像部拍摄得到的图像进行处理；进入请求部，在请求人进入到上述预定分区时操作该进入请求部；进入准备信号，其表示是受理该进入请求部的操作的进入准备状态；以及信号输出部，其根据上述图像处理部的处理结果来输出进入允许信号，该进入允许信号用于在通过上述进入请求部请求了人进入到上述预定分区的状态下允许上述人进入到上述预定分区，在通过上述图像处理部检测出上述机器人的动作停止的情况下，通过上述信号输出部输出上述进入准备信号，然后，在上述人使用上述进入请求部请求进入到上述预定分区的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令，通过上述信号输出部输出上述进入允许信号。

根据第二发明，在第一发明中，上述信号输出部根据上述图像处理的处理结果来输出不能进入信号以及上述进入允许信号中的至少某一个信号，其中，该不能进入信号表示在上述机器人进行动作时上述人不能进入到上述预定分区的状态。

根据第三发明，在第一或第二发明中，只要在通过上述图像处理部检测出上述机器人在预先示教的停止位置上停止了其动作的情况下，就从上述信号输出部输出上述进入准备信号，然后，在上述人使用上述进入请求部请求了进入到上述预定分区的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

根据第四发明，在第一至第三中任一项的发明中，在通过上述图像处理部检测出上述人从上述预定分区退出的情况下，使上述机器人系统的上述一部分或上述机器人再次启动。

根据第五发明，在第一至第四中任一项的发明中，在上述信号输出部输出上述进入允许信号之后，在通过上述图像处理部检测出上述机器人开始动作的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

根据第六发明，在第一至第五中任一项的发明中，上述图像处理部具有：移动体判断部，其将包含上述人所佩戴的佩戴物品的佩戴物品图像模型的移动体判断为上述人，并且将不包含上述佩戴物品图像模型的移动体判断为异物，在上述预定分区中检测出由该移动体判断部判断为异物的移动体的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

根据第七发明，在第一至第六中任一项的发明中，在上述图像处理部在检测出上述人从上述预定分区退出之前看不到上述人的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

根据第八发明，在第一至第七中任一项的发明中，在上述信号输出部输出上述进入允许信号之前上述移动体判断部将上述预定分区内的移动体判断为上述人的情况下，输出使上述机器人的作业停止的指令，或者使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

根据第九发明，在第二发明中，上述信号输出部具有：输出上述进入允许信号的第一输出部分和输出上述不能进入信号的第二输出部分中的至少一个、以及输出上述进入准备信号的第三输出部分，在上述信号输出部仅具有上述第一输出部分和上述第三输出部分的情况下，在从上述第一输出部分没有输出上述进入允许信号时，意味着上述人不能进入到上述预定分区，上述第一输出部分和上述第三输出部分配置成由上述人识别，在上述信号输出部仅具有上述第二输出部分和上述第三输出部分的情况下，在从该第二输出部分没有输出上述不能进入信号时，意味着允许上述人进入到上述预定分区的状态，上述第二输出部分和上述第三输出部分配置成由上述人识别，在上述信号输出部具有上述第一输出部分、上述第二输出部分和上述第三输出部分的情况下，上述第一输出部分、上述第二输出部分和上述第三输出部分配置成由上述人识别。

根据第十发明，在第三至第九中任一项的发明中，上述停止位置被示教为预定大小的空间，在通过上述图像处理部检测出上述机器人在上述空间停止了其动作的情况下，视为上述机器人在上述停止位置上停止。

根据第十一发明，在第九发明中，通过视觉和听觉中的至少一个以彼此存在差异的方式输出上述进入允许信号、上述不能进入信号或上述进入准备信号。

根据第十二发明，提供一种机器人系统，包括配置在机器人动作分区的机器人以及控制该机器人使得该机器人在上述机器人动作分区中进行动作的机器人控制部，其特征在于，上述机器人系统具备：摄像部，其拍摄预定分区，该预定分区至少包括上述机器人动作分区的一部分；图像处理部，其对通过该摄像部拍摄得到的图像进行处理；进入请求部，在请求人进入到上述预定分区时操作该进入请求部；进入准备信号，其表示是受理该进入请求部的操作的进入准备状态；以及信号输出部，其根据上述图像处理部的处理结果来输出进入允许信号，该进入允许信号用于在通过上述进入请求部请求了人进入到上述预定分区的状态下允许上述人进入到上述预定分区，

在通过上述图像处理部检测出上述机器人的动作在预先示教的停止位置上停止的情况下，只要在上述人使用上述进入请求部事先请求了进入到预定分区的情况下，从请求了上述进入的时间点起输出进入准备信号，在检测出上述机器人在预先示教的停止位置上停止了其动作的时间点，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令，通过上述信号输出部输出上述进入允许信号。

附图说明

通过详细说明与附图关联的本发明的典型的实施方式，能够更加明确本发明的目的、特征和优点以及其它目的、特征和优点。

图1是本发明的机器人系统的简要图。

图2是表示本发明的机器人系统的基本动作的流程图。

图3A是表示通过视觉传感器拍摄得到的图像和信号输出部的第一图。

图3B是表示通过视觉传感器拍摄得到的图像和信号输出部的第二图。

图3C是表示通过视觉传感器拍摄得到的图像和信号输出部的第三图。

图4是表示机器人系统的动作的第一流程图。

图5是表示机器人系统的动作的第二流程图。

具体实施方式

以下，参照附图说明本发明的实施方式。在以下附图中对相同的部件附加相同的参照附图标记。为了更容易理解，这些附图适当地变更比例尺。

图1是本发明的机器人系统的简要图。如图1所示，本发明的机器人系统1包括机器人10以及控制该机器人10的机器人控制部20。并且，在图1中，示出机器人10及其周边包括在视场内的视觉传感器11以及对通过视觉传感器11拍摄得到的图像进行处理而输出各种信号的图像处理部25。

机器人10为工业机器人10，例如多关节机器人10。视觉传感器11配置在配置于机器人10附近的柱子14的前端，将机器人10等从上方拍摄。视觉传感器11包括组装了TOF(Time of Flight，飞行时间)的区域传感器设备的照相机以及LED发光设备。视觉传感器11测量LED光的反射光返回的时间来拍摄二维的深度图像。

并且，参照图1，在机器人10周围配置有具备门18的防护栅19。防护栅19限制人进入到机器人10进行动作的机器人动作分区。在视觉传感器11的视场内，拍摄至少包括机器人动作分区的一部分在内的规定分区。此外，也可以通过防护栅19以外的手段，例如配置在地板上白线等来定义规定分区。另外，视觉传感器11从上方拍摄规定分区。

使用视觉传感器11每隔规定时间拍摄得到的图像由机器人控制部20的图像处理部25进行处理。由此，如后文中所述那样检测侵入到规定分区的人和异物。还可以每隔规定时间进行这种处理，由此在规定分区内追踪人等。

针对图像处理部25，预先示教与人、人的佩戴物品、机器人10和机器人动作区域等有关的图像模型。图像处理部25通过将使用视觉传感器11拍摄得到的图像与这些图像模型进行匹配，来确定人、机器人10等并进行检测。通过从预处理后的基准图像(后述)仅切出人、机器人10等的特征部分来制作图像模型。而且，在将从视觉传感器11以规定次数连续地周期性地拍摄得到的图像与机器人10的图像模型进行匹配而在确定出的机器人10的位置无变化时，能够检测出机器人10停止其动作这一情况。

图像处理部25使用由视觉传感器11拍摄得到的图像，判断人是否能够安全地进入到防护栅19内的规定分区，将其结果输出到信号输出部12。信号输出部12在视觉传感器11的下方安装于柱子14。但是，信号输出部12也可以配置于其它位置。

另外，如图1所示，进入请求部29例如按压按钮配置于防护栅19的门18附近。人通过操作进入请求部29，将具有进入到规定分区的意思这一情况通知给图像处理部25。

根据图1可知，信号输出部12包括多个例如三个输出部分12a～12c。信号输出部12按照图像处理部25的处理结果，从第一输出部分12a～第三输出部分12c中的某一个输出对应的信号。这些第一输出部分12a～第三输出部分12c配置成由人识别。

信号输出部12的第一输出部分12a在人使用进入请求部29请求进入到规定分区的状态下输出允许人进入到规定分区的进入允许信号。另外，第二输出部分12c输出表示机器人10进行动作而人不能进入规定分区的状态的不能进入信号。

并且，第三输出部分12b输出表示人能够操作进入请求部29的状态的进入准备信号。在此，“人能够操作进入请求部29的状态”是指为了输出进入允许信号而实际能够操作进入请求部29的状态。

换言之，表示在输出进入准备信号时，机器人10停止其动作，能够进行人进入到规定分区的准备。因而，当输出进入准备信号时人操作进入请求部29时，使机器人的作业停止并从进入准备信号切换为进入允许信号。此外，即使在输出不能进入信号时人操作进入请求部29，在不输出进入准备信号时也不接收进入请求部29的操作，因此不输出进入允许信号，继续输出不能进入信号。

另外，各输出部分12a～12c优选为发光体、例如彼此不同颜色的发光体。例如优选输出进入允许信号的第一输出部分12a为蓝色发光体、输出进入准备信号的第三输出部分12b为黄色发光体以及输出不能进入信号的第二输出部分12c为红色发光体。这样，在信号输出部12为类似于交通信号机的机构的情况下，可知人能够容易地判断当前是否能够安全地进入到规定分区。

如图1所示，声音输出部13例如扬声器配置于信号输出部12附近。代替信号输出部12或与信号输出部12协作地，也可以从声音输出部13输出与不能进入信号、进入准备信号和进入允许信号各自对应的不同的声音或音色。

另外，如图1所示，机器人控制部20与停止部21连接。停止部21根据图像处理部25的处理结果和进入请求部29的进入请求操作，输出使机器人10停止的指令、或使机器人10停止的指令和人进入所需的使机器人系统1中的一部分停止的指令这两个指令。

使机器人10的作业停止的指令例如为执行程序的中断。或，使机器人10停止的指令也可以是切断机器人10的动力源的指令。在该情况下，使机器人10可靠地停止。并且，停止部21还能够使机器人系统1的上述一部分和/或机器人10停止。

另外，图像处理部25具有移动体判断部22，该移动体判断部22将包含人要佩戴的佩戴物品的佩戴物品图像模型的移动体判断为人，并且将不包含佩戴物品图像模型的移动体判断为异物。人要佩戴的佩戴物品例如为头盔、帽子、标牌等。由此，能够容易地进行异物的判断。

图2是表示本发明的机器人系统1的基本动作的流程图。并且，图3A至图3B是表示使用视觉传感器拍摄得到的图像以及与各图像对应的信号输出部的状态的图。

如上所述，视觉传感器11安装于柱子14的前端。因此，如图3A～图3C所示，使用视觉传感器11拍摄得到的图像相当于防护栅19内部的规定分区的俯视图。在图3A～图3C示出的图像中包含位于规定分区内的机器人10以及配置在机器人10周围的第一外围设备15和第二外围设备16。根据图3A～图3C可知，第二外围设备16位于相对于门18比第一外围设备15更远端的位置。

另外，在图像处理部25中预先登记有基准图像。基准图像为例如在图像处理部25中示教的停止位置上使用视觉传感器11拍摄得到的图像。例如在图3B示出的图像中，机器人10在第二外围设备16上停止，根据该基准图像检测机器人10在该位置上停止，制作图像模型。也就是说，在该情况下，在图像处理部25中预先示教基准图像，使得能够检测机器人10在第二外围设备16的位置上停止动作。在本发明中，为了这种用途，预先拍摄得到的图像被用作基准图像。

此外，也可以对多个停止位置进行示教，在该情况下，针对各停止位置登记多个基准图像。即使在这种情况下，使机器人10移动至停止位置而仅使用视觉传感器11进行拍摄，也能够容易地对机器人系统1的机器人的停止位置进行示教。另外，在与图像处理部25连接的操作盘(未图示)的显示部中根据基准图像来显示机器人10的停止位置，因此操作人员能够直观地得到与机器人10的停止位置等有关的信息。

以下，参照图2等，说明本发明的机器人系统1的基本动作。在机器人10按照规定的动作程序进行动作时实施图2等示出的内容。编程为在图像处理部25中示教的停止位置处于机器人10的作业动作的轨道上，机器人在该停止位置暂时停止其动作。

首先，在图2的步骤S11中，机器人10进行动作，因此判断为人进入到防护栅19内部的规定分区是危险的。因此，通过信号输出部12的第二输出部分12c输出不能进入信号，例如红色信号(要参照图3A)。

在步骤S12中，使用视觉传感器11连续并周期性地拍摄图像。将拍摄得到的图像与停止位置的基准图像进行比较。根据该情况下的停止位置的基准图像来制作停止位置上的机器人10的图像模型。而且，使用图像处理部25进行与机器人10的图像模型有关的模型匹配，通过模型匹配的对照来检测机器人10到达停止位置这一情况。在这样的状态下，图像被连续并周期性地拍摄规定次数，通过模型匹配的对照而连续地在停止位置检测出机器人10，由此当检测出机器人10停止动作这一情况时，进入到步骤S13。

在该情况下，机器人10的当前位置处于用于维护的停止位置，因此可以判断为能够实现人进入到规定分区的准备。因而，在步骤S13中，从第二输出部分12c的不能进入信号例如红色信号切换为第三输出部分12b的进入准备信号例如黄色信号(要参照图3B)。

在此，在步骤S14中，确认进入请求部29的进入请求，在步骤S15中确认进入请求时进入到步骤S16。

在判断为机器人10在图像处理部25中示教的停止位置上停止动作并确认进入请求部29的进入请求的情况下，机器人10在该停止位置使作业停止(步骤S17)，因此即使人进入到防护栅19内部的规定分区也不处于危险，因此进入到步骤S16。

在步骤S16中，从第三输出部分12b的进入准备信号例如黄色信号切换为第一输出部分12a的进入允许信号例如蓝色信号(要参照图3C)。这样，在本发明中，当在输出进入准备信号、例如黄色信号时进行进入的请求时，输出进入允许信号例如蓝色信号。因而，能够容易地识别人进行进入请求的时机。

接着，在步骤S17中，停止部21输出使机器人10停止的指令。由此，机器人10在停止位置上继续停止。根据需要，停止部21输出人进入所需的使机器人系统1中的一部分停止的指令。并且，也可以对门18开锁。如图3C所示，在这种状态下，即使人30进入到规定分区，也由于机器人等停止，因此不会使人处于危险。以上为本发明的机器人系统1的基本动作。

另外，在图2中虽未示出，但是如权利要求12那样，在使用上述图像处理部25检测出上述机器人10的动作在预先示教的停止位置上停止其动作的情况下，只要在上述人使用进入请求部29事先请求进入到上述规定分区的情况下，从请求了进入的时间点起输出进入准备信号，在检测出上述机器人19的动作在预先示教的停止位置上停止其动作的时间点，输出使上述机器人10的作业停止的指令，并且如果需要则输出上述人进入所需的使上述机器人系统1的一部分停止的指令，因此步骤S15和步骤S16的用于确认进入请求的步骤和用于发出进入准备信号的步骤13，在检测出机器人的动作在预先维持的停止位置上使机器人的动作停止的步骤12前被设定。

此外，代替人操作进入请求部29，人也可以使用手势信号进行进入请求。在该情况下，与手势信号对应的图像模型预先登记在图像处理部25，图像处理部25通过模型匹配来判断是否存在进入请求。在该情况下，能够排除物理性的进入请求部29。

接着，按照信号输出部12所输出的信号的种类，说明机器人系统1的动作。首先，参照图3A至图3C和图4说明输出不能进入信号例如红色信号或进入准备信号例如黄色信号时的机器人系统的动作。图4示出的内容按规定的控制周期被反复实施。

在图4中，将在输出不能进入信号例如红色信号时视觉传感器11拍摄规定分区内而得到的图像设为状态监视的基准图像。在拍摄该基准图像时，输出不能进入信号例如红色信号，在规定分区内至少最初不存在包括人或异物在内的移动体。

在图4的步骤S21中，视觉传感器11对防护栅19内部的规定分区的图像进行拍摄，与状态监视的基准图像进行比较。然后，在步骤S22中，在这些图像之间存在差分的情况下，进入到步骤S23。然后，在步骤S23中，移动体判断部22通过图像处理部25的模型匹配，判断在图像内是否存在机器人10、人30或异物。

在步骤S24中，准备有从预先拍摄机器人10而得到的基准图像切出机器人10的特征而制作出的图像模型，因此，首先机器人10通过模型匹配与该图像模型进行对照来匹配时，排除该机器人10的部分，进行人30或异物的模型匹配。作为基准图像而预先拍摄上述佩戴物品图像模型例如头盔，准备切出头盔的特征而制作出的图像模型，因此如果与头盔的图像模型匹配，则移动体判断部22判断为差分为人30。在存在不与预先登记的图像模型匹配的差分的情况下，移动体判断部22判断为差分为异物。另外，在不存在这种差分的情况下，移动体判断部22判断为在规定分区内不存在人和异物而结束处理。

在输出不能进入信号例如红色信号的情况下，由于机器人10进行动作，因此人不应该在规定分区内。另外，即使在输出进入准备信号例如黄色信号的情况下，也由于人的进入未被允许，因此人不应该在规定分区内。

因而，在输出不能进入信号或进入准备信号时人在规定分区内被检测到的情况下，意味着进入未被允许且人存在于规定分区内。因而，在步骤S24中检测出人的情况下，进入到步骤S25，停止部21使机器人10紧急停止。在该情况下，优选停止部21切断机器人10的电源。并且，如上所述，也可以使机器人系统1的一部分停止。

此外，在步骤S24中检测出异物的情况下也进行相同的处理。然后，在输出第三输出部分12b的进入准备信号例如黄色信号的情况下，在步骤S26中，将这些信号切换为第二输出部分12c的不能进入信号例如红色信号。此外，在一开始就输出不能进入信号的情况下，在步骤S26中维持不能进入信号。

这样，在本发明中，通过将当前的图像与基准图像进行比较来能够容易地进行异物和人的判断。此外，优选使用多个图像模型来进行多个模型匹配，由此，提高人30和异物的判断精度。

接着，参照图3A至图3C和图5说明输出进入允许信号例如蓝色信号时的机器人系统的动作。图5示出的内容在每隔规定的控制周期被反复实施。另外，图5的步骤S21～步骤S23与上述步骤相同，因此省略再次说明。但是，将在输出进入允许信号例如蓝色信号时视觉传感器11在规定分区内拍摄得到的图像设为步骤S21中的状态监视的基准图像。

在步骤S22中，由于机器人10停止，因此机器人相应部分不会作为差分而出现。另外，如果与佩戴物品图像模型例如头盔的图像模型匹配，则移动体判断部22判断为差分为人30。与此相对，在存在不与预先登记的图像模型匹配的差分的情况下，移动体判断部22判断为差分为异物。此外，在不存在这种差分的情况下，在步骤S22中，移动体判断部22判断为在规定分区内不存在人和异物。

在检测出异物的情况下，有可能由于异物而导致机器人10、外围设备15、16等受损。接着，在使机器人系统1开始运转时有可能残留异物。特别是在异物为与佩戴物品图像模型不匹配的人的情况下，不经意地接近机器人10，当万一机器人开始活动时，产生使该人处于危险的危险性。因而，在该情况下，进入到步骤S25，如上所述那样，停止部21使机器人10紧急停止。并且，如上所述，也可以使机器人系统1的一部分停止。由此，避免上述危险性。然后，在步骤S26中，将第一输出部分12a的进入允许信号例如蓝色信号切换为第二输出部分12c的不能进入信号例如红色信号。

在步骤S24中检测出人的情况下(要参照图3C)，在步骤S31中设定为追踪人30。因而，图像处理部25通过每隔规定时间拍摄得到的图像来检测人30的位置。接着，在步骤S32中，判断人30是否位于规定分区内。通过人30的模型匹配的对照来进行该判断。在不能进行人30的模型匹配的对照、即判断为在规定分区内看不到人30的情况下，进入到步骤S25，如上所述，使机器人系统1的一部分和/或机器人10紧急停止。由此，能够实现人30的安全。

并且，在步骤S32中判断为人30存在于规定分区内的情况下，进入到步骤S33。在步骤S33中，通过监视步骤S23的模型匹配的对照位置来判断机器人10是否停止。此时，输出进入允许信号例如蓝色信号，因此机器人10应该在所示教的停止位置上停止。

因而，在步骤S33中判断为机器人10进行动作的情况下，能够判断为机器人10由于某种原因而不经意地进行动作。在这种情况下，使位于规定分区内的人30处于危险，因此进入到步骤S25，如上所述，使机器人系统1的一部分和/或机器人10紧急停止。通过这种处理，可知即使在人30在防护栅19内进行作业的情况下，也能够确保人30的安全。

此外，虽未图示，但是即使人不存在于规定分区的情况下，也在判断为机器人10进行动作的情况下，如上所述，优选使机器人系统1的一部分和/或机器人10紧急停止。由此，能够避免机器人10与外围设备等碰撞。

另外，根据人对机器人10进行的作业内容不同，以往存在使机器人10等紧急停止之后需要进入的区域。在本发明中，当在输出进入允许信号时检测出机器人10进行动作时，机器人10等紧急停止。由于进行这种处理，因此在本发明中，人不会如以往那样一开始就使机器人10等紧急停止，而能够进入到上述区域。因而，即使在紧急停止状态下不能充分维护的部位，也能够进行充分的维护。另外，在使机器人10等再次开始动作时，也能够完全去除紧急停止的影响。

接着，在步骤S36中继续进行人的追踪，进入到不会丢失该人而确认人30从规定区域退出的步骤S37。对进入请求部29追加退出操作部，来声明该人从规定分区退出而操作该退出操作部并从防护栅19内的规定分区的退出，由此也可以在步骤S37中判断人30从规定分区退出。如上所述那样将相对于当前的图像判断为人30的图像模型匹配反复进行比较，来进行步骤S36的人的追踪。

当人30从规定分区退出得到确认时，从第一输出部分12a的进入允许信号例如蓝色信号切换为第二输出部分12c的不能进入信号例如红色信号。与此同时，通过解除停止部21来使机器人10再次启动，使机器人系统1再次开始。由此，机器人10能够通过动作程序来容易地继续作业。另外，在人从规定分区退出之后，使机器人10等再次启动，因此确保人的安全。

这样，在本发明中，当机器人10在预先示教的停止位置上停止其动作时，使机器人10在停止位置上停止作业，另外，根据需要，也使机器人系统1局部停止，输出进入允许信号。在输出进入允许信号时，机器人10和/或机器人系统1停止使得能够进入，因此人能够安全地进入到机器人10附近的规定分区。换言之，在机器人10进行动作时即使人30请求进入到规定分区，人30也无法进入到规定分区。

此外，机器人10的停止位置也可以示教为规定大小的空间。而且，在使用图像处理部25检测出机器人10在这些空间内停止其动作的情况下，视为机器人10在停止位置上停止其动作。在该情况下，使机器人的停止位置等具有间隙，从而能够进一步确保人的安全。

另外，在本发明中，仅通过设置视觉传感器11并且将机器人10的停止位置示教给图像处理部25等视觉传感器11的示教即足够。因而，不需要改造机器人10侧，就能够将本发明应用于现有的系统。因而，能够排除以往技术那样对机器人的程序和电路进行变更的必要性。另外，在进行示教时，不会对操作人员增加负担，并且也不需要熟练程度。

另外，在未图示的实施方式中，信号输出部12也可以具备第一输出部分12a和第二输出部分12c中的至少一个。例如，信号输出部12也可以仅具备第一输出部分12a和第三输出部分12b。

在该情况下，在未从第一输出部分12a输出进入允许信号时，例如第一输出部分12a被熄灭，意味着人不能进入到规定分区的状态。

或，信号输出部12也可以仅具备第二输出部分12c和第三输出部分12b。在该情况下，在未从第二输出部分12c输出不能进入信号时，例如在第二输出部分12c被熄灭时，意味着允许人进入到规定分区的状态。

即使在这种情况下，人通过参照信号输出部12，也能够容易地判断当前是否能够安全地进入到规定分区。另外，减少输出部分的数量，因此减小信号输出部12的尺寸和费用。

发明的效果

在第一发明中，当通过图像处理部检测出机器人停止动作时，输出进入准备信号，使进入请求部的操作有效。当通过进入请求部的操作发出进入的请求时，使机器人的作业停止，并且根据需要使机器人系统局部停止，输出进入允许信号。在此，机器人系统的局部停止在进入时根据需要进行，因此还有时仅使机器人的作业停止。在输出进入允许信号时，由于机器人等在停止，因此人能够安全地进入到规定分区。换言之，在机器人进行动作时，即使人请求进入到规定分区，人也无法进入到规定分区。

另外，仅通过以设置摄像部并且通过图像处理部检测机器人的动作停止的方式进行示教，不需要改造机器人侧，能够将第一发明应用于现有的机器人系统。因而，不需要变更程序和电路。

在第二发明中，人在不能进入信号时不进入到规定分区，在进入允许信号时进入到规定分区。

在第三发明中，只要在通过图像处理部检测出机器人在预先示教的停止位置上停止其动作的情况下，输出进入准备信号，之后，在人请求进入到规定分区的情况下，使机器人的作业停止，并且根据需要使机器人系统局部停止，因此能够确定使机器人的作业停止并实施维护等的位置。

在第四发明中，在人从规定分区退出之后，使机器人等再次启动，因此能够确保人的安全。

在第五发明中，在处于机器人要停止的状态时机器人开始动作的情况下，使机器人等紧急停止，由此能够确保与预先使机器人紧急停止的状态相同水平的安全。换言之，即使以往使机器人等紧急停止之后进入的分区内，人不需要使机器人等紧急停止，也能够进入到该分区。因而，即使在紧急停止状态下不能充分维护的部位，也能够进行充分的维护。另外，在使机器人等再次进行动作时，也能够完全去除紧急停止的影响。

在第六发明中，将不包含佩戴物品图像模型例如头盔、帽子、标牌等的图像模型的移动体判断为异物，因此能够容易地进行异物的判断。在输出进入允许信号的期间、在规定分区内检测出包括佩戴物品图像模型的移动体即人的情况下，机器人等不会紧急停止，人能够继续进行作业。未佩戴佩戴物品图像模型的人、即未被允许在规定分区进行作业的人，在规定分区内被视为异物，因此使机器人等紧急停止，从而也能确保该人的安全。

在第七发明中，在规定分区内看不到人的情况下，使机器人等停止，因此能够实现人的安全。

在第八发明中，尽管未允许人进入到规定分区，也在规定分区内检测出人的情况下，使机器人等停止。因此，能够实现人的安全。

在第九发明中，人参照输出进入准备信号的第三输出部分、输出进入允许信号的第一输出部分和输出不能进入信号的第二输出部分中的至少一个输出部分，能够容易地判断为当前是否能够安全地进入到规定分区。另外，能够减少输出部分的数量。

在第十发明中，根据规定大小的空间来定义机器人的停止位置，因此能够使机器人的停止位置等具有间隙。

在第十一发明中，能够较简单地构成信号输出部。

在第十二发明中，即使在通过图像处理部检测出机器人的动作在预先示教的停止位置上停止的时间短的情况下，也能够事先发出进入请求。

使用典型的实施方式来说明了本发明，但是，可理解为，如果是本领域技术人员，则在不脱离本发明的范围内，能够进行上述变更和各种其它变更、省略、追加。

Claims (12)

1.一种机器人系统，包括配置在机器人动作分区的机器人以及控制该机器人使得该机器人在上述机器人动作分区中进行动作的机器人控制部，其特征在于，上述机器人系统具备：

摄像部，其拍摄预定分区，该预定分区至少包括上述机器人动作分区的一部分；

图像处理部，其对通过该摄像部拍摄得到的图像进行处理；

进入请求部，在请求人进入到上述预定分区时操作该进入请求部；

进入准备信号，其表示是受理该进入请求部的操作的进入准备状态；以及

信号输出部，其根据上述图像处理部的处理结果来输出进入允许信号，该进入允许信号用于在通过上述进入请求部请求了人进入到上述预定分区的状态下允许上述人进入到上述预定分区，

在通过上述图像处理部检测出上述机器人的动作停止的情况下，通过上述信号输出部输出上述进入准备信号，然后，在上述人使用上述进入请求部请求进入到上述预定分区的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令，通过上述信号输出部输出上述进入允许信号。

2.根据权利要求1所述的机器人系统，其特征在于，

上述信号输出部根据上述图像处理的处理结果来输出不能进入信号以及上述进入允许信号中的至少某一个信号，其中，该不能进入信号表示在上述机器人进行动作时上述人不能进入到上述预定分区的状态。

3.根据权利要求1或2所述的机器人系统，其特征在于，

只要在通过上述图像处理部检测出上述机器人在预先示教的停止位置上停止了其动作的情况下，就从上述信号输出部输出上述进入准备信号，然后，在上述人使用上述进入请求部请求了进入到上述预定分区的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

4.根据权利要求1～3中任一项所述的机器人系统，其特征在于，

在通过上述图像处理部检测出上述人从上述预定分区退出的情况下，使上述机器人系统的上述一部分或上述机器人再次启动。

5.根据权利要求1～4中任一项所述的机器人系统，其特征在于，

在上述信号输出部输出上述进入允许信号之后，在通过上述图像处理部检测出上述机器人开始动作的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

6.根据权利要求1～5中任一项所述的机器人系统，其特征在于，

上述图像处理部具有：移动体判断部，其将包含上述人所佩戴的佩戴物品的佩戴物品图像模型的移动体判断为上述人，并且将不包含上述佩戴物品图像模型的移动体判断为异物，

在上述预定分区中检测出由该移动体判断部判断为异物的移动体的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

7.根据权利要求1～6中任一项所述的机器人系统，其特征在于，

在上述图像处理部在检测出上述人从上述预定分区退出之前看不到上述人的情况下，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

8.根据权利要求1～7中任一项所述的机器人系统，其特征在于，

在上述信号输出部输出上述进入允许信号之前上述移动体判断部将上述预定分区内的移动体判断为上述人的情况下，输出使上述机器人的作业停止的指令，或者使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令。

9.根据权利要求2所述的机器人系统，其特征在于，

上述信号输出部具有：输出上述进入允许信号的第一输出部分和输出上述不能进入信号的第二输出部分中的至少一个、以及输出上述进入准备信号的第三输出部分，

在上述信号输出部仅具有上述第一输出部分和上述第三输出部分的情况下，在从上述第一输出部分没有输出上述进入允许信号时，意味着上述人不能进入到上述预定分区，上述第一输出部分和上述第三输出部分配置成由上述人识别，

在上述信号输出部仅具有上述第二输出部分和上述第三输出部分的情况下，在从该第二输出部分没有输出上述不能进入信号时，意味着允许上述人进入到上述预定分区的状态，上述第二输出部分和上述第三输出部分配置成由上述人识别，

在上述信号输出部具有上述第一输出部分、上述第二输出部分和上述第三输出部分的情况下，上述第一输出部分、上述第二输出部分和上述第三输出部分配置成由上述人识别。

10.根据权利要求3～9中任一项所述的机器人系统，其特征在于，

上述停止位置被示教为预定大小的空间，在通过上述图像处理部检测出上述机器人在上述空间停止了其动作的情况下，视为上述机器人在上述停止位置上停止。

11.根据权利要求9所述的机器人系统，其特征在于，

通过视觉和听觉中的至少一个以彼此存在差异的方式输出上述进入允许信号、上述不能进入信号或上述进入准备信号。

12.一种机器人系统，包括配置在机器人动作分区的机器人以及控制该机器人使得该机器人在上述机器人动作分区中进行动作的机器人控制部，其特征在于，上述机器人系统具备：

摄像部，其拍摄预定分区，该预定分区至少包括上述机器人动作分区的一部分；

图像处理部，其对通过该摄像部拍摄得到的图像进行处理；

进入请求部，在请求人进入到上述预定分区时操作该进入请求部；

进入准备信号，其表示是受理该进入请求部的操作的进入准备状态；以及

信号输出部，其根据上述图像处理部的处理结果来输出进入允许信号，该进入允许信号用于在通过上述进入请求部请求了人进入到上述预定分区的状态下允许上述人进入到上述预定分区，

在通过上述图像处理部检测出上述机器人的动作在预先示教的停止位置上停止的情况下，只要在上述人使用上述进入请求部事先请求了进入到预定分区的情况下，从请求了上述进入的时间点起输出进入准备信号，在检测出上述机器人在预先示教的停止位置上停止了其动作的时间点，输出使上述机器人的作业停止的指令，或者输出使上述机器人的作业停止的指令和上述人进入所需的使上述机器人系统中一部分停止的指令这两个指令，通过上述信号输出部输出上述进入允许信号。