CN111045354A - 机器人控制装置 - Google Patents

Abstract

本发明提供一种机器人控制装置，不论作业员与机器人的位置关系，都可以减轻机器人与作业员或其他物体接触的危险性。机器人控制装置具有：拍摄部(3)，其安装于作业员持有或佩戴的显示设备(2)，拍摄作业员周围的环境并生成该环境的图像；以及控制部(22)，其在该环境所包含的预定机器人没有显示于显示设备(2)时、只显示该预定机器人的一部分时、或表示出该预定机器人的区域相对于显示设备(2)的显示区域的比是预定阈值以下时，使该预定机器人的动作减速或停止。

Description

机器人控制装置

技术领域

本发明涉及例如控制机器人的机器人控制装置。

背景技术

在作业员对具有臂部等可动部，使用伺服电动机驱动该可动部的机器人执行的动作进行示教时，或者在这样的机器人与作业员进行协作作业时，作业员与机器人可能接触。在作业员没有准备地产生那样的接触时，对于作业员是危险的。因此，提出如下技术(例如，参照日本特开2016-209991号公报)：根据从包含人员在内的图像提取的人员相关的预定信息，推定人员对于机器人的识别状态，根据该推定结果、机器人与人员的接触的预测结果，控制机器人的动作。

在上述的技术中，根据由视觉传感器取得的图像来推定人员的目视确认范围，根据有可能与人员接触的机器人的位置是否处于人员的目视确认范围内的判断结果来推定人员是否识别了机器人。但是，根据设置机器人的环境的不同，有时除了机器人与作业员以外，还存在其他装置等各种物体。这样的情况下，根据视觉传感器与人员之间的位置关系的不同，一些物体阻挡视觉传感器的拍摄范围，在由视觉传感器取得的图像中没有拍摄到人员的头部，难以推定人员的目视确认范围。

发明内容

本发明的一个方面的目的在于提供一种机器人控制装置，不论作业员与机器人的位置关系，都可以减轻机器人与作业员或其他物体接触的危险性。

根据一个实施方式，提供一种机器人控制装置。该机器人控制装置具有：拍摄部3，其安装于作业员持有或佩戴的显示设备2，拍摄作业员周围的环境来生成该环境的图像；以及控制部22，其在该环境所包含的预定机器人没有显示于显示设备2时，只显示该预定机器人的一部分时或表示了该预定机器人的区域相对于显示设备2的显示区域的比是预定阈值以下时，使该预定机器人的动作减速或停止。

根据其他实施方式，提供一种机器人控制装置。该机器人控制装置具有：显示设备2，其由作业员佩戴，且能够将由计算机生成的信息与现实环境重合进行显示；位移测量部32，其安装于显示设备2或作业员的头部，输出表示显示设备2或作业员头部的位移量的测量信号；判定部21，其根据该测量信号，推定作业员通过显示设备能够目视确认的目视确认范围，判定环境所包含的预定的机器人是否包含于推定出的目视确认范围；以及控制部22，其在该预定机器人不包含于目视确认范围时使该预定机器人的动作减速或停止。

根据一个方面，不论作业员与机器人的位置关系，都可以减轻机器人与作业员或其他物体接触的危险性。

附图说明

图1是第一实施方式的机器人控制装置的概略结构图。

图2是机器人控制处理有关的处理器的功能框图。

图3是表示显示于显示设备的图像与机器人的控制的关系的一例的图。

图4是第一实施方式的机器人控制处理的动作流程图。

图5是第二实施方式的机器人控制装置所包含的显示设备的概略结构图。

图6A是表示作业员的目视确认范围与机器人的位置关系、机器人的控制的关系的一例的图。

图6B是表示作业员的目视确认范围与机器人的位置关系、机器人的控制的关系的另一例的图。

图7是第二实施方式的机器人控制处理的动作流程图。

具体实施方式

以下，参照附图，对机器人控制装置进行说明。该机器人控制装置在作业员持有或佩戴的显示设备的显示器中显示表示出安装于显示设备的照相机进行拍摄而获得的作业员周围的环境的图像。并且，该机器人控制装置在显示于显示器的图像的显示范围内没有表示被机器人控制装置控制的机器人时，停止该机器人的动作。或者，该机器人控制装置根据安装于作业员所佩戴的具有透明式显示器的显示设备的、测量作业员头部活动的传感器的测量信号，推定作业员经由该显示器可以目视确认的范围，当在推定出的该可以目视确认的范围内不存在机器人时，停止该机器人的动作。

例如在进行针对机器人的示教时，或运用机器人来执行某些作业时，或进行针对机器人的保养作业时应用该机器人控制装置。

图1是第一实施方式的机器人控制装置的概略结构图。机器人控制装置1具有：显示设备2、照相机3、无线通信接口4、通信接口5、存储器6以及处理器7。其中的无线通信接口4、通信接口5、存储器6以及处理器7收纳于机器人控制装置1的本体12。此外，无线通信接口4、通信接口5以及存储器6经由信号线能够相互通信地与处理器7连接。并且，显示设备2以及照相机3分别例如通过遵循蓝牙(Bluetooth(注册商标))等预定的无线通信标准的无线通信，经由无线通信接口4能够通信地与本体12连接。并且，机器人控制装置1经由通信线路13来控制机器人11。

在该示例中，机器人11具有至少一个轴，该至少一个轴分别通过伺服电动机(未图示)而被驱动，由此，机器人11的位置以及姿势发生变化。并且，机器人控制装置1按照作业员的操作或者预先设定的机器人11的控制程序，经由通信线路13控制伺服电动机，以使机器人11为预定的位置和姿势。此外，机器人控制装置1经由通信线路13从机器人11接收通过伺服电动机而被驱动的各轴的旋转量等，由此，检测机器人11的位置和姿势。

显示设备2例如是平板终端这样的便携终端、或者是包含佩戴于作业员头部的头戴显示器的可穿戴终端这样的、作业员持有或者能够佩戴的便携式的显示设备，显示照相机3对作业员周围的环境进行拍摄而获得的图像等。在显示设备2是便携终端时，例如具有：触摸面板显示器；处理器，其生成与经由触摸面板显示器的操作对应的操作信号，或者将从本体12接收到的用于机器人11的操作的操作图标等显示用数据或者从照相机3接受的图像显示于触摸面板显示器；以及无线通信接口，其生成包含由处理器生成的操作信号在内的无线信号而发送给本体12，或者接收来自本体12的无线信号。另外，触摸面板显示器是显示部的一例。

例如，作业员触摸显示于触摸面板显示器的操作图标等，由此，显示设备2的处理器生成表示与该操作图标对应的操作(例如，使机器人11的预定部位向任意方向移动的操作、或者将设定于预定部位的正交坐标系的任意轴作为旋转轴而使机器人旋转的操作等)的操作信号。此外，作业员进行针对触摸面板显示器的预定操作，由此，显示设备2的处理器放大或缩小显示触摸面板显示器所显示的从照相机3获得的图像，或者裁剪从照相机3获得的图像的一部分而显示于触摸面板显示器。该情况下，显示设备2的处理器每当变更显示于触摸面板显示器的图像的范围(以下，简单地称为显示范围)时，表示该显示范围的信息(例如，图像上的显示范围的左上端以及右下端的坐标)也包含于无线信号，可以发送给本体12。另外，在预先设定了显示范围且不进行变更的情况下，显示设备2可以不将显示范围通知给本体12。此外，在显示设备2在触摸面板显示器中显示图像整体时，图像整体为显示范围。

此外，在显示设备2为可穿戴终端时，显示设备2可以代替触摸面板显示器而具有液晶显示器这样的、简单地进行显示的显示器。并且，该显示器可以是透明式的显示器。该情况下，机器人控制装置1能够与本体12进行无线通信，且可以与显示设备2分开地具有用于进行机器人11的操作的输入设备(未图示)。

另外，以下，显示设备2具有的触摸面板显示器有时也简单地称为显示器。

照相机3是拍摄部的一例，例如安装于显示设备2。例如，在显示设备2是便携终端时，照相机3安装于显示设备2的设置显示器的面的背面侧。或者，照相机3例如可以在作业员以观察显示设备2的显示器进行作业这样的方式持有显示设备2时的显示设备2的上端，以面向显示设备2的上方的方式(即，以显示设备2的显示器为水平的方式作业员持有显示设备2时，从作业员的角度观察，面向前方)安装于显示设备2。由此，即使在作业员没有面向机器人11的方向的情况下，照相机3也可以将机器人11包含于其拍摄范围。此外，在显示设备2是可穿戴终端时，将照相机3安装成面向佩戴了显示设备2的作业员的正面方向。并且，照相机3例如能够通信地与显示设备2连接。照相机3在机器人控制装置1控制机器人11的期间，按预定的拍摄周期拍摄作业员周围的环境而生成该环境的图像，将生成的图像发送给显示设备2以及经由显示设备2利用无线信号发送给本体12。

无线通信接口4包含用于执行遵循预定的无线通信标准的无线信号的收发相关的处理的电路等。并且，无线通信接口4取出从显示设备2接收到的无线信号所包含的操作信号、图像或显示范围等信息，转发给处理器7。此外，无线通信接口4生成从处理器7接收到的包含显示于显示设备2的显示用数据等在内的无线信号，将所生成的无线信号发送给显示设备2。

通信接口5例如包含用于执行经由将机器人控制装置1与通信线路13连接的通信接口以及通信线路13的信号的收发相关的处理的电路等。并且，通信接口5例如经由通信线路13将从处理器7接受到的针对机器人11的伺服电动机的转矩指令值这样的控制信息输出给机器人11。此外，通信接口5从机器人11经由通信线路13接收伺服电动机的反馈电流的值、表示由伺服电动机驱动的机器人11的轴的旋转量的来自编码器的编码器信号等表示伺服电动机的动作状况的信息，将该信息转发给处理器7。

存储器6是存储部的一例，例如，具有能够读写的半导体存储器与读出专用的半导体存储器。并且，存储器6也可以具有半导体存储卡、硬盘、或光存储介质这样的存储介质以及访问该存储介质的装置。

存储器6存储由处理器7执行的机器人11的控制处理用的计算机程序等。此外，存储器6还存储显示于显示设备2的机器人11的操作用图标这样的机器人11的操作所使用的显示用数据等。并且，存储器6还存储在机器人11的动作过程中从机器人11获得的表示伺服电动机的动作状况的信息、在机器人控制处理的途中生成的各种数据、以及从照相机3获得的图像等。

处理器7例如具有中央处理单元(CPU)以及其周边电路。并且，处理器7也可以具有数值运算用的处理器单元。并且处理器7执行机器人控制处理。

图2是机器人控制处理有关的处理器7的功能框图。处理器7具有判定部21、控制部22。处理器7具有的这些各部例如是通过在处理器7上执行的计算机程序而实现的功能模块。或者，这些各部也可以作为设置于处理器7的一部分的专用的运算电路，安装于处理器7。

判定部21每当经由无线通信接口4接收由照相机生成的图像时，判定机器人11是否处于经由显示设备2能够被作业员识别的状态。在本实施方式中，判定部21判定是否在接收到的图像的显示范围内表示了机器人11，当在接收到的图像的显示范围内表示了机器人11时，判定为机器人11处于经由显示设备2能够被作业员识别的状态。

例如，判定部21将图像中的显示范围内的各像素的值、或从显示范围内的各像素的值计算的HOG等特征量输入到为了检测机器人11而预先进行了学习的识别器，由此，在图像的显示范围内检测拍摄了机器人11的区域。判定部21作为那样的识别器，例如可以利用神经网络或AdaBoost这样的识别器。或者，判定部21一边改变表示了机器人11的模板与图像的显示范围的相对位置，一边在模板与该显示范围之间执行模板匹配，由此，可以在图像的显示范围内检测拍摄了机器人11的区域。另外，也可以针对照相机3与机器人11间的假想的多个相对位置关系的每一个，在存储器6中预先存储在该相对的位置关系中表示从照相机3能够观察到的机器人11的姿势的多个模板。并且，判定部21也可以在这些多个模板的每一个与图像的显示范围之间执行模板匹配。此外，当对机器人11附加了识别用的某种标记时，模板也可以表示该标记。该情况下，判定部21例如在表示标记的模板与图像的显示范围之间执行模板匹配，在检测到该标记时，可以判定为检测到表示了机器人11的区域。

另外，判定部21可以对图像整体进行上述的处理，来判定在图像中是否表示了机器人11。并且，当无法在图像整体中检测出表示了机器人11的区域时，或者，表示了机器人11的区域从显示范围脱离时，判定部21可以判定为未能从图像的显示范围内检测到表示了机器人11的区域。

判定部21在从图像的显示范围检测到表示了机器人11的区域时，判定为在图像的显示范围内表示了机器人11。另一方面，判定部21在未能从图像的显示范围检测到表示了机器人11的区域时，判定为在图像的显示范围内没有表示机器人11，即判定为机器人11不处于经由显示设备2能够被作业员识别的状态。

判定部21每当判定在图像的显示范围内是否表示了机器人11时，都将该判定结果通知给控制部22。

控制部22每当从判定部21通知在图像的显示范围内是否表示了机器人11的判定结果时，都根据该判定结果控制是否停止机器人11的动作。

在本实施方式中，控制部22在被通知的判定结果中示出了在图像的显示范围内表示了机器人11时，继续机器人11正在执行的动作。另一方面，控制部22在被通知的判定结果中示出了在图像的显示范围内没有表示机器人11时，经由通信接口5和通信线路13将停止机器人11的动作的控制信号输出给机器人11，停止机器人11的动作。

另外，判定部21也可以只在判定为在图像的显示范围内没有表示机器人11时，将该判定结果通知给控制部22。并且，控制部22在从判定部21通知在图像的显示范围内没有表示机器人11这样的判定结果时，可以经由通信接口5以及通信线路13将停止机器人11的动作的控制信号输出给机器人11，停止机器人11的动作。

此外，判定部21也可以与判定结果一起，将在图像上表示了机器人11的区域通知给控制部22。并且，控制部22在图像上表示了机器人11的区域的尺寸相对于图像的显示范围的比是预定阈值(例如，0.2～0.3)以下时，可以经由通信接口5和通信线路13，将停止机器人11的动作的控制信号输出给机器人11。由此，在图像的显示范围内表示的机器人11太小，或在该显示范围内只表示机器人11的一部分，使得作业员难以确认机器人11的动作的详细情况时，控制部22也可以停止机器人11的动作。

图3是表示显示于显示设备2的图像与机器人11的控制的关系的一例的图。如显示于显示设备2的显示器的图像中的显示范围301那样，当在该显示范围301内表示了机器人11整体时，作业员可以经由显示设备2目视确认机器人11，因此，机器人控制装置1不停止机器人11的动作。同样地，如显示范围302那样，当在该显示范围302中表示了用于机器人11的检测的标记310时，机器人控制装置1不停止机器人11的动作。另一方面，如显示范围303那样，在表示机器人11的区域非常小，或在显示范围内没有表示机器人11时，作业员无法经由显示设备2来确认机器人11的动作的详细情况，因此，机器人控制装置1停止机器人11的动作。

图4是第一实施方式的机器人控制处理的动作流程图。处理器7例如每当接收由照相机3生成的图像时，都按照下述的动作流程来执行机器人控制处理。

判定部21判定在由照相机3生成的图像的显示范围内是否表示了机器人11(步骤S101)。当在图像的显示范围内没有表示机器人11时(步骤S101-否)，控制部22停止机器人11的动作(步骤S102)。

另一方面，当在图像的显示范围内表示了机器人11时(步骤S101-是)，控制部22继续机器人11正在执行的动作(步骤S103)。

在步骤S102或步骤S103之后，处理器7结束机器人控制处理。

如以上所说明那样，第一实施方式的机器人控制装置，在由照相机生成的图像中的显示于显示设备的范围内没有表示机器人时，停止机器人的动作，所述照相机由作业员持有或安装于作业员佩戴的显示设备。因此，该机器人控制装置不论作业员与机器人的位置关系，都可以在作业员无法确认机器人的动作时停止机器人的动作。结果，该机器人控制装置可以减轻机器人与作业员或其他物体接触的危险性。并且，该机器人控制装置根据显示于显示设备的图像判定是否停止机器人的动作，因此，即使在作业员没有观察机器人，而是一边观察显示设备一边进行某种作业的情况下，也可以适当地判定是否停止机器人的动作。

另外，根据变形例，针对在一定期间(例如，1～3秒间)内从照相机3接收到的各图像，判定部21判定为在该图像的显示范围内没有表示机器人11时，控制部22也可以停止机器人11的动作。由此，机器人控制装置1当作业员在显示于显示设备2的图像的显示范围内无法一瞬间目视确认机器人11，之后可以立即确认机器人11的情况下，可以继续机器人11的动作，因此，可以防止机器人11频繁地停止，造成作业效率降低。

另外，根据环境的不同，通过设置多个相同形式的机器人，变更照相机3的拍摄方向，有时通过照相机3来拍摄这些多个机器人的某个。这样的情况下，即使在图像上表示了某个机器人，该机器人也并不限定为被机器人控制装置1控制的机器人11。

因此，根据其他变形例，判定部21在从图像的显示范围检测出机器人时，可以判定该检测出的机器人是否是被机器人控制装置1控制的机器人11。并且，判定部21可以只在确认检测出的机器人是被机器人控制装置1控制的机器人11时，判定为在图像的显示范围内表示了机器人11。

该情况下，例如，针对每一个机器人安装包含用于将该机器人与其他机器人进行区分的机器人识别信息的标记(识别标记)。标记例如可以是QR代码(注册商标)、条形码或记载了识别号码的标记。

判定部21在从图像的显示范围内检测出表示了机器人的区域时，从该区域检测表示了标记的标记区域。为此，判定部21例如与检测机器人的情况一样地，将表示了机器人的区域或从该区域提取出的特征量输入到为了检测标记而预先进行了学习的识别器，由此，检测标记区域。判定部21作为那样的识别器，例如可以利用神经网络或AdaBoost这样的识别器。或者，判定部21一边改变表示了标记的模板与表示了机器人的区域的相对位置，一边在模板与表示了机器人的区域之间执行模板匹配，由此，可以在表示了机器人的区域内检测标记区域。并且，判定部21通过对标记区域执行用于解析标记所表示的机器人识别信息的处理，而读取标记所表示的机器人识别信息。例如，在标记是QR代码或条形码时，判定部21执行QR代码或条形码读取用的处理，当在标记中记载了识别号码时，执行预定的字符识别处理即可。并且，判定部21判定读取出的机器人识别信息所表示的机器人的识别号码是否与预先存储于存储器6的机器人控制装置1控制的机器人11的识别号码一致。在机器人识别信息所表示的机器人的识别号码与机器人控制装置1控制的机器人11的识别号码一致时，判定部21判定为在图像的显示范围内表示的机器人是机器人控制装置1控制的机器人11。另一方面，在机器人识别信息所表示的机器人的识别号码与机器人控制装置1控制的机器人11的识别号码不一致时，判定部21判定为在图像的显示范围内表示的机器人不是机器人控制装置1控制的机器人11。

或者，在基于作业员的指示的机器人的动作与由照相机3生成的时间序列的一连串的图像的显示范围内表示的机器人的动作不同时，判定部21可以判定为在图像的显示范围内没有表示机器人11，即，判定为作业员11不处于经由显示设备2能够被作业员识别的状态。该情况下，例如判定部21从作业员经由显示设备2或输入设备进行使机器人11执行预定动作的操作起一定期间内由照相机3生成的时间序列的一连串的图像的每一个，检测因该预定的动作而移动的机器人的部位(例如，机器人臂部的前端)。并且，判定部21求出连接该一连串的图像的每一个中的该部位的位置的该部位的移动轨迹。在沿着该移动轨迹的部位的移动量不足预定阈值时，认为在图像的显示范围内表示的机器人的预定部位没有根据所指示的操作进行移动。因此，判定部21判定为在图像的显示范围表示的机器人并非机器人控制装置1控制的机器人11。

此外，详细情况与第二实施方式相关联地如后面叙述，在显示设备2中设置用于测量显示设备2的运动的陀螺仪传感器等传感器，在根据该传感器的测量信号能够推定显示设备2与机器人11的相对位置关系时，判定部21可以将与作业员指示的操作对应的机器人11的预定部位的移动轨迹虚拟地投影到图像上。并且，判定部21通过将虚拟地投影的移动轨迹与从一连串图像中求出的移动轨迹进行比较，可以判定在图像的显示范围内表示的机器人是否是机器人控制装置1控制的机器人11。该情况下，判定部21根据显示设备2与机器人11的相对位置关系，将以实际空间上的预定基准点为原点而设定的世界坐标系中所表示的与作业员指示的操作对应的机器人11的预定部位的移动轨迹变换为以照相机3为基准的照相机坐标系中的移动轨迹。并且，判定部21通过对照相机坐标系中的移动轨迹执行投影处理，将与作业员指示的操作对应的机器人11的预定部位的移动轨迹虚拟地投影到图像上即可。并且，虚拟地投影的移动轨迹上的某点距从一连串的图像求出的移动轨迹的距离是预定阈值以上时，认为在图像的显示范围内表示的机器人的预定部位的动作与指示的操作所对应的动作不同。因此，判定部21判定为在图像的显示范围内表示的机器人并非机器人控制装置1控制的机器人11即可。

并且，可以在显示设备2中与照相机3分开地或代替照相机3设置测量到显示设备2周围的物体为止的距离，并生成表示该距离的距离图像的3D传感器(未图示)。该3D传感器是拍摄部的其他一例。该情况下，判定部21例如从作业员经由显示设备2或输入设备进行使机器人11执行预定动作的操作起一定期间内由3D传感器生成的多个距离图像的每一个，检测因该预定动作而移动的机器人的部位。此时，判定部21例如可以根据由照相机3获得的图像上的该部位的位置、照相机3与3D传感器的位置关系，确定距离图像上的该部位的位置。或者，判定部21可以在表示距离图像上的该部位的模板与距离图像之间执行模板匹配，由此确定该部位的位置。并且，在该一定期间的最初的距离图像所表示的到该部位为止的距离、与该一定期间内的各距离图像所表示的到该部位为止的距离之差的绝对值不足预定阈值时，认为在图像的显示范围内表示的机器人的预定部位没有根据所指示的操作进行移动。因此，判定部21判定为在图像的显示范围内表示的机器人并非机器人控制装置1控制的机器人11即可。

或者，判定部21根据从某个时间点的距离图像检测出的机器人的预定部位的位置和姿势、基于经由通信接口5从机器人11取得的编码器信号等求出的机器人11的各轴的位置信息，来计算某个时间点的机器人11的原点位置。此外，判定部21根据从某个时间点起经过预定时间之后获得的距离图像中检测出的机器人的预定部位的位置和姿势、基于经由通信接口5从机器人11取得的编码器信号等求出的机器人11的各轴的位置信息，来计算某个时间点起经过预定时间之后的机器人11的原点位置。并且，如果某个时间点的机器人11的原点位置、与某个时间点起经过预定时间之后的机器人11的原点位置之差是预定阈值以上，则判定部21可以判定为在图像的显示范围内表示的机器人并非机器人控制装置1控制的机器人11。

另外，当在图像的显示范围内表示多个机器人时，判定部21针对该多个机器人的每个执行上述的处理即可。并且，在多个机器人都与机器人控制装置1控制的机器人11不同时，判定部21判定为在图像的显示范围内没有表示机器人11即可。

接下来，对第二实施方式的机器人控制装置进行说明。关于第二实施方式的机器人控制装置，显示设备具有透明式显示器、测量作业员头部的活动的传感器，根据由该传感器获得的表示作业员头部的位移量的测量信号，推定作业员经由该显示器可以目视确认的范围，当在推定出的目视确认范围内不存在机器人时，停止该机器人的动作。

第二实施方式的机器人控制装置与第一实施方式的机器人控制装置相比较，显示设备的结构以及机器人控制装置的处理器的处理不同。因此，以下对该不同点和关联部分进行说明。此外的机器人控制装置的结构要素，参照上述的第一实施方式中的对应的结构要素的说明。

图5是第二实施方式有关的机器人控制装置所包含的、显示设备的概略结构图。第二实施方式的显示设备30是能够将由计算机生成的信息与现实的环境重合来进行显示的显示设备的一例，例如是头戴式或眼镜佩戴式的可穿戴终端，具有：透明式显示器31、传感器32、无线通信接口33、存储器34以及处理器35。并且，显示设备30具有：佩戴部件(未图示)，其配置成在显示设备30佩戴于作业员的头部或眼镜时使透明式显示器31与作业员的视野重合。并且显示设备30以面向佩戴了显示设备30的作业员的正面方向的方式安装照相机3。照相机3、透明式显示器31、传感器32、无线通信接口33以及存储器34经由信号线能够通信地与处理器35连接。

透明式显示器31例如由液晶显示器构成，将从处理器35接收到的各种显示用数据与作业员的视野重叠地进行显示。

传感器32是位移测量部的一例，按一定的周期来测量显示设备30或作业员头部的活动，将表示显示设备30或头部的位移量的测量信号输出给处理器35。传感器32例如包含陀螺仪传感器、加速度传感器或可以测量显示设备30或者作业员头部的活动的其他传感器中的至少一个。另外，传感器32可以与显示设备30分开地安装于作业员的头部。

无线通信接口33包含执行遵循预定的无线通信标准的无线信号的收发相关的处理的电路等。并且，无线通信接口33生成从处理器35接收到的、包含由照相机3获得的图像或由传感器32获得的测量信号等在内的无线信号，将生成的无线信号发送给本体12。此外，无线通信接口33取出从本体12接收到的无线信号所包含的显示于显示设备2的显示用数据等，发送给处理器35。

存储器34例如具有能够读写的半导体存储器与读出专用的半导体存储器。并且，存储器34例如暂时存储从传感器32接收到的测量信号、从照相机3接收到的图像或显示用数据等。并且，存储器34也可以存储处理器35的处理所使用的各种数据。

处理器35例如具有中央处理单元(CPU)以及其周边电路。并且，处理器35也可以具有图形处理用的处理器单元。并且，处理器35将从接收到的无线信号中取出的显示用数据等显示于透明式显示器31。此外，处理器35将从照相机3接收到的图像、或从传感器32接收到的测量信号发送给无线通信接口33。

在本实施方式中，处理器7先于机器人控制处理，执行用于求出显示设备30与机器人11的相对位置关系的校准处理。在校准处理中，首先，作业员佩戴显示设备30，经由透明式显示器31在可以目视确认以预定姿势停止的状态的机器人11的状态下，通过照相机3来拍摄机器人11。并且，表示了机器人11的图像被从显示设备30通过无线信号发送给本体12。

处理器7在显示设备30和机器人11间的假想的相对位置关系分别对应的多个模板与接收到的图像之间执行模板匹配处理，由此，确定多个模板中的与接收到的图像最一致的模板。另外，多个模板例如预先存储于存储器6。并且，处理器7将与确定出的模板对应的显示设备30与机器人11间的相对位置关系作为显示设备30与机器人11间的机器人控制处理开始时的相对位置，存储于存储器6。另外，该相对位置例如表示为以机器人11的设置位置或空间上的其他基准点为原点的世界坐标系中的、机器人11以及显示设备30各自的位置以及作业员脸的方向。另外，图像上的各像素与从照相机3观察的方向一一对应，因此，根据与确定出的模板一致的图像上的区域的重心的位置，知晓从照相机3朝向机器人11的方向。因此，处理器7可以根据与确定出的模板一致的图像上的区域的重心的位置、照相机3与作业员头部的方向的关系，求出机器人控制处理开始时的作业员头部的方向。

并且，处理器7可以将机器人11的预定姿势中的、经由通信接口5从机器人11接收到的编码器信号等表示伺服电动机的动作状况的信息存储于存储器6。

另外，在设置与机器人11相同方式的多个机器人时，处理器7可以实施与在上述的第一实施方式的变形例中说明的、判定在图像内表示的机器人是否是被机器人控制装置1控制的机器人11的处理一样的处理，在确定了图像中表示的机器人是机器人11之后，执行校准处理。

在开始机器人控制处理时，处理器7的判定部21每当从显示设备30接收测量信号时，判定机器人11是否为能够被作业员识别的状态。在本实施方式中，判定部21判定机器人11是否包含于作业员经由透明式显示器31能够目视确认的目视确认范围，在机器人11包含于该能够目视确认的目视确认范围时，判定为机器人11为能够被作业员识别的状态。因此，判定部21根据实施校准处理之后从显示设备30接收到的无线信号所包含的测量信号推定作业员头部的活动，由此推定目视确认范围。例如，判定部21每当获得测量信号时，都计算接收前一次测量信号时到接收最新测量信号时的作业员头部的位置和方向的位移量。例如，测量信号如果表示显示设备30或作业员头部的角加速度或加速度，则判定部21对该角加速度或加速度进行二阶积分，由此可以计算作业员头部的位置和方向的位移量。并且，判定部21通过求出实施校准处理以后的作业员头部的位置和方向的位移量的总和，可以推定接收最新测量信号时的作业员头部的位置和方向。并且，通过显示设备30佩戴于作业员时的作业员的眼睛与透明式显示器31间的距离、以及透明式显示器31的显示区域的尺寸，决定作业员经由透明式显示器31可以目视确认的能够目视确认范围。该能够目视确认范围例如由以作业员的正面方向为基准的水平方向和垂直方向的角度范围表示，预先存储于存储器6。因此，判定部21通过推定出的接收最新测量信号时的作业员头部的位置以及方向与该能够目视确认范围，可以推定世界坐标系所表示的接收最新测量信号时的作业员的目视确认范围。

并且，判定部21可以从接收最新测量信号时的来自机器人11的编码器信号，推定接收最新测量信号时的机器人11的位置以及姿势。并且，判定部21通过将接收最新测量信号时的作业员的目视确认范围与机器人11的位置和姿势进行比较，可以判定机器人11是否包含于作业员的目视确认范围。另外，判定部21不仅在机器人11整体包含于作业员的目视确认范围的情况下，还可以在包含机器人11的预定部位(例如，机器人11的各臂部、前端或安装于前端的工具)的至少一个的情况下，也判定为机器人11包含于作业员的目视确认范围。

判定部21每当判定机器人11是否包含于作业员的目视确认范围时，都将该判定结果通知给控制部22。

控制部22每当从判定部21接收机器人11是否包含于作业员的目视确认范围的判定结果时，根据该判定结果判定是否停止机器人11的动作。即，控制部22在机器人11包含于作业员的目视确认范围时，继续机器人11的动作。另一方面，在机器人11不包含于作业员的目视确认范围时，控制部22经由通信接口5和通信线路13将停止机器人11的动作的控制信号输出给机器人11。

另外，判定部21也可以只在判定为机器人11不包含于作业员的目视确认范围时，将该判定结果通知给控制部22。并且，控制部22可以在从判定部21通知机器人11不包含于作业员的目视确认范围这样的判定结果时，经由通信接口5以及通信线路13将停止机器人11的动作的控制信号输出给机器人11。

图6A和图6B分别是表示作业员的目视确认范围与机器人11的位置关系、同机器人11的控制的关系的一例的图。如图6A所示，在机器人11包含于作业员600经由显示设备30的透明式显示器可以目视确认的目视确认范围601时，作业员经由显示设备30可以目视确认机器人11，因此，机器人控制装置1不停止机器人11的动作。另一方面，如图6B所示，在机器人11不包含于作业员600经由显示设备30的透明式显示器可以目视确认的目视确认范围602时，作业员600经由显示设备30无法目视确认机器人11，因此，机器人控制装置1停止机器人11的动作。

图7是第二实施方式的机器人控制处理的动作流程图。处理器7例如每当接收由传感器32生成的测量信号时，都按照下述的动作流程来执行机器人控制处理。

判定部21根据接收到的测量信号，推定作业员经由显示设备30的透明式显示器31可以目视确认的目视确认范围(步骤S201)。然后，判定部21判定机器人11是否包含于该目视确认范围(步骤S202)。在机器人11不包含于作业员的目视确认范围时(步骤S202-否)，控制部22停止机器人11的动作(步骤S203)。

另一方面，在机器人11包含于作业员的目视确认范围时(步骤S203-是)，控制部22继续机器人11正在执行的动作(步骤S204)。

步骤S203或S204之后，处理器7结束机器人控制处理。

如以上所说明那样，第二实施方式的机器人控制装置，在机器人不包含于作业员经由佩戴的显示设备的透明式显示器可以目视确认的目视确认范围时，停止机器人的动作。因此，第二实施方式的机器人控制装置，不论作业员与机器人的位置关系，都可以在作业员无法确认机器人的动作的情况下停止机器人的动作。结果，该机器人控制装置可以减轻机器人与作业员或其他物体接触的危险性。

另外，根据变形例，在一定期间(例如，1～3秒间)，判定部21判定为机器人11不包含于作业员的目视确认范围时，控制部22可以停止机器人11的动作。由此，机器人控制装置1在机器人11从作业员的目视确认范围脱离一瞬间，之后机器人11立即包含于目视确认范围时，可以继续机器人11的动作，因此，可以防止机器人11频繁停止，造成作业效率降低。

根据其他变形例，在执行校准处理时，处理器7可以将与显示设备30和机器人11间的假想的相对位置关系分别对应的多个模板包含于无线信号发送给显示装置30。并且，显示设备30的处理器35将接收到的多个模板依次显示于透明式显示器31。作业员在将各模板中的所显示的模板与机器人11重合来进行观察时，例如经由输入设备(未图示)执行选择与机器人11最一致的模板的操作。由此，处理器7将与由作业员选择出的模板对应的相对位置设为显示设备30与机器人11间的机器人控制处理开始时的相对位置即可。

或者，在执行校准处理时，处理器7可以将与显示设备30和机器人11间的假想的相对位置关系对应的一个模板包含于无线信号发送给显示设备30。并且，显示设备30的处理器35将接收到的模板显示于透明式显示器31。作业员在将所显示的模板与机器人11重合而进行观察时，移动成机器人11与模板一致，在机器人11与模板一致时，例如可以经由输入设备(未图示)执行表示上述情况的操作。由此，处理器7将模板对应的相对位置设为显示设备30与机器人11间的机器人控制处理开始时的相对位置即可。

根据该变形例，可以省略照相机3。

此外，根据其他变形例，也可以代替照相机3，在显示设备30安装3D传感器。该情况下，在执行校准处理时，显示设备30将包含由3D传感器生成的距离图像的无线信号发送给本体12。并且，处理器7执行从接收到的无线信号所包含的距离图像中检测机器人11或机器人11的预定部位的处理(例如，使用了识别器的检测处理或模板匹配)，确定距离图像上的表示了机器人11或预定部位的区域，由此可以检测显示设备30与机器人11间的相对位置。即，处理器7可以将确定出的区域的重心对应的方向设为从显示设备30朝向机器人11的方向，将该区域内的各像素的值的平均值所表示的距离设为显示设备30与机器人11间的距离。

并且，根据其他变形例，即使机器人11包含于作业员经由佩戴的显示设备30的透明式显示器31可以目视确认的目视确认范围，在作业员与机器人11间的距离是预定的下限值以下时，控制部22也可以停止机器人11的动作。由此，机器人控制装置1在作业员与机器人11过近时可以减轻机器人11与作业员碰撞的危险性。此外，即使机器人11包含于作业员经由佩戴的显示设备30的透明式显示器31可以目视确认的目视确认范围，在作业员与机器人11间的距离是预定上限值以上时，控制部22也可以停止机器人11的动作。由此，机器人控制装置1在作业员与机器人11离得太远，难以确认机器人11的动作的详细情况时，停止机器人11的动作，可以减轻机器人11与其他物体碰撞的危险性。

并且，在上述各实施方式或变形例中，控制部22在经由显示设备或显示设备的透明式显示器判定为机器人11不为能够被作业员识别的状态时，即，机器人11没有显示于显示设备30，或只有机器人11的一部分显示于显示设备30时，或表示了机器人11的区域相对于显示设备30的显示区域的比是预定阈值以下时或机器人11不包含于推定出的目视确认范围时，可以经由通信接口5以及通信线路13将使机器人11的动作减速的控制信号输出给机器人11。

另外，在上述的各实施方式或其变形例中，判定部21以及控制部22中的两方的处理，或判定部21的处理可以由显示设备2具有的处理器来执行。此外，无线通信接口4、33可以被有线通信接口替代。

这里所列举的所有示例以及特定的用语，都是帮助读者理解本发明和针对该技术的促进的由本发明者作出贡献的概念的、出于示教目的的示例以及用语，应解释为不限定于表示本发明优劣相关的、本说明书的任意示例的结构这样的特定的示例和条件。详细地对本发明的实施方式进行了说明，但是只要不脱离本发明的精神和范围，能够在此基础上进行各种变更、置换以及修正。

Claims (4)

1.一种机器人控制装置，其特征在于，具有：

拍摄部，其安装于作业员持有或佩戴的显示设备，拍摄所述作业员周围的环境来生成该环境的图像；

控制部，其在所述环境所包含的预定机器人没有显示于所述显示设备时、只显示所述机器人的一部分时或表示出所述机器人的区域相对于所述显示设备的显示区域的比是预定阈值以下时，使所述机器人的动作减速或停止。

2.根据权利要求1所述的机器人控制装置，其特征在于，

对所述机器人附加用于识别所述机器人的识别标记，

在无法从显示于所述显示设备的图像中检测表示所述机器人的所述识别标记时，所述控制部使所述机器人的动作减速或停止。

3.根据权利要求1或2所述的机器人控制装置，其特征在于，

在显示于所述显示设备的机器人的动作与针对所述预定机器人指示的动作不同时，所述控制部使所述机器人的动作减速或停止。

4.一种机器人控制装置，其特征在于，具有：

显示设备，其由作业员佩戴，且能够将由计算机生成的信息与现实环境重合进行显示；

位移测量部，其安装于所述显示设备或所述作业员的头部，输出表示所述显示设备或所述作业员头部的位移量的测量信号；

判定部，其根据所述测量信号，推定所述作业员通过所述显示设备能够目视确认的目视确认范围，判定所述环境所包含的预定机器人是否包含于推定出的所述目视确认范围；以及

控制部，其在所述机器人不包含于所述目视确认范围时使所述机器人的动作减速或停止。

Images