CN117256005A - 运行管理装置 - Google Patents

Abstract

使用由多个照相机拍摄到的影像，容易地制作配置于工厂的多个工业机械的配置图。运行管理装置具有：机床检测部，其根据登记的每个工业机械的特征点，从多个照相机的影像中检测工业机械；变化点检测部，其从各照相机的影像中对所检测出的工业机械的特征点中的时间序列变化的特征点和变化的时刻进行检测；相同机械识别部，其根据时间序列变化的特征点和变化的时刻，在影像中识别相同的工业机械；照相机参数计算部，其根据所登记的特征点间的距离和工业机械的影像上的特征点间的距离，计算各照相机的照相机参数；机械距离计算部，其根据各照相机的照相机参数，计算工业机械的特征点与多个照相机之间的距离；配置图制作部，其根据工业机械的各特征点与各照相机的镜头中心之间的距离、和各照相机的镜头中心的三维坐标，制作配置了工业机械的图标的配置图。

Description

运行管理装置

技术领域

本发明涉及一种运行管理装置。

背景技术

在机床、机器人等多个工业机械运行的工厂中，提出了如下技术：将控制各工业机械的控制装置和进行与各工业机械的运行状况相关的数据的收集及监视的管理装置经由网络连接，集中管理各工业机械的运行状况。例如，参照专利文献1。

现有技术文献

专利文献

专利文献1：日本特开2017-10200号公报

发明内容

发明要解决的课题

然而，在管理装置上的工业机械的配置图制作中，用户需要使用智能手机等终端装置来收集配置于工厂的多个工业机械各自的识别信息和位置信息，从而花费工夫和时间。

另一方面，随着监视照相机的价格降低，在工厂配置有能够进行网络连接的多个监视照相机。

因此，期望使用由多个照相机拍摄到的影像来容易地制作配置于工厂的多个工业机械的配置图。

用于解决课题的手段

本公开的运行管理装置的一方式是一种运行管理装置，其将表示至少一个工业机械的图标配置在表示设置有所述工业机械的设施的概略形状的配置图上并进行显示，其中，所述运行管理装置具有：机床检测部，其根据事先登记在机床外形存储部中的每个工业机械的多个特征点，从设置于所述设施内的多个照相机各自的影像中检测设置于所述设施的所述工业机械；变化点检测部，其从所述多个照相机各自的影像中对检测出的所述工业机械的所述多个特征点中的时间序列变化的特征点和该特征点进行了时间序列变化的时刻进行检测；相同机械识别部，其根据由所述变化点检测部检测出的时间序列变化的所述特征点和该特征点进行了时间序列变化的时刻，在所述多个照相机各自的影像中识别一个以上的相同的工业机械；照相机参数计算部，其根据事先登记在所述机床外形存储部中的至少一组特征点间的距离、和由所述相同机械识别部识别出的所述工业机械的影像上的所述特征点间的距离，计算所述多个照相机各自的照相机参数；机械距离计算部，其根据由所述照相机参数计算部计算出的所述多个照相机各自的照相机参数，计算由所述相同机械识别部识别出的所述工业机械的各特征点与所述多个照相机各自的照相机镜头中心的位置之间的距离；配置图制作部，其根据由所述机械距离计算部计算出的所述工业机械的各特征点与所述多个照相机各自的照相机镜头中心的位置之间的距离、和事先登记的所述多个照相机各自的照相机镜头中心的位置的三维坐标，制作配置了被识别出的所述工业机械的图标的所述配置图。

发明效果

根据一方式，能够使用由多个照相机拍摄到的影像，容易地制作配置于工厂的工业机械的配置图。

附图说明

图1是表示一实施方式的运行管理系统的功能结构例的功能框图。

图2A是表示由照相机拍摄到的影像的一例的图。

图2B是表示由照相机拍摄到的影像的一例的图。

图3是表示运行管理装置的结构的框图。

图4是表示机床的特征点的一例的图。

图5A是表示机床的正面的平面的一例的图。

图5B是表示使机床的正面平行移动后的平面和机械前区域的一例的图。

图6是表示影像上的机械前区域与阈值的关系的一例的图。

图7是表示对自动判断处于能够以规定的精度检测的位置关系的照相机的处理进行说明的一例的图。

图8是表示配置图的一例的图。

图9A是表示请求增强现实的显示的人的动作的一例的图。

图9B是表示请求增强现实的显示的人的动作的一例的图。

图10是表示AR图像的一例的图。

图11是对运行管理装置的管理处理进行说明的流程图。

具体实施方式

＜一实施方式＞

图1是表示一实施方式的运行管理系统的功能结构例的功能框图。在此，作为工业机械例示机床。此外，本发明也能够应用于工业用机器人、服务用机器人、锻压机械以及注射成型机等工业机械。

如图1所示，运行管理系统1具有：运行管理装置10、n台机床20(1)～20(n)、以及m台以规定的帧频拍摄影像(动态图像)的照相机30(1)～30(m)(n是1以上的整数，m是2以上的整数)。

运行管理装置10、机床20(1)～20(n)以及照相机30(1)～30(m)也可以经由LAN(Local Area Network，本地局域网)、因特网等网络相互连接。该情况下，运行管理装置10、机床20(1)～20(n)以及照相机30(1)～30(m)具有用于通过该连接相互进行通信的未图示的通信部。此外，运行管理装置10、机床20(1)～20(n)以及照相机30(1)～30(m)也可以经由未图示的连接接口通过有线或无线相互直接连接。

机床20(1)～20(n)对于本领域技术人员而言是公知的机床，包含控制装置210。机床20(1)～20(n)根据来自控制装置210的动作指令进行动作。

此外，以下，在不需要将机床20(1)～20(n)的每一个分别区分的情况下，将它们统称为“机床20”。

控制装置210例如是对于本领域技术人员而言公知的数值控制装置，根据控制信息生成动作指令，将生成的动作指令发送到机床20。由此，控制装置210控制机床20的动作。

具体而言，控制装置210是通过控制机床20来使机床20进行规定的机械加工的装置。对控制装置210提供记述了机床20的动作的加工程序。控制装置210根据提供的加工程序，制作包含针对各轴的移动指令、对驱动主轴的电动机的旋转指令等的动作指令，将该动作指令发送到机床20，由此，控制机床20的电动机。由此，执行基于机床20的规定的机械加工。

另外，控制装置210将包含动作指令的机床20的运行信息发送到运行管理装置10。并且，控制装置210也可以根据控制装置210所包含的时钟(未图示)的时钟信号，将表示机床20根据动作指令进行动作的时刻的时刻信息附加到运行数据中并输出到运行管理装置10。

此外，在机床20是机器人等的情况下，控制装置210也可以是机器人控制装置等。

另外，控制装置210的控制对象的装置不限于机床20、机器人，能够广泛应用于所有工业机械。工业机械例如包含机床、工业用机器人、服务用机器人、锻压机械以及注射成型机这样的各种机械。

在本实施方式中，作为控制装置210，例示数值控制装置。

照相机30(1)～30(m)例如是监视照相机等数码照相机，配置在配置有机床20的工厂内。照相机30(1)～30(m)将以规定的帧频拍摄到的帧图像作为影像输出到运行管理装置10。另外，照相机30(1)～30(m)根据照相机30(1)～30(m)各自所包含的时钟(未图示)的时钟信号，取得拍摄到各帧图像的时刻，将表示所取得的时刻的时刻信息附加到影像中并输出到运行管理装置10。

图2A及图2B是表示由照相机30拍摄到的影像的一例的图。在图2A和图2B中，表示配置于不同位置的两个照相机30拍摄相同的三台机床20而得的影像。即，各照相机30被配置为与相邻的照相机30拍摄至少一个相同的机床20的一部分。

此外，以下，在不需要将照相机30(1)～30(m)的每一个分别区分的情况下，将它们统称为“照相机30”。

＜运行管理装置10＞

运行管理装置10例如是计算机。

图3是表示运行管理装置10的结构的框图。

如图3所示，运行管理装置10具有：控制部110、存储部130、输入部150以及显示部170。另外，控制部110具有：影像数据取得部111、机床检测部112、人检测部113、变化点检测部114、相同机械识别部115、照相机参数计算部116、运行信息取得部117、运行信息机械确定部118、机械距离计算部119、机械前区域坐标计算部120、机械前区域人检测部121、配置图制作部122、增强现实显示请求动作检测部123以及增强现实信息发送部124。另外，存储部130存储影像数据131、运行信息132、机床外形数据133以及照相机三维坐标数据134。

另外，运行管理装置10例如也可以具有如下功能：以规定的时间间隔对控制装置210以及各照相机30的时钟(未图示)的时刻进行检查并相互同步。

＜存储部130＞

存储部130例如是ROM(Read Only Memory，只读存储器)、HDD(Hard Disk Drive，硬盘驱动器)等，储存后述的控制部110执行的系统程序以及运行监视应用程序等。另外，存储部130存储影像数据131、运行信息132、机床外形数据133以及照相机三维坐标数据。

影像数据131例如按照相机30储存由后述的影像数据取得部111取得的由照相机30分别拍摄到的影像。

运行信息132例如按机床20储存由后述的运行信息取得部117取得的机床20各自的运行信息。

机床外形数据133例如作为机械外形存储部根据CAD数据等附图，储存按机床20的机型事先登记的多个特征点(例如，拐角、标志的文字、数值控制(NC)部分、警告灯、门等)。另外，机床外形数据133也可以根据附图，储存事先登记的多个特征点中的至少一组特征点间的距离。

图4是表示机床20的特征点的一例的图。在图4中，用黑色的点表示特征点。

另外，存储部130存储对事先登记的各照相机30设定的照相机坐标系的原点即照相机镜头中心的位置在世界坐标系中的三维坐标。此外，照相机坐标系的原点被设定为照相机镜头中心，照相机坐标系的Z轴是通过镜头的中心与镜头面正交的直线，即照相机30的光轴。另外，世界坐标系例如将工厂的规定的位置(例如，工厂的楼层的角落等)设定为坐标原点。

以下，将各照相机30的照相机镜头中心的世界坐标系中的三维坐标值称为照相机三维坐标数据134。

＜输入部150＞

输入部150例如是键盘、配置于后述的显示部170的触摸面板等，受理用户的输入。输入部150可以作为根据作业者等用户的输入操作来受理照相机30的照相机参数的照相机参数输入部发挥功能，也可以作为受理表示世界坐标系中的各照相机30的照相机镜头中心的位置的三维坐标的照相机坐标输入部发挥功能。

＜显示部170＞

显示部170例如是液晶显示器等，也可以作为显示由后述的配置图制作部122制作出的机床20的配置图的配置图信息显示部发挥功能。

＜控制部110＞

控制部110对于本领域技术人员而言是公知的，具有CPU、ROM、RAM、CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体

)存储器等，它们构成为能够经由总线相互通信。

CPU是整体控制运行管理装置10的处理器。CPU经由总线读出储存在ROM中的系统程序以及运行管理应用程序，按照系统程序以及运行管理应用程序来控制运行管理装置10整体。由此，如图2所示，控制部110构成为实现影像数据取得部111、机床检测部112、人检测部113、变化点检测部114、相同机械识别部115、照相机参数计算部116、运行信息取得部117、运行信息机械确定部118、机械距离计算部119、机械前区域坐标计算部120、机械前区域人检测部121、配置图制作部122、增强现实显示请求动作检测部123以及增强现实信息发送部124的功能。在RAM中储存临时的计算数据、显示数据等各种数据。另外，CMOS存储器构成为如下的非易失性存储器：由未图示的电池备份，即使断开运行管理装置10的电源也保持存储状态。

影像数据取得部111从照相机30取得由照相机30分别拍摄并附加有时刻信息的影像的帧图像。影像数据取得部111将取得的影像按照相机30存储于影像数据131。

机床检测部112例如对由影像数据取得部111取得的影像进行对于本领域技术人员而言公知的特征点提取处理，将提取出的特征点与事先登记在机床外形数据133中的每个机床20的多个特征点进行比较，检测拍摄到的机床20。

人检测部113例如对由影像数据取得部111取得的影像的帧图像进行对于本领域技术人员而言公知的特征点提取处理，将提取出的特征点与事先登记于存储部130的表示人的关节等的特征点数据(未图示)进行比较，检测在影像内拍摄到的作业者等人。

变化点检测部114根据由照相机30分别拍摄到的影像和附加于影像的时刻信息，检测由机床检测部112检测出的机床20的多个特征点中的时间序列变化的特征点和该特征点进行了时间序列变化的时刻。

具体而言，变化点检测部114例如将检测出的机床20的多个特征点中的与配置于机床20的警告灯对应的特征点确定为进行时间序列变化的特征点。变化点检测部114使用由照相机30拍摄到的影像及时刻信息，在拍摄了确定的特征点(警告灯)的影像中，检测警告灯的状态(例如，表示处于运转中的绿色、表示处于停止中的黄色、表示处于警报中的红色中的任一个点亮等)和警告灯的状态产生了变化(例如，从绿色变化为黄色等)的时刻。

另外，变化点检测部114也可以将检测出的机床20的多个特征点中的与配置于机床20的门对应的特征点确定为进行时间序列变化的特征点。变化点检测部114也可以使用由照相机30拍摄到的影像及时刻信息，在拍摄了所确定的特征点(门)的影像中，检测门的开闭的状态和门被打开或被关闭的定时的时刻。

变化点检测部114也可以将检测出的时间序列变化的特征点和该时间序列变化的时刻按机床20存储在控制部110所包含的RAM(未图示)等中。

相同机械识别部115根据由变化点检测部114检测出的时间序列变化的特征点和该特征点进行了时间序列变化的时刻，在照相机30各自的影像中识别一个以上的相同的机床20。

具体而言，相同机械识别部115例如在图2A以及图2B所示的影像中，根据由变化点检测部114检测出的时间序列变化的特征点即警告灯、门的状态和警告灯、门的状态产生了变化的时刻，识别为在图2A以及图2B的影像中拍摄到的三台机床20分别是相同的机床。

照相机参数计算部116根据事先登记在机床外形数据133中的机床20中的至少一组特征点间的距离和由相同机械识别部115识别出的机床20的影像上的对应的特征点间的距离，计算照相机30各自的照相机参数。

具体而言，照相机参数计算部116使用公知的方法(例如，Z.Zhang：AFlexible NewTechnique for Camera Calibration，IEEE Trans.PAMI，22，11(2000)1330)，根据由各照相机30拍摄到的包含特征点间的距离已知的两个特征点的机床20的影像，将各照相机30的内部参数和外部参数与影像中的畸变像差的参数一起计算为各照相机30的照相机参数。

此外，也可以在各机床20配置特征点间的距离已知的棋盘格等，照相机参数计算部116根据由各照相机30拍摄到的包含棋盘格等的机床20的影像来计算各照相机30的照相机参数。

运行信息取得部117从各机床20的控制装置210取得包含动作指令的机床20的运行信息。运行信息取得部117按机床20将取得的运行信息存储在运行信息132中。

运行信息机械确定部118根据由运行信息取得部117取得的运行信息表示的时间序列变化、由变化点检测部114检测出的时间序列变化的特征点以及该特征点进行了时间序列变化的时刻，确定由运行信息取得部117取得的运行信息是由相同机械识别部115识别出的机床20中的哪个机床20的运行信息。

具体而言，运行信息机械确定部118例如在由运行信息取得部117取得的运行信息中确定运转中、停止中、警报中、门的开闭等机床20的状态以及该机床20的状态产生了变化的时刻与由相同机械识别部115识别出的机床20中的由变化点检测部114检测出的警告灯、门的状态以及警告灯、门的状态产生了变化的时刻一致的机床20。

机械距离计算部119根据由照相机参数计算部116计算出的照相机30各自的照相机参数，计算由相同机械识别部115识别出的机床20的特征点与各个照相机30之间的距离。

具体而言，机械距离计算部119例如使用由照相机参数计算部116计算出的照相机30各自的照相机参数、公知的方法(例如SfM(Structure for Motion))，根据由各照相机30拍摄到的影像，计算世界坐标系中的由相同机械识别部115识别出的机床20的各特征点与各照相机30的照相机镜头中心的位置之间的距离。

机械前区域坐标计算部120根据由机械距离计算部119计算出的机床20的特征点与各个照相机30之间的距离、由照相机参数计算部116计算出的照相机30各自的照相机参数，通过由照相机30分别拍摄到的影像的图像坐标系的坐标来计算机床20的正面的区域。

具体而言，例如，如图5A所示，机械前区域坐标计算部120根据机床20的特征点中的、从照相机30的照相机镜头中心的位置到表示机床20的正面的拐角的4个特征点的距离，计算世界坐标系中的机床20的正面的粗线所示的平面的式子。

机械前区域坐标计算部120如图5B所示，计算将计算出的世界坐标系中的机床20的正面的平面在世界坐标系中在机床20的正面的垂直方向上以规定的距离(例如，2m等)平行移动后的粗线所示的平面的式子。机械前区域坐标计算部120将被计算出的机床20的正面的平面和平行移动后的机床20的正面的平面包围的区域作为机械前区域来进行计算。

机械前区域坐标计算部120使用照相机30的照相机参数，将计算出的机床20的正面的平面以及平行移动后的机床20的正面的平面的式子从世界坐标系转换为照相机30的影像的图像坐标系。由此，如图5B所示，机械前区域坐标计算部120能够计算影像上的机械前区域。

机械前区域人检测部121从照相机30中的处于能够以规定的精度检测的位置关系的照相机30的影像中检测在由机械前区域坐标计算部120计算出的机床20的正面的区域(机械前区域)中是否包含人。

具体而言，机械前区域人检测部121例如将由机械前区域坐标计算部120计算出的影像的图像坐标系中的机床20的正面的区域(机械前区域)的X轴以及Y轴方向各自的最小值x1、y1和最大值x2、y2设定为阈值。

图6是表示影像上的机械前区域与阈值的关系的一例的图。

此外，在通过阈值来判断在机械前区域中是否包含人的情况下，有时准确度因照相机30的配置而改变。因此，机械前区域人检测部121自动判断照相机30中的能够在某种程度上准确地判断的，即处于能够以规定的精度检测的位置关系的照相机30。

图7是表示对自动判断处于能够以规定的精度检测的位置关系的照相机30的处理进行说明的一例的图。在图7中，表示从世界坐标系的+Y轴方向观察机床20(1)的XZ平面，表示两个照相机30(1)、30(2)拍摄机床20(1)的情况。此外，对于机床20(2)～20(n)以及照相机30(3)～30(m)的情况也一样，省略说明。

首先，机械前区域人检测部121在世界坐标系的XZ平面中，如图6所示，使用照相机30(1)、30(2)各自的外部参数来计算与由照相机30(1)、30(2)分别拍摄到的影像上的图像坐标系中的机械前区域的最小值x1以及最大值x2分别对应的虚线所表示的4条直线的式子。

接着，机械前区域人检测部121对由计算出的4条直线包围且除去机械前区域的阴影所示的区域的面积进行计算。

并且，如果计算出的面积比机械前区域的某一比例(例如，机械前区域的20％等能够保证大致是机床20(1)之前的比例)小，则机械前区域人检测部121将照相机30(1)、30(2)判断为能够在某种程度上准确地判定的、即处于能够以规定的精度检测的位置关系的照相机。

机械前区域人检测部121在判断为能够以规定的精度检测的照相机30(1)、30(2)等的影像中的阈值x1及x2与阈值y1及y2的范围内存在表示由人检测部113检测到的人的全身、脚、手臂等关节的影像的像素的情况下，判断为机械前区域有人。

配置图制作部122根据由机械距离计算部119计算出的机床20的各特征点与各照相机30的照相机镜头中心的位置之间的距离、事先登记在照相机三维坐标数据134中的各照相机30的照相机镜头中心的位置的三维坐标，制作配置了由相同机械识别部115识别出的机床20的图标的配置图。

图8是表示配置图的一例的图。

如图8所示，配置图制作部122根据由机械距离计算部119计算出的机床20的各特征点与各照相机30的照相机镜头中心的位置之间的距离，计算世界坐标系中的机床20的坐标。配置图制作部122根据计算出的机床20的坐标和照相机三维坐标数据134的各照相机30的照相机镜头中心的位置的三维坐标，制作配置了表示机床20的图标310的俯视图(或鸟瞰图)的配置图300。另外，配置图制作部122也可以在机床20动作中的情况下以绿色显示图标310，在机床20停止中的情况下以黄色显示图标310，在机床20警报中的情况下以红色等显示图标310。另外，配置图制作部122也可以在通过机械前区域人检测部121在机床20的机械前区域中检测到人的情况下，将人的图标320与检测到人的机床20的图标310一起重叠显示。

并且，配置图制作部122将制作出的配置图300实时地显示于作为配置图信息显示部的显示部170。

此外，配置图制作部122在制作配置图300时，作为各照相机30的照相机镜头中心的位置的世界坐标系的三维坐标，使用了登记在照相机三维坐标数据134中的坐标值，但也可以使用由作业者等经由输入部150输入的坐标值。

增强现实显示请求动作检测部123在由机械前区域人检测部121检测到人的影像中，检测请求在将虚拟重叠于现实的增强现实的显示的人的动作。

图9A以及图9B是表示请求增强现实的显示的人的动作的一例的图。

如图9A和图9B所示，在照相机30对将智能手机、平板终端等朝向机床20举起的人、或者佩戴了增强现实(AR：Augmented Reality)设备等可穿戴终端的人进行了拍摄的情况下，增强现实显示请求动作检测部123在拍摄到的影像中检测将智能手机等朝向机床20举起的姿势或者可穿戴终端的佩戴。

增强现实信息发送部124依次生成包含机床20的运行信息在内的AR图像数据，并将生成的AR图像数据发送到作为进行增强现实显示的增强现实显示部的智能手机、平板终端、可穿戴终端等，其中，该机床20的机械前区域为进行由增强现实显示请求动作检测部123检测出的动作的人所存在的区域。

图10是表示AR图像的一例的图。

如图10所示，智能手机等例如根据智能手机等所包含的照相机(未图示)的照相机坐标系来调整接收到的AR图像数据的位置以及姿势，显示智能手机等的照相机(未图示)拍摄到的现实空间图像和接收到的AR图像。

并且，在AR图像中例如包含机床20的机型名“ROBODRILL-1”以及作为运行信息的“运转中”、“到加工结束为止：5分钟”。另外，在AR图像中，也可以包含“主轴温度传感器值：XXX”以及主轴温度传感器值的时间序列数据的图表来作为运行信息。

＜运行管理装置10的管理处理>

接下来，对运行管理装置10的管理处理的动作进行说明。

图11是对运行管理装置10的管理处理进行说明的流程图。这里所示的流程在进行管理处理的期间反复执行。

在步骤S11中，影像数据取得部111从各照相机30取得由各照相机30拍摄到的影像。

在步骤S12中，机床检测部112对在步骤S11中取得的影像进行特征点提取处理，将提取出的特征点与事先登记在机床外形数据133中的每个机床20的多个特征点进行比较，检测拍摄到的机床20。

在步骤S13中，人检测部113对在步骤S11中取得的影像的帧图像进行特征点提取处理，将提取出的特征点与事先登记在存储部130中的人的关节等特征点数据(未图示)进行比较，检测在影像内拍摄到的人。

在步骤S14中，变化点检测部114根据由照相机30分别拍摄到的影像和附加于影像的时刻信息，检测在步骤S12中检测出的机床20的多个特征点中的时间序列变化的特征点和该特征点进行了时间序列变化的时刻。

在步骤S15中，相同机械识别部115根据在步骤S14中检测出的时间序列变化的特征点和该特征点进行了时间序列变化的时刻，在照相机30各自的影像中识别相同机床20。

在步骤S16中，照相机参数计算部116根据事先登记在机床外形数据133中的机床20的特征点间的距离和在步骤S15中识别出的机床20的影像上的对应的特征点间的距离，计算各照相机30的照相机参数。

在步骤S17中，运行信息取得部117从各机床20的控制装置210取得包含动作指令的机床20的运行信息。

在步骤S18中，运行信息机械确定部118根据在步骤S17中取得的运行信息表示的时间序列变化、在步骤S14中检测出的时间序列变化的特征点以及该特征点进行了时间序列变化的时刻，确定在步骤S17中取得的运行信息是在步骤S15中识别出的哪个机床20的运行信息。

在步骤S19中，机械距离计算部119根据在步骤S16中计算出的各照相机30的照相机参数，计算在步骤S15中识别出的机床20的各特征点与各照相机30的照相机镜头中心的位置之间的距离。

在步骤S20中，机械前区域坐标计算部120根据在步骤S19中计算出的机床20的各特征点与各照相机30的照相机镜头中心的位置之间的距离、在步骤S16中计算出的照相机30各自的照相机参数，通过照相机30各自的影像的图像坐标系的坐标来计算机床20的机械前区域。

在步骤S21中，机械前区域人检测部121从照相机30中的处于能够以规定的精度检测的位置关系的照相机30的影像中检测在步骤S20中计算出的机床20的机械前区域中是否包含人。

在步骤S22中，配置图制作部122根据在步骤S19中计算出的机床20的各特征点与各照相机30的照相机镜头中心的位置之间的距离、和事先登记在照相机三维坐标数据134中的各照相机30的照相机镜头中心的位置的三维坐标，制作配置了在步骤S15中识别出的机床20的图标310的配置图300。

在步骤S23中，增强现实显示请求动作检测部123判定在由机械前区域人检测部121检测到人的影像中是否检测到请求增强现实的显示的人的动作。在检测到请求增强现实的显示的人的动作的情况下，处理进入到步骤S24。在未检测到请求增强现实的显示的人的动作的情况下，处理返回到步骤S11。

在步骤S24中，增强现实信息发送部124依次生成包含机床20的运行信息在内的AR图像数据，并将生成的AR图像数据发送到智能手机等，其中，该机床20的机械前区域为进行在步骤S23中检测到的动作的人所存在的区域。

根据以上，一实施方式的运行管理装置10能够使用由多个照相机30拍摄到的影像，容易地制作配置于工厂的多个机床20的配置图。

另外，运行管理装置10能够在不计算人的站立位置的三维坐标的情况下简单且快速地判断在机床20的机械前区域是否有人。

另外，运行管理装置10不取得智能手机等设备的位置信息、想要对运行信息进行增强现实显示的机床20的位置信息，根据请求增强现实的显示的人的动作可知对哪个机床20的运行信息进行增强现实显示即可。

以上，对一实施方式进行了说明，但运行管理装置10并不限定于所述实施方式，包含能够达成目的的范围内的变形、改良等。

＜变形例＞

在一实施方式中，运行管理装置10设为一个计算机，但并不限定于此。例如，服务器也可以具有：运行管理装置10的影像数据取得部111、机床检测部112、人检测部113、变化点检测部114、相同机械识别部115、照相机参数计算部116、运行信息取得部117、运行信息机械确定部118、机械距离计算部119、机械前区域坐标计算部120、机械前区域人检测部121、配置图制作部122、增强现实显示请求动作检测部123以及增强现实信息发送部124的一部分或者全部。另外，也可以在云上利用虚拟服务器功能等来实现运行管理装置10的各功能。

并且，运行管理装置10也可以是将运行管理装置10的各功能适当分散到多个服务器的分散处理系统。

此外，一实施方式的运行管理装置10中所含的各功能能够通过硬件、软件或它们的组合来分别实现。在此，通过软件实现是指通过计算机读入并执行程序来实现。

程序能够使用各种类型的非暂时性的计算机可读介质(Non-transitorycomputer readable medium)来储存，并提供给计算机。非暂时性的计算机可读介质包含各种类型的有实体的记录介质(Tangible storage medium)。非暂时性的计算机可读介质的例子包含磁记录介质(例如，软盘、磁带、硬盘驱动器)、光磁记录介质(例如，光磁盘)、CD-ROM(Read Only Memory，只读存储器)、CD-R、CD-R/W、半导体存储器(例如，掩模ROM、PROM(Programmable ROM，可编程PROM)、EPROM(Erasable PROM，可擦除PROM)、闪存ROM、RAM)。另外，程序也可以通过各种类型的暂时性的计算机可读介质(Transitory computerreadable medium)提供给计算机。暂时性的计算机可读介质的例子包含电信号、光信号和电磁波。暂时性的计算机可读介质能够经由电线和光纤等有线通信路径或无线通信路径将程序提供给计算机。

此外，描述在记录介质中记录的程序的步骤，当然包含按该顺序呈时间序列进行的处理，也包含未必呈时间序列进行的处理、以及并列地或者个别地执行的处理。

换言之，本公开的运行管理装置能够采取具有如下那样的结构的各种实施方式。

(1)本公开的运行管理装置10将表示至少一个机床20的图标配置在表示设置有机床20的设施的概略形状的配置图上并进行显示，所述运行管理装置10具有：机床检测部112，其根据事先登记在机床外形数据133中的每个机床20的多个特征点，从设置于设施内的多个照相机30各自的影像中检测设置于设施的机床20；变化点检测部114，其从多个照相机30各自的影像中对检测出的机床20的多个特征点中的时间序列变化的特征点和该特征点进行了时间序列变化的时刻进行检测；相同机械识别部115，其根据由变化点检测部114检测出的时间序列变化的特征点和该特征点进行了时间序列变化的时刻，在多个照相机30各自的影像中识别一个以上的相同的机床20；照相机参数计算部116，其根据事先登记在机床外形数据133中的至少一组特征点间的距离、和由相同机械识别部115识别出的机床20的影像上的特征点间的距离，计算多个照相机30各自的照相机参数；机械距离计算部119，其根据由照相机参数计算部116计算出的多个照相机30各自的照相机参数，计算由相同机械识别部115识别出的机床20的各特征点与多个照相机30各自的照相机镜头中心的位置之间的距离；配置图制作部122，其根据由机械距离计算部119计算出的机床20的各特征点与多个照相机30各自的照相机镜头中心的位置之间的距离、和事先登记的多个照相机各自的照相机镜头中心的位置的三维坐标，制作配置了被识别出的机床20的图标310的配置图300。

根据该运行管理装置10，能够使用由多个照相机30拍摄到的影像来容易地制作配置于工厂的机床20的配置图300。

(2)在(1)所述的运行管理装置10中，也可以是，具有：运行信息取得部117，其从控制机床20的控制装置210取得机床20的运行信息；运行信息机械确定部118，其根据由运行信息取得部117取得的运行信息表示的时间序列变化、和由变化点检测部114检测出的时间序列变化的特征点及该特征点进行了时间序列变化的时刻，确定由运行信息取得部117取得的运行信息是由相同机械识别部115识别出的机床20中的哪个机床20的运行信息。

由此，运行管理装置10通过将影像上的机床20与取得的运行信息自动地对应起来，能够减轻作业者等的负担。

(3)在(2)所述的运行管理装置10中，也可以是，具有：机械前区域坐标计算部120，其根据由机械距离计算部119计算出的机床20的各特征点与多个照相机30各自的照相机镜头中心的位置之间的距离、和由照相机参数计算部116计算出的多个照相机30各自的照相机参数，通过由多个照相机30分别拍摄到的影像的图像坐标系的坐标来计算机床20的正面的区域；机械前区域人检测部121，其从多个照相机30中的处于能够以规定的精度检测的位置关系的照相机的影像中检测在由机械前区域坐标计算部120计算出的机床20的正面的区域中是否包含人，配置图制作部122根据由机械距离计算部119计算出的机床20的特征点与多个照相机30各自的距离，在配置图300上实时地配置机床的图标310、以及由运行信息机械确定部118确定出的机床20的运行信息、和由机械前区域人检测部121检测出的机床20的正面的区域的人的有无。

由此，运行管理装置10能够在不计算人的站立位置的三维坐标的情况下简单且快速地判断在机床20的机械前区域是否有人。

(4)在(3)所述的运行管理装置10中，也可以是，具有：增强现实显示请求动作检测部123，其从由机械前区域人检测部121检测出的人的影像中，检测请求显示将虚拟重叠于现实的增强现实的人的动作；增强现实信息发送部124，其向外部的装置发送包含机床20的运行信息的增强现实图像数据，其中，所述机床20的所述正面的区域是进行由增强现实显示请求动作检测部123检测出的动作的人所存在的区域。

由此，运行管理装置10不取得智能手机等设备的位置信息、和想要对运行信息进行增强现实显示的机床20的位置信息，只要根据请求增强现实的显示的人的动作就可以知道对哪个机床20的运行信息进行增强现实显示。

附图标记说明

1 运行管理系统

10 运行管理装置

110 控制部

111 影像数据取得部

112 机床检测部

113 人检测部

114 变化点检测部

115 相同机械识别部

116 照相机参数计算部

117 运行信息取得部

118 运行信息机械确定部

119 机械距离计算部

120 机械前区域坐标计算部

121 机械前区域人检测部

122 配置图制作部

123增强现实显示请求动作检测部

124 增强现实信息发送部

130 存储部

131 影像数据

132 运行信息

133 机床外形数据

134 照相机三维坐标数据

150 输入部

170 显示部

20(1)～20(n)机床

210 控制装置

30(1)～30(m)照相机。

Claims (4)

1.一种运行管理装置，其将表示至少一个工业机械的图标配置在表示设置有所述工业机械的设施的概略形状的配置图上并进行显示，其特征在于，

所述运行管理装置具有：

机床检测部，其根据事先登记在机床外形存储部中的每个工业机械的多个特征点，从设置于所述设施内的多个照相机各自的影像中检测设置于所述设施的所述工业机械；

变化点检测部，其从所述多个照相机各自的影像中对检测出的所述工业机械的所述多个特征点中的时间序列变化的特征点和该特征点进行了时间序列变化的时刻进行检测；

相同机械识别部，其根据由所述变化点检测部检测出的时间序列变化的所述特征点和该特征点进行了时间序列变化的时刻，在所述多个照相机各自的影像中识别一个以上的相同的工业机械；

照相机参数计算部，其根据事先登记在所述机床外形存储部中的至少一组特征点间的距离、和由所述相同机械识别部识别出的所述工业机械的影像上的所述特征点间的距离，计算所述多个照相机各自的照相机参数；

机械距离计算部，其根据由所述照相机参数计算部计算出的所述多个照相机各自的照相机参数，计算由所述相同机械识别部识别出的所述工业机械的各特征点与所述多个照相机各自的照相机镜头中心的位置之间的距离；

配置图制作部，其根据由所述机械距离计算部计算出的所述工业机械的各特征点与所述多个照相机各自的照相机镜头中心的位置之间的距离、和事先登记的所述多个照相机各自的照相机镜头中心的位置的三维坐标，制作配置了被识别出的所述工业机械的图标的所述配置图。

2.根据权利要求1所述的运行管理装置，其特征在于，

所述运行管理装置具有：

运行信息取得部，其从控制所述工业机械的控制装置取得所述工业机械的运行信息；

运行信息机械确定部，其根据由所述运行信息取得部取得的所述运行信息表示的时间序列变化、和由所述变化点检测部检测出的时间序列变化的所述特征点及该特征点进行了时间序列变化的时刻，确定由所述运行信息取得部取得的所述运行信息是由所述相同机械识别部识别出的所述工业机械中的哪个工业机械的运行信息。

3.根据权利要求2所述的运行管理装置，其特征在于，

所述运行管理装置具有：

机械前区域坐标计算部，其根据由所述机械距离计算部计算出的所述工业机械的特征点与所述多个照相机各自之间的距离、和由所述照相机参数计算部计算出的所述多个照相机各自的照相机参数，通过由所述多个照相机分别拍摄到的影像的图像坐标系的坐标来计算所述工业机械的正面的区域；

机械前区域人检测部，其从所述多个照相机中的处于能够以规定的精度检测的位置关系的照相机的影像中检测在由所述机械前区域坐标计算部计算出的所述工业机械的正面的区域中是否包含人，

所述配置图制作部根据由所述机械距离计算部计算出的所述工业机械的各特征点与所述多个照相机各自的照相机镜头中心的位置之间的距离，在所述配置图上实时地配置所述工业机械的图标、以及由所述运行信息机械确定部确定出的所述工业机械的所述运行信息、和由所述机械前区域人检测部检测出的所述工业机械的正面的区域的人的有无。

4.根据权利要求3所述的运行管理装置，其特征在于，

所述运行管理装置具有：

增强现实显示请求动作检测部，其从由所述机械前区域人检测部检测出的人的影像中，检测请求显示将虚拟重叠于现实的增强现实的所述人的动作；

增强现实信息发送部，其向外部的装置发送包含工业机械的运行信息的增强现实图像数据，其中，所述工业机械的所述正面的区域是进行由所述增强现实显示请求动作检测部检测出的所述动作的人所存在的区域。