CN114747208A - 作业支援服务器、作业支援方法及作业支援系统 - Google Patents

Abstract

本发明涉及能够支援操作者来识别映入输出至构成远程操作装置的输出接口的作业现场俯瞰图像的作业机械是否为该远程操作装置的远程操作对象的服务器及系统。根据由拍摄装置(C)获取的拍摄图像，在输出至构成远程操作装置(20)的输出接口(220)的作业现场俯瞰图像中映入有作业机械40的情况下，判定该作业机械(40)是否属于协作作业机械。并且，在该结果为肯定的情况下，将与表示映入作业现场俯瞰图像的作业机械(40)的实机图像(Q2)相关联的第1标识图像(ID1)显示在远程操作装置(20)的输出接口(220)。

Description

作业支援服务器、作业支援方法及作业支援系统

技术领域

本发明涉及一种用于支援由操作者进行的使用了远程操作装置的作业机械的远程操作的作业支援服务器。

背景技术

提出有一种远程监视支援系统用终端装置，用于在正在工厂内巡回维护中的作业员工与在该作业现场外待机的人之间以足够的精度实现信息的共享化(例如，参照专利文献1)。该终端装置具备：影像输入单元，输入现场的影像数据；笔或者鼠标类型的输入操作选择单元；检测单元，检测有无获取新的影像；通信控制单元，通过无线与外部进行数据收发；输入输出画面显示单元，显示输入规定的数据的输入画面。

现有技术文献

专利文献

专利文献1：日本特开第2005-242830号公报

发明内容

发明要解决的技术问题

但是，通过拍摄装置获取的拍摄图像被显示在构成远程操作装置的输出接口(图像显示装置)，在该拍摄图像中映入多个作业机械的情况下，操作者有可能在该显示图像中将与实际不同的作业机械误认为操作对象。特别是在同一制造商的同一机种的多个作业机械同时显示在输出接口时，该问题更加明显。在该情况下，从作为目标的作业执行的观点出发，基于操作者的误认的使用了远程操作装置的作业机械的动作方式有可能不适当。

因此，本发明的目的在于，提供一种能够支援操作者识别映入输出至构成远程操作装置的输出接口的作业现场俯瞰图像中的作业机械是否为该远程操作装置的远程操作对象的服务器及系统。

用于解决上述技术问题的方案

本发明涉及一种用于支援由操作者进行的使用了远程操作装置的作业机械的远程操作的作业支援服务器。

本发明的作业支援服务器具备：第1支援处理元件，基于与所述远程操作装置的通信，将与通过拍摄装置获取的作业现场的拍摄图像对应的作业现场俯瞰图像输出至所述远程操作装置的输出接口，识别所述远程操作装置的操作对象即作为所述作业机械的协作作业机械的实际空间位置，所述作业现场俯瞰图像中映入有作业机械的情况下，根据该作业机械的图像坐标系中的位置及所述协作作业机械的实际空间位置，判定所述作业机械是否属于所述协作作业机械；第2支援处理元件，在由所述第1支援处理元件判定为所述作业机械属于所述协作作业机械的情况下，基于与所述远程操作装置的通信，将示出映入所述作业现场俯瞰图像的所述作业机械属于协作作业机械的第1标识图像输出至所述远程操作装置的输出接口。

本发明的作业支援系统由本发明的作业支援服务器与所述远程操作装置构成。

根据该构成的作业支援服务器及作业支援系统(以下适当称作“作业支援服务器等”)，根据通过拍摄装置获取的拍摄图像，在输出至构成远程操作装置的输出接口的作业现场俯瞰图像映入有作业机械的情况下，判定该作业机械是否属于协作作业机械。“协作作业机械”是指作为该远程操作装置的实际的远程操作对象的作业机械。作业现场俯瞰图像是除了拍摄图像的至少一部分本身之外，还包含模拟地表示与该拍摄图像对应地生成的作业现场的模拟图像。并且，在该判定结果为肯定的情况下，将映入作业现场俯瞰图像中的作业机械与协作作业机械相关联，将第1标识图像显示在远程操作装置的输出接口。

其结果，能够使操作者容易地识别映入作业现场俯瞰图像中的作业机械是否属于远程操作装置的远程操作对象。因此，例如，即使在作业现场俯瞰图像中映入有多个作业机械的情况下，也能够使操作者容易地识别该多个作业机械中的哪一个属于协作作业机械，或者识别到均不属于协作作业机械。

附图说明

图1是关于作为本发明的一实施方式的作业支援系统的构成的说明图。

图2是关于远程操作装置的构成的说明图。

图3是关于作业机械的构成的说明图。

图4是关于作业支援系统的第1功能的说明图。

图5是关于作业支援系统的第2功能的说明图。

图6是关于第1作业环境图像的说明图。

图7是关于作业现场俯瞰图像的说明图。

图8是关于第2作业环境图像的一形态的说明图。

图9是关于第2作业环境图像的另一形态的说明图。

图10是关于作业现场俯瞰图像的另一形态的说明图。

具体实施方式

(作业支援系统的构成)

图1所示的作为本发明的一实施方式的作业支援系统由作业支援服务器10和用于对多个作业机械40进行远程操作的多个远程操作装置20构成。作业支援服务器10、远程操作装置20、作业机械40构成为可相互进行网络通信。多个远程操作装置20分别构成为可通过不同于与作业支援服务器10间的通信网络的网络而相互进行通信。

(作业支援服务器的构成)

作业支援服务器10具备数据库102、第1支援处理元件121、第2支援处理元件122。数据库102除了存储保持多个作业机械40各自的位置轨道以外，还存储保持拍摄图像、作业现场俯瞰图像及路径引导图像等。数据库102也可以由独立于作业支援服务器10的数据库服务器构成。各支援处理元件由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行依据该软件的后续的运算处理。

(远程操作装置的构成)

构成客户端的远程操作装置20具备远程控制装置200、远程输入接口210、远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行依据该软件的运算处理。远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221、远程无线通信设备222。

该客户端也可以由与远程操作装置20协作或具有相互通信功能的智能手机或者平板终端等便携终端、VR护目镜等穿戴式终端构成。该移动终端或者可穿戴终端也可以具有与作业支援服务器10的通信功能。

远程操作机构211中包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。操作行驶用操作装置的操作杆(行驶杆)以使作业机械40的下部行驶体41动作。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。操作回转用操作装置的操作杆(回转杆)以使构成作业机械40的回转机构43的液压式的回转电机动作。操作动臂用操作装置的操作杆(动臂杆)以使作业机械40的动臂缸442动作。操作斗杆用操作装置的操作杆(斗杆杆(arm lever))以使作业机械40的斗杆缸444动作。操作铲斗用操作装置的操作杆(铲斗杆)以使作业机械40的铲斗缸446动作。

构成远程操作机构211的各操作杆例如如图2所示，配置在用于供操作者就座的座椅St的周围。座椅St是带扶手的高背椅那样的形态，也可以是没有头枕的低背椅那样的形态、或者是没有靠背的椅子那样的形态等远程操作者OP2能够就座的任意的形态。

在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆也可以兼作多种操作杆。例如，图3所示的设置于座椅St的右侧框体的前方的右侧操作杆2111在沿前后方向操作的情况下作为动臂杆发挥功能，并且，在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，图2所示的设置于座椅St的左侧框体的前方的左侧操作杆2112在沿前后方向操作的情况下作为斗杆杆发挥功能，并且，在沿左右方向操作的情况下作为回转杆发挥功能。杆模式可以根据操作者的操作指示任意地变更。

例如如图2所示，图像输出装置221由分别配置在座椅St的右斜前方、前方及左斜前方的右斜前方图像输出装置2211、前方图像输出装置2212及左斜前方图像输出装置2213构成。该图像输出装置2211～2213可以进一步具备扬声器(声音输出装置)。

(作业机械的构成)

作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420、工作机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行依据该软件的运算处理。

如图2所示，作业机械40例如是履带式挖掘机(工程机械)，具备履带式的下部行驶体41、和经由回转机构43可回转地搭载于下部行驶体41的上部回转体42。在上部回转体42的前方左侧部设有驾驶室(司机室)424。在上部回转体220的前方中央部设有作业附件44。

实机输入接口410具备实机操作机构411、实机拍摄装置412。实机操作机构411具备多个操作杆，以与远程操作机构211同样的方式配置在驾驶室424的内部所配置的座椅的周围。在驾驶室424设有驱动机构或机器人，接收与远程操作杆的操作状态对应的信号，并基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置在驾驶室424的内部，透过驾驶室424的前窗对包含至少一部分工作机构440的环境进行拍摄。

实机输出接口420具备实机无线通信设备422。

作为工作机构的作业附件44具备：动臂441，可起落地安装于上部回转体42；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件44安装有由可伸缩的液压缸构成的动臂缸442、斗杆缸444及铲斗缸446。

动臂缸442介于该动臂441与上部回转体42之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。

(功能)

使用图4及图5所示的流程图对上述构成的作业支援系统的功能进行说明。在该流程图中，“C·”这样的框是为了标记的简化而使用的，意为数据的发送及/或接收，意为以该数据的发送及/或接收作为条件来执行分支方向的处理的条件分支。

本发明的各构成元件(运算处理资源或硬件资源)“识别”信息是指接收该信息、从存储装置等读取或检索该信息、将该信息写入(存储保持)或登录至存储装置等、通过对来自传感器的输出信号及/或进行了接收或检索等的基础信息按照规定的算法执行运算处理来对该信息进行推定、判定、鉴定、测量、预测等的、包含用于在后续的处理中以可供利用的所有形态来准备该信息的处理的概念。

(第1功能(作业机械的远程操作))

在远程操作装置20中，判定由操作者通过远程输入接口210进行的第1指定操作的有无(图4/步骤200)。第1指定操作是选择与远程操作装置20协作的作业机械40的操作，例如在作业现场俯瞰图像(参照图7)中由操作者进行的在构成远程输入接口210的触摸面板中的轻按、滑动或点击等操作。在图7中显示成为远程操作的对象的多台(4台)的作业机械40的实机图像Q1～Q4，判定是否对触摸面板中的该实机图像的显示位置进行了操作。也可以是，远程操作装置20经由通信网络获取可能成为远程操作装置20的远程操作的对象的工程机械的候选，在远程输出接口220与工程机械的识别符共同显示工程机械的位置或机型、运行状态等各种信息。在第1指定操作被中断等而该判定结果为否定的情况下(图4/步骤200‥否)，一系列的处理结束。另一方面，在该判定结果为肯定的情况下(图4/步骤200‥是)，通过远程无线通信设备222，对作业支援服务器10发送用于请求与远程操作装置20协作的作业机械40的操作所需要的拍摄图像的第1作业环境确认请求(图4/步骤202)。在第1作业环境图像请求中包含有远程操作装置20的识别符及操作者的识别符中的至少一方。

在作业支援服务器10中，在接收了第1作业环境确认请求的情况下，通过第1支援处理元件121对相应的作业机械40发送该第1作业环境图像请求(图4/C10)。

在作业机械40中，在通过实机无线通信设备422接收了第1作业环境确认请求的情况下(图4/C41)，实机控制装置400通过实机拍摄装置412获取拍摄图像(图4/步骤402)。利用实机控制装置400，通过实机无线通信设备422对远程操作装置10发送表示该拍摄图像的拍摄图像数据(图4/步骤404)。

在作业支援服务器10中，在接收了拍摄图像数据的情况下(图4/C11)，对远程操作装置20发送与拍摄图像数据对应的第1作业环境图像数据(表示拍摄图像本身的全部或一部分或者基于此生成的模拟的第1作业环境图像的数据)(图4/步骤112)。也可以对远程操作装置20发送表示后述的作业现场俯瞰图像(参照图7)的数据作为第1作业环境图像数据。

在远程操作装置20中，在通过远程无线通信设备222接收了第1作业环境图像数据的情况下(图4/C21)，使图像输出装置221输出与第1作业环境图像数据对应的第1作业环境图像(图4/步骤204)。

由此，例如如图6所示，将搭载于与远程操作装置20协作的作业机械40的实机拍摄装置412所拍摄的、包含有作为工作机构的作业附件44的一部分即动臂441、斗杆443、铲斗445及斗杆缸444的作业现场俯瞰图像显示在图像输出装置221。

在远程操作装置20中，通过远程控制装置200识别远程操作机构211的操作状态(图4/步骤206)，并且，通过远程无线通信设备222对作业支援服务器10发送与该操作状态对应的远程操作指令(图4/步骤208)。

在作业支援服务器10中，在接收了该远程操作指令的情况下，通过第1支援处理元件121对作业机械40发送该远程操作指令(图4/C12)。

在作业机械40中，在利用实机控制装置400通过实机无线通信设备422接收了操作指令的情况下(图4/C42)，控制作业附件44等的动作(图4/步骤406)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后将土从铲斗445倒落的作业。

(第2功能(标识图像输出))

在作业支援服务器中，基于通过设置在作业现场的拍摄装置(省略图示)或者搭载于不与远程操作装置20协作的作业机械40上的实机拍摄装置412获取的拍摄图像，作为表示作业现场的俯瞰情况的俯瞰作业环境(或表示其的数据)而获取(图5/步骤120)。由此，例如如图7所示，基于通过设置在作业现场的拍摄装置C(参照图10)获取的拍摄图像，将表示存在多台(4台)作业机械40的实机图像Q1～Q4的示出该作业现场的情况的图像的数据作为表示作业现场俯瞰图像的数据而获取。

在远程操作装置20(第1客户端)中，判定由操作者通过远程输入接口210进行的第2指定操作的有无(图5/步骤210)。第2指定操作是用于将不同于通过第1指定操作显示在图像输出装置221的第1作业环境图像的作业现场俯瞰图像显示于图像输出装置221的操作，例如是通过远程输入接口210进行的按压等操作或远程操作机构211的操作。也可以根据第1指定操作(参照图5/步骤200)由图像输出装置221输出该作业现场俯瞰图像而不是第1作业环境图像，并根据第2指定操作(参照图5/步骤210)由图像输出装置放221输出第1作业环境图像。也可以根据第1指定操作以及第2指定操作的各个操作由图像输出装置221输出另外的第2作业环境图像。

在第2指定操作被中断等而该判定结果为否定的情况下(图5/步骤210‥否)，一系列的处理结束。在该判定结果为肯定的情况下(图5/步骤210‥是)，通过远程无线通信设备222，对作业支援服务器10发送第2作业环境请求(图5/步骤212)。在第2作业环境请求中，包含用于识别相应的远程操作装置20或与其协作的作业机械40的识别符。

在作业支援服务器10中，在接收到第2作业环境确认请求的情况下(图5/C13)，通过第1支援处理元件121判定输出至远程操作装置20的输出接口220的作业现场俯瞰图像中是否映入有作业机械40(图5/步骤121)。具体而言，通过第1支援处理元件121以作业现场俯瞰图像为对象实施图像解析处理，由此判定映入该作业现场俯瞰图像中的表示作业机械40的实机图像Qi(i＝1，2，‥N)的有无。

在该判定结果为肯定的情况下(图5/步骤121‥是)，将用于区分实机图像Qi的指数i设定为“1”(图5/步骤122)。

在此基础上，通过第1支援处理元件121，判定实机图像Qi是否属于协作作业机械(图5/步骤123)。具体而言，判定相当于实机图像Qi的作业机械40的实际空间位置是否与登录在数据库102中的协作作业机械的实际空间位置一致或对应。

例如，通过将图像坐标系中的实机图像Qi的位置(例如重心位置)坐标转换为实际空间坐标系，求出相当于该实机图像Qi的作业机械40的实际空间位置。此时，基于作业现场俯瞰图像中的实机图像Qi的尺寸的大小，推定从拍摄装置(例如拍摄装置C(参照图10))到作业机械40为止的实际空间距离。在作为作业现场俯瞰图像的像素值而包含由TOF传感器等测距传感器获取的距拍摄对象物的距离的情况下，也可以基于该像素值推定从拍摄装置(例如拍摄装置C)到作业机械40为止的实际空间距离。此外，在该坐标转换时，识别拍摄装置坐标系中的各作业机械40的位置，使用表示实际空间坐标系中的拍摄装置的位置和姿势的坐标转换因子(矩阵或四元数)。坐标转换因子与拍摄装置的识别符(乃至图像识别符)相关联地登录在数据库102中。

在确立远程操作装置20(客户端)与作业机械40的相互通信时，远程操作装置20(或其操作者)及作业机械40的各自的识别符与作业机械40的实际空间位置相关联地登录在数据库102中。作业机械40的实际空间位置通过搭载在该作业机械40上的GPS测量，且根据需要通过利用了加速度传感器的测位装置测量。作业机械40将实际空间位置或其时间序列发送给作业支援服务器10，由此更新登录在数据库102中的作业机械40的实际空间位置。由此，基于识别符，从数据库102检索或识别协作作业机械的实际空间位置。

在该判定结果为肯定的情况下(图5/步骤123‥是)，通过第2支援处理元件122将标记f设定为“1”(图5/步骤124)。在该判定结果为否定的情况下(图5/步骤123‥否)，通过第2支援处理元件122将标记f设定为“2”(图5/步骤125)。

进而，判定指数i是否等于作业现场俯瞰图像中包含的实机图像Qi的总数N(图5/步骤126)。在该判定结果为否定的情况下(图5/步骤126‥否)，指数i增加1(图5/步骤127)，反复进行实机图像Qi是否对应协作作业机械的判定处理(参照图5/步骤123)。

在该判定结果为肯定的情况下(图5/步骤126‥是)，通过第2支援处理元件122，基于作业现场俯瞰图像和标记f，生成第2作业环境图像(图5/步骤128)。

具体而言，在作业现场俯瞰图像中存在标记f被设定为“1”的图像机械Qi的情况下，生成包含第1标识图像ID1的第2作业环境图像。由此，例如如图8所示，生成包含文字气泡形状的第1标识图像ID1的第2作业环境图像，所述第1标识图像ID1表示在作业现场俯瞰图像中的相当于实机图像Q2的作业机械40属于协作作业机械。该文字气泡以实机图像Q2或其附近为起点。第1标记图像ID1的形状、色彩及花纹的组合可以任意地变更。

在作业现场俯瞰图像中存在标记f被设定为“2”的图像机械Qi的情况下，生成包含第2标识图像ID2的第2作业环境图像。由此，例如如图8所示，生成包含文字气泡形状的第2标识图像ID2的第2作业环境图像，所述第2标识图像ID2表示在作业现场俯瞰图像中的相当于实机图像Q1、Q3及Q4各图像的作业机械40不属于协作作业机械。该文字气泡以实机图像Q1、Q3及Q4或其附近为起点。第2标识图像ID2的形状、色彩及花纹的组合可在能与第1标识图像ID1之间进行辨认的范围内任意地变更。也可以生成仅包含第1标识图像ID1而不包含第2标识图像ID2的第2作业环境图像。在判定为作业机械i属于协作作业机械的情况下(图5/步骤123‥是)，也可以省略步骤126的判定处理，立即生成第2作业环境图像(图5/步骤128)。

并且，通过第2支援处理元件122，对远程操作装置20发送表示第2作业环境图像的数据(图5/步骤129)。

在远程操作装置20中，若通过远程无线通信设备222接收到第2作业环境图像数据(图5/C22)，则通过构成输出接口220的图像输出装置221输出第2作业环境图像(图5/步骤214)。由此，例如如图8所示，包含表示相当于实机图像Q2的作业机械40是协作作业机械的第1标识图像ID1、并且包含表示相当于实机图像Q1、Q3及Q4的各图像的作业机械40为其他作业机械的第2标识图像ID2的第2作业环境图像被输出到图像输出装置221。

(效果)

根据该构成的作业支援系统及构成该作业支援系统的作业支援服务器10，根据由拍摄装置C获取的拍摄图像，在输出至构成远程操作装置20的输出接口220的作业现场俯瞰图像(参照图7)中映入有作业机械40的情况下，判定该作业机械40是否相当于协作作业机械(参照图5/步骤121)。并且，该判定结果为肯定的情况下，与映入作业现场俯瞰图像中的表示作业机械40的实机图像Q2相关联地将第1标识图像ID1显示在远程操作装置20的输出接口220(参照图5/步骤123‥是→‥→步骤128→步骤129→C22→步骤214及图8)。

进一步，在判定为映入作业现场俯瞰图像中的作业机械40不属于协作作业机械的情况下，与表示该作业机械40的实机图像Q1、Q3及Q4相关量地将第2标识图像ID2输出至远程操作装置20的输出接口220(参照图5/步骤123‥否→‥→步骤128→步骤129→C22→S步骤214及图8)。

其结果，能够使操作者容易地识别映入作业现场俯瞰图像的作业机械40或实机图像Qi是否属于远程操作装置20的远程操作对象。因此，例如，即使在作业现场俯瞰图像中映入有多个作业机械40的情况下(参照图7)，也能够使操作者容易地识别该多个作业机械40哪一个属于协作作业机械，或者识别到均不属于协作作业机械。

在由第1支援处理元件121判定为作业机械40不属于协作作业机械的情况下，第2支援处理元件122基于与远程操作装置20的通信，将表示作业机械40不属于协作作业机械的第2标识图像ID2以能与第1标识图像ID1进行辨认的方式输出至远程操作装置20的输出接口220(参照图8)。

由此，在判定为映入作业现场俯瞰图像的作业机械40不属于协作作业机械的情况下，与该作业机械40相关联地将第2标识图像ID2输出至远程操作装置20的输出接口220。其结果，能够使操作者容易地识别在构成远程操作装置20的输出接口220中显示的作业机械40不属于该远程操作装置20的远程操作对象。

(本发明的其他实施方式)

在上述实施方式中，作业支援服务器10由分别独立于远程操作装置20及作业机械40的一个或多个服务器构成(参照图1)，作为另一实施方式，作业支援服务器10也可以是远程操作装置20或作业机械40的构成元件。作业支援服务器10的各构成元件121及122分别也可以是远程操作装置20及作业机械40中的可相互通信的两个以上的各个设备的构成元件。

也可以是，在由第1运算处理元件121判定为属于协作作业机械的一个作业机械40映入作业现场俯瞰图像的情况下，映入该作业现场俯瞰图像的作业机械40的数量越多，第2支援处理元件122将第1标识图像ID1越为强调地输出至远程操作装置20的输出接口220。

根据该构成的作业支援服务器10等，在映入作业现场俯瞰图像中一个作业机械40属于协作作业机械的情况下，映入该作业现场俯瞰图像的作业机械40的数量越多，将第1标识图像ID1越强调输出至远程操作装置20的输出接口220。“强调输出”是指通过第1标记图像的形状、尺寸、色彩(亮度、明度、彩度)、花纹或者它们的任意组合而将第1标识图像ID1以更加明显或容易视觉辨认的形态输出显示。这是因为，一般而言，映入作业现场俯瞰图像中的作业机械40的数量越多，则操作者将其他作业机械40误认为协作作业机械的可能性越高。由此，能够使得操作者明确地识别作业现场俯瞰图像中所包含的作业机械40是否属于协作作业机械。

也可以是，在作业现场俯瞰图像中映入有包括协作作业机械在内的多个作业机械40的情况下，该作业现场俯瞰图像中的协作作业机械及其他作业机械的间隔越小，第2支援处理元件122将第1标识图像ID1越强调输出至远程操作装置20的输出接口220。

根据该构成的作业支援服务器10等，在作业现场俯瞰图像中映入有包括协作作业机械在内的多个作业机械40的情况下，作业现场俯瞰图像中的协作作业机械及其他作业机械的间隔越小，将第1标识图像ID1越强调输出至远程操作装置2的输出接口220。这是因为，该间隔越小，则操作者将其他作业机械40误认为协作作业机械的可能性越高。该间隔为“0”是指在作业现场俯瞰图像中，协作作业机械及其他作业机械40重叠地映入。在作业现场俯瞰图像中映入有多个其他作业机械40的情况下，该间隔是指协作作业机械与各该多个其他作业机械40间平均间隔或最短间隔。由此，能够使得操作者明确地识别作业现场俯瞰图像中所包含的作业机械40是否属于协作作业机械。

也可以是，即使在由1支援处理元件121判定为作业机械40不属于协作作业机械的情况下(图5/步骤123‥否)，也通过第2支援处理元件122生成不包含第2标识图像ID2的第2作业环境图像。

也可以是，第1支援处理装置121识别协作作业机械的实际空间位置及实际空间姿势中的至少一个的时间序列，第2支援处理元件122生成包含表示该协作作业机械的实际空间位置和实际空间姿势中的至少一方的时间序列的轨道图像作为第1标识图像ID的第2作业环境图像。由此，例如如图9所示，生成包含实机图像Q2或相当于实际图像Q2的示出作业机械40的位置轨道或动向的箭头状的轨道图像作为第1标识图像ID1的第2作业环境图像。

然后，将第2作业环境图像输出至远程操作装置20的远程输出接口220，通过第1标识图像ID1，除了映入作业现场俯瞰图像中的作业机械40是否属于协作作业机械之外，还能够使该远程操作装置20的操作者识别该协作作业机械的实际空间位置及实际空间姿势中的至少一方的时间序列。其结果，例如，能够使操作者鉴于由操作者进行的远程操作装置的操作方式与作为第1标识图像ID1的轨道图像所表示的协作作业机械的实际空间位置及实际空间姿势中的至少一个的时间序列的一致性的有无，而更明确地识别该协作作业机械是否为自己亲自进行远程操作的作业机械40。

也可以是，第2支援处理元件122基于与远程操作装置20的通信，将表示作业机械40的实际空间位置和拍摄装置C的实际空间位置及视角的地图或作业现场俯瞰图像输出至远程操作装置20的输出接口220。由此，例如如图10所示，除了表示存在于作业现场的作业机械40的实机图像或图标Q1～Q4之外，表示拍摄装置C的实际空间位置及视角R0的鸟瞰拍摄图像或鸟瞰地图被输出至图像输出装置221。鸟瞰拍摄图像例如可通过搭载于无人飞行器的拍摄装置或设置于作业现场的杆等结构物的拍摄装置来获取。可以分别任意变更拍摄图像的拍摄部位及视角。鸟瞰地图可以以鸟瞰拍摄图像为基础而生成。

由此，能够使操作者鉴于映入作业现场俯瞰图像的作业机械与获取该作业现场俯瞰图像的拍摄装置在实际空间中的相对位置，确认映入作业现场俯瞰图像中的一个或多个作业机械40的远近感是否一致(参照图7)。由此，除了输出至远程输出接口220的作业机械40是否属于协作作业机械之外，还能够使操作者识别该作业机械40是否属于示出在地图或作业现场俯瞰图像的作业机械40。

通过第1指定操作输出至图像输出装置221的图像也可以是通过设置在作业现场的拍摄装置(省略图示)或搭载于未与远程操作装置20协作的作业机械40的实机拍摄装置412获取的拍摄图像。在该情况下，在由操作者通过远程输入接口210的第1指定操作的判定结果为肯定的情况下(图4/步骤200‥是)，通过远程无线通信设备222对作业支援服务器10发送第2作业环境请求(图5/步骤212)，通过远程无线通信设备222接收第12作业环境图像数据(图5/C22)，并通过构成输出接口220的图像输出装置221输出第2作业环境图像(图5/步骤214)。

也可以是，在图像输出装置221中，由右斜前方图像输出装置2211、前方图像输出装置2212及左斜前方图像输出装置2213的各装置输出多个第1作业环境图像及多个第2作业环境图像，或者由各图像输出装置分别分割输出多个第1作业环境图像及多个第2作业环境图像。在该情况下，通过多次的第1指定操作分别由图像输出装置221分别输出通过包含搭载于与远程操作装置20协作的作业机械40的实机拍摄装置412的拍摄装置获取的多个拍摄图像。此外，通过多次第2指定操作分别由图像输出装置221分别输出设置在作业现场的拍摄装置(省略图示)或者搭载于不与远程操作装置20协作的作业机械40的实机拍摄装置412的拍摄装置获取的多个拍摄图像。

也可以是，由图像输出装置221输出的第2作业环境图像在作业现场俯瞰图像中存在标记f被设定为“1”的图像机械Qi的情况下，仅生成第1标识图像ID1，不生成第2标识图像ID2。

附图标记说明

10 作业支援服务器

20 远程操作装置(客户端)

40 作业机械

102 数据库

121 第1支援处理元件

122 第2支援处理元件

210 远程输入接口

220 远程输出接口

410 实机输入接口

412 实机拍摄装置

420 实机输出接口

440 作业附件(作业机构)。

Claims (8)

1.一种作业支援服务器，用于支援由操作者进行的使用了远程操作装置的作业机械的远程操作，其特征在于，具备：

第1支援处理元件，基于与所述远程操作装置的通信，将与通过拍摄装置获取的作业现场的拍摄图像对应的作业现场俯瞰图像输出至所述远程操作装置的输出接口，识别所述远程操作装置的操作对象即作为所述作业机械的协作作业机械的实际空间位置，所述作业现场俯瞰图像中映入有作业机械的情况下，根据该作业机械的图像坐标系中的位置及所述协作作业机械的实际空间位置，判定所述作业机械是否属于所述协作作业机械；

第2支援处理元件，在由所述第1支援处理元件判定为所述作业机械属于所述协作作业机械的情况下，基于与所述远程操作装置的通信，将示出映入所述作业现场俯瞰图像的所述作业机械属于协作作业机械的第1标识图像输出至所述远程操作装置的输出接口。

2.如权利要求1所述的作业支援服务器，其特征在于，

在由所述第1运算处理元件判定为属于所述协作作业机械的一个作业机械映入所述作业现场俯瞰图像的情况下，映入所述作业现场俯瞰图像的作业机械的数量越多，所述第2支援处理元件将所述第1标识图像越为强调地输出至所述远程操作装置的输出接口。

3.如权利要求1或2述的作业支援服务器，其特征在于，

在所述作业现场俯瞰图像中映入有包括所述协作作业机械在内的多个作业机械的情况下，所述作业现场俯瞰图像中的所述协作作业机械及其他作业机械的间隔越小，所述第2支援处理元件将所述第1标识图像越强调输出至所述远程操作装置的输出接口。

4.如权利要求1～3的任一项所述的作业支援服务器，其特征在于，

在由所述第1支援处理元件判定为所述作业机械不属于所述协作作业机械的情况下，所述第2支援处理元件基于与所述远程操作装置的通信，将表示所述作业机械不属于协作作业机械的第2标识图像以使该第2标识图像能与所述第1标识图像识别开的方式输出至所述远程操作装置的输出接口。

5.如权利要求1～4的任一项所述的作业支援服务器，其特征在于，

所述第1支援处理装置识别所述协作作业机械的实际空间位置及实际空间姿势中的至少一个的时间序列，

所述第2支援处理元件基于与所述远程操作装置的通信，将表示由所述第1支援处理元件识别而得的所述协作作业机械的实际空间位置及实际空间姿势中的至少一方的时间序列的轨道图像作为所述第1标识图像而输出至所述远程操作装置的输出接口。

6.如权利要求1～5的任一项所述的作业支援服务器，其特征在于，

所述第2支援处理元件基于与所述远程操作装置的通信，将表示所述作业机械的实际空间位置和所述拍摄装置的实际空间位置及视角的地图或俯瞰作业现场俯瞰图像输出至所述远程操作装置的输出接口。

7.一种作业支援系统，其特征在于，由权利要求1～6的任一项所述的作业支援服务器与所述远程操作装置构成。

8.一种作业支援方法，用于支援由操作者进行的使用了远程操作装置的作业机械的远程操作，其特征在于，执行：

第1支援处理，基于与所述远程操作装置的通信，将与通过拍摄装置获取的作业现场的拍摄图像对应的作业现场俯瞰图像输出至所述远程操作装置的输出接口，识别所述远程操作装置的操作对象即作为所述作业机械的协作作业机械的实际空间位置，所述作业现场俯瞰图像中映入有作业机械的情况下，根据该作业机械的图像坐标系中的位置及所述协作作业机械的实际空间位置，判定所述作业机械是否属于所述协作作业机械；

第2支援处理，在由所述第1支援处理判定为所述作业机械属于所述协作作业机械的情况下，基于与所述远程操作装置的通信，将示出映入所述作业现场俯瞰图像的所述作业机械属于协作作业机械的第1标识图像输出至所述远程操作装置的输出接口。

Images