CN118318080A - 图像显示系统、远程操作支援系统及图像显示方法 - Google Patents

Abstract

本发明提供一种能够实现操作员对构成作业机械的作业机构与存在于该作业机械的周边的对象物体的位置关系的识别精度的提高的系统等。通过输出至构成远程输出接口(220)的远程图像输出装置(221)的作业环境图像及与其重叠的指标图像(M)，能够使操作员掌握构成作业机械(40)的作业机构(440)(附件(445))与对象物体(Obj)的表面上的第2指标点(p₂)的位置。第2指标点(p₂)是将第1指标点(p₁)投影至对象物体(Obj)的表面而得的结果。

Description

图像显示系统、远程操作支援系统及图像显示方法

技术领域

本发明涉及用于对液压挖掘机等作业机械的操作员所进行的远程操作进行支援的技术。

背景技术

提出有以下技术：使用利用作业机的姿势而得到的作业工具的位置的信息与根据距离检测装置所求出的作业机械距作业对象的距离的信息而得到的作为作业对象的地面的位置的信息，沿着与作业工具对置的作业对象的表面生成与该作业工具对应的部分的图像，与由拍摄装置拍摄到的作业对象的图像合成，并显示于显示装置(例如，参照专利文献1)。由此，抑制使用具备具有作业工具的作业机的作业机械进行作业时的作业效率的降低。

现有技术文献

专利文献

专利文献1：日本专利第6777375号公报

发明内容

发明要解决的技术问题

但是，在进行作业装置与作业对象的对位时，根据现有技术，作业装置的位置由沿着地形形成的图像表示。因此，作业装置的规定的部位以外的不必要的位置信息也同时显示，因此难以掌握作业装置相对于作业对象位于哪个位置，有可能难以高效地进行作业。

因此，本发明的目的在于提供一种系统等，能够实现操作员对构成作业机械的作业机构与存在于该作业机械的周边的对象物体的位置关系的识别精度的提高。

用于解决上述技术问题的方案

本发明的图像显示系统为如下的图像显示系统：

在表示构成作业机械的作业机构及存在于该作业机械的周围的对象物体的状况的作业环境图像中，重叠示出第2指标点的指标图像并输出至用于对所述作业机械进行远程操作的远程操作装置的输出接口，所述第2指标点是将所述作业机构中的第1指标点投影至所述对象物体的表面而得的结果。

根据该构成的图像显示系统，通过输出至远程操作装置的输出接口的作业环境图像及与其重叠的指标图像，能够使操作员掌握构成作业机械的作业机构与对象物体的表面上的第2指标点的位置。第2指标点是将第1指标点投影至对象物体的表面而得的结果，并非沿着该对象物体的表面形状的点。因此，避免作业机构的第1指标点以外的不需要的部位的位置信息被提供给操作员，实现该操作员对作业机构与对象物体的位置关系的识别精度的提高。

附图说明

图1是关于图像显示复合系统及图像显示系统的构成的说明图。

图2是关于远程操作装置的构成的说明图。

图3是关于作业机械的构成的说明图。

图4是关于图像显示系统的功能的说明图。

图5是关于作业环境图像及指标图像的一显示方式的说明图。

图6A是关于斗杆顶部位置与指标图像的显示方式的关系的说明图。

图6B是关于斗杆顶部位置与指标图像的显示方式的关系的说明图。

图6C是关于斗杆顶部位置与指标图像的显示方式的关系的说明图。

图7A是关于作业机构的位移方式与指标图像的指向性的关系的说明图。

图7B是关于作业机构的位移方式与指标图像的指向性的关系的说明图。

图7C是关于作业机构的位移方式与指标图像的指向性的关系的说明图。

图8A是关于作业机构的姿势形态与指标图像的指向性的关系的说明图。

图8B是关于作业机构的姿势形态与指标图像的指向性的关系的说明图。

图8C是关于作业机构的姿势形态与指标图像的指向性的关系的说明图。

图9A是关于立体的指标图像的显示方式的说明图。

图9B是关于立体的指标图像的显示方式的说明图。

图9C是关于立体的指标图像的显示方式的说明图。

图10A是关于作业机构的位移方式与第1指标点的位置的关系的说明图。

图10B是关于作业机构的位移方式与第1指标点的位置的关系的说明图。

图10C是关于作业机构的位移方式与第1指标点的位置的关系的说明图。

图11是关于作业环境图像及指标图像的其他显示方式的说明图。

图12A是关于作业机构的动作方式与指标图像的显示方式的关系的说明图。

图12B是关于作业机构的动作方式与指标图像的显示方式的关系的说明图。

图13A是关于作业机构的位移方式与第1指标点的位置的关系的说明图。

图13B是关于作业机构的位移方式与第1指标点的位置的关系的说明图。

具体实施方式

(图像显示复合系统的构成)

图1所示的图像显示复合系统由图像显示系统10、远程操作装置20以及/或者作为该远程操作装置20的远程操作对象的作业机械40构成。图像显示系统10、远程操作装置20及作业机械40构成为能够相互进行网络通信。图像显示系统10及远程操作装置20的相互通信网络与图像显示系统10及作业机械40的相互通信网络可以相同也可以不同。

(图像显示系统的构成)

在本实施方式中，图像显示系统10由与远程操作装置20及作业机械40分开存在的计算机构成，具备数据库102、通信功能元件121及图像处理功能元件122。数据库102存储并保持拍摄图像数据等。数据库102也可以由能够与图像显示系统10相互通信的数据库服务器构成。各功能元件由运算处理装置(例如，单核处理器以及/或者多核处理器或构成处理器的处理器内核)构成，从存储器等存储装置读取所需的数据及软件，以该数据为对象来执行按照该软件的后述的运算处理。

(远程操作装置的构成)

远程操作装置20具备远程控制装置200、远程输入接口210、远程输出接口220、以及远程无线通信设备224。远程控制装置200由运算处理装置(例如，单核处理器以及/或者多核处理器或构成处理器的处理器内核)构成，从存储器等存储装置读取所需的数据及软件，以该数据为对象来执行按照该软件的运算处理。

远程输入接口210具备远程操作机构211。远程输出接口220具备远程图像输出装置221。

远程操作机构211包含行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、以及铲斗用操作装置。各操作装置具有接受转动操作的操作杆。操作行驶用操作装置的操作杆(行驶杆)以使作业机械40的下部行驶体410动作。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或下端部的行驶踏板。操作回转用操作装置的操作杆(回转杆)以使构成作业机械40的回转机构430的液压式的回转电动机动作。操作动臂用操作装置的操作杆(动臂杆)以使作业机械40的动臂油缸442动作。操作斗杆用操作装置的操作杆(斗杆杆(arm l ever))以使作业机械40的斗杆油缸444动作。操作铲斗用操作装置的操作杆(铲斗杆(bucket l ever))以使作业机械40的铲斗油缸446动作。

例如如图2所示，构成远程操作机构211的各操作杆配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的形态，也可以是没有头枕的低背椅那样的形态、或者是没有靠背的椅子那样的形态等操作员能够就座的任意形态的就座部。

在座椅St的前方左右横向排列地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆也可以兼作多种操作杆。例如，图2所示的设置于座椅St的左侧框体的前方的左侧操作杆2111可以在沿前后方向操作的情况下作为斗杆杆发挥功能，且在沿左右方向操作的情况下作为回转杆发挥功能。同样地，图2所示的设置于座椅St的右侧框体的前方的右侧操作杆2112可以在沿前后方向操作的情况下作为动臂杆发挥功能，且在沿左右方向操作的情况下作为铲斗杆发挥功能。杆模式也可以根据操作员的操作指示而任意地变更。

例如如图2所示，远程图像输出装置221由分别配置在座椅St的前方、左斜前方及右斜前方的具有大致矩形状的屏幕的中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212构成。中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212各自的屏幕(图像显示区域)的形状及尺寸可以相同也可以不同。

如图2所示，左侧远程图像输出装置2211的右边缘与中央远程图像输出装置2210的左边缘相邻，以使中央远程图像输出装置2210的屏幕及左侧远程图像输出装置2211的屏幕形成倾斜角度θ1(例如，120°≤θ1≤150°)。如图2所示，右侧远程图像输出装置2212的左边缘与中央远程图像输出装置2210的右边缘相邻，以使中央远程图像输出装置2210的屏幕及右侧远程图像输出装置2212的屏幕形成倾斜角度θ2(例如，120°≤θ2≤150°)。该倾斜角度θ1及θ2可以相同也可以不同。

中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212各自的屏幕可以相对于竖直方向平行，也可以相对于竖直方向倾斜。中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212中的至少1个图像输出装置也可以由被分割为多个的图像输出装置构成。例如，中央远程图像输出装置2210可以由具有大致矩形状的屏幕的上下相邻的一对图像输出装置构成。

远程图像输出装置221也可以由以包围座椅St的方式弯曲或弯折的单一的图像输出装置构成。单一的图像输出装置例如可以由中央远程图像输出装置2210构成。远程图像输出装置221也可以由2个图像输出装置(例如，中央远程图像输出装置2210及左侧远程图像输出装置2211或右侧远程图像输出装置2212)构成。

(作业机械的构成)

作业机械40具备实机控制装置400、实机输入接口41、实机输出接口42、实机无线通信设备422、作业机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器或构成处理器的处理器内核)构成，从存储器等存储装置读取所需的数据及软件，以该数据为对象来执行按照该软件的运算处理。

作业机械40例如是履带式挖掘机(工程机械)，如图3所示，具备履带式的下部行驶体410与经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设置有驾驶室424(司机室)。在上部回转体420的前方中央部设置有作业机构440。

实机输入接口41具备实机操作机构411、实机拍摄装置412、实机测距装置414及实机传感器组416。实机操作机构411具备多个操作杆，以与远程操作机构211同样的方式配置在驾驶室424的内部所配置的座椅的周围。在驾驶室424设置有驱动机构或者机器人，接收与远程操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置于驾驶室424的内部，透过前窗拍摄包含至少一部分作业机构440(例如附件445)的环境。也可以省略前窗及侧窗中的一部分或者全部。实机测距装置414是用于测量距存在于作业机械40的周围的对象物体为止的实际空间距离、进而测量实际空间位置的装置，例如由L i DAR及TOF传感器等构成。实机传感器组416由回转角度传感器、以及姿势角度传感器等用于测量作业机械40的动作状况的各种传感器构成，回转角度传感器用于测量上部回转体420相对于下部行驶体410的回转角度，姿势角度传感器用于测量表示作业机构440的姿势的姿势角度。

实机输出接口42具备实机无线通信设备422。

如图3所示，作为作业机构的作业机构440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；附件445(例如铲斗)，可转动地连结于斗杆443的前端。在作业机构440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。

动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该附件445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使附件445相对于斗杆443绕水平轴转动。

(功能)

图4是对所述构成的图像显示系统及图像显示系统的功能进行说明的流程图。在该流程图中，为了记载的简化而使用“C●”这样的框，表示数据的发送以及/或者接收，且表示以该数据的发送以及/或者接收为条件执行分支方向的处理的条件分支。该流程图在每个控制周期重复，在到达“结束”后返回“开始”，执行之后的处理。

在远程操作装置20中，判定由操作员通过远程输入接口210进行的环境确认请求操作(第2指定操作)的有无(图4/步骤210)。“环境确认请求”例如是用于对操作员打算远程操作的作业机械40指示环境确认请求操作的远程输入接口210中的点击等操作。在该判定结果为否定的情况下(图4/步骤210··否)，返回开始。另一方面，当该判定结果为肯定的情况下(图4/步骤210··是)，通过远程无线通信设备224对图像显示系统10发送环境确认请求(图4/步骤211)。

在图像显示系统10中，在接收到环境确认请求的情况下，通过通信功能元件121对相应的作业机械40发送该环境确认请求(图4/C10)。也可以不经由图像显示系统10地向作业机械40发送环境确认请求。

在作业机械40中，在通过实机无线通信设备422接收到环境确认请求的情况下(图4/C40)，通过实机拍摄装置412获取作业对象物Obj(例如，存在于作业机械40的周围的地面、砂土、建材以及/或者建造物等)的拍摄图像，并且通过实机测距装置414获取作业对象物Obj的三维图像，且将表示该三维图像的三维图像数据通过实机无线通信设备422向图像显示系统10发送(图4/步骤410)。

三维图像是通过实机测距装置414获取的、具有到作业对象物Obj的方向与距作业对象物Obj的距离或作业对象物Obj的实际空间位置的图像。“实际空间位置”由实际空间坐标系中的坐标值(例如，纬度、经度及高度)或实机坐标系(位置或姿势相对于作业机械40固定的坐标系)中的坐标值定义。在作业对象物Obj映入拍摄图像的情况下，构成与三维图像的各像素对应的该作业对象物Obj的表面的点群的各点的实际空间位置作为该各像素的像素值而被包含。

三维图像数据也可以由作为单独的数据的如下数据的组合来获取并发送：通过实机拍摄装置412获取的拍摄图像或相当于其的模型图像的数据、与通过实机测距装置414获取的距离或实际空间位置的数据。

至少映入有作业对象物Obj的拍摄图像也可以不通过实机拍摄装置412，而通过设置于作业机械40的周围的拍摄装置、搭载于无人机的拍摄装置以及/或者由现场操作员携带的设备的拍摄装置来获取。作为三维图像的像素值的距离或实际空间位置也可以通过设置于作业机械40的周围的测距装置以及/或者搭载于无人机的测距装置来获取。

也可以通过搭载于作业机械40的立体相机(左右一对实机拍摄装置412)来代替实机拍摄装置412及实机测距装置414的组合，从而获取作业对象物Obj的拍摄图像及三维图像。

在图像显示系统10中，在由通信功能元件121接收到三维图像数据的情况下(图4/C11)，由图像处理功能元件122对远程操作装置20发送与该三维图像数据对应的作业环境图像数据(图4/步骤110)。作为作业环境图像数据，除了成为三维图像数据的基础的拍摄图像数据(不包含实际空间位置及距离信息作为像素值)本身以外，还为表示基于拍摄图像数据而生成的模拟的作业环境图像的图像数据。

在远程操作装置20中，在通过远程无线通信设备224接收到作业环境图像数据的情况下(图4/C21)，利用远程控制装置200将与作业环境图像数据对应的作业环境图像输出至远程图像输出装置221(图4/步骤212)。

由此，例如，如图5所示，将通过界定驾驶室424的窗框，在驾驶室424的前方映入有作为作业机构440的一部分的动臂441、斗杆443及附件445、以及作为对象物体Obj的砂土等的作业环境图像输出至远程图像输出装置221。

在作业机械40中，通过实机传感器组416获取作业机构440的第1指标点p₁的实际空间位置，并且将表示该第1指标点p₁的实际空间位置的数据通过实机无线通信设备422向图像显示系统10发送(图4/步骤412)。

三维图像数据的发送处理(参照图4/步骤410)及表示第1指标点p₁的实际空间位置的数据的发送处理(参照图4/步骤412)也可以作为一批数据的发送处理而同时执行。

具体而言，与斗杆443的前端部(斗杆顶部)相对应的点被定义为第1指标点p₁。在作业机构440中定义的第1指标点p₁的实际空间位置按照正向运动学基于构成搭载于作业机械40的实机传感器组416的姿势角度传感器的输出信号、以及该作业机构440的各构成元件的尺寸来计算。姿势角度传感器构成为输出如下信号：与动臂441相对于上部回转体420的起落角度、与动臂441的连结部中的斗杆443的转动角度、以及与斗杆443的连结部中的附件445的转动角度中的至少一部分对应的信号。也可以将构成作业机构440的动臂441、斗杆443及附件445等的任意的点定义为第1指标点p₁。

在作业机构440的第1指标点p₁映入三维图像的情况下，也可以通过实机控制装置400基于该三维图像来识别该第1指标点p₁的实际空间位置。具体而言，通过三维图像的图像解析处理(灰度化处理、边缘提取处理以及/或者图案匹配处理等)，在作业机构440中与第1指标点p₁相对应的一个或多个像素的像素值的平均值被识别为该第1指标点p₁的实际空间位置。也可以基于使用姿势角度传感器识别出的作业机构440的各点的实际空间位置及作为三维图像的像素值的实际空间位置中的一方来修正另一方。

在图像显示系统10中，在接收到表示第1指标点p₁的实际空间位置的数据的情况下(图4/C12)，根据该第1指标点p₁的实际空间位置及三维图像中包含的构成对象物体Obj的表面的点群的各点的实际空间位置或三维形状，由图像处理功能元件122识别第2指标点p₂的实际空间位置(图4/步骤112)。第2指标点p₂是作为将第1指标点p₁相对于对象物体Obj的表面投影而得的结果的点。第1指标点p₁相对于对象物体Obj的表面的投影方向例如是竖直方向。在该情况下，在对象物体Obj的表面的各点中，水平位置(x(经度)，y(经度))与第1指标点p₁相同或最接近的一个点的实际空间位置、或者水平位置与第1指标点p₁接近的多个点的重心被识别为第2指标点p₂。

在作业机械40或上部回转体420相对于实际空间的竖直轴线倾斜的情况下，也可以将第1指标点p₁相对于对象物体Obj的表面的投影方向定义为相对于实际空间的竖直轴线同样地倾斜的方向。作业机械40相对于竖直轴线的倾斜角度由构成实机传感器组416的机体倾斜角度传感器(例如陀螺仪传感器)测量。

在作业机构440的第1指标点p₁映入三维图像的情况下，也可以省略实机控制装置400对该第1指标点p₁的实际空间位置的识别及数据的发送(图4/步骤412)。在该情况下，利用图像处理功能元件122，通过三维图像的图像解析处理(灰度化处理、边缘提取处理以及/或者图案匹配处理等)，识别与作业机构440中被定义为第1指标点p₁的点相对应的一个或多个像素，将该像素的像素值或其平均值识别为该第1指标点p₁的实际空间位置。

进而，在图像显示系统10中，对远程操作装置20发送指标图像数据，指标图像数据是利用图像处理功能元件122使示出第2指标点p₂的指标图像M重叠于作业环境图像而得的。该指令中包含第2指标点p₂的实际空间位置以及/或者三维图像或作业环境图像中的相当于第2指标点p₂的像素位置(u，v)。

在远程操作装置20中，在通过远程无线通信设备224接收到指标图像数据的情况下(图4/C22)，通过远程控制装置200，将与该指令相应的指标图像M以重叠于作业环境图像的方式输出至远程图像输出装置221(图4/步骤214)。

从图像显示系统10对远程操作装置20的作业环境图像数据的发送处理(参照图4/步骤110)及指标图像数据的发送处理(参照图4/步骤114)也可以作为一批数据的发送处理而同时执行。在该情况下，在远程操作装置20中，作业环境图像的输出处理(参照图4/步骤212)及重叠于该作业环境图像的指标图像的输出处理(参照图4/步骤214)也可以作为单一的图像输出处理而同时执行。

由此，例如如图5所示，以将示出第2指标点p₂的指标图像M重叠于作业环境图像的方式输出至远程图像输出装置221，所述第2指标点p₂是将第1指标点p₁投影至对象物体Obj(例如，存在于作业机械40的周围的砂土等)的表面而得的结果。在此，指标图像M是在实际空间中的竖直方向上朝向第2指标点p₂的三角形状或箭头形状的图形的图像。如图5所示，第1指标点p₁及第2指标点p₂可以重叠显示在拍摄图像上，也可以省略第1指标点p₁以及/或者第2指标点p₂的重叠显示。

在远程操作装置20中，由远程控制装置200识别远程操作机构211的操作方式，且通过远程无线通信设备224对图像显示系统10发送与该操作方式对应的远程操作指令(图4/步骤220)。

在图像显示系统10中，在由图像处理功能元件122接收到该远程操作指令的情况下，由通信功能元件121对作业机械40发送该远程操作指令(图4/C14)。远程操作指令也可以不经由图像显示系统10地对作业机械40发送。

在作业机械40中，在由实机控制装置400通过实机无线通信设备422接收到操作指令的情况下(图4/C44)，控制作业机构440等的动作(图4/步骤420)。例如，执行由附件445铲起作业机械40的前方的对象物体Obj即砂土，在使上部回转体420回转后从附件445倒落该砂土的作业。

(作用效果)

根据构成该构成的图像显示系统的图像显示系统，能够通过向构成远程输出接口220的远程图像输出装置221输出的作业环境图像及重叠于其的指标图像M，使操作员掌握构成作业机械40的作业机构440(附件445)与对象物体Obj的表面上的第2指标点p₂的位置(参照图5)。第2指标点p₂是将第1指标点p₁投影至对象物体Obj的表面而得的结果，因此避免作业机构440的第1指标点p₁以外的不需要的部位的位置信息被提供给操作员，实现该操作员对作业机构440与对象物体Obj的位置关系的识别精度的提高。

图6A～图6C分别示出挖掘地面时的斗杆顶部与附件445的位置关系。作业机构440能够对作为附件445的连接点的斗杆顶部的下方施加最强的力。考虑到该情况，通常，操作员在使附件445的前端与斗杆顶部下或者比其更靠远方侧的地面接触后，移动附件445以使前端来到斗杆顶部下侧，最终进行操作以使前端部成为比斗杆顶部更靠跟前侧。即，在考虑由附件445进行的挖掘的一系列动作的情况下，作为作业机构440的位置指标，与附件445的前端部相比斗杆顶部更为适合的情况较多。

进而，除了上述铲斗以外，还能够将附件445更换为压碎机、抓斗、起重磁铁等，但即使更换附件445，“斗杆顶部”的位置也不变，因此具有能够应用相同的图像显示的优点。

此外，指标图像M是相对于对象物体Obj的表面上的第2指标点p₂具有指向性、或者通过大致三角形的顶点或箭头等来指示其位置的图像(参照图5)。因此，在避免操作员关于对象物体Obj的表面的三维形状的错误的同时，实现提高操作员对作业机构440、特别是定义有第1指标点p₁的附件445与对象物体Obj的位置关系的识别的容易性。

(本发明的其他实施方式)

在上述实施方式中，图像显示系统10及构成它的通信功能元件121及图像处理功能元件122由独立于远程操作装置20及作业机械40存在的计算机构成，但作为其他实施方式，也可以在远程操作装置20以及/或者作业机械40搭载图像显示系统，由远程控制装置200以及/或者实机控制装置400构成通信功能元件121以及/或者图像处理功能元件122。在该情况下，能够省略图像显示系统10中的通信功能。

在上述实施方式中，第1指标点p₁被定义为斗杆顶部，但也可以被定义为附件445的前端部。在该情况下，通过示出第2指标点p₂的指标图像M，能够实现操作员针对附件445与对象物体Obj的接触的位置关系的识别精度的提高，该第2指标点p₂是将第1指标点p₁相对于对象物体Obj的表面投影而得的结果。

也可以根据指标图像输出指令，在与作业机构440中配置有第1指标点p₁的附件(例如，附件445)的位移方式对应的方向上，将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程图像输出装置221，该第2指标点p₂是将第1指标点p₁相对于对象物体Obj的表面投影而得的结果。作业机构440或附件的位移方式基于构成实机传感器组416的姿势角度传感器以及/或者回转角度传感器来识别。作业机构440或附件的位移方式也可以基于构成远程操作机构211的操作杆的操作方式来识别。

例如，如图7A所示，在附件445向竖直下方位移的情况下，将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程图像输出装置221，该第2指标点p₂是将第1指标点p₁相对于对象物体Obj的表面向竖直下方投影而得的结果。如图7B所示，在附件445从作业机械40观察向前下方位移的情况下，将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程图像输出装置221，该第2指标点p₂是将第1指标点p₁相对于对象物体Obj的表面向作业机械40的前下方投影而得的结果。如图7C所示，在附件445从作业机械40观察向后下方位移的情况下，将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程图像输出装置221，该第2指标点p₂是将第1指标点p₁相对于对象物体Obj的表面向作业机械40的后下方投影而得的结果。

根据该构成的图像显示系统，通过输出至远程操作装置20的远程图像输出装置221的作业环境图像及与其重叠的指标图像M，能够实现操作员对如下位置关系的识别精度的提高：在与构成作业机械40的作业机构440的位移方式对应的方向上，该作业机构440的第1指标点p₁与该作业环境图像中的对象物体Obj的表面上的第2指标点p₂的位置关系。

也可以根据指标图像输出指令，在作业环境图像上重叠示出第2指标点p₂的指标图像M并输出至远程图像输出装置221，该第2指标点p₂是将第1指标点p₁在与作业机构440或附件445的姿势形态对应的方向上相对于对象物体Obj的表面投影而得的结果。

例如，如图8A所示，在作用于对象物的对具有指向性的附件445即压碎机445的对象物进行击撞的击撞部位即凿头指向竖直下方的情况下，将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程图像输出装置221，该第2指标点p₂是将第1指标点p₁相对于对象物体Obj的表面向竖直下方投影而得的结果。如图8B所示，在压碎机445的凿头从作业机械40观察指向前下方的情况下，将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程图像输出装置221，该第2指标点p₂是将第1指标点p₁相对于对象物体Obj的表面向作业机械40的前下方投影而得的结果。如图8C所示，在压碎机445的凿头从作业机械40观察指向后下方的情况下，将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程图像输出装置221，该第2指标点p₂是将第1指标点p₁相对于对象物体Obj的表面向作业机械40的后下方投影而得的结果。

根据该构成的图像显示系统，通过输出至远程操作装置20的远程图像输出装置221的作业环境图像及与其重叠的指标图像M，操作员能够容易地识别与构成作业机械40的作业机构440或附件445的姿势形态对应的作用于对象物的位置与方向，因此能够提高操作员的识别精度，能够提高作业的效率。

第1指标点在附件445中被定义，在特定的远程操作指令的发送开始后继续发送(特定的操作继续)的期间，也可以不更新第1指标点的位置信息而维持即将发送操作指令之前的第1指标点p₁的位置不变。

例如，在远程操作机构的杆上设置使作为附件445的压碎机445工作的推动推知即操作开关，若通过远程操作机构211进行操作以使压碎机445工作，则从远程操作装置20对作业机械40发送使压碎机445工作的远程操作指令，并且对图像显示系统10发送更新停止信号以不进行第1指标点p₁的位置信息的更新。此外，在操作开关被按下的期间，继续发送更新停止信号。由此，第1指标点p₁的位置信息在继续操作的期间维持即将对操作开关进行操作之前的位置信息。若不再按下操作开关，便不再发送针对图像显示系统10的更新停止信号。因此，重新开始第1指标点p₁的位置信息的更新。

根据该构成的图像显示系统，在使附件445工作的期间，不进行第1指标点的位置信息的更新。因此，通过使第1指标点由于附件445工作而产生的附件445的振动而振动，输出至远程操作装置20的远程图像输出装置221的作业环境图像以及与其重叠的指标图像M振动。由此，能够防止注视指标图像M进行远程操作的操作员产生晕眩的现象。

如上所述，在与作业机构440或附件的位移方式或姿势形态对应的方向上，作为将第1指标点p₁相对于对象物体Obj的表面投影而得的结果而定义第2指标点p₂的情况下，也可以在作业环境图像中将立体的指标图像M输出至远程操作装置20的远程图像输出装置221。

例如，在作为将第1指标点p₁相对于对象物体Obj的表面向竖直下方投影而得的结果而定义第2指标点p₂的情况下(参照图7A及图8A)，如图9A所示，将具有与实际空间竖直方向平行的中心轴线的、顶点朝向实际空间下方那样的大致圆锥状的指标图像M重叠于作业环境图像并输出至远程图像输出装置221。在作为将第1指标点p₁相对于对象物体Obj的表面向作业机械40的前下方投影而得的结果而定义第2指标点p₂的情况下(参照图7B及图8B)，如图9B所示，将顶点朝向实际空间前下方那样的大致圆锥状的指标图像M重叠于作业环境图像并输出至远程图像输出装置221。在作为将第1指标点p₁相对于对象物体Obj的表面向作业机械40的后下方投影而得的结果而定义第2指标点p₂的情况下(参照图7C及图8C)，如图9C所示，将顶点朝向实际空间后下方那样的大致圆锥状的指标图像M重叠于作业环境图像并输出至远程图像输出装置221。

根据该构成的图像显示系统，由于输出至远程操作装置20的远程图像输出装置221的指标图像M是立体的图像，因此通过该指标图像M的输出方式，能够使操作员容易地掌握作业机构440的第1指标点p₁与对象物体Obj的表面上的第2指标点p₂的位置关系。

也可以将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程操作装置20的远程图像输出装置221，该第2指标点p₂是将根据作业机构440的位移方式而位置不同的第1指标点p₁投影至对象物体Obj的表面而得的结果。

例如，在上部回转体420未相对于下部行驶体410回转的情况下，如图10A所示，铲斗445的前端部中央点被定义为第1指标点p₁。另一方面，根据远程操作机构211以及/或者实机操作机构411的操作方式，或者基于实机传感器组416的输出信号，在推定或预测或计测为上部回转体420相对于下部行驶体410从上方观察逆时针回转的情况下(参照向左的白箭头)，如图10B所示，将铲斗445的前端部靠左的点定义为第1指标点p₁。此外，根据远程操作机构211以及/或者实机操作机构411的操作方式，或者基于实机传感器组416的输出信号，在推定或预测或计测为上部回转体420相对于下部行驶体410从上方观察顺时针回转的情况下(参照向右的白箭头)，如图10C所示，将铲斗445的前端部靠右的点定义为第1指标点p₁。然后，在各个情况下，将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程图像输出装置221，该第2指标点p₂是将该第1指标点p₁相对于对象物体Obj的表面投影而得的结果。

在操作作业机械40的过程中，作业机构440中的应注视的部位根据作业机构440的位置以及/或者姿势的变化方式而变化。例如，如果是用于使上部回转体420相对于下部行驶体410回转的操作，则该部位是回转方向的最前端，如果是使作业机构440远离机械中心的操作，则该部位是使作业机构440远离机械中心的方向的最前端。

根据该构成的图像显示系统，通过输出至远程操作装置20的远程图像输出装置221的作业环境图像及与其重叠的指标图像M，变得容易与构成作业机械40的作业机构440的位置以及/或者姿势的变化方式相应地掌握应注视的部位与对象物体Obj的位置关系，能够实现操作员的识别精度的提高。

也可以将分别示出多个第2指标点p₂的多个指标图像M重叠于作业环境图像并输出至远程操作装置20的远程图像输出装置221，该多个第2指标点p₂是将多个第1指标点p₁分别相对于对象物体Obj的表面投影而得的结果。

例如，如图11所示，也可以将附件445的前端部的左端点及右端点的各点分别定义为第1指标点p₁₁及p₁₂，将分别示出第2指标点p₂₁及p₂₂的多个指标图像M₁及M₂重叠于作业环境图像并输出至远程操作装置20的远程图像输出装置221，该第2指标点p₂₁及p₂₂是将该第1指标点p₁₁及p₁₂分别相对于对象物体Obj的表面向竖直下方投影而得的结果。第1指标点p₁及与其对应的第2指标点p₂各自的数量也可以是3以上。

根据该构成的图像显示系统，通过输出至远程操作装置20的远程图像输出装置221的作业环境图像及多个指标图像M₁及M₂，能够使操作员掌握多个第2指标点p₂₁及p₂₂各自的位置，该多个第2指标点p₂₁及p₂₂是将作业机构440的多个第1指标点p₁₁及p₁₂分别投影至对象物体Obj的表面而得的结果。由此，与仅将单一的指标图像输出至远程图像输出装置221的情况相比，能够实现该操作员对作业机构440与对象物体Obj的位置关系的识别精度的提高。

也可以将分别指向多个第2指标点p₂的多个指标图像M重叠于作业环境图像并输出至远程操作装置20的远程图像输出装置221，该多个第2指标点p₂与随着作业机构440的姿势变化而相对位置发生变化的多个第1指标点p₁分别对应。

例如，如图12A所示，在构成附件445(例如抓斗或破碎机)的一对构成部件4451及4452闭合的情况下，将该一对构成部件4451及4452各自的前端部的重心定义为第1指定点p₁，将示出作为将该第1指标点p₁投影至对象物体Obj的表面而得的结果的第2指标点p₂的单一的指标图像M重叠于作业环境图像并输出至远程操作装置20的远程图像输出装置221。另一方面，如图12B所示，在构成附件445的一对构成部件4451及4452打开的情况下，该一对构成部件4451及4452各自的前端部被定义为第1指定点p₁₁及p₁₂，将示出作为将该第1指标点p₁₁及p₁₂投影至对象物体Obj的表面而得的结果的第2指标点p₂₁及p₂₂的多个指标图像M₁及M₂重叠于作业环境图像并输出至远程操作装置20的远程图像输出装置221。

根据该构成的图像显示系统，通过输出至远程操作装置20的远程图像输出装置的作业环境图像及多个指标图像，能够使操作员掌握多个第2指标点p₂₁及p₂₂各自的位置，该多个第2指标点p₂₁及p₂₂是将随着作业机构440(例如，附件445的一对构成部件4451及4452)的姿势变化而相对位置发生变化的多个第1指标点p₁₁及p₁₂分别投影至对象物体的表面而得的结果。由此，实现该操作员对与姿势变化方式相应的作业机构440的多个部位与对象物体Obj的位置关系的识别精度的提高。

该多个部位例如也可以由附件445中的一个部位与斗杆443以及/或者动臂441中的其他部位构成。例如，也可以将附件445的前端部中央点及斗杆443的前端部(与附件445的连结部)中央点的各点分别定义为第1指标点p₁₁及p₁₂。在该情况下，重叠于作业环境图像的指标图像M₁及M₂通过颜色、形状或图案或者它们的组合而以可识别的方式表现，由此能够使操作员识别该指标图像M₁及M₂在实际空间中的前后方向的配置方式、进而识别附件445(例如铲斗)的姿势。

在上述实施方式中，将相对于第2指标点p₂具有指向性的指标图像M输出至远程图像输出装置221(参照图5)，但作为其他实施方式，也可以将相对于第2指标点p₂不具有指向性的指标图像M输出至远程图像输出装置221。例如，也可以将以第2指标点p₂为中心或重心的圆或正方形等指定形状的二维图形以与水平面平行的姿势被配置那样的指标图像M输出至远程图像输出装置221。也可以将以第2指标点p₂为中心或重心的球、立方体或多面体等指定形状的三维图形以与水平面平行的姿势被配置那样的指标图像M输出至远程图像输出装置221。

在远程操作装置20中，也可以基于由远程控制装置200识别出的第1时间点t＝t₁时的远程操作机构211的操作方式，推定或预测作业机构440在第1时间点t＝t₁或比其更靠后的第2时间点t＝t₂时的空间占有方式，在该第2时间点t＝t₂时的作业机构440中定义第1指标点p₁。第1时间点t＝t₁与第2时间点t＝t₂的时间差可以根据与实际空间中的作业机构440的位置以及/或者姿势的变化速度对应的第1指标点p₁的位移速度来设定。

例如，考察如下情况：根据远程操作机构211以及/或者实机操作机构411的操作方式，或者基于实机传感器组416的输出信号，在第1时间点t＝t₁推定或预测或计测到上部回转体420相对于下部行驶体410从上方观察逆时针回转(参照图13A的向左的白箭头)。在该情况下，比图13A中实线所示的第1时间点t＝t₁时的铲斗445更向左侧位移后的、图13A中虚线所示的第2时间点t＝t₂时的铲斗445的前端部中央点被定义为第1指标点p₁。

此外，以下的说明是针对如下情况的考察：根据远程操作机构211以及/或者实机操作机构411的操作方式，或者基于实机传感器组416的输出信号，在第1时间点t＝t₁推定或预测或计测到上部回转体420相对于下部行驶体410从上方观察顺时针回转(参照图13B的向右的白箭头)。在该情况下，比图13B中实线所示的第1时间点t＝t₁时的铲斗445更向右侧位移后的、图13B中虚线所示的第2时间点t＝t₂时的铲斗445的前端部中央点被定义为第1指标点p₁。

然后，在各个情况下，将示出第2指标点p₂的指标图像M重叠于作业环境图像并输出至远程图像输出装置221，该第2指标点p₂是将该第1指标点p₁相对于对象物体Obj的表面投影而得的结果。

根据该构成的图像显示系统，通过输出至远程操作装置20的远程图像输出装置221的作业环境图像及与其重叠的指标图像M，操作员能够识别考虑了构成作业机械40的作业机构440的通信延迟时间、响应延迟时间的一部分或全部而得的位置以及/或者姿势的变化方式，因此在考虑了远程操作特有的操作环境的基础上，作业机构440相对于对象物体Obj的位置关系的识别精度提高，能够更高效地进行操作。

在本发明的图像显示系统中，

优选使具有相对于所述第2指标点的指向性的所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口。

根据该构成的图像显示系统，由于输出至远程操作装置的输出接口的指标图像相对于第2指标点具有指向性(指标图像指示第2指标点的位置)，因此能够使操作员容易地掌握作业机构的第1指标点与对象物体的表面上的第2指标点的位置关系。

在本发明的图像显示系统中，

优选使示出所述第2指标点的所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，所述第2指标点是在与所述作业机构的位移方式或所述作业机构的姿势形态对应的方向上将所述第1指标点投影至所述对象物体的表面而得的结果。

根据该构成的图像显示系统，通过输出至远程操作装置的输出接口的作业环境图像及与其重叠的指标图像，能够实现操作员对如下位置关系的识别精度的提高：在与构成作业机械的作业机构的位移方式或姿势形态对应的方向上，该作业机构的第1指标点与该作业环境图像中的对象物体的表面上的第2指标点的位置关系。

在本发明的图像显示系统中，

优选使示出所述第2指标点的所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，所述第2指标点是将根据所述作业机构的位移方式而位置不同的所述第1指标点投影至所述对象物体的表面而得的结果。

根据本发明的图像显示系统，通过输出至远程操作装置的输出接口的作业环境图像及与其重叠的指标图像，能够实现操作员对如下位置关系的识别精度的提高：根据构成作业机械的作业机构的位移方式而位置发生位移的该作业机构的第1指标点与该作业环境图像中的对象物体的表面上的第2指标点的位置关系。

在本发明的图像显示系统中，

优选在识别了基于搭载于所述作业机械的传感器的输出而确定的所述作业机构的所述第1指标点的位置的基础上，使示出所述第2指标点的所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，所述第2指标点是将该第1指标点投影至所述对象物体的表面而得的结果。

根据该构成的图像显示系统，例如，即使在难以通过搭载于作业机械的测距装置识别第1指标点的实际空间位置的情况下，也能够通过输出至远程操作装置的输出接口的指标图像，使操作员容易地掌握或推测该第1指标点与作为将其投影至对象物体的表面而得的结果的第2指标点的位置关系。

在本发明的图像显示系统中，

优选将所述第1指标点设定于斗杆顶部。

根据该构成的图像显示系统，在通过作业机构挖掘地面的情况下，在挖掘的一系列动作中，为了施加较强的力而相对于斗杆顶部的位置操作附件前端的位置，因此斗杆顶部适合作为位置指标。进而，即使更换附件，斗杆顶部的位置也不会改变，因此具有能够应用相同的图像显示的优点。

在本发明的图像显示系统中，

优选使分别示出多个所述第2指标点的多个所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，多个所述第2指标点是将多个所述第1指标点分别投影至所述对象物体的表面而得的结果。

根据该构成的图像显示系统，能够通过输出至远程操作装置的输出接口的作业环境图像及多个指标图像，使操作员掌握作为将作业机构的多个第1指标点分别投影至对象物体的表面而得的结果的多个第2指标点各自的位置。由此，与仅将单一的指标图像输出至远程操作装置的输出接口的情况相比，能够实现该操作员对作业机构与对象物体的位置关系的识别精度的提高。

在本发明的图像显示系统中，

优选使分别指向多个所述第2指标点的多个所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，多个所述第2指标点与随着所述作业机构的姿势变化而相对位置发生变化的多个所述第1指标点分别对应。

根据该构成的图像显示系统，通过输出至远程操作装置的输出接口的作业环境图像及多个指标图像，能够使操作员掌握多个第2指标点各自的位置，该多个第2指标点是分别将随着作业机构的姿势变化而相对位置发生变化的多个第1指标点投影至对象物体的表面而得的结果。由此，实现该操作员对与姿势变化方式相应的作业机构的多个部位与对象物体的位置关系的识别精度的提高。

附图标记说明

10图像显示系统

20远程操作装置

40作业机械

41实机输入接口

42实机输出接口

102数据库

121通信功能元件

122图像处理功能元件

200远程控制装置

210远程输入接口

211远程操作机构

220远程输出接口

221远程图像输出装置

222远程声音输出装置

400实机控制装置

410下部行驶体

420上部回转体

424驾驶室(司机室)

440作业机构

445附件(压碎机铲斗等)

M、M₁、M₂指标图像

Obj对象物体

p₁、p₁₁、p₁₂第1指标点

p₂、p₂₁、p₂₂第2指标点。

Claims (10)

1.一种图像显示系统，其特征在于，在表示构成作业机械的作业机构及存在于该作业机械的周围的对象物体的状况的作业环境图像上，重叠示出第2指标点的指标图像并输出至用于对所述作业机械进行远程操作的远程操作装置的输出接口，所述第2指标点是在实际空间中将所述作业机构中的第1指标点投影至所述对象物体的表面而得的结果。

2.如权利要求1所述的图像显示系统，其特征在于，

使具有相对于所述第2指标点的指向性的所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口。

3.如权利要求1所述的图像显示系统，其特征在于，

使示出所述第2指标点的所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，所述第2指标点是在与所述作业机构的位移方式或所述作业机构的姿势形态对应的方向上将所述第1指标点投影至所述对象物体的表面而得的结果。

4.如权利要求1所述的图像显示系统，其特征在于，

使示出所述第2指标点的所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，所述第2指标点是将根据所述作业机构的位移方式而位置不同的所述第1指标点投影至所述对象物体的表面而得的结果。

5.如权利要求1所述的图像显示系统，其特征在于，

在识别了基于搭载于所述作业机械的传感器的输出而确定的所述作业机构的所述第1指标点的位置的基础上，使示出所述第2指标点的所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，所述第2指标点是将该第1指标点投影至所述对象物体的表面而得的结果。

6.如权利要求1所述的图像显示系统，其特征在于，

将所述第1指标点设定于斗杆顶部。

7.如权利要求1所述的图像显示系统，其特征在于，

使分别示出多个所述第2指标点的多个所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，多个所述第2指标点是将多个所述第1指标点分别投影至所述对象物体的表面而得的结果。

8.如权利要求7所述的图像显示系统，其特征在于，

使分别指向多个所述第2指标点的多个所述指标图像重叠于所述作业环境图像并输出至所述远程操作装置的输出接口，多个所述第2指标点与随着所述作业机构的动作而相对位置发生变化的多个所述第1指标点分别对应。

9.一种图像显示复合系统，具备：作业机械，该作业机械具有实机拍摄装置、实机测距装置及作业机构；

远程操作装置，具有输出接口，用于对所述作业机械进行远程操作；以及

图像显示系统，

所述图像显示复合系统的特征在于，

所述图像显示系统在表示通过所述实机拍摄装置获取的构成所述作业机械的作业机构及存在于该作业机械的周围的对象物体的状况的作业环境图像上，重叠示出2指标点的指标图像并输出至所述远程操作装置的输出接口，所述2指标点是在实际空间中将所述作业机构中的第1指标点投影至通过所述实机测距装置测量了三维形状的所述对象物体的表面而得的结果。

10.一种图像显示方法，其特征在于，包括以下工序：在表示构成作业机械的作业机构及存在于该作业机械的周围的对象物体的状况的作业环境图像上，重叠示出2指标点的指标图像并输出至用于对所述作业机械进行远程操作的远程操作装置的输出接口，所述2指标点是在实际空间中将所述作业机构中的第1指标点投影至所述对象物体的表面而得的结果。