CN114787453A - 远程操作装置及远程操作系统 - Google Patents

Abstract

本发明提供一种远程操作装置及远程操作系统，可以降低或消除图像中的线条图等该作业部的标记图像的位置相对于实际空间中的作业部的位置的偏离。在远程操作装置中生成标记图像后重叠到作业环境图像并输出到图像输出装置。由于拍摄图像数据的传输延迟，由于远程操作装置与作业机械的通信故障等原因，有时作业环境图像中的拍摄图像数据所对应的作业部的位置姿势坐标值不连续地变化，从根据远程操作机构的操作状态推定的作业部的位置姿势坐标值偏离。该情况下，在从表示铲斗的图像区域偏离的位置、在推定为本来存在的位置，模仿该铲斗的半透明的标记图像被重叠到作业环境图像并被输出到图像输出装置。

Description

远程操作装置及远程操作系统

技术领域

本发明涉及用于远程操作作业机械的装置。

背景技术

在通过设置于操作座椅的控制器以无线的方式对具备作业部的作业机械进行远程操作的远程操作系统中，提出有用于避免由于在监视器的显示中产生图像延迟而导致的作业效率降低的技术(例如，参照专利文献1)。具体而言，在设置于作业机械的摄像头的拍摄影像的与作业部所对应的位置生成该作业部的线条图，并将该线条图以无线的方式传输并重叠至摄像头的拍摄影像来显示于监视器。因此，使用因传输而导致的时滞较小的线条图，将作业部显示在接近实际位置的位置。由此，即使在监视器的显示中产生图像延迟，操作者也能够在基于监视器所显示的线条图补充监视器的图像延迟的同时对作业部进行操作。

现有技术文献

专利文献

专利文献1：日本专利第5919022号公报

发明内容

发明要解决的技术问题

但是，由于用于生成线条图的机构搭载于作业机械，在线条图的传输发生故障的情况下，重叠在摄像头的拍摄影像的线条图会暂时消失，或者有可能使线条图的位置相对于作业部的实际位置的偏离变大。

因此，本发明的目的在于提供一种远程操作装置及远程操作系统，可以降低或消除图像中的线条图等该作业部的标记图像的位置相对于实际空间中的作业部的位置的偏离。

用于解决上述技术问题的方案

本发明的远程操作装置是用于远程操作具有作业机构的作业机械的远程操作装置，具备：

远程无线通信设备，具有与搭载于所述作业机械的实机无线通信设备通信的功能；

远程图像输出装置；

远程操作机构；

远程控制元件，识别操作员对所述远程操作机构的操作状态，并使所述远程无线通信设备对所述实机无线通信设备发送与该操作状态对应的指令信号；

第1输出控制元件，将通过搭载于所述作业机械的拍摄装置获取的、从所述实机无线通信设备发送并由所述远程无线通信设备接收的包含所述作业机构的作业部的作业环境图像输出到所述远程图像输出装置；

第2输出控制元件，基于由所述远程控制元件识别到的第1时间点的所述远程操作机构的操作状态，推定比该第1时间点晚的第2时间点的所述作业部的空间占有状态，在从所述第1时间点到所述第2时间点的期间所包含的第3时间点，将以不损害所述作业部的视觉辨认性的方式来表示该推定出的所述第2时间点的所述作业部的空间占有状态的标记图像重叠到所述作业环境图像并输出到所述远程图像输出装置。

本发明的远程操作系统由本发明的远程操作装置与所述作业机械构成。

附图说明

图1是关于作为本发明的一实施方式的远程操作系统的构成的说明图。

图2是关于远程操作装置的构成的说明图。

图3是关于作业机械的构成的说明图。

图4是关于远程操作系统的功能的说明图。

图5是关于作业部的位置姿势的推定方法的第1实施例的说明图。

图6是关于作业部的位置姿势的推定方法的第2实施例的说明图。

图7是关于作业环境图像的说明图。

图8是关于标记图像的第1输出方式的说明图。

图9是关于标记图像的第2输出方式的说明图。

具体实施方式

(远程操作系统的构成)

图1所示的作为本发明的一实施方式的远程操作系统由远程操作装置20、远程操作装置20的远程操作对象即作业机械40构成。远程操作装置20及作业机械40构成为能够相互进行网络通信。远程操作装置20及作业机械40的相互通信可以经由服务器10，该服务器10也可以构成远程操作系统的一部分。

(远程操作装置的构成)

远程操作装置20具备远程输入接口210、远程输出接口220与远程控制装置24。远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221与远程无线通信设备222。远程控制装置24具备远程控制元件240、第1输出控制元件241与第2输出控制元件242。各元件由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。

远程控制元件240识别操作员对远程操作机构211的操作状态，并使远程无线通信设备222对实机无线通信设备422发送与该操作状态对应的指令信号。第1输出控制元件241将通过搭载于作业机械40的实机拍摄装置412获取的、从实机无线通信设备422发送的、并由远程无线通信设备222接收的包含作业附件44(＝作业机构)的铲斗445(＝作业部)的作业环境图像Img1输出到图像输出装置221。第2输出控制元件242基于由远程控制元件240识别到的第1时间点t＝t1的远程操作机构211的操作状态，推定比第1时间点晚的第2时间点t＝t2的铲斗445的空间占有状态。第2输出控制元件242在第3时间点t＝t3，将以不损害作业部(铲斗445)的视觉辨认性的方式来表示铲斗445的推定空间占有状态的标记图像Img2(t2)重叠到作业环境图像Img1(t3)并输出到图像输出装置221。

在远程操作机构211包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体41动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或下端部的行驶踏板。为了使构成作业机械40的回转机构43的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(arm lever))。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。远程操作机构211与搭载于作业机械40的实机操作机构411的构成相同，但也可以是输入操作指令的触摸面板方式或按钮方式的操作机构等、与实机操作机构411不同构成的操作机构。

构成远程操作机构211的各操作杆例如如图2所示，配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的方式，也可以是没有头枕的低背椅那样的方式、或者是没有靠背的椅子那样的方式等远程操作员能够就座的任意的方式。

在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可以兼作多种操作杆。例如，可以在对图3所示的设置于座椅St的右侧框体的前方的右侧操作杆2111沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，可以在对图2所示的设置于座椅St的左侧框体的前方的左侧操作杆2112沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。可以根据操作员的操作指示任意地变更杆模式。

例如，如图2所示，图像输出装置221由分别配置在座椅St的右斜前方、前方及左斜前方的右斜前方图像输出装置2211、前方图像输出装置2212及左斜前方图像输出装置2213构成。该图像输出装置2211～2213可以进一步具备扬声器(语音输出装置)。

(作业机械的构成)

作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420与作业附件44。实机控制装置400由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。

作业机械40例如是履带式挖掘机(工程机械)，如图3所示，具备履带式的下部行驶体41、经由回转机构43可回转地搭载于下部行驶体41的上部回转体42。回转机构43属于作业机构之一。在上部回转体42的前方左侧部设置有驾驶室(司机室)424。在上部回转体220的前方中央部设置有作业附件44。

实机输入接口410具备实机操作机构411、实机拍摄装置412与状态传感器组414。实机操作机构411在驾驶室424的内部所配置的座椅的周围具备与远程操作机构211的操作杆同样地配置的多个操作杆。在驾驶室424设置有驱动机构或机器人，接收与远程操作杆的操作状态对应的信号，基于该接收信号使实机操作杆动作。另外，也可以通过不是使实机操作杆动作而是控制构成液压回路的阀的开度等来控制作业机械40的动作状态。实机拍摄装置412例如设置在驾驶室424的内部，透过驾驶室424的前窗对包含至少一部分作业附件44的环境进行拍摄。状态传感器组414由对表示上部回转体42相对于下部行驶体41的相对姿势角度、动臂441相对于上部回转体42的相对姿势角度、斗杆443相对于动臂441的相对姿势角度、及铲斗445相对于斗杆443的相对姿势角度等作业机构的动作状态或动作形态的信号进行输出的各种传感器组成。

实机输出接口420具备实机无线通信设备422。

作为作业机构之一的作业附件44具备：动臂441，可起落地安装于上部回转体42；斗杆443，可转动地连结于动臂441的前端；作为作业部的铲斗445，可转动地连结于斗杆443的前端。在作业附件44安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。

动臂油缸442介于该动臂441与上部回转体42之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。

(功能)

使用图4所示的流程图，对所述构成的远程操作系统的功能进行说明。在该流程图中，为了记载的简略而使用“C·”这样的模块，表示数据的发送及/或接收，表示以该数据的发送及/或接收为条件，执行分支方向的处理的条件分支。

在远程操作装置20中，由操作员判定有无通过了远程输入接口210的指定操作(图4/步骤200)。“指定操作”例如是构成远程输入接口210的触摸面板中的点击(tap)、滑动(swipe)、轻拂(flick)、或扩大/缩小等触摸操作。在该判定结果为否定的情况下(图4/步骤200‥“否”)，结束一系列的处理。另一方面，在该判定结果为肯定的情况下(图4/步骤200‥“是”)，利用第1输出控制元件241并通过远程无线通信设备222发送作业环境图像要求(图4/步骤202)。作业环境图像要求中包含远程操作装置20的标识符及操作员的标识符中的至少一方。

在作业机械40中，在通过实机无线通信设备422接收到作业环境图像要求的情况下(图4/C41)，实机控制装置400通过实机拍摄装置412获取拍摄图像(图4/步骤402)。由实机控制装置400通过实机无线通信设备422对远程操作装置10发送表示该拍摄图像的拍摄图像数据(图4/步骤404)。也可以通过设置在作业现场或作业机械40的外部的拍摄装置来获取拍摄图像。

在远程操作装置20中，在通过远程无线通信设备222接收到拍摄图像数据的情况下(图4/C20)，向图像输出装置221输出与该拍摄图像数据对应的作业环境图像(图4/步骤204)。作业环境图像是拍摄图像本身的全部或一部分或者基于此而生成的模拟作业环境图像。由此，例如，如图7所示，将映现有作为作业机构的作业附件44的一部分即动臂441、斗杆443及铲斗445的作业环境图像Img1按时间序列显示于图像输出装置221。

在远程操作装置20中，由远程控制元件240识别远程操作机构211的操作状态(图4/步骤206)，并且通过远程无线通信设备222对远程操作服务器10发送与该操作状态对应的远程操作指令信号(图4/步骤208)。

在作业机械40中，在通过实机无线通信设备422接收到操作指令的情况下(图4/C42)，由实机控制装置400控制作业附件44等的动作(图4/步骤406)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后从铲斗445将土倒落的作业。

在远程操作装置20中，基于由远程控制元件240识别到的第1时间点的远程操作机构211的操作状态，通过第2输出控制元件242推定(或预测)作业附件44的作业部(铲斗445)的第1时间点t＝t1或比其晚的第2时间点t＝t2的空间占有状态，并生成表示作业部的空间占有状态的标记图像Img2(图4/步骤210)。具体来说，基于构成操作机构211的操作杆的位置或倾斜角度，将上部回转体42相对于下部行驶体41的相对姿势角度、动臂441相对于上部回转体42的相对姿势角度、斗杆443相对于动臂441的相对姿势角度、及铲斗445相对于斗杆443的相对姿势角度分别作为实机动作状态推定，并基于该推定结果，推定铲斗445(作业部)的实机坐标系(相对于作业机械40固定位置及姿势的坐标系)中的空间占有状态。然后，根据实机坐标系中的实机拍摄装置412的位置及姿势所对应的坐标转换矩阵(旋转矩阵或旋转矩阵及平移矩阵的组合)，将表示实机坐标系中的作业部的空间占有状态的坐标值坐标转换为表示作业环境图像坐标系中的作业部的推定空间占有状态或铲斗445所存在的图像区域的推定延伸状态的坐标值。

除了铲斗445之外或代替铲斗445，也可以识别斗杆443及动臂441中的至少一方等的空间占有状态作为作业部的空间占有状态。

在推定第2时间点t＝t2的作业部的空间占有状态时，考虑第1通信延迟时间TTD1、第1响应延迟时间TRD1、第2通信延迟时间TTD2及第2响应延迟时间TRD2中的一部分或全部。“第1通信延迟时间TTD1”是从由远程无线通信设备222发送与远程操作机构211的操作状态对应的指令信号，到由实机无线通信设备422接收为止的通信延迟时间。“第1响应延迟时间TRD1”是从由实机无线通信设备422接收指令信号，到由实机控制装置400根据该指令信号控制作业机械40的动作(指令信号反映在作业机械40的动作中)为止的响应延迟时间。“第2通信延迟时间TTD2”是从由实机无线通信设备422发送拍摄图像数据(环境图像数据)，到由远程无线通信设备222接收为止的通信延迟时间。“第2响应延迟时间TRD2”是从由远程无线通信设备222接收环境图像数据，到根据该环境图像数据将环境图像输出到图像输出装置221为止的响应延迟时间。

在操作员操作远程操作机构211的状况下，在某一时间点t＝t映现在图像输出装置221的作业部的位置姿势表示第2延迟时间(第2通信延迟时间TTD2及第2响应延迟时间TRD2的合计时间)之前的时间点t＝t-(TTD2+TRD2)的作业部的实际空间位置姿势。该之前的时间点t＝t-(TTD2+TRD2)的作业部的实际空间位置姿势与第1延迟时间(第1通信延迟时间TTD1及第1响应延迟时间TRD1的合计时间)再之前的时间点t＝t-(TTD2+TRD2)-(TTD1+TRD1)的远程操作机构211的操作状态对应。因此，基于第1时间点t＝t1的远程操作机构211的操作状态，可推定或预测比该第1时间点晚TTD1+TRD1+TTD2+TRD2的时间点即第2时间点t＝t2的作业部的空间占有状态。

其中，在延迟时间小到能够忽略不计的情况下，也可以不考虑该延迟时间而推定或预测第2时间点t＝t2的作业部的空间占有状态。例如，在第1通信延迟时间TTD1及第2通信延迟时间TTD2由于通信速度的进一步高速化而小到能够忽略不计的情况下，也可以推定或预测比第1时间点晚TRD1或TRD1+TRD2的时间点即第2时间点t＝t2的作业部的空间占有状态。此外，在第1响应延迟时间TRD1及第2响应延迟时间TRD2小到能够忽略不计的情况下，也可以推定或预测与第1时间点t＝t1相同或比第1时间点稍晚的几乎相同的时间点即第2时间点t＝t2的作业部的空间占有状态。

标记图像Img2例如为半透明的图像。在作业环境图像Img1(t)中检测到边缘点云，通过被边缘点云包围的图像区域的形状图案匹配，识别到相当于作业部(铲斗445)的图像区域，使尺寸及形状与该图像区域匹配而生成标记图像Img2。除了半透明的图像之外，标记图像Img2还可以是表示该图像区域的轮廓的线条图或以该图像区域的轮廓线上的一点为前端的箭头状的图像等、以不损害作业环境图像Img1中的铲斗445的视觉辨认性的方式表示该铲斗445的空间占有状态或位置姿势的具有各种形状、尺寸及色彩的组合的图像。

然后，通过第2输出控制元件242将第2时间点t＝t2的标记图像Img2在第3时间点t＝t3重叠到作业环境图像Img1，并输出至图像输出装置221(图4/步骤212)。

第3时间点t＝t3可以是与第2时间点t＝t2相同的时间点。第3时间点t＝t3也可以是第1时间点t＝t1及第2时间点t＝t2的中间时间点t＝t1+(1-α)t2(0＜α＜1)。第3时间点t＝t3可以是比第1时间点t＝t1晚第1通信延迟时间TTD1、第1响应延迟时间TRD1、第2通信延迟时间TTD2及第2响应延迟时间TRD2中的一部分的合计时间的时间点。例如，第3时间点t＝t3可以是比第1时间点t＝t1晚第1通信延迟时间TTD1及第1响应延迟时间TRD1的加权和β1·TTD1+β2·TRD1(0≤β1≤1，0≤β2≤1。其中，β1＝β2＝0的情况除外)的时间点t＝t1+β1·TTD1+β2·TRD1。在β1＝0、β2＝1的情况下，第3时间点t＝t3为比第1时间点t＝t1晚第1响应延迟时间TRD1的时间点t＝t1+TRD1。

在图5概念性地示出由图像输出装置221输出的作业环境图像Img1的坐标系中的、作业部(铲斗445)的位置姿势(位置及姿势中的一方或双方)的坐标值的变化状态。图5中的虚线表示根据接收到的拍摄图像数据(参照图4/C20)确定的作业部的位置姿势的坐标值的变化状态。图5中的实线表示根据远程操作机构211的操作状态预测的作业部的位置姿势的坐标值的变化状态。

在此，对在时间点t＝t0开始操作远程操作机构211、并在时间点t＝tn停止操作远程操作机构211的期间进行考察。作业环境图像系(u,v)中的作业部的位置由二维向量表示，作业部的姿势由从后端部(安装到斗杆443的部位)朝向前端部的二维向量表示。

如图5中实线所示，任意的第2时间点的作业部的位置姿势坐标值以根据比该第2时间点早的第1时间点的远程操作机构211的操作状态并用实线示出的方式进行预测。

如图5中虚线所示，在期间t＝t11～t12及期间t＝t21～t22以外的期间内，根据拍摄图像数据确定的作业部的位置姿势坐标值与根据远程操作机构211的操作状态预测的作业部的位置姿势坐标值几乎一致。在该情况下，例如，如图8所示，以与表示铲斗445的图像区域几乎重叠的方式将模仿该铲斗445的半透明的标记图像Img2(τ1)重叠到作业环境图像Img(τ1)并输出到图像输出装置221。

另一方面，在期间t＝t11～t12及期间t＝t21～t22各自的前后，由于远程操作装置20与作业机械40的通信故障等原因，作业环境图像中的拍摄图像数据所对应的作业部的位置姿势坐标值不连续地变化，从根据远程操作机构211的操作状态预测的作业部的位置姿势坐标值偏离。在该情况下，例如，如图9所示，尽管从表示铲斗445的图像区域偏离，但在预测为本来存在的位置，模仿该铲斗445的半透明的标记图像Img2(τ2)被重叠到作业环境图像Img(τ2)并被输出到图像输出装置221。在期间t＝t11～t12及期间t＝t21～t22各自的初期，第1时间点从该期间偏离，但之后可以设定第1时间点及第2时间点的时间间隔，以使第1时间点包含在该期间内。

(效果)

根据该构成的远程操作系统，在远程操作装置20中生成标记图像Img2后重叠到作业环境图像Img1并输出到图像输出装置221(参照图4/步骤210→步骤212、图8及图9)。因此，不存在线条图等标记图像Img2的传输中产生故障的情况。

由于拍摄图像数据的传输延迟导致的远程操作装置20与作业机械40的通信故障等原因，有时作业环境图像中的拍摄图像数据所对应的作业部的位置姿势坐标值不连续地变化，从根据远程操作机构211的操作状态预测的作业部的位置姿势坐标值偏离。该情况下，尽管从表示铲斗445的图像区域偏离，但在预测为本来存在的位置，模仿该铲斗445的半透明的标记图像Img2(τ2)被重叠到作业环境图像Img(τ2)并被输出到图像输出装置221(参照图9)。

由此，可实现降低或消除作业环境图像Img1中的该铲斗445的标记图像Img2的位置相对于实际空间中的铲斗445(作业部)的位置的偏离。

(本发明的另一实施方式)

也可以是，远程控制元件240识别通过搭载于作业机械40的状态传感器414检测的、从实机无线通信设备422发送的、并由远程无线通信设备222接收的作业机构(回转机构43及作业附件44)的动作状态，第2输出控制元件242基于由远程控制元件240识别到的第1时间点的远程操作机构211的操作状态与作业机构的动作状态的偏差，预测第2时间点的作业部(铲斗445)的空间占有状态。

与图5同样地，在图6概念性地示出由图像输出装置221输出的作业环境图像Img1的坐标系中的、作业部(铲斗445)的位置姿势的坐标值的变化状态。图6中的虚线表示根据接收到的拍摄图像数据(参照图4/C20)确定的作业部的位置姿势的坐标值的变化状态。

有时从对远程操作机构211(例如，回转用杆)进行操作，到作业机构(例如回转机构43)根据该操作进行动作为止会产生响应延迟。在该情况下，例如图6中单点划线所示的根据远程操作机构211的操作状态预测的作业部的位置姿势的坐标值比图6中双点划线所示的根据作业机构40的动作状态推定的作业部的位置姿势的坐标值先发生变化。

因此，例如可根据该响应延迟(远程操作机构211的操作状态及作业机构40的动作状态的偏差)来设定第1时间点t＝t1与第2时间点t＝t2的时间间隔Δt＝t2-t1。由此，可预测除了坐标值不连续变化的期间之外，相对于图6中虚线所示的根据拍摄图像数据确定的作业部的位置姿势的坐标值的变化状态几乎一致的图6中实线所示那样的作业部的位置姿态的坐标值的变化状态。由此，可降低该响应延迟造成的影响，实现进一步降低或消除作业环境图像Img1中的该铲斗445的标记图像Img2的位置相对于实际空间中的铲斗445(作业部)的位置的偏离。

在由远程控制元件240识别到第1指定操作(例如，通过回转用杆的回转操作)的停止作为远程操作机构211的操作状态的情况下，第2输出控制元件242可以与停止同时或在一定时间(例如，响应延迟时间)后停止输出图像输出装置221中的标记图像Img2。由此，即使停止了第1指定操作，也可通过根据该第1指定操作而移位的标记图像Img2的残留来避免被输出到图像输出装置221的作业环境图像Img1中的作业部的视觉辨认性的降低。

在远程控制元件240识别到第2指定操作的开始作为远程操作机构211的操作状态的情况下，第2输出控制元件242可以将标记图像Img2在时限内输出到图像输出装置221。由此，从第2指定操作开始起的一定期间内，根据该第2指定操作而移位的标记图像Img2被重叠至作业环境图像Img1，并且被输出到图像输出装置221。第2指定操作可以是与第1指定操作相同种类的操作，也可以是不同种类的操作。操作员所需的信息是知道作业机械40是否相对于远程操作机构211的操作输入进行反应。因此，通过将标记图像Img2在从操作开始的一定期间内输出到图像输出装置221，从而在该一定期间的周期即比第2时间点t＝t2早的第1时间点t＝t1以后，能够在省略铲斗445的空间占有状态的预测运算负担的同时，实现操作员的远程操作效率的提高。

附图标记说明

10 远程操作服务器

20 远程操作装置

24 远程控制装置

40 作业机械

210 远程输入接口

211 远程操作机构

220 远程输出接口

221 图像输出装置

222 远程无线通信设备

240 远程控制元件

241 第1输出控制元件

242 第2输出控制元件

410 实机输入接口

412 实机拍摄装置

414 状态传感器组

420 实机输出接口

440 作业附件(作业机构)

445 铲斗(作业部)

Img1 作业环境图像

Img2 标记图像。

Claims (10)

1.一种远程操作装置，用于远程操作具有作业机构的作业机械，其特征在于，具备：

远程无线通信设备，具有与搭载于所述作业机械的实机无线通信设备通信的功能；

远程图像输出装置；

远程操作机构；

远程控制元件，识别操作员对所述远程操作机构的操作状态，并使所述远程无线通信设备对所述实机无线通信设备发送与该操作状态对应的指令信号；

第1输出控制元件，将通过搭载于所述作业机械的拍摄装置获取的、从所述实机无线通信设备发送并由所述远程无线通信设备接收的包含所述作业机构的作业部的作业环境图像输出到所述远程图像输出装置；

第2输出控制元件，基于由所述远程控制元件识别到的第1时间点的所述远程操作机构的操作状态，推定比该第1时间点晚的第2时间点的所述作业部的空间占有状态，在从所述第1时间点到所述第2时间点的期间所包含的第3时间点，将以不损害所述作业部的视觉辨认性的方式来表示该推定出的所述第2时间点的所述作业部的空间占有状态的标记图像重叠到所述作业环境图像并输出到所述远程图像输出装置。

2.如权利要求1所述的远程操作装置，其特征在于，

所述第2输出控制元件在所述第1时间点与所述第2时间点的中间时间点即所述第3时间点，将所述标记图像重叠到所述作业环境图像并输出到所述远程图像输出装置。

3.如权利要求2所述的远程操作装置，其特征在于，

所述第2输出控制元件将比所述第1时间点晚第1延迟时间与第2延迟时间的合计即合计延迟时间的时间点作为所述第2时间点来推定所述作业部的空间占有状态，

所述第1延迟时间为，从由所述远程无线通信设备发送与所述远程操作机构的操作状态对应的指令信号到由所述实机无线通信设备接收为止的通信延迟时间即第1通信延迟时间、以及从由所述实机无线通信设备接收所述指令信号到根据该指令信号控制所述作业机械的动作为止的响应延迟时间即第1响应延迟时间中的至少一方，

所述第2延迟时间为，从由所述实机无线通信设备发送所述作业环境图像到由所述远程无线通信设备接收为止的通信延迟时间即第2通信延迟时间、以及从由所述远程无线通信设备接收所述作业环境图像到输出至所述远程图像输出装置为止的响应延迟时间即等2响应延迟时间中的至少一方，

在比所述第1时间点晚所述第1延迟时间的时间点即所述第3时间点，将所述标记图像重叠到所述作业环境图像并输出到所述远程图像输出装置。

4.如权利要求3所述的远程操作装置，其特征在于，

所述第2输出控制元件在比所述第1时间点晚作为所述第1延迟时间的所述第1响应延迟时间的时间点即所述第3时间点，将所述标记图像重叠到所述作业环境图像并输出到所述远程图像输出装置。

5.如权利要求1所述的远程操作装置，其特征在于，

所述第2输出控制元件在与所述第2时间点相同的时间点即所述第3时间点，将所述标记图像重叠到所述作业环境图像并输出到所述远程图像输出装置。

6.如权利要求5所述的远程操作装置，其特征在于，

所述第2输出控制元件将比所述第1时间点晚第1延迟时间与第2延迟时间的合计即合计延迟时间的时间点作为所述第2时间点来推定所述作业部的空间占有状态，

所述第1延迟时间为，从由所述远程无线通信设备发送与所述远程操作机构的操作状态对应的指令信号到由所述实机无线通信设备接收为止的通信延迟时间即第1通信延迟时间、以及从由所述实机无线通信设备接收所述指令信号到根据该指令信号控制所述作业机械的动作为止的响应延迟时间即第1响应延迟时间中的至少一方，

所述第2延迟时间为，从由所述实机无线通信设备发送所述作业环境图像到由所述远程无线通信设备接收为止的通信延迟时间即第2通信延迟时间、以及从由所述远程无线通信设备接收所述作业环境图像到输出至所述远程图像输出装置为止的响应延迟时间即等2响应延迟时间中的至少一方。

7.如权利要求1～6的任一项所述的远程操作装置，其特征在于，

所述远程控制元件识别通过搭载于所述作业机械的状态传感器检测的、从所述实机无线通信设备发送并由所述远程无线通信设备接收的所述作业机构的动作状态，

所述第2输出控制元件基于由所述远程控制元件识别到的所述第1时间点的所述远程操作机构的操作状态与所述作业机构的动作状态的偏差，推定所述第2时间点的所述作业部的空间占有状态。

8.如权利要求1～7的任一项所述的远程操作装置，其特征在于，

在由所述远程控制元件识别到第1指定操作的停止作为所述远程操作机构的操作状态的情况下，所述第2输出控制元件停止输出所述远程图像输出装置中的所述标记图像。

9.如权利要求1～8的任一项所述的远程操作装置，其特征在于，

在由所述远程控制元件识别到第2指定操作的开始作为所述远程操作机构的操作状态的情况下，所述第2输出控制元件将所述标记图像在时限内输出到所述远程图像输出装置。

10.一种远程操作系统，其特征在于，

由权利要求1～9的任一项所述的远程操作装置与所述作业机械构成。

Images