CN115552501A - 远程操作辅助装置以及远程操作辅助方法 - Google Patents

远程操作辅助装置以及远程操作辅助方法 Download PDF

Info

Publication number
CN115552501A
CN115552501A CN202180034922.2A CN202180034922A CN115552501A CN 115552501 A CN115552501 A CN 115552501A CN 202180034922 A CN202180034922 A CN 202180034922A CN 115552501 A CN115552501 A CN 115552501A
Authority
CN
China
Prior art keywords
remote
remote operation
work machine
information
virtual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180034922.2A
Other languages
English (en)
Inventor
羽马凉太
大谷真辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN115552501A publication Critical patent/CN115552501A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/048—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles a model being viewed and manoeuvred from a remote point

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Operation Control Of Excavators (AREA)
  • Manipulator (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明的目的在于提供一种远程操作辅助装置。利用该远程操作辅助装置(100)时，操作员能够在远程操作装置(20)与作业机械(40)之间确立通信之前，掌握作业机械(40)的操作感觉。为了达到上述目的，具有该构成的远程操作辅助装置(100)具有第一辅助处理元件(101)。第一辅助处理元件(101)的特征在于，执行如下控制：在远程输出接口(220)上显示用于模拟作业机械(40)的远程操作的虚拟环境图像。

Description

远程操作辅助装置以及远程操作辅助方法
技术领域
本发明的远程操作辅助装置涉及辅助操作员对作业机械进行远程操作的系统。
背景技术
已知有以下一种远程操作系统：该远程操作系统由远程操作装置和作业机械构成，上述远程操作装置具有直接接受操作员的操作的主操作部；上述作业机械搭载有副操作部，该副操作部以可与操作器通信的方式与其连接，并基于操作器从操作员接受的操作量，直接操作作业机械的操作杆(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开平10-252101号公报
发明内容
发明要解决的课题
通过在远程操作装置与作业机械之间对操作信号进行通信，这种远程操作系统能够基于操作器从操作员接受到的操作量，由副操作部操作作业机械的操作杆。
然而，在通信建立后且在副操作部基于操作器接受到的操作量来操作作业机械的操作杆状态之前的期间中，相对于操作员对主操作部实施的操作量，操作员无法掌握由副操作部操作的操作杆的驱动所产生的作业机械的举动。其结果，在通信确立后到操作员掌握操作感觉之前的期间内，操作员会过于慎重地操作主操作部，作业性下降。
因此，鉴于上述背景，本发明的目的在于提供一种操作员能够在建立远程操作装置与作业机械之间的通信之前掌握作业机械的操作感觉的远程操作装置以及远程操作辅助系统。
用于解决课题的手段
本发明涉及用于模拟工程机械的远程操作的远程操作辅助装置，
所述远程操作辅助装置的特征在于，其具有第一辅助处理元件，
所述第一辅助处理元件执行如下第一辅助处理：取得第一指定操作信息以及与远程操作机构的操作相关的信息、即虚拟操作指令信息，基于所述第一指定操作信息以及所述虚拟操作指令信息，生成虚拟性地显示所述作业机械的姿势发生变化的样子的图像、即虚拟环境图像，并将所述虚拟环境图像发送至远程输出接口，其中，所述第一指定操作信息是与为了模拟所述作业机械的远程操作而被操作的远程操作机构的输入相关的信息。
(作用效果)
根据该构成的远程操作辅助装置，所述第一辅助处理元件执行如下处理：取得与为了模拟所述作业机械的远程操作而被操作的远程操作机构的输入相关的信息、即第一指定操作信息以及与远程操作机构的操作相关的信息、即虚拟操作指令信息，基于所述第一指定操作信息和所述虚拟操作指令信息，生成虚拟性地显示所述作业机械的姿势发生变化的样子的图像、即虚拟环境图像，并将所述虚拟环境图像发送到远程输出接口。由此，操作员在自己实际上对要计划进行远程操作的作业机械进行远程操作之前，能够虚拟性地体验(模拟)该作业机械的操作，从而能够掌握该作业机械的操作特性。另外，即使在自己实际对作业机械进行了远程操作之后，也能够虚拟性地体验(模拟)该作业机械的操作，因此，能够重温该作业机械的操作特性。
附图的简单说明
图1是关于作为具备本发明的构成的远程操作辅助装置的一实施方式的远程操作辅助系统的构成的说明图。
图2是关于远程操作装置的结构的说明图。
图3是关于作业机械的结构的说明图。
图4是关于作为具备本发明的构成的远程操作辅助装置的一实施方式的第一辅助处理元件的功能的说明图。
图5是关于作为具备本发明的构成的远程操作辅助装置的一实施方式的第二辅助处理元件的功能的说明图。
图6是关于作为具备本发明的构成的远程操作辅助装置的一实施方式的虚拟环境图像的显示形态的说明图。
图7是与具备作为其他实施方式的本发明的构成的远程操作辅助装置的一实施方式的工作机构的屈伸相关的虚拟环境图像的显示形态的说明图。
图8是与具备作为其他实施方式的本发明的构成的上部回转体的回转相关的虚拟环境图像的显示形态的说明图。
具体实施方式
(远程操作辅助系统的构成)
作为具有图1所示的本发明的构成的远程操作辅助装置的一实施方式的远程操作辅助系统由远程操作辅助服务器10和用于对作业机械40进行远程操作的远程操作装置20构成。远程操作辅助服务器10、远程操作装置20以及作业机械40构成为可相互进行网络通信。远程操作辅助服务器10和远程操作装置20的相互通信网络与远程操作辅助服务器10和作业机械40的相互通信网络可以是相同的通信网络，也可以是不同的通信网络。
另外，作业机械40的台数可以是1台，也可以是多台。此外，作业机械40的种类，既可以是同机型的作业机械，也可以是不同种类的作业机械。
另外，远程操作是指以下的概念：操作员不搭乘在作业机械40上，而是从与作业机械40分离的位置对作业机械40进行操作。
另外，操作员是指以下的概念：对远程操作装置20进行操作来操纵作业机械40的人员。
(远程操作辅助服务器的构成)
远程操作辅助服务器10具备远程操作辅助装置100、数据库110以及服务器无线通信设备122。远程操作辅助装置100具备第一辅助处理元件101和第二辅助处理元件102。各辅助处理元件由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并以该数据为对象执行依照该软件的后述的运算处理。
数据库110存储并保存拍摄图像数据等。另外，数据库110也可以将作业机械40的属性与预定该作业机械40进行的作业内容相关的信息相关联起来进行存储并保存。另外，数据库110也可以存储并保存与作业机械40的一般性操作特性相关的信息。此外，数据库110也可以将与作业机械40的一般性操作特性相关的信息和与使用该作业机械40进行的作业的一般性作业内容相关的信息相关联地进行存储并保存。另外，数据库110也可以存储并保存与作业机械40中特有的操作特性相关的信息。此外，数据库110也可以将与作业机械40中特有的操作特性相关的信息和与使用该作业机械40进行的特有的作业内容相关的信息相关联地进行存储并保存。
(远程操作装置的结构)
远程操作装置20具备远程控制装置200、远程输入接口210和远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，并从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依照该软件的运算处理。远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221和远程无线通信设备222。
在远程操作机构211中包括行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作为作业机械40的工作机构440的1个部分的下部行驶体450动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或下端部的行驶踏板。为了使构成作为作业机械40的工作机构440的1个部分的回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆)。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
构成远程操作机构211的各操作杆例如如图2所示，配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的形式，也可以是没有头枕的低背椅那样的形式、或者是没有靠背的椅子那样的形式等可供操作员就座的任意的形式。
在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可兼作多种操作杆。例如，可以对图2所示的设置于座椅St的左侧框架的前方的左侧操作杆2111沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。同样地，可以对图2所示的设置于座椅St的右侧框架的前方的右侧操作杆2112沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。也可以根据操作员的操作指示而任意地变更杆模式。
例如，如图2所示，图像输出装置221由分别配置在座椅St的前方、左斜前方及右斜前方的具有大致矩形的画面的中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212构成。中央图像输出装置2210、左侧图像输出装置2211和右侧图像输出装置2212各自的画面(图像显示区域)的形状和尺寸可以相同也可以不同。
如图2所示，以中央图像输出装置2210的画面与左侧图像输出装置2211的画面成倾斜角度θ1(例如120°≤θ1≤150°)的方式，左侧图像输出装置2211的右缘与中央图像输出装置2210的左缘相邻。如图2所示，以中央图像输出装置2210的画面与右侧图像输出装置2212的画面成倾斜角度θ2(例如120°≤θ2≤150°)的方式，右侧图像输出装置2212的左缘与中央图像输出装置2210的右缘相邻。该倾斜角度θ1和该倾斜角θ2可以相同，也可以不同。
中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212的各自的画面既可以相对于铅垂方向平行，也可以相对于铅垂方向倾斜。中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212中的至少一个图像输出装置也可以由被分割为多个的图像输出装置构成。例如，中央图像输出装置2210也可以由具有大致矩形形状的画面的上下相邻的一对图像输出装置构成。图像输出装置221(中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212)也可以进一步具备扬声器(声音输出装置)。
(作业机械的结构)
作业机械40是指在作业现场能够运转的作业车辆。作业机械40包括能够进行推土或进行挖掘的工程机械中的至少一种机械。工程机械包括具有铲斗的液压挖掘机以及具有推土铲的推土机中的至少一种机械。作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420以及工作机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依照该软件的运算处理。
作业机械40例如是履带式挖掘机(工程机械)，如图3所示，该履带式挖掘机具备履带式的下部行驶体450和经由回转机构430可回转地搭载在下部行驶体450上的上部回转体460。在上部回转体460的前方左侧部设置有驾驶室424(司机室)。在上部回转体460的前方中央部处设置有工作机构440。
实机输入接口410具备实机操作机构411和实机拍摄装置412。实机操作机构411具备与远程操作机构211同样地配置在驾驶室424的内部的座椅的周围的多个操作杆。在驾驶室424设置有驱动机构或机器人，接收与远程操作杆的操作形态对应的信号，并基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置于驾驶室424的内部，透过由位于驾驶室424的前侧的左右一对立柱4240(在区分左右的情况下，包含符号“L”及“R”)划分的前窗以及左右一对侧窗，拍摄包含工作机构440的至少一部分机构的环境。也可以省略前窗以及侧窗中的一部分窗或者全部窗。
实机输出接口420具备实机无线通信设备422。
作为工作机构440的作业附件具备：动臂441，其可起落地安装于上部回转体460；斗杆443，其可转动地连结于动臂441的顶端部；铲斗445，可转动地连结于斗杆443的顶端部。在工作机构440上安装有由可伸缩的液压缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。
动臂油缸442介于该动臂441与上部回转体460之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
(功能)
使用图4及图5所示的流程图对具有上述构成的远程操作辅助系统的功能进行说明。在该流程图中，“C●”这一区块(block)是为了简化记载而使用的表述，是指数据的发送及/或接收，同时是指以该数据的发送及/或接收为条件来执行分支方向的处理的条件分支。
使用图4所示的流程图，对本实施方式的第一辅助处理进行说明。第一辅助处理是与用于对作业机械40进行远程操作的模拟相关的处理。
在远程操作装置20中，作为本实施方式的第一辅助处理的前提，远程控制装置200对下述情况进行判定：操作员是否进行了指定意图要远程操作的作业机械40的操作(未图示)。在该判定结果为否定的情况下(未图示)，远程控制装置200反复进行该判定的处理。另一方面，当该判定结果为肯定的情况下(未图示)，远程控制装置200执行步骤(STEP)211以后的处理。
例如，“指定作业机械40的操作”是指包括下述操作的概念：操作员通过对远程输入接口210进行敲击、下按、捏拉、轻拂等，从显示于中央图像输出装置2210中的多个作业机械40中选择自己意图要进行远程操作的一个作业机械40或多个作业机械40的操作。
另外，作为“指定作业机械40的操作”的其他例子，可举出下述操作：操作员通过对远程输入接口进行敲击、下按等，从显示于中央图像输出装置2210中的多个作业中选择自己意图要进行的一个或多个作业的操作。
在该情况下，例如也可以预先规定各作业在哪一作业机械40中被执行，通过选择一个或多个作业，自动地决定在要进行一个或多个作业的情况下会被远程操作的一个或多个作业机械40以及作为各作业的开始时刻的指定时刻(第二指定时刻)。
具体而言，可以预先规定利用存在于广岛市的作业现场的液压挖掘机来进行坡面形成作业，通过选择该坡面形成作业，自动地决定在要进行该坡面形成作业的情况下会被远程操作的该液压挖掘机以及作为该坡面形成作业的开始时刻的指定时刻、比如上午10点。
在远程操作装置20中，远程控制装置200判定是否由操作员进行了第一指定操作(图4/步骤(STEP)211)。另外，“第一指定操作”是包括了下述情况的概念：操作员为了模拟作业机械40的远程操作而操作远程操作机构211的情况。
在远程操作装置20中，在步骤(STEP)211的判定结果为否定的情况下(图4/步骤(STEP)211：否(NO))，远程控制装置200结束处理。另一方面，在该判定结果为肯定的情况下(图4/步骤(STEP)211：是(YES))，远程控制装置200通过远程无线通信设备222向远程操作辅助服务器10发送第一操作信号(图4/步骤(STEP)212)，该第一操作信号包含与用于模拟作业机械40的操作的请求(模拟请求)相关的信息。
“第一操作信号”是包括以下信号的概念：操作员为了模拟作业机械40的远程操作来操作远程输入接口210而输入的与模拟操作相关的信号。“第一操作信号”中包含远程操作装置20的识别符和操作员的识别符中的至少一方的识别符。另外，“第一操作信号”中包含由操作员选择的作业机械40的识别符。
这里，远程操作装置20的识别符是包含以下信息的概念：用于识别远程操作辅助服务器10应该与多个存在的远程操作装置20中的哪一个远程操作装置20进行各数据的收发的信息。
另外，操作员的识别符是包含以下信息的概念：用于识别远程操作辅助服务器10应该与多个存在的操作员中的哪个操作员进行各数据的收发的信息。
此外，作业机械40的识别符是包含以下信息的概念：用于识别远程操作辅助服务器10应该与多个存在的作业机械40中的哪个作业机械40进行各数据的收发的信息。
在远程操作辅助服务器10中，在通过服务器无线通信设备122取得了第一操作信号的情况下(图4/C10)，第一辅助处理元件101识别虚拟环境状况(图4/步骤(STEP)110)。
虚拟环境状况至少包含由操作员选择的作业机械40的识别符。另外，将虚拟作业现场中的作业机械40的动作形态及环境变化形态识别为虚拟环境状况。然后，第一辅助处理元件101基于该虚拟环境状况向远程操作装置20发送虚拟环境数据(图4/步骤(STEP)111)。
虚拟环境数据中包括虚拟环境图像或用于生成虚拟环境图像的信息。虚拟环境图像是虚拟性地显示虚拟作业现场中的作业机械40的图像，同时是能够根据识别出的动作形态以及环境变化形态而以反映作业机械40的姿势变化的方式进行显示的图像。该虚拟环境图像例如是由计算机图形表示的作业机械40的图像(以下，适当地将虚拟环境图像称为模拟图像或者称为CG图像、或者称为虚拟图像)。
在远程操作装置20中，在远程控制装置200接收到虚拟环境数据的情况下(图4/C20)，将虚拟环境图像输出到远程输出接口220(图像输出装置221)上(图4/步骤(STEP)214)。
由此，例如，如图6所示，在图像输出装置221中输出能够由搭载在与远程操作装置20协作的作业机械40上的实机拍摄装置412拍摄到的虚拟环境图像。
由远程控制装置200判定有无通过远程输入接口210被执行的虚拟环境图像输出的停止操作(图4/步骤(STEP)215)。虚拟环境图像输出的停止操作例如是以下操作：操作员为了结束作业机械40的操作模拟而在远程输入接口210上进行的敲击、下按、捏拉、轻拂等操作。在该判定结果为肯定的情况下(图4/步骤(STEP)215：是(YES))，由远程控制装置200通过远程无线通信设备222向远程操作辅助服务器10发送虚拟环境图像输出的停止请求(图4/步骤(STEP)216)。
另一方面，在该判定结果为否定的情况下(图4/步骤(STEP)215：否(NO))，由远程控制装置200识别远程操作机构211的操作形态(图4/步骤(STEP)218)，并且，通过远程无线通信设备222向远程操作辅助服务器10发送与该操作形态对应的虚拟操作指令(图4/步骤(STEP)219)。
在远程操作辅助服务器10中，在接收到虚拟操作指令的情况下(图4/C10)，由第一辅助处理元件101识别与该虚拟操作指令对应的虚拟环境状况(图4/步骤(STEP)110)。例如，在远程操作机构211的操作形态为使作业机械40的工作机构440(动臂441、斗杆443、铲斗445)弯曲伸长的操作形态的情况下，在虚拟环境中将工作机构440以这种方式动作的状况识别为虚拟环境状况。
第一辅助处理元件101基于该虚拟环境状况向远程操作装置20发送虚拟环境图像(图4/步骤(STEP)111)。然后，判定有无接收到停止虚拟环境图像的输出的请求(图4/步骤(STEP)112)。在该判定结果为肯定的情况下(图4/步骤(STEP)112：是(YES))，结束本实施方式的模拟。在该判定结果为否定的情况下(图4/步骤(STEP)112：否(NO))，判定是否成为操作员想要进行的作业的开始时刻、即指定时刻(第二指定时刻)(图4/步骤(STEP)113)。在该判定结果为肯定的情况下(图4/步骤(STEP)113：是(YES))，结束本实施方式的模拟。在该判定结果为否定的情况下(图4/步骤(STEP)113：否(NO))，反复进行虚拟操作指令的接收以后的处理(图4/C10→STEP110→STEP111→STEP112→STEP113)。
在远程操作装置20中，在通过构成远程输出接口220的远程无线通信设备222接收到虚拟环境数据的情况下(图4/C20)，在构成远程输出接口220的图像输出装置221上输出虚拟环境图像(图4/步骤(STEP)214)。由此，例如，如图6所示，对应于操作员对远程操作机构211的操作形态，将动臂441的虚拟图像441V、斗杆443的虚拟图像443V、铲斗445的虚拟图像445V的弯曲伸长的情形输出并显示于远程输出接口220(图像输出装置221)。
由此，操作员能够确认工作机构440(动臂441、斗杆443、铲斗445)的操作感觉、即远程操作机构211的操作形态与作业机械40的工作机构440(动臂441、斗杆443、铲斗445)的动作形态之间的相关关系。
另外，如图6所示，当操作员以使作业机械40的上部回转体460以该操作员的位置为基准向右方回转的方式操作远程操作机构211时，也可以与该操作相应地在远程输出接口220(图像输出装置221)上输出作业现场的背景的虚拟图像向与该回转方向相反的方向(即，以操作员的位置为基准的向左方向)位移的样子。
由此，操作员能够确认意图由自己进行远程操作的作业机械40的操作感觉、即操作机构的操作形态与作业机械的工作机构的工作形态之间的相关关系。在该情况下，配合上部回转体460的虚拟图像460V(图7)的回转，在远程输出接口220(图像输出装置221)上流动地(从操作员的角度观察时向右方位移)显示作业现场的背景(存在于作业现场且自己未被执行远程操作的挖土机、存在于作业现场的拆卸机、存在于作业现场的起重机、自卸卡车、推土机、轮式装载机、砂山、岩石、木、树林、森林、建筑物以及坡面等)，因此，操作员特别是能够确认到工作机构440(上部回转体460)的操作感觉、即远程操作机构211的操作形态与作业机械40的工作机构440(上部回转体460)的动作形态之间的相关关系。
如图6所示，作为虚拟环境图像的背景，也可以包含操作员意图要进行作业的作业现场的样子。该作业现场的样子可以通过实拍的图像来表示，也可以是由计算机图形表示的图像(CG图像)。在该虚拟环境图像中包含背景的情况下，第一辅助处理元件101从数据库110调出与该作业机械40的属性建立关联地存储并保存于数据库110的与作业现场的样子相关的信息，然后基于该信息，生成该虚拟环境图像的背景，然后执行用于将该背景显示到远程输出接口220上的处理，由此，在远程输出接口220上输出该操作员意图进行作业的作业现场的虚拟的环境图像。
例如，如图6所示，也可以基于设置于驾驶室424的内部的实机拍摄装置412所拍摄到的拍摄图像，在透过由位于驾驶室424的前侧的左右一对立柱4240(在区分左右的情况下，包含符号“L”及“R”)的虚拟图像4240V(4240RV、4240LV)划分的前窗的虚拟图像以及左右一对侧窗的虚拟图像中显示包含工作机构440的虚拟图像440V(441V、443V、445V)的至少一部分图像的虚拟环境图像。
如图7所示，也可以显示模拟了侧视时的作业机械40的姿势的虚拟环境图像。例如，在操作员以使作业机械40的工作机构440(动臂441、斗杆443、铲斗445)弯曲伸长的方式操作远程操作机构211时，图7所示的虚拟环境图像被输出至远程输出接口220。也可以在图6所示的从驾驶室424的内部观察时的虚拟环境图像的角落显示图7所示的侧视时的虚拟环境图像。
由此，操作员能够确认在图6所示的从驾驶室424的内部观察时的虚拟环境图像上难以掌握的作业机械40的工作机构440(动臂441、斗杆443、铲斗445)伴随前后方向上的动作形态。
如图8所示，也可以显示模仿俯视时的作业机械40的姿势的虚拟环境图像。例如，当操作员以使作业机械40的上部回转体460以操作员的位置为基准向左方回转的方式操作远程操作机构211时，上部回转体460的虚拟图像460V与该操作对应地以操作员的位置为基准向左方回转的样子被显示于远程输出接口220(图像输出装置221)上。也可以在图6所示的从驾驶室424的内部观察时的虚拟环境图像的角落显示图8所示的侧视时的虚拟环境图像。
由此，操作员能够确认在图6所示的从驾驶室424的内部观察时的虚拟环境图像上难以掌握的作业机械40的工作机构440(上部回转体460)伴随回转量(回转角度)的动作形态。
使用图5所示的流程图，对本实施方式的第二辅助处理进行说明。第二辅助处理是用于实际对作业机械40进行远程操作的处理。
在远程操作装置20中，远程控制装置200判定有无通过远程输入接口210执行了第二指定操作(图5/步骤(STEP)221)。“第二指定操作”例如是为了指定操作员实际要进行远程操作的作业机械40而在远程输入接口210上进行的敲击、下按等操作。作为“第二指定操作”的其他的例子，也可以包括为了指定操作员意图要进行的作业而在远程输入接口210上进行的敲击、下按等操作。“第二指定操作”是用于开始基于通过“第一指定操作”而指定的作业机械40的远程操作的操作。
在该判定结果为否定的情况下(图5/步骤(STEP)221：否(NO))，远程控制装置200反复执行有无第一指定操作的判定(图4/步骤(STEP)211)以后的处理。另一方面，在该判定结果为肯定的情况下(图5/步骤(STEP)221：是(YES))，远程控制装置200通过远程无线通信设备222向远程操作辅助服务器10发送环境确认请求(图5/步骤(STEP)222)。
在远程操作辅助服务器10中，在接收到了环境确认请求的情况下，第二辅助处理元件102向相应的作业机械40发送该环境确认请求(图5/C11)。
在作业机械40中，在通过实机无线通信设备422接收到环境确认请求的情况下(图5/C40)，实机控制装置400通过实机拍摄装置412取得拍摄图像(图5/步骤(STEP)402)。另外，实机控制装置400通过实机无线通信设备422向远程操作辅助服务器10发送表示该拍摄图像的拍摄图像数据(图5/步骤(STEP)404)。
在远程操作辅助服务器10中，在接收到拍摄图像数据的情况下(图5/C12)，第二辅助处理元件102向远程操作装置20发送拍摄图像数据发送(图5/步骤(STEP)114)。第二辅助处理元件102也可以向远程操作装置20发送表示基于拍摄图像生成的虚拟的环境图像的环境图像数据来代替发送拍摄图像数据。此时，第二辅助处理元件102也可以向远程操作装置20发送下述指令：该指令表示与拍摄图像数据对应的拍摄图像在图像输出装置221(中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212)上的分割显示形态。
在远程操作装置20中，远程控制装置200在通过远程无线通信设备222接收到拍摄图像数据的情况下(图5/C21)，对与拍摄图像数据对应的拍摄图像在3个图像输出装置221(中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212)上的分割显示形态进行控制(图5/步骤(STEP)223)。
另外，作为拍摄图像在远程控制装置200上的输出控制的其他例子，可以举出下述控制拍摄图像的显示的例子：拍摄图像不在中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212上分割显示，而仅在1个图像输出装置221(例如，中央图像输出装置2210)上显示。
在远程操作装置20中，远程控制装置200识别远程操作机构211的操作形态(图5/步骤(STEP)224)，并且，远程控制装置200通过远程无线通信设备222向远程操作辅助服务器10发送与该操作形态对应的远程操作指令(图5/步骤(STEP)225)。
在远程操作辅助服务器10中，在接收到远程操作指令的情况下，第二辅助处理元件102向作业机械40发送该远程操作指令(图5/C13)。
在作业机械40中，实机控制装置400在通过实机无线通信设备422接收到操作指令的情况下(图5/C42)，控制工作机构440等的动作(图5/步骤(STEP)406)。例如，执行由铲斗445将作业机械40的前方的土铲起、在使上部回转体460回转后从铲斗445将土倒落的作业。
(效果)
根据具有该构成的远程操作辅助系统以及构成该远程操作辅助系统的远程操作辅助服务器10以及远程操作装置20，由远程操作辅助装置100所具有的第一辅助处理元件101生成的用于模拟作业机械40的远程操作的虚拟环境图像被输出并显示于远程输出接口220(图像输出装置221)。第一辅助处理元件101基于由操作员选出的作业机械40的作业机械识别符生成虚拟环境数据，并根据该虚拟环境数据将虚拟环境图像输出于远程输出接口220。在该模拟中，识别远程操作机构的操作形态并生成虚拟操作指令，基于该虚拟操作指令输出虚拟环境图像。
另外，第二辅助处理元件102执行用于对作业机械40进行远程操作的处理。因此，操作员能够在实际对该作业机械40进行远程操作之前，通过远程输出接口220(图像输出装置221)所显示的虚拟环境图像来掌握意图要进行远程操作的作业机械40的操作感觉、即远程操作机构211的操作形态与作业机械40中的工作机构440的动作形态之间的相关关系。
另外，第一辅助处理元件在从第一指定时刻起到第二指定时刻为止的期间中的规定期间执行所述第一辅助处理，其中，上述第一指定时刻是指：在STEP211中指定作业对象的时刻，上述作业对象是作业机械40以及使用作业机械40进行的作业、或者至少包含上述作业和上述作业机械40中的至少一方的对象；上述第二指定时刻是指：作业机械40成为能够通过具有远程输入接口210的远程操作装置20并经网络可进行远程操作的时刻(实际能对作业机械40进行远程操作的时刻)。
由此，操作员能够利用从选择了作业对象的时刻到通过远程操作装置20可对作业机械40进行远程操作的时刻(直到能够对作业机械40进行远程操作为止的时刻)为止的时间，来模拟该作业机械40的远程操作。即，操作员能够有效地利用从第一指定时刻到第二指定时刻的等待时间。因此，能够提高使用作业机械40执行的作业的作业性。
另外，在数据库110中存储并保存有与作业机械40的一般的操作特性相关的信息的情况下，即使在与作业机械40的特有的操作特性相关的信息不存在的情况下，操作员也能够基于与作业机械40的一般的操作特性相关的信息，来模拟作业机械40的远程操作。另外，在数据库110中存储并保存有与作业机械40的特有的操作特性相关的信息的情况下，操作员能够基于与作业机械40的特有的操作特性相关的信息，来模拟作业机械40的远程操作，因此，与基于与作业机械40的一般的操作特性相关的信息进行模拟的情况相比，操作员能够基于更具体的信息进行模拟。
(具有本发明的构成的远程操作辅助装置的其他实施方式)
在上述实施方式中，对由远程操作装置20和远程操作辅助服务器10执行第一辅助处理的例子进行了说明，但并不限定于这样的例子。例如，第一辅助处理元件101也可以执行以下处理：取得作业机械40、远程操作辅助服务器10和远程操作装置20当中各自之间的通信环境的好坏相关的信息即通信信息，并根据该通信信息将虚拟环境图像显示于远程输出接口220。
“通信信息”是指：包含与作业机械40、远程操作辅助服务器10和远程操作装置20当中各自之间的电波强度的强弱相关的信息的概念，例如是通信速度。第一辅助处理元件101对应于通信信息，使虚拟环境中的作业机械40相对于由操作员对远程操作机构211进行的输入延迟的方式动作。例如，当操作员以使作业机械40的工作机构440(动臂441、斗杆443、铲斗445)弯曲伸长的方式操作远程操作机构211时，在虚拟环境图像上，工作机构440相对于该操作以延迟的方式动作。
具有该构成的远程操作辅助服务器10所涉及的远程操作辅助装置100也适用于这种情况。由此，操作员在实际对该作业机械40进行远程操作之前，就能够通过相对于远程操作机构211的操作而被输出到远程输出接口220(图像输出装置221)上的虚拟环境图像来掌握通信状况。
在上述实施方式中，对作业机械40是具有铲斗445的液压挖掘机的例子进行了说明，但并不限定这种例子。作为作业机械40的其他例子，可列举出设置有代替铲斗445的破碎装置的拆卸机、设置有代替铲斗445的抓钩器的土木作业机械、起重机。另外，操作员意图要进行远程操作的作业机械40也可以有多台存在。在该情况下，操作员能够模拟操作感觉、即远程操作机构211的操作形态与作业机械40的工作机构440的动作形态之间的相关关系是不同的作业机械40的远程操作，从而适应远程操作机构211的操作形态与作业机械40中的工作机构440的动作形态之间的相关关系。
例如，在操作员对大型挖掘机进行远程操作后，想要立即对小型挖掘机进行远程操作的情况下，对小型挖掘机的操作感觉、即操作机构的操作形态与作业机械的工作机构的动作形态之间的相关关系大不相同。
对此，在对小型挖掘机进行远程操作之前，操作员通过模拟该小型挖掘机的远程操作，能够掌握与该小型挖掘机的操作感觉、即操作机构的操作形态与作业机械的工作机构的动作形态之间的相关关系相应的远程输入接口210的操作量。由此，在实际对该小型挖掘机进行远程操作的情况下，能够立即适应该小型挖掘机的操作感觉、即操作机构的操作形态与作业机械的工作机构的动作形态之间的相关关系。
具有该构成的远程操作辅助服务器10所涉及的远程操作辅助装置100也适用于这种情况。
在上述实施方式中，对远程操作辅助装置100设置于远程操作辅助服务器10的例子进行了说明，但并不限定于这种例子。例如，可以让远程控制装置200以及实机控制装置400或者这两装置中的一方装置承担远程操作辅助装置100的全部功能或一部分功能。
具有该构成的远程操作辅助服务器10所涉及的远程操作辅助装置100也能够应用这种情况。
在上述实施方式中，示出了工作机构440中包括动臂441、斗杆443、铲斗445和上部回转体460的例子，但并不限定于这样的例子。作为工作机构440的其他例子，可以举出包括下部行驶体450的工作机构的例子。在该情况下，作为上述实施方式中的其他模拟的例子，可驱动下部行驶体450的虚拟图像450V而使作业机械40的虚拟图像40V移动。由此，操作员能够确认到工作机构440(下部行驶体450)的操作感觉、即远程操作机构211的操作形态与作业机械40的工作机构440(下部行驶体450)的动作形态之间的相关关系。
具有该构成的远程操作辅助服务器10所涉及的远程操作辅助装置100也能够适用于这种情况。
在上述实施方式中，示出了第二辅助处理元件102所执行的第二辅助处理元件从STEP221开始的例子，但并不限定于这样的例子。作为第二辅助处理元件102所执行的第二辅助处理元件的其他例子，可以举出下述例子：在STEP221之前，第二辅助处理元件102判定在第一辅助处理元件101中是否执行了第一辅助处理。在该判定为肯定的情况下，第二辅助处理元件102进行STEP221的处理；在该判定为否定的情况下，第二辅助处理元件102反复进行该判定之前的处理。由此，操作员能够在完成对作业机械40的远程操作的模拟之后，实际对该作业机械40进行远程操作。即，操作员能够在确认远程操作机构211的操作形态与作业机械40的工作机构440的动作形态之间的相关关系之后，实际对该作业机械40进行远程操作。因此，与不进行模拟而进行实际的远程操作的情况相比，操作员可以不用过度地提高注意力来开始作业，从而提高了作业效率。
具备该构成的远程操作辅助服务器10所涉及的远程操作辅助装置100也能够适用于这种情况。
在上述实施方式中，例如也可以是由平板PC构成的、与远程操作装置20相互通信而构成远程操作装置20的一部分的便携终端构成远程输入接口210以及远程输出接口220的一部分接口。在该情况下，操作员能够使用便携终端进行第一指定操作、第二指定操作和停止操作等输入。
在上述实施方式中，在远程操作辅助服务器10中，作为本实施方式的第一辅助处理的前提，第一辅助处理元件101也可以判定构成模拟对象的作业机械40是否实际上正在被远程操作或者是否有计划被使用。在该作业机械40是实际上正在被远程操作的情况(未图示)或者接下来要被使用的情况下，第一辅助处理元件101结束STEP110之前的处理。在该作业机械40实际上没有正在被远程操作的情况(未图示)或者接下来可能要被使用的情况下，第一辅助处理元件101执行STEP110之后的处理(未图示)。
另外，在具有该构成的远程操作辅助装置中，优选的是，该远程操作辅助装置具有第二辅助处理元件，所述第二辅助处理元件执行如下第二辅助处理：取得第二指定操作信息，并基于该第二指定操作信息，能够对所述作业机械进行远程操作，其中，所述第二指定操作信息是与为了对所述作业机械进行远程操作而被操作的所述远程操作机构的输入相关的信息。
(作用效果)
根据该构成，具有该构成的远程操作辅助装置所涉及的远程操作辅助装置具有第二辅助处理元件。所述第二辅助处理元件执行如下第二辅助处理：取得第二指定操作信息，并基于该第二指定操作信息，能够对所述作业机械进行远程操作，其中，所述第二指定操作信息是与为了对所述作业机械进行远程操作而被操作的所述远程操作机构的输入相关的信息。由此，操作员能够实际对作业机械进行远程操作。
另外，在具有该构成的远程操作辅助装置中，优选的是，在由所述第二辅助处理元件执行的所述第二辅助处理之前，所述第一辅助处理元件执行所述第一辅助处理。
(作用效果)
根据该构成，在由所述第二辅助处理元件执行的所述第二辅助处理之前，所述第一辅助处理元件执行所述第一辅助处理。由此，操作员能够在实际进行所述作业机械的远程操作之前先模拟所述作业机械的远程操作。即，操作员通过进行所述模拟，能够预先掌握所述作业机械的操作特性。因此，操作员能够在对所述作业机械进行远程操作之前掌握所述作业机械的操作特性。所以，操作员无需过于慎重地对上述作业机械进行远程操作，从而能够提高使用上述作业机械进行的作业的作业性。
另外，在具有该构成的远程操作辅助装置中，优选的是，所述第一辅助处理元件在从第一指定时刻起到第二指定时刻为止的期间中的规定期间执行所述第一辅助处理，其中，所述第一指定时刻是指：指定作业对象的时刻，所述作业对象是所述作业机械以及使用所述作业机械进行的作业、或者至少包含所述作业和所述作业机械中的至少一方的对象；所述第二指定时刻是指：所述作业机械与具有所述远程操作机构的远程操作装置通过网络建立了连接的时刻。
(作用效果)
根据该构成，在从第一指定时刻起到第二指定时刻为止的期间中的规定期间执行所述第一辅助处理，其中，所述第一指定时刻是指：指定作业对象的时刻，该作业对象是所述作业机械以及使用所述作业机械进行的作业、或者至少包含所述作业和所述作业机械中的至少一方的对象；所述第二指定时刻是指：所述作业机械与具有所述远程操作机构的远程操作装置通过网络建立了连接的时刻。由此，操作员只要在自己计划要进行远程操作的作业机械或是自己计划要进行的作业当中选择至少一方，就能够在直到远程操作装置与作业机械连接为止的期间中对该作业机械的远程操作进行模拟。即，能够利用从自己选择所述作业对象的时刻起到远程操作装置与作业机械连接的时刻为止的等待时间进行所述模拟，因此能够提高使用所述作业机械进行的作业的作业性。
另外，在该构成的远程操作辅助装置中，优选的是，所述第一辅助处理元件执行如下第一辅助处理：从存储有特性信息的数据库取得该特性信息，并根据该特性信息和作为与所述远程操作机构的操作形态相关的信息的操作信息，生成虚拟性地显示所述作业机械的姿势发生变化的样子的图像、即虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口，其中，所述特性信息是指与被指定为远程操作对象的所述作业机械的操作特性相关的信息。
(作用效果)
根据该构成，所述第一辅助处理元件执行如下第一辅助处理：从存储有特性信息的数据库取得该特性信息，并基于该特性信息和作为与所述远程操作机构的操作形态相关的信息的操作信息，生成虚拟性地显示所述作业机械的姿势发生变化的样子的图像、即虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口，其中，上述特性信息是与被指定为远程操作对象的所述作业机械的操作特性相关的信息。由此，由于虚拟环境图像是基于被选择的作业机械的操作特性而被显示的，因此，操作员能够掌握对应了作业机械的大小、反应等的差异的举动(操作特性)。
另外，在具有该构成的远程操作辅助装置中，优选的是，所述第一辅助处理元件执行如下第一辅助处理：取得所述远程操作装置与所述作业机械之间的通信环境的好坏所相关的信息、即通信信息，根据所述通信信息生成虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口。
(作用效果)
根据该结构，所述第一辅助处理元件执行如下第一辅助处理：取得所述远程操作装置与所述作业机械之间的通信环境的好坏所相关的信息、即通信信息，根据所述通信信息生成虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口。由此，将对应了通信线路的状况的虚拟环境图像显示于远程输出接口，因此，操作员能够掌握与通信线路的状况相应的操作特性。
另外，在具有该构成的远程操作辅助装置中，优选的是，所述第一辅助处理元件执行如下第一辅助处理：取得作为与所述远程操作机构的操作量相关的信息的操作信息，根据所述操作信息，生成虚拟性地显示所述作业机械所具有的工作机构的姿势发生变化的样子的图像、即虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口。
(作用效果)
根据该结构，所述第一辅助处理元件执行如下第一辅助处理：取得作为与所述远程操作机构的操作量相关的信息的操作信息，根据所述操作信息，生成虚拟性地显示所述作业机械所具有的工作机构的姿势发生变化的样子的图像、即虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口。由此，操作员能够掌握与作业机械所具有的工作机构的动作相关的操作特性。
另外，在该结构的远程操作辅助装置中，优选的是，所述第一辅助处理元件执行如下第一辅助处理：取得作为与所述远程操作机构的操作量相关的信息的操作信息，根据所述操作信息，生成虚拟性地显示所述作业机械所具有的上部回转体发生回转的样子的图像、即虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口。
(作用效果)
根据该结构，所述第一辅助处理元件执行如下第一辅助处理：取得作为与所述远程操作机构的操作量相关的信息的操作信息，根据所述操作信息，生成虚拟性地显示所述作业机械所具有的上部回转体发生回转的样子的图像、即虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口。由此，当操作员进行使上部回转体回转的操作时，该操作员能够视觉确认到上部回转体发生回转的情况的虚拟环境图像。另外，在该虚拟环境图像中，还包含在该上部回转体的回转中配合该回转的作业现场的背景发生移动变化的情形(背景发生流动的情形)，因此，操作员能够掌握作业机械的回转特性。
符号说明
10…远程操作辅助服务器、20…远程操作装置、40…作业机械、100…远程操作辅助装置、101…第一辅助处理元件、102…第二辅助处理元件、211…远程操作机构、220…远程输出接口、440…工作机构、460…上部回转体。

Claims (9)

1.一种远程操作辅助装置，其用于模拟作业机械的远程操作，
所述远程操作辅助装置的特征在于，其具有第一辅助处理元件，
所述第一辅助处理元件执行如下第一辅助处理：取得第一指定操作信息以及与远程操作机构的操作相关的信息、即虚拟操作指令信息，基于所述第一指定操作信息以及所述虚拟操作指令信息，生成虚拟性地显示所述作业机械的姿势发生变化的样子的图像、即虚拟环境图像，并将所述虚拟环境图像发送至远程输出接口，其中，所述第一指定操作信息是与为了模拟所述作业机械的远程操作而被操作的远程操作机构的输入相关的信息。
2.根据权利要求1所述的远程操作辅助装置，其特征在于，
所述远程操作辅助装置具有第二辅助处理元件，
所述第二辅助处理元件执行如下第二辅助处理：取得第二指定操作信息，并基于所述第二指定操作信息，能够对所述作业机械进行远程操作，其中，所述第二指定操作信息是与为了对所述作业机械进行远程操作而被操作的所述远程操作机构的操作相关的信息。
3.根据权利要求2所述的远程操作辅助装置，其特征在于，
在由所述第二辅助处理元件执行的第二辅助处理之前，所述第一辅助处理元件执行第一辅助处理。
4.根据权利要求1至3中任一项所述的远程操作辅助装置，其特征在于，
所述第一辅助处理元件在从第一指定时刻起到第二指定时刻为止的期间中的规定期间执行所述第一辅助处理，其中，所述第一指定时刻是指：指定作业对象的时刻，所述作业对象是所述作业机械以及使用所述作业机械进行的作业、或者包含所述作业和所述作业机械中的至少一方的对象；所述第二指定时刻是指：所述作业机械与具有所述远程操作机构的远程操作装置通过网络建立了连接的时刻。
5.根据权利要求1至4中任一项所述的远程操作辅助装置，其特征在于，
所述第一辅助处理元件执行如下第一辅助处理：从存储有特性信息的数据库取得该特性信息，并根据该特性信息和作为与所述远程操作机构的操作形态相关的信息的操作信息，生成虚拟性地显示所述作业机械的姿势发生变化的样子的图像、即所述虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口，其中，所述特性信息是指与被指定为远程操作对象的所述作业机械的操作特性相关的信息。
6.根据权利要求1至5中任一项所述的远程操作辅助装置，其特征在于，
所述第一辅助处理元件执行如下第一辅助处理：取得包括所述远程操作机构的远程操作装置与所述作业机械之间的通信环境的好坏所相关的信息、即通信信息，根据所述通信信息生成所述虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口。
7.根据权利要求1至6中任一项所述的远程操作辅助装置，其特征在于，
所述第一辅助处理元件执行如下第一辅助处理：取得作为与所述远程操作机构的操作量相关的信息的操作信息，根据与所述远程操作机构的操作形态相关的信息的操作信息，生成虚拟性地显示所述作业机械所具有的工作机构的姿势发生变化的样子的图像、即所述虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口。
8.根据权利要求1至7中任一项所述的远程操作辅助装置，其特征在于，
所述第一辅助处理元件执行如下第一辅助处理：取得作为与所述远程操作机构的操作量相关的信息的操作信息，根据所述操作信息，生成虚拟性地显示所述作业机械所具有的上部回转体发生回转的样子的图像、即所述虚拟环境图像，并将所述虚拟环境图像输出到所述远程输出接口。
9.一种远程操作辅助方法，其用于模拟作业机械的远程操作，其特征在于，包括如下第一辅助处理步骤：
取得第一指定操作信息以及与远程操作机构的操作相关的信息、即虚拟操作指令信息，基于所述第一指定操作信息以及所述虚拟操作指令信息，生成虚拟性地显示所述作业机械的姿势发生变化的样子的图像、即虚拟环境图像，并将所述虚拟环境图像发送至远程输出接口，其中，所述第一指定操作信息是与为了模拟所述作业机械的远程操作而被操作的远程操作机构的输入相关的信息。
CN202180034922.2A 2020-05-13 2021-04-28 远程操作辅助装置以及远程操作辅助方法 Pending CN115552501A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020084327A JP7484401B2 (ja) 2020-05-13 2020-05-13 作業機械の遠隔操作支援システム
JP2020-084327 2020-05-13
PCT/JP2021/017097 WO2021230092A1 (ja) 2020-05-13 2021-04-28 遠隔操作支援装置および遠隔操作支援方法

Publications (1)

Publication Number Publication Date
CN115552501A true CN115552501A (zh) 2022-12-30

Family

ID=78511099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180034922.2A Pending CN115552501A (zh) 2020-05-13 2021-04-28 远程操作辅助装置以及远程操作辅助方法

Country Status (5)

Country Link
US (1) US20230142088A1 (zh)
EP (1) EP4116041A4 (zh)
JP (1) JP7484401B2 (zh)
CN (1) CN115552501A (zh)
WO (1) WO2021230092A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11906981B2 (en) 2022-02-08 2024-02-20 Caterpillar Inc. System and method for updating virtual worksite
JP2024065932A (ja) * 2022-10-31 2024-05-15 株式会社小松製作所 表示システム、遠隔運転装置および表示制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2947726B2 (ja) * 1995-03-01 1999-09-13 鹿島建設株式会社 遠隔操作支援用画像システム
JPH11119640A (ja) * 1997-10-13 1999-04-30 Komatsu Ltd クレーンのシミュレーション装置及び記録媒体
JP2000252101A (ja) 1999-03-01 2000-09-14 Tokai Konetsu Kogyo Co Ltd 水冷式抵抗器
US8139108B2 (en) * 2007-01-31 2012-03-20 Caterpillar Inc. Simulation system implementing real-time machine data
JP6612865B2 (ja) * 2014-11-17 2019-11-27 ヤンマー株式会社 作業機の遠隔操作のための表示システム
DE102016000351A1 (de) * 2016-01-14 2017-07-20 Liebherr-Werk Biberach Gmbh Kran-, Baumaschinen- oder Flurförderzeug-Simulator
JP6460294B2 (ja) 2016-12-27 2019-01-30 株式会社タダノ 遠隔操作端末及び遠隔操作システム
JP2019063952A (ja) 2017-10-02 2019-04-25 株式会社オカムラ 管理システム及び制御方法
CN107882103B (zh) * 2017-10-26 2019-09-10 南京工业大学 一种挖掘机三维姿态显示及远程自动控制系统

Also Published As

Publication number Publication date
EP4116041A1 (en) 2023-01-11
JP2021179105A (ja) 2021-11-18
EP4116041A4 (en) 2023-08-23
WO2021230092A1 (ja) 2021-11-18
US20230142088A1 (en) 2023-05-11
JP7484401B2 (ja) 2024-05-16

Similar Documents

Publication Publication Date Title
US10508417B2 (en) Construction information display device and method for displaying construction information
JP7070047B2 (ja) 旋回式作業機械の旋回制御装置
CN115552501A (zh) 远程操作辅助装置以及远程操作辅助方法
JPWO2013099491A1 (ja) ショベルの画像表示装置
JP7474192B2 (ja) ショベル
EP4001513A1 (en) Work machine and assistance device that assists work using work machine
JP7247769B2 (ja) 遠隔操作システム
CN111788358B (zh) 挖土机
JP2016079677A (ja) 領域制限掘削制御装置及び建設機械
JP2023174887A (ja) 作業機械、情報処理装置
WO2021192491A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
EP4130403A1 (en) Image processing device and image processing method
JP2023040971A (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
WO2021131161A1 (ja) 作業支援サーバ、撮像装置の選択方法
CN115362295B (zh) 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
WO2021256104A1 (ja) 遠隔操作支援装置および遠隔操作支援方法
EP4060129A1 (en) Remote operation support system and remote operation support method
EP4063571A2 (en) Image capturing function control system and image capturing function control method
CN113614317B (zh) 远程操作系统以及远程操作服务器
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
EP4279667A1 (en) Remote operation assistance server and remote operation assistance system
CN115516175B (zh) 远程操作支援装置及远程操作支援方法
WO2022230939A1 (ja) 表示制御装置、表示制御方法および作業機械
WO2021240957A1 (ja) 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法
JP2002138516A (ja) 土木工事現場における作業設定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination