CN115336259A - 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法 - Google Patents

远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法 Download PDF

Info

Publication number
CN115336259A
CN115336259A CN202180023451.5A CN202180023451A CN115336259A CN 115336259 A CN115336259 A CN 115336259A CN 202180023451 A CN202180023451 A CN 202180023451A CN 115336259 A CN115336259 A CN 115336259A
Authority
CN
China
Prior art keywords
remote operation
work
work machine
machine
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180023451.5A
Other languages
English (en)
Inventor
佐佐木均
佐伯诚司
山崎洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN115336259A publication Critical patent/CN115336259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2045—Guiding machines along a predetermined path
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种远程操作辅助服务器等。利用该技术，在通过远程操作装置将远程操作对象从一个作业机械切换至另一个作业机械时，能够实现使操作员容易地应对该远程操作对象的环境变化。在远程输出接口(220)上输出基于第一拍摄图像数据的第一作业环境图像，其中，通过远程操作装置(40)的当前的远程操作对象即第一作业机械的实机拍摄装置(412)取得上述第一拍摄图像数据。除此以外，在远程输出接口(220)上输出基于第二拍摄图像数据的第二作业环境图像，其中，通过远程操作装置(20)的当前的远程操作对象即第二作业机械的实机拍摄装置取得上述第二拍摄图像数据。

Description

远程操作辅助服务器、远程操作辅助系统以及远程操作辅助 方法
技术领域
本发明涉及用于辅助操作员通过远程操作装置对多个作业机械分别进行远程操作的远程操作辅助服务器。
背景技术
已被提出有以下一种技术：将通过搭载于工程机械等作业机械的相机(实机拍摄装置)取得的拍摄图像显示到构成远程操作装置的监视器上，通过该远程操作装置来辅助作业机械的远程操作(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2019-176401号公报
发明内容
发明要解决的课题
但是，在通过远程操作装置将远程操作对象从一个作业机械切换至另一个作业机械时，有时操作员难以应对从该一个作业机械的环境向该另一个作业机械的环境的变化。
因此，本发明的目的在于提供一种在通过远程操作装置将远程操作对象从一个作业机械切换至另一个作业机械时能够使操作员容易应对该远程操作对象的环境变化。
用于解决课题的手段
本发明的远程操作辅助服务器用于对操作员通过远程操作装置对多个作业机械分别进行的远程操作进行辅助，
所述远程操作辅助服务器具备：
第一辅助处理元件，其识别所述远程操作装置的当前的远程操作对象即第一作业机械，基于与所述第一作业机械的通信取得表示所述第一作业机械的周边环境的第一拍摄图像数据，并基于与所述远程操作装置的通信，使与所述第一拍摄图像数据对应的第一作业环境图像输出至所述远程操作装置的输出接口，其中，通过搭载于所述第一作业机械的实机拍摄装置或者存在于所述第一作业机械的周围的实机拍摄装置取得所述第一拍摄图像数据；以及
第二辅助处理元件，其识别所述远程操作装置的所述第一作业机械的下一个远程操作对象即第二作业机械，基于与所述第二作业机械的通信取得表示所述第二作业机械的周边环境的第二拍摄图像数据，并基于与所述远程操作装置的通信，使与所述第二拍摄图像数据对应的第二作业环境图像与所述第一作业环境图像一起输出至所述远程操作装置的输出接口，其中，通过搭载于所述第二作业机械的实机拍摄装置或者存在于所述第二作业机械的周围的实机拍摄装置取得所述第二拍摄图像数据。
根据具有该构成的远程操作辅助服务器，能够将基于第一拍摄图像数据的第一作业环境图像输出至远程操作装置的输出接口，其中，通过搭载于远程操作装置的当前的远程操作对象即第一作业机械的实机拍摄装置或者存在于第一作业机械的周围的实机拍摄装置取得上述第一拍摄图像数据。除此之外，能够将基于第二拍摄图像数据的第二作业环境图像输出至远程操作装置的输出接口，其中，通过搭载于远程操作装置的下一个远程操作对象即第二作业机械的实机拍摄装置或者存在于第二作业机械的周围的实机拍摄装置取得上述第二拍摄图像数据。
因此，能够使处于通过远程操作装置正对第一作业机械进行远程操作的状态的操作员预先识别到作为下一个远程操作对象的第二作业机械的周边环境。由此，在通过远程操作装置将远程操作对象从一个作业机械切换至另一个作业机械时，能够使操作员容易应对该远程操作对象的环境变化。
附图的简单说明
图1是关于作为本发明的一实施方式的远程操作辅助系统的构成的说明图。
图2是关于远程操作装置的构成的说明图。
图3是关于作业机械的结构的说明图。
图4是关于远程操作辅助系统的第一功能的说明图。
图5是关于第一实施方式的远程操作辅助系统的第二功能的说明图。
图6A是第一作业环境图像以及第二作业环境图像的输出方式的第一例示图。
图6B是第一作业环境图像以及第二作业环境图像的输出方式的第二例示图。
图6C是第一作业环境图像以及第二作业环境图像的输出方式的第二例示图。
图7A是关于第一作业环境图像的输出方式的说明图。
图7B是关于第二作业环境图像的输出方式的说明图。
图8是关于第一作业环境图像以及第二作业环境图像的输出方式的说明图。
图9是关于第一作业环境图像以及第二作业环境图像的时间变化方式的说明图。
具体实施方式
(操作辅助系统的结构)
图1所示的作为本发明的一实施方式的远程操作辅助系统由远程操作辅助服务器10以及用于对作业机械40进行远程操作的远程操作装置20(客户端)构成。操作辅助服务器10、远程操作装置20以及作业机械40构成为可相互进行网络通信。操作辅助服务器10与远程操作装置20的相互通信网络和操作辅助服务器10与作业机械40的相互通信网络可以是相同的通信网络也可以是不同的通信网络。
(操作辅助服务器的构成)
操作辅助服务器10具备数据库102、第一辅助处理元件121和第二辅助处理元件122。数据库102存储保持拍摄图像数据等。数据库102也可以由相对于操作辅助服务器10独立的数据库服务器构成。各辅助处理元件由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，并从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依照该软件的后述的运算处理。
(远程操作装置的构成)
远程操作装置20具备远程控制装置200、远程输入接口210和远程输出接口220。远程操作装置20作为“第一客户端”以及“第二客户端”中的至少一方客户端发挥功能。远程控制装置200由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依照该软件的运算处理。远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221和远程无线通信设备222。
远程操作机构211中包括行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置固定于行驶杆的基部或下端部的行驶踏板。为了使构成作业机械40的回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(arm lever))。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
构成远程操作机构211的各操作杆例如如图2所示，配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的形态，也可以是不带头枕的低背椅那样的形态或者不带靠背的椅子那样的形态等可供操作员就座的任意形态的就座部。
在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可兼作多种操作杆。例如，可以对图2所示的设置于座椅St的左侧框架的前方的左侧操作杆2111沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。同样地，可以对图2所示的设置于座椅St的右侧框架的前方的右侧操作杆2112沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。也可以根据操作员的操作指示而任意地变更杆模式。
例如，如图2所示，图像输出装置221由分别配置在座椅St的前方、左斜前方及右斜前方的具有大致矩形的画面的中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212构成。中央图像输出装置2210、左侧图像输出装置2211和右侧图像输出装置2212各自的画面(图像显示区域)的形状和尺寸可以相同也可以不同。
如图2所示，以中央图像输出装置2210的画面与左侧图像输出装置2211的画面成倾斜角度θ1(例如120°≤θ1≤150°)的方式，左侧图像输出装置2211的右缘与中央图像输出装置2210的左缘相邻。如图2所示，以中央图像输出装置2210的画面与右侧图像输出装置2212的画面成倾斜角度θ2(例如120°≤θ2≤150°)的方式，右侧图像输出装置2212的左缘与中央图像输出装置2210的右缘相邻。该倾斜角度θ1与该倾斜角度θ2可以相同也可以不同。
中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212的各自的画面既可以相对于铅垂方向平行，也可以相对于铅垂方向倾斜。中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212中的至少一个图像输出装置也可以由被分割成多个的图像输出装置构成。例如，中央图像输出装置2210也可以由具有大致矩形形状的画面的上下相邻的一对图像输出装置构成。图像输出装置2210～2212可以进一步具备扬声器(声音输出装置)。
(作业机械的结构)
作业机械40具备实机控制装置400、实机输入接口41、实机输出接口42以及工作机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，并以该数据为对象执行依照该软件的运算处理。
作业机械40例如是履带式挖掘机(工程机械)，如图3所示，该履带式挖掘机具备履带式的下部行驶体410和经由回转机构430可回转地搭载在下部行驶体410上的上部回转体420。在上部回转体420的前方左侧部设置有驾驶室424(司机室)。在上部回转体220的前方中央部设置有作业机构440。
实机输入接口41具备实机操作机构411和实机拍摄装置412。实机操作机构411具备与远程操作机构211同样地配置在驾驶室424的内部所配置的座椅的周围的多个操作杆。在驾驶室424设置有驱动机构或机器人，接收与远程操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置于驾驶室424的内部，透过前窗以及左右一对侧窗对包含工作机构440的至少一部分机构的环境进行拍摄。也可以省略前窗以及侧窗中的一部分或者全部。实机拍摄装置412也可配置在作业机械40的周围。实机拍摄装置412也可搭载在无人车辆或者无人机等可在作业机械40的周围移动的移动体上。
实机输出接口42具备实机无线通信设备422。
作为工作机构的作业机构440具备：动臂441，其可起落地安装于上部回转体420；斗杆443，其可转动地连结于动臂441的顶端部；铲斗445，可转动地连结于斗杆443的顶端部。在作业机构440上安装有由可伸缩的液压缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。
动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
(第一功能)
使用图4所示的流程图对具有上述构成的操作辅助系统的第一功能进行说明。在该流程图中，“C●”这一区块(block)是为了简化记载而使用的表述，是指数据的发送及/或接收，同时是指以该数据的发送及/或接收为条件来执行分支方向的处理的条件分支。
在作为第一远程操作装置的远程操作装置20中，判定操作员有无通过远程输入接口210进行了第一指定操作(图4/步骤(STEP)211)。“第一指定操作”例如是操作员用于指定意图进行远程操作的作业机械40而在远程输入界面210上进行的敲击或滑动等操作。
在该判定结果为否定的情况下(图4/步骤(STEP)211…否(NO))，反复进行有无第一指定操作的判定处理(图4/步骤211)。另一方面，在该判定结果为肯定的情况下(图4/步骤211…是(YES))，在作为第一远程操作装置的远程操作装置20中，判定操作员有无通过远程输入接口210进行了第二指定操作(图4/步骤(STEP)212)。“第二指定操作”例如是用于设定包含通过第一指定操作指定的作业机械40的远程操作的开始预定时刻和/或结束预定时刻在内的计划安排(schedule)而在远程输入接口210上进行的触摸、敲击或者滑动等操作。该计划安排也可以预先登记在数据库102中。也可以由智能手机、平板终端或个人电脑等终端装置来设定计划安排。
在该判定结果为否定的情况下(图4/步骤212…否(NO))，则反复进行有无第一指定操作的判定(图4/步骤211)以后的处理。另一方面，在该判定结果为肯定的情况下(图4/步骤212…是(YES))，通过远程无线通信设备222向远程操作辅助服务器10发送指定操作信息(图4/步骤(STEP)213)。在指定操作信息中包含：用于识别远程操作装置20的远程识别符；通过第一指定操作指定的用于识别作业机械40的实机识别符；包含通过第二指定操作设定的远程操作的开始预定时刻和结束预定时刻的计划安排。
通过第一指定操作以及所述第二指定操作，不仅能够指定一台作业机械40，还能指定多台作业机械40。在本实施方式中，对如下情况进行叙述：通过第一指定操作来指定第一作业机械和第二作业机械这两台作业机械40，并通过第二指定操作来设定第一作业机械的结束预定时刻(第一结束预定时刻t12)和第二作业机械的开始预定时刻(第二开始预定时刻t21)。
在远程操作辅助服务器10中，在接收到指定操作信息的情况下(图4/C110)，将该指定操作信息登记到数据库102中(图4/步骤(STEP)110)。
在远程操作装置20中，根据指定触发，通过远程无线通信设备222向远程操作辅助服务器10发送表示已准备远程操作的准备完成通知(图4/步骤(STEP)214)。作为指定触发，检测操作员按下构成远程输入接口210的准备完成按钮的情况或者检测操作员就座于座椅St的情况等。但是，在比第二开始预定时刻t21早了规定时间(例如10分钟之前等)以上的时刻出现了指定触发的情况下，也可不发送准备完成通知。准备完成通知中包含远程识别符。
在远程操作辅助服务器10中，在接收到了准备完成通知的情况下，由第一辅助处理元件121对以下作业机械40发送该准备完成通知(图4/C111)，该作业机械40通过与该准备完成通知中包含的远程识别符建立有关联地存储保持或登记在数据库102中的实机识别符进行识别。
在作为第一作业机械的作业机械40中，在通过实机无线通信设备422接收到了第一环境确认请求的情况下(图4/C410)，实机控制装置400通过实机拍摄装置412取得拍摄图像作为第一拍摄图像(图4/步骤(STEP)410)。实机控制装置400通过实机无线通信设备422向远程操作装置10发送表示该第一拍摄图像的第一拍摄图像数据(图4/步骤(STEP)412)。
在操作辅助服务器10中，在接收到了第一拍摄图像数据的情况下(图4/C112)，由第一辅助处理元件121向远程操作装置20发送第一作业环境图像数据(图4/步骤(STEP)112)。第一作业环境图像数据除了第一拍摄图像数据本身之外，还可以是表示基于第一拍摄图像生成的模拟的作业环境图像的图像数据。
在远程操作装置20中，在通过远程无线通信设备222接收到了第一作业环境图像数据的情况下(图4/C210)，远程控制装置200将与第一作业环境图像数据对应的第一作业环境图像输出到图像输出装置221(图4/步骤(STEP)215)。
由此，如图6A以及图6B分别所示，第一作业环境图像从第一远程操作期间的开始预定时刻t11到结束预定时刻t12被持续地输出至图像输出装置221。例如，如图7A所示，第一作业环境图像Img1被输出到图像输出装置221上，该第一作业环境图像Img1中映入有作为第一作业机械的作业机械40的作业机构440的一部分机构即动臂441、斗杆443以及铲斗445。
在远程操作装置20中，由远程控制装置200识别远程操作机构211的操作方式(图4/步骤(STEP)216)，并且，通过远程无线通信设备222向操作辅助服务器10发送与该操作方式对应的远程操作指令(图4/步骤(STEP)217)。也可以设定成在第一开始预定时刻之前不识别操作方式，或者，也可以设定成即使是识别到了操作方式，也不向远程操作辅助服务器10发送远程操作指令。
在操作辅助服务器10中，在接收到该远程操作指令的情况下，由第一辅助处理元件121向作为第一作业机械的作业机械40发送该远程操作指令(图4/C114)。
在作为第一作业机械的作业机械40中，在实机控制装置400通过实机无线通信设备422接收到操作指令的情况下(图4/C412)，控制作业机构440等的动作(图4/步骤(STEP)414)。由此，例如，如图7A所示，执行由铲斗445将作业机械40前方的区域O1的土铲起、在使上部回转体410回转后从铲斗445将土倒落的作业。
(第二功能)
使用图5所示的流程图，对具有上述构成的操作辅助系统的第二功能进行说明。在该流程图中，“C●”这一区块(block)是为了简化记载而使用的表述，是指数据的发送及/或接收，同时是指以该数据的发送及/或接收为条件而执行分支方向的处理的条件分支。
在远程操作辅助服务器10中，第二辅助处理元件122判定当前时刻t是否是比第二远程操作期间的开始预定时刻t21早第一指定期间τ1之前的时刻以后的时刻(图5/步骤120)。即，判定从当前时刻t到第二远程操作期间的开始预定时刻t21为止的时间间隔、即第一时间间隔是否是第一指定期间τ1以下的时间间隔。“第二远程操作期间”是由远程操作装置20对第二作业机械进行远程操作的期间或预定期间。
在该判定结果为否定的情况下(图5/步骤120…否(NO))，反复进行该判定处理(图5/步骤(STEP)120)。
另一方面，在该判定结果为肯定的情况下(图5/步骤120…是(YES))，由第二辅助处理元件122向通过第二实机识别符识别到的作为第二作业机械的作业机械40发送第二环境确认请求(图5/步骤(STEP)121)。
在作为第二作业机械的作业机械40中，在通过实机无线通信设备422接收到第二环境确认请求的情况下(图5/C420)，实机控制装置400通过实机拍摄装置412取得拍摄图像作为第二拍摄图像(图5/步骤(STEP)420)。实机控制装置400通过实机无线通信设备422向远程操作装置10发送表示该第二拍摄图像的第二拍摄图像数据(图5/步骤(STEP)422)。
在操作辅助服务器10中，在接收到第二拍摄图像数据的情况下(图5/C122)，第二辅助处理元件122向远程操作装置20发送第一通知信息以及第二作业环境图像数据(图5/步骤122)。“第二作业环境图像数据”除了是第二拍摄图像数据本身之外，还可以是表示基于第二拍摄图像生成的模拟的作业环境图像的图像数据。“第一通知信息”是表示在从当前时刻t到第二远程操作期间的开始预定时刻t21为止的时间间隔是第一指定期间τ1以下的时间间隔、且对第二作业机械的操作开始迫近这一意思的通知，并且，在t＝t21－τ1时刻，发送该第一通知信息。在其他的操作员在第一远程操作期间中正在操作第二作业机械的情况下，且该其他的操作员的作业比预定结束时间早结束时，也可以在比第二远程操作期间的开始预定时刻t21更早的时刻通知“第一通知信息”。在其他的操作员在第一远程操作期间中正在操作第二作业机械的情况下，且该其他的操作员的作业延迟而导致操作员操作该第二作业机械的作业开始预定时刻t21也被推迟的情况下，在t＝t21-τ1时刻，发送该第一通知信息。
在远程操作装置20中，在通过远程无线通信设备222接收到第一通知信息和第二作业环境图像数据的情况下(图5/C222)，远程控制装置200将第一通知信息输出到图像输出装置221(图5/步骤(STEP)220)。另外，在该情况下，远程控制装置200将与第二作业环境图像数据对应的第二作业环境图像输出至图像输出装置221(图5/步骤(STEP)221)。
由此，如图6A所示，第二作业环境图像在从时刻t＝t21-τ1到第一远程操作期间的结束预定时刻t12为止的期间持续地被输出至图像输出装置221。即，如图6A所示，在从时刻t＝t21-τ1到第一远程操作期间的结束预定时刻t12为止的期间中，在图像输出装置221上除了持续地输出第一作业环境图像之外，还持续地输出第二作业环境图像。例如，如图7B所示，在图像输出装置221上输出第二作业环境图像Img2，在该第二作业环境图像Img2中映入有作为第二作业机械的作业机械40的作业机构440的一部分机构、即动臂441、斗杆443以及铲斗445。
另外，在从第一远程操作期间的结束预定时刻t12到第二远程操作期间的开始预定时刻t21为止的时间间隔比第一指定期间τ1稍短的情况下，如图6B所示，第二作业环境图像Img2从时刻t＝t21-τ1开始持续地被输出至图像输出装置221。在该情况下，如图6B所示，第一作业环境图像Img1以及第二作业环境图像Img2均可被输出至图像输出装置221的期间比第一指定期间τ1短。
也可以任意地控制第二作业环境图像是否被输出至图像输出装置221。例如，也可以在图像输出装置221的端部显示第二作业环境图像的微件(Widget)，当操作员利用构成远程输入接口210的按钮展开微件时，该第二作业环境图像被输出至图像输出装置221。另外，也可以在显示了第二作业环境图像之后，操作员利用构成远程输入接口210的按钮进行操作，以此不输出第二作业环境图像。总之，能够一边利用第一作业机械进行操作一边确认第二作业机械的状况。
需要说明的是，如图6C所示，在从第一远程操作期间的结束预定时刻t12到第二远程操作期间的结束预定时刻t21为止的时间间隔是第一指定期间τ1以上的时间间隔的情况下，第一环境图像Img1以及第二环境图像Img2不会同时显示到图像输出装置221上。
第一作业环境图像Img1(参照图7A)以及第二作业环境图像Img2(参照图7B)也可以分别输出于图像输出装置221(例如，中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212中的两个图像输出装置)或者相互分离地输出于图像输出装置221。如图8所示，第一作业环境图像Img1(参照图7A)以及第二作业环境图像Img2(参照图7B)也可重叠地输出至图像输出装置221(例如，中央图像输出装置2210、左侧图像输出装置2211以及右侧图像输出装置2212中的一个图像输出装置)。此时，第二作业环境图像Img2的尺寸及配置形态也可以显示成不与映入于第一作业环境图像Img1的作业机构440重叠。
也可以通过下述方式将第一作业环境图像以及第二作业环境图像输出至图像输出装置221：第二辅助处理元件122基于与远程操作装置20的通信，随着第一作业环境图像的输出期间的结束预定时刻(例如，参照图6A及图6B的时刻t12)的接近，以第二作业环境图像在构成远程输出接口220的图像输出装置221上相比第一作业环境图像相对性地增大的方式进行显示。例如，如图9所示，可以控制成在时刻t的ti-1→ti→ti+1的变化过程中，与第一作业环境图像Img1重叠的第二作业环境图像Img2的尺寸逐渐变大。
在作为第一远程操作装置的远程操作装置20中，判定操作员有无通过远程输入接口210进行了第三指定操作(图5/步骤(STEP)222)。“第三指定操作”例如是操作员在远程输入接口210上进行的敲击或滑动等操作，用于将操作员想要进行远程操作的作业机械40从第一作业机械切换至第二作业机械。
在该判定结果为否定的情况下(图5/步骤222…否(NO))，结束一系列的处理。另一方面，在该判定结果为肯定的情况下(图5/步骤222…是(YES))，在远程操作装置20中，远程控制装置200识别远程操作机构211的操作方式(图5/步骤(STEP)223)，并且，通过远程无线通信设备222向操作辅助服务器10发送与该操作方式对应的远程操作指令(图5/步骤(STEP)224)。
如图6A及图6B分别所示，在第二远程操作期间的开始预定时刻t21以后，第二作业环境图像持续地被输出至远程操作装置20的图像输出装置221。“第二远程操作期间”是远程操作装置20对第二作业机械进行远程操作的期间或预定期间。根据远程操作装置20上的远程操作机构211的操作方式，控制作为第二作业机械的作业机械40的作业机构440等的动作。
在操作辅助服务器10中，在接收到该远程操作指令的情况下，第一辅助处理元件121向作为第二作业机械的作业机械40发送该远程操作指令(图5/C124)。
在作为第二作业机械的作业机械40中，在实机控制装置400通过实机无线通信设备422接收到操作指令的情况下(图5/C422)，控制作业机构440等的动作(图5/步骤424)。由此，例如，如图7B所示，执行由铲斗445将位于作业机械40前方的区域O2土堆铲起、在使上部回转体410回转后从铲斗445将土倒落的作业。
(效果)
根据具有该构成的远程操作辅助系统或者构成该远程操作辅助系统的远程操作辅助服务器10，能够将第一作业环境图像输出至构成远程输出接口220的图像输出装置221上(参照图4/步骤410→步骤412→C112→步骤112→C210→步骤215以及图7A)，其中，上述第一作业环境图像是基于第一拍摄图像数据的图像，通过搭载在作为远程操作装置40的当前的远程操作对象的第一作业机械的作业机械40上(或者位于该作业机械40周围)的实机拍摄装置412取得上述第一拍摄图像数据。
除此之外，能够将第二作业环境图像输出至构成远程输出接口220的图像输出装置221上(参照图5/步骤420→步骤422→C122→步骤122→C222→…→步骤221、图7B及图8)，其中，上述第二作业环境图像是基于第二拍摄图像数据的图像，通过搭载在作为远程操作装置20的下一个远程操作对象的第二作业机械的作业机械40上(或者位于该作业机械40周围)的实机拍摄装置取得上述第二拍摄图像数据。
第二辅助处理元件122以从当前时刻t到通过远程操作装置20对第二作业机械进行远程操作的第二远程操作期间的开始预定时刻t21为止的第一时间间隔是第一指定期间τ1以下的时间间隔为必要条件，使第二作业环境图像与第一作业环境图像一起输出到该远程操作装置20的远程输出接口220上。
第二辅助处理元件122基于与远程操作装置20的通信，使表示第一时间间隔是第一指定期间τ1以下的时间间隔这一意思的第一通知信息输出至该远程操作装置20的远程输出接口220上。
以从当前时刻t到第二远程操作期间的开始预定时刻t21为止的时间间隔是第一指定期间τ1以下的时间间隔为必要条件，使第二作业环境图像与第一作业环境图像一起输出至构成远程操作装置20的远程输出接口220的图像输出装置221上(参照图5/步骤120…是(YES)→…→步骤224、图6A及图6B)。
因此，能够使处于正在通过远程操作装置20对第一作业机械进行远程操作的状态的操作员预先识别到作为下一个远程操作对象的第二作业机械的周边环境(参照图6A/时刻t10～时刻t12的期间、图6B/时刻t12-τ1～时刻t12的期间，参照图7B以及图8)。由此，在通过远程操作装置20将远程操作对象从一个作业机械40切换为另一个作业机械40时，能够使操作员容易应对该远程操作对象的环境变化。
例如，能够避免第二作业环境图像过于长时间地与第一作业环境图像一起被输出至远程输出接口220。因此，能够避免操作员对第一作业环境图像的注意力被第二作业环境图像削弱的情况，并且能够使操作员容易对应远程操作对象的环境变化。
第二辅助处理元件122基于与远程操作装置20的通信，随着第二远程操作期间的开始预定时刻的接近，以第二作业环境图像相比第一作业环境图像相对性地增大的方式，在远程操作装置20的远程输出接口220上输出第一作业环境图像及第二作业环境图像。
根据具有该构成的远程操作辅助服务器，随着第一作业环境图像的输出期间的结束预定时刻接近，以第二作业环境图像在远程操作装置20的远程输出接口220上相比第一作业环境图像连续性或阶段性地相对性地变大的方式，在该远程输出接口220上输出上述两个作业环境图像。因此，在通过远程操作装置20将远程操作对象从一个作业机械切换至另一个作业机械时，能够使操作员的注意力从该一个作业机械逐渐转移至另一个作业机械，其结果，能够实现远程操作对象的顺畅的切换。
(本发明的其他实施方式)
在比第二远程操作期间的开始预定时刻t21早的时刻通知了第一通知信息的情况下(参照图5/C222)，也可以在t＝t21-τ1时刻之前的时刻接收“第一通知信息”以及“第二作业环境图像数据”。也可以在图像输出装置221上仅输出“第一通知信息”(参照图5/步骤220)，并在到了t＝t21-τ1的时刻，除了在图像输出装置221上输出此前一直输出的第一作业环境图像以外，还输出第二作业环境图像(参照图5/步骤221)。也可以在图像输出装置221上仅输出“第一通知信息”，并且操作员在直到成为t＝t21-τ1时刻为止的期间中操作构成远程输入接口210的按钮时，在图像输出装置221上输出第二作业环境图像。另外，也可以在第二作业环境图像被输出到图像输出装置221上之后，操作员操作构成远程输入接口210的按钮，以此不输出第二作业环境图像。
在作为第二远程操作装置的远程操作装置20中，在正由其他的操作员远程在远程操作第二作业机械的状况下，在预计该其他的操作员的作业延迟而导致操作员进行远程操作的开始预定时刻t21也被推迟的情况下，也可以在t＝t21-τ1时刻接收“第一通知信息”以及“第二作业环境图像数据”。也可以在图像输出装置221上仅输出“第一通知信息”(参照图5/步骤220)，并在图像输出装置221上输出表示无法操作或者延迟这一意思(参照图5/步骤221)。也可以在其他操作员的作业结束时，除了在图像输出装置221上输出到目前为止一直被输出的第一作业环境图像以外，还输出第二作业环境图像。也可以在图像输出装置221上仅输出“第一通知信息”的状态下，当操作员操作构成远程输入接口210的按钮时，才将第二作业环境图像输出至图像输出装置221。另外，也可以在图像输出装置221上输出了第二作业环境图像之后，操作员通过操作构成远程输入接口210的按钮，以此不输出第二作业环境图像。
第二辅助处理元件122基于与远程操作装置20的通信，在第一远程操作期间结束后也使第二作业环境图像与第一作业环境图像一起输出至该远程操作装置20的输出接口220。
在该情况下，即使在第一指定操作的时机延迟的情况下，第一作业环境图像和第二作业环境图像被输出至远程输出接口220的期间在第一远程操作期间结束后也得到确保，因此在通过远程操作装置20将远程操作对象从一个作业机械切换至另一个作业机械时，能够使操作员容易应对该远程操作对象的环境变化。
符号说明
10…操作辅助服务器；20…远程操作装置；40…作业机械；102…数据库；121…第一辅助处理元件；122…第二辅助处理元件；200…远程控制装置；210…远程输入接口；211…远程操作机构；220…远程输出接口；221…图像输出装置；400…实机控制装置；410…实机输入接口；420…实机输出接口；424…驾驶室(司机室)；440…作业机构(工作机构)；445…铲斗(作业部)。

Claims (7)

1.一种远程操作辅助服务器，其用于对操作员通过远程操作装置对多个作业机械分别进行的远程操作进行辅助，
所述远程操作辅助服务器的特征在于，具备：
第一辅助处理元件，其识别所述远程操作装置的当前的远程操作对象即第一作业机械，基于与所述第一作业机械的通信取得表示所述第一作业机械的周边环境的第一拍摄图像数据，并基于与所述远程操作装置的通信，使与所述第一拍摄图像数据对应的第一作业环境图像输出至所述远程操作装置的输出接口，其中，通过搭载于所述第一作业机械的实机拍摄装置或者存在于所述第一作业机械的周围的实机拍摄装置取得所述第一拍摄图像数据；以及
第二辅助处理元件，其识别所述远程操作装置的所述第一作业机械的下一个远程操作对象即第二作业机械，基于与所述第二作业机械的通信取得表示所述第二作业机械的周边环境的第二拍摄图像数据，并基于与所述远程操作装置的通信，使与所述第二拍摄图像数据对应的第二作业环境图像与所述第一作业环境图像一起输出至所述远程操作装置的输出接口，其中，通过搭载于所述第二作业机械的实机拍摄装置或者存在于所述第二作业机械的周围的实机拍摄装置取得所述第二拍摄图像数据。
2.根据权利要求1所述的远程操作辅助服务器，其特征在于，
所述第二辅助处理元件以从当前时刻到由所述远程操作装置对所述第二作业机械进行远程操作的第二远程操作期间的开始预定时刻为止的第一时间间隔是第一指定期间以下的时间间隔为必要条件，使所述第二作业环境图像与所述第一作业环境图像一起输出至所述远程操作装置的输出接口上。
3.根据权利要求2所述的远程操作辅助服务器，其特征在于，
所述第二辅助处理元件基于与所述远程操作装置的通信，使表示所述第一时间间隔是所述第一指定期间以下的时间间隔这一意思的第一通知信息输出至所述远程操作装置的输出接口上。
4.根据权利要求3所述的远程操作辅助服务器，其特征在于，
所述第二辅助处理元件基于与所述远程操作装置的通信，在所述第一远程操作期间结束后也使所述第二作业环境图像与所述第一作业环境图像一起输出至所述远程操作装置的输出接口。
5.根据权利要求1至4中任一项所述的远程操作辅助服务器，其特征在于，
所述第二辅助处理元件基于与所述远程操作装置的通信，随着所述第二远程操作期间的开始预定时刻的接近，以在所述远程操作装置的输出接口中所述第二作业环境图像相比所述第一作业环境图像相对性地增大的方式，在所述远程操作装置的输出接口上输出所述第一作业环境图像以及所述第二作业环境图像。
6.一种远程操作辅助系统，其特征在于，由权利要求1至5中任一项所述的远程操作辅助服务器以及客户端构成。
7.一种远程操作辅助方法，其用于辅助操作员通过远程操作装置对多个作业机械分别进行的远程操作，
所述远程操作辅助方法的特征在于，执行:
第一辅助处理，识别所述远程操作装置的当前的远程操作对象即第一作业机械，基于与所述第一作业机械的通信取得表示所述第一作业机械的周边环境的第一拍摄图像数据，并基于与所述远程操作装置的通信，使与所述第一拍摄图像数据对应的第一作业环境图像输出至所述远程操作装置的输出接口，其中，通过搭载于所述第一作业机械的实机拍摄装置或者存在于所述第一作业机械的周围的实机拍摄装置取得所述第一拍摄图像数据；以及
第二辅助处理，识别所述远程操作装置的所述第一作业机械的下一个远程操作对象即第二作业机械，基于与所述第二作业机械的通信取得表示所述第二作业机械的周边环境的第二拍摄图像数据，并基于与所述远程操作装置的通信，使与所述第二拍摄图像数据对应的第二作业环境图像与所述第一作业环境图像一起输出至所述远程操作装置的输出接口，其中，通过搭载于所述第二作业机械的实机拍摄装置或者存在于所述第二作业机械的周围的实机拍摄装置取得所述第二拍摄图像数据。
CN202180023451.5A 2020-03-23 2021-01-12 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法 Pending CN115336259A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020051870A JP7472578B2 (ja) 2020-03-23 2020-03-23 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP2020-051870 2020-03-23
PCT/JP2021/000635 WO2021192491A1 (ja) 2020-03-23 2021-01-12 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Publications (1)

Publication Number Publication Date
CN115336259A true CN115336259A (zh) 2022-11-11

Family

ID=77849620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180023451.5A Pending CN115336259A (zh) 2020-03-23 2021-01-12 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法

Country Status (5)

Country Link
US (1) US20230073325A1 (zh)
EP (1) EP4084470A4 (zh)
JP (1) JP7472578B2 (zh)
CN (1) CN115336259A (zh)
WO (1) WO2021192491A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7338514B2 (ja) * 2020-03-04 2023-09-05 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JPWO2023042872A1 (zh) 2021-09-16 2023-03-23

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4144338B2 (ja) 2002-11-21 2008-09-03 ソニー株式会社 画像処理装置
JP2007184869A (ja) 2006-01-10 2007-07-19 Fujifilm Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2011009823A (ja) 2009-06-23 2011-01-13 Caterpillar Japan Ltd 遠隔制御用作業機械の画像表示方法
US9110468B2 (en) 2013-01-31 2015-08-18 Caterpillar Inc. Universal remote operator station
US20140240506A1 (en) 2013-02-22 2014-08-28 Caterpillar Inc. Display System Layout for Remote Monitoring of Machines
WO2019172424A1 (ja) 2018-03-08 2019-09-12 住友重機械工業株式会社 作業機械、情報処理装置、情報処理方法、プログラム
JP7014007B2 (ja) 2018-03-29 2022-02-01 コベルコ建機株式会社 作業機械の遠隔操作システム
JP7040304B2 (ja) 2018-06-12 2022-03-23 コベルコ建機株式会社 施工管理システム

Also Published As

Publication number Publication date
US20230073325A1 (en) 2023-03-09
EP4084470A4 (en) 2023-06-07
EP4084470A1 (en) 2022-11-02
JP7472578B2 (ja) 2024-04-23
JP2021150931A (ja) 2021-09-27
WO2021192491A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
CN115336259A (zh) 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
CN115003888B (zh) 远程操作辅助的服务器、方法以及系统
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
CN115552501A (zh) 远程操作辅助装置以及远程操作辅助方法
CN115362295B (zh) 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
EP4050164A1 (en) Work assisting server and method for selecting imaging device
JP2021099017A (ja) 遠隔操作装置および遠隔操作システム
EP4279667A1 (en) Remote operation assistance server and remote operation assistance system
CN113614317B (zh) 远程操作系统以及远程操作服务器
WO2021106281A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
EP4063571A2 (en) Image capturing function control system and image capturing function control method
EP4283051A1 (en) Work assistance system and work assistance composite system
US20230003002A1 (en) Remote operation device and remote operation system
CN114902311A (zh) 作业辅助服务器、作业辅助方法以及作业辅助系统
WO2023233800A1 (ja) 遠隔操作システム
JP7283283B2 (ja) 作業機械
US20230056724A1 (en) Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method
WO2021181916A1 (ja) 作業支援サーバ、作業支援方法
CN115118873A (zh) 拍摄功能控制系统及拍摄功能控制方法
JP2022121138A (ja) 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination