CN117043732A - 远程操作支援服务器及远程操作支援系统 - Google Patents

远程操作支援服务器及远程操作支援系统 Download PDF

Info

Publication number
CN117043732A
CN117043732A CN202180095647.5A CN202180095647A CN117043732A CN 117043732 A CN117043732 A CN 117043732A CN 202180095647 A CN202180095647 A CN 202180095647A CN 117043732 A CN117043732 A CN 117043732A
Authority
CN
China
Prior art keywords
remote
remote operation
space region
real
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095647.5A
Other languages
English (en)
Inventor
森田有辉
大谷真辉
泽田祐介
上村佑介
山崎洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN117043732A publication Critical patent/CN117043732A/zh
Pending legal-status Critical Current

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种在使由搭载于作业机械的实机拍摄装置获取的图像范围变化时，能够实现减轻远程操作该作业机械的操作员的心理负担的系统等。将预告输出至远程输出接口(220)，该预告表示映入显示在远程图像输出装置(221)的作业环境图像的实际空间区域的未来的变化方式。能够使接触到根据实际空间区域的位移方式而位移的假想音源(Vss)及/或表示实际空间区域的位移方式的箭头状的图标图像(A1)的操作员事先掌握映入作业环境图像的实际空间区域在未来将根据该位移方式而位移。

Description

远程操作支援服务器及远程操作支援系统
技术领域
本发明涉及向作业者通知作业机械的状态的技术。
背景技术
从提供实现了安全性的提高与作业效率的提高的起重机的观点来看，提出有一种追踪摄像机所拍摄的图像中的被摄体(例如副钩)，切取包含该被摄体的位置并显示在显示装置的技术(例如，参照专利文献1)。
从对于作业机械的周围所存在的障碍物发出没有过量或不足的适当的警报的观点来看，提出有一种基于作业机械(液压挖掘机)的姿势及动作的信息算出该作业机械自驾驶席的死角区域，基于该死角区域、障碍物与作业机械的位置关系决定对于障碍物的视觉辨认等级，根据该视觉辨认等级校正警报等级的技术(例如，参照专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2019-156533号公报
专利文献2：日本专利第6581139号公报
发明内容
发明要解决的技术问题
但是，在远程操作作业机械的情况下，在由搭载于该作业机械的实机拍摄装置获取并对操作员提供的图像范围因对于对象物的追踪等而突然变化时，有可能使该操作员增加不安等心理负担。
因此，本发明的目的在于提供一种在使由搭载于作业机械的实机拍摄装置获取的图像范围变化时，能够实现减轻远程操作该作业机械的操作员的心理负担的系统等。
用于解决上述技术问题的方案
本发明的远程操作支援服务器是用于支援使用远程操作装置对作业机械进行的远程操作的服务器，其具备：
第1支援处理元件，通过搭载在所述作业机械的实机拍摄装置获取表示该作业机械的环境的拍摄图像，使与所述拍摄图像相对应的作业环境图像显示在构成所述远程操作装置的远程图像输出装置；
第2支援处理元件，识别映入所述作业环境图像的实际空间区域的未来的变化方式，使构成所述远程操作装置的远程输出接口输出表示所述实际空间区域的未来的变化方式的预告，所述作业环境图像通过所述第1支援处理元件而显示在所述远程图像输出装置。
根据该构成的远程操作支援服务器，将预告输出至构成远程操作装置的远程输出接口，该预告表示映入显示在远程图像输出装置的作业环境图像的实际空间区域的未来的变化方式。例如，除实机拍摄装置的光轴方向及/或拍摄倍率之外，映入作业环境图像的实际空间区域的空间占有方式还有可能根据多台实机拍摄装置中的与作业环境图像相对应的一台实机拍摄装置的切换、由第1支援处理元件进行的图像处理等而变化。此外，能够使接触到该预告的操作员事先掌握映入作业环境图像的实际空间区域的未来的变化方式。因此，可实现减轻在映入显示在远程图像输出装置的作业环境图像的实际空间区域的空间占有方式随后根据该预告的方式而变化时的该操作员的心理负担。
附图说明
图1是关于远程操作支援系统的构成的说明图。
图2是关于远程操作装置的构成的说明图。
图3是关于作业机械的构成的说明图。
图4是关于第1实施方式的远程操作支援系统的功能的说明图。
图5是关于作业环境图像的说明图。
图6是关于假想音源的第1位移方式的说明图。
图7是关于假想音源的第2位移方式的说明图。
图8是关于第2实施方式的远程操作支援系统的功能的说明图。
具体实施方式
(远程操作支援系统的构成)
图1所示的远程操作支援系统由远程操作支援服务器10、远程操作装置20和能够通过远程操作装置20进行远程操作的作业机械40构成。也可以是，仅远程操作装置20及作业机械14之中的一方为远程操作支援系统的构成元件。远程操作支援服务器10、远程操作装置20及作业机械40构成为可相互进行网络通信。远程操作支援服务器10及远程操作装置20的相互通信网络、与远程操作支援服务器10及作业机械40的相互通信网络可以相同也可以不同。
(远程操作支援服务器的构成)
远程操作支援服务器10具备数据库102、第1支援处理元件121与第2支援处理元件122。数据库102存储保持拍摄图像数据等。数据库102也可以由独立于远程操作支援服务器10的数据库服务器构成。各支援处理元件由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的后述的运算处理。
(远程操作装置的构成)
远程操作装置20具备远程控制装置200、远程输入接口210与远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。
远程输入接口210具备远程操作机构211。远程输出接口220具备远程图像输出装置221、远程声音输出装置222与远程无线通信设备224。
远程操作机构211包含行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置与铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或下端部的行驶踏板。为了使构成作业机械40的回转机构430的液压式的回转电动机动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(armlever))。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆(bucket lever))。
例如如图2所示，构成远程操作机构211的各操作杆配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的形式，也可以是没有头枕的低背椅那样的形式、或者是没有靠背的椅子那样的形式等操作员能够就座的任意形式的就座部。
在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可以兼作多种操作杆。例如，图2所示的设置于座椅St的左侧框体的前方的左侧操作杆2111可以在沿前后方向操作的情况下作为斗杆杆发挥功能，且在沿左右方向操作的情况下作为回转杆发挥功能。同样地，图2所示的设置于座椅St的右侧框体的前方的右侧操作杆2112可以在沿前后方向操作的情况下作为动臂杆发挥功能，且在沿左右方向操作的情况下作为铲斗杆发挥功能。杆模式可以根据操作员的操作指示任意地变更。
例如如图2所示，远程图像输出装置221由分别配置在座椅St的前方、左斜前方及右斜前方的具有大致矩形状的画面的中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212构成。中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212各自的画面(图像显示区域)的形状及尺寸可以相同也可以不同。
如图2所示，左侧远程图像输出装置2211的右缘与中央远程图像输出装置2210的左缘相邻，以使中央远程图像输出装置2210的画面及左侧远程图像输出装置2211的画面形成倾斜角度θ1(例如120°≤θ1≤150°)。如图2所示，右侧远程图像输出装置2212的左缘与中央远程图像输出装置2210的右缘相邻，以使中央远程图像输出装置2210的画面及右侧远程图像输出装置2212的画面形成倾斜角度θ2(例如120°≤θ2≤150°)。该倾斜角度θ1及θ2可以相同也可以不同。
中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212各自的画面可以相对于竖直方向平行，也可以相对于竖直方向倾斜。中央远程图像输出装置2210、左侧远程图像输出装置2211及右侧远程图像输出装置2212中的至少1个远程图像输出装置可以由分割成多个的远程图像输出装置构成。例如中央远程图像输出装置2210也可以由具有大致矩形状的画面的上下相邻的一对远程图像输出装置构成。
远程声音输出装置222由一个或多个扬声器构成，例如如图2所示，由分别配置在座椅St的后方、左扶手后部及右扶手后部的中央声音输出装置2220、左侧声音输出装置2221及右侧声音输出装置2222构成。中央声音输出装置2220、左侧声音输出装置2221及右侧声音输出装置2222各自的规格可以相同也可以不同。远程声音输出装置222实现能够在座位St的周围进行位置的位移的声音即假想音源Vss。
(作业机械的构成)
作业机械40具备实机控制装置400、实机输入接口41、实机输出接口42和作业机构440。实机控制装置400具备图像处理装置30。图像处理装置30具备状态检测元件31、图像预测元件32与图像压缩元件34。实机控制装置400及图像处理装置30的构成元件分别由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。
作业机械40例如是履带式挖掘机(工程机械)，如图3所示，具备履带式的下部行驶体410、与经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设置有驾驶室424(司机室)。在上部回转体420的前方中央部设置有作业机构440。
实机输入接口41具备实机操作机构411、实机拍摄装置412与实机周边监视装置414。实机操作机构411具备多个操作杆，以与远程操作机构211同样的方式配置在驾驶室424的内部所配置的座椅的周围。在驾驶室424设置有驱动机构或机器人，接收与远程操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置在驾驶室424的内部，透过前窗及左右一对的侧窗对包含至少一部分作业机构440的环境进行拍摄。也可以省略前窗及侧窗中的一部分或全部。实机周边监视装置414由测距传感器等构成，用于检测无法用基本姿势(例如，光轴朝向前方的姿势)的实机拍摄装置412拍摄的实际空间区域(例如，驾驶室424的右侧区域、左侧区域及/或后方区域及/或死角区域)中的对象物体(例如，作业员、其他作业机械及/或车辆等)的存在。
实机输出接口42具备实机无线通信设备422。
如图3所示，作为作业机构的作业机构440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业机构440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。
动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
(功能)
图4是对所述构成的远程操作支援系统的功能进行说明的流程图。在该流程图中，为了记载的简化而使用“C●”这样的框，表示数据的发送及/或接收，且表示以该数据的发送及/或接收为条件执行分支方向的处理的条件分支。
在远程操作装置20中，通过远程无线通信设备224对远程操作支援服务器10发送环境确认请求(图4/步骤210)。例如，可以将由操作员通过远程输入接口210进行指定操作确定为环境确认请求的发送开始条件。例如，“指定操作”是用于指定操作员打算进行远程操作的作业机械40的、在远程输入接口210中的点击(tap)等操作。
在远程操作支援服务器10中，在接收到环境确认请求的情况下，利用第1支援处理元件121对相应的作业机械40发送该环境确认请求(图4/C10)。
在作业机械40中，在通过实机无线通信设备422接收到环境确认请求的情况下(图4/C40)，由实机控制装置400通过实机拍摄装置412获取拍摄图像，并且通过实机无线通信设备422对远程操作支援服务器10发送表示该拍摄图像的拍摄图像数据(图4/步骤410)。
在远程操作支援服务器10中，在由第1支援处理元件121接收到拍摄图像数据的情况下(图4/C11)，利用第2支援处理元件122对远程操作装置20发送与拍摄图像对应的作业环境图像数据(图4/步骤110)。作业环境图像数据除了是拍摄图像数据本身之外，还是表示基于拍摄图像生成的模拟的作业环境图像的图像数据。
在远程操作装置20中，在通过远程无线通信设备224接收到作业环境图像数据的情况下(图4/C21)，由远程控制装置200将与作业环境图像数据对应的作业环境图像输出至远程图像输出装置221(图4/步骤212)。
由此，例如如图5所示，将通过划定驾驶室424的窗框而在驾驶室424的前方映有作为作业机构440的一部分的动臂441、斗杆443及(作为铲斗445的作业对象的)瓦砾或沙土堆的作业环境图像输出至远程图像输出装置221(特别是中央远程图像输出装置2210)。
在作业机械40中，通过实机控制装置400判定该作业机械40是否处于指定状态(图4/步骤411)。此时，也可以判定该指定状态相当于预先确定的不同的多种指定状态中的哪一种指定状态。“指定状态”是指预先对实机控制装置400进行设定或编程，以根据作业机械40成为指定状态的情况，使实机拍摄装置412发挥其摇摄功能和/或俯仰功能以及变焦(zoom)功能的状态。
例如，可以将通过实机周边监视装置414检测到在处于通常姿势的实机拍摄装置412的死角区域存在对象物体的状态定义为指定状态。驾驶室424的左侧区域为处于通常姿势的实机拍摄装置412的死角区域，在该左侧区域检测到对象物体的存在的情况下，通过实机拍摄装置412的摇摄功能使其光轴朝向左方向，根据需要通过俯仰功能使其光轴朝向下方(或上方)。同样地，驾驶室424的右侧区域为处于通常姿势的实机拍摄装置412的死角区域，在该右侧区域检测到对象物体的存在的情况下，通过实机拍摄装置412的摇摄功能使其光轴朝向右方向，根据需要通过俯仰功能使其光轴朝向下方(或上方)。
例如，可以将在成为实机拍摄装置412的拍摄对象的实际空间区域检测到指定种类的对象物体的存在的状态定义为指定状态。在检测到第1指定种类的对象物体(例如，作业员等人员)的存在的情况下，通过实机拍摄装置412的推进(zoomin)功能增大包含该对象物体的图像区域的显示倍率。在检测到第2指定种类的对象物体(例如，其他作业机械)的存在的情况下，通过实机拍摄装置412的拉远(zoom out)功能减小包含该对象物体的图像区域的显示倍率。为了调节拍摄图像中的对象物体的位置，除了控制实机拍摄装置412的变焦功能以外，也可以控制摇摄功能及/或俯仰功能。
例如，可以将在成为实机拍摄装置412的拍摄对象的实际空间区域检测到对象物体的位移量及/或位移速度为规定值以上的状态定义为指定状态。在对象物体(例如，铲斗445)的位移量超过规定值的情况下，通过实机拍摄装置412的摇摄功能及/或俯仰功能，变更该实机拍摄装置412的光轴的方向，使得追踪该对象物体。
在判定为作业机械40处于指定状态的情况下(图4/步骤411‥是)，通过实机控制装置400识别与该指定状态相对应的实机拍摄装置412的姿势变更功能(摇摄功能及/或俯仰功能)及/或变焦功能的控制方式，并且通过实机无线通信设备422对远程操作支援服务器10发送该识别结果(图4/步骤412)。可以将指定状态(的种类)及实机拍摄装置412的姿势变更功能及/或变焦功能的控制方式的对应关系储存在构成实机控制装置400的存储装置或数据库102。
在判定为作业机械40不处于指定状态的情况下(图4/步骤411‥否)，不对实机拍摄装置412的变焦功能等的控制方式进行识别而执行后续的处理。
在远程操作支援服务器10中接收到实机拍摄装置412的姿势变更功能及/或变焦功能的控制方式的情况下(图4/C12)，在通过第2支援处理元件122识别出映入拍摄图像(进而作业环境图像)的实际空间区域的变化方式的基础上，对作业机械40进行发送(图4/步骤112)。在光轴的方向通过实机拍摄装置412的摇摄功能而向左右变化的情况下，通过第2支援处理元件122识别出映入拍摄图像的实际空间区域同样向左右位移。在光轴的方向通过实机拍摄装置412的俯仰功能而向上下变化的情况下，通过第2支援处理元件122识别出映入拍摄图像的实际空间区域同样向上下位移。在通过实机拍摄装置412的推进功能而增大变焦倍率的情况下，通过第2支援处理元件122识别出映入拍摄图像的实际空间区域扩大。在通过实机拍摄装置412的拉远功能而减小变焦倍率的情况下，通过第2支援处理元件122识别出映入拍摄图像的实际空间区域缩小。
在远程操作装置20中，在通过远程无线通信设备224接收到实际空间区域的变化方式的情况下(图4/C22)，由远程控制装置200通过远程输出接口220将表示该变化方式的预告输出(图4/步骤214)。
由此，例如在识别出映入拍摄图像的实际空间区域向左方向位移作为该实际空间区域的变化方式的情况下，如图6所示，以由远程声音输出装置222实现的假想音源Vss向左方向(与实际空间区域的位移方向相同的方向)位移的方式进行控制。在该情况下，除了假想音源Vss的位移以外或者取而代之，也可以如图6所示地在远程图像输出装置221输出向左(与实际空间区域的位移方向相同的方向)的箭头状的图形或图标A1。此外，也可以以使指定的图标在远程图像输出装置221中向与假想音源Vss相同的方向移动的方式进行输出。
此外，例如在识别出映入拍摄图像的实际空间区域缩小作为该实际空间区域的变化方式的情况下，如图7所示，以在由远程声音输出装置222实现的假想音源Vss定位的状态下，使声音逐渐增强、并且/或者声音的频率逐渐变高的方式进行控制。在该情况下，除了假想音源Vss的强弱及/或频率的高低以外或者取而代之，也可以如图7所示地在远程图像输出装置221输出通过推进而扩大的图像区域S及/或朝向该图像区域S的外侧的箭头状的图形或图标A2。此外，也可以以使指定的图标在远程图像输出装置221中根据实际空间区域或图像区域的扩缩而扩缩的方式进行输出。
与此相反，在识别出映入拍摄图像的实际空间区域扩大作为该实际空间区域的变化方式的情况下，以在由远程声音输出装置222实现的假想音源Vss定位的状态下，使声音逐渐减弱、并且/或者声音的频率逐渐变低的方式进行控制。在该情况下，除了假想音源Vss的强弱及/或频率的高低以外或者取而代之，也可以在远程图像输出装置221输出通过拉远而缩小的图像区域及/或朝向该图像区域的内侧的箭头状的图形或图标A2。
其后，通过远程无线通信设备224对远程操作支援服务器10发送预告输出完毕通知，该预告输出完毕通知示出由远程控制装置200通过远程输出接口220输出了预告(图4/步骤216)。
在远程操作支援服务器10中，在接收到预告输出完毕通知的情况下，利用第2支援处理元件122对作业机械40发送该预告输出完毕通知(图4/C14)。
在作业机械40中，在通过实机无线通信设备422接收到预告输出完毕通知的情况下(图4/C44)，由实机控制装置400以与指定状态相对应的形式控制实机拍摄装置412的姿势变更功能及/或变焦功能(图4/步骤414)。
由此，通过实机拍摄装置412获取的拍摄图像、进而在远程图像输出装置221中输出的作业环境图像中映入的实际空间区域变化(参照图4/步骤410→‥→步骤212、图5)。
例如，在通过控制实机拍摄装置412的摇摄功能使得光轴方向从作业机械40的前方变化为左斜前方的情况下，映入作业环境图像的实际空间区域从作业机械40的前方区域变化为左斜前方区域。此外，在通过控制实机拍摄装置412的俯仰功能使得光轴方向从前方水平方向变化为前方斜下方的情况下，映入作业环境图像的实际空间区域变化为相比之前更靠下方的区域。
例如，通过控制实机拍摄装置412的推进功能，减小变焦倍率，从而使映入作业环境图像的实际空间区域缩小(或者图像区域扩大)。此外，通过控制实机拍摄装置412的拉远功能，增大变焦倍率，从而使映入作业环境图像的实际空间区域扩大(或者图像区域缩小)。
在远程操作装置20中，通过远程控制装置200来识别远程操作机构211的操作方式，且通过远程无线通信设备224对远程操作支援服务器10发送与该操作方式对应的远程操作指令(图4/步骤220)。
在远程操作支援服务器10中，在由第2支援处理元件122接收到该远程操作指令的情况下，由第1支援处理元件121对作业机械40发送该远程操作指令(图4/C16)。
在作业机械40中，在由实机控制装置400通过实机无线通信设备422接收到操作指令的情况下(图4/C46)，控制作业机构440等的动作(图4/步骤420)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体420回转后从铲斗445将土倒落的作业。
(作用效果)
根据该构成的远程操作支援系统，将预告输出至远程输出接口220，该预告表示映入显示在远程图像输出装置221的作业环境图像的实际空间区域的未来的变化方式。
具体而言，能够使接触到根据实际空间区域的位移方式而位移的假想音源Vss及/或表示实际空间区域的位移方式的箭头状的图标图像A1的操作员事先掌握映入作业环境图像的实际空间区域在未来将根据该位移方式而位移(参照图6)。例如，映入作业环境图像的实际空间区域的空间占有方式有可能根据实机拍摄装置412的光轴方向的变化等而位移(参照图5)。因此，可实现减轻在映入显示在远程图像输出装置221的作业环境图像的实际空间区域按该预告而位移时的该操作员的心理负担。
进而，能够使接触到根据实际空间区域的扩缩方式而发出强弱及/或频率的高低变化的声音的假想音源Vss及/或表示实际空间区域的扩缩方式的箭头状的图标图像A2的操作员事先掌握映入作业环境图像的实际空间区域在未来将根据该扩缩方式而扩缩(参照图7)。例如，映入作业环境图像的实际空间区域的空间占有方式有可能根据实机拍摄装置412的拍摄倍率的变化等而扩大或缩小。因此，可实现减轻在映入显示在远程图像输出装置221的作业环境图像的实际空间区域按该预告而扩大或缩小时的该操作员的心理负担。
(本发明的其他实施方式)
在上述实施方式中，由远程操作支援服务器10构成了第1支援处理元件121及第2支援处理元件122，但作为其他实施方式，也可以由作业机械40及/或远程操作装置20构成第1支援处理元件121及/或第2支援处理元件122。
在上述实施方式中，根据识别出作业机械40为指定状态，通过实机控制装置400识别与该指定状态相对应的实机拍摄装置412的姿势变更功能及/或变焦功能的控制方式(参照图4/步骤411‥是→步骤412)，但作为其他实施方式，也可以通过远程操作支援服务器10或第2支援处理元件122识别与指定状态相对应的实机拍摄装置412的姿势变更功能及/或变焦功能的控制方式。
在该情况下，可以取代图4所示的流程图而根据图8所示的流程图执行一系列的处理。在该流程图中，为了记载的简化而使用“C●”这样的框，表示数据的发送及/或接收，且表示以该数据的发送及/或接收为条件执行分支方向的处理的条件分支。在图8中，对与图4共通的处理使用同一附图标记，并省略其说明。
在判定为作业机械40处于指定状态的情况下(图8/步骤411‥是)，由实机控制装置400通过实机无线通信设备422对远程操作支援服务器10发送该指定状态(图8/步骤413)。
在远程操作支援服务器10中，在接收到指定状态的情况下(图8/C13)，通过第2支援处理元件122识别与该指定状态相对应的实机拍摄装置412的姿势变更功能(摇摄功能及/或俯仰功能)及/或变焦功能的控制方式(图8/步骤111)。进而，在通过第2支援处理元件122识别出与实机拍摄装置412的姿势变更功能及/或变焦功能的控制方式相对应的、映入拍摄图像(进而作业环境图像)的实际空间区域的变化方式的基础上，对作业机械40进行发送(图8/步骤112)。
其后，在远程操作支援服务器10中，在从远程操作装置20接收到预告输出完毕通知的情况下(图8/C15)，通过第2支援处理元件122以与指定状态相对应的形式生成实机拍摄装置412的姿势变更功能及/或变焦功能的控制指令，对作业机械40进行发送(图8/步骤114)。
在作业机械40中，在通过实机无线通信设备422接收到控制指令的情况下(图8/C44)，通过实机控制装置400根据该控制指令控制实机拍摄装置412的姿势变更功能及/或变焦功能(图8/步骤414)。
由此，通过实机拍摄装置412获取的拍摄图像、进而在远程图像输出装置221中输出的作业环境图像中映入的实际空间区域变化(参照图4/步骤410→‥→步骤212、图5)。
在上述实施方式中，根据识别出作业机械40为指定状态，通过实机控制装置400识别与该指定状态相对应的实机拍摄装置412的姿势变更功能及/或变焦功能的控制方式(参照图4/步骤411‥是→步骤412)，但作为其他实施方式，也可以通过远程操作装置20或远程控制装置200识别与指定状态相对应的实机拍摄装置412的姿势变更功能及/或变焦功能的控制方式。
在上述实施方式中，通过实机拍摄装置412的摇摄功能及/或俯仰功能，来使拍摄图像及与之相对应的作业环境图像中映入的实际空间区域连续地位移，但作为其他实施方式，也可以将具有不同拍摄区域的多台实机拍摄装置搭载在作业机械40，通过获取成为作业环境图像的基础的拍摄图像的实机拍摄装置从一台实机拍摄装置切换到另一台实机拍摄装置，从而使映入作业环境图像的实际空间区域不连续地位移。例如，一台实机拍摄装置可以切换为将通过实机周边监视装置414检测到对象物体的实际空间区域作为拍摄区域的另一台实机拍摄装置。在该情况下，通过由远程输出接口220输出的预告，即便在输出至远程图像输出装置221的作业环境图像不连续地位移或变化的情况下，也可实现减轻操作员的心理负担。
在上述实施方式中，通过实机拍摄装置412的摇摄功能及/或俯仰功能，来使拍摄图像及与之相对应的作业环境图像中映入的实际空间区域连续地位移，但作为其他实施方式，也可以通过由第1支援处理元件121生成作业环境图像时的图像处理，使得映入作业环境图像的实际空间区域位移且/或使其扩缩。在该情况下，通过由远程输出接口220输出的预告，即便在输出至远程图像输出装置221的作业环境图像位移的情况下及/或扩缩的情况下，也可实现减轻操作员的心理负担。
在上述实施方式中，通过从假想音源Vss发出的声音的强弱(音压的高低)及/或频率的高低来预告实机拍摄装置412的推进及拉远(参照图7)。作为其他实施方式，也可以是，实机拍摄装置412仅具有摇摄功能，在通过假想音源Vss向左右的位移来预告摇摄角度的变更的前后(参照图6)，通过假想音源Vss向上下的位移来预告实机拍摄装置412的推进及拉远。同样地，作为其他实施方式，也可以是，实机拍摄装置412仅具有俯仰功能，在通过假想音源Vss向上下的位移来预告俯仰角度的变更的前后，通过假想音源Vss向左右的位移来预告实机拍摄装置412的推进及拉远。
在所述构成的远程操作支援服务器中，优选为
所述第2支援处理元件根据由搭载在所述作业机械的实机周边监视装置检测到的指定状态，识别映入所述作业环境图像的实际空间区域的未来的变化方式。
根据该构成的远程操作支援服务器，能够使接触到输出位置位移的形式的预告的操作员事先掌握映入作业环境图像的实际空间区域在未来将根据该位移方式而位移，并且事先掌握作业机械处于指定状态。因此，可实现减轻在映入显示在远程图像输出装置的作业环境图像的实际空间区域按该预告而位移时的该操作员的心理负担。
在所述构成的远程操作支援服务器中，优选为
所述第2支援处理元件识别该实际空间区域的未来的位移方式作为所述实际空间区域的未来的变化方式，根据所述实际空间区域的未来的位移方式而使由所述远程输出接口构成的所述预告的输出位置位移。
根据该构成的远程操作支援服务器，能够使接触到输出位置位移的形式的预告的操作员事先掌握映入作业环境图像的实际空间区域在未来将根据该位移方式而位移。例如，映入作业环境图像的实际空间区域的空间占有方式有可能根据实机拍摄装置的光轴方向的变化、多台实机拍摄装置中的与作业环境图像相对应的一台实机拍摄装置的切换、由第1支援处理元件进行的图像处理等而位移。因此，可实现减轻在映入显示在远程图像输出装置的作业环境图像的实际空间区域按该预告而位移时的该操作员的心理负担。
在所述构成的远程操作支援服务器中，优选为
所述第2支援处理元件进一步识别该实际空间区域的未来的扩缩方式作为所述实际空间区域的未来的变化方式，在根据所述实际空间区域的未来的位移方式而使由所述远程输出接口构成的所述预告的输出位置位移之前或之后，根据所述实际空间区域的未来的扩缩方式而使所述预告的输出位置在所述远程输出接口位移。
根据该构成的远程操作支援服务器，能够使接触到输出位置分2阶段位移的形式的预告的操作员事先掌握映入作业环境图像的实际空间区域在未来将根据第1位移方式而位移以及将根据第2位移方式而扩缩。因此，可实现减轻在映入显示在远程图像输出装置的作业环境图像的实际空间区域按该预告而位移、且扩缩时的该操作员的心理负担。
在所述构成的远程操作支援服务器中，优选为
所述第2支援处理元件使发出作为所述预告的声音的假想音源在构成所述远程输出接口的远程声音输出装置位移。
根据该构成的远程操作支援服务器，能够使接触到假想音源位移的形式的预告的操作员事先掌握映入作业环境图像的实际空间区域在未来将根据该位移方式而位移(进而扩缩)。例如，在假想音源向右(左、上、下)位移的情况下，能够使操作员掌握映入作业环境图像的实际空间区域即将向右(左、上、下)位移。此时，由于预告是通过听觉而不是视觉传达给操作员的，因此避免了使该操作员对作业环境图像的视觉注意分散的事态。因此，可实现减轻在映入显示在远程图像输出装置的作业环境图像的实际空间区域按该预告而位移时的该操作员的心理负担。
在所述构成的远程操作支援服务器中，优选为
所述第2支援处理元件根据搭载在所述作业机械的多台所述实机拍摄装置中的从一台实机拍摄装置到另一台实机拍摄装置的切换方式，识别该实际空间区域的未来的位移方式作为所述实际空间区域的未来的变化方式。
根据该构成的远程操作支援服务器，能够使接触到输出方式变化的预告的操作员事先掌握映入作业环境图像的实际空间区域在未来的扩缩方式源自实机拍摄装置的切换并将根据该输出方式的变化而变化。因此，可实现减轻在映入显示在远程图像输出装置的作业环境图像的实际空间区域按该预告而扩大或缩小时的该操作员的心理负担。
在所述构成的远程操作支援服务器中，优选为
所述第2支援处理元件识别该实际空间区域的未来的扩缩方式作为所述实际空间区域的未来的变化方式，根据所述实际空间区域的未来的扩缩方式而使所述远程输出接口改变所述预告的输出方式。
根据该构成的远程操作支援服务器，能够使接触到输出方式变化的预告的操作员事先掌握映入作业环境图像的实际空间区域在未来的扩缩方式将根据该输出方式的变化而变化。例如，映入作业环境图像的实际空间区域的空间占有方式有可能根据实机拍摄装置的拍摄倍率、多台实机拍摄装置中的与作业环境图像相对应的一台实机拍摄装置的切换、由第1支援处理元件进行的图像处理等而扩大或缩小。因此，可实现减轻在映入显示在远程图像输出装置的作业环境图像的实际空间区域按该预告而扩大或缩小时的该操作员的心理负担。
在所述构成的远程操作支援服务器中，优选为
所述第2支援处理元件使构成所述远程输出接口的远程声音输出装置改变作为所述预告的声音的音压的高低及频率的高低中的至少一方。
根据该构成的远程操作支援服务器，能够使接触到音压的高低及/或频率的高低变化的作为声音的预告的操作员事先掌握映入作业环境图像的实际空间区域在未来将根据该变化方式而扩缩。例如，在音压逐渐变高的情况下，能够使操作员事先掌握实际空间区域缩小。另一方面，在音压逐渐变低的情况下，能够使操作员事先掌握实际空间区域扩大。此时，由于预告是通过听觉而不是视觉传达给操作员的，因此避免了使该操作员对作业环境图像的视觉注意分散的事态。因此，可实现减轻在映入显示在远程图像输出装置的作业环境图像的实际空间区域按该预告而扩大或缩小时的该操作员的心理负担。
附图标记说明
10远程操作支援服务器
20远程操作装置
40作业机械
41实机输入接口
42实机输出接口
102数据库
121第1支援处理元件
122第2支援处理元件
200远程控制装置
210远程输入接口
211远程操作机构
220远程输出接口
221远程图像输出装置
222远程声音输出装置
400实机控制装置
410下部行驶体
420上部回转体
424驾驶室(司机室)
440作业机构
445铲斗(作业部)。

Claims (9)

1.一种远程操作支援服务器，是用于支援使用远程操作装置对作业机械进行的远程操作的服务器，其特征在于，具备：
第1支援处理元件，通过搭载在所述作业机械的实机拍摄装置获取表示该作业机械的环境的拍摄图像，使与所述拍摄图像相对应的作业环境图像显示在构成所述远程操作装置的远程图像输出装置；
第2支援处理元件，识别映入所述作业环境图像的实际空间区域的未来的变化方式，使构成所述远程操作装置的远程输出接口输出表示所述实际空间区域的未来的变化方式的预告，所述作业环境图像通过所述第1支援处理元件而显示在所述远程图像输出装置。
2.如权利要求1所述的远程操作支援服务器，其特征在于，所述第2支援处理元件根据由搭载在所述作业机械的实机周边监视装置检测到的指定状态，识别映入所述作业环境图像的所述实际空间区域的未来的变化方式。
3.如权利要求1或2所述的远程操作支援服务器，其特征在于，所述第2支援处理元件识别该实际空间区域的未来的位移方式作为所述实际空间区域的未来的变化方式，根据所述实际空间区域的未来的位移方式而使由所述远程输出接口构成的所述预告的输出位置位移。
4.如权利要求3所述的远程操作支援服务器，其特征在于，所述第2支援处理元件进一步识别该实际空间区域的未来的扩缩方式作为所述实际空间区域的未来的变化方式，在根据所述实际空间区域的未来的位移方式而使由所述远程输出接口构成的所述预告的输出位置位移之前或之后，根据所述实际空间区域的未来的扩缩方式而使所述预告的输出位置在所述远程输出接口位移。
5.如权利要求3或4所述的远程操作支援服务器，其特征在于，所述第2支援处理元件使发出作为所述预告的声音的假想音源在构成所述远程输出接口的远程声音输出装置位移。
6.如权利要求3～5的任一项所述的远程操作支援服务器，其特征在于，所述第2支援处理元件根据搭载在所述作业机械的多台所述实机拍摄装置中的从一台实机拍摄装置到另一台实机拍摄装置的切换方式，识别该实际空间区域的未来的位移方式作为所述实际空间区域的未来的变化方式。
7.如权利要求1～6的任一项所述的远程操作支援服务器，其特征在于，所述第2支援处理元件识别该实际空间区域的未来的扩缩方式作为所述实际空间区域的未来的变化方式，根据所述实际空间区域的未来的扩缩方式而使所述远程输出接口改变所述预告的输出方式。
8.如权利要求1～7的任一项所述的远程操作支援服务器，其特征在于，所述第2支援处理元件使构成所述远程输出接口的远程声音输出装置改变作为所述预告的声音的音压的高低及频率的高低中的至少一方。
9.一种远程操作支援系统，其特征在于，由权利要求1～8的任一项所述的远程操作支援服务器、与所述远程操作装置及所述作业机械中的至少一方构成。
CN202180095647.5A 2021-03-19 2021-12-13 远程操作支援服务器及远程操作支援系统 Pending CN117043732A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-045675 2021-03-19
JP2021045675A JP2022144601A (ja) 2021-03-19 2021-03-19 遠隔操作支援サーバおよび遠隔操作支援システム
PCT/JP2021/045780 WO2022195988A1 (ja) 2021-03-19 2021-12-13 遠隔操作支援サーバおよび遠隔操作支援システム

Publications (1)

Publication Number Publication Date
CN117043732A true CN117043732A (zh) 2023-11-10

Family

ID=83320041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095647.5A Pending CN117043732A (zh) 2021-03-19 2021-12-13 远程操作支援服务器及远程操作支援系统

Country Status (5)

Country Link
US (1) US20240141616A1 (zh)
EP (1) EP4279667A1 (zh)
JP (1) JP2022144601A (zh)
CN (1) CN117043732A (zh)
WO (1) WO2022195988A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286590A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 画像表示方法および画像表示装置
JP2008294724A (ja) * 2007-05-24 2008-12-04 Panasonic Corp 画像受信装置
JP5902444B2 (ja) * 2011-11-24 2016-04-13 京セラ株式会社 携帯端末装置、プログラムおよび表示制御方法
JPWO2016174754A1 (ja) * 2015-04-28 2018-02-15 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6581139B2 (ja) 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
JP2019156533A (ja) 2018-03-09 2019-09-19 株式会社タダノ クレーン
JP7151392B2 (ja) * 2018-11-07 2022-10-12 コベルコ建機株式会社 建設機械の遠隔操作装置
JP7310338B2 (ja) * 2019-06-10 2023-07-19 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ

Also Published As

Publication number Publication date
JP2022144601A (ja) 2022-10-03
US20240141616A1 (en) 2024-05-02
EP4279667A1 (en) 2023-11-22
WO2022195988A1 (ja) 2022-09-22

Similar Documents

Publication Publication Date Title
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7151392B2 (ja) 建設機械の遠隔操作装置
CN113615164B (zh) 远程操作系统以及远程操作服务器
JP6917167B2 (ja) 建設機械用俯瞰画像表示装置
US20230128501A1 (en) Remote operation assistance device and remote operation assistance method
WO2021230093A1 (ja) 画像処理装置および画像処理方法
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
WO2021131161A1 (ja) 作業支援サーバ、撮像装置の選択方法
JP7452038B2 (ja) 作業支援システム
CN117043732A (zh) 远程操作支援服务器及远程操作支援系统
JP2023040971A (ja) 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法
EP4060129B1 (en) Remote operation support system and remote operation support method
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
EP4063571A2 (en) Image capturing function control system and image capturing function control method
JP7508815B2 (ja) 作業支援サーバ、作業支援方法
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
CN115362295B (zh) 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
WO2023136070A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
JP7092714B2 (ja) 作業機械の制御装置及び作業機械の制御方法
WO2023189216A1 (ja) 作業支援システム
JP2021143541A (ja) 作業支援サーバ、作業支援方法
JP2021086224A (ja) 作業支援サーバおよび作業支援システム
JP2021086225A (ja) 作業支援サーバおよび作業支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination