CN114730440A - 作业支援服务器、作业支援方法及作业支援系统 - Google Patents

作业支援服务器、作业支援方法及作业支援系统 Download PDF

Info

Publication number
CN114730440A
CN114730440A CN202080079410.3A CN202080079410A CN114730440A CN 114730440 A CN114730440 A CN 114730440A CN 202080079410 A CN202080079410 A CN 202080079410A CN 114730440 A CN114730440 A CN 114730440A
Authority
CN
China
Prior art keywords
client
work
route
processing element
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080079410.3A
Other languages
English (en)
Inventor
泽田祐介
佐佐木均
佐伯诚司
山崎洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN114730440A publication Critical patent/CN114730440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2045—Guiding machines along a predetermined path
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Operation Control Of Excavators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种服务器及系统，在由一个操作员驾驶或操作作业机械时，能够使该一个操作员直观地识别来自其他操作员的建议或指示。能够受理来自与第1客户端(第1远程操作装置(20))协作的第1作业机械(40)的路径引导请求。能够通过第2客户端(第2远程操作装置(20))的输入接口(210)指定在第1指定位置(P1)及第2指定位置(P2)之间延伸的引导路径(R)。然后，第1客户端的输出接口(210)输出对应于引导路径(R)的路径引导信息。

Description

作业支援服务器、作业支援方法及作业支援系统
技术领域
本发明涉及作业支援服务器，用于通过与对作业机械的操作员分配的客户端的通信来支援所述操作员进行的使用了所述作业机械的作业。
背景技术
已提出有一种技术，掌握工程作业现场的三维形状，并使工程机械操作员可靠地知悉勘测与现场状况完成情况的关系和可行驶范围及危险范围等(例如，参照专利文献1)。具体而言，将通过分别配置在不同地点的各立体摄像头获取到的距离图像进行整合，生成工程作业现场的三维模型数据。然后，基于该三维模型数据描绘出从工程机械的操作员所指定的假想视点观察工程作业现场的图像，并将其显示在工程机械的驾驶座。
现有技术文献
专利文献
专利文献1：日本特开2003-333590号公报
发明内容
发明要解决的技术问题
但是，在由经验较浅的操作员驾驶或操作作业机械时，从该操作员顺畅完成使用了作业机械的作业的观点出发，优选从老手操作员处得到建议或指示。
于是，本发明的目的在于提供一种服务器及系统，在由一个操作员驾驶或操作作业机械时，能够使该一个操作员直观地识别来自其他操作员的建议或指示。
用于解决上述技术问题的方案
本发明涉及作业支援服务器，用于通过与分别对多个操作员分配的多个客户端各自的通信，支援所述多个操作员分别进行的使用了作业机械的作业。
本发明的作业支援服务器的特征在于，具备第1支援处理元件及第2支援处理元件，所述第1支援处理元件基于与所述多个客户端中的第1客户端的通信，识别与所述第1客户端协作的所述作业机械即第1作业机械的包含第1指定位置及第2指定位置的路径引导请求，所述第2支援处理元件基于与所述多个客户端中的第2客户端的通信，使所述第2客户端的输出接口输出示出由所述第1支援处理元件识别的所述路径引导请求所包含的所述第1指定位置及所述第2指定位置的地图作业环境图像，并识别通过所述第2客户端的输入接口在所述作业环境图像上指定的所述第1指定位置及所述第2指定位置之间延伸的引导路径，所述第1支援处理元件基于与所述第1客户端的通信，使所述第1客户端的输出接口输出与由所述第2支援处理元件识别的所述引导路径对应的路径引导图像。
本发明的作业支援系统的特征在于，由本发明的作业支援服务器以及客户端构成。
根据本发明的作业支援服务器及作业支援系统(以下适当称作“作业支援服务器等”)，根据与第1客户端协作的(或者通过与第1客户端的通信来操作的)第1作业机械的在第1指定位置及第2指定位置之间延伸的路径引导请求，使第1客户端的输出接口输出与在通过第2客户端的输入接口指定的第1指定位置及第2指定位置之间延伸的引导路径对应的路径引导信息。第1指定位置例如为第1作业机械的当前位置或者与当前位置不同的出发位置，第2指定位置例如为第1作业机械的停靠位置或目标位置。因此，例如，驾驶操作第1作业机械的操作员能够直观地识别来自被分配了第2客户端的其他操作员的、用于使第1作业机械从第1指定位置移动至第2指定位置的建议或指示。
附图说明
图1是关于作为本发明的一实施方式的作业支援系统的构成的说明图。
图2是关于远程操作装置的构成的说明图。
图3是关于作业机械的构成的说明图。
图4是关于作业支援系统的第1功能的说明图。
图5是关于作业支援系统的第2功能的说明图。
图6是关于第1作业环境图像的说明图。
图7是关于第2作业环境图像的说明图。
图8是关于第2客户端的选定方法的说明图。
图9是关于第1路径引导图像的说明图。
图10是关于第2路径引导图像的说明图。
具体实施方式
(作业支援系统的构成)
图1所示的作为本发明的一实施方式的作业支援系统由作业支援服务器10和用于对多个作业机械40进行远程操作的多个远程操作装置20构成。作业支援服务器10、远程操作装置20、作业机械40构成为能够相互进行网络通信。
(作业支援服务器的构成)
作业支援服务器10具备数据库102、第1支援处理元件121、第2支援处理元件122。数据库102除了存储保持多个作业机械40各自的位置轨道以外，还存储保持拍摄图像、作业环境图像及路径引导图像等。数据库102也可以由独立于作业支援服务器10的数据库服务器构成。各支援处理元件由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行依据该软件的后续的运算处理。
(远程操作装置的构成)
构成客户端的远程操作装置20具备远程控制装置200、远程输入接口210、远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行依据该软件的运算处理。远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221、远程无线通信机器222。
该客户端也可以由与远程操作装置20协作或具有相互通信功能的移动终端构成。该移动终端也可以具有与作业支援服务器10的通信功能。
远程操作机构211中包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。操作行驶用操作装置的操作杆(行驶杆)以使作业机械40的下部行驶体410动作。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。操作回转用操作装置的操作杆(回转杆)以使构成作业机械40的回转机构430的液压式的回转电机动作。操作动臂用操作装置的操作杆(动臂杆)以使作业机械40的动臂油缸442动作。操作斗杆用操作装置的操作杆(斗杆杆(arm lever))以使作业机械40的斗杆油缸444动作。操作铲斗用操作装置的操作杆(铲斗杆)以使作业机械40的铲斗油缸446动作。
构成远程操作机构211的各操作杆例如如图2所示，配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的形态，也可以是没有头枕的低背椅那样的形态、或者是没有靠背的椅子那样的形态等远程操作员OP2能够就座的任意的形态。
在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆也可以兼作多种操作杆。例如，图3所示的设置于座椅St的右侧框体的前方的右侧操作杆2111在沿前后方向操作的情况下作为动臂杆发挥功能，并且，在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，图2所示的设置于座椅St的左侧框体的前方的左侧操作杆2112在沿前后方向操作的情况下作为斗杆杆发挥功能，并且，在沿左右方向操作的情况下作为回转杆发挥功能。杆模式可以根据操作员的操作指示任意地变更。
例如如图2所示，图像输出装置221由分别配置在座椅St的右斜前方、前方及左斜前方的右斜前方图像输出装置2211、前方图像输出装置2212及左斜前方图像输出装置2213构成。该图像输出装置2211～2213可以进一步具备扬声器(声音输出装置)。
(作业机械的构成)
作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420、工作机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行依据该软件的运算处理。
如图2所示，作业机械40例如是履带式挖掘机(工程机械)，具备履带式的下部行驶体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设有驾驶室(司机室)424。在上部回转体220的前方中央部设有作业附件440。
实机输入接口410具备实机操作机构411、实机拍摄装置412。实机操作机构411具备多个操作杆，以与远程操作机构211同样的方式配置在驾驶室424的内部所配置的座椅的周围。在驾驶室424设有驱动机构或机器人，接收与远程操作杆的操作状态对应的信号，并基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置在驾驶室424的内部，透过驾驶室424的前窗对包含至少一部分工作机构440的环境进行拍摄。
实机输出接口420具备实机无线通信机器422。
作为工作机构的作业附件440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。
动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
(功能)
使用图4及图5所示的流程图对上述构成的作业支援系统的功能进行说明。在该流程图中，“C●”这样的框是为了标记的简化而使用的，意为数据的发送及/或接收，意为以该数据的发送及/或接收作为条件来执行分支方向的处理的条件分支。
本发明的各构成元件(运算处理资源或硬件资源)“识别”信息是指接收该信息、从存储装置等读取或检索该信息、将该信息写入(存储保持)或登录至存储装置等、通过对来自传感器的输出信号及/或进行了接收或检索等的基础信息按照规定的算法执行运算处理来对该信息进行推定、判定、鉴定、测量、预测等的、包含用于在后续的处理中以可供利用的所有形态来准备该信息的处理的概念。
(第1功能(作业机械的远程操作))
在远程操作装置20中，判定由操作员通过远程输入接口210进行的第1指定操作的有无(图4/步骤200)。“第1指定操作”为，例如，在作业环境图像(参照图7)中，用于对操作员意图进行远程操作的作业机械40进行指定的远程输入接口210中的图像Q1或Q2的轻按等操作。在该判定结果为否定的情况下(图4/步骤200…否)，一系列的处理结束。另一方面，在该判定结果为肯定的情况下(图4/步骤200…是)，通过远程无线通信机器222，对作业支援服务器10发送作业环境图像请求(图4/步骤202)。在作业环境图像请求中包含有远程操作装置20的识别符及操作员的识别符中的至少一方。
在作业支援服务器10中，在接收了作业环境图像请求的情况下，通过第1支援处理元件121对相应的作业机械40发送该作业环境图像请求(图4/C10)。
在作业机械40中，在通过实机无线通信机器422接收了作业环境图像请求的情况下(图4/C41)，实机控制装置400通过实机拍摄装置412获取拍摄图像(图4/步骤402)。利用实机控制装置400，通过实机无线通信机器422对远程操作装置10发送表示该拍摄图像的拍摄图像数据(图4/步骤404)。
在作业支援服务器10中，在接收了拍摄图像数据的情况下(图4/C11)，对远程操作装置20发送与拍摄图像数据对应的第1作业环境图像数据(表示拍摄图像本身的全部或一部分或者基于此生成的模拟的作业环境图像的数据)(图4/步骤112)。
在远程操作装置20中，在通过远程无线通信机器222接收了第1作业环境图像数据的情况下(图4/C20)，使图像输出装置221输出与第2作业环境图像数据对应的第2作业环境图像(图4/步骤204)。由此，例如如图6所示，将包含有作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445及斗杆油缸444的作业环境图像显示在图像输出装置221。
在远程操作装置20中，通过远程控制装置200识别远程操作机构211的操作状态(图4/步骤206)，并且，通过远程无线通信机器222对作业支援服务器10发送与该操作状态对应的远程操作指令(图4/步骤208)。
在作业支援服务器10中，在接收了该远程操作指令的情况下，通过第1支援处理元件121对作业机械40发送该远程操作指令(图4/C12)。
在作业机械40中，在利用实机控制装置400通过实机无线通信机器422接收了操作指令的情况下(图4/C42)，控制作业附件440等的动作(图4/步骤406)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后将土从铲斗445倒落的作业。
(第2功能(路径引导图像的输出))
在作为第1客户端的第1远程操作装置20中，判定由操作员通过远程输入接口210进行的第2指定操作的有无(图5/步骤210)。第1指定操作例如为通过远程输入接口210的轻按等操作或者远程操作机构211的操作。在该判定结果为肯定的情况下(图/步骤210…是)，通过远程无线通信机器222，对作业支援服务器10发送路径引导图像请求(图5/步骤212)。
“路径引导图像请求”中包含有表示第1指定位置P1及第2指定位置P2各自的纬度及经度的数据。第1指定位置P1例如除了是通过远程输入接口210中的轻按等操作指定的出发位置以外，也可以是与第1远程操作装置20协作的作业机械40的当前位置。第2指定位置P2例如是通过远程输入接口210中的轻按等操作指定的停靠位置或目标位置。
在构成远程输出接口220的图像输出装置221中输出示出作业现场的全局情况的第2作业环境图像，可将与该第2作业环境图像中的任意部位对应的实际空间位置指定为第1指定位置P1及/或第2指定位置P2。例如如图7所示，在图像输出装置221中输出示出作业现场的全局情况的鸟瞰拍摄图像或鸟瞰地图作为第2作业环境图像。在该第2作业环境图像中，示出了表示作业现场中存在的作业机械40的图像或者图标Q1及Q2。此外，示出了作业现场中的第1指定位置P1及第2指定位置P2。
鸟瞰拍摄图像例如可通过搭载于无人飞行器的拍摄装置或设置于作业现场的杆等结构物的拍摄装置来获取。作为第1作业环境图像的拍摄图像的拍摄部位及视角可以各自任意变更。鸟瞰地图可以以鸟瞰拍摄图像为基础而生成。
在作业支援服务器10中，在接收了路径引导图像请求的情况下(图5/C10)，通过第2支援处理元件122识别第1指定位置P1及第2指定位置P2中的至少一方(图5/步骤120)。
此外，通过第2支援处理元件122识别以第1指定位置P1为基准而扩张的第1指定范围S1以及以第2指定位置P2为基准而扩张的第2指定范围S2(图5/步骤121)。由此，例如如图8所示，设定相对于第2指定位置P2偏向扩张的大致椭圆形状的第1指定范围S1。也可以使包含该椭圆的长轴的直线中包含有第2指定位置P2。同样地，例如如图8所示，设定相对于第1指定位置P1偏向扩张的大致椭圆形状的第2指定范围S2。也可以使包含该椭圆的长轴的直线中包含有第1指定位置P1。第1指定范围S1及第2指定范围S2各自相对于基准位置的位置、形状及尺寸分别可以变更为各种各样。第1指定范围S1及第2指定范围S2各自的尺寸可以不同。第1指定范围S1及第2指定范围S2可以相互分离，也可以相互相接，也可以相互重叠。
进一步地，除了与第1客户端协作的或者成为操作对象的作业机械40以外，通过第2支援处理元件122从数据库102识别多个作业机械40各自的位置的时间序列即位置轨道(图5/步骤122)。由此，例如如图8所示，识别作业机械40的三个位置轨道T1～T3。作业机械40的位置轨道由搭载于该作业机械40的GPS，根据需要由利用了加速度传感器的测位装置来测量。在作业机械40中测量的该作业机械40的位置轨道在适当的时机从作业机械40直接地或者经由与作业机械40协作的远程操作装置20(客户端)间接地与该客户端的识别符或操作员的识别符一起被发送至作业支援服务器10，并被登录至数据库102。
通过第2支援处理元件122，从除了第1客户端以外的多个客户端中选定第2客户端(图5/步骤123)。具体而言，以与远程操作装置20(客户端)的协作期间中的作业机械40的位置轨道与第1指定范围S1及第2指定范围S2中的至少一方重叠为必要条件，选定该远程操作装置20或操作该远程操作装置20的操作员的客户端作为第2客户端。
例如如图8所示，在作业机械40的位置轨道T2与第1指定范围S1重叠的情况下，基于与位置轨道T2关联的识别符选定在对应于该位置轨道T2的期间中与该作业机械40(第2作业机械)协作的远程操作装置20(客户端)或其操作员的客户端作为第2客户端。此外，同样如图8所示，在作业机械40的位置轨道T3与第1指定范围S1及第2指定范围S2重叠的情况下，基于与位置轨道T3关联的识别符选定在对应于该位置轨道T3的期间中与该作业机械40(第2作业机械)协作的远程操作装置20(客户端)或其操作员的客户端作为第2客户端。
在相应的客户端不存在的情况下，例如，也可以在扩张了第1指定范围S1及第2指定范围S2中的至少一方之后尝试第2客户端的选定。此外，也可以选定与具有相对于第1指定位置P1及第2指定位置P2各自的距离最短的位置轨道的作业机械40(第2作业机械)对应的客户端作为第2客户端。进一步地，也可以基于识别符选定根据远程操作作业机械40使其行驶的合计距离或者作业机械40的远程操作时间等来评价的技能得分为基准值以上的操作员的客户端作为第2客户端。也可以选定位于最靠近第1客户端处的客户端作为第2客户端。
通过第2支援处理元件122，对被选定为第2客户端的第2远程操作装置20发送路径引导图像请求(图5/步骤124)。此时，也对该远程操作装置20发送表示作业现场的全局情况的第2作业环境图像数据。
在第2客户端(第2远程操作装置20)中，在通过远程无线通信机器222接收了路径引导图像请求的情况下(图5/C220)，使图像输出装置221输出与第2作业环境图像数据对应的第2作业环境图像(图5/步骤220)。由此，例如如图7所示，在使图像输出装置221中输出示出作业现场的全局情况的鸟瞰拍摄图像或鸟瞰地图作为第2作业环境图像。在该第2作业环境图像中，示出了表示作业现场中存在的作业机械40的图像或者图标Q1及Q2。此外，示出了作业现场中的第1指定位置P1及第2指定位置P2。
利用远程控制装置200，通过远程输入接口210中的操作判定在第1指定位置P1及第2指定位置P2之间延伸的引导路径R是否已被指定(图5/步骤222)。例如，在构成远程输入接口210及远程输出接口220双方的触控面板中，可以通过识别操作员的指尖或笔的轨迹，识别引导路径R的延伸状态。由此，例如如图10所示，能够由操作员指定在第2作业环境图像中在第1指定位置P1及第2指定位置P2之间延伸的曲线状的引导路径R。
笔等的轨迹的始端位置及第1指定位置P1可以不是相同的，只要两者的间隔在一定间隔以内，就能够将该轨迹识别为引导路径R。笔等的轨迹的终端位置及第2指定位置P2可以不是相同的，只要两者的间隔在一定间隔以内，就能够将该轨迹识别为引导路径R。进一步地，在作业机械40跟随笔等的轨迹移动的情况下，可以根据第2作业环境图像的图像解析来判定该作业机械40在作业现场中与建材等物体接触的可能性或者该作业机械40进入深洼地的可能性等的有无，并以无该可能性作为必要条件将该轨迹识别为引导路径R。
在该判定结果为肯定的情况下(图5/步骤222…是)，利用远程控制装置200，通过构成远程输出接口220的远程无线通信机器222对作业支援服务器10发送表示引导路径R的数据(图5/步骤224)。
在作业支援服务器10中，在接收了表示引导路径R的数据的情况下(图5/C13)，通过第2支援处理元件122生成基于该引导路径R的路径引导图像(图5/步骤126)。
由此，例如如图9所示，可以在示出与第1客户端协作的作业机械40(第1作业机械)的周围中的作业现场的局部情况的第1作业环境图像(周边图像)中，生成示出引导路径R的方向的方向指示图像M作为路径引导图像。在该情况下，通过将实际空间坐标系(或者第2作业环境图像坐标系)中的作业机械40的周边中的引导路径R的始端部等的一部分的位置及姿势进行坐标转换，可识别或计算第1作业环境坐标系中的该引导路径R的一部分的位置及姿势。在该坐标转换时，使用实际空间坐标系中的作业机械40，乃至使用表示作业机械坐标系的位置及姿势的第1坐标转换因子(矩阵或四元数)与表示作业机械坐标系中的拍摄装置412的位置及姿势的第2坐标转换因子。第1坐标转换因子基于第2作业环境图像中的作业机械40的位置及姿势，或者由搭载于作业机械40的测位传感器及方位传感器各自测量到的该作业机械40的实际空间位置及实际空间姿势而识别。第2坐标转换因子基于构成作业机械40的实机控制装置400的存储装置中保存的或者在数据库102中与作业机械40的识别符关联登录的该作业机械40中的拍摄装置412的搭载位置及姿势而识别。
此外，例如如图10所示，在示出作业现场的全局情况的第2作业环境图像中，生成示出第1指定位置P1及第2指定位置P2之间的引导路径R的延伸状态的图像作为路径引导图像。
进一步地，通过第2支援处理元件122，对第1客户端(第1远程操作装置20)发送表示路径引导图像的数据(图5/步骤128)。
在第1客户端(第1远程操作装置20)中，在通过构成远程输出接口220的远程无线通信机器222接收了路径引导图像数据的情况下(图5/C210)，在构成远程输出接口220的图像输出装置221中输出作业环境图像(图5/步骤214)。由此，使图像输出装置221中输出例如基于图9所示的第1作业环境图像的路径引导图像和基于图10所示的第2作业环境图像的路径引导图像中的至少一方。
(效果)
根据该构成的作业支援系统及构成它的作业支援服务器10，能够受理来自与第1客户端(第1远程操作装置20)协作的第1作业机械40的路径引导请求(参照图5/步骤212→C13)。能够通过第2客户端(第2远程操作装置20)的输入接口210指定在第1指定位置P1及第2指定位置P2之间延伸的引导路径R(参照图5/步骤222及图10)。然后，使第1客户端的输出接口210输出对应于引导路径R的路径引导信息(参照图5/步骤214、图9及图10)。
因此，例如，使用第1远程操作装置20驾驶操作作业机械40的操作员能够直观地识别来自被分配了第2客户端的其他操作员的、用于使第1作业机械在第1指定位置P1及第2指定位置P2之间移动的建议或指示。
第2支援处理元件122基于与多个客户端中不同于第1客户端(第1远程操作装置20)的至少一个客户端的通信，识别与该至少一个客户端协作的作业机械40的位置的时间序列即位置轨道，将以第1指定位置P1为基准扩张的第1指定范围S1以及以第2指定位置P2为基准扩张的第2指定范围S2中的至少一方包含有该位置轨道作为必要条件，将至少一个客户端识别为第2客户端(第1远程操作装置20)，基于与第2客户端的通信，允许通过第2客户端的输入接口210在作业环境图像上的引导路径R的指定(参照图5/步骤121→步骤122→步骤123→步骤124→C220→步骤220、图7及图10)。
被分配有与具有在第1指定范围S1及/或第2指定范围S2中所包含的位置轨道或路径移动履历的作业机械40协作的客户端(远程操作装置20)的操作员与并非如此的操作员相比，其为了指定在第1指定位置P1及第2指定位置P2之间延伸的引导路径R而具有适当的地形地貌熟知度的可能性更高。考虑到这一点，将为了指定在第1指定位置P1及第2指定位置P2之间延伸的引导路径R而具有适当的地形地貌熟知度的可能性更高的操作员的客户端识别为第2客户端(第2远程操作装置20)。因此，能够使被分配了第1客户端(第1远程操作装置20)的操作员直观地识别被分配了该第2客户端的操作员的建议或指示。
第1支援处理元件121基于与第1客户端(第1远程操作装置20)的通信，识别表示第1作业机械40的周围的情况的周边图像，使第1客户端的输出接口220输出在该周边图像中示出引导路径R的方向的方向指示图像M来作为所述路径引导图像(参照图9)。
由此，例如，驾驶操作第1作业机械40的操作员能够通过在该第1作业机械40的周边图像上重叠显示的方向指示图像M来直观地识别来自被分配了第2客户端(第2远程操作装置20)的其他操作员的、用于使第1作业机械40从第1指定位置P1移动至第2指定位置P2的建议或指示。
第1支援处理元件121使第1客户端的输出接口220输出示出引导路径R的至少一部分的作业环境图像来作为路径引导图像(参照图10)。
由此，例如，驾驶操作第1作业机械40的操作员能够通过示出引导路径R的至少一部分的作业环境图像来直观地识别来自被分配了第2客户端(第2远程操作装置20)的其他操作员的、用于使第1作业机械40从第1指定位置P1移动至第2指定位置P2的建议或指示。
(本发明的另一实施方式)
在上述实施方式中，作业支援服务器10由分别独立于远程操作装置20及作业机械40的一个或多个服务器构成(参照图1)，作为另一实施方式，作业支援服务器10也可以是远程操作装置20或作业机械40的构成元件。作业支援服务器10的各构成元件121及122分别也可以是远程操作装置20及作业机械40中的能够相互通信的两个以上的各个机器的构成元件。
在上述实施方式中，在作业支援服务器10中通过第2支援处理元件122，基于表示引导路径R的实际空间坐标系或第2拍摄坐标系中的延伸状态的数据生成路径引导图像(图5/步骤126)，作为另一实施方式，也可以通过第2支援处理元件122对第1客户端发送该数据，通过该第1客户端中的远程控制装置20基于该数据生成路径引导图像。
附图标记说明
10 作业支援服务器
20 远程操作装置(客户端)
40 作业机械
102 数据库
121 第1支援处理元件
122 第2支援处理元件
210 远程输入接口
220 远程输出接口
410 实机输入接口
412 实机器拍摄装置
420 实机输出接口
440 作业附件(工作机构)。

Claims (6)

1.一种作业支援服务器，用于通过与分别对多个操作员分配的多个客户端各自的通信，支援所述多个操作员分别进行的使用了作业机械的作业，其特征在于，
具备第1支援处理元件及第2支援处理元件，
所述第1支援处理元件基于与所述多个客户端中的第1客户端的通信，识别与所述第1客户端协作的所述作业机械即第1作业机械的包含第1指定位置及第2指定位置的路径引导请求，
所述第2支援处理元件基于与所述多个客户端中的第2客户端的通信，使所述第2客户端的输出接口输出示出由所述第1支援处理元件识别的所述路径引导请求中所包含的所述第1指定位置及所述第2指定位置的地图作业环境图像，并识别通过所述第2客户端的输入接口而在所述作业环境图像上指定的所述第1指定位置及所述第2指定位置之间延伸的引导路径，
所述第1支援处理元件基于与所述第1客户端的通信，使所述第1客户端的输出接口输出与由所述第2支援处理元件识别的所述引导路径对应的路径引导图像。
2.如权利要求1所述的作业支援服务器，其特征在于，
所述第2支援处理元件基于与所述多个客户端中不同于所述第1客户端的至少一个客户端的通信，识别与所述至少一个客户端协作的作业机械的位置的时间序列即位置轨道，将以所述第1指定位置为基准扩张的第1指定范围以及以所述第2指定位置为基准扩张的第2指定范围中的至少一方包含有该位置轨道作为必要条件，将所述至少一个客户端识别为所述第2客户端，基于与所述第2客户端的通信，允许通过所述第2客户端的输入接口在所述作业环境图像上的所述引导路径的指定。
3.如权利要求1或2所述的作业支援服务器，其特征在于，
所述第1支援处理元件基于与所述第1客户端的通信，识别表示所述第1作业机械的周围的情况的周边图像，使所述第1客户端的输出接口输出在所述周边图像中示出所述引导路径的方向的方向指示图像来作为所述路径引导图像。
4.如权利要求1～3的任一项所述的作业支援服务器，其特征在于，
所述第1支援处理元件使所述第1客户端的输出接口输出示出所述引导路径的至少一部分的作业环境图像作为所述路径引导图像。
5.一种作业支援系统，其特征在于，
由权利要求1～4的任一项所述的作业支援服务器、以及客户端构成。
6.一种作业支援方法，用于通过与分别对多个操作员分配的多个客户端各自的通信，支援所述多个操作员分别进行的使用了作业机械的作业，其特征在于，
包含第1支援处理及第2支援处理，
所述第1支援处理包含如下工序：基于与所述多个客户端中的第1客户端的通信，识别与所述第1客户端协作的所述作业机械即第1作业机械的包含第1指定位置及第2指定位置的路径引导请求，
所述第2支援处理包含如下工序：基于与所述多个客户端中的第2客户端的通信，使所述第2客户端的输出接口输出示出有由所述第1支援处理识别的所述路径引导请求所包含的所述第1指定位置及所述第2指定位置的地图作业环境图像，并识别通过所述第2客户端的输入接口而在所述作业环境图像上指定的所述第1指定位置及所述第2指定位置之间延伸的引导路径，
所述第1支援处理包含如下工序：基于与所述第1客户端的通信，使所述第1客户端的输出接口输出与由所述第2支援处理元件识别的所述引导路径对应的路径引导图像。
CN202080079410.3A 2019-11-25 2020-08-12 作业支援服务器、作业支援方法及作业支援系统 Pending CN114730440A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-212620 2019-11-25
JP2019212620A JP7392422B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム
PCT/JP2020/030675 WO2021106278A1 (ja) 2019-11-25 2020-08-12 作業支援サーバ、作業支援方法および作業支援システム

Publications (1)

Publication Number Publication Date
CN114730440A true CN114730440A (zh) 2022-07-08

Family

ID=76087666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080079410.3A Pending CN114730440A (zh) 2019-11-25 2020-08-12 作业支援服务器、作业支援方法及作业支援系统

Country Status (5)

Country Link
US (1) US20220389683A1 (zh)
EP (1) EP4044101A4 (zh)
JP (1) JP7392422B2 (zh)
CN (1) CN114730440A (zh)
WO (1) WO2021106278A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182387A1 (ja) * 2022-03-23 2023-09-28 日立建機株式会社 遠隔操縦システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333590A (ja) 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
JP3969373B2 (ja) * 2003-09-26 2007-09-05 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
DE102007053305A1 (de) * 2007-11-08 2009-05-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ausgabe von optischen Fahrempfehlungen in einem Fahrzeug
JP5187758B2 (ja) * 2008-12-26 2013-04-24 株式会社Ｉｈｉエアロスペース 無人移動体システム
KR20110110648A (ko) * 2010-04-01 2011-10-07 한양대학교 산학협력단 토공 작업을 위한 그래픽 사용자 인터페이스 제공 장치 및 방법
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
JP6302823B2 (ja) * 2014-11-17 2018-03-28 ヤンマー株式会社 作業車両の移動システム
US20170255895A1 (en) * 2016-03-01 2017-09-07 Komatsu Ltd. Evaluation device and evaluation method
US9797247B1 (en) * 2016-11-21 2017-10-24 Caterpillar Inc. Command for underground
WO2017119517A1 (ja) * 2017-01-13 2017-07-13 株式会社小松製作所 作業機械の制御システム、作業機械及び作業機械の制御方法
US10761537B1 (en) * 2017-06-02 2020-09-01 Built Robotics Inc. Obstacle detection and manipulation by a vehicle within a dig site
US10268191B1 (en) * 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
DE112018001447T5 (de) * 2017-07-14 2019-12-12 Komatsu Ltd. Topographische informationsübertragungsvorrichtung, bauverwaltungssystem und topographisches informationsübertragungsverfahren
JP7016751B2 (ja) * 2018-03-29 2022-02-07 ヤンマーパワーテクノロジー株式会社 運転支援システム
US11977378B2 (en) * 2018-09-17 2024-05-07 The Charles Machine Works, Inc. Virtual path guidance system

Also Published As

Publication number Publication date
JP2021086227A (ja) 2021-06-03
JP7392422B2 (ja) 2023-12-06
US20220389683A1 (en) 2022-12-08
EP4044101A4 (en) 2022-12-07
EP4044101A1 (en) 2022-08-17
WO2021106278A1 (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US12054915B2 (en) Work assisting server and work assisting system
WO2022168443A1 (ja) 作業支援システムおよび作業支援複合システム
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
CN114730440A (zh) 作业支援服务器、作业支援方法及作业支援系统
CN114902311A (zh) 作业辅助服务器、作业辅助方法以及作业辅助系统
EP4044080B1 (en) Work assistance server, work assistance method, and work assistance system
US20220398512A1 (en) Work assist server, work assist method, and work assist system
WO2021166475A1 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
US20230167626A1 (en) Remote operation assistance server, remote operation assistance system, and remote operation assistance method
JP2022152338A (ja) 作業支援システムおよび作業支援複合システム
JP2023144522A (ja) 建設支援システム、建設支援方法及び建設支援プログラム
CN118614057A (zh) 远程操作支援系统和远程操作支援方法
CN114730441A (zh) 作业支援服务器、作业支援方法以及作业支援系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination