CN115066910A - 远程操作支援服务器、远程操作支援系统及远程操作支援方法 - Google Patents

远程操作支援服务器、远程操作支援系统及远程操作支援方法 Download PDF

Info

Publication number
CN115066910A
CN115066910A CN202180013659.9A CN202180013659A CN115066910A CN 115066910 A CN115066910 A CN 115066910A CN 202180013659 A CN202180013659 A CN 202180013659A CN 115066910 A CN115066910 A CN 115066910A
Authority
CN
China
Prior art keywords
remote operation
condition
engine
remote
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180013659.9A
Other languages
English (en)
Inventor
广濑龙一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN115066910A publication Critical patent/CN115066910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2058—Electric or electro-mechanical or mechanical control devices of vehicle sub-units
    • E02F9/2062—Control of propulsion units
    • E02F9/2066—Control of propulsion units of the type combustion engines
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • E02F9/268—Diagnosing or detecting failure of vehicles with failure correction follow-up actions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提供一种能够实现由操作员通过远程操作装置进行远程操作的作业机械的作业效率提高的技术。在满足第1条件的情况下，即存在通过远程操作装置(20)的远程输入接口(21)对作业机械(40)的发动机停止指令的情况下，原则上使发动机(460)的动作停止，但作为例外，也使发动机(460)的动作不停止。具体而言，在远程操作装置(20)中操作员不存在于操作远程操作机构(211)时的指定部位的情况下，使发动机(460)的动作停止。另一方面，在远程操作装置(20)中操作员存在于操作远程操作机构(211)时的指定部位的情况下，即使存在发动机动作指令，依旧不停止发动机(460)的动作而持续发动机(460)的动作。

Description

远程操作支援服务器、远程操作支援系统及远程操作支援 方法
技术领域
本发明涉及一种用于支援由操作员通过远程操作装置进行的对作业机械的远程操作的技术。
背景技术
提出有一种作业机械的操作电路，能够在液压挖掘机等作业机械中，防止在操作门闩而解除由工作停止装置实现的阻断后的误动作(例如参照专利文献1)。
提出有一种工程机械的紧急停止系统，即使在紧急停止时也能够掌握机械的状况及判断是否紧急停止(例如参照专利文献2)。根据该系统，若点火开关为关闭状态则向各电子设备供给电力。此外，在保持向各电子设备供给电力的状态下，第2电子设备能够进行使作业机停止机构停止作业机的动作的作业机停止指令及使第1电子设备停止发动机的发动机停止指令。
提出有一种新型的作业机械的远程操纵系统，在通信机构发生异常的情况下，能够迅速且容易地确定发生该异常的部位(例如参照专利文献3)。根据该系统，在被诊断为发生了异常的设备是不影响液压系统及发动机系统的动作的设备的情况下，控制作业机械为待机状态。因此，在该设备为影像语音设备的情况下，可避免操作员在无法观察影像的状态下操作作业机械这样的事态。进一步地，在待机状态持续了规定时间的情况下，也使作业机械的发动机停止，因此可避免在待机状态有可能长时间持续的状况下发生意外事态。
现有技术文献
专利文献
专利文献1：日本特开2006-233615号公报
专利文献2：日本特开2008-248627号公报
专利文献3：日本特开2015-192163号公报
发明内容
发明要解决的技术问题
但是，在即使操作员有持续作业机械的远程操作的意愿，但因预料之外的理由而存在发动机停止指令，使作业机械的发动机停止的情况下，操作员需要再次启动发动机，作业效率有可能相应地降低。
于是，本发明的目的在于提供一种技术，能够实现由操作员通过远程操作装置进行远程操作的作业机械的作业效率的提高。
用于解决上述技术问题的方案
本发明的远程操作支援服务器具备：
第1支援处理元件，基于与用于远程操作作业机械的远程操作装置的通信，对第1条件及第2条件的充分性进行识别，所述第1条件为，存在通过所述远程操作装置的输入接口对所述作业机械的发动机停止指令，所述第2条件为，所述远程操作装置的操作员停止所述作业机械的发动机的意愿反映在所述发动机停止指令上的盖然性较高；
第2支援处理元件，在由所述第1支援处理元件识别为满足所述第1条件及所述第2条件的情况下，基于与所述作业机械的通信，执行用于使所述作业机械的发动机的动作不停止而使作业机构的动作停止的第1停止处理，另一方面，在由所述第1支援处理元件识别为满足所述第1条件而不满足第2条件的情况下，基于与所述作业机械的通信，执行用于使所述作业机械的作业机构及发动机各自的动作停止的第2停止处理。
根据该构成的远程操作支援服务器，在满足第1条件的情况下，即存在通过远程操作装置的输入接口对所述作业机械的发动机停止指令的情况下，原则上使发动机的动作停止，作为例外，也使发动机的动作不停止。
具体而言，在不满足第2条件的情况下，即由该操作员停止发动机的意愿乃至中断远程操作的意愿反映在发动机停止指令上的盖然性较高的情况下，按照发动机停止指令使发动机的动作停止。由此，可靠地避免由操作员以外的第三者错误地将作业机构的动作停止状态解除，从而使由作业机械进行的作业重新开始的事态。
另一方面，在满足第2条件的情况下，即由该操作员停止发动机的意愿乃至中断远程操作的意愿反映在发动机停止指令上的盖然性较低的情况下，即使有发动机动作指令，依旧使发动机的动作不停止而持续发动机的动作。由此，能够在该状态下由操作员将作业机构的动作停止状态解除，使由作业机械进行的作业迅速地重新开始，因此使用作业机械的作业效率的提高得以实现。
附图说明
图1是关于作为本发明的一实施方式的远程操作支援系统的构成的说明图。
图2是关于远程操作装置的构成的说明图。
图3是关于作业机械的构成的说明图。
图4是关于远程操作支援系统的第1功能的说明图。
图5是关于远程操作支援系统的第2功能的说明图。
图6是关于作业环境图像的说明图。
具体实施方式
(远程操作支援系统的构成)
如图1所示，作为本发明的一实施方式的远程操作支援系统由远程操作支援服务器10与作业机械40构成。用于远程操作作业机械40的远程操作装置20(客户端)也可以是远程操作系统的构成元件。远程操作支援服务器10、远程操作装置20及作业机械40构成为可相互进行网络通信。远程操作支援服务器10及远程操作装置20的相互通信网络、远程操作支援服务器10及作业机械40的相互通信网络可以相同也可以不同。
(远程操作支援服务器的构成)
远程操作支援服务器10具备数据库102、第1支援处理元件121与第2支援处理元件122。数据库102存储保持拍摄图像数据等。数据库102也可以由独立于远程操作支援服务器10的数据库服务器构成。各支援处理元件由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的后述的运算处理。远程操作支援服务器10也可以由远程操作装置20构成。该情况下，远程控制装置200具备第1支援处理元件121及第2支援处理元件122。
(远程操作装置的构成)
远程操作装置20具备远程控制装置200、远程输入接口210与远程输出接口220。远程操作装置20作为“第1客户端”及“第2客户端”中的至少一方发挥功能。远程控制装置200由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。远程输入接口210具备远程操作机构211与操作员状态传感器212。远程输出接口220具备图像输出装置221与远程无线通信设备222。
远程操作机构211包含行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置与铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。操作回转用操作装置的操作杆(回转杆)以使构成作业机械40的回转机构430的液压式的回转电动机动作。操作动臂用操作装置的操作杆(动臂杆)以使作业机械40的动臂油缸442动作。操作斗杆用操作装置的操作杆(斗杆杆(arm lever))以使作业机械40的斗杆油缸444动作。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆(bucket lever))。
例如如图2所示，构成远程操作机构211的各操作杆配置在用于供操作员就座的座椅St的周围。座椅St是带扶手的高背椅那样的形态，也可以是没有头枕的低背椅那样的形态、或者是没有靠背的椅子那样的形态等操作员能够就座的任意形态的就座部。
在座椅St的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆也可以兼作多种操作杆。例如，图2所示的设置于座椅St的左侧框体的前方的左侧操作杆2111可以在沿前后方向操作的情况下作为斗杆杆发挥功能，且在沿左右方向操作的情况下作为回转杆发挥功能。同样地，图2所示的设置于座椅St的右侧框体的前方的右侧操作杆2112可以在沿前后方向操作的情况下作为动臂杆发挥功能，且在沿左右方向操作的情况下作为铲斗杆发挥功能。杆模式可以根据操作员的操作指示任意地变更。
在座椅St的左侧框体的前方，设置于左侧操作杆2111的下方的阻断杆2113在升起的情况下以即使对各操作杆2110、2111、2112进行操作，作业机械40也不动作的方式锁定，另一方面，在降下的情况下，作为用于解除该锁定的操作杆发挥功能。
在本实施方式中，操作员状态传感器212由设置在座椅St的一部分(例如就座部、扶手或者靠背)或者座椅St的支承部件的载荷传感器(例如应变计)构成。根据由该载荷传感器检测到的载荷的大小或者有无，判定操作员就座于座椅St还是离座。除此之外，操作员状态传感器212也可以由设置在构成远程操作机构211的各操作杆中的至少一部分上的接触传感器或者载荷传感器构成。操作员状态传感器212也可以由用于识别在座椅St就座的人的脸或者表情的拍摄传感器构成。
例如如图2所示，图像输出装置221由分别配置在座椅St的前方、左斜前方及右斜前方的具有大致矩形状的画面的中央图像输出装置2210、左侧图像输出装置2211及右侧图像输出装置2212构成。中央图像输出装置2210、左侧图像输出装置2211及右侧图像输出装置2212的各自的画面(图像显示区域)的形状及尺寸可以相同也可以不同。
如图2所示，左侧图像输出装置2211的右缘与中央图像输出装置2210的左缘相邻，以使中央图像输出装置2210的画面及左侧图像输出装置2211的画面形成倾斜角度θ1(例如120°≤θ1≤150°)。如图2所示，右侧图像输出装置2212的左缘与中央图像输出装置2210的右缘相邻，以使中央图像输出装置2210的画面及右侧图像输出装置2212的画面形成倾斜角度θ2(例如120°≤θ2≤150°)。该倾斜角度θ1及θ2可以相同也可以不同。
中央图像输出装置2210、左侧图像输出装置2211及右侧图像输出装置2212的各自的画面可以相对于竖直方向平行，也可以相对于竖直方向倾斜。中央图像输出装置2210、左侧图像输出装置2211及右侧图像输出装置2212中的至少1个图像输出装置可以由分割成多个的图像输出装置构成。例如，中央图像输出装置2210可以由具有大致矩形状的画面的上下相邻的一对图像输出装置构成。图像输出装置2210～2212可以进一步具备扬声器(语音输出装置)。
(作业机械的构成)
作业机械40具备实机控制装置400、实机输入接口41、实机输出接口42、作业机构440与发动机460。实机控制装置400由运算处理装置(单核处理器或多核处理器或者构成处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。
如图2所示，作业机械40例如是履带式挖掘机(工程机械)，具备履带式的下部行驶体410、与经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设置有驾驶室424(司机室)。在上部回转体420的前方中央部设置有作业机构440。
实机输入接口41具备实机操作机构411、实机拍摄装置412与测位装置414。实机操作机构411具备多个操作杆，以与远程操作机构211同样的方式配置在驾驶室424的内部所配置的座椅的周围。在驾驶室424设置有驱动机构或者机器人，接收与远程操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置在驾驶室424的内部，透过前窗及左右一对的侧窗对包含至少一部分作业机构440的环境进行拍摄。也可以省略前窗及侧窗中的一部分或者全部。测位装置414由GPS及根据需要的陀螺仪传感器等构成。
实机输出接口42具备实机无线通信设备422。
作业机构440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业机构440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。
动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
发动机460在导通(ON)的状态下，可以从主泵对多个方向控制阀进行工作油的供给，并且从先导泵将一次压油供给至实机操作机构411。根据与实机操作机构411的远程操作指令相对应的动作，对方向控制阀供给二次压油，与该方向控制阀的动作对应地对液压油缸供给工作油，由此，回转机构430及作业机构440动作。
(第1功能)
使用如图4所示的流程图对上述构成的远程操作支援系统的第1功能进行说明。在该流程图中，为了记载的简化而使用“C●”这样的框，表示数据的发送以及/或者接收，且表示以该数据的发送以及/或者接收为条件执行分支方向的处理的条件分支。
在远程操作装置20中，判定由操作员通过远程输入接口210进行的指定操作的有无(图4/步骤210)。例如，“指定操作”是用于指定操作员打算进行远程操作的作业机械40的、在远程输入接口210中的点击(tap)等操作。在该判定结果为否定的情况下(图4/步骤210‥否)，重复判定有无指定操作以后的处理。另一方面，在该判定结果为肯定的情况下(图4/步骤210‥是)，通过远程无线通信设备222对远程操作支援服务器10发送环境确认请求(图4/步骤212)。
在远程操作支援服务器10中，在接收到环境确认请求的情况下，利用第1支援处理元件121对相应的作业机械40发送该环境确认请求(图4/C110)。
在作业机械40中，在通过实机无线通信设备422接收到环境确认请求的情况下(图4/C410)，实机控制装置400通过实机拍摄装置412获取拍摄图像(图4/步骤410)。由实机控制装置400通过实机无线通信设备422对远程操作装置20发送表示该拍摄图像的拍摄图像数据(图4/步骤412)。
在远程操作支援服务器10中，在由第1支援处理元件121接收到拍摄图像数据的情况下(图4/C111)，利用第2支援处理元件122对远程操作装置20发送与拍摄图像对应的环境图像数据(图4/步骤110)。环境图像数据除了是拍摄图像数据本身之外，还是表示基于拍摄图像生成的模拟的环境图像的图像数据。
在远程操作装置20中，在通过远程无线通信设备222接收到环境图像数据的情况下(图4/C210)，由远程控制装置200将与环境图像数据对应的环境图像输出至图像输出装置221(图4/步骤214)。
由此，例如如图6所示，将映有作为作业机构440的一部分的动臂441、斗杆443及铲斗445的环境图像输出至图像输出装置221。
在远程操作装置20中，通过远程控制装置200来识别远程操作机构211的操作方式(图4/步骤216)，且通过远程无线通信设备222对远程操作支援服务器10发送与该操作方式对应的远程操作指令(图4/步骤218)。
在远程操作支援服务器10中，在由第2支援处理元件122接收到该远程操作指令的情况下，由第1支援处理元件121对作业机械40发送该远程操作指令(图4/C112)。
在作业机械40中，由实机控制装置400通过实机无线通信设备422接收到远程操作指令的情况下(图4/C412)，控制作业机构440等的动作(图4/步骤414)。由此，开始对作业机械40的远程操作。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体420回转后将土从铲斗445倒落的作业。
(第2功能)
使用如图5所示的流程图对上述构成的远程操作支援系统的第2功能进行说明。在该流程图中，为了记载的简化而使用“C●”这样的框，表示数据的发送以及/或者接收，且表示以该数据的发送以及/或者接收为条件执行分支方向的处理的条件分支。
在远程操作装置20中，判定由操作员通过远程输入接口210进行的第1指定操作的有无(图5/步骤220)。例如，“第1指定操作”是将IGN开关从断开(OFF)切换至导通(ON)等用于使作业机械40的发动机460启动的在远程输入接口210中的点击(tap)等操作。在该判定结果为否定的情况下(图5/步骤220‥否)，重复判定有无第1指定操作以后的处理。另一方面，在该判定结果为肯定的情况下(图5/步骤220‥是)，通过远程无线通信设备222对远程操作支援服务器10发送发动机动作指令(图5/步骤222)。该发动机动作指令包含用于标识通过远程输入接口210指定的作业机械40的作业机械标识符。
在远程操作支援服务器10中，在接收到发动机动作指令的情况下，由第1支援处理元件121对由该作业机械标识符所标识的作业机械40发送发动机动作指令(图5/C120)。
在作业机械40中，在通过实机无线通信设备422接收到发动机动作指令的情况下(图5/C420)，由实机控制装置400使该作业机械40的发动机460从导通(ON)切换至断开(OFF)，且使作业机构440根据动作指令从不可动作的锁定状态切换至可以动作的锁定解除状态(图5/步骤420)。由此，例如能将从先导泵供给的一次压油根据远程操作指令(通过由致动器调节实机操作机构411的操作方式)作为二次压油供给至方向控制阀，因此如上所述作业机构440变为可以动作的状态(参照图4/步骤216→步骤218→‥→步骤412及图6)。
在远程操作装置20中，判定由操作员通过远程输入接口210进行的第2指定操作的有无(图5/步骤223)。例如，“第2指定操作”是将I GN开关从导通(ON)切换至断开(OFF)等用于使作业机械40的发动机460的动作停止的在远程输入接口210中的点击(tap)等操作。在该判定结果为否定的情况下(图5/步骤223‥否)，重复判定有无第1指定操作以后的处理。另一方面，在该判定结果为肯定的情况下(图5/步骤223‥是)，通过远程无线通信设备222对远程操作支援服务器10发送发动机停止指令(图5/步骤224)。该发动机动作指令包含用于标识通过远程输入接口210指定的作业机械40的作业机械标识符。
在远程操作支援服务器10中，在接收到发动机停止指令的情况下(图5/C121)，由第1支援处理元件121对远程操作装置20发送操作员状态请求(图5/步骤121)。收到发动机停止指令的含义与满足第1条件同义。
在远程操作装置20中，在通过远程无线通信设备222接收到操作员状态请求的情况下(图5/C221)，由远程控制装置200基于操作员状态传感器212的输出信号对操作员状态进行检测(图5/步骤225)。例如，检测操作员是否就座于座椅St等操作员是否存在于在操作远程操作机构211时应该存在的指定部位作为操作员状态。然后，通过远程无线通信设备222，对远程操作支援服务器10发送检测到的操作员状态(图5/步骤226)。
也可以是，在判定为判定了第2指定操作的情况下(图5/步骤223‥是)，即使没有操作员状态请求，也由远程控制装置200基于操作员状态传感器212的输出信号检测操作员状态(图5/步骤225)，通过远程无线通信设备222，将检测到的操作员状态与发动机停止指令一起对远程操作支援服务器10发送(图5/步骤226)。
在远程操作支援服务器10中，在接收到操作员状态的情况下(图5/C122)，基于该操作员状态，由第1支援处理元件121判定是否满足第2条件(图5/步骤122)。即，判定操作员是否存在于操作远程操作机构211时应该存在的指定部位。
在该判定结果为肯定的情况下，即满足第1条件及第2条件的情况下(图5/步骤122‥是)，由第2支援处理元件122对作业机械40发送第1停止指令(图5/步骤124)。
在作业机械40中，通过实机无线通信设备422接收到第1停止指令的情况下(图5/C421)，由实机控制装置400将该作业机械40的发动机460维持为导通(ON)，另一方面，将作业机构440从锁定解除状态切换至锁定状态(图5/步骤421)。由此，从先导泵对实机操作机构411的一次压油的供给由于相应的液压电路的阻断而被禁止，因此即使有远程操作指令，作业机构440也成为不可动作的状态。
在该判定结果是否定的情况下，即满足第1条件而不满足第2条件的情况下(图5/步骤122‥否)，由第2支援处理元件122对作业机械40发送第1停止指令(图5/步骤126)。
在作业机械40中，通过实机无线通信设备422接收到第2停止指令的情况下(图5/C422)，由实机控制装置400使该作业机械40的发动机460从导通(ON)切换至断开(OFF)且使作业机构440从锁定解除状态切换至锁定状态(图5/步骤422)。由此，不再从先导泵对实机操作机构411供给一次压油，成为即使根据远程操作指令使实机操作机构411动作，作业机构440(及回转机构430)也不可动作的状态。
(效果)
根据该构成的远程操作支援服务器10，在满足第1条件的情况下，即存在通过远程操作装置20的远程输入接口21对作业机械40的发动机停止指令的情况下，原则上使发动机460的动作停止，作为例外，也使发动机460的动作不停止。
具体而言，在不满足第2条件的情况下，即在远程操作装置20中操作员存在于在操作远程操作机构211时的指定部位的情况下，由该操作员停止发动机460的意愿乃至中断远程操作的意愿反映在发动机停止指令上的盖然性较高。由此，在该情况下，通过按照发动机停止指令使发动机460的动作停止，可靠地避免由操作员以外的第三者错误地将作业机构440(包含回转机构430)的动作停止状态解除，从而使由作业机械40进行的作业重新开始的事态(参照图5/步骤122‥否→步骤126→‥步骤422)。
另一方面，在满足第2条件的情况下，即在远程操作装置20中操作员不存在于操作远程操作机构211时的指定部位的情况下，由该操作员停止发动机460的意愿乃至中断远程操作的意愿反映在发动机停止指令上的盖然性较低。由此，在该情况下，即使有发动机动作指令，依旧使发动机460的动作不停止而持续发动机460的动作，从而在该状态下由操作员将作业机械40的动作停止状态解除，使由作业机械40进行的作业迅速重新开始，因此使用作业机械40的作业效率的提高得以实现(参照图5/步骤122‥是→步骤124→‥步骤421)。
(本发明的其他实施方式)
在上述实施方式中，虽然将(a)在远程操作装置20中操作员不存在于操作远程操作机构211时的指定部位的情况定义为第2条件，但作为其他实施方式，也可以代替地或者附加地将(b)操作了设置在远程操作装置20的紧急停止开关、(c)在远程操作装置20或者远程操作支援服务器10或者作业机械40中发生了动作的异常、及(d)在远程操作装置20或者远程操作支援服务器10或者作业机械40中发生了通信的中断中的至少1个定义为第2条件。
第1支援处理元件121基于来自用于检测操作员与远程操作装置20中指定部位所设置的指定构造物接触或对其施加载荷的情况的传感器的输出信号，对远程操作装置20中操作员不存在于操作远程操作机构211时的指定部位这样的第2条件的充分性进行识别。
在远程操作装置20中操作员与操作远程操作机构211时的指定部位所设置的指定构造物接触或对其施加载荷的情况下，由该操作员停止发动机460的意愿乃至中断远程操作的意愿反映在发动机停止指令上的盖然性较低。因此，在该情况下，即使有发动机动作指令，依旧使发动机460的动作不停止而持续发动机460的动作，由此，在该状态下由操作员将作业机构的动作停止状态解除，使由作业机械40进行的作业迅速重新开始，因此使用作业机械40的作业效率的提高得以实现。
第1支援处理元件121基于来自用于检测操作员就座于作为指定构造物的座椅St并施加载荷的情况的传感器212的输出信号对第2条件的充分性进行识别。第1支援处理元件121基于来自用于识别在远程操作装置20中就座于指定部位所设置的座椅St的人的脸或表情的拍摄传感器的输出信号，对远程操作装置20中操作员不存在于操作远程操作机构211时的指定部位这样的第2条件的充分性进行识别。
在远程操作装置20中操作员未就座于座椅St的情况下，由该操作员停止发动机的意愿乃至中断远程操作的意愿反映在发动机停止指令上的盖然性较低。由此，在该情况下，即使有发动机动作指令，依旧使发动机460的动作不停止而持续发动机460的动作，从而能在该状态下由操作员将作业机构的动作停止状态解除，使由作业机械40进行的作业迅速重新开始，因此使用作业机械40的作业效率的提高得以实现。
附图标记说明
10 远程操作支援服务器
20 远程操作装置
40 作业机械
41 实机输入接口
42 实机输出接口
102 数据库
121 第1支援处理元件
122 第2支援处理元件
200 远程控制装置
210 远程输入接口
211 远程操作机构
212 操作员状态传感器
220 远程输出接口
221 图像输出装置
400 实机控制装置
410 下部行驶体
420 上部回转体
424 驾驶室(司机室)
440 作业机构(作业机构)
445 铲斗(作业部)
460 发动机。

Claims (7)

1.一种远程操作支援服务器，其特征在于，具备：
第1支援处理元件，基于与用于远程操作作业机械的远程操作装置的通信，对第1条件及第2条件的充分性进行识别，所述第1条件为，存在通过所述远程操作装置的输入接口对所述作业机械的发动机停止指令，所述第2条件为，所述远程操作装置的操作员停止所述作业机械的发动机的意愿反映在所述发动机停止指令上的盖然性较高；
第2支援处理元件，在由所述第1支援处理元件识别为满足所述第1条件及所述第2条件的情况下，基于与所述作业机械的通信，执行用于使所述作业机械的发动机的动作不停止而使作业机构的动作停止的第1停止处理，另一方面，在由所述第1支援处理元件识别为满足所述第1条件而不满足第2条件的情况下，基于与所述作业机械的通信，执行用于使所述作业机械的作业机构及发动机各自的动作停止的第2停止处理。
2.如权利要求1所述的远程操作支援服务器，其特征在于，
所述第2条件为以下条件中的至少任一种：
(a)操作员不存在于操作所述远程操作机构时的指定部位；
(b)操作了设置在所述远程操作装置的紧急停止开关；
(c)远程操作装置或者操作支援服务器或者作业机械中发生动作的异常；及
(d)远程操作装置或者操作支援服务器或者作业机械中发生通信的中断。
3.如权利要求2所述的远程操作支援服务器，其特征在于，
所述第1支援处理元件基于来自用于检测所述操作员与所述远程操作装置中所述指定部位所设置的指定构造物接触或对其施加载荷这一情况的传感器的输出信号，对(a)在所述远程操作装置中操作员不存在于操作所述远程操作机构时的指定部位这样的所述第2条件的充分性进行识别。
4.如权利要求3所述的远程操作支援服务器，其特征在于，
所述第1支援处理元件基于来自用于检测所述操作员就座于作为所述指定构造物的座椅并施加载荷这一情况的所述传感器的输出信号，对所述第2条件的充分性进行识别。
5.如权利要求2所述的远程操作支援服务器，其特征在于，
所述第1支援处理元件基于来自用于识别在所述远程操作装置中就座于所述指定部位所设置的座椅的人的脸或表情的拍摄传感器的输出信号，对(a)在所述远程操作装置中操作员不存在于操作所述远程操作机构时的指定部位这样的所述第2条件的充分性进行识别。
6.一种远程操作支援系统，其特征在于，由权利要求1～5的任一项所述的远程操作支援服务器与所述作业机械构成。
7.一种远程操作支援方法，其特征在于，执行：
第1支援处理，基于与用于远程操作作业机械的远程操作装置的通信，对第1条件及第2条件的充分性进行识别，所述第1条件为，存在通过所述远程操作装置的输入接口对所述作业机械的发动机停止指令，所述第2条件为，所述远程操作装置的操作员停止所述作业机械的发动机的意愿反映在所述发动机停止指令上的盖然性较高；
第2支援处理，在通过执行所述第1支援处理而识别为满足所述第1条件及第2条件的情况下，基于与所述作业机械的通信，执行用于使所述作业机械的发动机的动作不停止而使作业机构的动作停止的第1停止处理，另一方面，在通过执行所述第1支援处理而识别为满足所述第1条件而不满足第2条件的情况下，基于与所述作业机械的通信，执行用于使所述作业机械的作业机构及发动机各自的动作停止的第2停止处理。
CN202180013659.9A 2020-02-18 2021-01-07 远程操作支援服务器、远程操作支援系统及远程操作支援方法 Pending CN115066910A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-025723 2020-02-18
JP2020025723A JP7447531B2 (ja) 2020-02-18 2020-02-18 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
PCT/JP2021/000414 WO2021166477A1 (ja) 2020-02-18 2021-01-07 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法

Publications (1)

Publication Number Publication Date
CN115066910A true CN115066910A (zh) 2022-09-16

Family

ID=77390729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180013659.9A Pending CN115066910A (zh) 2020-02-18 2021-01-07 远程操作支援服务器、远程操作支援系统及远程操作支援方法

Country Status (5)

Country Link
US (1) US20230031436A1 (zh)
EP (1) EP4071311A4 (zh)
JP (1) JP7447531B2 (zh)
CN (1) CN115066910A (zh)
WO (1) WO2021166477A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2579075B (en) * 2018-11-19 2021-06-16 Caterpillar Inc Work machine with sensor enabled user control

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738728A (zh) * 2003-01-21 2006-02-22 神钢建设机械株式会社 建筑机械的动力控制装置
JP2006126931A (ja) * 2004-10-26 2006-05-18 Kawasaki Heavy Ind Ltd 作業支援装置およびその作業支援方法
JP2012241339A (ja) * 2011-05-16 2012-12-10 Kobelco Contstruction Machinery Ltd ハイブリッド作業機械
CN103383625A (zh) * 2012-05-02 2013-11-06 株式会社OPTiM 操作员系统以及服务器、远程支援方法以及其电器与装置
CN106164384A (zh) * 2014-09-30 2016-11-23 株式会社日立建机Tierra 工程机械
CN107816405A (zh) * 2013-03-26 2018-03-20 株式会社电装 跨座式车辆的发动机控制装置
US20190019349A1 (en) * 2017-07-11 2019-01-17 Waymo Llc Methods and Systems for Providing Remote Assistance to a Stopped Vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6923285B1 (en) * 2000-02-01 2005-08-02 Clark Equipment Company Attachment control device
JP2004239165A (ja) * 2003-02-06 2004-08-26 Kobelco Contstruction Machinery Ltd 建設機械のエンジン制御装置
JP2006233615A (ja) 2005-02-25 2006-09-07 Hitachi Constr Mach Co Ltd 作業機械の操作回路
JP4750067B2 (ja) 2007-03-30 2011-08-17 株式会社小松製作所 建設機械の非常停止システムおよび建設機械
JP2010059887A (ja) * 2008-09-04 2010-03-18 Denso Corp エンジン制御システム
JP2011208568A (ja) 2010-03-30 2011-10-20 Kobelco Cranes Co Ltd 作業機械のエンジン制御装置
JP5796708B2 (ja) 2011-09-15 2015-10-21 株式会社デンソー 車両用制御装置
JP6027996B2 (ja) 2014-03-27 2016-11-16 日立建機株式会社 作業機械の遠隔操縦システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738728A (zh) * 2003-01-21 2006-02-22 神钢建设机械株式会社 建筑机械的动力控制装置
JP2006126931A (ja) * 2004-10-26 2006-05-18 Kawasaki Heavy Ind Ltd 作業支援装置およびその作業支援方法
JP2012241339A (ja) * 2011-05-16 2012-12-10 Kobelco Contstruction Machinery Ltd ハイブリッド作業機械
CN103383625A (zh) * 2012-05-02 2013-11-06 株式会社OPTiM 操作员系统以及服务器、远程支援方法以及其电器与装置
CN107816405A (zh) * 2013-03-26 2018-03-20 株式会社电装 跨座式车辆的发动机控制装置
CN106164384A (zh) * 2014-09-30 2016-11-23 株式会社日立建机Tierra 工程机械
US20190019349A1 (en) * 2017-07-11 2019-01-17 Waymo Llc Methods and Systems for Providing Remote Assistance to a Stopped Vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕罗昊;吴光敏;赵建军;: "基于移动设备的远程智能监控系统的设计与实现", 新技术新工艺, no. 02, 25 February 2016 (2016-02-25) *

Also Published As

Publication number Publication date
EP4071311A1 (en) 2022-10-12
EP4071311A4 (en) 2023-08-23
JP2021132266A (ja) 2021-09-09
JP7447531B2 (ja) 2024-03-12
WO2021166477A1 (ja) 2021-08-26
US20230031436A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
CN110325687B (zh) 挖土机、挖土机的控制方法以及便携信息终端
KR20210152559A (ko) 작업 기계
CN115066910A (zh) 远程操作支援服务器、远程操作支援系统及远程操作支援方法
CN114174604A (zh) 作业机械
KR20220140610A (ko) 작업 기계
JP7310338B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
WO2019167718A1 (ja) 周辺監視装置、作業機械、周辺監視の制御方法及び表示装置
CN114763702A (zh) 作业机械以及远程操作辅助系统
CN115362295B (zh) 远程操作辅助服务器、远程操作辅助系统以及远程操作辅助方法
KR102508279B1 (ko) 유압 셔블
EP3896233A1 (en) Work machine
CN115516175A (zh) 远程操作支援装置及远程操作支援方法
JP2022157923A (ja) ショベル
US20220303472A1 (en) Image capturing function control system and image capturing function control method
WO2024090225A1 (ja) 操作状態切替装置、作業機械および操作状態切替システム
JP2020056300A (ja) ショベル
JP7283283B2 (ja) 作業機械
US20230043651A1 (en) Inspection system for construction machine
US20220298748A1 (en) Remote operation support system and remote operation support method
CN117043732A (zh) 远程操作支援服务器及远程操作支援系统
JP2022152970A (ja) ショベル、ショベルの管理システム
JP2020159050A (ja) 作業機械
KR20240040814A (ko) 작업 기계의 기동 시스템, 작업 기계의 기동 방법 및 작업 기계
CN116057239A (zh) 作业机械的控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination