CN113994051A - 远程操作系统以及远程操作服务器 - Google Patents

远程操作系统以及远程操作服务器 Download PDF

Info

Publication number
CN113994051A
CN113994051A CN202080041703.2A CN202080041703A CN113994051A CN 113994051 A CN113994051 A CN 113994051A CN 202080041703 A CN202080041703 A CN 202080041703A CN 113994051 A CN113994051 A CN 113994051A
Authority
CN
China
Prior art keywords
environment information
remote operation
environment
work machine
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080041703.2A
Other languages
English (en)
Inventor
船原佑介
佐佐木均
山崎洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN113994051A publication Critical patent/CN113994051A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0215—Traffic management, e.g. flow control or congestion control based on user or device properties, e.g. MTC-capable devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种系统等，能够在实现用于环境信息输出的数据通信负荷的降低的同时，根据操作员对于作业机械的操作状态，以从该操作员适当地掌握作业机械的环境的观点出发较为适当的方式避免环境信息的信息量的过度下降。根据远程操作系统或者构成其的远程操作服务器(20)，通过执行“环境信息控制处理”，以使一个或者多个低环境信息因子的信息下降量(指由于该环境信息因子的变化而导致的环境信息的信息下降量)大于一个或者多个高环境信息因子的信息下降量的方式降低环境数据的数据量。该环境信息控制处理根据操作状态的差异，以不同的方案划分高环境信息因子以及低环境信息因子并执行。

Description

远程操作系统以及远程操作服务器
技术领域
本发明涉及用于远程操作作业机械等的系统。
背景技术
在对工程机械等作业机械进行远程操作时，为了使作业机械顺畅地进行作业，必须使通信不中断。提出有以下方法，在推测操作员没有对作业机械进行远程操作的意愿的状态(例如，乘降阻断杆上升的状态)下，限制对该操作员提供的影像的信息量、或者只选择性地提供以作业机械为基准的多个不同的方位的影像中的、与作业机械的上部回转体的回转方向对应的方位的影像(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2017-092908号公报
发明内容
发明要解决的技术问题
但是，在上述那样的状态下，限制影像的信息量或者只选择性地输出特定方位的影像有可能使操作员难以掌握作业机械的环境。
于是，本发明的目的在于提供一种系统等，能够在实现用于环境信息输出的数据通信负荷的降低的同时，根据操作员对作业机械的操作状态，从使该操作员适当掌握作业机械的环境的观点出发，以适当的方式避免环境信息的信息量过度地下降。
用于解决上述技术问题的方案
本发明的远程操作服务器具有与作业机械以及用于远程操作该作业机械的远程操作装置分别相互通信的功能，其特征在于，具备：状态识别元件，识别操作员对所述远程操作装置的操作状态或者所述作业机械的动作状态；环境信息控制处理元件，执行环境信息控制处理，该环境信息控制处理用于根据由所述状态识别元件识别的所述远程操作装置的操作状态或者所述作业机械的动作状态的差异，以不同的方案分别调节多个确定环境信息的信息量的环境信息因子从而降低环境数据的数据量，所述环境数据是在构成所述远程操作装置的信息输出装置中被输出的、由所述作业机械具有的环境识别装置获取的表示所述作业机械的环境的数据。
本发明的远程操作系统的特征在于，由作业机械、用于远程操作该作业机械的远程操作装置、所述远程操作服务器构成。
附图说明
图1是关于作为本发明的一实施方式的远程操作系统的构成的说明图。
图2是关于作业机械的构成的说明图。
图3是关于远程操作装置的构成的说明图。
图4是关于作为本发明的一实施方式的远程操作系统的功能的说明图。
图5A是关于通常状态中的环境信息因子的控制方案的说明图。
图5B是关于与环境信息控制处理对应的环境信息因子的第1控制方案的说明图。
图5C是关于与环境信息控制处理对应的环境信息因子的第2控制方案的说明图。
图5D是关于与环境信息控制处理对应的环境信息因子的第3控制方案的说明图。
图6A是关于通常状态中的环境信息的说明图。
图6B是关于环境信息控制处理时的环境信息的说明图。
具体实施方式
(构成)
作为图1所示的本发明的一实施方式的远程操作系统具备远程操作装置10、远程操作服务器20和作业机械40。
(作业机械的构成)
作业机械40具备从控制装置400、环境识别装置401、无线通信设备402和工作机构440。从控制装置400由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取所需的数据及软件，以该数据为对象执行根据该软件的运算处理。
作业机械40例如是履带挖掘机(工程机械)，如图2所示，具备履带式的下部行驶体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设置有驾驶室(司机室)422。在上部回转体220的前方中央部设置有作业附件440。
作为工作机构的作业附件440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。
动臂油缸442介于该动臂441和上部回转体420之间，使得其通过接受工作油的供给来伸缩，使动臂441在起落方向上转动。斗杆油缸444介于该斗杆443和该动臂441之间，使得其通过接受工作油的供给来伸缩，使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445和该斗杆443之间，使得其通过接受工作油的供给来伸缩，使铲斗445相对于斗杆443绕水平轴转动。
环境识别装置401例如由设置于驾驶室422的内部、透过驾驶室422的前窗对包含至少一部分工作机构440的环境进行拍摄的拍摄装置构成。环境识别装置401也可以具备由麦克风等构成的声学输入装置。
在驾驶室422设置有：实机侧操作杆，与构成远程操作装置10的操作杆(后述)相对应；驱动机构或者机器人，从远程操作室接收与各操作杆的操作方案对应的信号，并基于该接收信号使实机操作杆动作。
(远程操作装置的构成)
远程操作装置10具备主控制装置100、输入接口110和输出接口120。远程操作装置10的至少一部分可以由智能手机、平板终端或者笔记本电脑等移动终端装置构成。主控制装置100由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取所需的数据以及软件，以该数据为对象执行根据该软件的运算处理。
输入接口110具备操作机构111和操作状态检测器112。输出接口120具备信息输出装置121和无线通信设备122。
在操作机构111中包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置和阻断操作装置。各操作装置具有接受转动操作的操作杆。为了使下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(arm lever))。为了使铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
为了进行如下动作而操作阻断操作装置的操作杆(阻断杆)：即，进行锁定从而操作所述行驶杆等各操作杆作业机械40也不动作，另一方面解除该锁定。
构成操作机构111的各操作杆例如如图3所示，配置在用于供操作员就座的座椅1100的周围。座椅1100是带扶手的高背椅那样的形式，也可以是没有头枕的低背椅那样的形式、或者是没有靠背的椅子那样的形式等操作员能够就座的任意的形式。
在座椅1100的前方左右横排配置有与左右的履带对应的左右一对的行驶杆1110。一个操作杆可以兼作多种操作杆。例如，图3示出的设置于座椅1100的右侧框体的前方的右侧操作杆1111可以在沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，图3示出的设置于座椅1100的左侧框体的前方的左侧操作杆1112可以在沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。杆模式可以根据操作员的操作指示任意地变更。
在座椅1100的左侧框体的前方且设置于左侧操作杆1112的下方的阻断杆1113作为如下功能的操作杆而发挥功能：即，阻断杆1113在被提起的情况下进行锁定，从而即使操作各操作杆1110、1111、1112，作业机械40也不动作，另一方面，阻断杆11130在被放下的情况下解除该锁定。
例如，如图3所示，信息输出装置121由分别配置在座椅1100的右斜前方、前方及左斜前方的右斜前方图像输出装置1211、前方图像输出装置1212以及左斜前方图像输出装置1213构成。该信息输出装置121可以进一步具备配置在座椅1100的内部或者周围的扬声器(声音输出装置)。
操作状态检测器112检测操作员进行的用于使作业机械200动作的操作装置400的操作状态。例如，操作状态检测器112由传感器和运算处理装置构成，所述传感器输出与由弹簧或者弹性部件构成的弹压机构的变形量或者位移量对应的信号，所述弹簧或者弹性部件以使操作杆复原至与操作量为0对应的原位置以及姿势的方式起作用，所述运算处理装置基于该传感器的输出信号，对为了使上部回转体220从上方观察沿逆时针以某个速度回转而操作了回转杆的情况等进行推定。
在构成操作机构111的至少一个操作杆中设置有感压传感器或者接触传感器，操作状态检测器112也可以由该传感器、和推定由操作员握住该至少一个操作杆的情况的运算处理装置构成。在座椅1100设置有感压传感器或者接触传感器，操作状态检测器112也可以由该传感器、和推定操作员就座于该座椅1100的情况的运算处理装置构成。
操作状态检测器112也可以由先导压力传感器和运算处理装置构成，所述先导压力传感器输出与先导压力对应的信号，该先导压力与作业机械40中设置的实机侧操作杆的操作量对应，所述运算处理装置基于该先导压力传感器的输出信号，对为了使上部回转体420从上方观察沿逆时针以某个速度回转而操作了回转杆的情况等进行推定。
(远程操作服务器的构成)
远程操作服务器20具备状态识别元件21和环境信息控制处理元件22。状态识别元件21识别操作员对远程操作装置10(或者构成其的操作机构111)的操作状态或者作业机械40的动作状态。
环境信息控制处理元件22根据由状态识别元件21识别的远程操作装置10的操作状态或者作业机械40的动作状态的差异，以不同的方案来执行环境信息控制处理。“环境信息控制处理”是一种运算处理，用于分别对确定了在远程操作装置10的信息输出装置121中输出的环境信息的信息量的多个环境信息因子进行调节，从而降低该环境数据的数据量。
(功能)
在远程操作装置10中，由操作员对操作机构111进行操作(图4/步骤102)，与此对应地，由主控制装置100通过无线通信设备122对远程操作服务器20发送与该操作方案对应的动作指令(图4/步骤104)。
在远程操作服务器20中，通过状态识别元件21从远程操作装置10接收动作指令，且对作业机械40发送该动作指令(图4/步骤202)。
在作业机械40中，由从控制装置400通过无线通信设备402接收动作指令(图4/步骤402)。与此对应地，通过从控制装置400控制作业附件440等的动作(图4/步骤404)。例如，执行在利用铲斗445将作业机械40前方的土铲起、使上部回转体410回转后从铲斗445将土倒掉的作业。
在作业机械40中，通过环境识别装置401获取拍摄图像作为环境信息(图4/步骤406)。此时，也可以获取语音信息作为环境信息。可以将由主控制装置100通过无线通信设备122从远程操作装置10经由远程操作服务器20对作业机械40发送的操作开始指令设为开始获取环境信息的触发器。例如，在远程操作装置10中，根据通过规定方案来操作输入接口110或者构成操作机构111的按钮或操作杆，输出操作开始指令。通过环境识别装置401获取的环境信息从作业机械40发送并由远程操作服务器20接收。
在远程操作服务器20中，通过环境信息控制处理元件22执行环境信息控制处理(图4/步骤206)。“环境信息控制处理”是一种运算处理，用于对确定在远程操作装置10的信息输出装置121中输出的环境信息的信息量的多个环境信息因子分别进行调节，以降低该环境数据的数据量。具体而言，是用于以不同的方案调节多个环境信息因子的运算处理，使得多个环境信息因子中的与“低环境信息因子”对应的该信息量的下降大于“高环境信息因子”对应的该信息量的下降。根据来自远程操作装置10的动作指令以及与该动作指令对应的作业机械40的动作状态中的至少一方的操作状态的差异，以不同的方案划分高环境信息因子以及低环境信息因子，执行环境信息控制处理。
执行环境信息控制处理也可以设为，仅在判定是否需要该执行处理且该判定结果为肯定的情况下，通过环境信息控制处理元件22执行环境信息控制处理。例如，可以判定与动作指令对应的操作机构111的操作状态是否是作为环境信息控制处理的对象的指定操作状态。可以通过远程操作服务器20和作业机械40的通信，识别与该作业机械40的动作指令对应的动作状态，判定作业机械40的动作状态是否是作为环境信息控制处理的对象的指令动作状态。也可以在通过环境信息控制处理元件22，识别远程操作服务器20和远程操作装置10或者作业机械40的通信速度的前提下，判定该通信速度是否小于基准值。
图5A示出在通常状态即未执行环境信息控制处理的状态下，将确定环境信息的信息量的4个环境信息因子X1～X4各自的值，以下限值Q1为基准归一化时的基准值Q2的状况。在环境信息为图像的情况下，4个环境信息因子X1～X4例如是分辨率、帧率、像素值的维数以及输出图像范围的大小。在环境信息中包含有语音的情况下，例如，多个环境信息因子中包含采样频率、量子化位数、以及声音的频带中的至少一个。图5B～图5D分别示出在操作状态分别为第1～第3指定操作状态的情况中的、4个环境信息因子X1～X4各自的目标值或者指令值。
在第1指定操作状态中，环境信息因子X1以及X2与基准值Q2相比降低，环境信息因子X3以及X4维持在基准值Q2(参照图5B)。在该情况下，环境信息因子X3以及X4相当于“高环境信息因子”，环境信息因子X1以及X2相当于以环境信息的信息量的下降大于该高环境信息因子的方式而被调节的“低环境信息因子”。
在第2指定操作状态中，环境信息因子X3以及X4与基准值Q2相比降低，环境信息因子X3的该下降量大于环境信息因子X4的下降量，环境信息因子X1以及X2维持在基准值Q2(参照图5C)。在该情况下，环境信息因子X1以及X2相当于“高环境信息因子”，环境信息因子X3以及X4相当于以环境信息的信息量的下降大于该高环境信息因子的方式而被调节的“低环境信息因子”。进一步地，环境信息因子X4相当于“高环境信息因子(或者1次低环境信息因子)”，环境信息因子X3相当于以环境信息的信息量的下降大于该高环境信息因子的方式而被调节的“低环境信息因子(或者2次低环境信息因子)”。
在第3指定操作状态中，环境信息因子X2与基准值Q2相比降低，环境信息因子X3与基准值Q2相比增大，环境信息因子X1以及X4维持在基准值Q2(参照图5D)。在该情况下，环境信息因子X3相当于“高环境信息因子”，环境信息因子X1、X2以及X4相当于以环境信息的信息量的下降大于该高环境信息因子的方式而被调节的“低环境信息因子”。进一步，环境信息因子X1以及X4相当于“高环境信息因子(或者1次低环境信息因子)”，环境信息因子X2相当于以环境信息的信息量的下降大于该高环境信息因子的方式而被调节的“低环境信息因子(或者2次低环境信息因子)”。
例如，可以根据作业机械40的远程操作状态的不同，如表1所示地分别调节多个环境信息因子。
[表1]
Figure BDA0003393707570000081
在表1中，阻断杆上升(状态A)是操作员对作业机械40没有操作意愿的状态，使环境信息因子降低。也可以为了保持视野而维持图像范围。
阻断杆上升+握住杆(状态B)与状态A同样是操作员对作业机械40没有操作意愿的状态，但由于操作员握住操作杆，而处于使环境信息因子的降低缓和的状态。例如，是在确认沙土搬运用的卡车移动至规定位置的情况时调整的环境信息因子的状态。由于未进行挖掘等作业，因此能够降低帧率。
在进行上部回转体的回转操作(状态C)时，降低分辨率。这是为了降低由于画面高速移动而引起的画面的不清楚、不适感。另一方面，通过对图像范围设为可以增大，能够确保回转方向的视野性。
在进行下部行驶体的平移操作(状态D)时，以移动方向为主，需要精度较高的信息，期望不降低环境信息因子。在被迫降低通信负荷的情况下，通过优先维持图像范围，能够确保行驶方向的视野性。
粗挖掘操作(状态E)是到与挖掘的计划面分离的面期间重视作业速度进行挖掘的状态。帧率维持但降低其他的环境信息因子，作业上也不会有问题。期望在进行伴随着回转等的移动的作业时，不减小图像范围。
精挖掘操作(状态F)例如是对经过粗挖掘而距离挖掘的计划面的残留的沙土区域重视精度进行挖掘的状态。期望在该状态下不降低环境信息因子。在被迫降低通信负荷的情况下，在铲斗等的运转时，通过在减小图像范围的同时维持帧率，从而使环境信息因子降低而不对作业性造成影响。此外，例如设为在操作员确认作业面时等铲斗等的运转不活跃时，在降低帧率的同时维持图像范围。
此外，还假设有整地作业操作(状态D以及状态E的组合)作为上述状态的组合。期望在只进行利用铲斗的整平作业时减小图像范围，在还进行行驶操作的情况下不减小图像范围。
接着，在远程操作服务器20中，通过环境信息控制处理元件22对作业机械40发送环境信息控制指令(图4/步骤208)。环境信息控制指令中除了通常状态或者其他的指定操作状态的差别(其他的环境信息控制处理有无执行的差别)以外，还包含用于确定多个因子的调节方案的数据。
在作业机械40中，由从控制装置400通过无线通信设备402接收环境信息控制指令(图4/步骤408)。通过从控制装置400，在依照环境信息控制指令调节表示拍摄图像的环境数据的数据量的前提下，对远程操作服务器30发送该环境数据的数据量(图4/步骤410)。
在远程操作服务器20中，通过环境信息控制处理元件22从作业机械40接收环境数据，且对远程操作装置10发送该环境数据(图4/步骤210)。
在远程操作装置10中，由主控制装置100通过无线通信设备122接收环境数据(图4/步骤106)。通过主控制装置100，将与环境数据对应的环境信息(拍摄图像本身的全部或一部分或者基于此生成的模拟环境图像、进而为基于收录语音本身的全部或一部分或者基于其生成的模拟的环境语音)输出至信息输出装置121(图4/步骤108)。
由此，例如如图6A所示，在通常状态下，将包含有作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445及斗杆油缸444的环境信息分别输出至高信息输出装置121以及低信息输出装置221。在环境信息因子X1是“与通常状态相同的输出图像范围”、环境信息因子X2是“分辨率”的情况下，在第1指定操作状态(参照图5B)中，向信息输出装置121输出环境信息，该环境信息的一部分(例如，中央的矩形状区域)具有与通常状态同样的分辨率，其他的部分(例如，将该一部分区域以矩形框状包围的区域)的分辨率具有低于通常状态的分辨率。此外，在环境信息因子X1是“输出图像范围”，环境信息因子X2是“分辨率”的情况下，在第1指定操作状态中，只有一部分环境信息以分辨率低于通常状态的分辨率的状态输出至信息输出装置121(参照图6B)。
可以通过作为环境信息因子的“输出图像范围(或者与通常状态相同的输出图像范围)”指定信息输出装置121中的单一的图像区域，也可以指定多个图像区域。可以通过作为环境信息因子的“输出图像范围”指定信息输出装置121中的扩展方案(由形状、大小以及重心位置等确定)以时间序列恒定的图像区域，也可以指定包含铲斗445的图像区域等、信息输出装置121中的扩展方案以时间序列变化的图像区域。
在环境信息因子X3是“像素值的维数”、环境信息因子X4是“帧率”的情况下，在第2指定操作状态(参照图5C)中，例如将环境信息的帧率降低(24～30FPS→2～10FPS等)，且使通常状态下的包含色相以及亮度值的二维(以RGB值等三维矢量表现色相的情况下为四维)的像素值仅具有包含亮度值(灰度)的一维的像素值的环境信息向信息输出装置121输出。
在本次的环境信息的信息量与上次的环境信息的信息量相比降低的情况下，除了本次的环境信息以外，还可以从信息输出装置121输出上次之前的规定次数对应部分的环境信息。例如，在作为环境信息的本次的环境图像的分辨率与上次的环境图像的分辨率相比降低的情况下，除了本次的环境图像以外，还可以向信息输出装置121输出并显示上次或者上次之前的多次对应部分的环境图像。
(效果)
根据该构成的远程操作系统或者构成其的远程操作服务器20，通过执行“环境信息控制处理”，对确定了环境信息的信息量的多个环境信息因子分别进行调节。具体而言，以使得一个或者多个低环境信息因子的信息下降量(指由于该环境信息因子的变化而导致的环境信息的信息下降量)大于一个或者多个高环境信息因子的信息下降量的方式，降低环境数据的数据量(参照图4/步骤206、图5A～图5D)。以低环境信息因子的信息下降量相对大于高环境信息因子的信息下降量的方式调节数据量，能实现与该调节对应的该数据量的降低，乃至环境数据的通信负荷的降低。另一方面，以低环境信息因子的信息下降量相对小于高环境信息因子的信息下降量的方式调节数据量，能避免与该调节对应的该数据量的过度的降低，乃至环境数据的信息量的过度的降低。
在以不同方案划分使一个低环境信息因子成为相对于其他的低环境信息因子为高环境信息因子这样的高环境信息因子以及低环境信息因子来执行环境信息控制处理的情况下，根据操作状态的差异而扩张多个环境信息因子的调节方案的范围。因此，能够在实现用于环境信息输出的数据通信负荷的降低的同时，根据操作员对于作业机械40的操作状态，以从使该操作员适当地掌握作业机械40的环境的观点出发更精细且适当的方式避免环境信息的信息量的过度的下降。
在将使远程操作装置10以及作业机械40中的至少一方的通信速度低于基准值这一情况作为必要条件，通过环境信息控制处理元件22执行环境信息控制处理的情况下，在实现环境数据的通信负荷的降低的必要性较低的状况下可避免该环境数据的数据量的过度降低，乃至避免环境信息的信息量的过度降低。
该环境信息控制处理根据操作状态(与操作员对操作机构111的操作状态对应的动作指令以及与该动作指令对应的作业机械40的动作状态中的至少一方的状态)的差异，以不同的方案分别调节多个环境信息因子。具体而言，根据该差异，以不同的方案划分高环境信息因子以及低环境信息因子来执行(参照图5A～图5D)。因此，能够在实现用于环境信息输出的数据通信负荷的降低的同时，根据操作员对作业机械40的远程操作状态，以从使该操作员适当地掌握作业机械40的环境的观点出发较为适当的方式避免环境信息的信息量的过度的下降(参照图6A～图6B)。
(本发明的其他的实施方式)
在其他的实施方式中，可以利用构成远程操作服务器20的环境信息控制处理元件22，通过在与通常状态同样地从作业机械40接收环境数据的前提下执行环境信息控制处理，增减调节对远程操作装置10发送的环境数据的数据量。
在其他的实施方式中，远程操作服务器20或者环境信息控制处理元件22可以由主控制装置100构成，远程操作装置10以及作业机械40可以直接或者经由无线通信基站相互通信。在该情况下，可以通过利用具有与环境信息控制处理元件22同样的功能的主控制装置100执行环境信息控制处理，增减调节从作业机械40对远程操作装置10发送的环境数据的数据量。主控制装置100以及远程操作服务器20能够通过共通的处理器中的通信电路或者连接单独的处理器的通信电路来相互通信。
在其他的实施方式中，远程操作服务器20或者环境信息控制处理元件22可以由从控制装置400构成，远程操作装置10以及作业机械40可以直接或者经由无线通信基站相互通信。在该情况下，可以通过利用具有与环境信息控制处理元件22同样的功能的从控制装置400执行环境信息控制处理，增减调节从作业机械40对远程操作装置10发送的环境数据的数据量。从控制装置400以及远程操作服务器20能够通过共通的处理器中的通信电路或者连接单独的处理器的通信电路来相互通信。
在上述实施方式中，将多个环境信息因子划分成高环境信息因子以及低环境信息因子来进行调节，但作为其他的实施方式，也可以不根据远程操作装置10的至少一个指定操作状态或者作业机械40的至少一个指定动作状态来将多个环境信息因子划分为高环境信息因子和低环境信息因子，而是统一进行调节。即，可以以使距基准值Q2的下降量相同的方式，控制多个环境信息因子的全部。
在上述实施方式中，动作指令从远程操作装置10经由远程操作服务器20发送至作业机械40(参照图4/步骤104→步骤202→步骤402)，但作为其他的实施方式，动作指令可以从远程操作装置10经由无线通信基站对作业机械40发送。在该情况下，可以基于远程操作服务器20和远程操作装置10的通信结果，通过环境信息控制处理元件22识别与动作指令或者与其对应的远程操作装置10的操作状态。或者，可以基于远程操作服务器20和从作业机械40的通信结果，通过环境信息控制处理元件22识别与动作指令对应的作业机械40的动作状态。
在上述实施方式中，环境数据从作业机械40经由远程操作服务器20对远程操作装置10发送(参照图4/步骤410→步骤210→步骤106)，但作为其他的实施方式，环境数据可以从作业机械40经由无线通信基站对远程操作装置10发送。
在上述实施方式中，也可以在将执行了环境信息控制处理的情况的环境信息的信息量的下降方案输出至信息输出装置121的前提下，将通过输入接口110批准了该环境信息控制处理的执行的情况作为必要条件，执行该环境信息控制处理。
环境数据中除了表示作业机械40的外部环境的“外部环境数据”以外，还可以包含表示作业机械40的动作状态的“内部环境数据”。在该情况下，通过设置于作业附件440的、检测表示动臂以及斗杆的姿势的角度的角度传感器等来获取表示该角度的数据作为环境数据。例如，在作为作业机械40的履带起重机进行吊起作业的情况下，通过从环境数据中省略表示动臂以及斗杆的角度的数据，从而实现该环境数据的数据量的降低。
附图标记说明
10 远程操作装置
20 远程操作服务器
21 状态识别元件
22 环境信息控制处理元件
40 作业机械
100 主控制装置
110 输入接口
111 操作机构
112 操作状态检测器
120 输出接口
121 信息输出装置
122 无线通信设备
400 从控制装置
401 环境识别装置
402 无线通信设备
440 作业附件(工作机构)。

Claims (5)

1.一种远程操作服务器，具有与作业机械以及用于远程操作该作业机械的远程操作装置分别相互通信的功能，其特征在于，具备：
状态识别元件，识别操作员对所述远程操作装置的操作状态或者所述作业机械的动作状态；
环境信息控制处理元件，执行环境信息控制处理，该环境信息控制处理用于根据由所述状态识别元件识别的所述远程操作装置的操作状态或者所述作业机械的动作状态的差异，以不同的方案分别调节确定与环境数据对应的环境信息的信息量的多个环境信息因子，从而降低该环境数据的数据量，所述环境数据是在构成所述远程操作装置的信息输出装置中输出的、由所述作业机械具有的环境识别装置获取的表示所述作业机械的环境的数据。
2.如权利要求1所述的远程操作服务器，其特征在于，
所述环境信息控制处理元件通过如下方式执行所述环境信息控制处理：即，以不同的方案划分所述多个环境信息因子中的、根据由所述状态识别元件识别的所述远程操作装置的操作状态或者所述作业机械的动作状态的差异而确定的高环境信息因子以及低环境信息因子，使得与该低环境信息因子对应的所述环境信息的信息量的下降大于与该高环境信息因子对应的所述环境信息的信息量的下降。
3.如权利要求2所述的远程操作服务器，其特征在于，
所述环境信息控制处理元件以不同的方案划分使一个所述低环境信息因子成为相对于其他的所述低环境信息因子为所述高环境信息因子这样的所述高环境信息因子以及所述低环境信息因子，来执行所述环境信息控制处理。
4.如权利要求1～3中任一项所述的远程操作服务器，其特征在于，
所述环境信息控制处理元件将所述远程操作装置以及所述作业机械中的至少一方的通信速度低于基准值作为必要条件，执行所述环境信息控制处理。
5.一种远程操作系统，其特征在于，由以下部件构成：
作业机械；
远程操作装置，用于远程操作该作业机械；
远程操作服务器，具有与所述作业机械以及所述远程操作装置分别相互通信的功能，
所述远程操作服务器具备：
状态识别元件，识别操作员对所述远程操作装置的操作状态或者所述作业机械的动作状态；
环境信息控制处理元件，执行环境信息控制处理，该环境信息控制处理用于根据由所述状态识别元件识别的所述远程操作装置的操作状态或者所述作业机械的动作状态的差异，以不同的方案分别调节确定与所述环境数据对应的环境信息的信息量的多个环境信息因子，从而降低该环境数据的数据量，所述环境数据是在构成所述远程操作装置的信息输出装置中输出的、由所述作业机械具有的环境识别装置获取的表示所述作业机械的环境的数据。
CN202080041703.2A 2019-06-10 2020-04-09 远程操作系统以及远程操作服务器 Pending CN113994051A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-108275 2019-06-10
JP2019108275A JP7310338B2 (ja) 2019-06-10 2019-06-10 遠隔操作システムおよび遠隔操作サーバ
PCT/JP2020/016053 WO2020250557A1 (ja) 2019-06-10 2020-04-09 遠隔操作システムおよび遠隔操作サーバ

Publications (1)

Publication Number Publication Date
CN113994051A true CN113994051A (zh) 2022-01-28

Family

ID=73743828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080041703.2A Pending CN113994051A (zh) 2019-06-10 2020-04-09 远程操作系统以及远程操作服务器

Country Status (5)

Country Link
US (1) US20220213666A1 (zh)
EP (1) EP3951096A4 (zh)
JP (1) JP7310338B2 (zh)
CN (1) CN113994051A (zh)
WO (1) WO2020250557A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022144601A (ja) * 2021-03-19 2022-10-03 コベルコ建機株式会社 遠隔操作支援サーバおよび遠隔操作支援システム
JP2023149698A (ja) * 2022-03-31 2023-10-13 日立建機株式会社 作業機械及び遠隔操作型作業機械システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (ja) * 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd 監視システム
JP2003076978A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Works Ltd 画像処理検査システム
JP2013152587A (ja) * 2012-01-25 2013-08-08 Toyota Motor Corp 移動体情報処理システム
CN205116262U (zh) * 2015-11-04 2016-03-30 邵阳学院 可远程操控的挖掘机
JP2017092908A (ja) * 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7398137B2 (en) * 2004-08-25 2008-07-08 Caterpillar Inc. System and method for remotely controlling machine operations using mapping information
US20170277163A1 (en) * 2014-11-28 2017-09-28 Komatsu Ltd. Communication System and Work Vehicle
JP7318258B2 (ja) * 2019-03-26 2023-08-01 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作サーバ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292439A (ja) * 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd 監視システム
JP2003076978A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Works Ltd 画像処理検査システム
JP2013152587A (ja) * 2012-01-25 2013-08-08 Toyota Motor Corp 移動体情報処理システム
CN205116262U (zh) * 2015-11-04 2016-03-30 邵阳学院 可远程操控的挖掘机
JP2017092908A (ja) * 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム

Also Published As

Publication number Publication date
WO2020250557A1 (ja) 2020-12-17
EP3951096A1 (en) 2022-02-09
US20220213666A1 (en) 2022-07-07
JP7310338B2 (ja) 2023-07-19
JP2020200659A (ja) 2020-12-17
EP3951096A4 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
CN113994052B (zh) 远程操作系统及远程操作服务器
CN106661867B (zh) 挖土机及其控制方法
US11447928B2 (en) Display system, display method, and remote control system
CN108779614B (zh) 作业机械
CN111868335B (zh) 远程操作系统以及主操作装置
CN113994051A (zh) 远程操作系统以及远程操作服务器
JP2016079677A (ja) 領域制限掘削制御装置及び建設機械
CN113597772A (zh) 远程操作系统
CN113423543B (zh) 作业机械用显示系统
CN112601864B (zh) 作业机械
JP2021114757A (ja) 作業機械の遠隔操作システム及び作業機械の遠隔操作方法
WO2020170527A1 (ja) 作業機械用周辺監視装置
US11939744B2 (en) Display system, remote operation system, and display method
CN114787453B (zh) 远程操作装置及远程操作系统
US11993922B2 (en) Remote operation system
US20220298748A1 (en) Remote operation support system and remote operation support method
JP7441733B2 (ja) 実機状態監視システムおよび実機状態監視方法
US20220303472A1 (en) Image capturing function control system and image capturing function control method
CN115699796A (zh) 远程操作辅助装置及远程操作辅助方法
JP2023083245A (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220128