CN113994052B - 远程操作系统及远程操作服务器 - Google Patents

Abstract

本发明提供一种系统等，在实现用于环境信息输出的数据通信负荷降低的同时，能以从根据多个操作员各自的远程操作技能等而由该多个操作员各自适当掌握作业机械的环境的观点出发适当的方式来避免环境信息的信息量的过度降低。根据远程操作系统或构成该系统的远程操作服务器(20)，通过根据操作员的技能等执行“通信资源分配处理”，对多个远程操作装置(10)分配通信资源。通过执行“环境信息控制处理”，以一个或多个低环境信息因子的信息降低量比一个或多个高环境信息因子的信息降低量(表示该环境信息因子的变化引起的环境信息的信息降低量)更大的方式降低环境数据的数据量。根据分配资源的差异以不同的方案执行该环境信息控制处理。

Description

远程操作系统及远程操作服务器

技术领域

本发明涉及用于远程操作作业机械等的系统。

背景技术

在工程机械等作业机械的远程操作时，为了时作业机械事顺畅地作业，必须使通信不中断。已提出有一种方法，在推测到操作员没有对作业机械进行远程操作的意愿的状态(例如，乘降阻断杆上升的状态)下，限制对该操作员提供的影像的信息量，或者仅选择性地提供以作业机械为基准的多个不同方位的影像中与作业机械的上部回转体的回转方向对应的方位的影像(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2017-092908号公报

发明内容

发明要解决的技术问题

但是，在上述那样的状态下，如果限制影像的信息量或者仅选择性地输出特定方位的影像，则有可能导致操作员变得难以掌握作业机械的环境。

于是，本发明的目的在于提供一种系统等，在实现用于环境信息输出的数据通信负荷降低的同时，能够从根据多个操作员各自的远程操作技能等而由该多个操作员各自适当地掌握作业机械的环境的观点出发，以适当的方式来避免环境信息的信息量的过度降低。

用于解决上述技术问题的方案

本发明的远程操作服务器具有与多个作业机械以及用于对该多个作业机械中成为远程操作对象的一个作业机械进行远程操作的多个远程操作装置各自相互通信的功能，其特征在于，具备：状态识别元件，对表示所述多个远程操作装置各自的操作员的远程操作技能的高低以及通过所述一个作业机械的作业内容的难易度的高低中的至少一方的指标值进行识别；通信资源分配处理元件，基于由所述状态识别元件识别出的所述指标值，执行用于对所述多个远程操作装置各自分配用于与所述一个作业机械相互通信的通信资源的通信资源分配处理；环境信息控制处理元件，执行环境信息控制处理，该环境信息控制处理用于根据由所述通信资源分配处理元件分配的通信资源的差异而以不同的方案分别调节确定与环境数据对应的环境信息的信息量的多个环境信息因子，从而降低该环境数据的数据量，所述环境数据是在构成所述远程操作装置的信息输出装置中输出的、由所述作业机械具有的环境识别装置获取到的表示所述作业机械的环境的数据。

本发明的远程操作系统的特征在于，由多个作业机械、用于对该多个作业机械中成为远程操作对象的一个作业机械进行远程操作的多个远程操作装置、以及所述远程操作服务器构成。

附图说明

图1是关于作为本发明的一实施方式的远程操作系统的构成的说明图。

图2是关于作业机械的构成的说明图。

图3是关于远程操作装置的构成的说明图。

图4是关于作为本发明的一实施方式的远程操作系统的功能的说明图。

图5是关于对各远程操作装置的通信资源的分配方案的说明图。

图6是关于对各远程操作装置的通信资源的分配方案的说明图。

图7A是关于通常状态中的环境信息因子的控制方案的说明图。

图7B是关于与环境信息控制处理对应的环境信息因子的第1控制方案的说明图。

图7C是关于与环境信息控制处理对应的环境信息因子的第2控制方案的说明图。

图7D是关于与环境信息控制处理对应的环境信息因子的第3控制方案的说明图。

图8A是关于通常状态中的环境信息的说明图。

图8B是关于环境信息控制处理时的环境信息的说明图。

图9是关于作业机械的作业现场中的通信速度的时间序列的说明图。

具体实施方式

(构成)

作为图1所示的本发明的一实施方式的远程操作系统具备多个远程操作装置10、远程操作服务器20、多个作业机械40。

(作业机械的构成)

多个作业机械40各自具备从控制装置400、环境识别装置401、无线通信设备402、工作机构440。从控制装置400由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。

作业机械40例如是履带式挖掘机(工程机械)，如图2所示，具备履带式的下部行驶体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设有驾驶室(司机室)422。在上部回转体220的前方中央部设有作业附件440。多个作业机械40中也可以包含履带式挖掘机及履带式起重机等多个种类的作业机械。

作为工作机构的作业附件440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。

动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。

环境识别装置401由拍摄装置构成，该拍摄装置例如设置在驾驶室422的内部，透过驾驶室422的前窗对包含至少一部分工作机构440的环境进行拍摄。环境识别装置401也可以具备由麦克风等构成的声音输入装置。

在驾驶室422设有：实机侧操作杆，与构成远程操作装置10的操作杆(后述)相对应；驱动机构或机器人，从远程操作室接收与各操作杆的操作方案对应的信号，并基于该接收信号使实机操作杆动作。

(远程操作装置的构成)

多个远程操作装置10各自具备主控制装置100、输入接口110、输出接口120。远程操作装置10的至少一部分也可以由智能手机、平板终端或笔记本电脑等移动终端装置构成。主控制装置100由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。

输入接口110具备操作机构111、操作状态检测器112。输出接口120具备信息输出装置121、无线通信设备122。

操作机构111包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置、阻断操作装置。各操作装置具有接受转动操作的操作杆。为了使下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(arm lever))。为了使铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。

阻断操作装置的操作杆(阻断杆)以即使对所述行驶杆等各操作杆进行操作，作业机械40也不会动作的方式进行锁定，另一方面，可操作阻断杆以解除该锁定。

构成操作机构111的各操作杆例如如图3所示，配置在用于供操作员就座的座椅1100的周围。座椅1100是带扶手的高背椅那样的形式，也可以是没有头枕的低背椅那样的形式、或者是没有靠背的椅子那样的形式等操作员能够就座的任意的形式。

在座椅1100的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆1110。一个操作杆可以兼作多种操作杆。例如，在对图3所示的设置于座椅1100的右侧框体的前方的右侧操作杆1111沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，在对图3所示的设置于座椅1100的左侧框体的前方的左侧操作杆1112沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。可以根据操作员的操作指示任意地变更杆模式。

在座椅1100的左侧框体的前方，设置在左侧操作杆1112的下方的阻断杆1113在上升的情况下以即使对各操作杆1110、1111、1112进行操作，作业机械40也不会动作的方式进行锁定，另一方面，在下降的情况下，作为用于解除该锁定的操作杆发挥功能。

例如，如图3所示，信息输出装置121由分别配置在座椅1100的右斜前方、前方及左斜前方的右斜前方图像输出装置1211、前方图像输出装置1212及左斜前方图像输出装置1213构成。该信息输出装置121可以进一步具备配置于座椅1100的内部或周围的扬声器(语音输出装置)。

操作状态检测器112检测操作员对用于使作业机械200动作的操作装置400的操作状态。例如，操作状态检测器112由传感器与运算处理装置构成，所述传感器输出与由弹簧或弹性部件构成的弹压机构的变形量或位移量对应的信号，所述弹簧或弹性部件以使操作杆复原至与操作量为0相对应的原位置及姿势的方式起作用；所述运算处理装置基于该传感器的输出信号，对为了使上部回转体220从上方观察沿逆时针以某个速度回转而操作了回转杆的情况等进行推定。

可以是，在构成操作机构111的至少一个操作杆设有压力传感器或接触传感器，操作状态检测器112由该传感器与对该至少一个操作杆被操作员握住的情况进行推定的运算处理装置构成。也可以是，在座椅1100设有压力传感器或接触传感器，操作状态检测器112由该传感器与对操作员就座于该座椅1100的情况进行推定的运算处理装置构成。

操作状态检测器112也可以由先导压力传感器与运算处理装置构成，所述先导压力传感器输出与先导压力对应的信号，该先导压力与设置于作业机械40的实机侧操作杆的操作量对应；所述运算处理装置基于该先导压力传感器的输出信号，对为了使上部回转体420从上方观察沿逆时针以某个速度回转而操作了回转杆的情况等进行推定。

(远程操作服务器的构成)

远程操作服务器20具备状态识别元件21、通信资源分配处理元件22、环境信息控制处理元件23。状态识别元件21可与远程操作装置10、作业机械40通信。此外，也可以与远程操作服务器20独立地或一体地设置数据库服务器，构成为使该数据库服务器与远程操作服务器20可通信。

状态识别元件21基于与远程操作装置10、作业机械40及数据库服务器中的至少一个的通信，对表示多个远程操作装置10各自的操作员的远程操作技能的高低以及通过作为远程操作对象的一个作业机械的作业内容的难易度的高低中的至少一方的指标值进行识别。状态识别元件21基于与远程操作装置10及作业机械40中的任一方的通信，对操作员对远程操作装置10(或者构成它的操作机构111)的操作状态及作业机械40的动作状态中的至少一方进行识别。

通信资源分配处理元件22基于由状态识别元件21识别出的指标值，执行通信资源分配处理。“通信资源分配处理”是用于对多个远程操作装置10各自分配通信资源的运算处理，该通信资源用于与一个作业机械40相互通信。

环境信息控制处理元件23执行用于根据由通信资源分配处理元件22对多个远程操作装置10各自分配的通信资源的差异而以不同的方案进行调节的环境信息控制处理。环境信息控制处理元件23根据由状态识别元件21识别出的远程操作装置10的操作状态或作业机械40的动作状态的差异而以不同的方案执行环境信息控制处理。“环境信息控制处理”是用于对确定在远程操作装置10的信息输出装置121中输出的环境信息的信息量的多个环境信息因子各自进行调节从而降低该环境数据的数据量的运算处理。

(功能)

通过状态识别元件21，基于与远程操作装置10、作业机械40及数据库服务器中的至少一个的通信，对表示多个远程操作装置10各自的操作员的远程操作技能的高低以及通过作为远程操作对象的一个作业机械的作业内容的难易度的高低的指标值进行识别(图4/步骤202)。通过与一个远程操作装置10的相互通信，能够通过状态识别元件21识别操作该一个远程操作装置10的操作员。通过与数据库服务器的通信，能够通过在该数据库中进行查询从而通过状态识别元件21识别对该操作员分配的作业内容。

表示各操作员Pi(i＝1，2，‥，N)的远程操作技能的高低的指标值xi及表示各作业Tj(j＝1，2，‥，M)的难易度的高低的指标值yj被存储保存于数据库服务器、或者构成远程操作装置10(主控制装置100)或作业机械40(从控制装置400)的存储装置。指标值xi是基于对多个不同的作业各自的完成次数(完成次数越多，技能越高)、对多个不同的作业各自的平均完成时间(平均完成时间越短，技能越高)、以及操作失误的次数(失误越少，技能越高)等要素进行评分来评价的。指标值yi是基于各作业的平均完成时间(平均完成时间越长，难易度越高)以及各操作员对操作机构111的操作频次(频次越高，难易度越高)等要素进行评分来评价的。

表1中示出了具有技能xi的操作员Pi(i＝1～4)各自在时间段t0～t3中完成的作业内容及其难易度。第1操作员P1在时间段t0～t1中完成作业Q1(难易度y1)，接着在时间段t1～t1中完成作业Q2(难易度y2)。第2操作员P2在时间段t0～t1中完成作业Q2(难易度y2)，接着在时间段t1～t3中完成作业Q1(难易度y1)。第3操作员P3在时间段t0～t3中始终完成作业Q1(难易度y1)。第4操作员P4仅在时间段t2～t3中完成作业Q2(难易度y2)。

指标值zi是以技能xi为主变量的减函数(技能xi越高，指标值zi变得越小)，另一方面，是以作业难易度yi为主变量的增函数(作业难易度yi越高，指标值zi变得越大)。指标值zi例如按照关系式(1)评价。

zi＝yi/xi‥ (1)。

[表1]

通信资源分配处理元件22基于由状态识别元件21识别出的指标值，执行通信资源分配处理。“通信资源分配处理”是用于对多个远程操作装置10各自分配通信资源的运算处理，该通信资源用于与一个作业机械40相互通信。

以对各远程操作装置10分配的通信资源Bi的合计ΣBi达到通信资源的最大值Bmax以下的方式执行通信资源分配处理(图4/步骤204)。例如，对由操作员Pi操作的远程操作装置10分配的通信资源Bi基于指标值zi、在相同时间点或相同期间成为通信资源的分配对象的各操作员的指标值zi的合计Σzi及通信资源的最大值Bmax，按照关系式(2)进行设定。

Bi＝Bmax·zi/(Σzi+δ)‥ (2)。

关系式δ为调整系数，例如，在作业难易度yi的合计值Σyi为基准值以上的情况下设定为“0”，在作业难易度yi的合计值Σyi低于基准值的情况下，设定为该差值越大，则越阶段性或连续性变大的正值。

在图5示出了对如表1所示那样由4个操作员Pi各自通过独立的远程操作装置10通过独立的作业机械40完成作业的情况下的、各期间[t0，t1]、[t1，t2]及[t2，t3]中的各远程操作装置10的通信资源Bi的分配方案。图6中，通信资源B1的时间变化方案以一点划线示出，通信资源B2的时间变化方案以两点划线示出，通信资源B3的时间变化方案以实线示出，通信资源B4的时间变化方案以虚线示出。通信资源Bi例如是通信速度(每单位时间的通信容量)。

在期间[t0，t1]中，存在B1＜B3＜B2的大小关系。这是因为虽然第1操作员P1及第3操作员P3各自完成共通的第1作业Q1，但是第1操作员P1的技能x1比第3操作员P3的技能x3更高。此外，是因为第2操作员P2的技能x2比第3操作员P3的技能x3稍高，但另一方面，第1作业Q1的难易度y1比第2作业Q2的难易度y2更高。ΣBi＝B1+B2+B3低于通信资源的最大值Bmax，这是因为作业难易度yi的合计值Σyi＝2y1+y2低于基准值(关系式(2)中δ＞0)。

在期间[t1，t2]中，存在B2＜B3＜B1的大小关系。这是因为虽然第2操作员P2及第3操作员P3各自完成共通的第1作业Q1，但是第2操作员P2的技能x2比第3操作员P3的技能x3更高。此外，是因为第1操作员P1的技能x2比第3操作员P3的技能x3更高，但另一方面，第1作业Q1的难易度y1比第2作业Q2的难易度y2更高。ΣBi＝B1+B2+B3低于通信资源的最大值Bmax，这是因为作业难易度yi的合计值Σyi＝y1+2y2低于基准值(关系式(2)中δ＞0)。通信资源B3在期间[t0，t1]及[t1，t2]中维持恒定。

在期间[t2，t3]中，存在B2＜B3＜B1＜B4的大小关系。这是因为，除了关于期间[t1，t2]的上述理由外，还因为虽然第1操作员P1及第3操作员P3各自完成共通的第1作业Q1，但是第1操作员P1的技能x1比第4操作员P4的技能x4更高。ΣBi＝B1+B2+B3+B4与通信资源的最大值Bmax相等，这是因为作业难易度yi的合计值Σyi＝2y1+2y2为基准值以上(关系式(2)中δ＝0)。比起期间[t1，t2]，通信资源B1、B2及B3各自在期间[t2，t3]中降低，这是因为对第4操作员P4操作的远程操作装置10也分配了一部分通信资源。

在远程操作装置10中，由操作员对操作机构111进行操作(图4/步骤102)，与此对应地，由主控制装置100通过无线通信设备122对远程操作服务器20发送与该操作方案对应的操作指令(图4/步骤104)。

在远程操作服务器20中，由状态识别元件21从远程操作装置10接收动作指令，并且对作业机械40发送该动作指令(图4/步骤206)。

在作业机械40中，由从控制装置400通过无线通信设备402接收动作指令(图4/步骤402)。与此对应地，由从控制装置400控制作业附件440等的动作(图4/步骤404)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后从铲斗445将土倒落的作业。

在作业机械40中，由环境识别装置401获取拍摄图像作为环境信息(图4/步骤406)。此时，也可以获取语音信息作为环境信息。可以将由主控制装置100通过无线通信设备120从远程操作装置10经由远程操作服务器20对作业机械40发送了操作开始指令的情况设为开始获取环境信息的触发器(trigger)。操作开始指令例如根据在远程操作装置10中以规定方案对构成输入接口110或操作机构111的按钮或操作杆进行了操作的情况而输出。由环境识别装置401获取到的环境信息从作业机械40发送，被远程操作服务器20接收。

在远程操作服务器20中，由环境信息控制处理元件23执行环境信息控制处理(图4/步骤210)。“环境信息控制处理”是用于对确定在远程操作装置10的信息输出装置121中输出的环境信息的信息量的多个环境信息因子各自进行调节从而降低该环境数据的数据量的运算处理。具体而言，是用于以不同的方案调节多个环境信息因子，使得多个环境信息因子中比起“高环境信息因子”，与“低环境信息因子”对应的该信息量的降低更大的运算处理。

环境信息控制处理可设为，判定是否需要该执行处理，仅在该判定结果为肯定的情况下，由环境信息控制处理元件23执行环境信息控制处理。例如，可以判定与动作指令对应的操作机构111的操作状态是否是作为环境信息控制处理的对象的指定操作状态。也可以通过远程操作服务器20与作业机械40的通信来识别该作业机械40的与动作指令对应的动作状态，判定作业机械40的动作状态是否是作为环境信息控制处理的对象的指定动作状态。也可以由环境信息控制处理元件23在识别出远程操作服务器20与远程操作装置10或作业机械40的通信速度之后，判定该通信速度是否低于基准值。

根据对远程操作装置10分配的通信资源的差异而以不同的方案执行环境信息控制处理。以不同的方案划分高环境信息因子及低环境信息因子来执行环境信息控制处理，使得例如对远程操作装置10分配的通信资源越多，被划分为高环境信息因子的环境信息因子的数量变得越少，另一方面，例如对远程操作装置10分配的通信资源越少，被划分为高环境信息因子的环境信息因子的数量变得越多。

进一步地，根据来自远程操作装置10的动作指令及与该动作指令对应的作业机械40的动作状态中的至少一方的操作状态的差异，以不同的方案划分高环境信息因子及低环境信息因子来执行环境信息控制处理。

在图7A中，示出了在通常状态、即在未执行环境信息控制处理的状态下，确定环境信息的信息量的4个环境信息因子X1～X4各自的值为将下限制Q1作为基准进行归一化时的基准值Q2的情况。在环境信息为图像的情况下，4个环境信息因子X1～X4例如为分辨率、帧率、像素值的维数及输出图像范围的宽度。在环境信息中包含语音的情况下，例如，多个环境信息因子中包含采样频率、量化比特数及声音的频带中的至少一个。在图7B～图7D各自示出了操作状态分别为第1～第3指定操作状态的情况下的、4个环境信息因子X1～X4各自的目标值或指令值。

在第1指定操作状态中，环境信息因子X1及X2降低为比基准值Q2低，环境信息因子X3及X4维持为基准值Q2(参照图7B)。该情况下，环境信息因子X3及X4相当于“高环境信息因子”，环境信息因子X1及X2相当于以环境信息的信息量的降低比该高环境信息因子更大的方式被调节的“低环境信息因子”。

在第2指定操作状态中，环境信息因子X3及X4降低为比基准值Q2低，环境信息因子X3的该降低量比环境信息因子X4更大，环境信息因子X1及X2维持为基准值Q2(参照图7C)。该情况下，环境信息因子X1及X2相当于“高环境信息因子”，环境信息因子X3及X4相当于以环境信息的信息量的降低比该高环境信息因子更大的方式被调节的“低环境信息因子”。进一步地，环境信息因子X4相当于“高环境信息因子(或者1次低环境信息因子)”，环境信息因子X3相当于以环境信息的信息量的降低比该高环境信息因子更大的方式被调节的“低环境信息因子(或者2次低环境信息因子)”。

在第3指定操作状态中，环境信息因子X2降低为比基准值Q2低，环境信息因子X3增大为比基准值Q2大，环境信息因子X1及X4维持为基准值Q2(参照图7D)。该情况下，环境信息因子X3相当于“高环境信息因子”，环境信息因子X1、X2及X4相当于以环境信息的信息量的降低比该高环境信息因子更大的方式被调节的“低环境信息因子”。进一步地，环境信息因子X1及X4相当于“高环境信息因子(或者1次低环境信息因子)”，环境信息因子X2相当于以环境信息的信息量的降低比该高环境信息因子更大的方式被调节的“低环境信息因子(或者2次低环境信息因子)”。

例如，也可以根据作业机械40的远程操作状态的区别，如表2所示那样分别调节多个环境信息因子。

[表2]

在表2中，阻断杆上升(状态A)是操作员没有对作业机械40的操作意愿的状态，使环境信息因子降低。为了保持视野，也可以对图像范围进行维持。

阻断杆上升+握住杆(状态B)虽然与状态A同样是操作员没有对作业机械40的操作意愿的状态，但其为通过由操作员握住操作杆而将环境信息因子的降低减缓的状态。例如，是对将搬运沙土用的卡车移动至规定位置的情况进行确认时调整的环境信息因子的状态。由于不进行挖掘等作业，因此能够降低帧率。

在进行上部回转体的回转操作(状态C)时，降低了分辨率。这是为了降低因画面以高速移动而引起的画面的难以辨认和不适感。另一方面，对于图像范围通过设为可增大，能够确保回转方向的可见性。

在进行下部行驶体的平移操作(状态D)时，主要对移动方向需要高精度的信息，期望不降低环境信息因子。在通信负荷被迫降低的情况下，通过优先维持图像范围从而能够确保行驶方向的可见性。

粗挖掘操作(状态E)是到与挖掘的计划面分离的面期间重视作业速度进行挖掘的状态。虽然维持帧率，但即使降低其他环境信息因子在作业上也不会成为问题。在进行伴随回转等移动的作业时，期望不降低图像范围。

精挖掘操作(状态F)例如是对经过粗挖掘而距离挖掘的计划面的残留的沙土区域重视精度进行挖掘的状态。在该状态下期待不降低环境信息因子。在通信负荷被迫降低的情况下，通过在铲斗等运转时，降低图像范围的同时维持帧率，从而在不对作业性造成影响的情况下使环境信息因子降低。此外例如操作员确认作业面时等、在铲斗等的运转迟缓时，在降低帧率的同时维持图像范围。

此外，也假设有整地作业操作(状态D及状态E的组合)作为上述的状态的组合。期望在仅由铲斗进行整平作业时降低图像范围，在还进行行驶操作的情况下不降低图像范围。

接着，在远程操作服务器20中，由环境信息控制处理元件23对作业机械40发送环境信息控制指令(图4/步骤212)。在环境信息控制指令中，除了通常状态或指定操作状态的区别(有无执行环境信息控制处理的区别)以外，还包含用于确定多个因子的调节方案的数据。

在作业机械40中，由从控制装置400通过无线通信设备402接收环境信息控制指令(图4/步骤408)。由从控制装置400将表示拍摄图像的环境数据的数据量按照环境信息控制指令进行调节的前提下，对远程操作服务器30发送该环境数据的数据量(图4/步骤410)。

在远程操作服务器20中，由环境信息控制处理元件23从作业机械40接收环境数据，并且对远程操作装置10发送该环境数据(图4/步骤214)。

在远程操作装置10中，由主控制装置100通过无线通信设备122接收环境数据(图4/步骤106)。由主控制装置100将与环境数据对应的环境信息(拍摄图像本身的全部或一部分或者基于此生成的模拟环境信息)输出至信息输出装置121(图4/步骤108)。

由此，在通常状态下，例如如图8A所示，将包含有作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445及斗杆油缸444的环境信息分别输出至高信息输出装置121及低信息输出装置221。在环境信息因子X1为“与通常状态相同的输出图像范围”、环境信息因子X2为“分辨率”的情况下，在第1指定操作状态(参照图7B)中，将环境信息的一部分(例如，中央的矩形状区域)具有与通常状态相同的分辨率、其他部分(例如，将该一部分的区域以矩形框状包围的区域)的分辨率具有比通常状态更低的分辨率的环境信息输出至信息输出装置121。此外，在环境信息因子X1为“输出图像范围”、环境信息因子X2为“分辨率”的情况下，在第1指定操作状态中，仅将环境信息的一部分以比通常状态降低了分辨率的状态输出至信息输出装置121(参照图8B)。

可以通过作为环境信息因子的“输出图像范围(或者与通常状态相同的输出图像范围)”来指定信息输出装置121中的单个图像区域，也可以指定多个图像区域。可以根据作为环境信息因子的“输出图像范围”来指定信息输出装置121中的扩展方式(由形状、尺寸及重心位置等来确定)在时间序列上恒定的图像区域，也可以指定包含铲斗445的图像区域等、信息输出装置121中的扩展方式在时间序列上变化的图像区域。

在环境信息因子X3为“像素值的维数”、环境信息因子X4为“帧率”的情况下，在第2指定操作状态(参照图5C)中，例如将环境信息的帧率降低(24～30FPS→2～10FPS等)、并且使通常状态下的包含色相及亮度值的二维(色相以RGB值等三维向量来表现的情况下为四维)的像素值仅具有包含亮度值(灰度)的一维的像素值的环境信息输出至信息输出装置121。

在本次的环境信息的信息量比上次的环境信息的信息量降低的情况下，除了本次的环境信息以外，也可以从信息输出装置121输出上次以前的规定次数的环境信息。例如，在作为环境信息的本次的环境图像的分辨率比上次的环境图像的分辨率降低的情况下，除了本次的环境图像以外，也可以将上次或者上次以前的多次的环境图像输出显示于信息输出装置。

(效果)

根据该构成的远程操作系统或者构成该远程操作系统的远程操作服务器20，可根据指标值执行通信资源分配处理(参照图4/步骤204、图5及图6)。“指标值”是表示多个远程操作装置10各自的操作员的远程操作技能的高低以及通过成为远程控制对象的一个作业机械的作业内容的难易度的高低中的至少一方的值(参照关系式(1))。因此，鉴于各操作员的远程操作技能的高低以及通过作业机械40的作业内容的难易度的高低中的一方或双方，以适当的方式对各远程操作装置分配通信资源。

此外，通过执行“环境信息控制处理”，对确定环境信息的信息量的多个环境信息因子各自进行调节。具体而言，以一个或多个低环境信息因子的信息降低量比一个或多个高环境信息因子的信息降低量(表示该环境信息因子的变化引起的环境信息的信息降低量)更大的方式降低环境数据的数据量(参照图4/步骤210、图7A～图7D)。以低环境信息因子的信息降低量·BR>相比于高环境信息因子的信息降低量相对变大的方式调节数据量，相应地实现该数据量的降低，进而实现环境数据的通信负荷的降低。另一方面，以高环境信息因子的信息降低量相比于低环境信息因子的信息降低量相对变小的方式调节数据量，相应地可以避免该数据量的过度降低，进而可以避免环境信息的信息量的过度降低。

由此，在实现用于环境信息输出的数据通信负荷降低的同时，鉴于操作员的远程操作技能以及作业内容的难易度，可以为了由该操作员适当地掌握作业机械的环境而以适当的方式来避免环境信息的信息量的过度降低。

在以不同方案划分使一个低环境信息因子成为相对于其他的低环境信息因子为高环境信息因子这样的高环境信息因子以及低环境信息因子来执行环境信息控制处理的情况下，由于根据操作状态的差异，多个环境信息因子的调节方案的范围被扩张，因此，在实现用于环境信息输出的数据通信负荷降低的同时，根据操作员对作业机械的操作状态，以从由该操作员适当地掌握作业机械的环境的观点出发更细致且适当的方式来避免环境信息的信息量的过度降低。

该环境信息控制处理根据对各远程操作装置的通信资源的分配方案的差异而以不同的方案对多个环境信息因子各自进行调节。进一步地，该环境信息控制处理根据操作状态(与操作员对操作机构111的操作状态对应的动作指令以及与该动作指令对应的作业机械40的动作状态中的至少一方的状态)的差异而以不同的方案对多个环境信息因子各自进行调节。具体而言，根据该差异，以不同的方案划分高环境信息因子及低环境信息因子并执行(参照图7A～图7D)。由此，可在实现用于环境信息输出的数据通信负荷降低的同时，根据操作员对作业机械40的远程操作状态，以从由该操作员适当地掌握作业机械40的环境的观点出发较为适当的方式来避免环境信息的信息量的过度降低(参照图8A～图8B)。

(本发明的其他的实施方式)

在上述实施方式中，设为识别每个时间段的作业内容(作业难易度)(图4/步骤202)并执行通信资源分配处理(图4/步骤204)，但作为另一实施方式，也可以设为对作业内容(作业难易度)添加作业现场的每个时间段的通信速度。例如，如图9所示，记录有作业机械40与远程操作服务器20的每个时间段的过去30天的通信速度的平均值A。也可以是，若鉴于当前的通信速度B与通信速度的平均值A而判定为进行作业的时间段的通信速度有余量，则判定为没有通信速度引起的难易度变化，另一方面，若判定为通信速度没有余量，则判定为因通信速度的降低而需要针对作业难易度要求大量必要的技能。

在其他的实施方式中，也可以通过构成远程操作服务器20的环境信息控制处理元件23，在与通常状态同样地从作业机械40接收到环境数据之后，执行环境信息控制处理，由此来增减调节对远程操作装置10发送的环境数据的数据量。

在其他的实施方式中，也可以由主控制装置100构成远程操作服务器20或环境信息控制处理元件23，远程操作装置10及作业机械40直接或经由无线通信基站进行相互通信。在该情况下，也可以通过由具有与环境信息控制处理元件23相同的功能的主控制装置100执行环境信息控制处理，增减调节从作业机械40对远程操作装置10发送的环境数据的数据量。主控制装置100及远程操作服务器20能够通过共通的处理器中的通信电路或者将独立的处理器连接的通信电路相互进行通信。

在其他的实施方式中，也可以由从控制装置400构成远程操作服务器20或环境信息控制处理元件23，远程操作装置10及作业机械40直接或经由无线通信基站进行相互通信。在该情况下，也可以通过由具有与环境信息控制处理元件23相同的功能的从控制装置400执行环境信息控制处理，增减调节从作业机械40对远程操作装置10发送的环境数据的数据量。从控制装置400及远程操作服务器20能够通过共通的处理器中的通信电路或者将独立的处理器连接的通信电路相互进行通信。

在上述实施方式中，多个环境信息因子被划分为高环境信息因子及低环境信息因子来调节，但作为另一实施方式，多个环境信息因子也可以根据远程操作装置10的至少一个指定操作状态或者作业机械40的至少一个指定动作状态同样地进行调节，而不是被划分为高环境信息因子及低环境信息因子。即，也可以控制为使得多个环境信息因子从基准值Q2的降低量全部相同。

在上述实施方式中，从远程操作装置10经由远程操作服务器20对作业机械40发送动作指令(参照图4/步骤104→步骤204→步骤402)，但作为另一实施方式，也可以从远程操作装置10经由无线通信基站对作业机械40发送动作指令。在该情况下，也可以基于远程操作服务器20与远程操作装置10的通信结果，通过环境信息控制处理元件23对动作指令或者与之对应的远程操作装置10的操作状态进行识别。或者，也可以基于远程操作服务器20与作业机械40的通信结果，通过环境信息控制处理元件23对与动作指令对应的作业机械40的动作状态进行识别。

在上述实施方式中，从作业机械40经由远程操作服务器20对远程操作装置10发送环境数据(参照图4/步骤410→步骤214→步骤106)，但作为另一实施方式，也可以从作业机械40经由无线通信基站对远程操作装置10发送环境数据。

在上述实施方式中，也可以在将执行了环境信息控制处理的情况下的环境信息的信息量的降低方案输出至信息输出装置121之后，以通过输入接口110允许该环境信息控制处理的执行作为必要条件，执行该环境信息控制处理。

也可以通过由通信资源分配处理元件22识别将由状态识别元件21识别出的指标值zi(或者xi及yi)输出至指定输出装置，对通过指定输入装置被输入的多个远程操作装置10各自分配通信资源的方案，从而执行所述通信资源分配处理。指定输出装置及指定输入装置也可以构成智能手机、平板终端或者笔记本电脑等管理员(manager)所管理的终端装置。根据输出至指定输出装置的指标值，能够辅助与对多个远程操作装置10各自的通信资源的分配相关的管理员(manager)所进行的研究及考察。此外，通过指定输入装置，可使该管理员进行与该研究结果对应的对各远程操作装置10的适当的通信资源的分配。

在环境数据中，除了表示作业机械40的外部环境的“外部环境数据”之外，还可以包含表示作业机械40的动作状态的“内部环境数据”。在该情况下，通过设置于作业附件440且对表示动臂及斗杆的姿势的角度进行检测的角度传感器等，获取表示该角度的数据作为环境数据。例如，在作为作业机械40的履带式起重机进行悬吊作业的情况下，通过将表示动臂及斗杆的角度的数据从环境数据中省略，能够实现该环境数据的数据量的降低。

附图标记说明

10 远程操作装置

20 远程操作服务器

21 状态识别元件

22 通信资源分配处理元件

23 环境信息控制处理元件

40 作业机械

100 主控制装置

110 输入接口

111 操作机构

112 操作状态检测器

120 输出接口

121 信息输出装置

122 无线通信设备

400 从控制装置

401 环境识别装置

402 无线通信设备

440 作业附件(工作机构)。

Claims (6)

1.一种远程操作服务器，具有与多个作业机械以及用于对该多个作业机械中成为远程操作对象的一个作业机械进行远程操作的多个远程操作装置各自相互通信的功能，其特征在于，具备：

状态识别元件，对表示所述多个远程操作装置各自的操作员的远程操作技能的高低以及通过所述一个作业机械的作业内容的难易度的高低中的至少一方的指标值进行识别；

通信资源分配处理元件，基于由所述状态识别元件识别出的所述指标值，执行用于对所述多个远程操作装置各自分配用于与所述一个作业机械相互通信的通信资源的通信资源分配处理；

环境信息控制处理元件，执行环境信息控制处理，该环境信息控制处理用于根据由所述通信资源分配处理元件分配的通信资源的差异而以不同的方案分别调节确定与环境数据对应的环境信息的信息量的多个环境信息因子，从而降低该环境数据的数据量，所述环境数据是在构成所述远程操作装置的信息输出装置中输出的、由所述作业机械具有的环境识别装置获取到的表示所述作业机械的环境的数据。

2.如权利要求1所述的远程操作服务器，其特征在于，

所述状态识别元件识别操作员对所述远程操作装置的操作状态或所述作业机械的动作状态，

具备环境信息控制处理元件，以根据由所述状态识别元件识别出的所述远程操作装置的操作状态或所述作业机械的动作状态的差异而以不同的方案分别调节所述多个环境信息因子的方式，执行所述环境信息控制处理。

3.如权利要求2所述的远程操作服务器，其特征在于，

所述环境信息控制处理元件通过如下方式执行所述环境信息控制处理：即，以不同的方案划分所述多个环境信息因子中、根据由所述状态识别元件识别出的所述远程操作装置的操作状态或所述作业机械的动作状态的差异而确定的高环境信息因子及低环境信息因子，使得与该低环境信息因子对应的所述环境信息的信息量的降低比与该高环境信息因子对应的所述环境信息的信息量的降低更大。

4.如权利要求1～3的任一项所述的远程操作服务器，其特征在于，

所述环境信息控制处理元件以所述远程操作装置及所述作业机械中的至少一方的通信速度低于基准值作为必要条件，执行所述环境信息控制处理。

5.如权利要求1～3的任一项所述的远程操作服务器，其特征在于，

所述通信资源分配处理元件使由所述状态识别元件识别出的所述指标值输出至指定输出装置，对相对于通过指定输入装置被输入的所述多个远程操作装置分别分配用于与所述一个作业机械相互通信的通信资源的方案进行识别，从而执行所述通信资源分配处理。

6.一种远程操作系统，其特征在于，

由多个作业机械、用于对该多个作业机械中成为远程操作对象的一个作业机械进行远程操作的多个远程操作装置、具有与所述多个作业机械及所述多个远程操作装置各自相互通信的功能的远程操作服务器构成，

所述远程操作服务器具备：

状态识别元件，对表示所述多个远程操作装置各自的操作员的远程操作技能的高低以及通过所述一个作业机械的作业内容的难易度的高低中的至少一方的指标值进行识别；

通信资源分配处理元件，基于由所述状态识别元件识别出的所述指标值，执行用于对所述多个远程操作装置各自分配用于与所述一个作业机械相互通信的通信资源的通信资源分配处理；

环境信息控制处理元件，执行环境信息控制处理，该环境信息控制处理用于根据由所述通信资源分配处理元件分配的通信资源的差异而以不同的方案分别调节确定与环境数据对应的环境信息的信息量的多个环境信息因子，从而降低该环境数据的数据量，所述环境数据是在构成所述远程操作装置的信息输出装置中输出的、由所述作业机械具有的环境识别装置获取到的表示所述作业机械的环境的数据。