CN111837382A - 工程机械的远程操作系统 - Google Patents

Abstract

本发明提供一种工程机械的远程操作系统，该系统具备能够让佩戴着佩戴式显示器的操作人员掌握到自己的周围状况的控制装置。控制装置包含：操作意图判定部，根据所被获取的判定信息的内容，判定有无操作人员对远程操作杆的操作意图；显示映像切换部。在判定为有操作意图的情况下，显示映像切换部使由作业区域拍摄摄像机拍摄的作业区域映像显示于佩戴式显示器的特定显示区域，在判定为没有操作意图的情况下，显示映像切换部中止在特定显示区域的至少局部的区域上的作业区域映像的显示，并且将该至少局部的区域切换为能够视觉识别操作人员的周围的周围可视觉识别区域。

Description

工程机械的远程操作系统

技术领域

本发明涉及工程机械的远程操作系统。

背景技术

以往已知有液压挖掘机等工程机械。工程机械通常具备操作人员就座的驾驶席和就座于该驾驶席的操作人员可操作的操作杆。这样的工程机械基于就座于驾驶席的操作人员操作操作杆来进行运转。

近几年，除了如上述那样基于就座于驾驶席的操作人员的操作而进行运转的工程机械之外，还公开了如下的工程机械：通过位于相对于工程机械离开的位置的操作人员的远程操作来进行运转。

下述专利文献1公开了一种在对工程机械进行远程操作时所使用的远程操作辅助用图像系统。该远程操作辅助用图像系统包含：设置在工程机械上以便对施工对象进行拍摄的摄像机；以及由在相对于工程机械离开的位置处所设置的远程操作室的室内的操作员所佩戴的护目镜。护目镜具有左右一对液晶面板，上述摄像机所拍摄的施工对象的图像被显示在这些面板上。操作员一边观看该图像一边对远程操作室内的远程操作装置进行操作，从而能够远程操作工程机械。

然而，在采用专利文献1所记载的技术的情况下，存在如下问题：佩戴着护目镜时会妨碍操作员的视野。具体而言，佩戴着该护目镜的操作员实际上只看到显示在所述左右一对液晶面板上的图像，而难以掌握到操作员自己周围的状况。这有可能导致远程操作装置的误操作等问题。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开平8-234275号

发明内容

本发明的目的在于提供一种工程机械的远程操作系统，该系统具备在被工程机械的操作人员佩戴着的状态下能够将作业机周圈的映像显示给该操作人员的佩戴式显示器、以及能够接受佩戴着该佩戴式显示器的操作人员进行的操作的远程操作杆，且能够让佩戴着所述佩戴式显示器的操作人员掌握到自己周围的状况。

所提供的工程机械的远程操作是用于远程操作工程机械的系统，该系统包括：远程操作杆，被配置在相对于所述工程机械离开的位置，在被所述工程机械的操作人员抓持着的状态下能够接受所述操作人员进行的操作；至少一个判定信息获取装置，能够获取用于判定有无操作意图的判定信息，所述操作意图是所述操作人员对所述远程操作杆施加操作的意图；作业区域拍摄摄像机，被配置于所述工程机械，能够对作为所述工程机械的周围的映像即作业区域映像进行拍摄；佩戴式显示器，在被佩戴于所述操作人员的状态下能够对该操作人员显示映像，其具有能够显示所述作业区域映像的特定显示区域；以及，控制装置，根据所述至少一个判定信息获取装置所获取的所述判定信息的内容，使所述佩戴式显示器进行在所述特定显示区域上的所述作业区域映像的显示；其中，所述控制装置包含：操作意图判定部，基于所述至少一个判定信息获取装置所获取的所述判定信息的内容，判定有无所述操作意图；以及，显示映像切换部，在所述操作意图判定部判定为有所述操作意图的情况下，使所述佩戴式显示器进行在所述特定显示区域上的所述作业区域映像的显示，在所述操作意图判定部判定为没有所述操作意图的情况下，中止在所述特定显示区域的至少局部的区域上的所述作业区域映像的显示，并且将该至少局部的区域切换为所述操作人员能够视觉识别该操作人员的周围的周围可视觉识别区域。

附图说明

图1是表示本发明的实施方式的工程机械的远程操作系统的整体结构的方块图。

图2是表示图1所示的工程机械的外观的侧视图。

图3是表示图1所示的所述远程操作系统的主机中所含的控制装置的功能结构的方块图。

图4是表示基于所述控制装置而实现的映像切换控制的流程图。

具体实施方式

以下，参照附图来详述本发明的实施方式。

参照图1来说明本发明的实施方式所涉及的工程机械的远程操作系统(以下简称为远程操作系统)。图1是表示远程操作系统的整体结构的方块图。

图2是表示应用了本发明的实施方式所涉及的远程操作系统的工程机械30的外观的侧视图。

所述工程机械30为液压挖掘机。所述工程机械30例如具备履带式的下部行走体310、可回转地设置在下部行走体310上的上部回转体320、安装于上部回转体320的作业装置330。作业装置330例如具备可起伏地安装于上部回转体320的动臂331、可摆动地安装于动臂331的远端部的斗杆332、可摆动地安装于斗杆332的远端部的附属装置333。所述上部回转体320具有驾驶室322，该驾驶室322内配置有图1所示那样的多个机器实际操作杆31。此外，在所述工程机械30上，除了所述多个机器实际操作杆31之外，还搭载有图1所示那样的作业区域拍摄摄像机32、门杆33、以及用于驱动该门杆33的驱动机构34。有关它们的详细情况后述。

由本实施方式所涉及的远程操作系统来进行远程操作的工程机械并不仅限于所述那样的液压挖掘机。

图1表示了所述远程操作系统的整体结构。该远程操作系统具备从机10和主机20。以下，对它们进行说明。

所述从机10是配置在所述工程机械30的操纵席上且根据被提供给所述主机20的操作内容(操作量及操作方向)而直接操作所述工程机械30的所述多个机器实际操作杆31的从操作装置。从机10是作为操作人员的替身来操作工程机械30的机器。

所述主机20是配置在相对于所述工程机械30离开的位置且被直接提供用于驱动工程机械30的操作人员的操作的主操作装置。所述主机20具有模拟了所述工程机械30的驾驶席的结构。

所述从机10和所述主机20经由通信路100可相互通信地连接。作为所述通信路100，例如可采用特定省电无线以及蓝牙(注册商标)等可使所述从机10和所述主机20在数十m至数百m左右的距离进行无线通信的通信路。但是，这只是一个例子而已，作为通信路100，也可采用包含移动电话通讯网络及互联网通讯网络等的公共通信线路。此情况下，主机20和从机10可进行长距离通信。

主机20具备：通信部21；主机控制装置22；直接接受操作人员的操作的多个远程操作杆23；作为操作人员就座的操纵席的座椅24；被操作人员佩戴的佩戴式显示器25；对操作人员的周围进行拍摄的周围拍摄摄像机26；获取用于判定有无操作意图的判定信息的多个判定信息获取装置，所述操作意图是操作人员对所述多个远程操作杆23的各者施加操作的意图。以下，对它们进行说明。

所述通信部21由与被采用到所述通信路100的所述通信方式对应的通信设备所构成。所述通信部21将与被分别施加给所述主机20的所述多个远程操作杆23的操作有关的操作信息也就是与操作量及操作方向有关的信息发送给所述从机10。所述通信部21接收从所述从机10送来的映像(在后面进行详述的所述作业区域摄像机32所拍摄的映像)。

所述主机控制装置22由包含CPU、ASIC等处理器和ROM及RAM等存储装置的计算机所构成。所述主机控制装置22使各种的信息(例如所述操作信息、以及指定后述的所述门杆33的位置的门杆指令)发送给通信部21。所述主机控制装置22切换显示于佩戴式显示器25的映像。关于该主机控制装置22的详细情况后述。

所述多个远程操作杆23的各者配置在相对于所述工程机械30离开的位置，在由该工程机械30的操作人员抓持的状态下接受该操作人员的操作。所述多个远程操作杆23具有与所述工程机械30的所述多个机器实际操作杆31分别相同的结构。所述多个远程操作杆23包含ATT(附属装置)杆231和行走杆232。

所述ATT杆231由可以向前后左右的四个方向倾倒的操作杆构成，能够接受用于驱动所述工程机械30的作业装置(例如附属装置333及动臂331)的操作人员的操作。具体而言，所述ATT杆231可以接受：动臂倒伏操作、动臂立起操作、附属装置牵拉操作、以及附属装置推压操作。所述动臂倒伏操作是为了使所述动臂331倒伏而使所述ATT杆231向前方倾倒的操作。所述动臂立起操作是为了使所述动臂331立起而使所述ATT杆231向后方倾倒的操作。所述附属装置牵拉操作是为了使所述附属装置333向接近所述驾驶室332的方向摆动而使所述ATT杆231向左方倾倒的操作。所述附属装置推压操作是为了使所述附属装置333向离开所述驾驶席的方向摆动而使所述ATT杆231向右方倾倒的操作。

所述行走杆232由能够向前方向及后方向倾倒的操作杆构成，其能够接受用于使所述工程机械30前进或后退的操作人员所进行的前进操作和后退操作。所述前进操作是为了使所述工程机械30前进而使所述行走杆232向前方倾倒的操作，所述后退操作是为了使所述工程机械30后退而使所述行走杆232向后方倾倒的操作。

图1所示的所述多个远程操作杆23包含所述ATT杆231和所述行走杆232，但是，本发明所涉及的远程操作杆并不仅限于此。例如，在所述工程机械30具备能够接受用于驱动所述作业装置330的前后方向的操作和用于驱动所述上部回转体320的左右方向的操作的四方向的机器实际操作杆的情况下，所述主机20可以包含具有与该机器实际操作杆相同的结构的远程操作杆。这样，本发明所涉及的远程操作杆为与工程机械所搭载的各种的机器实际操作杆分别对应的操作杆便较为理想。

所述座椅24以能够被就座于该座椅24的操作人员分别抓持所述多个远程操作杆23的方式而被配置于该多个远程操作杆23的近傍。

所述佩戴式显示器25是在被操作人员佩戴的状态下能够将映像显示给该操作人员的显示器。所述佩戴式显示器25例如是在被操作人员的头部佩戴的状态下所使用的头戴式显示器。

佩戴式显示器25在被操作人员的头部佩戴且未显示映像的状态下，操作人员的视野被佩戴式显示器25遮挡。也就是说，在该状态下，操作人员直接视觉识别自己周围极为困难。

佩戴式显示器25具有能够显示由所述作业区域拍摄摄像机32所拍摄的作业区域映像的特定显示区域251。所述特定显示区域251例如可以设定在佩戴了佩戴式显示器25的操作人员能够视觉识别的可视觉识别区域的整体范围，也可以设定在该可视觉识别区域的局部区域。所述特定显示区域251例如设定在佩戴了所述佩戴式显示器25的操作人员的两眼的各者处。

所述周围拍摄摄像机26配置在离开了所述工程机械30的位置处，对操作人员的周围的映像亦即周围映像进行拍摄。所述周围拍摄摄像机26以与所述佩戴式显示器25一体地移动的方式而被配置于该佩戴式显示器25，对佩戴了该佩戴式显示器25的操作人员的前方进行拍摄。因此，所述周围拍摄摄像机26的拍摄范围基于所述操作人员的脸部的朝向而变化。

所述多个判定信息获取装置的各者获取用于判定有无所述操作意图也就是有无由操作人员将操作施加给所述远程操作杆23的意图的判定信息。该多个判定信息获取装置包含抓持信息获取装置271、272、以及就座信息获取装置273。

所述抓持信息获取装置271获取与操作人员对所述ATT杆231的抓持动作的有无有关的抓持信息，将其作为所述判定信息。所述抓持信息获取装置271例如被配置在所述ATT杆231中由操作人员抓持的部分。所述抓持信息获取装置271例如包含抓持传感器。该抓持传感器只要是能够检测操作人员对ATT杆231的抓持动作的传感器便可。抓持传感器例如可以是如下的传感器，其包含被配置在ATT杆231上的传感器电极、测定该传感器电极与人体(操作人员)之间的静电容量之值的测定部、获取与根据该测定部所测定的静电容量值而确定的所述抓持动作的有无有关的信息亦即抓持信息的获取部。或者，所述抓持传感器也可以包含测定被施加给所述ATT杆231的操作人员的抓持力(压力)的测定部、获取与根据该测定部所测定的抓持力(压力)而确定的所述抓持动作的有无有关的抓持信息的获取部。

所述抓持信息获取装置272获取与操作人员对所述行走杆232的抓持动作的有无有关的信息亦即抓持信息，将其作为所述判定信息。所述抓持信息获取装置272例如被配置在所述行走杆232中由操作人员抓持的部分。所述抓持信息获取装置272例如包含抓持传感器。该抓持传感器只要是能够检测操作人员对行走杆232的抓持动作的传感器便可。作为该抓持传感器，例如可以采用与用于所述ATT杆231的传感器相同的传感器。

所述就座信息获取装置273获取与操作人员对所述座椅24的就座的有无有关的信息亦即就座信息，将其作为判定信息。就座信息获取装置273例如被配置在所述座椅24中操作人员所就座的部分。所述就座信息获取装置273例如由就座传感器来实现。该就座传感器只要是能够检测操作人员对所述座椅24的就座的传感器便可。作为所述就座传感器，例如可以采用超声波传感器或红外线传感器、非接触式传感器、重量传感器(例如应变仪)等。

所述从机10具备通信部11、从机控制装置12、对所述工程机械30的所述多个机器实际操作杆31分别进行操作的多个操作机构14。以下，对它们进行说明。

所述通信部11由与被采用到所述通信路100的通信方式对应的通信设备所构成。所述通信部11接收从所述主机20发送来的信号例如所述操作信息及所述门杆指令。所述通信部11将所述作业区域拍摄摄像机32所拍摄的映像发送给主机20。

所述从机控制装置12由包含CPU、ASIC等处理器和ROM及RAM等存储装置的计算机所构成。所述从机控制装置12使所述作业区域拍摄摄像机32所拍摄的映像发送给所述通信部11。所述从机控制装置12根据从所述主机20发送来的信号来控制所述操作机构14的动作。

所述多个操作机构14由致动器构成，产生与从主机20发送来的操作内容(操作量及操作方向)对应的操作力，并且将该操作力施加给所述多个机器实际操作杆31中的对应的操作杆。在图1所示的例子中，由于所述多个机器实际操作杆31包含所述ATT杆311和所述行走杆312，因此，所述多个操作机构14包含与所述ATT杆311对应的操作机构14A和与行走杆312对应的操作机构14B。由于所述ATT杆311能够向“前后”方向及“左右”方向操作，因此，所述操作机构14A包含用于使所述ATT杆311向“前后”方向动作的致动器和使所述ATT杆31向“左右”方向动作的致动器。由于所述行走杆312能够向“前后”方向操作，因此，所述操作机构14B包含使所述行走杆312向“前后”方向动作的致动器。

所述从机控制装置12在所述通信部11接收到与所述ATT杆231有关的操作信息(与操作量及操作内容有关的信息)的情况下，生成与该操作信息对应的控制信号且输入到操作机构14A。所述从机控制装置12在所述通信部11接收到与所述行走杆232有关的操作信息(与操作量及操作内容有关的信息)的情况下，生成与该操作信息对应的控制信号且输入到操作机构14B。由此，从机10作为操作主机20的操作人员的替身而对工程机械30提供直接操作。

其次，对搭载在所述工程机械30上的所述机器实际操作杆31、所述作业区域拍摄摄像机32、所述门杆33、以及所述驱动机构34进行说明。

所述多个机器实际操作杆31被设置在所述工程机械30的所述驾驶室322内，向从所述从机10施加的操作力的方向倾倒。所述多个机器实际操作杆31中的所述ATT杆311与所述ATT杆231同样地由能够向前后左右的四个方向倾倒的操作杆构成，所述行走杆312与所述行走杆232同样地由能够向前方向及后方向倾倒的操作杆构成。通过对所述ATT杆311施加使其向前方或向后方倾倒的操作，所述动臂331能够倒伏或起伏。通过对所述ATT杆31施加使其向左右方向倾倒的操作，所述附属装置333能够摆动。通过对所述行走杆322施加使其向前方倾倒的操作，所述下部行走体310能够前进，通过对所述行走杆322施加使其向后方倾倒的操作，所述下部行走体310能够后退。

所述作业区域拍摄摄像机32对与所述工程机械30周围的作业区域有关的映像亦即作业区域映像进行拍摄。所述作业区域拍摄摄像机32例如设置于所述驾驶室322以便对位于该驾驶室322前侧的区域进行拍摄。

所述门杆33以能够对通往所述驾驶室322的驾驶席的乘降口进行开闭的方式而被配置。该门杆33在处于打开所述乘降口的开位置处能够允许第三者(例如存在于工程机械30周围的作业者)进入所述驾驶席。所述门杆33在处于关闭所述乘降口的闭位置处能够阻止第三者进入所述驾驶席。

所述驱动机构34向开闭所述乘降口的方向驱动所述门杆33。即，使所述门杆33在所述开位置和所述闭位置之间移动。驱动机构34例如包含致动器，根据从所述主机20发送来的门杆指令而产生驱动力，并且将该驱动力施加给所述门杆33。

下面，参照图3对所述主机控制装置22作进一步说明。图3是表示该主机控制装置22的功能块图。

所述主机控制装置22根据所述多个判定信息获取装置亦即该实施方式中的所述抓持信息获取装置271、272及所述就座信息获取装置273所获取的判定信息的内容而使作业区域映像显示于佩戴式显示器25的特定显示区域251。

所述主机控制装置22包含操作意图判定部221、显示映像切换部222、驱动机构控制部223、运转控制部224。以下，对它们进行说明。

所述操作意图判定部221根据所述多个判定信息获取装置亦即该实施方式中的所述抓持信息获取装置271、272及所述就座信息获取装置273所获取的判定信息的内容，判定有无操作人员对所述多个远程操作杆23的其中任一者的操作意图。操作意图判定部221根据能够由所述抓持信息获取装置271、272获取的所述抓持信息和能够由所述就座信息获取装置273获取的所述就座信息，判定是否有操作人员对所述多个远程操作杆23的其中任一者的操作意图，在该实施方式中为判定是否满足了预先被设定的操作意图条件。在该实施方式中，所述操作意图判定条件为：存在着操作人员对作为所述多个远程操作杆23的所述ATT杆231和所述行走杆232的其中至少一者的抓持动作且存在着该操作人员对所述座椅24的就座。

所述显示映像切换部222根据与有无所述操作意图有关的所述操作意图判定部221所进行的判定的结果，切换显示到佩戴式显示器25的映像。具体而言，在所述操作意图判定部221判定为有所述操作意图的情况下，所述显示映像切换部222使所述佩戴式显示器25进行在所述特定显示区域251上的作业区域映像的显示，另一方面，在所述操作意图判定部221判定为没有所述操作意图的情况下，中止在所述特定显示区域251上的所述作业区域映像的显示，并且在该特定显示区域251上显示周围映像。也就是说，在判定为没有所述操作意图的情况下，所述显示映像切换部222使所述佩戴式显示器25在所述特定显示区域251上进行所述周围映像的显示来取代所述作业区域映像。因此，在本实施方式中，所述特定显示区域251整体作为周围可视觉识别区域而发挥作用。

在所述操作意图判定部221判定有所述操作意图的情况下，所述驱动机构控制部223生成用于使所述驱动机构34工作的门杆指令以便使所述门杆33移动到所述闭位置处，另一方面，在所述操作意图判定部221判定为没有所述操作意图的情况下，所述驱动机构控制部223生成用于使所述驱动机构34工作的门杆指令以便使所述门杆33移动到开位置处。所述驱动机构控制部223还进一步使所述门杆指令发送到所述通信部21。在所述从机10的通信部11接收到该门杆指令后，该从机10的从机控制装置12根据所接收到的所述门杆指令来控制所述驱动机构34的动作，以使所述门杆33移动到所述闭位置处或所述开位置处。

在所述操作意图判定部221判定为有所述操作意图的情况下，所述运转控制部224允许基于被施加给所述多个远程操作杆23的其中任一者的操作的所述工程机械30的运转，另一方面，在所述操作意图判定部221判定为没有所述操作意图的情况下，所述运转控制部224禁止基于所述操作的所述工程机械30的运转。具体而言，所述运转控制部224使与是否允许基于被施加给所述多个远程操作杆23的其中任一者的所述操作的所述工程机械30的运转有关的指令亦即运转允许指令或运转禁止指令发送给所述通信部21。在所述从机10的通信部11接收到该运转允许指令或该运转禁止指令后，该从机10的从机控制装置12根据所接收的运转许否指令来控制所述操作机构14A、14B的动作。具体而言，在接收到所述运转允许指令的情况下，所述从机控制装置12使所述操作机构14A、14B工作，以使与操作人员施加给所述远程操作杆23的操作对应的操作施加给所述机器实际操作杆31。相反，在接收到所述运转禁止指令的情况下，即使操作人员对所述远程操作杆23施加了操作，所述从机控制装置12也禁止所述操作机构14A、14B对所述机器实际操作杆31施加操作的动作。

接着，参照图4来说明由所述主机控制装置22执行的映像切换处理。图4是表示该映像切换处理的流程图。

首先，所述主机控制装置22的所述操作意图判定部221在步骤S11中判定有无针对所述多个远程操作杆23的其中任一者的操作人员的操作意图。

在所述操作意图判定部221判定为有所述操作意图的情况下(步骤S11中为“是”)，所述主机控制装置22在步骤S12中使工程机械30处于可运转的状态。具体而言，所述主机控制装置22的所述运转控制部224使允许基于被施加给所述多个远程操作杆23的操作的所述工程机械30的运转的意思的运转允许指令发送给所述通信部21，并且所述驱动机构控制部223使将所述门杆33移动到闭位置的意思的门杆指令发送给所述通信部21。

接着，所述主机控制装置22的所述显示映像切换部222在步骤S13中使所述佩戴式显示器25在其的特定显示区域251上显示作业区域映像亦即所述作业区域拍摄摄像机32所拍摄的映像。

在所述操作意图判定部221判定为没有所述操作意图的情况下(步骤S11中为“否”)，所述主机控制装置22在步骤S14中使所述工程机械30处于不可运转的状态。具体而言，该主机控制装置22的所述运转控制部224使禁止基于被施加给所述多个远程操作杆23的操作的所述工程机械30的运转的意思的运转禁止指令发送给所述通信部21，并且所述驱动机构控制部223使将所述门杆33移动到开位置的意思的门杆指令发送给所述通信部21。

接着，所述主机控制装置22的所述显示映像切换部222在步骤S15中使佩戴式显示器25在其的特定显示区域251上显示周围映像亦即所述周围拍摄摄像机26所拍摄的映像。

在这样的远程操作系统中，在判定为操作人员有所述操作意图亦即对所述多个远程操作杆23的其中任一者施加操作的意图的情况下，在所述佩戴式显示器25的所述特定显示区域251上显示由所述作业区域拍摄摄像机32所拍摄的作业区域映像。该显示使得操作人员能够通过所述佩戴式显示器25视觉识别所述工程机械30的周围的状况。也就是说，在操作人员有所述操作意图的情况下，能够为操作人员提供主要能够识别所述工程机械30的周围的状况那样的环境。这能够使操作人员准确地进行所述工程机械30的远程操作。

另一方面，在操作人员没有所述操作意图的情况下，中止作业区域映像在所述特定显示区域251上的显示，并且在该特定显示区域251上显示周围映像(由周围拍摄摄像机26所拍摄的映像)。该显示使得操作人员在佩戴着所述佩戴式显示器25的情况下能够掌握到该操作人员自己的周围的状况。也就是说，在操作人员没有所述操作意图的情况下，能够为操作人员提供主要能够识别自己的周围的状况那样的环境。这能够防止即使操作人员没有对所述多个远程操作杆23的所述操作意图但因出错而对该操作杆23施加操作的情况。

在上述的远程操作系统中，不仅考虑工程机械30的远程操作上所必需的远程操作杆23的抓持动作，而且还考虑操作人员的操作姿势(具体而言为其对座椅24的就座)，由此，能够更准确地判定操作人员对所述远程操作杆23的操作意图的有无。

在上述的远程操作系统中，所述佩戴式显示器25的所述特定显示区域251上的所述周围映像的显示不管该佩戴式显示器25是否具有透视性均能够让操作人员在佩戴着所述佩戴式显示器25的情况下掌握到自己的周围的状况。

上述的远程操作系统的所述周围拍摄摄像机26以与被佩戴在操作人员的头部上的所述佩戴式显示器25一体地移动且对所述操作人员的前方进行拍摄的方式而被配置于所述佩戴式显示器25，因此，能够使该周围拍摄摄像机26的自身的朝向基于操作人员的脸部的朝向而变化，能够始终对操作人员的前方的映像进行拍摄。这使得操作人员不管该操作人员的脸部的朝向如何均能够准确地掌握到自己的周围的状况。

在上述的远程操作系统中，根据操作人员的对所述远程操作杆23的操作意图来使门杆33开闭通往工程机械30的驾驶席的乘降口，因此，能够防止在操作人员进行着工程机械30的远程操作时第三者(例如在工程机械30周围的作业者等)进入工程机械30的驾驶席。

此外，上述远程操作系统根据对所述多个操作杆23的操作人员的所述操作意图来切换工程机械30的运转的许否(许可与否)，因此，能够确保更高的安全性。例如，即使操作人员没有对所述多个操作杆23的所述操作意图但因出错而对该多个操作杆23的其中任一者施加了操作，也能够防止基于该错误的操作的工程机械30的运转。也就是说，能够防止工程机械30违背操作人员的意愿而进行运转。

以上，对本发明的实施方式进行了详述，但它们只不过是例示，本发明丝毫也不受上述的实施方式的限定。

图1所示的远程操作系统是如下的系统：与操作人员施加给所述主机20中的所述多个远程操作杆23的操作的对应地，使被配置在所述工程机械30的驾驶席的所述从机10对所述工程机械30中的所述多个机器实际操作杆31其中的与所述操作对应的操作杆施加机器实际操作，但是本发明所涉及的远程操作系统并不仅限于图1所示的实施方式。本发明例如还包含没有所述从机10的实施方式或者所述工程机械30不具有所述机器实际操作杆31的实施方式。此外，本发明所涉及的远程操作杆也可以为单个。

本发明中的判定信息获取装置并不限于如在上述实施方式中所说明的抓持信息获取装置271、272及就座信息获取装置273那样被配置在让远程操作工程机械的操作人员的身体的一部分始终接触到的部分上的情形。例如，也可以利用让操作人员能够进行按压操作的开关来实现判定信息获取装置。这样的开关较为理想的是例如被配置在远程操作杆的周围。

本发明所涉及的远程操作系统也可以仅具备单个的判定信息获取装置，也可以具备多个的判定信息获取装置。在具备多个判定信息获取装置的远程操作系统中，操作意图判定部可以以如下的方式而被构成：仅在所述多个判定信息获取装置的各者所获取的判定信息全部为表示有操作人员的操作意图的信息的情况下，才判定为有该操作人员的操作意图。例如，上述实施方式所涉及的操作意图判定部221可被构成为：只要在两个所述抓持信息获取装置271、272的各者所获取的抓持信息均为表示抓持动作的信息且就座信息获取装置273所获取的就座信息为表示操作人员在座椅24上的就座的信息的情况下，就判定为有所述操作意图。或者，本发明所涉及的操作意图判定部也可以在多个判定信息获取装置的各者所获取的判定信息的至少一者表示有操作人员的操作意图的情况下，就判定为有操作人员的操作意图。例如，在上述实施方式中在省略了所述就座信息获取装置273的情况下，所述操作意图判定部221也可以被构成为：只要其余的两个抓持信息获取装置271、272的其中任一者所获取的抓持信息为表示有操作人员的操作意图的信息，就判定为有操作人员的操作意图。作为单一的判定信息获取装置的例子，可列举如上述那样由操作人员能够进行按压操作的开关。

本发明所涉及的显示映像切换部并不限于如上述实施方式那样让佩戴式显示器在特定显示区域的整体范围显示周围映像的情形。例如，也可以仅在所述特定显示区域的局部上显示所述周围映像。也就是说，本发明所涉及的周围可视觉识别区域也可以是所述特定显示区域的局部。此外，本发明并不仅限于在周围可视觉识别区域显示周围映像的实施方式。例如，本发明所涉及的周围可视觉识别区域也可以是具有通过透视过该周围可视觉识别区域而允许视觉识别操作人员的周围的透视性的区域亦即透视区域。该透视区域使得所述操作人员能够通过该透视区域来视觉识别自己的周围。此外，在所述周围视觉识别图像区域为所述特定显示区域的局部的情况下，操作人员能够一边观看作业区域映像一边视觉识别该操作人员自己的周围。

本发明所涉及的所述周围拍摄摄像机并不仅限于设置在所述佩戴式显示器上的情形。例如，也可以在操作人员所就座的操纵席的上方设置本发明所涉及的周围拍摄摄像机。

本发明中，所述周围拍摄摄像机并非必需。例如，在佩戴式显示器中在特定显示区域的周边设置有能够透视到操作人员周围的透视区域的情况下，由于操作人员能够通过该透视区域始终视觉识别到自己的周围，因此，所述周围拍摄摄像机并不一定是必需。

如上所述，提供了一种如下的工程机械的远程操作系统：该系统具备在被工程机械的操作人员佩戴着的状态下能够将作业机周围的映像显示给该操作人员的佩戴式显示器、以及能够接受佩戴着该佩戴式显示器的操作人员进行的操作的远程操作杆，且能够让佩戴着所述佩戴式显示器的操作人员掌握到自己周围的状况。

所提供的工程机械的远程操作系统是用于远程操作工程机械的系统，该系统包括：远程操作杆，被配置在相对于所述工程机械离开的位置，在被所述工程机械的操作人员抓持着的状态下能够接受所述操作人员进行的操作；至少一个判定信息获取装置，能够获取用于判定有无操作意图的判定信息，所述操作意图是所述操作人员对所述远程操作杆施加操作的意图；作业区域拍摄摄像机，被配置于所述工程机械，能够对作为所述工程机械的周围的映像即作业区域映像进行拍摄；佩戴式显示器，在被佩戴于所述操作人员的状态下能够对该操作人员显示映像，其具有能够显示所述作业区域映像的特定显示区域；以及，控制装置，根据所述至少一个判定信息获取装置所获取的所述判定信息的内容，使所述佩戴式显示器进行在所述特定显示区域上的所述作业区域映像的显示；其中，所述控制装置包含：操作意图判定部，基于所述至少一个判定信息获取装置所获取的所述判定信息的内容，判定有无所述操作意图；以及，显示映像切换部，在所述操作意图判定部判定为有所述操作意图的情况下，使所述佩戴式显示器进行在所述特定显示区域上的所述作业区域映像的显示，在所述操作意图判定部判定为没有所述操作意图的情况下，中止在所述特定显示区域的至少局部的区域上的所述作业区域映像的显示，并且将该至少局部的区域切换为所述操作人员能够视觉识别该操作人员的周围的周围可视觉识别区域。

在上述工程机械的远程操作系统中，在所述操作意图判定部判定为操作人员有对所述远程操作杆的所述操作意图的情况下，所述显示映像切换部通过使所述佩戴式显示器在其特定显示区域上显示所述作业区域映像，从而使得操作人员能够通过该佩戴式显示器视觉识别所述工程机械周围的状况。因此，所述远程操作系统在操作人员有对所述远程操作杆的所述操作意图的情况下，能够为该操作人员提供主要能够识别工程机械的周围的状况那样的环境。这能够使该操作人员准确地进行工程机械的远程操作。

另一方面，在操作意图判定部判定为操作人员没有对所述远程操作杆的所述操作意图的情况下，所述显示映像切换部中止所述佩戴式显示器在所述特定显示区域的至少局部的区域上的所述作业区域映像的显示，并且将该至少局部的区域切换为操作人员能够视觉识别自己的周围的状态。由此，操作人员在佩戴着佩戴式显示器的情况下能够掌握到自己的周围的状况。这样，所述远程操作系统在操作人员没有对所述远程操作杆的所述操作意图的情况下，能够为该操作人员提供主要能够识别该操作人员自己的周围的状况那样的环境。这能够防止没有对所述远程操作杆的所述操作意图的操作人员因出错而操作该远程操作杆的事态的发生。

较为理想的是，所述至少一个判定信息获取装置包含抓持信息获取装置，该抓持信息获取装置能够将与有无作为所述操作人员抓持所述远程操作杆的动作的抓持动作有关的信息即抓持信息作为所述判定信息来获取，所述操作意图判定部，在获取了有所述抓持动作这一所述抓持信息的情况下，判定为有所述操作意图。

如此构成的所述操作意图判定部能够根据工程机械的远程操作上所需的对所述远程操作杆的所述抓持动作的有无来准确地判定所述操作意图的有无。

较为理想的是，所述至少一个判定信息获取装置还包含就座信息获取装置，该就座信息获取装置能够将与有无在所述操作人员抓持着所述操作杆的情况下该操作人员就座在设置在可就座位置的操纵席上有关的信息即就座信息作为所述判定信息来获取，所述操作意图判定部仅在满足了如下判定条件的情况下，判定为有所述操作意图，所述判定条件为获取了有所述抓持动作这一所述抓持信息并且获取了有所述就座这一所述就座信息。

如此构成的所述操作意图判定部不仅考虑所述抓持动作的有无，而且还考虑操作人员的操作姿势(具体而言为操作人员的就座的有无)，由此，能够更准确地判定操作人员对所述远程操作杆的所述操作意图的有无。

较为理想的是，所述远程操作系统还包括：周围拍摄摄像机，被配置在相对于所述工程机械离开的位置，对作为所述操作人员的周围的映像的周围映像进行拍摄；其中，所述显示映像切换部，在所述操作意图判定部判定为没有所述操作意图的情况下，使所述周围映像显示于所述周围可视觉识别区域。

如此构成的所述显示映像切换部不管所述佩戴式显示器是否具有透视性均能够让操作人员在佩戴着佩戴式显示器的情况下掌握到自己周围的状况。

较为理想的是，所述佩戴式显示器在被佩戴在所述操作人员的头部上的状态下被使用，所述周围拍摄摄像机，以与所述佩戴式显示器一体地移动且对所述操作人员的前方进行拍摄的方式，被配置于所述佩戴式显示器。

如此配置的所述周围拍摄摄像机不管操作人员的脸部的朝向如何均能够对该操作人员的前方进行拍摄，由此，不管操作人员的脸部的朝向如何该操作人员均能够准确地掌握到自己周围的状况。

较为理想的是，所述远程操作系统还包括：门杆，能够在关闭通往设置在所述工程机械上的驾驶席的乘降口的闭位置和打开该乘降口的开位置之间移动；以及，驱动机构，以使该门杆在所述闭位置和所述开位置之间移动的方式驱动所述门杆；其中，所述控制装置还包含驱动机构控制部，该驱动机构控制部以在所述操作意图判定部判定为有所述操作意图的情况下使所述门杆移动到所述闭位置，在所述操作意图判定部判定为没有所述操作意图的情况下使所述门杆移动到所述开位置的方式控制所述驱动机构。

所述驱动机构及所述驱动机构控制部根据所述操作意图的有无来切换所述门杆的位置，以开闭所述乘降口，从而能够防止在操作人员进行着所述工程机械的远程操作时第三者(例如在该工程机械周围的作业者等)进入该工程机械的驾驶席。

较为理想的是，所述控制装置还包含运转控制部，该运转控制部，在所述操作意图判定部判定为有所述操作意图的情况下允许基于被施加给所述远程操作杆的操作的所述工程机械的运转，而在所述操作意图判定部判定为没有所述操作意图的情况下禁止基于被施加给所述远程操作杆的操作的所述工程机械的运转。

如此根据操作人员对所述远程操作杆的所述操作意图的有无来控制工程机械的运转的所述运转控制部能够防止即使没有对所述远程操作杆的所述操作意图的操作人员因出错而对该远程操作杆施加了操作而导致所述工程机械违背所述操作人员的意愿而进行的运转。

Claims (7)

1.一种工程机械的远程操作系统，用于远程操作工程机械，其特征在于包括：

远程操作杆，被配置在相对于所述工程机械离开的位置，在被所述工程机械的操作人员抓持着的状态下能够接受所述操作人员进行的操作；

至少一个判定信息获取装置，能够获取用于判定有无操作意图的判定信息，所述操作意图是操作人员对所述远程操作杆施加操作的意图；

作业区域拍摄摄像机，被配置于所述工程机械，能够对作为所述工程机械的周围的映像即作业区域映像进行拍摄；

佩戴式显示器，在被佩戴于所述操作人员的状态下能够对该操作人员显示映像，其具有能够显示所述作业区域映像的特定显示区域；以及，

控制装置，根据所述至少一个判定信息获取装置所获取的所述判定信息的内容，使所述佩戴式显示器进行在所述特定显示区域上的所述作业区域映像的显示；其中，

所述控制装置包含：

操作意图判定部，基于所述至少一个判定信息获取装置所获取的所述判定信息的内容，判定有无所述操作意图；以及，

显示映像切换部，在所述操作意图判定部判定为有所述操作意图的情况下，使所述佩戴式显示器进行在所述特定显示区域上的所述作业区域映像的显示，在所述操作意图判定部判定为没有所述操作意图的情况下，中止在所述特定显示区域的至少局部的区域上的所述作业区域映像的显示，并且将该至少局部的区域切换为所述操作人员能够视觉识别该操作人员的周围的周围可视觉识别区域。

2.根据权利要求1所述的工程机械的远程操作系统，其特征在于：

所述至少一个判定信息获取装置包含抓持信息获取装置，该抓持信息获取装置能够将与有无作为所述操作人员抓持所述远程操作杆的动作的抓持动作有关的信息即抓持信息作为所述判定信息来获取，

所述操作意图判定部，在获取了有所述抓持动作这一所述抓持信息的情况下，判定为有所述操作意图。

3.根据权利要求2所述的工程机械的远程操作系统，其特征在于：

所述至少一个判定信息获取装置还包含就座信息获取装置，该就座信息获取装置能够将与有无在所述操作人员抓持着所述操作杆的情况下该操作人员就座在设置在可就座位置的操纵席上有关的信息即就座信息作为所述判定信息来获取，

所述操作意图判定部仅在满足了如下判定条件的情况下，判定为有所述操作意图，所述判定条件为获取了有所述抓持动作这一所述抓持信息并且获取了有所述就座这一所述就座信息。

4.根据权利要求1至3中任一项所述的工程机械的远程操作系统，其特征在于还包括：

周围拍摄摄像机，被配置在相对于所述工程机械离开的位置，对作为所述操作人员的周围的映像的周围映像进行拍摄；其中，

所述显示映像切换部，在所述操作意图判定部判定为没有所述操作意图的情况下，使所述周围映像显示于所述周围可视觉识别区域。

5.根据权利要求4所述的工程机械的远程操作系统，其特征在于：

所述佩戴式显示器在被佩戴在所述操作人员的头部上的状态下被使用，

所述周围拍摄摄像机，以与所述佩戴式显示器一体地移动且对所述操作人员的前方进行拍摄的方式，被配置于所述佩戴式显示器。

6.根据权利要求1至5中任一项所述的工程机械的远程操作系统，其特征在于还包括：

门杆，能够在关闭通往设置在所述工程机械上的驾驶席的乘降口的闭位置和打开该乘降口的开位置之间移动；以及，

驱动机构，以使该门杆在所述闭位置和所述开位置之间移动的方式驱动所述门杆；其中，

所述控制装置还包含驱动机构控制部，该驱动机构控制部以在所述操作意图判定部判定为有所述操作意图的情况下使所述门杆移动到所述闭位置，在所述操作意图判定部判定为没有所述操作意图的情况下使所述门杆移动到所述开位置的方式控制所述驱动机构。

7.根据权利要求1中6中任一项所述的工程机械的远程操作系统，其特征在于：

所述控制装置还包含运转控制部，该运转控制部，在所述操作意图判定部判定为有所述操作意图的情况下允许基于被施加给所述远程操作杆的操作的所述工程机械的运转，而在所述操作意图判定部判定为没有所述操作意图的情况下禁止基于被施加给所述远程操作杆的操作的所述工程机械的运转。

Images