CN112041509A - 铲斗高度通知装置以及铲斗高度通知方法 - Google Patents

Abstract

本发明的铲斗高度通知装置具备铲斗高度确定部与铲斗高度通知部。铲斗高度确定部确定从远程操作的作业车辆的接地面到作业机的铲斗的高度即铲斗高度。铲斗高度通知部通知铲斗高度。

Description

铲斗高度通知装置以及铲斗高度通知方法

技术领域

本发明涉及远程操作的作业车辆的铲斗高度通知装置以及铲斗高度通知方法。

本申请主张在2018年8月31日于日本申请的特愿2018-163917号的优先权，并在此引用其内容。

背景技术

已知有对作业车辆进行远程操作的技术。为了对作业车辆进行远程操作，需要能够从外部识别作业车辆的周围的状况。因此，进行了远程操作的作业车辆具备对周围的状况进行拍摄的拍摄装置与将拍摄的图像向外部发送的通信机。由此，操作人员能够一边目视确认从作业车辆发送的图像一边进行操作。

另外，在专利文献1中，公开有向操作人员将作业机械的倾角以及方位显示于显示装置的技术。

在先技术文献

专利文献

专利文献1：国际公开第2017/047826号

发明内容

操作人员通过图像的目视确认识别作业车辆的状况，并基于该状况操作作业车辆。然而，在远程操作的情况下，操作人员由于需要一边目视确认在显示装置显示的二维的图像一边进行作业，因此不能带有远近感地识别作业机的位置。另外，在有人车辆中，操作人员能够通过车身感受铲斗碰到地面时的振动，挖掘铲入等作业时的振动，并基于此识别铲斗的高度。然而，在远程操作中，这种振动不会传递给操作人员。因此，操作人员难以推测铲斗的高度，可能使作业效率变低。

本发明的方式的目的在于提供一种能够将由于进行远程操作而难以识别的作业机的铲斗的高度向操作人员通知的铲斗高度通知装置以及铲斗高度通知方法。

用于解决课题的手段

根据本发明的第一方式，铲斗高度通知装置具备确定从地表面到远程操作的作业车辆所具备的作业机的铲斗的高度即铲斗高度的铲斗高度确定部，通知所述铲斗高度的铲斗高度通知部。

发明效果

根据上述方式中的至少一个方式，远程操作室的控制装置能够将由于远程操作而难以识别的作业机的铲斗的高度向操作人员通知。

附图说明

图1是表示第一实施方式的远程操作系统的构成的概略图。

图2是第一实施方式的作业车辆的外观图。

图3是第一实施方式的作业车辆的拍摄装置拍摄的图像的例子。

图4是表示第一实施方式的远程操作室的控制装置的构成的概略框图。

图5是表示从前方相机拍摄的图像截取的图像的例子的图。

图6是表示铲斗高度图像的例子的图。

图7是表示在第一实施方式的显示装置显示的显示图像的例子的图。

图8是表示第一实施方式的远程操作室的控制装置的显示控制方法的流程图。

具体实施方式

〈第一实施方式〉

<远程操作系统>

图1是表示第一实施方式的远程操作系统的构成的概略图。

远程操作系统1具备：通过远程操作而动作的作业车辆100、用于进行远程操作的远程操作室500。作业车辆100在作业现场(例如矿山，采石场)运行。远程操作室500设于远离作业车辆100的地点(例如街道，作业现场内)。作业车辆100与远程操作室500经由因特网等通信手段连接。

远程操作系统1是使用远程操作室500用于操作作业车辆100的系统。

作业车辆100根据从远程操作室500接收的操作信号而动作。即，在作业车辆100中未搭乘操作人员。

远程操作室500通过操作人员的操作，接收作业车辆100的操作，将操作信号发送到作业车辆100。

<远程操作室>

远程操作室500具备驾驶座510、第一显示装置520、第二显示装置530、操作装置540、控制装置550。

第一显示装置520配置于驾驶座510的前方。在操作人员坐在驾驶座510时，第一显示装置520位于操作人员的眼前。如图1所示，第一显示装置520通过并列的中央显示器521、左显示器522、右显示器523、上显示器524、下显示器525构成。左显示器522设于中央显示器521的左侧。右显示器523设于中央显示器521的右侧。上显示器524设于中央显示器521的上侧。下显示器525设于中央显示器521的下侧。

需要说明的是，在其他实施方式中，构成第一显示装置520的显示器的数量并不限定于此。例如第一显示装置520也可以由一个显示器构成。另外，第一显示装置520也可以利用投影仪等在曲面、球面上投影图像。

第二显示装置530配置于驾驶座510的斜前方。在第二显示装置530中显示从作业车辆100发送的车身信息(燃料余量，发动机水温)、作业车辆100的异常的通知等。需要说明的是，在其他实施方式中，第二显示装置530的位置只要是能够被操作人员目视确认的位置，也可以不是驾驶座510的斜前方。另外其他实施方式的远程操作室500也可以不具备第二显示装置。

操作装置540配置于驾驶座510的附近。操作装置540在操作人员坐在驾驶座510时位于操作人员的可操作的范围内。操作装置540例如具备电气式杆以及电气式踏板。操作人员通过操作电气式杆以及电气式踏板，操作装置540输出大臂131、小臂132以及铲斗133的操作信号，转弯体120的转弯操作信号，以及行驶体110的行驶操作信号。

控制装置550将从作业车辆100接收的图像以及车身信息显示于第一显示装置520。即，控制装置550是显示控制装置的一个例子。另外控制装置550将输入到操作装置540的操作信号发送到作业车辆100。控制装置550是铲斗高度通知装置的一个例子。

<作业车辆>

图2是第一实施方式的作业车辆的外观图。

第一实施方式的作业车辆100是液压挖掘机。需要说明的是，其他实施方式的作业车辆100也可以是液压挖掘机以外的例如轮式装载机、推土机等作业车辆。

作业车辆100具备由液压驱动的作业机130、支承作业机130的转弯体120、支承转弯体120的行驶体110。

作业机130具备大臂131、小臂132、铲斗133。作业机130通过使大臂缸134、小臂缸135以及铲斗缸136伸缩而驱动。在大臂131、小臂132以及铲斗133上分别安装有大臂角度传感器137、小臂角度传感器138以及铲斗角度传感器139。

大臂131的基端部经由销安装于转弯体120。

小臂132连结大臂131与铲斗133。小臂132的基端部经由销安装于大臂131的前端部。

铲斗133具备用于挖掘砂土等的刀和用于收容挖掘的砂土的容器。铲斗133的基端部经由销安装于小臂132的前端部。

大臂缸134是用于驱动大臂131的液压缸。大臂缸134的基端部安装于转弯体120。大臂缸134的前端部安装于大臂131。

小臂缸135是用于驱动小臂132的液压缸。小臂缸135的基端部安装于大臂131。小臂缸135的前端部安装于小臂132。

铲斗缸136是用于驱动铲斗133的液压缸。铲斗缸136的基端部安装于大臂131。铲斗缸136的前端部安装于铲斗133。

大臂角度传感器137例如安装于大臂131，检测大臂131的倾斜角。

小臂角度传感器138例如安装于小臂132，检测小臂132的倾斜角。

铲斗角度传感器139例如安装于铲斗133，检测铲斗133的倾斜角。

第一实施方式的大臂角度传感器137、小臂角度传感器138以及铲斗角度传感器139检测相对于地平面的倾斜角。需要说明的是，其他实施方式的角度传感器并不局限于此，也可以检测相对于其他基准面的倾斜角。例如在其他实施方式中，角度传感器也可以通过设于大臂131、小臂132以及铲斗133的基端部的电位计检测相对旋转角，也可以通过计测大臂缸134、小臂缸135以及铲斗缸136的缸长度，并将缸长度转换为角度来检测倾斜角。

在转弯体120上具备驾驶室121。驾驶室121设于作业机130的左侧。在驾驶室121设置有前方相机122。前方相机122设于驾驶室121内的前部并且上部。前方相机122通过驾驶室121前部的前挡风玻璃，拍摄驾驶室121的前方。这里，“前方”表示在转弯体120中安装有作业机130的方向，“后方”是“前方”的相反方向。“侧方”是相对于前后方向交叉的方向(左右方向)。作为前方相机122的例子，例如可列举使用了CCD(Charge Coupled Device)传感器以及CMOS(Complementary Metal Oxide Semiconductor)传感器的拍摄装置。需要说明的是，其他实施方式的作业车辆100也可以不具备驾驶室121。在这种情况下，前方相机122在相当于驾驶室121的位置，设置为拍摄前方。另外，在其他实施方式中，前方相机122也可以由两台以上的相机构成。

图3是第一实施方式的作业车辆的拍摄装置拍摄的图像的例子。前方相机122拍摄作业机130以及驾驶室121的前方的作业对象反映的范围。即，如图3所示，在前方相机122拍摄的图像P1中，反映作业机130以及驾驶室121的前方的作业对象。另外，由于驾驶室121设于作业机130的左侧，因此在图像P1的右侧部分反映出大臂131的一部分。

作业车辆100具备前方相机122、位置方位运算器123、倾斜计测器124、液压装置125、控制装置126。

位置方位运算器123计算转弯体120的位置以及转弯体120朝向的方位。位置方位运算器123具备从构成GNSS的人工卫星接收测位信号的两个接收器。两个接收器分别设置于转弯体120的不同的位置。位置方位运算器123基于接收器接收的测位信号，检测现场坐标系中的转弯体120的代表点(挖掘机坐标系的原点)的位置。

位置方位运算器123使用两个接收器接收到的各测位信号，作为另一方的接收器的设置位置相对于一方的接收器的设置位置的关系，计算转弯体120的朝向方位。

需要说明的是，在其他实施方式中，位置方位运算器123也可以基于旋转编码器、IMU的计测值检测转弯体120朝向的方位。另外其他实施方式的作业车辆100也可以不具备位置方位运算器123。

倾斜计测器124计测转弯体120的加速度以及角速度，并基于计测结果检测转弯体120的姿势(例如侧偏角、俯仰角、横摆角)。倾斜计测器124设置于例如转弯体120的下表面。倾斜计测器124能够使用例如惯性计测装置(IMU：Inertial Measurement Unit)。需要说明的是，其他实施方式的作业车辆100也可以不具备位置方位运算器123。

液压装置125具备工作油箱、液压泵以及流量控制阀。液压泵由未图示的发动机或者电动马达的动力驱动，经由流量控制阀向大臂缸134、小臂缸135以及铲斗缸136供给工作油。流量控制阀具有杆状的滑阀，根据滑阀的位置调节向大臂缸134、小臂缸135以及铲斗缸136供给的工作油的流量。滑阀基于从控制装置126接收的控制指令被驱动。即，向大臂缸134、小臂缸135以及铲斗缸136供给的工作油的量由控制装置126控制。

控制装置126将前方相机122拍摄的图像、转弯体120的转弯速度、位置、方位以及倾斜角、大臂131以及小臂132以及铲斗133的倾斜角的信息发送到远程操作室500。以下，通过作业车辆100所具备的各种传感器计测，并且由控制装置126发送的信息也称作车身信息。

控制装置126从远程操作室500接收操作信号。控制装置126基于接收到的操作信号，驱动作业机130、转弯体120或者行驶体110。

<远程操作室的控制装置>

图4是表示第一实施方式的远程操作室的控制装置的构成的概略框图。

控制装置550是具备处理器910、主存储器930、储存部950、接口970的计算机。储存部950存储程序。处理器910从储存部950读取程序并在主存储器930展开，执行根据程序的处理。

作为储存部950的例子，可列举HDD(Hard Disk Drive)、SSD(Solid StateDrive)、磁盘、光磁盘、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(DigitalVersatile Disc Read Only Memory)、半导体存储器等。储存部950也可以是与控制装置550的共用通信线直接连接的内部介质，也可以是经由接口970与控制装置550连接的外部介质。储存部950也可以是非暂时性的有形的存储介质。需要说明的是，在其他实施方式中，控制装置550除了上述构成以外，或者代替上述构成，而具备PLD(Programmable LogicDevice)等定制LSI(Large Scale Integrated Circuit)或者ASIC(Application SpecificIntegrated Circuit)等半定制LSI。作为PLD的例子，可列举PAL(Programmable ArrayLogic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)。在该情况下，由处理器910实现的功能的一部分或者全部也可以通过该集成电路实现。

处理器910通过执行程序，而具备车身信息接收部911、图像截取部912、刀尖高度确定部913、刀尖高度图像生成部914、显示图像生成部915、显示控制部916、操作信号发送部917。

车身信息接收部911从作业车辆100接收前方相机122拍摄的图像、转弯体120的转弯速度、位置、方位以及倾斜角以及大臂131、小臂132以及铲斗133的倾斜角的信息。即，车身信息接收部911是拍摄图像取得部的一个例子。

图5是表示从前方相机拍摄的图像P1截取的图像的例子的图。

图像截取部912从车身信息接收部911接收的前方相机122拍摄到的图像P1，分别截取用于在中央显示器521显示的中央图像P11，用于在左显示器522显示的左图像P12，用于在右显示器523显示的右图像P13，用于在上显示器524显示的上图像P14，用于在下显示器525显示的下图像P15。需要说明的在是，第一显示装置520由一个显示器构成的情况下，图像截取部912也可以不进行图像的截取。

刀尖高度确定部913基于车身信息接收部911接收的大臂131、小臂132以及铲斗133的倾斜角的信息，计算从作业车辆100的接地面到铲斗133的刀尖的高度即刀尖高度。具体而言，刀尖高度确定部913按照以下顺序计算铲斗133的刀尖高度。

刀尖高度确定部913基于大臂131的基端部的销的已知高度、大臂131的倾斜角、大臂131的已知长度，计算大臂131的前端部的销的高度。大臂131的前端部的销即为小臂132的基端部的销。刀尖高度确定部913基于小臂132的基端部的销的高度、小臂132的倾斜角、小臂132的已知长度，计算小臂132的前端部的销的高度。小臂132的前端部的销即铲斗133的基端部的销。刀尖高度确定部913基于铲斗133的基端部的销的高度、铲斗133的倾斜角、从铲斗133的基端部到刀尖的已知长度，计算铲斗133的刀尖的高度。需要说明的是，在其他实施方式中，刀尖高度确定部913也可以从拍摄图像提取刀尖的特征点检测该特征点的高度，也可以在铲斗133安装激光传感器，并基于该激光传感器的检测值检测刀尖的高度。需要说明的是，第一实施方式的刀尖高度为从作业车辆100的接地面到铲斗133的刀尖的高度，但在其他实施方式中并不限定于此。例如其他实施方式的刀尖高度也可以是从铲斗133的刀尖的正下方的地表面到刀尖的高度。需要说明的是，铲斗133的刀尖的正下方的地表面有时是作业车辆100的接地面不同的高度。即铲斗133的刀尖的正下方的地表面也可以是比作业车辆100的接地面更高的地表面，也可以是比作业车辆100的接地面低的地表面。另外铲斗133的刀尖的正下方的地表面也可以是法面。接地面以及铲斗133的刀尖的正下方的地表面都是地表面的一个例子。刀尖高度确定部913是铲斗高度确定部的一个例子。

图6是表示刀尖高度图像的例子的图。

刀尖高度图像生成部914基于刀尖高度确定部913计算的刀尖高度，生成表示作业机130的刀尖高度的刀尖高度图像P2。刀尖高度图像P2包括具有表示高度的刻度的仪表P21，配置于仪表P21上，表示刀尖高度的指示器P22。由此，操作人员通过识别仪表P21中的指示器P22的相对位置关系，而能够推测刀尖高度。另外，操作人员通过读取指示器P22所处的位置的仪表P21的刻度，而能够准确地识别刀尖高度。

图7是表示在第一实施方式的显示装置显示的显示图像的例子的图。

显示图像生成部915通过将刀尖高度图像P2配置在图像截取部912截取的右图像P13的配置区域R，而生成显示用右图像P13a。配置区域R例如是操作人员的视线移动少的区域。需要说明的是，其他实施方式的配置区域R也可以设于其他的截取的图像。另外在其他实施方式中，刀尖高度图像P2也可以配置于预先确定的位置。

显示控制部916在中央显示器521显示中央图像P11。在左显示器522显示左图像P12。控制装置550在右显示器523显示显示用右图像P13a。控制装置550在上显示器524显示上图像P14。控制装置550在下显示器525显示下图像P15。即，显示控制部916与第二显示装置530显示的车身信息分开地在第一显示装置520的配置区域显示补足图像。显示控制部916是刀尖高度通知部的一个例子。

操作信号发送部917基于操作人员对操作装置540的操作生成操作信号，并向作业车辆100发送。

<远程操作室的显示控制方法>

图8是表示第一实施方式的远程操作室的控制装置的显示控制方法的流程在图。作业车辆100的远程操作开始时，控制装置550以规定的周期执行以下所示的显示控制。

车身信息接收部911从作业车辆100的控制装置126接收车身信息(步骤S11)。接下来，图像截取部912从接收到的车身信息中的前方相机122拍摄得图像P1，分别截取中央图像P11、左图像P12、右图像P13、上图像P14以及下图像P15(步骤S12)。

刀尖高度确定部913基于接收到的车身信息中的大臂131、小臂132以及铲斗133的倾斜角的信息，计算铲斗133的刀尖高度(步骤S13)。刀尖高度图像生成部914基于刀尖高度，生成刀尖高度图像P2(步骤S14)。

显示图像生成部915通过将刀尖高度图像P2配置于右图像P13的配置区域R，生成显示用右图像P13a(步骤S15)。显示控制部916生成用于使中央图像P11、左图像P12、显示用右图像P13a、上图像P14以及下图像P15显示于第一显示装置520的显示信号，并向第一显示装置520发送(步骤S16)。

<作用·效果>

如此，第一实施方式的远程操作室500的控制装置550确定从作业机130的接地面到刀尖的高度即刀尖高度，并将该刀尖高度向操作人员通知。由此，操作人员能够容易地识别由于远程操作而难以识别的作业机的刀尖高度。

另外，第一实施方式的控制装置550在搭载于作业车辆100的前方相机122拍摄的拍摄图像中，将配置有刀尖高度图像的显示图像显示于第一显示装置520。由此，操作人员通过目视确认与作业对象物反映的图像相同的显示装置，而能够识别刀尖高度。由此，操作人员能够以较少的视线的移动容易地识别刀尖高度。需要说明的是，其他实施方式的控制装置550也可以代替刀尖高度图像，而仅仅将表示高度的数值显示于第一显示装置520。另外其他实施方式的控制装置550也可以通过显示以外的方法将刀尖高度向操作人员通知。例如其他实施方式的控制装置550也可以通过从扬声器产生通知刀尖高度的语音，而将刀尖高度向操作人员通知。另外其他实施方式的控制装置550也可以以随着刀尖高度降低而使操作装置540的杆操作变重的方式控制操作装置540。例如控制装置550能够将内置于操作装置540的杆的自中用(セルフニュートラル用)的未图示弹簧利用促动器以与刀尖高度相应的量压缩，而加重杆操作。

〈其他实施方式〉

以上，一边参照附图一边对一实施方式进行了说明，但具体构成不限于上述结构，能够进行各种设计变更等。

例如在上述实施方式中，控制装置550计算刀尖高度，但并不限定于此。例如在其他实施方式中，也可以使作业车辆100的控制装置126、外部的服务器装置计算刀尖高度，并且使控制装置550接收该刀尖高度的信息。另外在其他实施方式中，也可以使作业车辆100的控制装置126、外部的服务器装置生成刀尖高度图像，并且使控制装置550接收该刀尖高度图像。在该情况下，刀尖高度确定部913能够通过刀尖高度的信息或者刀尖高度图像的接收确定刀尖高度。

另外，上述实施方式中，控制装置550计算铲斗133的刀尖高度并且通知，但在其他实施方式中，并不限定于此。例如其他实施方式的控制装置550也可以代替刀尖高度，而计算从地表面到铲斗最下点的距离即铲斗最下高度，并且通知。铲斗最下点是铲斗133中的最靠近地表面的点。控制装置550也可以代替从铲斗133的基端部到刀尖的长度，或者除此之外，通过预先存储以铲斗133的基端部为基准的铲斗133的形状，能够确定铲斗最下点。刀尖高度以及铲斗最下高度均是铲斗高度的一个例子。

另外，上述实施方式中，在远程操作系统1安装有铲斗高度通知装置，但并不限定于此。例如在其他实施方式中，也可以在作业车辆100的外部并且能够目视确认作业车辆100的位置，通过无线通信操作在作业车辆100的无线电控制系统中应用铲斗高度通知装置。在无线电控制系统中应用铲斗高度通知装置的情况下，控制装置也可以具备显示装置。

工业上的可利用性

根据本发明，远程操作室的控制装置能够将由于远程操作而难以识别的作业机的铲斗的高度向操作人员通知。

附图标记说明

1…远程操作系统100…作业车辆130…作业机120…转弯体110…行驶体131…大臂132…小臂133…铲斗134…大臂缸135…小臂缸136…铲斗缸137…大臂角度传感器138…小臂角度传感器139…铲斗角度传感器121…驾驶室122…前方相机123…位置方位运算器124…倾斜计测器125…液压装置126…控制装置500…远程操作室510…驾驶座520…第一显示装置530…第二显示装置540…操作装置550…控制装置911…车身信息接收部912…图像截取部913…刀尖高度确定部914…刀尖高度图像生成部915…显示图像生成部916…显示控制部917…操作信号发送部

Claims (4)

1.一种铲斗高度通知装置，其特征在于，具备：

铲斗高度确定部，其确定从地表面到远程操作的作业车辆所具备的作业机的铲斗的高度即铲斗高度；

铲斗高度通知部，其通知所述铲斗高度。

2.如权利要求1所述的铲斗高度通知装置，其特征在于，还具备：

拍摄图像取得部，其取得搭载于所述作业车辆的拍摄装置拍摄的拍摄图像；

显示图像生成部，其生成在所述拍摄图像配置有表示所述铲斗高度的铲斗高度图像的显示图像。

3.如权利要求2所述的铲斗高度通知装置，其特征在于，

所述铲斗高度通知部将所述显示图像向远程操作室内的显示装置输出。

4.一种铲斗高度通知方法，其特征在于，具备：

确定从远程操作的作业车辆的下方的地表面到所述作业车辆所具备的作业机的铲斗的高度即铲斗高度的步骤；

通知所述铲斗高度的步骤。

Images