CN112204198A - 作业机械的显示系统及其控制方法 - Google Patents

作业机械的显示系统及其控制方法 Download PDF

Info

Publication number
CN112204198A
CN112204198A CN201980034938.6A CN201980034938A CN112204198A CN 112204198 A CN112204198 A CN 112204198A CN 201980034938 A CN201980034938 A CN 201980034938A CN 112204198 A CN112204198 A CN 112204198A
Authority
CN
China
Prior art keywords
work machine
image
work
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980034938.6A
Other languages
English (en)
Other versions
CN112204198B (zh
Inventor
大门正树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN112204198A publication Critical patent/CN112204198A/zh
Application granted granted Critical
Publication of CN112204198B publication Critical patent/CN112204198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2004Control mechanisms, e.g. control levers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/267Diagnosing or detecting failure of vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

作业机械的显示系统具备:取得部,其用于取得作业机械的动作信息和操作信息;动作图像生成部,其基于由取得部取得到的动作信息和操作信息,生成作业机械的动作图像和与作业机械的动作图像相对应的操作图像;以及显示部,其用于显示作业机械的动作图像和操作图像。

Description

作业机械的显示系统及其控制方法
技术领域
本发明涉及一种作业机械。
背景技术
轮式装载机等作业机械在能够沿上下方向转动的动臂的前端具备能够沿倾倒方向转动的铲斗。操作员通过对操作装置进行操作,在使铲斗向倾倒方向转动而成为大致水平之后,进行使作业机械行驶而使铲斗插入到砂土等山中的挖掘作业。由此,向铲斗内装入货物。操作员使动臂或者车身旋转,使作业机械与自卸车等搬运机械相面对,使动臂上升到货箱的上方。在操作员使铲斗向倾倒方向转动时,铲斗内的货物下落到货箱中,货物转移至搬运机械。通过重复多次这样的循环,进行装入作业。
在轮式装载机等作业机械的动作中,在使作业机械行驶的油门操作的同时,需要分别使动臂和铲斗的操作杆动作来操作铲斗的动作,因此执行高效的动作并不简单,需要熟练。因而,要求能够确认作业机械的动作状态并进行驾驶指导的功能。
在这一方面,例如,在日本特开2016-89388号公报中公开了如下这样的技术:向远程位置的设备侧发送信息,在远程位置的设备侧,提供用于辅助操作员的作业的辅助图像。该辅助图像生成考虑了作业机械与搬运车辆的相对位置关系的图像。然而,在上述公报中,只不过提供了与作业中的作业机械的姿态有关的辅助图像,无法容易地识别是基于怎样的操作指令的作业机械的姿态。
在先技术文献
专利文献
专利文献1:日本特开2016-89388号公报
发明内容
发明要解决的课题
在这一方面,本发明是为了解决上述课题而完成的,其目的在于提供一种能够连同作业机械的动作状态一起也容易地识别操作状态的作业机械的显示系统及其控制方法。
用于解决课题的方案
本发明的作业机械的显示系统具备:取得部,其用于取得作业机械的动作信息和操作信息;动作图像生成部,其基于由取得部取得到的动作信息和操作信息生成作业机械的动作图像和与作业机械的动作图像相对应的操作图像;以及显示部,其用于显示作业机械的动作图像和操作图像。
本发明的作业机械的显示系统的控制方法包括如下步骤:取得作业机械的动作信息和操作信息;基于取得到的动作信息和操作信息,生成作业机械的动作图像和与作业机械的动作图像相对应的操作图像;以及显示作业机械的动作图像和操作图像。
发明效果
本发明的作业机械的显示系统及其控制方法能够连同作业机械的动作状态一起也容易地识别操作状态。
附图说明
图1是作为实施方式的作业机械的一例的轮式装载机1的侧视图。
图2是表示包含实施方式的轮式装载机1的整体系统的结构的概要框图。
图3是说明基于实施方式的轮式装载机1的作业工序的示意图。
图4是表示基于实施方式的轮式装载机1的作业工序的判断方法的表。
图5是对实施方式的第二处理装置70的功能块进行说明的图。
图6是说明储存于实施方式的存储器73的作业机械表的图。
图7是对实施方式的第二处理装置70的事件登记处理进行说明的流程图。
图8是对实施方式的动作图像生成部82的详细功能块进行说明的图。
图9是对实施方式的显示部72的作业画面200进行说明的图。
图10是对实施方式的第二处理装置70的再现位置选择处理进行说明的流程图。
具体实施方式
以下,参照附图说明本发明的实施方式,但本发明并不限定于此。以下说明的各实施方式的构成要素能够适当组合。另外,也存在不使用一部分构成要素的情况。
[整体结构]
在实施方式中,作为作业机械的一例,对轮式装载机1进行说明。图1是作为实施方式的作业机械的一例的轮式装载机1的侧视图。如图1所示,轮式装载机1具备车身框架2、工作装置3、行驶装置4以及驾驶室5。由车身框架2、驾驶室5等构成轮式装载机1的车身。在轮式装载机1的车身安装有工作装置3和行驶装置4。
行驶装置4使轮式装载机1的车身行驶,包括行驶轮4a、4b。轮式装载机1能够通过旋转驱动行驶轮4a、4b而自动行驶,能够使用工作装置3进行所期望的作业。
车身框架2包含前框架11和后框架12。前框架11和后框架12以能够相互在左右方向上摆动的方式安装。在前框架11和后框架12上安装有转向缸13。转向缸13是液压缸。转向缸13通过在来自转向泵(未图示)的工作油的作用下伸缩而使轮式装载机1的行进方向左右变更。
在本说明书中,将轮式装载机1直行进驶的方向称为轮式装载机1的前后方向。在轮式装载机1的前后方向上,将针对车身框架2配置有工作装置3的那一侧设为前方向,将与前方向相反的一侧设为后方向。轮式装载机1的左右方向是俯视观察时与前后方向正交的方向。向前看时的左右方向的右侧、左侧分别为右方向、左方向。轮式装载机1的上下方向是与由前后方向及左右方向确定的平面正交的方向。上下方向中地面所在的一侧为下侧,天空所在的一侧为上侧。
前后方向是坐在驾驶室5内的驾驶席上的作业者的前后方向。左右方向是坐在驾驶席上的作业者的左右方向。左右方向是轮式装载机1的车宽方向。上下方向是坐在驾驶席上的作业者的上下方向。与坐在驾驶席上的作业者正对的方向是前方向,坐在驾驶席上的作业者的背后方向是后方向。坐在驾驶席上的作业者正对正面时的右侧、左侧分别为右方向、左方向。坐在驾驶席上的作业者的脚底侧为下侧,头顶侧为上侧。
在前框架11安装有工作装置3及行驶轮(前轮)4a。工作装置3包含动臂14和铲斗6。动臂14的基端部借助动臂销10以旋转自如的方式安装于前框架11。铲斗6借助位于动臂14的前端的铲斗销17以旋转自如的方式安装于动臂14。前框架11与动臂14通过动臂缸16而连结。动臂缸16为液压缸。动臂缸16在来自工作装置泵25(参照图2)的工作油的作用下伸缩,从而动臂14升降。动臂缸16驱动动臂14。
工作装置3还包含双臂曲柄18、倾转缸19及倾转杆15。双臂曲柄18由位于动臂14的大致中央的支承销18a以旋转自如的方式支承于动臂14。倾转缸19连结双臂曲柄18的基端部与前框架11。倾转杆15连结双臂曲柄18的前端部与铲斗6。倾转缸19为液压缸。倾转缸19在来自工作装置泵25(参照图2)的工作油的作用下伸缩,从而铲斗6上下转动。倾转缸19驱动铲斗6。
在后框架12安装有驾驶室5及行驶轮(后轮)4b。驾驶室5配置在动臂14的后方。驾驶室5载置在车身框架2上。在驾驶室5内配置有操作员落座的座椅及操作装置等。
在驾驶室5的上顶棚侧配置有位置检测传感器64。位置检测传感器64包括GNSS天线和全局坐标运算器。GNSS天线是全球导航卫星系统(RTK-GNSS(Real Time Kinematic-Global Navigation Satellite Systems)用的天线。在驾驶室5内配置有IMU(InertialMeasurement Unit)66。IMU66检测车身框架2的倾斜。IMU66检测车身框架2的相对于前后方向和左右方向的倾斜角。
图2是表示包含实施方式的轮式装载机1的整体系统的结构的概要框图。参照图2,实施方式的整体系统包括轮式装载机1和设置为能够通过无线通信或者有线通信与轮式装载机1通信的第二处理装置。
轮式装载机1具备发动机20、动力取出部22、动力传递机构23、缸驱动部24、第一角度检测器29、第二角度检测器48、转动机构60以及第一处理装置30(控制器)。
发动机20例如是柴油发动机。通过调整向发动机20的缸内喷射的燃料量来控制发动机20的输出。在发动机20设有温度传感器31。温度传感器31将表示温度的检测信号向第一处理装置30输出。
动力取出部22是将发动机20的输出分配给动力传递机构23和缸驱动部24的装置。动力传递机构23是将来自发动机20的驱动力向前轮4a和后轮4b传递的机构,例如是变速器。动力传递机构23使输入轴21的旋转变速并向输出轴23a输出。在动力传递机构23的输出轴23a安装有用于检测轮式装载机1的车速的车速检测部27。轮式装载机1包含车速检测部27。
车速检测部27例如是车速传感器。车速检测部27通过检测输出轴23a的旋转速度而对基于行驶装置4(图1)的轮式装载机1的移动速度进行检测。车速检测部27作为用于检测输出轴23a的旋转速度的旋转传感器发挥功能。车速检测部27作为检测基于行驶装置4的移动的移动检测器发挥功能。车速检测部27将表示轮式装载机1的车速的检测信号向第一处理装置30输出。
缸驱动部24具有工作装置泵25及控制阀26。发动机20的输出经由动力取出部22向工作装置泵25传递。从工作装置泵25排出的工作油经由控制阀26向动臂缸16及倾转缸19供给。
在动臂缸16安装有用于检测动臂缸16的油室内的液压的第一液压检测器28a、28b。轮式装载机1包含第一液压检测器28a、28b。第一液压检测器28a、28b具有例如盖侧压力检测用的压力传感器28a和底侧压力检测用的压力传感器28b。
压力传感器28a安装在动臂缸16的盖侧。压力传感器28a能够检测动臂缸16的缸盖侧油室内的工作油的压力(盖侧压力)。压力传感器28a将表示动臂缸16的盖侧压力的检测信号向第一处理装置30输出。压力传感器28b安装在动臂缸16的底侧。压力传感器28b能够检测动臂缸16的缸底侧油室内的工作油的压力(底侧压力)。压力传感器28b将表示动臂缸16的底侧压力的检测信号向第一处理装置30输出。
第一角度检测器29例如是安装于动臂销10的电位计。第一角度检测器29检测表示动臂14的攒起角度(倾斜角度)的动臂角度。第一角度检测器29将表示动臂角度的检测信号向第一处理装置30输出。具体而言,如图1所示,动臂角度θ是沿从动臂销10的中心朝向铲斗销17的中心的方向延伸的直线LB相对于从动臂销10的中心向前方延伸的水平线的角度。将直线LB水平的情况定义为动臂角度θ=0°。在直线LB处于比水平线靠上方的情况下将动臂角度θ设为正。在直线LB处于比水平线靠下方的情况下将动臂角度θ设为负。需要说明的是,第一角度检测器29也可以是配置于动臂缸16的行程传感器。
第二角度检测器48例如是安装于支承销18a的电位计。第二角度检测器48通过检测双臂曲柄18相对于动臂14的角度(双臂曲柄角度)来对表示铲斗6相对于动臂14的倾斜角度的铲斗角度进行检测。第二角度检测器48将表示铲斗角度的检测信号向第一处理装置30输出。铲斗角度例如是直线LB与连结铲斗销17的中心与铲斗6的铲尖6a的直线所成的角度。需要说明的是,第二角度检测器48也可以是配置于倾斜缸19的行程传感器。
转动机构60将前框架11和后框架12连结为能够转动。前框架11相对于后框架12的转动通过使连结在前框架11与后框架12之间的铰接缸伸缩来进行。另外,通过使前框架11相对于后框架12弯折(铰接),从而能够进一步减小轮式装载机旋转时的旋转半径,以及能够进行基于偏移行驶的开沟、拉坡作业。在转动机构60设有铰接角度传感器61。铰接角度传感器61检测铰接角度。铰接角度传感器61将表示铰接角度的检测信号向第一处理装置30输出。
位置检测传感器64将表示轮式装载机1的位置的检测信号向第一处理装置30输出。IMU66将表示轮式装载机1的倾斜角的检测信号向第一处理装置30输出。
如图2所示,轮式装载机1在驾驶室5内具备由操作员操作的操作装置。操作装置包括前进后退切换装置49、油门操作装置51、动臂操作装置52、变速操作装置53、铲斗操作装置54以及制动操作装置58。
前进后退切换装置49包含前进后退切换操作构件49a和前进后退切换检测传感器49b。前进后退切换操作构件49a为了指示车辆的前进和后退的切换而由操作员操作。前进后退切换操作构件49a能够切换为前进(F)、中立(N)以及后退(R)各位置。前进后退切换检测传感器49b检测前进后退切换操作构件49a的位置。前进后退切换检测传感器49b将由前进后退切换操作构件49a的位置表示的前进后退指令的检测信号(前进、中立、后退)向第一处理装置30输出。前进后退切换装置49包含能够切换前进(F)、中立(N)以及后退(R)的FNR切换杆。
油门操作装置51包含油门操作构件51a和油门操作检测部51b。油门操作构件51a为了设定发动机20的目标旋转速度而由操作员操作。油门操作检测部51b检测油门操作构件51a的操作量(油门操作量)。油门操作检测部51b将表示油门操作量的检测信号向第一处理装置30输出。
制动操作装置58包含制动操作构件58a和制动操作检测部58b。制动操作构件58a为了操作轮式装载机1的减速力而由操作员操作。制动操作检测部58b检测制动操作构件58a的操作量(制动操作量)。制动操作检测部58b将表示制动操作量的检测信号向第一处理装置30输出。作为制动操作量,也可以使用制动油的压力。
动臂操作装置52包含动臂操作构件52a和动臂操作检测部52b。动臂操作构件52a为了使动臂14进行上升动作或下降动作而由操作员操作。动臂操作检测部52b检测动臂操作构件52a的位置。动臂操作检测部52b将由动臂操作构件52a的位置表示的动臂14的上升指令或下降指令的检测信号向第一处理装置30输出。
变速操作装置53包含变速操作构件53a和变速操作检测部53b。变速操作构件53a为了控制动力传递机构23的从输入轴21向输出轴23a的变速而由操作员操作。变速操作检测部53b检测变速操作构件53a的位置。变速操作检测部53b将由变速操作构件53a的位置表示的变速的检测指令向第一处理装置30输出。
铲斗操作装置54包含铲斗操作构件54a和铲斗操作检测部54b。铲斗操作构件54a为了使铲斗6进行挖掘动作或倾倒动作而由操作员操作。铲斗操作检测部54b检测铲斗操作构件54a的位置。铲斗操作检测部54b将由铲斗操作构件54a的位置表示的向铲斗6的倾转方向或倾倒方向的操作指令的检测信号向第一处理装置30输出。
铰接操作装置55包含铰接操作构件55a和铰接操作检测部55b。铰接操作构件55a为了借助转动机构60使前框架11相对于后框架12弯折(铰接)而由操作员操作。铰接操作检测部55b检测铰接操作构件55a的位置。铰接操作检测部55b将由铰接操作构件55a的位置表示的相对于左方向的弯折指令或者相对于右方向的弯折指令的检测信号向第一处理装置30输出。
第一处理装置30由包含RAM(Random Access Memory)、ROM(Read Only Memory)等存储装置和CPU(Central Processing Unit)等运算装置的微型计算机构成。第一处理装置30可以作为轮式装载机1的控制发动机20、工作装置3(动臂缸16、倾斜缸19等)、动力传递机构23等的动作的控制器的功能的一部分来实现。由前进后退切换装置49检测的前进后退指令的信号、由车速检测部27检测的轮式装载机1的车速的信号、由第一角度检测器29检测的动臂角度的信号、由压力传感器28a检测的动臂缸16的盖侧压力的信号以及由压力传感器28b检测的动臂缸16的底侧压力的信号主要输入到第一处理装置30。
轮式装载机1还具有显示部40和输出部45。显示部40是配置于驾驶室5的、由操作员视觉辨认的监视器。
输出部45向设置于轮式装载机1的外部的服务器(第二处理装置70)输出包含轮式装载机1的动作信息的作业机械动作信息。输出部45既可以每隔规定期间输出包含轮式装载机1的动作信息的作业机械动作信息,或者也可以一并输出多个期间的作业机械动作信息。输出部45例如也可以具有无线通信等通信功能,与第二处理装置70通信。或者,输出部45例如也可以是第二处理装置70能够访问的便携存储装置(存储卡等)的接口。第二处理装置70具有相当于监视器功能的显示部,能够显示基于从输出部45输出的作业机械动作信息的动作图像。第二处理装置70设置于与轮式装载机1不同的位置,作为一例,能够在远程位置利用显示部识别轮式装载机1在作业中的动作图像。
[轮式装载机1的作业工序及其判断]
本实施方式的轮式装载机1执行将砂土等挖掘对象物挖取到铲斗6中的挖掘动作和将铲斗6内的货物(挖掘对象物100)向自卸车110等搬运机械装入的装入动作。
图3是说明基于实施方式的轮式装载机1的作业工序的示意图。轮式装载机1重复地依次进行下述的多个工序,对挖掘对象物100进行挖掘并将挖掘对象物100装入自卸车110等搬运机械。
如图3的(A)所示,轮式装载机1朝向挖掘对象物100前进。在该空载前进工序中,操作员操作动臂缸16及倾转缸19,将工作装置3设为动臂14的前端位于低的位置且铲斗6朝向水平的挖掘姿态,使轮式装载机1朝向挖掘对象物100前进。
操作员使轮式装载机1前进,直到如图3的(B)所示铲斗6的铲尖6a陷入挖掘对象物100。在该挖掘(伸入)工序中,铲斗6的铲尖6a陷入挖掘对象物100。
如图3的(C)所示,之后操作员操作动臂缸16使铲斗6上升,并且操作倾转缸19使铲斗6倾转。通过该挖掘(挖取)工序,如图中的曲线箭头所示,铲斗6沿着铲斗轨迹L上升,挖掘对象物100被挖取到铲斗6内。由此,执行挖取挖掘对象物100的挖掘作业。
根据挖掘对象物100的种类,存在仅使铲斗6倾转一次即挖取工序完成的情况。或者,在挖取工序中也存在重复进行使铲斗6倾转、中立、再倾转的动作的情况。
在如图3的(D)所示铲斗6挖取挖掘对象物100后,操作员在装载后退工序中使轮式装载机1后退。操作员可以一边后退一边进行动臂上升,也可以如图3的(E)所示一边前进一边进行动臂上升。
如图3的(E)所示,操作员一边维持使铲斗6上升了的状态或使铲斗6上升,一边使轮式装载机1前进以靠近自卸车110。通过该装载前进工序,铲斗6位于自卸车110的货箱的大致正上方。
如图3的(F)所示,操作员在规定位置使铲斗6倾倒以将铲斗6内的货物(挖掘对象物)装入自卸车110的货箱。该工序为所谓的排土工序。之后,操作员一边使轮式装载机1后退一边使动臂14下降,使铲斗6返回挖掘姿态。以上是形成挖掘装载作业的一个循环的典型的工序。
图4是表示基于实施方式的轮式装载机1的作业工序的判断方法的表。在图4所示的表中,最上面的“作业工序”的行中示出图3的(A)~图3的(F)所示的作业工序的名称。其下的“前进后退切换杆”、“工作装置操作”以及“工作装置缸压力”的行中示出为了判定当前的作业工序是哪个工序而由第一处理装置30(图2、图3)使用的各种判断条件。更详细而言,“前进后退切换杆”的行中以圆形标记表示关于前进后退切换杆的判定条件。
“工作装置操作”的行中以圆形标记示出操作员针对工作装置3进行的操作的判定条件。更详细来说,“动臂”的行中示出与针对动臂14进行的操作有关的判定条件,“铲斗”的行中示出与针对铲斗6进行的操作有关的判定条件。
“工作装置缸压力”的行中示出工作装置3的液压缸的当前的液压、例如动臂缸16的缸底室的液压的判定条件。在此,关于液压,预先设定四个基准值A、B、C、P,由该基准值A、B、C、P定义多个压力范围(小于基准值P的范围、基准值A到C的范围、基准值B到P的范围、小于基准值C的范围),这些压力范围设定为上述判断条件。四个基准值A、B、C、P的大小为A>B>C>P。
通过使用以上这样的各作业工序的“前进后退切换杆”、“动臂”、“铲斗”及“工作装置缸压力”的判定条件的组合,第一处理装置30能够判断当前进行的工序处于哪个工序。
以下说明进行图4所示的控制的情况下的第一处理装置30的具体的动作。与图4所示的各作业工序相对应的“前进后退切换杆”、“动臂”、“铲斗”以及“工作装置缸压力”的判定条件的组合预先储存于存储部30j(图2)。第一处理装置30基于来自前进后退切换装置49的信号掌握当前选择的前进后退切换杆(F、N、R)。第一处理装置30基于来自动臂操作检测部52b的信号掌握针对动臂14的当前的操作的种类(下降、中立或者上升)。第一处理装置30基于来自铲斗操作检测部54b的信号掌握针对铲斗6的当前的操作的种类(倾倒、中立或者倾转)。而且,第一处理装置30基于来自图2所示的压力传感器28b的信号掌握动臂缸16的缸底室的当前的液压。
第一处理装置30将所掌握的当前的前进后退切换杆、动臂操作种类、铲斗操作种类及提升缸液压的组合(即当前的作业状态)和与预先存储的各作业工序对应的“前进后退切换杆”、“动臂”、“铲斗”及“工作装置缸压力”的判定条件的组合进行对照。作为该对照的处理的结果,第一处理装置30判定与当前的作业状态最为一致判定条件的组合与哪个作业工序对应。在此,与图4所示的挖掘装载动作相对应的判定条件的组合作为一例如下所述。
在空载前进工序中,前进后退切换杆为F,动臂操作和铲斗操作均为中立,工作装置缸压力小于基准值P。在挖掘(伸入)工序中,前进后退切换杆为F,动臂操作和铲斗操作均为中立,工作装置缸压力为基准值A到C的范围。在挖掘(挖取)工序中,前进后退切换杆为F或者R,动臂操作为上升或者中立,铲斗操作为倾转,工作装置缸压力为基准值A到C的范围。关于铲斗操作,也可以进一步追加倾转和中立交替重复的判定条件。这是因为,根据挖掘对象物的状态,存在重复进行使铲斗6倾转、中立、再倾转这样的动作的情况。在装载后退工序中,前进后退切换杆为R,动臂操作为中立或者上升,铲斗操作为中立,工作装置缸压力为基准值B到P的范围。在装载前进工序中,前进后退切换杆为F,动臂操作为上升或者中立,铲斗操作为中立,工作装置缸压力为基准值B到P的范围。在排土工序中,前进后退切换杆为F,动臂操作为上升或者中立,铲斗操作为倾倒,工作装置缸压力为基准值B到P的范围。在后退、动臂下降工序中,前进后退切换杆为R,动臂操作为下降,铲斗操作为倾转,工作装置缸压力小于基准值P。
与在第一处理装置30中判定的作业工序有关的信息作为作业机械动作信息的一部分经由输出部45向第二处理装置70输出。需要说明的是,在本例中,对利用第一处理装置30判定作业工序的方式进行说明,但并不特别限定于此,也可以利用第二处理装置70判定作业工序。
[第二处理装置70的功能结构]
图5是对实施方式的第二处理装置70的功能块进行说明的图。参照图5,第二处理装置70包含输入部71、显示部72、存储器73、通信部74以及CPU75。
输入部71包含鼠标、键盘、控制器、触摸板等。通过操作输入部71而生成输入指令。例如,通过鼠标操作、键盘操作、控制器的按钮操作或者触摸板的触摸操作生成输入指令。
显示部72包含液晶等显示器。存储器73包含RAM、ROM等存储装置。存储器73储存用于实现通过由CPU75读取而执行各种处理的功能块的程序。另外,存储器73将从轮式装载机1发送的作业机械动作信息储存为作业机械动作数据。
实施方式的第二处理装置70使用储存于存储器73的作业机械动作数据生成并显示表示轮式装载机1在作业中的动作状态的动作图像。关于作业机械动作数据将在后述。在本例中,对第二处理装置70使用工作装置机械动作数据实时地显示表示轮式装载机1在作业中的动作状态的动作图像的情况进行说明,但也能够在轮式装载机1的作业之后使用储存于存储器73的作业机械动作数据进行再现处理。需要说明的是,再现处理包括某一时刻的静止图像和随时间连续地变化的动态图像这两者。
CPU75基于储存于存储器73的程序实现各种功能块。具体而言,CPU75包含选择部80、动作图像生成部82、显示控制部84、事件判定部86以及事件登记部88。
选择部80在再现处理时选择储存于存储器73的作业机械动作数据的时刻作为再现时刻。动作图像生成部82基于作业机械动作数据生成轮式装载机1的动作图像数据。显示控制部84基于由动作图像生成部82生成的轮式装载机1的动作图像数据将包含动作图像的作业画面向显示部72输出并显示。事件判定部86基于储存于存储器73的作业机械动作信息判断是否发生了事件。事件登记部88将与由事件判定部86判断为发生了的事件有关的事件信息与作业机械动作信息建立关联并储存于存储器73。需要说明的是,第二处理装置70是本发明的“作业机械的显示系统”的一例。另外,选择部80、动作图像生成部82、事件判定部86、事件登记部88、显示部72以及存储器73分别为本发明的“选择部”、“动作图像生成部”、“事件判定部”、“事件登记部”、“显示部”以及“存储部”的一例。
图6是说明储存于实施方式的存储器73的作业机械表的图。参照图6,作业机械表包含按时间序列排列的作业机械动作数据。
作为一例,示出在作业机械表中储存有多个作业机械动作数据的情况。具体而言,示出分别与时间序列的作业时刻“12:01:01”、“12:01:05”、“12:01:10”、“12:02:00”、“12:02:04”建立对应关系的作业机械动作数据。作为一例,该作业时刻与第二处理装置70的通信部74接收到从第一处理装置30的输出部45发送的数据(作业机械动作信息)的时刻相对应。需要说明的是,该时刻不限于第二处理装置70的通信部74接收到该信息的时刻,既可以设为第一处理装置30的输出部45发送的时刻,也可以使用其他成为基准的时刻。
作业机械动作数据包含作业机械动作信息和与该作业机械动作信息建立关联的事件信息。
事件信息是与发生的事件有关的信息。该事件信息将在后述,由事件登记部88设定。因而,在由事件登记部88设定之前,作业机械动作数据的事件信息为空白状态。
作业机械动作信息包含与作业时刻建立对应关系的车辆信息CN、操作信息T、位置信息P、作业者ID以及车身ID。车辆信息CN是轮式装载机1的信息。具体而言,车辆信息CN包括工作装置3和与包含除工作装置3之外的行驶装置4等的车辆有关的信息。需要说明的是,在本例中,对车辆信息CN包括工作装置3和与车辆(机械主体)有关的信息这两者的情况进行说明,但也可以设为任一者。工作装置3的信息包含与第一角度检测器29、第二角度检测器48、第一液压检测器28a、28b的检测信号以及作业工序有关的工作装置数据。能够利用该工作装置数据检测工作装置3的姿态状态等。
与车辆有关的信息包含与温度传感器31、车速检测部27、铰接角度传感器61的检测信号有关的车辆数据。能够利用该车辆数据检测行驶装置4的状态等。操作信息T包含针对工作装置3的工作装置操作信息以及车辆操作信息。工作装置操作信息包含与动臂操作检测部52b、铲斗操作检测部54b的检测信号有关的工作装置操作数据。能够利用该工作装置操作数据检测针对工作装置3的操作状态。车辆操作信息包含与前进后退切换操作构件49a、油门操作检测部51b、变速操作检测部53b、铰接操作检测部55b、制动操作检测部58b的检测信号有关的车辆操作数据。能够利用该车辆操作数据检测针对车辆的操作状态。需要说明的是,在本例中,对操作信息T包含工作装置操作信息和车辆操作信息这两者的情况进行说明,但也可以设为任一者。
位置信息P是与轮式装载机1的位置有关的信息。具体而言,位置信息P包含与位置检测传感器64的检测信号有关的位置数据和与IMU66的检测信号有关的倾斜数据。
作业者ID是识别轮式装载机1的操作员的信息。作为一例,在作业者启动作业机械的发动机时使用的钥匙中预先存储有作业者ID。第一处理装置30在启动作业机械的发动机时从该钥匙取得作业者ID。
车身ID是识别轮式装载机1的车身的信息。作为一例,在第一处理装置30的存储部30j预先储存有车身ID。需要说明的是,在本例中,对储存于第一处理装置30的存储部30j的情况进行说明,但不限于此,也可以预先储存于第二处理装置70的存储器73。
[事件登记处理]
图7是对实施方式的第二处理装置70的事件登记处理进行说明的流程图。该事件登记处理能够与生成表示轮式装载机1在作业中的动作状态的动作图像的动作图像生成处理并列地作为后台处理来执行。参照图7,事件判定部86取得储存于存储器73的作业机械表的作业机械动作数据(步骤ST0)。
接下来,事件判定部86基于所取得的作业机械动作数据判断是否发生了事件(步骤ST4)。事件判定部86判断所取得的作业机械动作数据是否满足规定的事件条件。
作为一例,作为事件条件,在本例中,在温度为规定温度以上的情况下,判定为发生了过热的事件。例如,车辆信息CN所包含的与车辆有关的信息包含与温度传感器31的检测信号有关的车辆数据。事件判定部86基于该温度传感器31的检测信号的数据判断温度是否为规定温度以上。
作为另一事件条件,在本例中,根据作业工序的信息判定为发生了事件。例如,车辆信息CN包括包含作业工序在内的工作装置数据。事件判定部86基于工作装置数据判断是否发生了事件。当在工作装置数据中包含挖掘的作业工序的信息的情况下,判断为发生了挖掘的事件。
需要说明的是,不限于此,能够设置各种事件条件,既可以使用所取得的作业机械动作信息的1个数据判定为发生了规定的事件,也可以基于多个数据的组合判定为发生了规定的事件。
在步骤ST4中,事件判定部86在判断为发生了事件的情况(在步骤ST4中,是)下,指示事件登记部88进行登记。
接下来,事件登记部88按照事件判定部86的登记指示对事件信息进行登记(步骤ST6)。
然后,接下来,事件登记部88判断作业机械表所包含的全部作业机械动作数据的确认是否结束(步骤ST8)。
在步骤ST8中,事件登记部88在判断为全部作业机械动作数据的确认结束了的情况(在步骤ST8中,是)下,结束事件登记处理(结束)。另一方面,在步骤ST8中,事件登记部88在判断为全部作业机械动作数据的确认没有结束的情况(在步骤ST8中,否)下,返回步骤ST0,取得作业机械表的确认未结束的作业机械动作数据,重复上述处理。
事件登记部88在作为一例发生了过热的事件的情况下,在作业机械动作数据中登记为与作业机械动作信息建立关联的事件信息。另外,事件登记部88在作为一例发生了挖掘的事件的情况下,在作业机械动作数据中登记为与作业机械动作信息建立关联的事件信息。关于其他作业机械动作数据也是同样的。由此,设定图6所示的事件信息。
[动作图像生成处理]
图8是对实施方式的动作图像生成部82的详细功能块进行说明的图。参照图8,动作图像生成部82包含动作状态图像生成部820、位置状态图像生成部822、车辆状态图像生成部824、管理信息图像生成部826以及事件信息图像生成部828。动作图像生成部82的各功能块由预先储存于存储器73的程序实现。
动作状态图像生成部820基于作业机械动作数据生成动作状态图像数据。位置状态图像生成部822基于作业机械动作数据生成位置状态图像数据。车辆状态图像生成部824基于作业机械动作数据生成车辆状态图像数据。管理信息图像生成部826基于作业机械动作数据生成管理信息图像数据。事件信息图像生成部828基于作业机械动作数据生成事件信息图像数据。
图9是对实施方式的显示部72的作业画面200进行说明的图。参照图9,在作业画面200中设有显示与轮式装载机1的作业时刻“2018/1/1/12:02:00”相对应的轮式装载机1的各种信息的多个画面。多个画面是与作业时刻同步的画面。在本例中,动作图像生成部82基于储存于作业机械表的与作业时刻相对应的作业机械动作数据生成轮式装载机1的动作图像数据。需要说明的是,再现时刻既可以仅是时刻的信息,也可以包含与日期有关的信息。
显示控制部84基于由动作图像生成部82生成的动作图像数据将作业画面200显示在显示部72中。在本例中,动作图像数据包含动作状态图像数据、位置状态图像数据、车辆状态图像数据、管理信息图像数据以及事件信息图像数据。
具体而言,显示控制部84基于动作状态图像数据将表示轮式装载机1的动作的动作画面210显示在显示部72中。显示控制部84基于位置状态图像数据将表示轮式装载机1的位置画面230显示在显示部72中。显示控制部84基于车辆状态图像数据将表示轮式装载机1的状态的信息的状态画面220显示在显示部72中。显示控制部84基于事件信息图像数据将显示轮式装载机1所发生的事件的列表的事件显示画面240显示在显示部72中。显示控制部84基于管理信息图像数据将表示轮式装载机1的管理信息的管理画面260显示在显示部72中。
需要说明的是,显示控制部84也可以设置用于对作业画面200指示与再现处理有关的各种命令的命令栏。命令栏包含再现按钮、停止按钮、临时停止按钮、快进按钮、快退按钮等。通过由管理者操作该按钮,能够执行与再现处理有关的各种处理。通过由管理者操作再现按钮,执行随着从某个再现时刻起的时间的变化的轮式装载机1的动作图像的连续的再现处理(视频再现处理)。通过由管理者操作临时停止按钮,执行按照某个再现时刻的轮式装载机1的动作图像的再现处理(静止图像再现处理)。
[动作画面210]
动作画面210基于动作状态图像数据进行显示。动作画面210包含倾斜状态图像212、铰接状态图像214、作业状态图像216。
动作状态图像生成部820基于生成轮式装载机1的3D模型形状的基准图像的3D模型形状数据和车辆信息CN所包含的工作装置数据生成第一动作状态图像数据。需要说明的是,3D模型形状数据预先储存于存储器73。在3D模型形状数据中包含构成3D模型形状的基准图像的工作装置、车身、车轮等各模型形状的数据。另外,第一动作状态图像数据也可以设为表示车辆的倾斜、铰接角度的图像数据。
显示控制部84基于第一动作状态图像数据显示表示轮式装载机1在作业中的状态的作业状态图像216。作业状态图像216包含表示轮式装载机1的3D模型的工作装置模型图像217和表示轮式装载机1所行驶的路面模型的路面图像218。
显示控制部84能够通过将工作装置模型图像217的行驶状态和路面图像218组合来表现。具体而言,作为一例,通过使路面图像218从左方向向右方向滑动,能够在不改变工作装置模型图像217的位置的前提下表现工作装置模型图像217的前进。另外,显示控制部84也可以通过调整路面图像218的移动速度来表现工作装置模型图像217的行驶状态的程度。例如,显示控制部84也可以通过加快路面图像218的滑动速度来表现工作装置模型图像217高速前进。另外,相反地,显示控制部84也可以通过减慢路面图像218的滑动速度来表现工作装置模型图像217以低速前进。显示控制部84也可以基于车辆信息CN所包含的车速数据调整路面图像218的滑动速度。显示控制部84基于第一动作状态图像数据显示工作装置模型图像217。由此,能够使轮式装载机1在作业中的作业的状态可视化。需要说明的是,也能够通过在将作业中的状态可视化时接受虚拟摄影机的视野方向的设定来变更视野。在虚拟空间上配置工作装置模型图像217,显示从规定的摄像位置利用虚拟摄影机拍摄工作装置模型图像217的情况。该虚拟摄影机的摄像位置能够设定为任意的位置,通过调整该位置,能够进行从任意的角度拍摄工作装置模型图像217的显示。
动作状态图像生成部820基于生成轮式装载机1的侧面模型的形状的基准图像的侧面形状模型数据和位置信息P所包含的倾斜数据来生成第二动作状态图像数据。显示控制部84基于第二动作状态图像数据显示倾斜状态图像212。倾斜状态图像212表示轮式装载机1的车身的倾斜状态。在本例中,示出为倾斜25°的状态的情况。显示控制部84基于第二动作状态图像数据显示倾斜状态图像212。由此,能够使轮式装载机1在作业中的车身的倾斜状态可视化。
动作状态图像生成部820基于生成轮式装载机1的俯视模型的形状的基准图像的俯视形状模型数据和车辆信息CN所包含的铰接角度数据来生成第三动作状态图像数据。显示控制部84基于第三动作状态图像数据显示铰接状态图像214。铰接状态图像214表示轮式装载机1的铰接的状态。在本例中,示出为向右方向弯折15°的状态的情况。显示控制部84基于第三动作状态图像数据显示铰接状态图像214。由此,能够使轮式装载机1在作业中的铰接状态可视化。
[状态画面220]
状态画面220基于车辆状态图像数据进行显示。状态画面220包含表示作业中的作业时刻的时间条224、操作状态图像221、车辆状态图像222、作业工序状态图像223。在此,时间条224表示作业中的作业时刻。本例中的时间条224设置为能够向与任意的作业时刻相对应的位置移动。
车辆状态图像生成部824基于从当前的作业时刻到规定期间前的作业机械动作数据的操作信息T生成第一车辆状态图像数据。显示控制部84基于第一车辆状态图像数据显示表示规定期间的操作员所操作的操作构件的状态的操作状态图像221。操作状态图像221包含与现在的作业时刻相对应的操作指定状态图像221A和表示从当前的作业时刻到规定期间前的操作的过渡状态的操作过渡状态图像221B。操作指定状态图像221A表示油门操作装置51(加速踏板)、动臂操作装置52(动臂杆)、铲斗操作装置54(铲斗杆)、制动操作装置58(制动器)的状态。在本例中,示出加速踏板为95%,动臂杆为25%,铲斗杆为14%,制动器为OFF的状态的情况。操作过渡状态图像221B表示规定期间(在本例中为26s)中的油门操作装置51(加速踏板)、动臂操作装置52(动臂杆)、铲斗操作装置54(铲斗杆)、制动操作装置58(制动器)的操作的过渡状态。
关于油门操作装置51(加速踏板)、动臂操作装置52(动臂杆)、铲斗操作装置54(铲斗杆),用灰度级表示操作状态。具体而言,显示为,操作构件的操作比例的值越大,变得越深(黑色),数值越低,变得越浅(白色)。需要说明的是,在本例中,对用灰度级显示操作状态的情况进行了说明,但也可以用热图显示操作状态。例如,在动臂操作装置52(动臂杆)进行上升动作或者下降动作的情况下,通过改变颜色,能够在视觉上直观地掌握是哪个操作。关于铲斗操作装置54(铲斗杆)也是同样的。另外,也可以将操作构件的操作量的值图表化来显示。关于制动操作装置58(制动器),显示制动器接通或者断开的状态。由此,能够容易地掌握在规定期间内对操作构件进行了怎样的操作。
车辆状态图像生成部824基于从当前的作业时刻到规定期间前的作业机械动作数据的车辆信息CN生成第二车辆状态图像数据。显示控制部84基于第二车辆状态图像数据显示表示规定期间的轮式装载机1的状态的车辆状态图像222和作业工序状态图像223。车辆状态图像222包含与现在的作业时刻相对应的车辆指定状态图像222A和表示从当前的作业时刻到规定期间前的车辆的过渡状态的车辆过渡状态图像222B。在本例中,车辆指定状态图像222A示出轮式装载机1的车速为15km/h的情况。
车辆过渡状态图像222B示出规定期间(在本例中为26s)内的轮式装载机1的车速的过渡状态。由此,能够容易地掌握在规定期间内轮式装载机1的车速怎样变化的。
作业工序状态图像223包含表示与现在的作业时刻相对应的作业工序的作业工序指定状态图像223A和表示从当前的作业时刻到规定期间前的作业工序的过渡状态的作业工序过渡状态图像223B。作业工序指定状态图像223A在本例中示出为挖掘的情况。作业工序过渡状态图像223B示出作为规定期间中的作业工序的过渡,变化为空载前进、挖掘、装载前进的情况。由此,能够容易地掌握在规定期间内轮式装载机1的作业工序怎样变化的。
作为一例,显示控制部84进行控制,使得操作过渡状态图像221B、车辆过渡状态图像222B以及作业工序过渡状态图像223B根据与时间条224相对应的作业时刻从右侧向左侧移动。时间条224能够基于来自输入部71的输入变更为规定期间内的任意的作业时刻的位置。
[位置画面230]
位置画面230基于位置状态图像数据进行显示。位置画面230包含作业位置图像232和移动轨迹图像234。
位置状态图像生成部822基于表示作业地图的地图数据和位置信息P所包含的位置数据生成位置状态图像数据。显示控制部84基于位置状态图像数据,显示表示轮式装载机1在作业地图上的作业的位置的作业位置图像232和表示轮式装载机1的移动的轨迹的移动轨迹图像234。作业位置图像232设置为,能够按照表示轮式装载机1的移动的轨迹的移动轨迹图像234移动。显示控制部84基于位置状态图像数据将作业位置图像232和移动轨迹图像234显示在作业地图上。由此,能够使轮式装载机1在作业中的移动状态可视化。另外,移动轨迹图像234包含速度变化区域233。速度变化区域233示出轮式装载机1的移动的速度发生变化的区域。通过在移动轨迹图像234设置速度变化区域233,能够在视觉上判断轮式装载机1的速度变化。在本例中,速度变化区域233示出1个区域,但并不特别限定于此,也可以设有多个区域。在此,作为一例,示出了速度根据阴影图案的变化而变化的状态。需要说明的是,不限于该显示,也可以通过颜色、其他强调显示而在视觉上判断轮式装载机1的速度变化。作业位置图像234能够基于来自输入部71的输入沿着移动轨迹图像234变更为任意的作业的位置。
[事件显示画面240]
事件显示画面240基于事件信息图像数据进行显示。事件显示画面240包含事件列表。事件信息图像生成部828基于作业机械动作数据的事件信息生成事件信息图像数据。显示控制部84基于事件信息图像数据显示事件列表。在本例中,作为事件,分别示出过热和作业工序。另外,作业工序进一步被细分化,列举出挖掘、空载前进等工序。另外,以树形形式显示各事件的时间。
在本例中,设置为,能够选择以树形形式显示的事件发生的时刻的项目。例如,通过指定过热的时刻“2018/1/1/12:20:00”的项目,来选择与该时刻建立对应关系的作业机械表的作业机械动作数据。另外,基于所选择的作业机械动作数据生成轮式装载机1的动作图像数据。由此,能够容易地使轮式装载机1在作业中的事件的发生状态可视化。
[管理画面260]
管理画面260基于管理信息图像数据进行显示。管理画面260包含表示作业时刻的时刻图像202、车身ID图像204、作业者ID图像206。管理信息图像生成部826基于作业机械动作数据的时刻信息生成第一管理信息图像数据。显示控制部84基于第一管理信息图像数据显示与作业时刻相对应的时刻图像202。在本例中,作为时刻图像202,显示“2018/1/1:12:02:00”。
管理信息图像生成部826基于作业机械动作数据的车身ID生成第二管理信息图像数据。显示控制部84基于第二管理信息图像数据显示车身ID图像204。在本例中,作为车身ID图像204,显示“X”。
管理信息图像生成部826基于作业机械动作数据的作业者ID生成第三管理信息图像数据。显示控制部84基于第三管理信息图像数据显示作业者ID图像206。在本例中,作为作业者ID图像显示“A”。显示控制部84基于第一~第三管理信息图像数据显示时刻、车身ID、作业者ID。由此,能够容易地将与轮式装载机1有关的作业中的管理信息可视化。
[再现位置选择处理]
在实施方式中,管理者能够选择轮式装载机1的动作图像的再现位置。图10是对实施方式的第二处理装置70的再现位置选择处理进行说明的流程图。参照图10,选择部80判断是否接受了来自输入部71的输入(步骤S2)。选择部80在未接受来自输入部71的输入的情况下,维持步骤S2的状态。
接下来,选择部80在判断为接受了来自输入部71的输入的情况(在步骤S2中为是)下,判断是否为时间条224的操作输入(步骤S4)。选择部80在判断为不是时间条224的操作输入的情况(在步骤S4中为否)下,向步骤S20前进。
另一方面,选择部80在判断为时间条224的操作输入的情况(在步骤S4中为是)下,接受时间条224的位置的选择指令(步骤S6)。例如,将输入部71的操作结束的位置接受为时间条224的位置的选择指令。
接下来,选择部80选择与时间条224的位置相对应的作业时刻作为再现时刻(步骤S9)。接下来,动作图像生成部82基于按照由选择部80选择的再现时刻的作业机械动作数据,生成轮式装载机1的动作图像数据(步骤S10)。
接下来,显示控制部84基于由动作图像生成部82生成的轮式装载机1的动作图像数据,执行再现处理(步骤S12)。具体而言,如在图8中说明的那样,显示控制部84将包含动作图像的作业画面向显示部72输出并显示。管理者通过选择时间条224的位置,能够在与任意的时间条224的位置相对应的再现位置执行动作图像的再现处理。
接下来,显示控制部84判断再现处理是否结束(步骤S14)。显示控制部84在判断为未再现结束的情况(在步骤S14中为否)下,返回步骤S2,重复上述处理。
另一方面,显示控制部84在判断为再现处理结束了的情况(在步骤S14中为是)下,结束处理。另一方面,在步骤S20中,选择部80在判断为未操作时间条224的情况下,判断是否操作了作业位置图像232。选择部80在判断为未操作作业位置图像232的情况(在步骤S20中为否)下,向步骤S24前进。
另一方面,选择部80在判断为操作了作业位置图像232的情况(在步骤S20中为是)下,接受作业位置的选择指令(步骤S22)。例如,在输入部71的操作结束的位置,作为作业位置图像232的位置的选择指令而接受。作业位置图像232设置为,能够按照移动轨迹图像234的轨迹而使位置移动。
接下来,选择部80选择与作业位置图像232的位置相对应的作业时刻作为再现时刻(步骤S9)。关于以后的处理与上述同样,因此不重复其详细的说明。
管理者通过选择作业位置图像232的位置,能够在与任意的作业位置图像232的位置相对应的再现位置执行动作图像的再现处理。另一方面,选择部80在判断为未操作作业位置图像232的情况下,判断是否操作了事件列表。
选择部80在判断为未操作事件列表的情况(在步骤S24中为否)下,返回步骤S2。选择部80在判断为操作了事件列表的情况(在步骤S24中为是)下,接受事件信息的选择指令(步骤S26)。例如,作为由输入部71的操作指定的事件信息的选择指令而接受。例如,接受与挖掘或者过热等相对应的时刻的选择输入。
接下来,选择部80选择接受选择输入的时刻作为再现时刻(步骤S9)。关于以后的处理与上述同样,因此不重复其详细的说明。管理者通过操作事件列表,能够在与任意的事件的位置相对应的再现位置执行动作图像的再现处理。
[利用方式]
通过实施方式的第二处理装置70的动作图像处理显示作业画面200。作为一例,作业画面200显示基于与轮式装载机1在作业中的作业时刻相对应的作业机械动作数据生成的动作画面210、状态画面220以及位置画面230。
在动作画面210中,作为一例,显示表示轮式装载机1的作业的状态的作业状态图像216。在状态画面220中,作为一例,显示操作状态图像221。在位置画面230中,显示表示轮式装载机1在作业地图上的作业的位置的作业位置图像232。管理者能够通过上述画面容易地掌握轮式装载机1的操作员何时何地进行了怎样的作业。
管理者能够连同轮式装载机1的动作状态一起还容易地识别操作状态,因此例如能够在指导操作员的驾驶时有效地利用。管理者例如通过连同动作画面210一起确认状态画面220的操作状态图像221,能够对与作业机械的动作状态相对应的操作员的操作状态进行恰当的指导。管理者例如通过连同位置画面230一起确认状态画面220的操作状态图像221,能够对与作业机械的位置状态相对应的操作员的操作状态进行恰当的指导。
管理者能够任意地选择轮式装载机1的动作图像的再现位置,因此例如能够在指导操作员的驾驶时有效地利用。另外,通过确认事件列表,还能够应用于故障排除、投诉的调查等。
[其他实施方式]
在上述实施方式中,对作业机械表储存于第二处理装置70的存储器73的情况进行了说明,但并不特别限定于此,例如可以储存于第一处理装置30的存储部30j。也可以基于储存于第一处理装置30的存储部30j的作业机械表执行上述动作图像处理。
在上述实施方式中,对在第二处理装置70的CPU75实现各种功能块的结构进行了说明,但并不限于此,也可以由第一处理装置30实现一部分或者全部功能块。
在上述实施方式中,对在第二处理装置70的显示部72显示作业画面200的情况进行了说明,但也可以由轮式装载机1的显示部40显示作业画面200。另外,也可以是将轮式装载机1的显示部40和第一处理装置30设为1个装置的情况。另外,不限于轮式装载机1,例如,也可以由设置为能够与第二处理装置70通信的便携终端的显示部显示作业画面200。
在上述实施方式中,对在作业画面200中显示与作业时刻同步的多个画面的情况进行了说明。具体而言,对作业画面200作为多个画面包括动作画面210、状态画面220、位置画面230、事件显示画面240、管理画面260的情况进行了说明,但并不特别需要显示这些全部的画面,例如也可以显示2个以上的画面。例如,也可以在作业画面200中显示动作画面210和状态画面220。当然也能够设为其他画面的组合。
[作用效果]
接下来,说明实施方式的作用效果。在实施方式的作业机械的显示系统中,如图5所示,在第二处理装置70设有:通信部74,其接收从轮式装载机1发送的作业机械动作信息;动作图像生成部82,其基于由通信部74接收的作业机械动作信息,生成轮式装载机1的动作图像和与动作图像相对应的操作图像;以及显示部72,其用于显示动作图像和操作图像。如图6所示,作业机械动作信息包括包含车辆信息和位置信息的动作信息以及操作信息。基于动作信息和操作信息生成轮式装载机1的动作图像和与动作图像相对应的操作图像,将该动作图像和操作图像在显示部72中显示。因而,能够连同轮式装载机1的动作状态一起也容易地识别操作状态。
也可以由轮式装载机1内的第一处理装置30或者第二处理装置70取得动作信息和操作信息。不限于轮式装载机1内的第一处理装置,也能够配置于作为其他外部设备的第二处理装置,因此能够提高显示系统的自由度。
动作图像生成部82设置于轮式装载机1内的第一处理装置30或者第二处理装置70。不限于轮式装载机1内,也能够配置于其他外部设备,因此能够提高作业机械的显示系统的自由度。
显示部72设置于轮式装载机1内的第一处理装置30或者第二处理装置70。不限于轮式装载机1内,也能够配置于其他外部设备,因此能够提高作业机械的显示系统的自由度。
在实施方式的作业机械的显示系统设有用于储存由通信部74接收的作业机械动作信息的存储器73。如图6所示,动作图像生成部82基于存储于存储器73的作业机械动作信息生成作业机械的动作图像,基于存储于存储器73的作业机械动作信息生成与作业机械的动作图像相对应的操作图像。通过储存于存储器73,能够对表示轮式装载机1的动作状态的动作图像和表示操作状态的操作图像进行再现处理。能够在指导操作员的驾驶时有效地利用。
轮式装载机1包含工作装置3和行驶装置4。图6所示的作业机械动作信息包含车辆信息CN,车辆信息CN包含工作装置3和行驶装置4中的至少一者的动作信息。能够容易地识别轮式装载机1的工作装置3和行驶装置4中的至少一者的动作状态和与其相对应的操作状态。
图6所示的作业机械动作信息还包含识别操作员或者车身的识别信息。在设有多个操作员或者多个车身的情况下,能够利用该识别信息容易地进行判断。
在轮式装载机1还设有选择作业机械动作信息的时刻作为再现时刻的选择部80。选择部80按照输入部71对图9所示的作业画面200的输入指令设定作业机械动作信息的再现时刻。能够使用作业画面200的输入接口简单地对轮式装载机1的动作状态进行再现确认。
轮式装载机1包含动臂14和铲斗6。图6所示的作业机械动作信息包含车辆信息CN,车辆信息CN包含检测铲斗6相对于动臂14的倾斜角度的第二角度检测部48的检测信号。能够容易地识别轮式装载机1的铲斗6相对于动臂14的角度的状态。
图6所示的作业机械动作信息包含操作信息T,操作信息T包含铲斗操作检测部54b的检测信号。能够容易地识别针对轮式装载机1的铲斗6的操作状态。
实施方式的作业机械的显示系统的一例是轮式装载机1的显示系统,能够连同轮式装载机1的动作状态一起也容易地识别操作状态。
实施方式的作业机械的显示系统的控制方法至少包括如下步骤:取得作业机械的动作信息和操作信息;基于取得到的动作信息和操作信息,生成作业机械的动作图像和与作业机械的动作图像相对应的操作图像;以及显示作业机械的动作图像和操作图像。基于动作信息和操作信息生成轮式装载机1的动作图像和与动作图像相对应的操作图像,将该动作图像和操作图像在显示部72中显示。因而,能够连同轮式装载机1的动作状态一起也容易地识别操作状态。
作为作业机械,列举轮式装载机为例进行了说明,但也能够应用于液压挖掘机、自卸车、推土机等作业机械。
以上,说明了本发明的实施方式,但应该认为本次公开的实施方式在所有方面都是例示而非限制性的。本发明的范围由技术方案示出,意在包含与技术方案等同的意思和范围内的全部变更。
附图标记说明:
1:轮式装载机,2:车身框架,3:工作装置,4:行驶装置,5:驾驶室,6:铲斗,6a:铲尖,10:动臂销,13:转向缸,14:动臂,15:倾斜杆,16:动臂缸,17:铲斗销,18:双臂曲柄,18a:支承销,19:倾斜缸,20:发动机,21:输入轴,22:动力取出部,23:动力传递机构,23a:输出轴,24:缸驱动部,25:工作装置泵,26:控制阀,27:车速检测部,28a:第一液压检测器,29:第一角度检测器,30:第一处理装置,30j:存储部,31:温度传感器,40、72:显示部,45:输出部,48:第二角度检测器,49:前进后退切换装置,49a:前进后退切换操作构件,49b:前进后退切换检测传感器,51:油门操作装置,51a:油门操作构件,51b:油门操作检测部,52:动臂操作装置,52a:动臂操作构件,52b:动臂操作检测部,53:变速操作装置,53a:变速操作构件,53b:变速操作检测部,54:铲斗操作装置,54a:铲斗操作构件,54b:铲斗操作检测部,55:铰接操作装置,55a:铰接操作构件,55b:铰接操作检测部,58:制动操作装置,58a:制动操作构件,58b:制动操作检测部,60:转动机构,61:铰接角度传感器,64:位置检测传感器,70:第二处理装置,71:输入部,73:存储器,74:通信部,80:选择部,82:动作图像生成部,84:显示控制部,86:事件生成部,88:事件登记部。
权利要求书(按照条约第19条的修改)
1.一种作业机械的显示系统,其中,
所述作业机械的显示系统具备:
取得部,其用于取得作业机械的动作信息和操作信息;
动作图像生成部,其基于由所述取得部取得到的动作信息和操作信息生成所述作业机械的动作图像和与所述作业机械的动作图像相对应的操作图像;以及
显示部,其用于显示所述作业机械的动作图像和操作图像。
2.根据权利要求1所述的作业机械的显示系统,其中,
所述取得部设置于所述作业机械或者相对于所述作业机械独立的外部设备中的任一者。
3.根据权利要求1或2所述的作业机械的显示系统,其中,
所述动作图像生成部设置于所述作业机械或者相对于所述作业机械独立的外部设备中的任一者。
4.根据权利要求1所述的作业机械的显示系统,其中,
所述显示部设置于所述作业机械或者相对于所述作业机械独立的外部设备中的任一者。
5.根据权利要求1所述的作业机械的显示系统,其中,
所述作业机械的显示系统还具备存储部,该存储部用于存储包含由所述取得部取得到的所述作业机械的动作信息和操作信息的作业机械动作信息,
所述动作图像生成部基于存储于所述存储部的所述作业机械动作信息生成所述作业机械的动作图像,
所述动作图像生成部基于存储于所述存储部的所述作业机械动作信息生成与所述作业机械的动作图像相对应的操作图像。
6.根据权利要求1所述的作业机械的显示系统,其中,
所述作业机械包括工作装置和机械主体,
所述作业机械的动作信息包含所述工作装置和所述机械主体中的至少一者的动作信息。
7.根据权利要求5所述的作业机械的显示系统,其中,
所述作业机械动作信息还包含识别信息。
8.根据权利要求5所述的作业机械的显示系统,其中,
所述作业机械的显示系统还具备选择所述作业机械动作信息的时刻作为再现时刻的选择部。
9.根据权利要求1所述的作业机械的显示系统,其中,
所述作业机械包括动臂和铲斗,
所述作业机械的动作信息包含所述铲斗相对于所述动臂的角度。
10.根据权利要求9所述的作业机械的显示系统,其中,
所述作业机械的操作信息包含针对所述铲斗的操作指令的检测信号。
11.根据权利要求1所述的作业机械的显示系统,其中,
所述作业机械是轮式装载机。
12.一种作业机械的显示系统的控制方法,其中,
所述作业机械的显示系统的控制方法包括如下步骤:
取得作业机械的动作信息和操作信息;
基于取得到的动作信息和操作信息,生成所述作业机械的动作图像和与所述作业机械的动作图像相对应的操作图像;以及
显示所述作业机械的动作图像和操作图像。
13.(追加)根据权利要求10所述的作业机械的显示系统,其中,
所述操作信息包含所述作业机械的车辆操作信息。

Claims (12)

1.一种作业机械的显示系统,其中,
所述作业机械的显示系统具备:
取得部,其用于取得作业机械的动作信息和操作信息;
动作图像生成部,其基于由所述取得部取得到的动作信息和操作信息生成所述作业机械的动作图像和与所述作业机械的动作图像相对应的操作图像;以及
显示部,其用于显示所述作业机械的动作图像和操作图像。
2.根据权利要求1所述的作业机械的显示系统,其中,
所述取得部设置于所述作业机械或者相对于所述作业机械独立的外部设备中的任一者。
3.根据权利要求1或2所述的作业机械的显示系统,其中,
所述动作图像生成部设置于所述作业机械或者相对于所述作业机械独立的外部设备中的任一者。
4.根据权利要求1所述的作业机械的显示系统,其中,
所述显示部设置于所述作业机械或者相对于所述作业机械独立的外部设备中的任一者。
5.根据权利要求1所述的作业机械的显示系统,其中,
所述作业机械的显示系统还具备存储部,该存储部用于存储包含由所述取得部取得到的所述作业机械的动作信息和操作信息的作业机械动作信息,
所述动作图像生成部基于存储于所述存储部的所述作业机械动作信息生成所述作业机械的动作图像,
所述动作图像生成部基于存储于所述存储部的所述作业机械动作信息生成与所述作业机械的动作图像相对应的操作图像。
6.根据权利要求1所述的作业机械的显示系统,其中,
所述作业机械包括工作装置和机械主体,
所述作业机械的动作信息包含所述工作装置和所述机械主体中的至少一者的动作信息。
7.根据权利要求5所述的作业机械的显示系统,其中,
所述作业机械动作信息还包含识别信息。
8.根据权利要求5所述的作业机械的显示系统,其中,
所述作业机械的显示系统还具备选择所述作业机械动作信息的时刻作为再现时刻的选择部。
9.根据权利要求1所述的作业机械的显示系统,其中,
所述作业机械包括动臂和铲斗,
所述作业机械的动作信息包含所述铲斗相对于所述动臂的角度。
10.根据权利要求9所述的作业机械的显示系统,其中,
所述作业机械的操作信息包含针对所述铲斗的操作指令的检测信号。
11.根据权利要求1所述的作业机械的显示系统,其中,
所述作业机械是轮式装载机。
12.一种作业机械的显示系统的控制方法,其中,
所述作业机械的显示系统的控制方法包括如下步骤:
取得作业机械的动作信息和操作信息;
基于取得到的动作信息和操作信息,生成所述作业机械的动作图像和与所述作业机械的动作图像相对应的操作图像;以及
显示所述作业机械的动作图像和操作图像。
CN201980034938.6A 2018-09-14 2019-08-28 作业机械的显示系统及其控制方法 Active CN112204198B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-172801 2018-09-14
JP2018172801A JP7197314B2 (ja) 2018-09-14 2018-09-14 作業機械の表示システムおよびその制御方法
PCT/JP2019/033634 WO2020054412A1 (ja) 2018-09-14 2019-08-28 作業機械の表示システムおよびその制御方法

Publications (2)

Publication Number Publication Date
CN112204198A true CN112204198A (zh) 2021-01-08
CN112204198B CN112204198B (zh) 2023-04-07

Family

ID=69777573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980034938.6A Active CN112204198B (zh) 2018-09-14 2019-08-28 作业机械的显示系统及其控制方法

Country Status (5)

Country Link
US (1) US20210140145A1 (zh)
EP (1) EP3770345A4 (zh)
JP (1) JP7197314B2 (zh)
CN (1) CN112204198B (zh)
WO (1) WO2020054412A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2905556Y (zh) * 2006-05-15 2007-05-30 徐伟成 一种汽车安全行驶监测装置
US20070282577A1 (en) * 2006-05-31 2007-12-06 Caterpillar Inc. Simulation system implementing historical machine data
CN201151929Y (zh) * 2007-12-28 2008-11-19 天津工程机械研究院 装载机用操作台
CN101542093A (zh) * 2007-01-19 2009-09-23 丰田自动车株式会社 燃料经济性提高辅助设备和燃料经济性提高辅助方法
CN102653233A (zh) * 2011-03-01 2012-09-05 日产自动车株式会社 车辆用显示装置及车辆用显示方法
CN105555578A (zh) * 2013-10-30 2016-05-04 本田技研工业株式会社 踏板反力控制装置
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
WO2017183707A1 (ja) * 2016-04-21 2017-10-26 住友建機株式会社 ショベルの表示装置
CN107431789A (zh) * 2017-02-09 2017-12-01 株式会社小松制作所 作业车辆的周边监视系统、作业车辆以及作业车辆的周边监视方法
CN107542122A (zh) * 2016-06-27 2018-01-05 住友建机株式会社 挖土机的显示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55129326A (en) * 1979-03-29 1980-10-07 Olympus Optical Co Ltd Light distribution angle variable reflecting mirror of electronic flash
JP3839782B2 (ja) * 2003-02-19 2006-11-01 小松フォークリフト株式会社 作業車両の運転操作シミュレーション装置
JP2008144379A (ja) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd 遠隔操縦作業機の画像処理システム
JP4915479B2 (ja) * 2008-12-17 2012-04-11 三菱電機株式会社 ナビゲーション装置
KR102021612B1 (ko) * 2012-12-24 2019-09-16 두산인프라코어 주식회사 건설기계의 화면 표시 방법
JP6237656B2 (ja) * 2015-01-19 2017-11-29 トヨタ自動車株式会社 車両システム
US10822773B2 (en) * 2015-10-05 2020-11-03 Komatsu Ltd. Construction machine and construction management system
JP6144373B2 (ja) * 2016-02-17 2017-06-07 住友建機株式会社 ショベル、ショベル管理システム、及び携帯通信端末
JP6608345B2 (ja) * 2016-09-28 2019-11-20 日立建機株式会社 作業機械

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2905556Y (zh) * 2006-05-15 2007-05-30 徐伟成 一种汽车安全行驶监测装置
US20070282577A1 (en) * 2006-05-31 2007-12-06 Caterpillar Inc. Simulation system implementing historical machine data
CN101542093A (zh) * 2007-01-19 2009-09-23 丰田自动车株式会社 燃料经济性提高辅助设备和燃料经济性提高辅助方法
CN201151929Y (zh) * 2007-12-28 2008-11-19 天津工程机械研究院 装载机用操作台
CN102653233A (zh) * 2011-03-01 2012-09-05 日产自动车株式会社 车辆用显示装置及车辆用显示方法
CN105555578A (zh) * 2013-10-30 2016-05-04 本田技研工业株式会社 踏板反力控制装置
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
WO2017183707A1 (ja) * 2016-04-21 2017-10-26 住友建機株式会社 ショベルの表示装置
CN107542122A (zh) * 2016-06-27 2018-01-05 住友建机株式会社 挖土机的显示装置
CN107431789A (zh) * 2017-02-09 2017-12-01 株式会社小松制作所 作业车辆的周边监视系统、作业车辆以及作业车辆的周边监视方法

Also Published As

Publication number Publication date
EP3770345A4 (en) 2022-01-05
US20210140145A1 (en) 2021-05-13
EP3770345A1 (en) 2021-01-27
JP7197314B2 (ja) 2022-12-27
JP2020045634A (ja) 2020-03-26
CN112204198B (zh) 2023-04-07
WO2020054412A1 (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6913630B2 (ja) ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
CN107532411B (zh) 轮式装载机的控制系统以及轮式装载机的控制方法
CN111954739B (zh) 装载机械的控制装置及装载机械的控制方法
EP3919687A1 (en) System including work machinery, computer-executed method, production method for trained attitude estimation models, and learning data
KR20190112057A (ko) 건설 기계
JP7376264B2 (ja) 作業機械を含むシステム、および作業機械
CN113825879B (zh) 学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统
CN111094663B (zh) 作业机械及包含作业机械的系统
CN111655940B (zh) 作业机械及包括作业机械的系统
CN112166218A (zh) 作业机械的显示系统及其控制方法
CN112204198B (zh) 作业机械的显示系统及其控制方法
JP7266371B2 (ja) 作業機械、および作業機械を含むシステム
US20210312721A1 (en) Reproduction device, analysis assistance system, and reproduction method
JP7197315B2 (ja) ホイールローダの表示システムおよびその制御方法
CN112602120A (zh) 再现装置、分析支援系统及再现方法
EP4079971A1 (en) Work system, computer-executed method, method for producing trained orientation estimation models, and learning data
CN115279973A (zh) 操作引导装置
JP7266372B2 (ja) 作業機械、および作業機械を含むシステム
CN114222844B (zh) 作业机械以及作业机械的控制方法
CN115066528A (zh) 操作系统
JP2024073906A (ja) 積込機械の制御装置、遠隔制御装置および制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant