CN107250466A - 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械 - Google Patents

作业机械的图像显示系统、作业机械的远程操作系统以及作业机械 Download PDF

Info

Publication number
CN107250466A
CN107250466A CN201680011986.XA CN201680011986A CN107250466A CN 107250466 A CN107250466 A CN 107250466A CN 201680011986 A CN201680011986 A CN 201680011986A CN 107250466 A CN107250466 A CN 107250466A
Authority
CN
China
Prior art keywords
image
manipulating object
work machine
information
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680011986.XA
Other languages
English (en)
Other versions
CN107250466B (zh
Inventor
吉滩裕
谷本贵颂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Osaka University NUC
Original Assignee
Komatsu Ltd
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd, Osaka University NUC filed Critical Komatsu Ltd
Publication of CN107250466A publication Critical patent/CN107250466A/zh
Application granted granted Critical
Publication of CN107250466B publication Critical patent/CN107250466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

作业机械的图像显示系统包括：摄像装置，其安装在具备具有作业用具的作业机的作业机械；姿态检测装置，其检测所述作业机的姿态；距离检测装置，其求取到所述作业机械的作业对象的距离的信息；和处理装置，其使用利用所述作业机的姿态得到的所述作业用具的位置的信息、和根据所述距离检测装置所求得的所述距离的信息而得到的所述作业对象的位置的信息来生成在与所述作业用具对置的所述作业对象上与所述作业用具对应的部分的图像，并与由所述摄像装置拍摄的所述作业对象的图像合成来显示在显示装置。

Description

作业机械的图像显示系统、作业机械的远程操作系统以及作 业机械
技术领域
本发明涉及作业机械的图像显示系统、作业机械的远程操作系统以及作业机械。
背景技术
如专利文献1记载的那样，已知对液压挖掘机等作业机械进行远程操作的技术。
现有技术文献
专利文献
专利文献1：JP特愿2004-294067号公报
发明内容
发明的概要
发明要解决的课题
在对作业机械进行远程操作的情况下，在使用作业机械的操作人员视点的图像的操作中，由于所显示的图像是二维的，因此缺乏远近感。为此难以掌握作业对象与作业机械的距离，存在作业效率降低的可能性。另外，在搭乘于作业机械的操作人员操作作业机的情况下，也有因操作人员的熟练度而难以掌握作业机与作业对象的距离的情况，也存在作业效率降低的可能性。
本发明的目的在于，对使用包括具有作业用具的作业机的作业机械进行作业时的作业效率的降低进行抑制。
用于解决课题的手段
本发明是作业机械的图像显示系统，包含：摄像装置，其安装在具备具有作业用具的作业机的作业机械；姿态检测装置，其检测所述作业机的姿态；距离检测装置，其求取到所述作业机械的作业对象的距离的信息；和处理装置，其使用利用所述作业机的姿态得到的所述作业用具的位置的信息和根据所述距离检测装置所求得的所述距离的信息得到的所述作业对象的位置的信息来生成在与所述作业用具对置的所述作业对象上与所述作业用具对应的部分的图像，与由所述摄像装置拍摄的所述作业对象的图像合成并使其显示在显示装置。所述处理装置优选以所述摄像装置为基准来生成与所述作业用具对应的部分的图像。
优选地，所述线图像是具备多个第1线图像和与所述多个第1线图像交叉的多个第2线图像的格子。
优选地，所述处理装置使用所述作业机的姿态来求取所述作业用具在所述作业对象的图像中占据的区域，将得到的所述区域从所述作业对象的形状的信息中除去。
优选地，所述作业用具是铲斗，所述处理装置生成在所述作业对象上与所述铲斗的斗齿齿尖对应的部分的线图像，作为在与所述作业用具对置的所述作业对象上与所述作业用具对应的部分的图像。
优选地，所述处理装置生成将所述铲斗的斗齿齿尖的宽度方向上的一个端部侧和所述作业对象连结的直线的图像、以及将所述铲斗的斗齿齿尖的宽度方向上的另一个端部侧和所述作业对象连结的直线的图像，与由所述摄像装置拍摄的所述作业对象的图像合成并使其显示在显示装置。
优选地，所述处理装置求取与所述作业用具或所述作业对象有关的空间位置信息并使其显示在所述显示装置。
优选地，所述处理装置求取所述作业用具的位置、所述作业用具的姿态、所述作业对象的位置、所述作业对象的相对的姿态、所述作业用具与所述作业对象的相对的距离以及所述作业用具与所述作业对象的相对的姿态的至少一者，并使其显示在所述显示装置。
优选地，所述处理装置使用所述作业对象的位置的信息来生成沿着所述作业对象的表面的线图像，与所述作业对象的图像合成并显示在所述显示装置。
优选地，所述摄像装置、所述姿态检测装置以及距离检测装置配备在所述作业机械中，所述处理装置以及所述显示装置设置在具备对所述作业机械进行远程操作的操作装置的设施。
本发明是作业机械的图像显示系统，在对具备具有作业用具的作业机的作业机械进行远程操作时包含：显示装置；和处理装置，其使用利用所述作业机的姿态得到的所述作业用具的位置的信息和根据所述作业机械所具备的距离检测装置求得的到所述作业机的作业对象的距离的信息得到的所述作业对象的位置的信息，以所述摄像装置为基准来生成在与所述作业用具对置的所述作业对象上与所述作业用具对应的部分的图像，与由所述摄像装置拍摄的所述作业对象的图像合成并使其显示在所述显示装置。
本发明是作业机械的远程操作系统，包含：前述的作业机械的图像显示系统；和对所述作业机械所具备的所述作业机进行操作的操作装置。
本发明是具备前述的作业车辆的图像显示系统的作业机械。
发明的效果
本发明能抑制使用具备具有作业用具的作业机的作业机械进行作业时的作业效率的降低。
附图说明
图1是表示实施方式所涉及的作业机械的图像显示系统以及作业机械的远程操作系统的图。
图2是表示实施方式所涉及的作业机械即液压挖掘机的立体图。
图3是表示实施方式所涉及的作业机械即液压挖掘机的控制系统的图。
图4是用于说明实施方式所涉及的图像显示系统以及远程操作系统中的坐标系的图。
图5是液压挖掘机的背视图。
图6是说明摄像装置以及距离检测装置的坐标系的图。
图7是图像显示系统以及远程操作系统执行的控制例的流程图。
图8是表示摄像装置以及距离检测装置和作业对象的图。
图9是说明占有区域的图。
图10是表示将占有区域除去的作业对象的形状的信息的图。
图11是用于说明在作业对象上表示铲斗的位置的图像的图。
图12是用于说明在作业对象上表示铲斗的位置的图像的图。
图13是用于说明在作业对象上表示铲斗的位置的图像的图。
图14是表示基准图像即格子图像的图。
图15是表示基准图像即格子图像的图。
图16是表示作业用的图像的图。
图17是用于说明使用装载铲型的作业机的情况下的斗齿齿尖位置图像的图。
图18是表示求取斗齿齿尖位置图像的处理的第1变形例的图。
图19是用于说明求取斗齿齿尖位置图像的处理的第2变形例的图。
图20是用于说明求取斗齿齿尖位置图像的处理的第2变形例的图。
图21是表示变形例所涉及的液压挖掘机的控制系统的图。
具体实施方式
参考附图详细说明用于实施本发明的方式(实施方式)。
<作业机械的图像显示系统以及作业机械的远程操作系统的概要>
图1是表示实施方式所涉及的作业机械的图像显示系统100以及作业机械的远程操作系统101的图。在作业机械的图像显示系统100(以下适宜称作图像显示系统100)中，在操作人员对作业机械即液压挖掘机1进行远程操作时，用摄像装置19对液压挖掘机1的作业对象、更具体为液压挖掘机1所具备的作业机2的作业的对象的地形面即作业对象WA以及作为作业用具的铲斗8进行摄像，使得到的图像显示在显示装置52。这时，图像显示系统100使显示装置52显示作业用的图像69，该图像69包含由摄像装置19拍摄的作业对象WA的图像68、格子图像65和用于在作业对象WA上表示铲斗8的位置的图像60。
图像显示系统100包含摄像装置19、姿态检测装置32、距离检测装置20和处理装置51。作业机械的远程操作系统101(以下适宜称作远程操作系统101)包含摄像装置19、姿态检测装置32、距离检测装置20、作业机控制装置27、显示装置52、处理装置51和操作装置53。在实施方式中，图像显示系统100的摄像装置19、姿态检测装置32以及距离检测装置20设置于液压挖掘机1，处理装置51设于设施50。设施50是对液压挖掘机1进行远程操作或对液压挖掘机1进行管理的设施。在实施方式中，远程操作系统101的摄像装置19、姿态检测装置32、距离检测装置20以及作业机控制装置27设于液压挖掘机1，显示装置52、处理装置51以及操作装置53设于设施50。
图像显示系统100的处理装置51包含处理部51P、存储部51M和输入输出部51IO。处理部51P例如是CPU(Central Processing Unit，中央处理器)那样的处理器。存储部51M例如是RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)、硬盘驱动器、存储器件或它们的组合。输入输出部51IO是用于连接处理装置51和外部设备的接口电路。在实施方式中，在输入输出部51IO连接显示装置52、操作装置53以及通信装置54作为外部设备。与输入输出部51IO连接的外部设备并不限定于它们。
处理装置51利用使用作业机2的姿态得到的作业用具即铲斗8的位置的信息、根据距离检测装置20所求得的距离的信息得到的作业对象WA的位置的信息，以摄像装置19为基准来生成在与铲斗8对置的作业对象WA上与铲斗8对应的部分的图像。然后，处理装置51将其与通过摄像装置19拍摄的作业对象WA的图像合成，并显示在显示装置52。作业对象WA是成为液压挖掘机1的作业机2进行挖掘或土地平整等作业的对象的面。
显示装置52例示了液晶显示器或投影仪，但并不限定于它们。通信装置54具备天线54A。通信装置54与液压挖掘机1中具备的通信装置25通信来取得液压挖掘机1的信息，或对液压挖掘机1发送信息。
操作装置53具有设置在操作人员的左侧的左操作杆53L和设置在操作人员的右侧的右操作杆53R。左操作杆53L以及右操作杆53R的前后左右的动作与2轴的动作对应。例如右操作杆53R的前后方向的操作与液压挖掘机1所具备的作业机2的动臂(boom)6的操作对应。右操作杆53R的左右方向的操作与作业机2的铲斗8的操作对应。左操作杆53L的前后方向的操作与作业机2的斗杆(arm)7的操作对应。左操作杆53L的左右方向的操作与液压挖掘机1的上部转动体3的转动对应。
左操作杆53L以及右操作杆53R的操作量例如由分压计以及霍尔IC等检测，处理装置51基于这些检测值来生成用于控制电磁控制阀的控制信号。该信号经由设施50的通信装置54以及液压挖掘机1的通信装置25被送到作业机控制装置27。作业机控制装置27基于控制信号来控制电磁控制阀，由此控制作业机2。关于电磁控制阀之后叙述。
处理装置51取得对左操作杆53L以及右操作杆53R的至少一方的输入，生成用于使作业机2以及上部转动体3的至少一方动作的命令。处理装置51将生成的命令经由通信装置54发送到液压挖掘机1的通信装置25。液压挖掘机1所具备的作业机控制装置27经由通信装置25取得来自处理装置51的命令，按照命令使作业机2以及上部转动体3的至少一方动作。
液压挖掘机1具备通信装置25、作业机控制装置27、姿态检测装置32、摄像装置19、距离检测装置20、天线21、22和全球位置运算装置23。作业机控制装置27控制作业机2。通信装置25与天线24连接，与设施50中具备的通信装置54通信。作业机控制装置27控制作业机2以及上部转动体3。姿态检测装置32检测作业机2以及液压挖掘机1的至少一方的姿态。摄像装置19安装在液压挖掘机1，对作业对象WA进行摄像。距离检测装置20求取从液压挖掘机1的给定的位置到作业对象WA的距离的信息。天线21、22接收来自定位卫星200的电波。全球位置运算装置23使用天线21、22所接收到的电波来求取天线21、22的全球位置、即全球坐标中的位置。
<液压挖掘机1的整体构成>
图2是表示实施方式所涉及的作业机械即液压挖掘机1的立体图。液压挖掘机1具有作为主体部的车辆主体1B和作业机2。车辆主体1B具有作为转动体的上部转动体3和作为行驶体的行驶装置5。上部转动体3在机械室3EG的内部收容作为动力产生装置的引擎以及液压泵等装置。在实施方式中，液压挖掘机1在作为动力产生装置的引擎中使用例如柴油机引擎等内燃机，但动力产生装置并不限定于内燃机。液压挖掘机1的动力产生装置例如可以是组合内燃机、发电电动机和蓄电装置的所谓的混合动力方式的装置。另外，液压挖掘机1的动力产生装置也可以是没有内燃机、组合蓄电装置和发电电动机的装置。
上部转动体3具有驾驶室4。驾驶室4设置在上部转动体3的另一端侧。即，驾驶室4设置在与配置机械室3EG一侧的相反侧。在上部转动体3的上方安装扶手9。
行驶装置5搭载上部转动体3。行驶装置5具有履带5a、5b。行驶装置5由设于左右的液压马达5c的一方或两方进行驱动。通过行驶装置5的履带5a、5b转动来使液压挖掘机1行驶。作业机2安装在上部转动体3的驾驶室4的侧方一侧。
液压挖掘机1也可以取代履带5a、5b而具备轮胎，具备将引擎的驱动力经由传动器传递到轮胎从而能行驶的行驶装置。作为这样的形态的液压挖掘机1，例如有轮式液压挖掘机。另外，液压挖掘机1可以是有如下结构的例如反铲装载机，其具备有这样的轮胎的行驶装置，进而在车辆主体(主体部)安装作业机，没有图1所示那样的上部转动体3以及其转动机构。即，反铲装载机具备在车辆主体安装作业机、构成车辆主体的一部分的行驶装置。
上部转动体3的配置作业机2以及驾驶室4一侧为前，配置机械室3EG一侧为后。上部转动体3的前后方向是x方向。朝向前方时的左侧为上部转动体3的左，朝向前方时的右侧为上部转动体3的右。上部转动体3的左右方向也称作宽度方向或y方向。液压挖掘机1或车辆主体1B以上部转动体3为基准而行驶装置5侧为下，以行驶装置5为基准而上部转动体3侧为上。上部转动体3的上下方向是z方向。在液压挖掘机1设置在水平面的情况下，下为铅垂方向、即重力的作用方向侧，上为与铅垂方向的相反侧。
作业机2具有动臂6、斗杆7、作为作业用具的铲斗8、动臂缸体10、斗杆缸体11和铲斗缸体12。动臂6的基端部经由动臂销13可转动地安装在车辆主体1B的前部。斗杆7的基端部经由斗杆销14可转动地安装在动臂6的前端部。在斗杆7的前端部经由铲斗销15安装铲斗8。铲斗8以铲斗销15为中心来转动。铲斗8在与铲斗销15的相反一侧安装多个斗齿8B。斗齿齿尖8T是斗齿8B的前端。
铲斗8也可以没有多个斗齿8B。即，也可以是没有图2所示那样的斗齿8B、斗齿齿尖由钢板形成为直立形状那样的铲斗。作业机2例如可以具备具有单一的斗齿的斜面铲斗。所谓斜面铲斗，是如下铲斗：具备铲斗斜面缸体，通过使铲斗向左右斜面倾斜，液压挖掘机即使处在倾斜地，也能将斜面、平地成形为自由的形状，或进行平整土地，还能用底板进行碾压作业。此外，作业机2还可以取代铲斗8而具备斜坡用铲斗或有凿岩用的尖端的凿岩用的附件等，作为作业用具。
图2所示的动臂缸体10、斗杆缸体11和铲斗缸体12分别是被从液压泵喷出的工作油的压力驱动的液压缸体。动臂缸体10驱动动臂6来使其升降。斗杆缸体11驱动斗杆7来使其绕着斗杆销14来转动。铲斗缸体12驱动铲斗8来使其绕着铲斗销15来转动。
在上部转动体3的上部安装天线21、22以及天线24。天线21、22被用于检测液压挖掘机1的当前位置。天线21、22与图3所示的全球位置运算装置23电连接。全球位置运算装置23是检测液压挖掘机1的位置的位置检测装置。全球位置运算装置23利用RTK-GNSS(RealTime Kinematic-Global Navigation Satellite Systems(实时动态-全球导航卫星系统，GNSS称作全球导航卫星系统))来对液压挖掘机1的当前位置进行检测。在以下的说明中将天线21、22适宜称作GNSS天线21、22。与GNSS天线21、22所接收的GNSS电波相应的信号被输入到全球位置运算装置23。全球位置运算装置23求取全球坐标系中的GNSS天线21、22的设置位置。作为全球导航卫星系统的一例而能举出GPS(Global Positioning System，全球定位系统)，但全球导航卫星系统并不限定于此。
GNSS天线21、22优选如图2所示那样设置在上部转动体3的上方的在液压挖掘机1的左右方向即宽度方向上分开的两端位置。在实施方式中，GNSS天线21、22安装在分别安装于上部转动体3的宽度方向两侧的扶手9。GNSS天线21、22安装在上部转动体3的位置并不限定于扶手9，GNSS天线21、22设置在尽可能分开的位置会提升液压挖掘机1的当前位置的检测精度，因而优选。另外，GNSS天线21、22优选设置在极力不妨碍操作人员的视野的位置。
摄像装置19对图1所示的作业对象WA进行摄像，距离检测装置20求取从自身(液压挖掘机1的给定的位置)到作业对象WA的距离，因此优选取得来自尽可能宽大的作业对象WA的信息。为此在实施方式中，天线24、摄像装置19以及距离检测装置20设置在上部转动体3的驾驶室4的上方。设置摄像装置19以及距离检测装置20的场所并不限定于驾驶席4的上方。例如摄像装置19以及距离检测装置20也可以设置在驾驶室4的内部且上方。
摄像装置19使摄像面19L朝向上部转动体3的前方。距离检测装置20使检测面20L朝向上部转动体3的前方。在实施方式中，摄像装置19是具备CCD(Charge Coupled Device，电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器那样的图像传感器的单反摄像机。在实施方式中，距离检测装置20是三维激光测距仪或距离传感器。摄像装置19以及距离检测装置20并不限定于它们。例如也可以取代摄像装置19以及距离检测装置20而使用具有取得作业对象WA的图像的功能和求取到作业对象WA的距离的功能两方的装置。作为这样的装置，例如例示了立体摄像机。
<液压挖掘机1的控制系统>
图3是表示实施方式所涉及的作业机械即液压挖掘机1的控制系统1S的图。控制系统1S具备通信装置25、传感器控制器26、作业机控制装置27、摄像装置19、距离检测装置20、全球位置运算装置23、姿态检测装置32、IMU(Inertial Measurement Unit：惯性测量装置)33和液压系统36。通信装置25、传感器控制器26和作业机控制装置27通过信号线35连接。通过这样的结构，通信装置25、传感器控制器26和作业机控制装置27能经由信号线35相互交换信息。在控制系统1S内传递信息的信号线例示了CAN(Controller Area Network，控制器区域网络)那样的车内信号线。
传感器控制器26具有CPU(Central Processing Unit，中央处理器)等处理器和RAM以及ROM等存储装置。对传感器控制器26输入全球位置运算装置23的检测值、由摄像装置19摄像的图像的信息、距离检测装置20的检测值、姿态检测装置32的检测值以及IMU33的检测值。传感器控制器26将输入的检测值以及图像的信息经由信号线35以及通信装置25发送到图1所示的设施50的处理装置51。
作业机控制装置27具有CPU(Central Processing Unit，中央处理器)等处理器和RAM(Random Access Memory，随机存取存储器)以及ROM(Read Only Memory，只读存储器)等存储装置。作业机控制装置27经由通信装置25取得由设施50的处理装置51生成的用于使作业机2以及上部转动体3的至少一方动作的命令。作业机控制装置27基于取得的命令来控制液压系统36的电磁控制阀28。
液压系统36具备电磁控制阀28、液压泵29、动臂缸体10、斗杆缸体11、铲斗缸体12以及转动马达30等的液压致动器。液压泵29被引擎31驱动而喷出用于使液压致动器动作的工作油。作业机控制装置27通过控制电磁控制阀28来控制对动臂缸体10、斗杆缸体11、铲斗缸体12以及转动马达30提供的工作油的流量。如此地，作业机控制装置27对动臂缸体10、斗杆缸体11、铲斗缸体12以及转动马达30的动作进行控制。
传感器控制器26取得第1行程传感器16、第2行程传感器17以及第3行程传感器18的检测值。第1行程传感器16设置在动臂缸体10，第2行程传感器17设置在斗杆缸体11，第3行程传感器18设置在铲斗缸体12。
第1行程传感器16检测动臂缸体10的长度即动臂缸体长度并输出到传感器控制器26。第2行程传感器17检测斗杆缸体11的长度即斗杆缸体长度并输出到传感器控制器26。第3行程传感器18检测铲斗缸体12的长度即铲斗缸体长度并输出到传感器控制器26。
若决定了动臂缸体长度、斗杆缸体长度以及铲斗缸体长度，就决定了作业机2的姿态。因此，检测它们的第1行程传感器16、第2行程传感器17以及第3行程传感器18相当于检测作业机2的姿态的姿态检测装置32。姿态检测装置32并不限定于第1行程传感器16、第2行程传感器17以及第3行程传感器18，也可以是角度检测器。
传感器控制器26根据第1行程传感器16检测到的动臂缸体长度来算出液压挖掘机1的坐标系即局部坐标系中的动臂6相对于与水平面正交的方向(z轴方向)的倾斜角。作业机控制装置27根据第2行程传感器17检测到的斗杆缸体长度来算出斗杆7相对于动臂6的倾斜角。作业机控制装置27根据第3行程传感器18检测到的铲斗缸体长度来算出铲斗8相对于斗杆7的倾斜角。动臂6、斗杆7以及铲斗8的倾斜角是表示作业机2的姿态的信息。即，传感器控制器26求取表示作业机2的姿态的信息。传感器控制器26将算出的倾斜角经由信号线35以及通信装置25发送到图1所示的设施50的处理装置51。
GNSS天线21从定位卫星接收表示自身的位置的位置P1。GNSS天线22从定位卫星接收表示自身的位置的位置P2。GNSS天线21、22例如以10Hz周期接收位置P1、P2。位置P1、P2是在全球坐标系中设置GNSS天线的位置的信息。与在GNSS天线21、22接收到的GNSS电波相应的信号即位置P1、P2被输入到全球位置运算装置23。GNSS天线21、22每当接收到位置P1、P2，就将它们输出到全球位置运算装置23。
全球位置运算装置23具有CPU等处理器和RAM以及ROM等存储装置。全球位置运算装置23以例如10Hz的频率检测全球坐标系中的GNSS天线21、22的位置P1、P2，并作为基准位置信息Pga1、Pga2输出到传感器控制器26。在实施方式中，全球位置运算装置23根据取得的2个位置P1、P2来求取液压挖掘机1的方位角、更具体是上部转动体3的方位角即偏航角，并输出到传感器控制器26。传感器控制器26将取得的基准位置信息Pga1、Pga2以及偏航角经由信号线35以及通信装置25发送到图1所示的设施50的处理装置51。
IMU33检测液压挖掘机1的动作以及姿态。液压挖掘机1的动作包含上部转动体3的动作以及行驶装置5的动作的至少一方。液压挖掘机1的姿态能由液压挖掘机1的横摆角、俯仰角以及偏航角表征。在实施方式中，IMU33检测并输出液压挖掘机1的角速度以及加速度。
<关于坐标系>
图4是用于说明实施方式所涉及的图像显示系统100以及远程操作系统101中的坐标系的图。图5是液压挖掘机1的背视图。图6是说明摄像装置以及距离检测装置的坐标系的图。在图像显示系统100以及远程操作系统101中存在全球坐标系、局部坐标系、摄像装置19的坐标系和距离检测装置20的坐标系。在实施方式中，所谓全球坐标系，例如是GNSS中的坐标系。全球坐标系是以设置在液压挖掘机1的作业区划GA的成为基准的例如基准桩80的基准位置PG为基准的、以(x，y，z)表示的三维坐标系。如图5所示那样，基准位置PG例如位于设置在作业区划GA的基准桩80的前端80T。
所谓局部坐标系，是以液压挖掘机1为基准的以(x，y，z)表示的三维坐标系。在实施方式中，局部坐标系的原点位置PL是上部转动体3的转动中心轴即z轴与上部转动体3的摆动圆内中和z轴正交的平面的交点，但并不限定于此。摆动圆内中与z轴正交的平面能设为穿过摆动圆的z轴方向上的中心的平面。
在实施方式中，摄像装置19的坐标系如图6所示那样，是以摄像元件19RC的受光面19P的中心为原点PC的以(Xc，Yc，Zc)表示的三维坐标系。在实施方式中，距离检测装置20的坐标系如图6所示那样，是以距离检测元件20RC的受光面20P的中心为原点PD、以(Xd，Yd，Zd)表示的三维坐标系。
<液压挖掘机1的姿态>
如图5所示那样，相对于上部转动体3的左右方向即宽度方向的倾斜角θ4是液压挖掘机1的横摆角，相对于上部转动体3的前后方向的倾斜角θ5是液压挖掘机1的俯仰角，绕着z轴的上部转动体3的角度是液压挖掘机1的偏航角。将由IMU33检测到的绕着x轴的角速度在时间上进行积分来求取横摆角，将由IMU33检测到的绕着y轴的角速度在时间上进行积分来求取俯仰角，将由IMU33检测到的绕着z轴的角速度在时间上进行积分来求取偏航角。绕着z轴的角速度是液压挖掘机1的转动角速度ω。即，通过将转动角速度ω在时间上进行积分来获得液压挖掘机1更具体为上部转动体3的偏航角。
IMU33检测到的加速度以及角速度被作为动作信息输出到传感器控制器26。传感器控制器26对从IMU33取得的动作信息实施滤波处理以及积分这样的处理来求取横摆角即倾斜角θ4、俯仰角即倾斜角θ5以及偏航角。传感器控制器26将求得的倾斜角θ4、倾斜角θ5以及偏航角作为与液压挖掘机1的姿态关联的信息经由图3所示的信号线35以及通信装置25发送到图1所示的设施50的处理装置51。
传感器控制器26如前述那样求取表示作业机2的姿态的信息。表示作业机2的姿态的信息具体是局部坐标系中的动臂6相对于与水平面正交的方向(z轴方向)的倾斜角θ1、斗杆7相对于动臂6的倾斜角θ2以及铲斗8相对于斗杆7的倾斜角θ3。图1所示的设施50的处理装置51根据从液压挖掘机1的传感器控制器26取得的表示作业机2的姿态的信息即倾斜角θ1、θ2、θ3来算出铲斗8的斗齿齿尖8T的位置(以下适宜称作斗齿齿尖位置)P4。
处理装置51的存储部51M存储作业机2的数据(以下适宜称作作业机数据)。作业机数据包含动臂6的长度L1、斗杆7的长度L2以及铲斗8的长度L3。如图4所示那样，动臂6的长度L1相当于从动臂销13到斗杆销14的长度。斗杆7的长度L2相当于从斗杆销14到铲斗销15的长度。铲斗8的长度L3相当于从铲斗销15到铲斗8的斗齿齿尖8T的长度。斗齿齿尖8T是图2所示的斗齿8B的前端。另外，作业机数据包含相对于局部坐标系的原点位置PL的到动臂销13的位置的信息。处理装置51能使用长度L1、L2、L3、倾斜角θ1、θ2、θ3以及原点位置PL来求取相对于原点位置PL的斗齿齿尖位置P4。在实施方式中，设施50的处理装置51求取斗齿齿尖位置P4，但也可以由液压挖掘机1的传感器控制器26求取斗齿齿尖位置P4并发送到设施50的处理装置51。
<图像显示系统100以及远程操作系统101所执行的控制例>
图7是图像显示系统100以及远程操作系统101所执行的控制例的流程图。图8是表示摄像装置19以及距离检测装置20和作业对象WA的图。
在步骤S101，图3所示的传感器控制器26取得液压挖掘机1的信息。液压挖掘机1的信息是从摄像装置19、距离检测装置20、全球位置运算装置23、姿态检测装置32以及IMU33得到的信息。摄像装置19如图8所示那样在摄像范围TA内对作业对象WA进行摄像，得到作业对象WA的图像。距离检测装置20检测从距离检测装置20到存在于检测范围MA内的作业对象WA以及其他物体的距离Ld。全球位置运算装置23求取全球坐标系中的与GNSS天线21、22的位置P1、P2对应的基准位置信息Pga1、Pga2。姿态检测装置32检测动臂缸体长度、斗杆缸体长度以及铲斗缸体长度。IMU33检测液压挖掘机1的姿态，更具体检测上部转动体3的横摆角θ4、俯仰角θ5以及偏航角。
在步骤S102，图像显示系统100以及远程操作系统101的处理装置51经由液压挖掘机1的通信装置25以及与处理装置51连接的通信装置54，从液压挖掘机1的传感器控制器26取得液压挖掘机1的信息。
处理装置51从传感器控制器26取得的液压挖掘机1的信息包含：由摄像装置19拍摄的作业对象WA的图像；距离检测装置20检测到的从距离检测装置20到作业对象WA的距离的信息；由姿态检测装置32检测到的液压挖掘机1所具备的作业机2的姿态的信息；基准位置信息Pga1、Pga2；和液压挖掘机1的姿态的信息。
从距离检测装置20到作业对象WA的距离的信息包含：到存在于检测范围MA内的作业对象WA或物体OB的距离Ld；和与距离Ld对应的位置Pd的方位的信息。在图8中示出距离Ld作为到作业对象WA的距离。位置Pd的方位的信息是以距离检测装置20为基准时的位置Pd的方位，是相对于距离检测装置20的坐标系的各轴Xd、Yd、Zd的角度。处理装置51取得的作业机2的姿态的信息是利用动臂缸体长度、斗杆缸体长度以及铲斗缸体长度由传感器控制器26求得的作业机2的倾斜角θ1、θ2、θ3。液压挖掘机1的姿态的信息是液压挖掘机1、更具体为上部转动体3的横摆角θ4、俯仰角θ5以及偏航角。
处理装置51使用从传感器控制器26取得的作业机2的倾斜角θ1、θ2、θ3和存储于存储部51M的动臂6的长度L1、斗杆7的长度L2以及铲斗8的长度L3来求取铲斗8的斗齿齿尖位置P4。铲斗8的斗齿齿尖位置P4是液压挖掘机1的局部坐标系(x，y，z)中的坐标的集合。
进入到步骤S103，处理装置51使用到作业对象WA的距离的信息，将到作业对象WA的距离Ld变换成位置的信息。位置的信息是距离检测装置20的坐标系(Xd，Yd，Zd)中的位置Pd的坐标。在步骤S103，将在检测范围MA内由距离检测装置20检测到的全部距离Ld变换成位置的信息。处理装置51使用距离Ld和与距离Ld对应的位置Pd的方位的信息，来将距离Ld变换成位置的信息。在步骤S103，到存在于检测范围MA内的物体OB的距离也与作业对象WA的距离Ld同样地被变换成位置的信息。通过步骤S103的处理获得检测范围MA内的作业对象WA的位置的信息的信息。能从作业对象WA的位置的信息的信息得到作业对象WA的形状的信息。
作业对象WA的位置的信息以及形状的信息是距离检测装置20的坐标系(Xd，Yd，Zd)中的位置Pd的坐标的集合。处理装置51在将作业对象WA的形状的信息变换成摄像装置19的坐标系(Xc，Yc，Zc)的值之后，变换成液压挖掘机1的局部坐标系(x，y，z)的值。
在步骤S104，处理装置51将作业对象WA的位置的信息、铲斗8的斗齿齿尖位置P4以及从液压挖掘机1的传感器控制器26取得的基准位置信息Pga1、Pga2变换成全球坐标系(x，y，z)。在向全球坐标系(x，y，z)的变换时，处理装置51生成利用从传感器控制器26取得的液压挖掘机1的横摆角θ4、俯仰角θ5以及偏航角的旋转矩阵。处理装置51使用生成的旋转矩阵将作业对象WA的位置的信息、铲斗8的斗齿齿尖位置P4以及基准位置信息Pgal、Pga2变换成全球坐标系(x，y，z)。接下来进入到步骤S105，处理装置51求取占有区域。
图9是说明占有区域SA的图。占有区域SA在作业对象WA的形状的信息内是作业机2所占据的区域。在图9所示的示例中，作业机2的铲斗8的一部分进入到距离检测装置20的检测范围MA内且距离检测装置20与作业对象WA之间。为此，在占有区域SA的部分，由距离检测装置20检测到铲斗8的距离，而不是到作业对象WA的距离。在实施方式中，处理装置51根据在步骤S103得到的作业对象WA的形状的信息来将占有区域SA的部分除去。
处理装置51将与铲斗8的位置以及姿态的至少一方相应地由距离检测装置20检测的位置以及姿态的至少一方的信息存储到例如存储部51M。这样的信息在本实施方式包含在液压挖掘机1的作业机2的姿态中。作业机2的姿态能使用作业机2的倾斜角θ1、θ2、θ3、动臂6的长度L1、斗杆7的长度L2以及铲斗8的长度L3根据需要利用液压挖掘机1的姿态来求取。然后，处理装置51将由距离检测装置20检测到的数据和存储于存储部51M的信息进行比较，若两者匹配，则能检测到铲斗8。通过利用这样的作业机2的姿态的处理，处理装置51在生成图1所示的格子图像65时不使用占有区域SA的铲斗8的信息，因此能正确生成格子图像65。
为了将占有区域SA的部分除去，利用作业机2的姿态的处理可以用如下那样的方法进行。作业机2的姿态中所含的与铲斗8的全球坐标系中的位置以及姿态的至少一方相关的信息根据作业机2的倾斜角θ1、θ2、θ3、动臂6的长度L1、斗杆7的长度L2以及铲斗8的长度L3而被求取。在步骤S103以及步骤S104得到全球坐标系中的作业对象WA的形状的信息。在步骤S106，处理装置51将使铲斗8的位置投影到作业对象WA的形状的信息的区域作为占有区域SA，将其从作业对象WA的形状除去。
图10是表示除去了占有区域的作业对象WA的形状的信息的图。作业对象WA的形状的信息IMWA是全球坐标系(x，y，z)中的坐标Pgd(x，y，z)的集合。占有区域IMBA通过步骤S106的处理而不存在坐标的信息。接下来进入到步骤S107，处理装置51生成表示铲斗8的位置的图像。表示铲斗8的位置的图像是作业对象WA上与铲斗8对应的部分的图像。
图11到图13是用于说明表示作业对象WA上的铲斗8的位置的图像的图。在实施方式中，表示铲斗8的位置的图像是表示作业对象WA上的铲斗8的斗齿齿尖8T的位置的图像。以下将表示铲斗8的斗齿齿尖8T的位置的图像适宜称作斗齿齿尖位置图像。斗齿齿尖位置图像如图11所示那样，在使斗齿齿尖8T投影到铅垂方向即重力作用的方向的作业对象WA时是以作业对象WA的表面WAP的位置Pgt(x，y，z)规定的图像。铅垂方向是全球坐标系(x，y，z)中的Z方向，是与X方向以及Y方向正交的方向。
如图12所示那样，在作业对象WA的表面WAP的第1位置Pgt1(X1，Y1，Z1)与第2位置Pgt2(X2，Y2，Z2)之间沿着作业对象WA的表面WAP形成的线图像是斗齿齿尖位置图像61。第1位置Pgt1(X1，Y1，Z1)是从铲斗8的宽度方向Wb的一个端部8Wt1侧的斗齿8B的外侧的位置Pgb1向铅垂方向延伸的直线LV1与作业对象WA的表面WAP的交点。第2位置Pgt2(X2，Y2，Z2)是从铲斗8的宽度方向Wb的另一个端部8Wt2侧的斗齿8B的外侧的位置Pgb2向铅垂方向延伸的直线LV2与作业对象WA的表面WAP的交点。铲斗8的宽度方向Wb是排列多个斗齿8B的方向。
处理装置51根据铲斗8的位置Pgb1以及位置Pgb2来求取在铅垂方向上延伸的直线LV1以及直线LV2。接下来，处理装置51根据求得的直线LV1以及直线LV2和作业对象WA的形状的信息来求取第1位置Pgt1(X1，Y1，Z1)以及第2位置Pgt2(X2，Y2，Z2)。然后，处理装置51将使连结第1位置Pgt1和第2位置Pgt2的直线投影到作业对象WA的表面WAP时的表面WAP的位置Pgt的集合设为斗齿齿尖位置图像61。
在实施方式中，处理装置51生成连结位置Pgb1和第1位置Pgt1(X1，Y1，Z1)的直线LV1的图像即第1直线图像62、以及连结位置Pgb2和第2位置Pgt2(X2，Y2，Z2)的直线LV2的图像即第2直线图像63。接下来，处理装置51将斗齿齿尖位置图像61、第1直线图像62以及第2直线图像63变换成以摄像装置19为基准的图像，即摄像装置19的视点的图像。
如图13所示那样，摄像装置19的视点的图像是从全球坐标系(x，y，z)中的摄像装置的原点Pgc(Xc，Yc，Zc)观察斗齿齿尖位置图像61、第1直线图像62以及第2直线图像63时的图像。摄像装置的原点Pgc(Xc，Yc，Zc)是将摄像装置19所具备的摄像元件19RC的受光面19P的中心即原点PC变换成全球坐标系(x，y，z)的坐标。
斗齿齿尖位置图像61、第1直线图像62以及第2直线图像63是三维空间内的图像，但摄像装置19的视点的图像是二维的图像。因此，处理装置51执行将三维空间即全球坐标系(x，y，z)内定义的斗齿齿尖位置图像61、第1直线图像62以及第2直线图像63投影到二维面上的透视投影变换。将被变换成摄像装置19的视点的图像的斗齿齿尖位置图像61、第1直线图像62以及第2直线图像63在以下适宜称作作业用具引导图像60。
图14以及图15是表示基准图像即格子图像65的图。在生成作业用具引导图像60后，进入到步骤S108，处理装置51生成基准图像即格子图像65。格子图像65是使用作业对象WA的位置的信息来沿着作业对象WA的表面WAP的线图像。格子图像65是具备多个第1线图像66和与多个第1线图像66交叉的多个第2线图像67的格子。在实施方式中，第1线图像66例如是与全球坐标系(x，y，z)中的X方向平行延伸、配置在Y方向的线图像。第1线图像66也可以是在全球坐标系(x，y，z)中与液压挖掘机1所具备的上部转动体3的前后方向平行地延伸、配置在上部转动体3的宽度方向的线图像。
格子图像65使用作业对象WA的位置的信息、更具体为表面WAP的位置Pgg(x，y，z)而生成。第1线图像66与第2线图像67的交点成为位置Pgg(x，y，z)。第1线图像66以及第2线图像67由于如图15所示那样以全球坐标系(x，y，z)定义，因此包含三维的信息。在实施方式中，多个第1线图像66等间隔配置，多个第2线图像67等间隔配置。相邻的第1线图像66彼此的间隔与相邻的第2线图像67彼此的间隔相等。
格子图像65是将使用表面WAP的位置Pgg(x，y，z)生成的第1线图像66以及第2线图像67变换成摄像装置19的视点的图像而得到的图像。处理装置51在生成第1线图像66以及第2线图像67之后将它们变换成摄像装置19的视点的图像，来生成格子图像65。由于通过将第1线图像66以及第2线图像67变换成摄像装置19的视点的图像来辅助作业对象WA的绝对距离，因此能在水平面中使等间隔的格子图像65与作业对象WA的形状相匹配地变形来显示。
接下来，在步骤S109，处理装置51从生成的作业用具引导图像60以及基准图像即格子图像65将前述的占有区域SA除去。在步骤S109，处理装置51将占有区域SA变换成摄像装置19的视点的图像，并将其从作业用具引导图像60以及基准图像即格子图像65除去。在实施方式中，处理装置51也可以从变换成摄像装置19的视点的图像之前的斗齿齿尖位置图像61、第1直线图像62以及第2直线图像63、变换成摄像装置19的视点的图像之前的第1线图像66以及第2线图像67分别除去变换成摄像装置19的视点的图像之前的占有区域SA。
图16是表示作业用的图像69的图。在步骤S110，处理装置51将除去占有区域SA的作业用具引导图像60、格子图像65和由摄像装置19拍摄的作业对象WA的图像68合成，来生成作业用的图像69。在步骤S111，处理装置51将生成的作业用的图像68显示在显示装置52。作业用的图像69是在作业对象WA的图像68中显示格子图像65以及作业用具引导图像60的图像。
由于格子图像65是沿着作业对象WA的表面WAP的格子，因此液压挖掘机1的操作人员能通过参考格子图像65来掌握作业对象WA的位置。例如操作人员能通过第2线图像67掌握纵深即液压挖掘机1所具备的上部转动体3的前后方向的位置，能通过第1线图像66掌握铲斗8的宽度方向的位置。
在作业用具引导图像60中，斗齿齿尖位置图像61沿着作业对象WA的表面WAP以及格子图像65显示。为此，操作人员由于能通过格子图像65以及斗齿齿尖位置图像61掌握铲斗8与作业对象WA的位置关系，因此作业效率以及作业的精度得到提升。在实施方式中，第1直线图像62和第2直线图像63从铲斗8的宽度方向Wb的两侧连结斗齿齿尖位置图像61的两端。操作人员能通过第1直线图像62以及第2直线图像63更容易地掌握铲斗8与作业对象WA的位置关系。格子图像65以及斗齿齿尖位置图像61由于沿着成为作业对象的地形(作业对象WA)的形状显示，因此能容易地掌握地形面上(二维上)的两者的相对位置关系。进而，由于构成格子图像65的第1线图像66以及第2线图像67在全球坐标系上等间隔配置，因此易于捕捉地形面上的距离感，远近感的掌握变得容易。
在实施方式中，作业用的图像69包含表示铲斗8的斗齿齿尖8T与作业对象WA的距离的信息64。这样一来，存在操作人员能掌握铲斗8的斗齿齿尖8T与作业对象WA的实际的距离的优点。铲斗8的斗齿齿尖8T与作业对象WA的距离能设为从铲斗8的宽度方向Wb的中央的斗齿齿尖8T到作业对象WA的表面WAP的距离。
另外，信息64只要是取代铲斗8的斗齿齿尖8T与作业对象WA的距离或除了该距离以外包含如下信息的与作业用具或作业对象W相关的空间位置信息即可：与铲斗8的角度这样的姿态相关的信息；表示铲斗8与作业对象WA的相对距离的信息；表示铲斗8的例如斗齿齿尖8T的朝向与作业对象WA的面的朝向的关系的信息；以坐标表示铲斗8的位置的信息；表示作业对象WA的面的朝向的信息；以及表示从摄像装置19到铲斗8的斗齿齿尖8T的局部坐标系中的x方向的距离的信息。
即，处理装置51可以求取作业用具即铲斗8的位置、铲斗8的姿态、作业对象WA的位置、作业对象WA的相对的姿态、铲斗8与作业对象WA的相对的距离、铲斗8与作业对象WA的相对的姿态的至少1者并使显示装置52显示。
以上，图像显示系统100以及远程操作系统101将以摄像装置19的视点生成的作业用具引导图像60以及格子图像65与由摄像装置19拍摄的实际的作业对象WA的图像68重叠并显示在显示装置52。通过这样的处理，由于图像显示系统100以及远程操作系统101能使利用显示于显示装置52的作业对象WA的图像对液压挖掘机1进行远程操作的操作人员容易地掌握铲斗8的位置与作业对象WA的位置关系，因此能提升作业效率以及作业的精度。经验尚浅的操作人员也能通过使用图像显示系统100以及远程操作系统101来容易地掌握铲斗8的位置与作业对象WA的位置关系。其结果，抑制了作业效率以及作业的精度的降低。另外，图像显示系统100以及远程操作系统101通过使作业用具引导图像60、格子图像65和实际的作业对象WA的图像68重叠显示在显示装置52，来使作业中操作人员所关注的画面单一化，能提升作业效率。
在格子图像65中，相邻的第1线图像66彼此的间隔与相邻的第2线图像67彼此的间隔相等。为此，通过使格子图像65和由摄像装置19拍摄的实际的作业对象WA的图像68重叠显示，易于掌握作业对象WA中的作业地点。另外，通过使作业用具引导图像60的斗齿齿尖位置图像61和格子图像65重叠，操作人员易于掌握铲斗8移动的距离，因此作业效率得到提升。
由于作业用具引导图像60以及格子图像65除去了作业机2的区域即占有区域SA，因此作业用具引导图像60以及格子图像65能避免占有区域SA引起的形变以及作业用具引导图像60以及格子图像65重叠显示在作业机2的情形。其结果，图像显示系统100以及远程操作系统101能以对操作人员而言容易观察的方式将作业用的图像69显示在显示装置52。
在实施方式中，作业用具引导图像60至少包含斗齿齿尖位置图像61即可。格子图像65至少包含多个第2线图像67、即表示与液压挖掘机1具备的上部转动体3的前后方向正交的方向的多个线图像即可。另外，处理装置51也可以根据铲斗8的斗齿齿尖8T与作业对象WA的距离而变更作业用具引导图像60当中例如斗齿齿尖位置图像61的颜色。如此，操作人员易于掌握铲斗8的位置与作业对象WA的距离。
在实施方式中，处理装置51将作业对象WA的形状的信息变换成全球坐标系(x，y，z)来生成作业用具引导图像60以及格子图像65，但也可以不将作业对象WA的形状的信息变换成全球坐标系(x，y，z)。在该情况下，处理装置51在液压挖掘机1的局部坐标系(x，y，z)中处置作业对象WA的形状的信息，生成作业用具引导图像60以及格子图像65。在液压挖掘机1的局部坐标系(x，y，z)中处置作业对象WA的形状的信息的情况下，不需要GNSS天线21、22以及全球位置运算装置23。
在前述的实施方式中，将由距离检测装置20检测到的液压挖掘机1的一部分(例如前述那样的铲斗8)除去，设为作业对象WA的形状的信息(三维地形数据)。但也可以将过去(例如数秒前)取得的三维地形数据存储于处理装置51的存储部51M，由处理装置51的处理部51P判断当前的作业对象WA和该存储的三维地形数据是否是相同位置，若是相同位置，则使用过去的三维地形数据来使格子图像65显示。即，即使是从摄像装置19来观察而被液压挖掘机1的一部分挡住的地形，只要有过去的三维地形数据，处理装置51也能使格子图像65显示。
另外，也可以不是显示利用格子的格子图像65，而是例如将局部坐标系设为极坐标系来使格子图像65显示。具体地，将与距液压挖掘机1的中心(例如上部转动体3的转动中心)的距离相应的等间隔的同心圆描绘为线图像(第2线图像)，且根据上部转动体3的转动角度而从转动中心起等间隔地描绘放射状的线图像(第1线图像)。在该情况下，同心圆的线图像即第2线图像与从转动中心起的放射状的线图像即第1线图像交叉。通过显示这样的格子图像，也能在转动时或挖掘时容易地掌握铲斗8的位置与作业对象WA的位置关系。
<装载铲型的作业机2a的斗齿齿尖位置图像61>
图17是用于说明利用装载铲型的作业机2a的情况下的斗齿齿尖位置图像61的图。在装载铲中，由于铲斗8从液压挖掘机1的后方向前方来转动，因此能捧起沙土。装载铲型的作业机2a使铲斗8的斗齿齿尖8T朝向上部转动体3的前方，挖掘上部转动体3的前方的作业对象即作业对象WA。在该情况下，如图17所示那样，斗齿齿尖位置图像61是将斗齿齿尖8T投影到水平方向即与重力作用的方向正交的方向的作业对象WA时以作业对象WA的表面WAP的位置Pgt(x，y，z)规定的图像。水平方向是全球坐标系(x，y，z)中的X方向或Y方向，是与Z正交的方向。处理装置51使用作业对象WA的表面WAP的位置Pgt(x，y，z)的信息，利用与前述的方法同样的方法来生成斗齿齿尖位置图像61以及第1直线图像62以及第2直线图像63。处理装置51将生成的斗齿齿尖位置图像61、第1直线图像62以及第2直线图像63变换成摄像装置19的视点的图像，从而得到作业用具引导图像60。
<关于求取斗齿齿尖位置图像61的处理>
图18是表示求取斗齿齿尖位置图像的处理的第1变形例的图。在第1变形例中，处理装置51求取正交于假想平面70和作业对象WA的相交线71且穿过铲斗8的斗齿齿尖8T的直线72。假想平面70是图5以及图6所示的液压挖掘机1的局部坐标系(x，y，z)中的xz平面。xz平面穿过铲斗8的宽度方向Wb中的中心。
接下来，处理装置51求取穿过铲斗8的宽度方向Wb的一个端部8Wt1侧的斗齿8B的外侧的位置Pgb1且与直线72平行的直线LV1、和穿过宽度方向Wb的另一个端部8Wt2侧的斗齿8B的外侧的位置Pgb2且与直线72平行的直线LV2。直线LV1与作业对象WA的表面WAP的交点是第1位置Pgt1，直线LV2与作业对象WA的表面WAP的交点是第2位置Pgt2。处理装置51求取第1位置Pgt1以及第2位置Pgt2，将使连结第1位置Pgt1和第2位置Pgt2的直线投影到作业对象WA的表面WAP时的表面WAP的位置Pgt的集合作为斗齿齿尖位置图像61。
第1直线图像62以及第2直线图像63是直线LV1以及直线LV2的图像。处理装置51将生成的斗齿齿尖位置图像61、第1直线图像62以及第2直线图像63变换成摄像装置19的视点的图像，从而得到作业用具引导图像60。由于铲斗8与假想平面70平行地移动，因此通过第1变形例的处理得到的斗齿齿尖位置图像61表示铲斗8的斗齿齿尖8T朝向作业对象WA的位置。
图19以及图20是用于说明求取斗齿齿尖位置图像的处理的第2变形例的图。若液压挖掘机1的上部转动体3相对于水平面即全球坐标系(x，y，z)的XY平面倾斜，则如图19所示那样，铲斗8的斗齿齿尖8T的列有时会相对于作业对象WA的表面WAP倾斜。由于铲斗8与前述的假想平面70平行地移动，因此，若将斗齿齿尖8T投影到存在于斗齿齿尖8T的铅垂方向的作业对象WA的表面WAP来获得斗齿齿尖位置图像61，则在铲斗8的移动方向和斗齿齿尖位置图像61中有出现偏离的可能性。
在第2变形例中，处理装置51求取从铲斗8的斗齿齿尖位置P4向铅垂方向延伸的直线LV1以及直线LV2。接下来，处理装置51使得到的直线LV1以及直线LV2转动液压挖掘机1的上部转动体3相对于水平面倾斜的角度即横摆角θ4。使直线LV1以及直线LV2转动的方向是它们与假想平面70平行的方向。在该情况下，处理装置51以铲斗8的位置Pgb1以及位置Pgb2为中心，使直线LV1以及直线LV2在由直线LV1和直线LV2形成的平面PV12上转动θ4。如此地，处理装置51得到转动后的直线LV1a以及直线LV2a。
接下来，处理装置51求取转动后的直线LV1a以及直线LV2a与作业对象WA的表面WAP的交点，将得到的2个交点分别作为第1位置Pgt1a以及第2位置Pgt2a。然后，处理装置51将使连结第1位置Pgt1a和第2位置Pgt2a的直线投影到作业对象WA的表面WAP时的表面WAP的位置Pgt的集合作为斗齿齿尖位置图像61。第1直线图像62以及第2直线图像63是直线LV1a以及直线LV2a的图像。处理装置51将生成的斗齿齿尖位置图像61、第1直线图像62以及第2直线图像63变换成摄像装置19的视点的图像，从而得到作业用具引导图像60。通过第2变形例的处理得到的斗齿齿尖位置图像61表示铲斗8的斗齿齿尖8T朝向作业对象WA的位置。
<液压挖掘机1的控制系统的变形例>
图21是表示变形例所涉及的液压挖掘机1的控制系统1Sa的图。前述的图像显示系统100以及远程操作系统101使用图1所示的设施50的操作装置53对液压挖掘机1进行远程操作。本变形例在图2所示的驾驶室4内设置显示装置52，为了辅助操作人员对液压挖掘机1的作业而在显示装置52显示作业用的图像69。
为此，在控制系统1Sa中，在前述的控制系统1S的信号线35连接处理装置51以及操作装置53a。在处理装置51连接显示装置52。控制系统1Sa所具备的处理装置51具有与前述的图像显示系统100以及远程操作系统101中图1所示的设施50所具备的处理装置51同样的功能。控制系统1Sa的显示装置52既可以是用于显示作业用的图像69的专用的显示装置，也可以是液压挖掘机1所具备的显示装置。操作装置53a是用于操作液压挖掘机1的装置，具备左操作杆53La以及右操作杆53Ra。操作装置53a可以是先导(pilot)液压方式，也可以是电气方式。
具备控制系统1Sa的液压挖掘机1使以摄像装置19的视点生成的作业用具引导图像60以及格子图像65和由摄像装置19拍摄的实际的作业对象WA的图像68一起显示在驾驶室4内的显示装置52。通过这样的处理，液压挖掘机1能使利用显示于显示装置52的作业对象WA的图像操作液压挖掘机1的操作人员容易地掌握铲斗8的位置与作业对象WA的位置关系。其结果能提升作业效率以及作业的精度。另外，经验尚浅的操作人员也能通过使用具备控制系统1Sa的液压挖掘机1来容易地掌握铲斗8的位置与作业对象WA的位置关系。其结果，抑制了作业效率以及作业的精度的降低。进而在夜间作业等的情况下，即使是操作人员难以目视实际的作业对象WA的状况，也能一边看显示于显示装置52的作业用具引导图像60以及格子图像65一边进行作业，因此抑制了作业效率的降低。
以上说明了实施方式，但是并不由前述的内容限定实施方式。另外，前述的构成要素中包含本领域技术人员能够容易想到的要素、实质相同的要素这样所谓等同范围的要素。进而能适宜组合前述的构成要素。进而能在不脱离实施方式的主旨的范围内进行构成要素的种种省略、置换以及变更当中至少1者。作业机械并不限定于液压挖掘机1，也可以是轮式装载机或推土机那样的其他作业机械。
标号的说明
1 液压挖掘机
1B 车辆主体
1S、1Sa 控制系统
2、2a 作业机
3 上部转动体
4 驾驶席
6 动臂
7 斗杆
8 铲斗
8B 斗齿
8T 斗齿齿尖
16 第1行程传感器
17 第2行程传感器
18 第3行程传感器
19 摄像装置
20 距离检测装置
21、22 天线(GNSS天线)
23 全球位置运算装置
26 传感器控制器
27 作业机控制装置
32 姿态检测装置
33 IMU
50 设施
51 处理装置
52 显示装置
53、53a 操作装置
60 作业用具引导图像(图像)
61 斗齿齿尖位置图像
62 第1直线图像
63 第2直线图像
65 格子图像
66 第1线图像
67 第2线图像
68 图像
69 作业用的图像
100 作业机械的图像显示系统(图像显示系统)
101 作业机械的远程操作系统(远程操作系统)

Claims (12)

1.一种作业机械的图像显示系统，包括：
摄像装置，其安装在具备作业机的作业机械，该作业机具有作业用具；
姿态检测装置，其检测所述作业机的姿态；
距离检测装置，其求取到所述作业机械的作业对象的距离的信息；和
处理装置，其使用利用所述作业机的姿态得到的所述作业用具的位置的信息和根据所述距离检测装置所求得的所述距离的信息得到的所述作业对象的位置的信息，来生成在与所述作业用具对置的所述作业对象上与所述作业用具对应的部分的图像，与由所述摄像装置拍摄的所述作业对象的图像合成并使其显示在显示装置。
2.根据权利要求1所述的作业机械的图像显示系统，其中，
所述处理装置使用所述作业对象的位置的信息来生成沿着所述作业对象的表面的线图像，与所述作业对象的图像合成并使其显示在所述显示装置。
3.根据权利要求2所述的作业机械的图像显示系统，其中，
所述线图像是具备多个第1线图像和与所述多个第1线图像交叉的多个第2线图像的格子。
4.根据权利要求1～3中任一项所述的作业机械的图像显示系统，其中，
所述作业用具是铲斗，
所述处理装置生成在所述作业对象上与所述铲斗的斗齿齿尖对应的部分的线图像，作为在与所述作业用具对置的所述作业对象上与所述作业用具对应的部分的图像。
5.根据权利要求4所述的作业机械的图像显示系统，其中，
所述处理装置生成将所述铲斗的斗齿齿尖的宽度方向上的一个端部侧和所述作业对象连结的直线的图像、以及将所述铲斗的斗齿齿尖的宽度方向上的另一个端部侧和所述作业对象连结的直线的图像，与由所述摄像装置拍摄的所述作业对象的图像合成并使其显示在显示装置。
6.根据权利要求1～5中任一项所述的作业机械的图像显示系统，其中，
所述处理装置求取与所述作业用具或所述作业对象有关的空间位置信息并使其显示在所述显示装置。
7.根据权利要求1～6中任一项所述的作业机械的图像显示系统，其中，
所述处理装置求取所述作业用具的位置、所述作业用具的姿态、所述作业对区域的位置、所述作业对象的相对的姿态、所述作业用具与所述作业对象的相对的距离以及所述作业用具与所述作业对象的相对的姿态的至少一者，并使其显示在所述显示装置。
8.根据权利要求1～7中任一项所述的作业机械的图像显示系统，其中，
所述处理装置使用所述作业机的姿态来求取所述作业用具在所述作业对象的图像所占的区域，将得到的所述区域从所述作业对象的形状的信息中除去。
9.根据权利要求1～8中任一项所述的作业机械的图像显示系统，其中，
所述摄像装置、所述姿态检测装置以及距离检测装置配备在所述作业机械中，
所述处理装置以及所述显示装置设置在具备对所述作业机械进行远程操作的操作装置的设施。
10.一种作业机械的图像显示系统，在对具备具有作业用具的作业机的作业机械进行远程操作时包含：
显示装置；和
处理装置，其使用利用所述作业机的姿态得到的所述作业用具的位置的信息和根据所述作业机械所具备的距离检测装置求得的到所述作业机的作业对象的距离的信息而得到的所述作业对象的位置的信息，以所述摄像装置为基准来生成在与所述作业用具对置的所述作业对象上与所述作业用具对应的部分的图像，与由所述摄像装置拍摄的所述作业对象的图像合成并使其显示在所述显示装置。
11.一种作业机械的远程操作系统，包括：
权利要求10所述的作业机械的图像显示系统；和
对所述作业机械所具备的所述作业机进行操作的操作装置。
12.一种作业机械，具备：
权利要求1～9中任一项所述的作业机械的图像显示系统。
CN201680011986.XA 2015-03-05 2016-02-16 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械 Active CN107250466B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-044050 2015-03-05
JP2015044050A JP6777375B2 (ja) 2015-03-05 2015-03-05 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
PCT/JP2016/054437 WO2016140055A1 (ja) 2015-03-05 2016-02-16 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械

Publications (2)

Publication Number Publication Date
CN107250466A true CN107250466A (zh) 2017-10-13
CN107250466B CN107250466B (zh) 2021-01-15

Family

ID=56844370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680011986.XA Active CN107250466B (zh) 2015-03-05 2016-02-16 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械

Country Status (8)

Country Link
US (2) US10829910B2 (zh)
JP (1) JP6777375B2 (zh)
KR (1) KR102013761B1 (zh)
CN (1) CN107250466B (zh)
AU (1) AU2016227095B2 (zh)
CA (1) CA2976890C (zh)
DE (1) DE112016001043T5 (zh)
WO (1) WO2016140055A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107740448A (zh) * 2017-11-30 2018-02-27 南京工业大学 一种无人自动化挖掘机智能施工系统
CN110027001A (zh) * 2018-01-04 2019-07-19 罗伯特·博世有限公司 用于运行移动的作业机器的方法以及移动的作业机器
CN111344460A (zh) * 2017-12-04 2020-06-26 住友重机械工业株式会社 周边监视装置、信息处理终端、信息处理装置及信息处理程序
CN111868335A (zh) * 2018-03-28 2020-10-30 神钢建机株式会社 远程操作系统以及主操作装置
CN112041509A (zh) * 2018-08-31 2020-12-04 株式会社小松制作所 铲斗高度通知装置以及铲斗高度通知方法
CN112840283A (zh) * 2018-11-07 2021-05-25 神钢建机株式会社 工程机械的远程操作装置
CN113423543A (zh) * 2019-02-20 2021-09-21 神钢建机株式会社 作业机械用显示系统
CN113677855A (zh) * 2019-03-29 2021-11-19 住友建机株式会社 挖土机及挖土机的控制装置
CN114071113A (zh) * 2020-08-07 2022-02-18 卡特彼勒公司 用于辅助作业机器的远程操作的系统和方法
CN115143930A (zh) * 2022-06-27 2022-10-04 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108884668B (zh) * 2016-03-30 2022-06-07 住友建机株式会社 挖土机
KR102333458B1 (ko) * 2016-03-31 2021-11-30 스미토모 겐키 가부시키가이샤 쇼벨 및 쇼벨의 표시장치
JP6468444B2 (ja) * 2016-04-28 2019-02-13 コベルコ建機株式会社 建設機械
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
JP6867132B2 (ja) * 2016-09-30 2021-04-28 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
CN109716058B (zh) * 2016-10-31 2021-05-14 株式会社小松制作所 测量系统、作业机械及测量方法
CN108633293B (zh) * 2017-02-09 2022-02-25 株式会社小松制作所 作业车辆以及显示装置
CN114482157A (zh) * 2017-03-07 2022-05-13 住友重机械工业株式会社 挖土机及施工机械的作业支援系统
KR102550948B1 (ko) * 2017-03-31 2023-07-03 스미토모 겐키 가부시키가이샤 쇼벨, 쇼벨의 표시장치 및 쇼벨에 있어서의 화상의 표시방법
CN110446816B (zh) * 2017-08-09 2023-01-20 住友建机株式会社 挖土机、挖土机的显示装置及挖土机的显示方法
US11365525B2 (en) * 2017-08-24 2022-06-21 Ihi Corporation Remote control device
JP6898816B2 (ja) * 2017-09-15 2021-07-07 株式会社小松製作所 表示システム、表示方法、及び表示装置
JP6927821B2 (ja) * 2017-09-15 2021-09-01 株式会社小松製作所 表示システム、及び表示装置
JP7155516B2 (ja) * 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
JP6854255B2 (ja) * 2018-03-15 2021-04-07 日立建機株式会社 建設機械
JP7087545B2 (ja) * 2018-03-28 2022-06-21 コベルコ建機株式会社 建設機械
JP7122863B2 (ja) * 2018-05-14 2022-08-22 株式会社Ｉｈｉエアロスペース 画像表示装置、画像表示方法および遠隔操縦システム
JP2019202877A (ja) * 2018-05-25 2019-11-28 株式会社豊田自動織機 産業車両用遠隔操作システム
US20210262204A1 (en) * 2018-06-01 2021-08-26 Motion Metrics International Corp. Method, apparatus and system for monitoring a condition associated with operating heavy equipment such as a mining shovel or excavator
US10801180B2 (en) * 2018-06-11 2020-10-13 Deere & Company Work machine self protection system
JP7372029B2 (ja) * 2018-06-29 2023-10-31 株式会社小松製作所 表示制御装置、表示制御システムおよび表示制御方法
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7285051B2 (ja) 2018-06-29 2023-06-01 株式会社小松製作所 表示制御装置、および表示制御方法
JP7023813B2 (ja) * 2018-08-27 2022-02-22 日立建機株式会社 作業機械
JP7065002B2 (ja) * 2018-09-19 2022-05-11 日立建機株式会社 作業機械
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
US10380440B1 (en) * 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
US11772556B2 (en) 2018-10-31 2023-10-03 Komatsu Ltd. Display control system and display control method
JP7296713B2 (ja) * 2018-10-31 2023-06-23 株式会社小松製作所 表示制御システム、表示制御方法および遠隔操作システム
CN109403400A (zh) * 2018-12-11 2019-03-01 南京天辰礼达电子科技有限公司 一种自动铲刀控制系统及控制方法
JP7150588B2 (ja) * 2018-12-21 2022-10-11 株式会社東芝 掘削深さ測定装置、掘削深さ測定方法、および掘削深さ測定プログラム
JP7315333B2 (ja) * 2019-01-31 2023-07-26 株式会社小松製作所 建設機械の制御システム、及び建設機械の制御方法
WO2020196674A1 (ja) * 2019-03-26 2020-10-01 日立建機株式会社 作業機械
JP7287045B2 (ja) * 2019-03-26 2023-06-06 コベルコ建機株式会社 遠隔操作システム
US11124942B2 (en) 2019-05-03 2021-09-21 Caterpillar Inc. System for controlling the position of a work implement
JP2020197044A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP7263127B2 (ja) * 2019-05-31 2023-04-24 株式会社小松製作所 マップ生成システム及びマップ生成方法
JP7344675B2 (ja) 2019-05-31 2023-09-14 株式会社小松製作所 表示システム、遠隔操作システムおよび表示方法
JP7351478B2 (ja) 2019-07-26 2023-09-27 株式会社小松製作所 表示システム、遠隔操作システム、及び表示方法
JP7396875B2 (ja) * 2019-11-27 2023-12-12 株式会社小松製作所 作業機械の制御システム、作業機械、および作業機械の制御方法
KR102415420B1 (ko) * 2019-11-29 2022-07-04 한국생산기술연구원 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법
WO2021124858A1 (ja) * 2019-12-19 2021-06-24 コベルコ建機株式会社 遠隔操作装置および遠隔操作システム
EP4097552A4 (en) * 2020-01-28 2023-11-22 Topcon Positioning Systems, Inc. SYSTEM AND METHOD FOR CONTROLLING A WORK DEVICE ON A WORK MACHINE USING MACHINE VISION
JP7263287B2 (ja) * 2020-03-26 2023-04-24 日立建機株式会社 作業機械
DE102020206372A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Steuerung eines Grabvorgangs mittels eines Löffelbaggers
EP3926107A1 (en) * 2020-06-17 2021-12-22 Volvo Construction Equipment AB A system, an off-board controller and method therein for remote operation of a working machine comprising a tool
JP7333551B2 (ja) * 2020-09-29 2023-08-25 株式会社小松製作所 作業機械の画像表示システム
EP4033035A1 (en) * 2021-01-20 2022-07-27 Volvo Construction Equipment AB A system and method therein for remote operation of a working machine comprising a tool
KR20220121612A (ko) * 2021-02-25 2022-09-01 현대두산인프라코어(주) 머신 가이던스 프로그램 및 이를 이용하는 굴삭기
JP2022144491A (ja) * 2021-03-19 2022-10-03 コベルコ建機株式会社 撮像機能制御システムおよび撮像機能制御方法
JP2022157459A (ja) 2021-03-31 2022-10-14 株式会社小松製作所 施工管理システム、データ処理装置、及び施工管理方法
WO2022234697A1 (ja) * 2021-05-06 2022-11-10 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
US20230060815A1 (en) * 2021-08-27 2023-03-02 Caterpillar Inc. Loading Machine with Visual Reference System
KR102605814B1 (ko) * 2021-10-04 2023-11-23 김응조 원격조종이 가능한 운전원 비탑승식 스키드로더
JP2023120743A (ja) 2022-02-18 2023-08-30 日立建機株式会社 表示制御装置、及び遠隔操作装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001220766A (ja) * 2000-02-09 2001-08-17 Shin Caterpillar Mitsubishi Ltd 伸縮アームを備えた作業機械
CN1651666A (zh) * 2005-03-28 2005-08-10 广西柳工机械股份有限公司 用于液压挖掘机工作装置的轨迹控制系统及方法
CN103328313A (zh) * 2011-01-24 2013-09-25 斗山英维高株式会社 重型建筑设备的运行信息记录装置
CN103857853A (zh) * 2012-10-05 2014-06-11 株式会社小松制作所 挖掘机械的显示系统及挖掘机械

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01165827A (ja) * 1987-12-21 1989-06-29 Mitsui Constr Co Ltd 圧気ケーソン用掘削機
JP2844040B2 (ja) * 1993-05-07 1999-01-06 東急建設株式会社 ３次元表示装置
AUPN385195A0 (en) * 1995-06-29 1995-07-20 Hall, David John A system for monitoring a movement of a vehicle tool
US6047227A (en) * 1996-11-19 2000-04-04 Caterpillar Inc. Method and apparatus for operating geography altering machinery relative to a work site
JPH11213154A (ja) * 1998-01-27 1999-08-06 Komatsu Ltd 遠隔操縦支援装置
JP2001098585A (ja) * 1999-10-01 2001-04-10 Komatsu Ltd 建設機械の掘削作業ガイダンス装置および掘削制御装置
ATE448365T1 (de) * 2000-05-05 2009-11-15 Leica Geosystems Gr Llc Lasergesteuerte baumaschine
JP2004294067A (ja) 2003-03-25 2004-10-21 Penta Ocean Constr Co Ltd 無人化施工装置
GB0410415D0 (en) * 2004-05-11 2004-06-16 Bamford Excavators Ltd Operator display system
US20060034535A1 (en) * 2004-08-10 2006-02-16 Koch Roger D Method and apparatus for enhancing visibility to a machine operator
JP4984384B2 (ja) 2004-10-06 2012-07-25 日本ゼオン株式会社 電極の製造方法
JP2008121280A (ja) * 2006-11-13 2008-05-29 Shin Caterpillar Mitsubishi Ltd 掘削状況表示装置付き掘削機械
EP2631374B1 (en) * 2010-10-22 2020-09-30 Hitachi Construction Machinery Co., Ltd. Work machine peripheral monitoring device
JP5941663B2 (ja) * 2011-11-30 2016-06-29 住友建機株式会社 建設機械用モニタシステム
US8914199B2 (en) * 2012-10-05 2014-12-16 Komatsu Ltd. Excavating machine display system and excavating machine
US8965642B2 (en) * 2012-10-05 2015-02-24 Komatsu Ltd. Display system of excavating machine and excavating machine
US9411325B2 (en) 2012-10-19 2016-08-09 Komatsu Ltd. Excavation control system for hydraulic excavator
JP6147037B2 (ja) * 2013-03-14 2017-06-14 株式会社トプコン 建設機械制御システム
US10094654B2 (en) * 2014-08-25 2018-10-09 Trimble Navigation Limited All-in-one integrated sensing device for machine control
US9428885B2 (en) * 2014-09-15 2016-08-30 Trimble Navigation Limited Guidance system for earthmoving machinery
EP3020875A1 (en) * 2014-11-14 2016-05-18 Caterpillar Inc. System for improving safety in use of a machine of a kind comprising a body and an implement movable relative to the body

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001220766A (ja) * 2000-02-09 2001-08-17 Shin Caterpillar Mitsubishi Ltd 伸縮アームを備えた作業機械
CN1651666A (zh) * 2005-03-28 2005-08-10 广西柳工机械股份有限公司 用于液压挖掘机工作装置的轨迹控制系统及方法
CN103328313A (zh) * 2011-01-24 2013-09-25 斗山英维高株式会社 重型建筑设备的运行信息记录装置
CN103857853A (zh) * 2012-10-05 2014-06-11 株式会社小松制作所 挖掘机械的显示系统及挖掘机械

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107740448A (zh) * 2017-11-30 2018-02-27 南京工业大学 一种无人自动化挖掘机智能施工系统
CN111344460B (zh) * 2017-12-04 2022-04-26 住友重机械工业株式会社 周边监视装置
CN111344460A (zh) * 2017-12-04 2020-06-26 住友重机械工业株式会社 周边监视装置、信息处理终端、信息处理装置及信息处理程序
CN110027001A (zh) * 2018-01-04 2019-07-19 罗伯特·博世有限公司 用于运行移动的作业机器的方法以及移动的作业机器
CN111868335A (zh) * 2018-03-28 2020-10-30 神钢建机株式会社 远程操作系统以及主操作装置
CN111868335B (zh) * 2018-03-28 2022-07-12 神钢建机株式会社 远程操作系统以及主操作装置
CN112041509A (zh) * 2018-08-31 2020-12-04 株式会社小松制作所 铲斗高度通知装置以及铲斗高度通知方法
US11746505B2 (en) 2018-08-31 2023-09-05 Komatsu Ltd. Bucket height notification device and bucket height notification method
CN112840283A (zh) * 2018-11-07 2021-05-25 神钢建机株式会社 工程机械的远程操作装置
CN113423543A (zh) * 2019-02-20 2021-09-21 神钢建机株式会社 作业机械用显示系统
CN113423543B (zh) * 2019-02-20 2023-10-27 神钢建机株式会社 作业机械用显示系统
CN113677855A (zh) * 2019-03-29 2021-11-19 住友建机株式会社 挖土机及挖土机的控制装置
CN114071113A (zh) * 2020-08-07 2022-02-18 卡特彼勒公司 用于辅助作业机器的远程操作的系统和方法
CN115143930A (zh) * 2022-06-27 2022-10-04 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机
CN115143930B (zh) * 2022-06-27 2024-05-24 徐州徐工挖掘机械有限公司 一种单目摄像头测距方法、系统及挖掘机

Also Published As

Publication number Publication date
WO2016140055A1 (ja) 2016-09-09
DE112016001043T5 (de) 2017-11-23
KR20170107076A (ko) 2017-09-22
US20180051446A1 (en) 2018-02-22
US10829910B2 (en) 2020-11-10
KR102013761B1 (ko) 2019-08-23
AU2016227095A1 (en) 2017-09-07
CA2976890C (en) 2019-10-08
JP6777375B2 (ja) 2020-10-28
CA2976890A1 (en) 2016-09-09
JP2016160741A (ja) 2016-09-05
AU2016227095B2 (en) 2019-03-07
US11384515B2 (en) 2022-07-12
CN107250466B (zh) 2021-01-15
US20200399869A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
CN107250466A (zh) 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械
CN105339561B (zh) 作业机械的姿势运算装置、作业机械及作业机械的姿势运算方法
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
US10508416B2 (en) Shape measuring system and shape measuring method
CN109661494B (zh) 作业机械的检测处理装置及作业机械的检测处理方法
JP6585697B2 (ja) 施工管理システム
JP7462710B2 (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
AU2021201940A1 (en) Construction method, work machine control system, and work machine
JP6606230B2 (ja) 形状計測システム
US11966990B2 (en) Construction management system
JP6815462B2 (ja) 形状計測システム及び形状計測方法
JP7166326B2 (ja) 施工管理システム
US11908076B2 (en) Display system and display method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant