CN111868340A - 工程机械 - Google Patents

工程机械 Download PDF

Info

Publication number
CN111868340A
CN111868340A CN201980020549.8A CN201980020549A CN111868340A CN 111868340 A CN111868340 A CN 111868340A CN 201980020549 A CN201980020549 A CN 201980020549A CN 111868340 A CN111868340 A CN 111868340A
Authority
CN
China
Prior art keywords
attachment
information
image
peripheral
work area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980020549.8A
Other languages
English (en)
Inventor
伊藤卓
佐伯诚司
山崎洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Publication of CN111868340A publication Critical patent/CN111868340A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Abstract

工程机械具备显示控制部，该显示控制部进行使附属装置相关信息显示于显示装置的控制，该附属装置相关信息基于附属装置位置信息生成部生成的附属装置位置信息和所述工程机械的周围作业区域的三维形状信息而生成，所述附属装置相关信息是与将周围像(30)和投影像(40)重叠的图像相对应的信息，其中，周围像(30)是与所述周围作业区域的三维形状相对应的像，投影像(40)是将对应远端附属设备(6)的像沿任意被设定的投影方向或基于规定的条件被设定的投影方向投影于所述周围像(30)的像。

Description

工程机械
技术领域
本发明涉及一种工程机械。
背景技术
已知将工程机械所处的平面(基准位置)和附属装置远端之间的距离信息用数字与附属装置一起显示于搭载在工程机械的驾驶室内的显示装置的技术(例如，参照专利文献1)。
此外，已知在设置于工程机械的驾驶室内的前侧的透明显示装置上将操作人员进行作业所需的信息与附属装置一起显示的技术(例如，参照专利文献2)。具体而言，该专利文献2公开了在所述显示装置，在远端附属设备的旁边将所述所需的信息作为通过文字的显示或包含颜色的显示而重叠显示的技术。
但是，在所述专利文献1公开的技术中，由于距离信息只以数字显示，因此，操作人员难以直感地掌握作业状况，而且，具有难以应对有凹凸或斜面的周围作业区域(工地)的作业的问题点。
此外，所述专利文献2公开的技术只是作业所需的信息在远端附属设备的旁边作为通过文字的显示或包含颜色的显示而重叠被显示而已，所以用于对操作人员进行作业指导的指导功能不充分。
现有技术文献
专利文献
专利文献1：日本专利公报第5941663号
专利文献2：日本专利公开公报特开2017-71942号
发明内容
本发明的目的在于提供一种具有使操作人员容易将附属装置接近周围作业区域(作为对象的作业工地)的目标位置的指导功能的工程机械。
所提供的是一种工程机械，具备包含远端附属设备的附属装置，其包括：附属装置状态检测装置，用于检测所述附属装置的状态；附属装置位置信息生成部，基于所述附属装置状态检测装置检测出的所述附属装置的状态，生成作为有关附属装置的位置的信息的附属装置位置信息；显示装置；以及显示控制部，控制所述显示装置显示附属装置相关信息，该附属装置相关信息基于所述附属装置位置信息生成部生成的附属装置位置信息和作为有关所述工程机械的周围作业区域的三维形状的信息的三维形状信息而生成。所述附属装置相关信息是将周围像和投影像重叠的图像所对应的信息，其中，所述周围像是与所述周围作业区域的所述三维形状相对应的像，所述投影像是将对应所述远端附属设备的像沿任意被设定的投影方向或基于规定的条件被设定的投影方向投影于所述周围像的像。
附图说明
图1是表示作为本发明的实施方式1所涉及的工程机械的液压挖掘机的概略结构的侧视图。
图2是用于说明将图1所示的液压挖掘机的附属装置投影的方向的说明图。
图3是表示图1所示的液压挖掘机的主要功能的框图。
图4是表示使远端附属设备(铲斗)的投影像与周围像重叠显示的控制处理的流程的流程图。
图5是表示在所述液压挖掘机的显示装置的画面，将作为远端附属设备的铲斗的投影像用颜色的浓淡表现的例子的图。
图6是表示在作为本发明的实施方式2所涉及的工程机械的液压剪重型机械中的显示装置的画面，将作为远端附属设备的液压剪的投影像用颜色的浓淡表现的例子的图。
图7是放大图6的A部的说明图。
图8是表示图6所示的液压剪重型机械的主要功能的框图。
图9是表示使远端附属设备(液压剪)的投影像与周围像重叠显示的控制处理的流程的流程图。
图10是表示作为本发明的实施方式3所涉及的工程机械的液压挖掘机的概略结构的侧视图。
图11是表示图10所示的液压挖掘机的主要功能的框图。
图12是表示作为本发明的实施方式4所涉及的工程机械的液压挖掘机的概略结构的侧视图。
图13是表示作为本发明的实施方式5所涉及的工程机械的液压挖掘机的主要功能的框图。
图14是表示作为本发明的实施方式6所涉及的工程机械的液压挖掘机的主要功能的框图。
具体实施方式
下面，参照附图说明本发明的实施方式。另外，在用于说明本发明的实施方式的所有图中，对具有相同功能的部分附上相同或相关联的符号，并省略重复说明。此外，在以下的实施方式中，除了特别需要时以外，原则上不重复说明相同或同样的部分。
(实施方式1)
图1是表示作为本发明的实施方式1所涉及的工程机械的液压挖掘机的概略结构的侧视图。图2是用于说明将图1所示的液压挖掘机的附属装置15投影的方向的说明图。图3是表示图1所示的液压挖掘机的主要功能的框图。图4是表示使图1所示的附属装置15中的作为远端附属设备的铲斗6的投影像与周围像重叠显示的控制处理的流程的流程图。图5是表示在所述液压挖掘机的显示装置的画面，将作为远端附属设备的铲斗的投影像用颜色的浓淡来表现的例子的图。
如图1所示，液压挖掘机具备：下部行走体1；能够回转地搭载于该下部行走体1的上部回转体3；以及安装于该上部回转体3的附属装置15。所述上部回转体3通过回转机构2搭载于所述下部行走体1。所述附属装置15包含动臂4、斗杆5及铲斗6(远端附属设备的一例)。所述动臂4安装在所述上部回转体3，所述斗杆5安装在动臂4的远端，所述铲斗6安装在斗杆5的远端。动臂4、斗杆5及铲斗6通过动臂缸7、斗杆缸8及铲斗缸9而分别被液压驱动。此外，在上部回转体3设有驾驶室10，且搭载有发动机等动力源。
所述液压挖掘机还具备检测附属装置15的状态的附属装置状态检测装置12(图4所示的步骤S1)。该附属装置状态检测装置12例如搭载于附属装置15、上部回转体3等。
所述附属装置状态检测装置12例如是用于获取有关液压挖掘机的附属装置15的状态的信息的传感器。在本实施方式中，附属装置状态检测装置12包含：检测动臂4相对于上部回转体3的倾斜的动臂角度传感器12a；检测斗杆5相对于动臂4的倾斜的斗杆角度传感器12b；以及检测铲斗6相对于斗杆5的倾斜的铲斗角度传感器12c。另外，在本实施方式中，附属装置状态检测装置12包含所述的角度传感器，但是并不一定限定于此种构成。所述附属装置状态检测装置12例如可以用下述的6种构成中的至少其中之一来代用。下述6种构成可以组合的设备的数量越多则检测有关附属装置15的状态的信息的精度就越提高。
1.能够与到对象物(附属装置)为止的距离一起获得三维图像的深度传感器
2.所述深度传感器和设置在铲斗6的远端的陀螺传感器的组合
3.所述深度传感器、所述陀螺传感器以及配置在铲斗6的远端的AR标记(AR：Augmented Reality)的组合(所述AR标记：在AR系统中，作为用于指定显示附加信息的位置的标识的规定的图案的图像)
4.立体摄像机
5.所述立体摄像机和所述陀螺传感器的组合
6.所述立体摄像机、所述陀螺传感器以及所述AR标记的组合
此外，如图1及图3所示，所述液压挖掘机还具备控制装置20、显示装置13及周围形状检测装置14。所述控制装置20和显示装置13例如被设置在驾驶室10的内部。此外，所述周围形状检测装置14例如被设置在驾驶室10的顶部。
所述周围形状检测装置14是能够检测液压挖掘机的前方的周围作业区域的三维形状的装置(例如，图4所示的步骤S3)。该周围作业区域是位于工程机械的周围的作业对象(作业工地)。所述三维形状在以下说明中还称为“周围形状”。
作为所述显示装置13，例如可以举出透明平视显示器(transparenthead-updisplay，以下还称为“透明HUD”)。该透明HUD例如被设置在配置于驾驶室10的前面的挡风玻璃11的内侧(还称为“驾驶室10内的前侧”)。作为显示装置13的一例的透明HUD并不一定需要独立于挡风玻璃11，也可以与所述挡风玻璃11成一体。此外，所述显示装置13也可以是所述透明HUD以外的其他的显示器。
此外，作为周围形状检测装置14，例如可举出能够获取按每个像素具有距离信息的距离图像的距离图像传感器(距离图像摄像机)。作为该距离图像传感器，例如可举出由近红外LED的高速光源和CMOS图像传感器构成的能够检测周围作业区域的三维形状的TOF方式三维距离图像传感器(例如，奥泰斯公司制造)(TOF：Time of Flight)。所述周围形状检测装置14也可以是所述距离图像传感器以外的装置。
图3所示的主要功能块由附属装置状态检测装置12、显示装置13、周围形状检测装置14、投影方向指示输入装置19以及控制装置20构成。
所述投影方向指示输入装置19具有受理操作人员进行的输入的输入功能。具体而言，例如，投影方向指示输入装置19具有触摸屏。该触摸屏的显示画面例如图2所示，将液压挖掘机的侧面和表示将液压挖掘机的附属装置15投影的方向(以下，称为“投影方向”)的多个箭头，具体而言例如8个箭头重叠显示。因此，操作人员通过选择指定(点击或触摸)显示在该显示画面上的所述多个箭头中的任一个箭头，能够输入所希望的投影方向。所述控制装置20如图4所示的步骤S5a所示，基于由操作人员输入的有关所述投影方向的输入信息生成投影方向信息。
另外，在本实施方式中，投影方向指示输入装置19作为另外的装置而独立于所述显示装置13，但并不一定限定于此。例如，在显示装置13的显示画面由触摸屏构成的情况下，该显示装置13可以具备投影方向指示输入装置19所具有的输入功能，此时，所述投影方向指示输入装置19可以省略。此外，在本实施方式中，由操作人员手动选择输入投影方向，所述控制装置20基于被输入的有关所述投影方向的输入信息生成投影方向信息，但并不一定限定于此。例如，如后述的实施方式2，也可以省略操作人员的输入而所述控制装置20自动生成投影方向信息。
控制装置20例如是具备CPU、RAM、ROM等的计算机。具体而言，控制装置20具备附属装置位置信息生成部200、显示控制部201及周围形状信息生成部202的功能。
所述附属装置位置信息生成部200如图4所示的步骤S2所示，基于由所述附属装置状态检测装置12检测出的附属装置15的状态，生成有关附属装置15的位置的信息(附属装置位置信息)。
具体而言，在所述附属装置状态检测装置12包含动臂角度传感器12a、斗杆角度传感器12b及铲斗角度传感器12c的情况下，所述附属装置位置信息生成部200基于这些传感器12a、12b、12e检测出的信号，能够运算所述附属装置15的姿势，因此，所述附属装置位置信息生成部200能够运算远端附属设备(铲斗6)的位置。
所述周围形状信息生成部202如图4所示的步骤S4所示，基于所述周围形状检测装置14检测出的周围作业区域的三维形状(周围形状)生成周围作业区域的三维形状信息(周围形状信息)。具体而言，所述周围形状信息生成部202能够运算设置在上部回转体3的周围形状检测装置14和存在于周围区域的多个物体的相对位置(坐标)。作为所述多个物体，可以举出例如地基、大楼、其他车辆、作业人员等。通过所述液压挖掘机具备所述周围形状检测装置14和所述周围形状信息生成部202，可提供即使所述控制装置20不将所述周围形状信息作为数据而预先存储，也能获取所述周围形状信息的系统。
所述显示控制部201基于由附属装置位置信息生成部200生成的所述附属装置位置信息和由周围形状检测装置14检测出的所述周围形状信息生成附属装置相关信息，并进行使该附属装置相关信息显示于显示装置13的控制(图4所示的步骤S9)。
与附属装置位置信息生成部200、显示控制部201及周围形状信息生成部202的各功能要素相对应的程序从ROM被读取并加载到RAM，由CPU执行与各功能要素相对应的处理。
所述附属装置相关信息是与将周围像和投影像重叠的图像相对应的信息，其中，周围像是与所述周围作业区域的所述三维形状相对应的像，投影像是将对应所述远端附属设备的像沿后述的投影方向投影于所述周围像的像。
所述显示控制部201基于由所述附属装置位置信息生成部200运算出的所述远端附属设备的位置(坐标)和由所述周围形状信息生成部202运算出的、周围形状检测装置14和存在于周围区域的多个物体的相对位置(坐标)，能够运算出所述远端附属设备的位置和存在于周围区域的多个物体的相对位置(坐标)。此外，所述显示控制部201能够基于所述三维形状信息生成所述周围像，能够基于所述附属装置位置信息和所述三维形状信息生成所述投影像。因此，所述显示控制部201能够基于所述附属装置位置信息和所述三维形状信息生成所述附属装置相关信息。另外，所述显示控制部201基于作为有关所述远端附属设备的形状的信息的形状信息，生成对应所述远端附属设备的像。所述远端附属设备的所述形状信息预先存储于控制装置20的存储部中。
因此，在本实施方式中，所述附属装置相关信息基于远端附属设备的形状信息、所述附属装置位置信息以及所述三维形状信息而被运算出。
所述投影方向是任意被设定的方向(任意方向)或基于规定的条件被设定的方向。所述任意方向是由操作人员从三维空间的各种方向中任意设定的方向。具体而言，该任意方向例如是由操作人员从图2所示的多个箭头(具体而言，例如8个箭头)所示的多个方向中任意选择并设定的方向。所述的基于规定的条件被设定的方向例如是所述控制装置20基于所述规定的条件设定的方向。所述规定的条件例如可以是预先被设定并存储于所述控制装置20的条件，也可以是基于在液压挖掘机的作业前以及作业过程中由操作人员以及从各种传感器等输入到控制装置20的信息被设定并存储于所述控制装置20的条件。
如上所述，通过采用与将所述投影像重叠于所述周围像的图像相对应的所述附属装置相关信息被显示于所述显示装置13的构成，在周围作业区域，具体而言，在作为作业对象的作业工地且有起伏的土地上，操作人员容易直感地掌握远端附属设备向目标位置的(例如，铲斗6)的接近。这样，本实施方式所涉及的液压挖掘机具有使操作人员容易进行作业的指导功能。
如上所述，所述附属装置相关信息是与所述远端附属设备(铲斗6)的投影像重叠于周围像的图像相对应的信息，所述周围像与所述周围作业区域的三维形状相对应。该投影像包含由控制装置20的显示控制部201运算出(生成)的距离信息。如上所述，所述显示控制部201能够运算所述远端附属设备的位置和存在于周围区域的多个物体的相对位置(坐标)。因此，所述显示控制部201能够基于运算出的所述相对位置生成所述距离信息。该距离信息是有关所述铲斗6和存在于所述周围作业区域的物体中与所述周围像和投影像重叠的部分相对应的部位之间的距离的信息(图4所示的步骤S6)。
所述投影像是在显示控制部201运算出(生成)的像，是根据所述距离信息，用颜色的浓淡来表现出的投影像(图4的步骤S7)。
利用图5更详细地说明所述的用颜色的浓淡来表现出的投影像。图5所示的所述显示装置13的画面中显示的图像包含与作为周围作业区域的作业工地(例如，有起伏的土地)的三维形状相对应的像、亦即周围像30、所述的用颜色的浓淡(例如黑白的浓淡)来表现出的投影像40以及铲斗6的图像。在图5中，用箭头所示的投影方向例如被设定为铲斗6接近作为作业工地(有起伏的土地)的目标位置的一例的地面的方向。
所述投影像40根据有关铲斗6和作业工地的地面中与所述周围像30和投影像40重叠的部分相对应的部位之间的距离的距离信息，例如用黑白的浓淡来表现。例如，所述投影像40被表现为：所述地面与所述铲斗6之间的距离越小，即两者越接近，则颜色变得越浓。
所述显示控制部201基于所述投影方向、所述远端附属设备的形状信息、所述附属装置位置信息以及所述三维形状信息，运算用于将投影像40与周围像30重叠显示的位置(图4所示的步骤S8)。然后，所述显示控制部201如图5所示在显示装置13，在所述周围像30重叠显示所述投影像40(图4所示的步骤S9)。
通过采用所述的本实施方式所涉及的构成，在周围作业区域，具体而言，例如在作为对象的作业工地、亦即有起伏的土地，操作人员更容易直感地掌握远端附属设备(在本实施方式中为铲斗6)向目标位置的接近。由此，本实施方式所涉及的液压挖掘机具备使操作人员更容易进行作业的指导功能。此外，在作业工地，在工程机械(在本实施方式中为液压挖掘机)的斜上方且前方的方向或上方有时存在构造物或电线(物体的一例)。在此种情况下，所述构造物或电线与液压挖掘机的附属装置15之间的距离信息也可以显示在显示装置13。此时，操作人员能够容易认识到所述远端附属设备与所述物体之间的距离，容易避免工程机械(液压挖掘机)与所述构造物或电线的接触。据此，操作人员的目视负担也减小。
在本实施方式中，投影像40根据所述距离信息而用黑白的浓淡来表现，并以两者越接近则颜色越浓的方式表现，但并不一定限定于此。例如，所述投影像40也可以用黑白以外的其他颜色的浓淡来表现，并以两者越接近则颜色越浓的方式表现。此外，该投影像40也可以用根据两者接近的程度被设定的多个种类的颜色来表现。除此之外，所述投影像40也可以通过能够识别两者接近的程度的标识来表现。
此外，在本实施方式中，作为显示装置13采用了设置在驾驶室10内的前侧的透明HUD，因此，操作人员在有效利用所述指导功能时，无需从作为对象的作业工地移动视线(视点)。这可以抑制作业效率降低。此外，在本实施方式中，作为周围形状检测装置14采用了能够检测周围作业区域的三维形状的TOF方式三维距离图像传感器，因此，周围形状检测装置14能够同时检测周围作业区域的三维形状和附属装置的位置。因此，在本实施方式中，所述附属装置位置信息生成部200也可以基于由所述周围形状检测装置14检测出的有关所述附属装置的位置的信息生成所述附属装置位置信息。在此种情况下，所述周围形状检测装置14兼备作为附属装置状态检测装置的功能。即，由周围形状检测装置14构成的附属装置状态检测装置兼备检测所述附属装置的状态的功能和检测所述周围作业区域的所述三维形状的功能。此时，可以省略图1所示的所述附属装置状态检测装置12。
(实施方式2)
图6是表示在作为本发明的实施方式2所涉及的工程机械的大楼拆毁用液压剪重型机械的显示装置的画面，将作为远端附属设备的液压剪的投影像用颜色的浓淡来表现的例子的图。图7是放大图6的A部的说明图。图8是表示图6所示的液压剪重型机械的主要功能的框图。图9是表示使远端附属设备(液压剪)的投影像重叠显示于周围像的控制处理的流程的流程图。
如图6所示，所述液压剪重型机械具备下部行走体1、上部回转体3以及安装在该上部回转体3的附属装置50。该附属装置50包含动臂51、第一斗杆52、第二斗杆53以及液压剪54(远端附属设备的一例)。
所述液压剪重型机械还具备检测附属装置50的状态的附属装置状态检测装置55。该附属装置状态检测装置55例如搭载于附属装置50。该液压剪重型机械中的附属装置状态检测装置55具有与图1～图3所示的附属装置状态检测装置12相同的功能。
所述附属装置状态检测装置55例如是用于获取有关大楼拆毁用液压剪重型机械的附属装置50的状态的信息的传感器。在本实施方式中，附属装置状态检测装置55包含：检测动臂51相对于上部回转体3的倾斜的动臂角度传感器55a；检测第一斗杆52相对于动臂51的倾斜的第一斗杆角度传感器55b；检测第二斗杆53相对于第一斗杆52的倾斜的第二斗杆角度传感器55c；以及检测液压剪54相对于第二斗杆53的倾斜的液压剪角度传感器55d。
显示于所述显示装置13的画面的图像是图6中用虚线L包围的区域的图像，包含作为与该区域的三维形状相对应的像的周围像60、投影像70以及液压剪54的图像。所述周围像60是与周围作业区域的三维形状相对应的像，在本实施方式中包含与被建设在作为作业对象的作业工地的大楼(物体的一例)相对应的图像。在图6中，大楼拆毁用液压剪重型机械被配置在地面90上，所述大楼被建在所述地面90上。
如图8所示，所述液压剪重型机械的控制装置20具有投影方向信息生成部203。该投影方向信息生成部203基于所述三维形状信息和所述附属装置位置信息自动生成投影方向信息(图9所示的步骤5b)。所述三维形状信息是周围形状信息生成部202生成的信息，是有关所述周围作业区域的三维形状的信息，是包含与大楼相对应的三维形状的信息。所述附属装置位置信息是附属装置位置信息生成部200生成的信息，包含有关所述附属装置50中的至少远端附属设备(例如，液压剪54)的位置的位置信息。以下说明所述投影方向信息生成部203的更详细的功能。
所述控制装置20能够基于所述三维形状信息(周围形状信息)和所述附属装置位置信息判断在远端附属设备(液压剪54)附近是否存在物体。在图6所示的具体例中，所述控制装置20判断在液压剪54附近存在大楼的壁面60b，如图7所示液压剪54与大楼的壁面60b的最短距离为X。
投影方向信息生成部203存储有预先被设定的远端附属设备的基准点54a。在本实施方式中，所述基准点54a例如被设定在液压剪54的中心，但并不限定于此，也可以设置在从所述中心偏离的位置。
所述投影方向信息生成部203存储有预先被设定的多个方向。该多个方向的每个方向是以大楼拆毁用液压剪重型机械中的预先被设定的特定部位为基准的方向。该特定部位例如被设定在液压剪重型机械的主体中的任一部位。作为该液压剪重型机械的主体例如可以举出上部回转体3或下部行走体1。在本实施方式中，该多个方向例如包含图6所示的黑色的4个箭头所示的前方、后方、上方及下方。所述投影方向信息生成部203基于所述附属装置位置信息和所述三维形状信息判断所述大楼的壁面60b和所述基准点54a相对于所述特定部位位于所述多个方向(前方、后方、上方及下方)中的哪个方向，并将该判断结果的方向作为投影方向信息而自动生成。在图6及图7所示的本实施方式的情况下，所述投影方向信息是在图6中用白色箭头所示的前方。此外，在采用本实施方式所涉及的构成的情况下，不仅在所述投影方向信息为如上所述的前方的情况，而且基于所述周围形状信息和所述附属装置位置信息，投影方向信息生成部203能够自动生成适当的投影方向信息(任意方向的投影方向信息)。
本实施方式中的附属装置相关信息基于远端附属设备54的形状信息、所述附属装置位置信息以及所述三维形状信息而被运算出。该附属装置相关信息是与将周围像60和投影像70重叠的图像相对应的信息，周围像60是与所述周围作业区域的三维形状相对应的像，投影像70是将对应液压剪54的像沿所述投影方向投影于所述周围像60的像。所述周围像60包含与存在于所述周围作业区域的大楼相对应的图像。在本实施方式中，所述投影方向不只是所述前方的情况，而且，投影方向信息生成部203能够基于所述周围形状信息和所述附属装置位置信息自动生成适当的投影方向信息。
所述附属装置相关信息是与所述远端附属设备(液压剪54)的投影像70重叠于对应所述周围作业区域的三维形状的周围像60的图像相对应的信息。该投影像70包含由控制装置20的显示控制部201运算(生成)的距离信息。该距离信息是有关所述液压剪54与存在于所述周围作业区域的物体中与所述周围像60和所述投影像70重叠的部分相对应的部位之间的距离的信息。
所述投影像70是在显示控制部201运算出(生成)的像，是根据所述距离信息，用颜色的浓淡来表现的投影像。
利用图6更详细地说明所述的用颜色的浓淡表现出的投影像70。显示于图6所示的显示装置13的画面的图像中包含的投影像70是所述的用颜色的浓淡来表现的投影像，例如是用黑自的浓淡来表现的投影像。在图6中，投影方向(用白色箭头所示的投影方向)例如可以被设定为液压剪54接近作为存在于作业工地的大楼的目标位置的壁面6b的一部分的方向。
所述投影像70根据有关液压剪54与存在于作业工地的大楼中与所述周围像60和所述投影像70重叠的部分相对应的部位之间的距离的距离信息，例如用黑白的浓淡来表现。例如，所述投影像70以所述大楼与所述液压剪54的距离越小，即两者越接近，则颜色越浓的方式被表现。
所述显示控制部201基于所述投影方向、所述附属装置的形状信息、所述附属装置位置信息以及所述三维形状信息，运算用于将投影像70重叠显示于所述周围像60的位置。并且，所述显示控制部201如图6所示在显示装置13将投影像70重叠显示于所述周围像60。
通过采用所述的本实施方式所涉及的构成，在周围作业区域，具体而言，例如在存在于作为对象的作业工地的大楼，操作人员更容易直感地掌握远端附属设备(在本实施方式中为液压剪54)向目标位置(壁面的一部分)的接近。由此，本实施方式所涉及的液压剪重型机械具有使操作人员更容易进行作业的指导功能。另外，在本实施方式中，远端附属设备为液压剪54，但是在本发明中，远端附属设备也可以是所述液压剪54以外的各种各样的远端附属设备。
在本实施方式中，基于所述周围形状信息和所述附属装置位置信息，投影方向信息生成部203自动生成有关所述投影方向的的投影方向信息，但并不限定于此。例如，投影方向信息生成部203也可以自动生成将附属装置50中的特定部位的移动方向，具体而言，例如远端附属设备的远端的移动方向设定为投影方向的投影方向信息。具体而言，附属装置位置信息生成部200可以生成特定时刻(例如当前)的附属装置位置信息和所述特定时刻的规定时间前的附属装置位置信息，并基于这些附属装置位置信息，运算远端附属设备(液压剪54)的远端的移动方向，并生成将该移动方向设为所述投影方向的投影方向信息。此外，在远端附属设备(液压剪54)的远端的动作停止的情况下，所述投影方向信息生成部203也可以将在特定时刻(例如当前)的规定时间前运算出的投影方向信息作为投影方向信息而生成。此外，附属装置50的特定部位并不限定于液压剪54的远端，例如，也可以被设定为如图1所示的铲斗6的脚尖或斗杆5的远端(例如，用符号12c示出的位置)，所述投影方向信息生成部203运算被设定的特定部位的移动方向，并生成将该移动方向设为所述投影方向的投影方向信息。
(实施方式3)
图10是表示作为本发明的实施方式3所涉及的工程机械的液压挖掘机的概略结构的侧视图，图11是表示图10所示的液压挖掘机的主要功能的框图。在该实施方式3中，省略了所述实施方式1中设置在图1所示的驾驶室10的顶部的周围形状检测装置14。在该实施方式3中，代替周围形状检测装置14而由图10及图11所示的以下的三个构成要素来实现所述周围形状检测装置14发挥的功能。第一个构成要素是存储预先利用无人驾驶飞机等拍摄装置来进行拍摄而准备的周围作业区域的三维形状信息(施工工地的三维形状数据)的存储装置17。第二个构成要素是能够接收有关例如GPS、GSNN等卫星定位系统的数据的接收机18，该接收机18通过接收有关所述卫星定位系统的数据而能够获取自车位置信息。第三个构成要素是上部回转体状态检测装置16。该上部回转体状态检测装置16例如被设置在所述回转机构2。该上部回转体状态检测装置16例如由用于检测上部回转体3所朝向的方向的方位传感器构成。所述周围形状信息生成部202基于存储在所述存储装置17的所述三维形状数据、由所述接收机18获取的所述自车位置信息、以及由所述上部回转体状态检测装置16检测出的有关所述上部回转体3的朝向的信息，生成周围作业区域的三维形状信息(周围形状信息)。
在本实施方式中，说明了利用所述存储装置17、所述接收机18以及上部回转体状态检测装置16来实现图1所示的周围形状检测装置14发挥的功能的例子，但是并不一定限定于这些。例如，也可以所述三个构成要素中的所述第二个构成要素和所述第三个构成要素被其他的构成要素代替。作为此种其他的构成要素，例如可以举出能够接收有关卫星定位系统的数据的接收机。此时，图1所示的周围形状检测装置14的功能通过存储预先利用无人驾驶飞机等拍摄装置来进行拍摄而准备的周围作业区域的三维形状信息(施工工地的三维形状数据)的存储装置17、通过接收有关所述卫星定位系统的数据从而能够获取自车位置信息的接收机18、通过接收有关所述卫星定位系统的数据从而能够获取有关上部回转体3的朝向的信息的接收机来实现。即，能够接收有关所述卫星定位系统的数据的多个接收机能够实现所述第二个构成要素和所述第三个构成要素各自具有的功能。
(实施方式4)
图12是表示作为本发明的实施方式4所涉及的工程机械的液压挖掘机的概略结构的侧视图。该实施方式4中的显示装置不同于所述实施方式1中设置在图1所示的驾驶室10内的前侧的显示装置13。该实施方式4中的显示装置110由图12所示的驾驶室10内的操作人员100戴上的眼镜型的透明头戴式显示器(眼镜型的透明HMD)构成。
在该实施方式4中，与所述的其他实施方式同样，在周围作业区域(具体而言，作为作业对象的作业工地)的有起伏的土地，操作人员更容易直感地掌握远端附属设备(铲斗6)向目标位置的接近。如此，本实施方式所涉及的液压挖掘机具有使操作人员容易进行作业的指导功能。而且，该实施方式4所涉及的液压挖掘机还具有无需如实施方式1的显示装置13那样在驾驶室10内的前侧设置大型的透明HUD的优点。
另外，作为在实施方式1～3说明的显示装置13的透明HUD以及作为在实施方式4说明的显示装置110的眼镜型的透明HMD均是以在驾驶室10内被使用为前提的显示装置，但是本发明所涉及的显示装置并不一定要存在于驾驶室10内，也可以被配置在驾驶室10外。例如，显示装置也可以由用于操作人员在驾驶室10外使用远程操作装置对液压挖掘机(工程机械)进行远程操作的远程操作辅助用监视器构成。该远程操作辅助用监视器的详细内容在后述的实施方式5和实施方式6说明。在此情况下，在周围作业区域(具体而言，作为作业对象的作业工地)的有起伏的土地或大楼等，操作人员更容易直感地掌握远端附属设备向目标位置的接近，该液压挖掘机具有使操作人员容易进行作业的指导功能。而且，在操作人员有效利用所述指导功能时，无需从作为对象的作业工地移动视点，抑制作业效率降低。此外，在采用所述远程操作辅助用监视器的情况下，操作人员并不一定需要在实际的作业工地，可以在设定有所述远程操作辅助用监视器的建筑物内对工程机械进行远程操作。这样，还具有操作人员实际作业的场所的自由度提高的效果。
(实施方式5)
图13是表示作为本发明的实施方式5所涉及的工程机械的液压挖掘机的主要功能的框图。该实施方式5所涉及的液压挖掘机在具有能够远程操作的结构的点上不同于所述实施方式3所涉及的液压挖掘机，其他的点与所述实施方式3所涉及的液压挖掘机一样。在该实施方式5中，所述显示装置120不是被配置在液压挖掘机的驾驶室10内，而是被配置在驾驶室10外的远程地。该实施方式5所涉及的液压挖掘机具备工程机械主体和远程操作部。
如图13所示，所述工程机械主体包含所述控制装置20、所述附属装置状态检测装置12、所述存储装置17、所述接收机18、所述上部回转体状态检测装置16以及发送装置130。该远程操作部包含显示装置120和接收装置140。所述控制装置20和所述显示装置120机械性地被分离。所述控制装置20和所述显示装置120通过无线通信互相被连接。该实施方式5所涉及的显示装置120的特征是其为用于操作人员在驾驶室10外使用远程操作装置对液压挖掘机(工程机械)进行远程操作的远程操作辅助用监视器。因此，以下对该特征点进行详述，关于与所述实施方式3所涉及的构成要素相同的构成要素，附上同一符号并省略详细的说明。
如图13所示，实施方式5所涉及的液压挖掘机的显示装置120是用于在驾驶室10外对液压挖掘机(工程机械)进行远程操作的远程操作辅助用监视器。所述发送装置130被设置在工程机械主体(液压挖掘机主体)，从显示控制部201输出的信号被输入该发送装置130。所述接收装置140被设置在所述远程操作部，接收从所述发送装置130的信号。由该接收装置140接收的信号被输入于显示装置120。所述显示装置120显示被输入的信号所涉及的图像。
该实施方式5所涉及的液压挖掘机被构成为与所述实施方式1中的所述附属装置相关信息一样的信息通过无线通信从发送装置130发送到接收装置140。作为无线通信，可以例示例如利用手机网的通信、利用无线LAN的通信等那样利用电波的通信。
在该实施方式5中，在液压挖掘机中的工程机械主体生成所述附属装置相关信息。该附属装置相关信息基于所述附属装置位置信息和所述三维形状信息而生成。该附属装置相关信息是与将周围像和投影像重叠的图像(附属装置相关图像)相对应的信息，其中，周围像是与所述周围作业区域的三维形状相对应的像，投影像是将对应所述远端附属设备的像沿所述投影方向投影的像。该附属装置相关信息通过所述发送装置130和所述接收装置140发送到所述远程操作部的显示装置120(所述远程操作辅助用监视器)。所述显示装置120(所述远程操作辅助用监视器)显示接收到的所述图像。因此，能够简化构成显示装置120(所述远程操作辅助用监视器)的设备。
(实施方式6)
图14是表示作为本发明的实施方式6所涉及的工程机械的液压挖掘机的主要功能的框图。该实施方式6所涉及的液压挖掘机在所述控制装置20不是被设置在工程机械主体而是被设置在远程操作部的点上不同于所述实施方式5所涉及的液压挖掘机，其他的点与所述实施方式5所涉及的液压挖掘机一样。在该实施方式6中，所述工程机械主体包含附属装置状态检测装置12、存储施工工地的三维形状数据的存储装置17、通过接收有关GPS等卫星定位系统的数据从而能够获取自车位置信息的接收机18、上部回转体状态检测装置16以及发送装置150。所述远程操作部包含接收装置160、所述控制装置20以及所述显示装置120。所述附属装置状态检测装置12、所述存储装置17、所述接收机18以及所述上部回转体状态检测装置16与所述控制装置20的特征在于机械性地被分离，通过无线通信而互相被连接。因此，以下对该特征点进行详述，关于与所述实施方式5所涉及的构成要素相同的构成要素，附上同一符号并省略详细的说明。
如图14所示，所述发送装置150被设置在工程机械主体(液压挖掘机主体)，该发送装置150中被输入附属装置状态检测装置12检测出的有关所述附属装置的状态的附属装置基础数据和成为所述周围作业区域的三维形状信息的基础的周围作业区域基础数据。该周围作业区域基础数据例如包含：存储于所述存储装置17的施工工地的三维形状数据；所述接收机18接收的自车位置信息；以及上部回转体状态检测装置16检测出的有关上部回转体3的朝向的信息。所述接收装置160被设置在远程操作部，通过无线通信接收从发送装置150发送的所述附属装置基础数据和所述周围作业区域基础数据。
所述附属装置位置信息生成部200基于接收装置160接收到的所述附属装置基础数据生成附属装置位置信息。所述周围形状信息生成部202基于接收装置160接收到的所述周围作业区域基础数据生成所述周围作业区域的三维形状信息。所述显示控制部201基于所述附属装置位置信息和所述三维形状信息生成附属装置相关信息，并进行使该附属装置相关信息显示于显示装置120(所述远程操作辅助用监视器)的控制。
通过采用该实施方式6所涉及的构成，基于从设置在工程机械主体(液压挖掘机主体)的发送装置150发送的所述附属装置基础数据和所述周围作业区域基础数据，在远程操作部生成所述附属装置相关信息。因此，无需在与所述远程操作部相比较多地发生振动和冲击的液压挖掘机主体(工程机械主体)上搭载进行所述图像的生成的处理装置。因此，能够简化液压挖掘机主体(工程机械主体)的结构。
在所述实施方式1～6中，所述附属装置相关信息是与将周围像和投影像重叠的图像相对应的信息，其中，周围像是与周围作业区域的三维形状相对应的像，投影像是将对应远端附属设备的像沿所述投影方向投影于所述周围像的像，但是并不一定限定于此。例如，除了与远端附属设备(铲斗6和液压剪54)相对应的像以外，与动臂4、斗杆5、动臂51、第一斗杆52以及第二斗杆53的形状信息中的至少一个部件相对应的像也被投影于所述周围像。即，本发明所涉及的附属装置相关信息只要是有关至少对应远端附属设备的像沿所述投影方向投影于所述周围像的图像的信息即可。
以上说明了本发明的实施方式，但这只不过是例示了具体例，并不特别限定本发明，具体的构成等可以适当变更设计。此外，发明的实施方式中记载的作用和效果只不过是列举了本发明产生的最适合的作用和效果，本发明的作用和效果并不限定于本发明的实施方式所记载的作用和效果。
本发明人专心研究了怎样才能实现具有使操作人员容易使附属装置接近周围作业区域(作为对象的作业工地)的目标位置的指导功能的工程机械。其结果，发现能够通过以下说明的各种构成才能实现目的。
本发明的工程机械具备包含远端附属设备的附属装置。该工程机械包括：附属装置状态检测装置，用于检测所述附属装置的状态；附属装置位置信息生成部，基于所述附属装置状态检测装置检测出的所述附属装置的状态，生成作为有关附属装置的位置的信息的附属装置位置信息；显示装置；以及显示控制部，控制所述显示装置显示附属装置相关信息，该附属装置相关信息基于所述附属装置位置信息生成部生成的附属装置位置信息和作为有关所述工程机械的周围作业区域的三维形状的信息的三维形状信息而生成。所述附属装置相关信息是将周围像和投影像重叠的图像所对应的信息，其中，所述周围像是与所述周围作业区域的所述三维形状相对应的像，所述投影像是将对应所述远端附属设备的像沿任意被设定的投影方向或基于规定的条件被设定的投影方向投影于所述周围像的像。
在该工程机械中，由于在所述显示装置显示与将所述周围像和所述投影像重叠的图像相对应的所述附属装置相关信息，因此，操作人员能够一边确认显示于该显示装置的所述附属装置相关信息，一边进行用于使所述远端附属设备接近周围作业区域(作为对象的作业工地)中的目标位置的操作。因此，根据本发明，能够提供具有使操作人员容易进行使附属装置接近所述周围作业区域的所述目标位置的操作的指导功能的工程机械。
具体而言，所述显示控制部基于所述附属装置位置信息和所述三维形状信息，能够运算所述远端附属设备相对于存在于所述周围作业区域的物体的相对位置。此外，所述显示控制部基于所述三维形状信息能够生成所述周围像，并基于所述相对位置能够生成将对应所述远端附属设备的像沿所述投影方向投影于所述周围像的所述投影像，由此，所述显示控制部能够生成将所述周围像和所述投影像重叠的图像(重叠图像)。因此，所述显示控制部基于所述附属装置位置信息和所述三维形状信息，能够生成所述附属装置相关信息，能够进行使该附属装置相关信息显示于所述显示装置的控制。
在所述工程机械中，优选所述投影像用与距离信息相对应的颜色的浓淡或颜色的种类来表现，其中，所述距离信息是有关所述远端附属设备和存在于所述周围作业区域的物体之中与所述周围像和所述投影像重叠的部分相对应的部位之间的距离的信息。
在该构成中，所述投影像用对应于所述距离信息的颜色的浓淡或颜色的种类而被表现。这使得所述操作人员基于所述颜色的浓淡或所述颜色的种类而容易直感地认识到所述距离信息。
具体而言，所述显示控制部如上所述地基于所述附属装置位置信息和所述三维形状信息运算所述远端附属设备相对于存在于所述周围作业区域的物体的相对位置。而且，所述显示控制部基于所述相对位置能够运算所述远端附属设备与所述物体中的所述部位之间的距离。因此，所述显示控制部基于所述附属装置位置信息和所述三维形状信息能够生成用对应于所述距离信息的颜色的浓淡或颜色的种类被表现出的所述投影像。
所述工程机械优选还包括：周围形状检测装置，检测所述周围作业区域的所述三维形状；以及周围形状信息生成部，基于所述周围形状检测装置检测的所述周围作业区域的所述三维形状，生成所述周围作业区域的所述三维形状信息。
在该构成中，所述周围形状信息生成部基于所述周围形状检测装置检测出的所述周围作业区域的所述三维形状生成所述三维形状信息，因此，所述工程机械无需在开始作业之前预先将作为对象的作业工地的所述周围作业区域的三维形状信息作为数据而保存。
在所述工程机械中，也可以构成为所述周围形状检测装置能够检测所述远端附属设备的形状。
在该构成中，即使在所述远端附属设备(第一远端附属设备)被更换为另外的远端附属设备(第二远端附属设备)的情况下，所述工程机械也能基于所述周围形状检测装置检测出的所述第二远端附属设备的形状获取该第二远端附属设备的形状信息。这使得即使在所述远端附属设备被更换的情况下，也能使所述远端附属设备的所述形状信息被更新为最新的信息。而且，在该构成中，由于所述周围形状检测装置兼备检测所述周围作业区域的所述三维形状的功能和检测所述远端附属设备的形状的功能，所以能够抑制所述工程机械的构成变得复杂。
在所述工程机械中，也可以构成为所述附属装置状态检测装置能够检测所述周围作业区域的所述三维形状。
在该构成中，由于所述附属装置状态检测装置兼备检测所述附属装置的状态的功能和检测所述周围作业区域的所述三维形状的功能，所以能够省略用于检测所述周围作业区域的所述三维形状的装置(例如，如上所述的周围形状检测装置)。
在所述工程机械中，所述显示装置也可以是被设置在驾驶室内的前侧的透明平视显示器。
在该构成中，由于所述显示装置是透明平视显示器，因此与所述显示装置例如是液晶显示器的情况相比，能够比较自由地设定显示所述附属装置相关信息的区域，能够抑制操作人员的视野被所述显示装置遮挡的情况。
在所述工程机械中，所述显示装置也可以是驾驶室内的操作人员能够戴上的透明头戴式显示器。
在该构成中，由于所述显示装置是头戴式显示器，因此与所述显示装置例如是液晶显示器的情况相比，能够抑制操作人员的视野被遮挡的情况。此外，在该构成中，由于所述头戴式显示器是透明的，所以操作人员获得的视觉信息不会局限于显示于所述头戴式显示器的信息，还包含透过所述头戴式显示器而作用于操作人员的视觉的信息。因此，操作人员能够在视野不受所述头戴式显示器的妨碍的情况下进行例如用于操作驾驶室内的开关的开关操作。
所述工程机械也可以还包括：发送装置，被设置在包含所述附属装置的工程机械主体上；以及接收装置，被设置在远程操作部，该远程操作部用于在所述工程机械主体的驾驶室外对该工程机械主体进行远程操作，其中，所述显示装置是被设置在所述远程操作部的远程操作辅助用监视器，从所述显示控制部输出的有关所述附属装置相关信息的信号通过无线通信从所述发送装置发送到所述接收装置，所述远程操作辅助用监视器基于所述接收装置接收到的所述信号显示所述附属装置相关信息。
在该构成中，操作人员并一定需要去实际的作业工地，能够在设置于离开作业工地的远程地的所述远程操作部对工程机械进行远程操作。
所述工程机械也可以还包括：发送装置，被设置在包含所述附属装置的工程机械主体上，且被输入所述附属装置状态检测装置检测的有关所述附属装置的状态的附属装置基础数据和成为所述周围作业区域的所述三维形状信息的基础的周围作业区域基础数据；接收装置，被设置在远程操作部，该远程操作部用于在所述工程机械主体的驾驶室外对该工程机械主体进行远程操作，所述接收装置通过无线通信接收从所述发送装置发送的所述附属装置基础数据和所述周围作业区域基础数据；以及周围形状信息生成部，被设置在所述远程操作部，基于所述接收装置接收到的所述周围作业区域基础数据，生成所述周围作业区域的所述三维形状信息，其中，所述显示装置是被设置在所述远程操作部的远程操作辅助用监视器，所述附属装置位置信息生成部被设置在所述远程操作部，基于所述接收装置接收到的所述附属装置基础数据生成附属装置位置信息，所述显示控制部被设置在所述远程操作部，控制所述远程操作辅助用监视器显示所述附属装置相关信息。
在该构成中，操作人员并一定需要去实际的作业工地，能够在设置于离开作业工地的远程地的所述远程操作部对工程机械进行远程操作。此外，在该构成中，由于所述附属装置位置信息生成部和所述周围形状信息生成部设置在所述远程操作部，因此所述附属装置位置信息和所述三维形状信息在所述远程操作部生成。即，在该构成中，无需在振动和冲击较多发生的工程机械主体搭载构成所述附属装置位置信息生成部和所述周围形状信息生成部的处理装置。

Claims (9)

1.一种工程机械，具备包含远端附属设备的附属装置，其特征在于包括：
附属装置状态检测装置，用于检测所述附属装置的状态；
附属装置位置信息生成部，基于所述附属装置状态检测装置检测出的所述附属装置的状态，生成作为有关附属装置的位置的信息的附属装置位置信息；
显示装置；以及，
显示控制部，控制所述显示装置显示附属装置相关信息，该附属装置相关信息基于所述附属装置位置信息生成部生成的附属装置位置信息和作为有关所述工程机械的周围作业区域的三维形状的信息的三维形状信息而生成，其中，
所述附属装置相关信息是将周围像和投影像重叠的图像所对应的信息，其中，所述周围像是与所述周围作业区域的所述三维形状相对应的像，所述投影像是将对应所述远端附属设备的像沿任意被设定的投影方向或基于规定的条件被设定的投影方向投影于所述周围像的像。
2.根据权利要求1所述的工程机械，其特征在于，
所述投影像用与距离信息相对应的颜色的浓淡或颜色的种类来表现，其中，所述距离信息是有关所述远端附属设备和存在于所述周围作业区域的物体之中与所述周围像和所述投影像重叠的部分相对应的部位之间的距离的信息。
3.根据权利要求1或2所述的工程机械，其特征在于还包括：
周围形状检测装置，检测所述周围作业区域的所述三维形状；以及，
周围形状信息生成部，基于所述周围形状检测装置检测的所述周围作业区域的所述三维形状，生成所述周围作业区域的所述三维形状信息。
4.根据权利要求3所述的工程机械，其特征在于，
所述周围形状检测装置能够检测所述远端附属设备的形状。
5.根据权利要求1或2所述的工程机械，其特征在于，
所述附属装置状态检测装置能够检测所述周围作业区域的所述三维形状。
6.根据权利要求1至5中任一项所述的工程机械，其特征在于，
所述显示装置是被设置在驾驶室内的前例的透明平视显示器。
7.根据权利要求1至5中任一项所述的工程机械，其特征在于，
所述显示装置是驾驶室内的操作人员能够戴上的透明头戴式显示器。
8.根据权利要求1至5中任一项所述的工程机械，其特征在于还包括：
发送装置，被设置在包含所述附属装置的工程机械主体上；以及，
接收装置，被设置在远程操作部，该远程操作部用于在所述工程机械主体的驾驶室外对该工程机械主体进行远程操作，其中，
所述显示装置是被设置在所述远程操作部的远程操作辅助用监视器，
从所述显示控制部输出的有关所述附属装置相关信息的信号通过无线通信从所述发送装置发送到所述接收装置，所述远程操作辅助用监视器基于所述接收装置接收到的所述信号显示所述附属装置相关信息。
9.根据权利要求1或2所述的工程机械，其特征在于还包括：
发送装置，被设置在包含所述附属装置的工程机械主体上，且被输入所述附属装置状态检测装置检测的有关所述附属装置的状态的附属装置基础数据和成为所述周围作业区域的所述三维形状信息的基础的周围作业区域基础数据；
接收装置，被设置在远程操作部，该远程操作部用于在所述工程机械主体的驾驶室外对该工程机械主体进行远程操作，所述接收装置通过无线通信接收从所述发送装置发送的所述附属装置基础数据和所述周围作业区域基础数据；以及，
周围形状信息生成部，被设置在所述远程操作部，基于所述接收装置接收到的所述周围作业区域基础数据，生成所述周围作业区域的所述三维形状信息，其中，
所述显示装置是被设置在所述远程操作部的远程操作辅助用监视器，
所述附属装置位置信息生成部被设置在所述远程操作部，基于所述接收装置接收到的所述附属装置基础数据生成附属装置位置信息，
所述显示控制部被设置在所述远程操作部，控制所述远程操作辅助用监视器显示所述附属装置相关信息。
CN201980020549.8A 2018-03-28 2019-03-27 工程机械 Pending CN111868340A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018061613A JP7087545B2 (ja) 2018-03-28 2018-03-28 建設機械
JP2018-061613 2018-03-28
PCT/JP2019/013304 WO2019189430A1 (ja) 2018-03-28 2019-03-27 建設機械

Publications (1)

Publication Number Publication Date
CN111868340A true CN111868340A (zh) 2020-10-30

Family

ID=68059095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020549.8A Pending CN111868340A (zh) 2018-03-28 2019-03-27 工程机械

Country Status (5)

Country Link
US (1) US11421404B2 (zh)
EP (1) EP3754122A4 (zh)
JP (1) JP7087545B2 (zh)
CN (1) CN111868340A (zh)
WO (1) WO2019189430A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7285051B2 (ja) * 2018-06-29 2023-06-01 株式会社小松製作所 表示制御装置、および表示制御方法
JP2021070922A (ja) * 2019-10-29 2021-05-06 住友重機械工業株式会社 ショベル
KR102415420B1 (ko) * 2019-11-29 2022-07-04 한국생산기술연구원 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법
JP7452038B2 (ja) * 2020-01-30 2024-03-19 コベルコ建機株式会社 作業支援システム
JP2021130973A (ja) * 2020-02-20 2021-09-09 株式会社フジタ 情報提示システム
JP2021143541A (ja) * 2020-03-13 2021-09-24 コベルコ建機株式会社 作業支援サーバ、作業支援方法
KR102417984B1 (ko) * 2020-05-11 2022-07-08 한국생산기술연구원 굴삭기의 운전자 보조시스템 및 이를 이용한 굴삭기 제어 방법
DE102020206925A1 (de) 2020-06-03 2021-12-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und System zum Visualisieren von dreidimensionalen Arbeitsbereichsbegrenzungen in einem Sichtfeld eines Bedieners einer mobilen Arbeitsmaschine
JP2022055808A (ja) * 2020-09-29 2022-04-08 株式会社小松製作所 表示制御装置及び表示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348100A (zh) * 2010-07-30 2012-02-08 江彦宏 视讯雷达显示系统
CN103140378A (zh) * 2011-06-07 2013-06-05 株式会社小松制作所 作业车辆的周边监视装置
JP2014074318A (ja) * 2012-10-05 2014-04-24 Komatsu Ltd 掘削機械の表示システム及び掘削機械
US20140188333A1 (en) * 2012-12-27 2014-07-03 Caterpillar Inc. Augmented Reality Implement Control
JP2015043488A (ja) * 2013-08-26 2015-03-05 清水建設株式会社 遠隔操作装置及びそれを用いた遠隔施工方法
CN105604120A (zh) * 2014-11-14 2016-05-25 卡特彼勒公司 用于辅助包括主体和能够相对于主体运动的执行器的类型的机器的使用者的系统
US20180051446A1 (en) * 2015-03-05 2018-02-22 Komatsu Ltd. Image display system for work machine, remote operation system for work machine, and work machine

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5941663B2 (ja) 1979-07-20 1984-10-08 住友化学工業株式会社 樹脂組成物の製造法
EP0929058B1 (en) * 1992-07-23 2005-11-23 Aisin Aw Co., Ltd. Vehicle route guidance apparatus for researching for a route when vehicle goes out of route
JP2628004B2 (ja) * 1993-03-22 1997-07-09 株式会社フジタ 掘削装置の遠隔操作システム
JP2001123476A (ja) 1999-10-26 2001-05-08 Hitachi Constr Mach Co Ltd 掘削機械の表示システム及び記録媒体
JP5802476B2 (ja) 2011-08-09 2015-10-28 株式会社トプコン 建設機械制御システム
JP5941663B2 (ja) 2011-11-30 2016-06-29 住友建機株式会社 建設機械用モニタシステム
US8914199B2 (en) 2012-10-05 2014-12-16 Komatsu Ltd. Excavating machine display system and excavating machine
US20140226024A1 (en) * 2013-02-08 2014-08-14 Kutta Technologies, Inc. Camera control in presence of latency
US8731824B1 (en) * 2013-03-15 2014-05-20 Honda Motor Co., Ltd. Navigation control for a touch screen user interface
DE102014222198A1 (de) 2014-10-30 2016-05-04 Wacker Chemie Ag Verfahren zur Herstellung eines Candy-Gums
EP3276089B1 (en) * 2015-03-27 2024-03-13 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
JP6559529B2 (ja) * 2015-10-06 2019-08-14 日立建機株式会社 建設機械
JP6707344B2 (ja) 2015-12-25 2020-06-10 株式会社小松製作所 作業車両および作業車両の制御方法
US10200659B2 (en) * 2016-02-29 2019-02-05 Microsoft Technology Licensing, Llc Collaborative camera viewpoint control for interactive telepresence
CN108884668B (zh) 2016-03-30 2022-06-07 住友建机株式会社 挖土机
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
US11110915B2 (en) * 2017-08-31 2021-09-07 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Auto park human machine interface display based control

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348100A (zh) * 2010-07-30 2012-02-08 江彦宏 视讯雷达显示系统
CN103140378A (zh) * 2011-06-07 2013-06-05 株式会社小松制作所 作业车辆的周边监视装置
JP2014074318A (ja) * 2012-10-05 2014-04-24 Komatsu Ltd 掘削機械の表示システム及び掘削機械
US20140188333A1 (en) * 2012-12-27 2014-07-03 Caterpillar Inc. Augmented Reality Implement Control
JP2015043488A (ja) * 2013-08-26 2015-03-05 清水建設株式会社 遠隔操作装置及びそれを用いた遠隔施工方法
CN105604120A (zh) * 2014-11-14 2016-05-25 卡特彼勒公司 用于辅助包括主体和能够相对于主体运动的执行器的类型的机器的使用者的系统
US20180051446A1 (en) * 2015-03-05 2018-02-22 Komatsu Ltd. Image display system for work machine, remote operation system for work machine, and work machine

Also Published As

Publication number Publication date
WO2019189430A1 (ja) 2019-10-03
EP3754122A4 (en) 2021-03-31
JP2019173352A (ja) 2019-10-10
JP7087545B2 (ja) 2022-06-21
US11421404B2 (en) 2022-08-23
EP3754122A1 (en) 2020-12-23
US20210010244A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
CN111868340A (zh) 工程机械
AU2017318897B2 (en) Image display system for work machine
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
JP2006053922A (ja) 機械操作者にとっての視認性を高める方法及び装置
WO2018043299A1 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
CN110741124B (zh) 用于工程机械的信息系统
KR20190034282A (ko) 건설 기계
JP7151392B2 (ja) 建設機械の遠隔操作装置
JP6947101B2 (ja) 遠隔操作システム及び主操作装置
KR20150082601A (ko) 건설 기계의 표시 시스템 및 그 제어 방법
US20170175363A1 (en) Method for providing images of a work tool for a machine
KR20210129086A (ko) 표시장치, 쇼벨, 정보처리장치
US20210140147A1 (en) A working machine provided with an image projection arrangement
EP3751845B1 (en) Working machine control device
CN111386369B (zh) 工程机械
WO2020066475A1 (ja) 作業機械情報表示システム
KR20170136057A (ko) 원격조종 굴삭기 모니터링 시스템 및 그 시스템을 이용한 모니터링 방법
EP3739131B1 (en) Construction machine
AU2021354304A1 (en) Display control device and display method
KR101975556B1 (ko) 로봇의 관측 시점 제어 장치
CA3187228A1 (en) Display control device and display control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030