JP2021050602A - Display system of construction machine and method for controlling the same - Google Patents

Display system of construction machine and method for controlling the same Download PDF

Info

Publication number
JP2021050602A
JP2021050602A JP2021001420A JP2021001420A JP2021050602A JP 2021050602 A JP2021050602 A JP 2021050602A JP 2021001420 A JP2021001420 A JP 2021001420A JP 2021001420 A JP2021001420 A JP 2021001420A JP 2021050602 A JP2021050602 A JP 2021050602A
Authority
JP
Japan
Prior art keywords
information
display
work
construction
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021001420A
Other languages
Japanese (ja)
Other versions
JP7168697B2 (en
Inventor
大 坪根
Masaru Tsubone
大 坪根
栗原　隆
Takashi Kurihara
栗原　　隆
亮 深野
Ryo Fukano
亮 深野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2021001420A priority Critical patent/JP7168697B2/en
Publication of JP2021050602A publication Critical patent/JP2021050602A/en
Application granted granted Critical
Publication of JP7168697B2 publication Critical patent/JP7168697B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)

Abstract

To provide a display system of a construction machine which can reduce movement of a view point during an operation work, and can improve working efficiency.SOLUTION: A display system 28 includes stroke sensors 16-18 for detecting positional information of a work machine with respect to a body part, a real image display part 40, a combiner 42, and a display controller 39. The display controller 39 controls a display position along a surface of the combiner 42 of work support information and a depth display position to the front of an operation room on the basis of the positional information of the work machine. A projection image of the work support information that an operator perceives is displayed in the periphery of the work machine.SELECTED DRAWING: Figure 3

Description

本発明は、建設機械の表示システムおよびその制御方法に関する。 The present invention relates to a display system for construction machinery and a control method thereof.

油圧ショベル等の建設機械において、エンジンの冷却水の水温などの各種情報を運転室内のモニタ装置に表示する技術が知られている（例えば、特許文献１参照）。
さらに、運転室のモニタ装置に、作業対象の設計面やバケットの刃先の位置を示す画像を表示するものも知られている（例えば、特許文献２参照）。 In construction machines such as hydraulic excavators, there is known a technique for displaying various information such as the temperature of engine cooling water on a monitor device in an operating room (see, for example, Patent Document 1).
Further, there is also known that the monitoring device in the driver's cab displays an image showing the design surface of the work target and the position of the cutting edge of the bucket (see, for example, Patent Document 2).

特開２０１２−１３６９８５号公報Japanese Unexamined Patent Publication No. 2012-136985 特開２０１２−１７２４３１号公報Japanese Unexamined Patent Publication No. 2012-172431

前記モニタ装置は、オペレータの前方視界を妨げないように、運転室の前方窓と側方窓とを仕切る縦枠の下部に設けられていた（特許文献１の図２参照）。オペレータは、作業機を見ながら操作するため、前記モニタ装置の情報を確認するためには、視点を大きくずらしてモニタ装置を確認する必要がある。
従って、操作作業中の視点の移動が大きくなり作業効率が向上しないという課題がある。 The monitoring device was provided at the lower part of the vertical frame that separates the front window and the side window of the driver's cab so as not to obstruct the front view of the operator (see FIG. 2 of Patent Document 1). Since the operator operates while looking at the work machine, it is necessary to check the monitor device with a large shift in viewpoint in order to check the information of the monitor device.
Therefore, there is a problem that the movement of the viewpoint during the operation work becomes large and the work efficiency is not improved.

本発明の目的は、操作作業中の視点の移動を少なくできて、作業効率を向上できる建設機械の表示システムおよびその制御方法を提供することにある。 An object of the present invention is to provide a display system for a construction machine and a control method thereof, which can reduce the movement of a viewpoint during an operation work and improve work efficiency.

第１態様に係る建設機械の表示システムは、作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する建設機械の表示システムであって、前記作業機の位置情報を検出する作業機位置検出部と、実像を表示する実像表示部と、前記実像を運転室内に反射することで前記運転室の外部に虚像を形成するとともに、前記運転室の外部からの光を透過するコンバイナと、前記作業機の位置情報に基づいて、前記虚像の表示位置を変更する制御を行う表示制御部とを備える。 The construction machine display system according to the first aspect is a construction machine display system having a work machine and a main body to which the work machine is attached and has a driver's cab, and detects position information of the work machine. A work machine position detection unit, a real image display unit that displays a real image, and a combiner that reflects the real image into the cab to form a virtual image outside the cab and transmits light from the outside of the cab. And a display control unit that controls to change the display position of the virtual image based on the position information of the work machine.

第１態様によれば、表示システムは、実像表示部およびコンバイナを備えるので、虚像を運転室の前方景色に重ねて表示できる。このため、オペレータは、作業機および虚像を視認する場合に、視点の移動を少なくできる。従って、操作作業中の視点の移動を少なくでき、作業効率を向上できる。
その上、表示制御部は、作業機の位置情報に基づいて、前記虚像の位置を制御する。このため、前記運転室のオペレータが知覚する前記虚像を、前記作業機の位置に基づいて表示することができ、オペレータの視線の動きと焦点調節とを最小限に抑えることができる。このため、オペレータが作業機および虚像を認識する場合の負荷も低減できる。 According to the first aspect, since the display system includes a real image display unit and a combiner, a virtual image can be superimposed on the front view of the driver's cab. Therefore, the operator can reduce the movement of the viewpoint when visually recognizing the working machine and the virtual image. Therefore, the movement of the viewpoint during the operation work can be reduced, and the work efficiency can be improved.
Moreover, the display control unit controls the position of the virtual image based on the position information of the working machine. Therefore, the virtual image perceived by the operator in the driver's cab can be displayed based on the position of the working machine, and the movement of the operator's line of sight and the focus adjustment can be minimized. Therefore, the load when the operator recognizes the work machine and the virtual image can be reduced.

他の態様において、前記作業支援情報として、前記作業機の位置情報と、前記本体部の三次元位置情報と、前記目標地形情報とに基づいて作業機の操作情報を作成してもよい。このため、操作情報として、作業機の移動方向や移動量を表示でき、オペレータは容易に作業機を操作することができる。 In another aspect, the operation information of the work machine may be created as the work support information based on the position information of the work machine, the three-dimensional position information of the main body, and the target terrain information. Therefore, the moving direction and the moving amount of the working machine can be displayed as the operation information, and the operator can easily operate the working machine.

他の態様において、本体部の三次元位置情報と、目標地形情報とに基づいて作成される施工設計面情報を、作業対象の地形位置に合わせて表示してもよい。このため、オペレータは、表示された施工設計面情報に合わせて作業機を操作すればよく、容易に作業機を操作することができる。 In another aspect, the construction design surface information created based on the three-dimensional position information of the main body and the target terrain information may be displayed according to the terrain position of the work target. Therefore, the operator only needs to operate the work machine according to the displayed construction design surface information, and can easily operate the work machine.

他の態様において、本体部の三次元位置情報と、目標地形情報と、作業機の軌跡情報に基づく作業進度情報とに基づいて作成される施工設計面情報を、作業対象の地形位置に合わせて表示してもよい。このため、オペレータは、表示された施工設計面情報に合わせて作業機を操作すればよく、容易に作業機を操作することができる。また、施工後の出来形を確認でき、目標地形情報通りに正しく施工されているかを容易に確認できる。 In another aspect, the construction design surface information created based on the three-dimensional position information of the main body, the target terrain information, and the work progress information based on the locus information of the work machine is matched with the terrain position of the work target. It may be displayed. Therefore, the operator only needs to operate the work machine according to the displayed construction design surface information, and can easily operate the work machine. In addition, the finished shape after construction can be confirmed, and it can be easily confirmed whether the construction is performed correctly according to the target topographical information.

他の態様において、前記実像表示部とコンバイナとの間に、複数のレンズを備え、かつ、少なくとも一部のレンズが光軸方向に移動可能なレンズ光学系を配置し、前記表示制御部は、前記レンズ光学系の少なくとも一部のレンズを光軸方向に移動してもよい。このため、作業支援情報の奥行き表示位置を容易にかつ迅速に制御できる。 In another embodiment, a lens optical system is provided between the real image display unit and the combiner, and at least a part of the lenses is movable in the optical axis direction. At least a part of the lenses in the lens optical system may be moved in the optical axis direction. Therefore, the depth display position of the work support information can be easily and quickly controlled.

他の態様において、前記表示制御部は、前記実像表示部と前記コンバイナとの距離を変更して前記作業支援情報の奥行き表示位置を制御してもよい。このため、一部のレンズが移動可能なレンズ光学系を不要にできる。 In another aspect, the display control unit may control the depth display position of the work support information by changing the distance between the real image display unit and the combiner. Therefore, it is possible to eliminate the need for a lens optical system in which some lenses can be moved.

本発明の一実施形態にかかる建設機械の斜視図。The perspective view of the construction machine which concerns on one Embodiment of this invention. 建設機械の構成を模式的に示す図。The figure which shows typically the structure of the construction machine. 建設機械が備える制御系の構成を示すブロック図。A block diagram showing the configuration of a control system provided in a construction machine. 建設機械の運転室の斜視図。A perspective view of the cab of a construction machine. 建設機械の運転室の側面図。Side view of the cab of construction machinery. 建設機械の表示装置に表示された案内画面を示す図。The figure which shows the guidance screen displayed on the display device of a construction machine. 建設機械の表示装置に表示された案内画面を示す図。The figure which shows the guidance screen displayed on the display device of a construction machine. 建設機械のバケット位置を模式的に示す図。The figure which shows typically the bucket position of the construction machine. 案内画面の表示制御方法を示すフローチャート。A flowchart showing a display control method of the guidance screen. 警告情報表示処理を示すフローチャート。A flowchart showing the warning information display process. 施工設計面情報表示処理を示すフローチャート。Flow chart showing construction design surface information display processing. バケットの軌跡情報の算出方法を説明する図。The figure explaining the calculation method of the locus information of a bucket. 操作支援情報表示処理を示すフローチャート。A flowchart showing the operation support information display process.

以下、本発明の実施形態を図面に基づいて説明する。
［１．油圧ショベルの全体構成］
以下、図面を参照して、本発明の建設機械の表示システムの一実施形態に係る油圧ショベルの表示システムについて説明する。
図１は、表示システムが搭載される油圧ショベル１００の斜視図である。油圧ショベル１００は、車体１と作業機２とを有する。車体１は、本発明の本体部に相当する。車体１は、旋回体３と運転室４と走行装置５とを有する。旋回体３は、走行装置５に旋回可能に取り付けられている。旋回体３は、図示しないエンジンや油圧ポンプなどの装置を収容している。運転室４は旋回体３の前部に載置されている。運転室４内には、後述する表示装置３８および操作装置２５が配置される（図３参照）。走行装置５は左右の履帯５ａ，５ｂを有しており、履帯５ａ，５ｂが回転することにより油圧ショベル１００が走行する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[1. Overall configuration of hydraulic excavator]
Hereinafter, the display system of the hydraulic excavator according to the embodiment of the display system of the construction machine of the present invention will be described with reference to the drawings.
FIG. 1 is a perspective view of a hydraulic excavator 100 on which a display system is mounted. The hydraulic excavator 100 has a vehicle body 1 and a working machine 2. The vehicle body 1 corresponds to the main body of the present invention. The vehicle body 1 has a swivel body 3, a driver's cab 4, and a traveling device 5. The swivel body 3 is attached to the traveling device 5 so as to be swivelable. The swivel body 3 houses devices such as an engine and a hydraulic pump (not shown). The driver's cab 4 is mounted on the front portion of the swivel body 3. A display device 38 and an operation device 25, which will be described later, are arranged in the driver's cab 4 (see FIG. 3). The traveling device 5 has left and right crawler belts 5a and 5b, and the hydraulic excavator 100 travels when the crawler belts 5a and 5b rotate.

作業機２は、車体１の前部に取り付けられており、ブーム６とアーム７とバケット８とブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とを有する。
ブーム６の基端部は、ブームピン１３を介して車体１の前部に揺動可能に取り付けられている。すなわち、ブームピン１３は、ブーム６の旋回体３に対する揺動中心に相当する。
アーム７の基端部は、アームピン１４を介してブーム６の先端部に揺動可能に取り付けられている。すなわち、アームピン１４は、アーム７のブーム６に対する揺動中心に相当する。
アーム７の先端部には、バケットピン１５を介してバケット８が揺動可能に取り付けられている。すなわち、バケットピン１５は、バケット８のアーム７に対する揺動中心に相当する。 The work machine 2 is attached to the front portion of the vehicle body 1, and has a boom 6, an arm 7, a bucket 8, a boom cylinder 10, an arm cylinder 11, and a bucket cylinder 12.
The base end portion of the boom 6 is swingably attached to the front portion of the vehicle body 1 via the boom pin 13. That is, the boom pin 13 corresponds to the swing center of the boom 6 with respect to the swivel body 3.
The base end portion of the arm 7 is swingably attached to the tip end portion of the boom 6 via the arm pin 14. That is, the arm pin 14 corresponds to the swing center of the arm 7 with respect to the boom 6.
A bucket 8 is swingably attached to the tip of the arm 7 via a bucket pin 15. That is, the bucket pin 15 corresponds to the swing center of the bucket 8 with respect to the arm 7.

図２は、油圧ショベル１００の構成を模式的に示す図である。図２（Ａ）は油圧ショベル１００の側面図であり、図２（Ｂ）は油圧ショベル１００の背面図である。図２（Ｃ）は油圧ショベル１００の上面図である。図２（Ａ）に示すように、ブーム６の長さ、すなわち、ブームピン１３からアームピン１４までの長さは、Ｌ１である。アーム７の長さ、すなわち、アームピン１４からバケットピン１５までの長さは、Ｌ２である。バケット８の長さ、すなわち、バケットピン１５からバケット８の刃先Ｐまでの長さは、Ｌ３である。 FIG. 2 is a diagram schematically showing the configuration of the hydraulic excavator 100. FIG. 2A is a side view of the hydraulic excavator 100, and FIG. 2B is a rear view of the hydraulic excavator 100. FIG. 2C is a top view of the hydraulic excavator 100. As shown in FIG. 2A, the length of the boom 6, that is, the length from the boom pin 13 to the arm pin 14 is L1. The length of the arm 7, that is, the length from the arm pin 14 to the bucket pin 15 is L2. The length of the bucket 8, that is, the length from the bucket pin 15 to the cutting edge P of the bucket 8 is L3.

図１に示すブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とは、それぞれ油圧によって駆動される油圧シリンダである。ブームシリンダ１０の基端部は、ブームシリンダフートピン１０ａを介して旋回体３に揺動可能に取り付けられている。また、ブームシリンダ１０の先端部は、ブームシリンダトップピン１０ｂを介してブーム６に揺動可能に取り付けられている。ブームシリンダ１０は、油圧によって伸縮することによって、ブーム６を駆動する。
アームシリンダ１１の基端部は、アームシリンダフートピン１１ａを介してブーム６に揺動可能に取り付けられている。また、アームシリンダ１１の先端部は、アームシリンダトップピン１１ｂを介してアーム７に揺動可能に取り付けられている。アームシリンダ１１は、油圧によって伸縮することによって、アーム７を駆動する。
バケットシリンダ１２の基端部は、バケットシリンダフートピン１２ａを介してアーム７に揺動可能に取り付けられている。また、バケットシリンダ１２の先端部は、バケットシリンダトップピン１２ｂを介して第１リンク部材４７の一端および第２リンク部材４８の一端に揺動可能に取り付けられている。第１リンク部材４７の他端は、第１リンクピン４７ａを介してアーム７の先端部に揺動可能に取り付けられている。第２リンク部材４８の他端は、第２リンクピン４８ａを介してバケット８に揺動可能に取り付けられている。バケットシリンダ１２は、油圧によって伸縮することによって、バケット８を駆動する。 The boom cylinder 10, arm cylinder 11, and bucket cylinder 12 shown in FIG. 1 are hydraulic cylinders that are driven by flood control, respectively. The base end portion of the boom cylinder 10 is swingably attached to the swivel body 3 via the boom cylinder foot pin 10a. Further, the tip end portion of the boom cylinder 10 is swingably attached to the boom 6 via the boom cylinder top pin 10b. The boom cylinder 10 drives the boom 6 by expanding and contracting by flood control.
The base end portion of the arm cylinder 11 is swingably attached to the boom 6 via the arm cylinder foot pin 11a. Further, the tip end portion of the arm cylinder 11 is swingably attached to the arm 7 via the arm cylinder top pin 11b. The arm cylinder 11 drives the arm 7 by expanding and contracting by flood control.
The base end portion of the bucket cylinder 12 is swingably attached to the arm 7 via the bucket cylinder foot pin 12a. Further, the tip end portion of the bucket cylinder 12 is swingably attached to one end of the first link member 47 and one end of the second link member 48 via the bucket cylinder top pin 12b. The other end of the first link member 47 is swingably attached to the tip of the arm 7 via the first link pin 47a. The other end of the second link member 48 is swingably attached to the bucket 8 via the second link pin 48a. The bucket cylinder 12 drives the bucket 8 by expanding and contracting by flood control.

ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２などの油圧シリンダと図示しない油圧ポンプとの間には、比例制御弁３７が配置されている（図３参照）。比例制御弁３７が後述する作業機コントローラ２６によって制御されることにより、油圧シリンダ１０〜１２に供給される作動油の流量が制御される。これにより、油圧シリンダ１０〜１２の動作が制御される。 A proportional control valve 37 is arranged between a hydraulic cylinder such as a boom cylinder 10, an arm cylinder 11, or a bucket cylinder 12 and a hydraulic pump (not shown) (see FIG. 3). By controlling the proportional control valve 37 by the work equipment controller 26 described later, the flow rate of the hydraulic oil supplied to the hydraulic cylinders 10 to 12 is controlled. Thereby, the operation of the hydraulic cylinders 10 to 12 is controlled.

図２（Ａ）に示すように、ブーム６とアーム７とバケット８には、それぞれ第１〜第３ストロークセンサ１６〜１８が設けられている。
第１ストロークセンサ１６は、ブームシリンダ１０のストローク長さを検出する。後述する表示コントローラ３９（図３参照）は、第１ストロークセンサ１６が検出したブームシリンダ１０のストローク長さから、後述する車体座標系のｚｍ軸に対するブーム６の揺動角αを算出する。
第２ストロークセンサ１７は、アームシリンダ１１のストローク長さを検出する。表示コントローラ３９は、第２ストロークセンサ１７が検出したアームシリンダ１１のストローク長さから、ブーム６に対するアーム７の揺動角βを算出する。
第３ストロークセンサ１８は、バケットシリンダ１２のストローク長さを検出する。表示コントローラ３９は、第３ストロークセンサ１８が検出したバケットシリンダ１２のストローク長さから、アーム７に対するバケット８の揺動角γを算出する。
後述するように、第１〜第３ストロークセンサ１６〜１８によって、車体１に対する作業機２のバケット８の刃先Ｐの位置情報を検出できる。従って、第１〜第３ストロークセンサ１６〜１８は、本発明の作業機位置検出部に相当する。 As shown in FIG. 2A, the boom 6, the arm 7, and the bucket 8 are provided with first to third stroke sensors 16 to 18, respectively.
The first stroke sensor 16 detects the stroke length of the boom cylinder 10. The display controller 39 (see FIG. 3), which will be described later, calculates the swing angle α of the boom 6 with respect to the zm axis of the vehicle body coordinate system, which will be described later, from the stroke length of the boom cylinder 10 detected by the first stroke sensor 16.
The second stroke sensor 17 detects the stroke length of the arm cylinder 11. The display controller 39 calculates the swing angle β of the arm 7 with respect to the boom 6 from the stroke length of the arm cylinder 11 detected by the second stroke sensor 17.
The third stroke sensor 18 detects the stroke length of the bucket cylinder 12. The display controller 39 calculates the swing angle γ of the bucket 8 with respect to the arm 7 from the stroke length of the bucket cylinder 12 detected by the third stroke sensor 18.
As will be described later, the first to third stroke sensors 16 to 18 can detect the position information of the cutting edge P of the bucket 8 of the work machine 2 with respect to the vehicle body 1. Therefore, the first to third stroke sensors 16 to 18 correspond to the working machine position detecting unit of the present invention.

図２（Ａ）に示すように、車体１には、位置検出部１９が備えられている。位置検出部１９は、油圧ショベル１００の現在位置を検出する。位置検出部１９は、ＲＴＫ−ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite Systems、ＧＮＳＳは全地球航法衛星システムをいう。）用の２つのアンテナ２１、２２と、３次元位置センサ２３と、傾斜角センサ２４とを有する。
アンテナ２１，２２は、後述する車体座標系ｘｍ−ｙｍ−ｚｍのｙｍ軸に沿って一定距離だけ離間して配置されている。アンテナ２１、２２で受信されたＧＮＳＳ電波に応じた信号は３次元位置センサ２３に入力される。３次元位置センサ２３は、アンテナ２１、２２のグローバル座標系における設置位置を検出する。
なお、グローバル座標系は、ＧＮＳＳによって計測される座標系であり、地球に固定された原点を基準とした座標系である。これに対して、後述する車体座標系は、車体１（具体的には旋回体３）に固定された原点を基準とする座標系である。２つのアンテナ２１、２２は、車体１の現在位置および車体１（具体的には旋回体３）の向きを検出するためのアンテナである。位置検出部１９は、２つのアンテナ２１、２２の位置によって、後述する車体座標系のｘｍ軸のグローバル座標系での方向角（方位角）を検出する。 As shown in FIG. 2A, the vehicle body 1 is provided with a position detecting unit 19. The position detection unit 19 detects the current position of the hydraulic excavator 100. The position detection unit 19 includes two antennas 21 and 22 for RTK-GNSS (Real Time Kinematic --Global Navigation Satellite Systems, GNSS means global navigation satellite systems), a three-dimensional position sensor 23, and an inclination angle sensor. It has 24 and.
The antennas 21 and 22 are arranged apart by a certain distance along the ym axis of the vehicle body coordinate system xm-ym-zm, which will be described later. The signal corresponding to the GNSS radio wave received by the antennas 21 and 22 is input to the three-dimensional position sensor 23. The three-dimensional position sensor 23 detects the installation position of the antennas 21 and 22 in the global coordinate system.
The global coordinate system is a coordinate system measured by GNSS and is a coordinate system with reference to the origin fixed to the earth. On the other hand, the vehicle body coordinate system described later is a coordinate system based on the origin fixed to the vehicle body 1 (specifically, the swivel body 3). The two antennas 21 and 22 are antennas for detecting the current position of the vehicle body 1 and the orientation of the vehicle body 1 (specifically, the swivel body 3). The position detection unit 19 detects the direction angle (azimuth) in the global coordinate system of the xm axis of the vehicle body coordinate system, which will be described later, based on the positions of the two antennas 21 and 22.

図３に示すように、車体１には、傾斜角センサ２４が備えられている。傾斜角センサ２４は、図２（Ｂ）に示すように、重力方向（鉛直線）に対する車体１の幅方向（左右方向）の傾斜角θ１（以下、「ロール角θ１」と呼ぶ）を検出する。また、傾斜角センサ２４は、図２（Ａ）に示すように、重力方向に対する車体１の前後方向の傾斜角θ２（以下、「ピッチ角θ２」と呼ぶ）を検出する。さらに、傾斜角センサ２４は、旋回体３の旋回角度つまり車体座標系の鉛直軸（ｚｍ軸）回りの傾斜角（以下、「ヨー角θ３」と呼ぶ）を検出する。
なお、本実施形態において、車体１の幅方向とは、バケット８の幅方向を意味しており、車幅方向と一致している。ただし、作業機２がチルトバケットを備える場合には、バケット８の幅方向と車幅方向とが一致しないことがあり得る。
位置検出部１９は、アンテナ２１、２２、３次元位置センサ２３、傾斜角センサ２４を備えるため、車体１のグローバル座標上の現在位置、向き、傾斜角度を有する本体部の三次元位置情報を検出する。車体１のグローバル座標上の現在位置は、緯度、経度、標高のデータで表される。グローバル座標上の車体１の向きは、方位角で表される。傾斜角度は、前記ロール角θ１、ピッチ角θ２、ヨー角θ３で表される。 As shown in FIG. 3, the vehicle body 1 is provided with an inclination angle sensor 24. As shown in FIG. 2B, the inclination angle sensor 24 detects an inclination angle θ1 (hereinafter, referred to as “roll angle θ1”) in the width direction (horizontal direction) of the vehicle body 1 with respect to the gravity direction (vertical line). .. Further, as shown in FIG. 2A, the inclination angle sensor 24 detects an inclination angle θ2 (hereinafter, referred to as “pitch angle θ2”) in the front-rear direction of the vehicle body 1 with respect to the gravity direction. Further, the tilt angle sensor 24 detects the swing angle of the swivel body 3, that is, the tilt angle around the vertical axis (zm axis) of the vehicle body coordinate system (hereinafter, referred to as “yaw angle θ3”).
In the present embodiment, the width direction of the vehicle body 1 means the width direction of the bucket 8 and coincides with the vehicle width direction. However, when the work machine 2 includes a tilt bucket, the width direction of the bucket 8 and the vehicle width direction may not match.
Since the position detection unit 19 includes the antennas 21, 22, the three-dimensional position sensor 23, and the tilt angle sensor 24, the position detection unit 19 detects the three-dimensional position information of the main body having the current position, orientation, and tilt angle on the global coordinates of the vehicle body 1. To do. The current position of the vehicle body 1 on the global coordinates is represented by latitude, longitude, and altitude data. The orientation of the vehicle body 1 on the global coordinates is represented by the azimuth angle. The inclination angle is represented by the roll angle θ1, the pitch angle θ2, and the yaw angle θ3.

図３は、油圧ショベル１００が備える制御系の構成を示すブロック図である。油圧ショベル１００は、操作装置２５と、作業機コントローラ２６と、作業機制御装置２７と、表示システム２８とを備える。
操作装置２５は、作業機２および旋回体３を操作する操作部材３１Ｌ、３１Ｒと、操作部材３１Ｌ、３１Ｒの操作を検出する操作検出部３２と、走行操作部材３３と、走行操作検出部３４とを有する。操作部材３１Ｌ、３１Ｒは、オペレータが作業機２および旋回体３を操作するための部材であり、例えば操作レバーである。
操作部材３１Ｒは作業機２におけるブーム６とバケット８の操作を行い、操作部材３１Ｒの前後方向の操作はブームの上げ下げの動作に対応し、左右方向の操作はバケットの掘削、開放の動作に対応する。
操作部材３１Ｌは旋回体３とアーム７の操作を行い、操作部材３１Ｌの前後方向の操作はアームの掘削、開放の動作に対応し、左右方向の操作は旋回体３の左右方向の旋回動作に対応する。
操作検出部３２は、操作部材３１Ｌの操作を検出する操作検出部３２Ｌと、操作部材３１Ｒの操作を検出する操作検出部３２Ｒとを備える。操作検出部３２Ｌ、３２Ｒは、例えば操作部材３１Ｌ、３１Ｒに設けられた図示しない検出角を検出するポテンショメータ等を用いる。操作部材３１Ｌ、３１Ｒの操作内容に対応し、操作検出部３２Ｌ、３２Ｒは傾倒角を電気信号として検出して、検出信号として作業機コントローラ２６へ送る。操作部材３１Ｌ、３１Ｒでは操作信号に応じパイロット流量を発生させ、操作検出部３２Ｌ、３２Ｒではパイロット圧を検出し、検出信号としてもよい。
走行操作部材３３は、オペレータが油圧ショベル１００の走行を操作するための部材であり、例えば操作レバーである。走行操作検出部３４は、走行操作部材３３の操作内容に応じパイロット流量を発生する。パイロット圧に応じて走行モータに供給する流量が決定し、走行装置５が駆動される。 FIG. 3 is a block diagram showing a configuration of a control system included in the hydraulic excavator 100. The hydraulic excavator 100 includes an operation device 25, a work machine controller 26, a work machine control device 27, and a display system 28.
The operation device 25 includes operation members 31L and 31R for operating the work machine 2 and the swivel body 3, an operation detection unit 32 for detecting the operation of the operation members 31L and 31R, a travel operation member 33, and a travel operation detection unit 34. Has. The operation members 31L and 31R are members for the operator to operate the work machine 2 and the swivel body 3, and are, for example, operation levers.
The operation member 31R operates the boom 6 and the bucket 8 in the work machine 2, the operation of the operation member 31R in the front-rear direction corresponds to the operation of raising and lowering the boom, and the operation in the left-right direction corresponds to the operation of excavating and opening the bucket. To do.
The operating member 31L operates the swivel body 3 and the arm 7, the operation of the operating member 31L in the front-rear direction corresponds to the excavation and opening operation of the arm, and the operation in the left-right direction corresponds to the swivel operation of the swivel body 3 in the left-right direction. Correspond.
The operation detection unit 32 includes an operation detection unit 32L for detecting the operation of the operation member 31L and an operation detection unit 32R for detecting the operation of the operation member 31R. The operation detection units 32L and 32R use, for example, potentiometers provided on the operation members 31L and 31R to detect a detection angle (not shown). Corresponding to the operation contents of the operation members 31L and 31R, the operation detection units 32L and 32R detect the tilt angle as an electric signal and send it to the work equipment controller 26 as a detection signal. The operation members 31L and 31R may generate a pilot flow rate in response to the operation signal, and the operation detection units 32L and 32R may detect the pilot pressure and use it as a detection signal.
The travel operation member 33 is a member for the operator to operate the travel of the hydraulic excavator 100, and is, for example, an operation lever. The travel operation detection unit 34 generates a pilot flow rate according to the operation content of the travel operation member 33. The flow rate to be supplied to the traveling motor is determined according to the pilot pressure, and the traveling device 5 is driven.

作業機コントローラ２６は、ＲＡＭやＲＯＭなどの記憶部３５や、ＣＰＵなどの演算部３６を有している。作業機コントローラ２６は、主として作業機２の動作および旋回体３の旋回の制御を行う。作業機コントローラ２６は、操作部材３１Ｌ、３１Ｒの操作に応じて作業機２および旋回体３を動作させるための制御信号を生成して、作業機制御装置２７に出力する。
作業機制御装置２７は比例制御弁３７を有しており、作業機コントローラ２６からの制御信号に基づいて比例制御弁３７が制御される。作業機コントローラ２６からの制御信号に応じた流量の作動油が比例制御弁３７から流出され、油圧シリンダ１０〜１２や図示しない旋回モータに供給される。油圧シリンダ１０〜１２や旋回モータは、比例制御弁３７から供給された作動油に応じて駆動される。これにより、作業機２が動作し、旋回体３が旋回する。 The work equipment controller 26 has a storage unit 35 such as a RAM and a ROM, and a calculation unit 36 such as a CPU. The work equipment controller 26 mainly controls the operation of the work equipment 2 and the rotation of the swivel body 3. The work machine controller 26 generates a control signal for operating the work machine 2 and the swivel body 3 in response to the operation of the operation members 31L and 31R, and outputs the control signal to the work machine control device 27.
The work equipment control device 27 has a proportional control valve 37, and the proportional control valve 37 is controlled based on a control signal from the work equipment controller 26. The hydraulic oil of the flow rate corresponding to the control signal from the work equipment controller 26 is discharged from the proportional control valve 37 and is supplied to the hydraulic cylinders 10 to 12 and the swivel motor (not shown). The hydraulic cylinders 10 to 12 and the swivel motor are driven according to the hydraulic oil supplied from the proportional control valve 37. As a result, the working machine 2 operates and the swivel body 3 swivels.

［２．表示システムの構成］
表示システム２８は、警告情報、操作ガイダンス、施工設計面情報、車体情報などの各種情報をオペレータに提供するためのシステムである。表示システム２８は、表示装置３８と、表示コントローラ３９と、前記各種のセンサ１６、１７、１８、２３、２４と、後述する監視装置６０とを有している。 [2. Display system configuration]
The display system 28 is a system for providing various information such as warning information, operation guidance, construction design surface information, and vehicle body information to the operator. The display system 28 includes a display device 38, a display controller 39, various sensors 16, 17, 18, 23, 24, and a monitoring device 60 described later.

表示装置３８は、図４、５に示すように、実像表示部４０と、レンズ光学系４１と、コンバイナ４２とを有する。実像表示部４０は、液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタおよびスクリーン等の実像を表示できる表示装置で構成される。なお、透過型スクリーンを用いてスクリーンの裏面側に配置したプロジェクタから映像を投射して表示してもよい。
レンズ光学系４１は、実像表示部４０とコンバイナ４２との間に配置され、複数枚のレンズを備える。そして、レンズ光学系４１のレンズの一部は光軸方向に移動可能に構成されている。レンズの駆動機構は、カメラのズームレンズなどで利用されている駆動機構が利用できる。 As shown in FIGS. 4 and 5, the display device 38 includes a real image display unit 40, a lens optical system 41, and a combiner 42. The real image display unit 40 is composed of a display device capable of displaying a real image such as a liquid crystal display, an organic EL display, a projector, and a screen. An image may be projected and displayed from a projector arranged on the back side of the screen using a transmissive screen.
The lens optical system 41 is arranged between the real image display unit 40 and the combiner 42, and includes a plurality of lenses. A part of the lens of the lens optical system 41 is configured to be movable in the optical axis direction. As the drive mechanism of the lens, the drive mechanism used in the zoom lens of a camera or the like can be used.

コンバイナ４２は、運転室４の前面のフレーム４AF内に上下2枚設置されたフロントグラス４Ａ部分に設けられた一部の光を反射し、残りの光を透過するハーフミラーで構成されている。このコンバイナ４２は、実像表示部４０に表示された映像を運転室４内のオペレータ側に反射するとともに、運転室４の外部からの光を運転室４内に透過する。
このため、オペレータの視点からは、前記実像表示部４０に表示された実像を、コンバイナ４２から透過して視認できる運転室４の前方景色に重ねて表示される虚像７０として捉えることができる。このため、表示装置３８は、オペレータの視野に直接映像を映し出すいわゆるヘッドアップディスプレイとして機能する。 The combiner 42 is composed of a half mirror that reflects a part of the light provided in the front glass 4A portion installed in the upper and lower two pieces in the frame 4AF on the front surface of the driver's cab 4 and transmits the remaining light. The combiner 42 reflects the image displayed on the real image display unit 40 toward the operator in the driver's cab 4, and transmits light from the outside of the driver's cab 4 into the driver's cab 4.
Therefore, from the operator's point of view, the real image displayed on the real image display unit 40 can be regarded as a virtual image 70 displayed so as to be superimposed on the front view of the driver's cab 4 which can be seen through the combiner 42. Therefore, the display device 38 functions as a so-called head-up display that directly displays an image in the operator's field of view.

なお、コンバイナ４２にレンズ効果を持たせることで、オペレータが視認する虚像７０を拡大したり、虚像７０の表示位置を変更することができる。本実施形態では、コンバイナ４２にレンズ効果を持たせるために、コンバイナ４２として凹面ハーフミラーを用いている。 By giving the combiner 42 a lens effect, the virtual image 70 visually recognized by the operator can be enlarged and the display position of the virtual image 70 can be changed. In the present embodiment, a concave half mirror is used as the combiner 42 in order to give the combiner 42 a lens effect.

さらに、本実施形態では、表示コントローラ３９の制御によって、レンズ光学系４１の少なくとも一部のレンズを光軸方向に移動することで、オペレータが視認する虚像７０の奥行き表示位置（オペレータの視点位置から運転室の前方に表示される虚像７０までの距離）を変更できる。すなわち、レンズ光学系４１を配置した場合、この光学系により、その奥にある実像表示部４０を拡大して覗き込むような形になる。そして、前記レンズ光学系４１内部の一部のレンズを光軸方向に移動することで、実像表示部４０の奥行き（コンバイナ４２から実像表示部４０までの距離）が変化した場合と同様の効果が得られ、結果的に虚像７０の奥行き表示位置も変更される。図５は、点線で示す虚像７０と、実線で示す虚像７０とで奥行き表示位置が変更されている。
さらに、虚像７０の大きさはレンズ光学系４１の射出窓の大きさに依存するため、虚像７０の奥行き表示位置が変わっても、オペレータの視野角上の虚像７０の大きさは一定に保つことができる。 Further, in the present embodiment, by moving at least a part of the lenses of the lens optical system 41 in the optical axis direction under the control of the display controller 39, the depth display position of the virtual image 70 visually recognized by the operator (from the viewpoint position of the operator). The distance to the virtual image 70 displayed in front of the driver's cab) can be changed. That is, when the lens optical system 41 is arranged, the optical system makes it possible to magnify and look into the real image display unit 40 behind the lens optical system 41. Then, by moving a part of the lenses inside the lens optical system 41 in the optical axis direction, the same effect as when the depth of the real image display unit 40 (distance from the combiner 42 to the real image display unit 40) is changed can be obtained. As a result, the depth display position of the virtual image 70 is also changed. In FIG. 5, the depth display position is changed between the virtual image 70 shown by the dotted line and the virtual image 70 shown by the solid line.
Further, since the size of the virtual image 70 depends on the size of the emission window of the lens optical system 41, the size of the virtual image 70 on the viewing angle of the operator should be kept constant even if the depth display position of the virtual image 70 changes. Can be done.

なお、前記虚像７０の奥行き表示位置を変更するには、レンズ光学系４１を配置せずに、リニアアクチュエータなどを用いて前記実像表示部４０をコンバイナ４２に対して近づく方向および遠ざかる方向に移動可能に構成し、実像表示部４０およびコンバイナ４２の距離を変更する構成を採用してもよい。 In order to change the depth display position of the virtual image 70, the real image display unit 40 can be moved in a direction approaching and away from the combiner 42 by using a linear actuator or the like without arranging the lens optical system 41. The configuration may be adopted in which the distance between the real image display unit 40 and the combiner 42 is changed.

表示コントローラ３９は、表示システム２８の各種の機能を実行する。表示コントローラ３９と作業機コントローラ２６とは、無線あるいは有線の通信手段で互いに通信可能となっている。
表示コントローラ３９は、ＲＡＭやＲＯＭなどの記憶部４３や、ＣＰＵなどの演算部４４を有している。
記憶部４３には、３次元の目標地形情報が記憶されている。目標地形情報は、作業対象となる地面の施工後の地形（設計地形）の形状および位置に関する情報であり、三角形や四角形などのポリゴンによって表現される。
演算部４４は、記憶部４３に記憶されている目標地形情報や、位置検出部１９で検出される車体１の三次元位置情報、作業機位置検出部である第１〜第３ストロークセンサ１６〜１８で検出されるバケット８の刃先の位置情報に基づいて、作業支援情報を作成するための各種の演算を実行する。表示コントローラ３９は、実像表示部４０にオペレータに対する作業支援情報を表示する。このため、表示コントローラ３９は、本発明の表示制御部に相当する。 The display controller 39 executes various functions of the display system 28. The display controller 39 and the work equipment controller 26 can communicate with each other by wireless or wired communication means.
The display controller 39 has a storage unit 43 such as a RAM or ROM, and a calculation unit 44 such as a CPU.
The storage unit 43 stores three-dimensional target terrain information. The target terrain information is information on the shape and position of the terrain (design terrain) after construction of the ground to be worked on, and is represented by polygons such as triangles and quadrangles.
The calculation unit 44 includes target terrain information stored in the storage unit 43, three-dimensional position information of the vehicle body 1 detected by the position detection unit 19, and the first to third stroke sensors 16 to the work machine position detection unit. Based on the position information of the cutting edge of the bucket 8 detected in 18, various calculations for creating work support information are executed. The display controller 39 displays work support information for the operator on the real image display unit 40. Therefore, the display controller 39 corresponds to the display control unit of the present invention.

［３．案内画面］
以下、表示装置３８に表示される案内画面について詳細に説明する。案内画面は、図６に示すように、操作支援情報８２を作業支援情報として表示し、さらに、車体情報８３や施工設計面情報８４を表示する。また、警告情報（コーション情報）８１を表示する場合は、図７に示すように、作業支援情報として警告情報８１も表示する。 [3. Information screen]
Hereinafter, the guidance screen displayed on the display device 38 will be described in detail. As shown in FIG. 6, the guidance screen displays the operation support information 82 as the work support information, and further displays the vehicle body information 83 and the construction design surface information 84. Further, when displaying the warning information (caution information) 81, as shown in FIG. 7, the warning information 81 is also displayed as the work support information.

警告情報８１は、表示コントローラ３９に接続された監視装置６０から出力される。監視装置６０は、油圧ショベル１００における各種状態を検出するセンサ等を備え、検出データに異常があった場合に警告情報８１を表示コントローラ３９に出力する。例えば、監視装置６０は、油圧ポンプの吐出圧を検出するセンサや、エンジンの冷却水の水温を検出するセンサ、コンタミセンサなどを備える。また、監視装置６０は、油圧ショベル１００の周囲に人等の障害物が近接したことを検出する近接センサなども備える。
監視装置６０は、これらのセンサのデータに基づいて、オペレータに警告を伝えるための警告情報８１を作成し、表示コントローラ３９に出力する。表示コントローラ３９は、監視装置６０から警告情報８１を受信すると、直ちに実像表示部４０に表示する。すなわち、警告情報８１は最優先で表示する。
図７の警告情報８１は、油圧ショベル１００の左方向に人などの障害物を検出した場合の警告情報の例である。 The warning information 81 is output from the monitoring device 60 connected to the display controller 39. The monitoring device 60 includes sensors and the like for detecting various states in the hydraulic excavator 100, and outputs warning information 81 to the display controller 39 when there is an abnormality in the detection data. For example, the monitoring device 60 includes a sensor that detects the discharge pressure of the hydraulic pump, a sensor that detects the temperature of the cooling water of the engine, a contamination sensor, and the like. The monitoring device 60 also includes a proximity sensor that detects that an obstacle such as a person is close to the hydraulic excavator 100.
The monitoring device 60 creates warning information 81 for transmitting a warning to the operator based on the data of these sensors, and outputs the warning information 81 to the display controller 39. Upon receiving the warning information 81 from the monitoring device 60, the display controller 39 immediately displays the warning information 81 on the real image display unit 40. That is, the warning information 81 is displayed with the highest priority.
The warning information 81 in FIG. 7 is an example of warning information when an obstacle such as a person is detected in the left direction of the hydraulic excavator 100.

操作支援情報８２は、作業機２の操作をサポートするガイダンス情報である。例えば、表示コントローラ３９の演算部４４は、後述するように、位置検出部１９で検出された車体１の三次元位置情報と、第１〜第３ストロークセンサ１６〜１８で検出された作業機２におけるバケット８の刃先の位置情報と、記憶部４３に記憶された目標地形情報とを参照することで、作業機２の移動方向および移動量を算出する。そして、表示コントローラ３９は、作業機２の移動方向および移動量から操作支援情報８２を作成し、実像表示部４０に表示する。
例えば、図６の操作支援情報８２は、図８に示す油圧ショベル１００において、バケット８がバケット８Ａの位置にある場合に表示される情報である。図６の操作支援情報８２では、バケット８が目標地形から４ｍ上方に配置されているため、４ｍ下方に移動させる必要があることを示している。図７の操作支援情報８２は、バケット８がバケット８Ｂの位置にある場合に表示される情報である。図７の操作支援情報８２では、バケット８の残りの移動量を示している。
なお、操作支援情報８２は、バケット８の移動方向を示す矢印と、移動距離を示す数字とで表示するタイプでもよいし、移動目標位置（高さレベル）を示す三角マークと現在のバケット８の位置を示すバーとで表示するタイプでもよい。図６，７にはこれら２つの表示タイプを併記しているが、通常は、いずれか一方のみを表示すればよい。 The operation support information 82 is guidance information that supports the operation of the work machine 2. For example, the calculation unit 44 of the display controller 39 uses the three-dimensional position information of the vehicle body 1 detected by the position detection unit 19 and the work machine 2 detected by the first to third stroke sensors 16 to 18, as will be described later. By referring to the position information of the cutting edge of the bucket 8 and the target terrain information stored in the storage unit 43, the moving direction and the moving amount of the work machine 2 are calculated. Then, the display controller 39 creates the operation support information 82 from the movement direction and the movement amount of the work machine 2, and displays it on the real image display unit 40.
For example, the operation support information 82 of FIG. 6 is information displayed when the bucket 8 is at the position of the bucket 8A in the hydraulic excavator 100 shown in FIG. The operation support information 82 in FIG. 6 indicates that the bucket 8 is arranged 4 m above the target terrain and therefore needs to be moved 4 m below. The operation support information 82 in FIG. 7 is information displayed when the bucket 8 is in the position of the bucket 8B. The operation support information 82 of FIG. 7 shows the remaining movement amount of the bucket 8.
The operation support information 82 may be of a type displayed by an arrow indicating the moving direction of the bucket 8 and a number indicating the moving distance, or a triangular mark indicating the moving target position (height level) and the current bucket 8 of the current bucket 8. It may be a type that is displayed with a bar indicating the position. Although these two display types are shown together in FIGS. 6 and 7, usually only one of them needs to be displayed.

車体情報８３は、燃料計のデータや、現在時刻、現在の燃費での残り稼動時間などの情報である。車体情報８３の表示の有無や、表示するデータの種類等は、オペレータが設定でき、この設定情報は記憶部４３に記憶される。表示コントローラ３９は、車体情報８３が表示有りに設定されている場合、指定されたデータを表示する。なお、車体情報８３の表示位置は、バケット８の刃先位置に連動せず、固定されている。 The vehicle body information 83 is information such as fuel gauge data, the current time, and the remaining operating time at the current fuel consumption. The operator can set whether or not the vehicle body information 83 is displayed, the type of data to be displayed, and the like, and this setting information is stored in the storage unit 43. The display controller 39 displays the designated data when the vehicle body information 83 is set to have display. The display position of the vehicle body information 83 is fixed without being linked to the position of the cutting edge of the bucket 8.

施工設計面情報８４は、前記目標地形情報と、バケット８の刃先の軌跡情報とを用いて作成される。すなわち、表示コントローラ３９は、施工前には、前記目標地形情報や、位置検出部１９で検出される三次元位置情報に基づいて、目標地形情報を施工設計面情報８４として実像表示部４０に表示する。このため、オペレータの視点からは、コンバイナ４２を通して視認できる作業対象の地面に、前記目標地形情報が重なって見える。
また、表示コントローラ３９は、施工途中や施工後には、前記目標地形情報に加えてバケット８の刃先の軌跡情報を重ねて施工設計面情報８４を作成し、出来形の情報も表示する。 The construction design surface information 84 is created by using the target topographical information and the locus information of the cutting edge of the bucket 8. That is, before the construction, the display controller 39 displays the target terrain information as the construction design surface information 84 on the real image display unit 40 based on the target terrain information and the three-dimensional position information detected by the position detection unit 19. To do. Therefore, from the operator's point of view, the target terrain information appears to overlap the ground of the work target that can be visually recognized through the combiner 42.
Further, the display controller 39 creates the construction design surface information 84 by superimposing the locus information of the cutting edge of the bucket 8 in addition to the target topographical information during or after the construction, and also displays the finished form information.

実像表示部４０に表示された案内画面は、レンズ光学系４１を介してコンバイナ４２で反射され、オペレータに視認される。このため、オペレータは、コンバイナ４２を透過して見ることができるフロントグラス４Ａの前方景色つまり作業現場の光景に、前記案内画面を重ねて見ることができる。
表示コントローラ３９は、警告情報８１、操作支援情報８２を、作業機２のバケット８の位置に合わせて表示する。このため、警告情報８１および操作支援情報８２は、バケット８の移動に伴い、コンバイナ４２の表面に沿った表示位置および奥行き表示位置が変化する。
表示コントローラ３９は、車体情報８３を、実像表示部４０の決められた位置に固定して表示する。ただし、警告情報８１、操作支援情報８２と同様に、車体情報８３をバケット８の位置に合わせて表示してもよい。
表示コントローラ３９は、施工設計面情報８４を、作業対象となる地面に合わせて表示する。 The guidance screen displayed on the real image display unit 40 is reflected by the combiner 42 via the lens optical system 41 and is visually recognized by the operator. Therefore, the operator can superimpose the guidance screen on the front view of the front glass 4A, that is, the view of the work site, which can be seen through the combiner 42.
The display controller 39 displays the warning information 81 and the operation support information 82 in accordance with the position of the bucket 8 of the work machine 2. Therefore, the display position and the depth display position of the warning information 81 and the operation support information 82 change along the surface of the combiner 42 as the bucket 8 moves.
The display controller 39 fixes the vehicle body information 83 at a predetermined position of the real image display unit 40 and displays it. However, similarly to the warning information 81 and the operation support information 82, the vehicle body information 83 may be displayed according to the position of the bucket 8.
The display controller 39 displays the construction design surface information 84 according to the ground to be worked.

［４．案内画面の表示制御方法］
次に、上述した案内画面の表示制御方法について図９のフローチャートに基づいて説明する。表示コントローラ３９は、油圧ショベル１００による施工作業中、図９に示す案内画面の表示制御を、一定時間間隔、例えば０．１秒間隔で繰り返し実行し、例えば１秒程度の間隔で表示を変更する。 [4. Guidance screen display control method]
Next, the display control method of the guidance screen described above will be described with reference to the flowchart of FIG. The display controller 39 repeatedly executes the display control of the guidance screen shown in FIG. 9 at regular time intervals, for example, at intervals of 0.1 seconds, and changes the display at intervals of, for example, about 1 second during the construction work by the hydraulic excavator 100. ..

（警告情報の表示）
案内画面の表示制御を開始すると、表示コントローラ３９の演算部４４は、監視装置６０から警告情報８１が出力されているか（警告情報８１が有るか）を判定する（ステップＳ１）。警告情報８１が有る場合、演算部４４は警告情報８１を表示する（ステップＳ２）。表示制御の最初に警告情報８１の表示処理を行うことで、警告情報８１を最優先で表示でき、オペレータに迅速に警告情報を伝えることができる。警告情報の表示処理の詳細は後述する。なお、他の情報の表示処理時に、監視装置６０から警告情報８１が出力された場合は、警告情報８１の表示処理（ステップＳ２）を割り込みで実行すればよい。 (Display of warning information)
When the display control of the guidance screen is started, the calculation unit 44 of the display controller 39 determines whether the warning information 81 is output from the monitoring device 60 (whether the warning information 81 is present) (step S1). When the warning information 81 is present, the calculation unit 44 displays the warning information 81 (step S2). By performing the display processing of the warning information 81 at the beginning of the display control, the warning information 81 can be displayed with the highest priority, and the warning information can be promptly transmitted to the operator. The details of the warning information display process will be described later. If the warning information 81 is output from the monitoring device 60 during the display processing of other information, the display processing of the warning information 81 (step S2) may be executed by an interrupt.

（施工設計面情報の表示）
演算部４４は、ステップＳ２の警告情報８１の表示処理後、または、警告情報８１が無いためにステップＳ１でＮｏと判定された場合、施工設計面情報８４が記憶部４３に記憶されているかを判定する（ステップＳ３）。施工現場によっては施工設計面情報８４が存在しない場合もあるため、その有無を判定している。
施工設計面情報８４が有る場合、演算部４４は、施工設計面情報８４の表示処理を行う（ステップＳ４）。 (Display of construction design surface information)
The calculation unit 44 determines whether the construction design surface information 84 is stored in the storage unit 43 after the display processing of the warning information 81 in step S2 or when it is determined as No in step S1 because there is no warning information 81. Determine (step S3). Since the construction design surface information 84 may not exist depending on the construction site, the presence or absence of the information 84 is determined.
When there is the construction design surface information 84, the calculation unit 44 performs the display processing of the construction design surface information 84 (step S4).

（操作支援情報の表示）
演算部４４は、ステップＳ４の施工設計面情報８４の表示処理後、または、施工設計面情報８４が無いためにステップＳ３でＮｏと判定された場合、操作支援情報８２の表示設定の有無を判定する（ステップＳ５）。
操作支援情報８２の表示設定が有る場合、演算部４４は、操作支援情報８２の表示処理を行う（ステップＳ６）。
なお、ステップＳ２、Ｓ４、Ｓ６の各表示処理の詳細は後述する。 (Display of operation support information)
The calculation unit 44 determines whether or not the operation support information 82 is set to be displayed after the display processing of the construction design surface information 84 in step S4 or when the determination is No in step S3 because there is no construction design surface information 84. (Step S5).
When there is a display setting for the operation support information 82, the calculation unit 44 performs a display process for the operation support information 82 (step S6).
The details of each display process in steps S2, S4, and S6 will be described later.

（車体情報の表示）
演算部４４は、ステップＳ５でＮｏと判定された場合、またはステップＳ６の表示処理の後、車体情報８３を表示する設定になっているかを判定する（ステップＳ７）。
そして、演算部４４は、車体情報８３の表示設定有りと判定された場合、車体情報８３の表示処理を行う（ステップＳ８）。この場合、演算部４４は実像表示部４０を制御し、図６、７に示すように、燃料計のデータや、現在時刻等の車体情報を、決められた表示位置に表示する。
そして、演算部４４は、前述のとおり、施工作業が継続している間は、前記ステップＳ１からステップＳ８までの処理を所定時間間隔で繰り返すため、ステップＳ１に戻り、表示処理を続行する。 (Display of body information)
The calculation unit 44 determines whether the determination is No in step S5, or whether the vehicle body information 83 is set to be displayed after the display process in step S6 (step S7).
Then, when it is determined that the display setting of the vehicle body information 83 is present, the calculation unit 44 performs the display process of the vehicle body information 83 (step S8). In this case, the calculation unit 44 controls the real image display unit 40 and displays the fuel gauge data and the vehicle body information such as the current time at a predetermined display position as shown in FIGS. 6 and 7.
Then, as described above, the calculation unit 44 returns to step S1 and continues the display process in order to repeat the processes from step S1 to step S8 at predetermined time intervals while the construction work is continuing.

［４−１．警告情報表示処理Ｓ２］
次に、ステップＳ２の警告情報８１の表示処理について、図１０のフローチャートに基づいて説明する。なお、警告情報表示処理Ｓ２では、油圧ショベル１００の車体座標系を利用して刃先位置を算出するため、まず、車体座標系に関して説明する。 [4-1. Warning information display process S2]
Next, the display process of the warning information 81 in step S2 will be described with reference to the flowchart of FIG. In the warning information display process S2, since the cutting edge position is calculated using the vehicle body coordinate system of the hydraulic excavator 100, first, the vehicle body coordinate system will be described.

（車体座標系の説明）
油圧ショベル１００では、図２に示すように、前記傾斜角センサ２４の検出値を参照して、ブームピン１３の軸と作業機２の動作平面との交点を原点として車体座標系ｘｍ−ｙｍ−ｚｍを設定している。ここで作業機２の動作平面はｘｍ−ｚｍとなる。また、車体座標系は、各アンテナ２１、２２の位置データを用いても設定できる。なお、以下の説明においてブームピン１３の位置は、ブームピン１３の車幅方向における中点の位置を意味するものとする。
アンテナ２１，２２と車体座標系の原点との位置関係、すなわち、アンテナ２１，２２とブームピン１３の車幅方向における中点との位置関係は予め設定される。具体的には、図２（Ｂ）及び図２（Ｃ）に示すように、ブームピン１３とアンテナ２１との間の車体座標系のｘｍ軸方向の距離Lbbxと、ブームピン１３とアンテナ２１との間の車体座標系のｙｍ軸方向の距離Lbbyと、ブームピン１３とアンテナ２１との間の車体座標系のｚｍ軸方向の距離Lbbzとで、車体座標系の原点とアンテナ２１との位置関係が決まる。
また、ブームピン１３とアンテナ２２との間の車体座標系のｘｍ軸方向の距離Lbdxと、ブームピン１３とアンテナ２２との間の車体座標系のｙｍ軸方向の距離Lbdyと、ブームピン１３とアンテナ２２との間の車体座標系のｚｍ軸方向の距離Lbdzとで、車体座標系の原点とアンテナ２２との位置関係が決まる。 (Explanation of body coordinate system)
In the hydraulic excavator 100, as shown in FIG. 2, with reference to the detection value of the inclination angle sensor 24, the vehicle body coordinate system xm-ym-zm with the intersection of the axis of the boom pin 13 and the operating plane of the work equipment 2 as the origin. Is set. Here, the operating plane of the working machine 2 is xm-zm. The vehicle body coordinate system can also be set by using the position data of the antennas 21 and 22. In the following description, the position of the boom pin 13 means the position of the midpoint of the boom pin 13 in the vehicle width direction.
The positional relationship between the antennas 21 and 22 and the origin of the vehicle body coordinate system, that is, the positional relationship between the antennas 21 and 22 and the midpoint of the boom pin 13 in the vehicle width direction is preset. Specifically, as shown in FIGS. 2B and 2C, the distance Lbbx in the xm axis direction of the vehicle body coordinate system between the boom pin 13 and the antenna 21 and the distance between the boom pin 13 and the antenna 21 The positional relationship between the origin of the vehicle body coordinate system and the antenna 21 is determined by the distance Lbby in the ym axis direction of the vehicle body coordinate system and the distance Lbbz in the zm axis direction of the vehicle body coordinate system between the boom pin 13 and the antenna 21.
Further, the distance Lbdx in the xm axis direction of the vehicle body coordinate system between the boom pin 13 and the antenna 22, the distance Lbdy in the ym axis direction of the vehicle body coordinate system between the boom pin 13 and the antenna 22, and the boom pin 13 and the antenna 22. The positional relationship between the origin of the vehicle body coordinate system and the antenna 22 is determined by the distance Lbdz in the zm axis direction of the vehicle body coordinate system between.

（車体座標系上の刃先位置算出Ｓ１１）
演算部４４は、車体座標系上のバケット８の刃先位置を算出する（ステップＳ１１）。演算部４４は、第１〜第３ストロークセンサ１６〜１８の検出結果から、上述したブーム６、アーム７、バケット８の現在の揺動角α、β、γを算出する。
演算部４４は、ブーム６、アーム７、バケット８の揺動角α、β、γと、ブーム６、アーム７、バケット８の長さＬ１、Ｌ２、Ｌ３とを用いて、以下の数１の式により、車体座標系でのバケット８の刃先の座標（ｘ、ｙ、ｚ）を演算する。 (Calculation of cutting edge position on the vehicle body coordinate system S11)
The calculation unit 44 calculates the cutting edge position of the bucket 8 on the vehicle body coordinate system (step S11). The calculation unit 44 calculates the current swing angles α, β, and γ of the boom 6, arm 7, and bucket 8 described above from the detection results of the first to third stroke sensors 16 to 18.
The calculation unit 44 uses the swing angles α, β, and γ of the boom 6, arm 7, and bucket 8 and the lengths L1, L2, and L3 of the boom 6, arm 7, and bucket 8 to obtain the following number 1. The coordinates (x, y, z) of the cutting edge of the bucket 8 in the vehicle body coordinate system are calculated by the equation.

Figure 2021050602
Figure 2021050602

（警告情報の生成Ｓ１２）
次に、演算部４４は、監視装置６０から出力される警告情報８１の表示内容を生成する（Ｓ１２）。例えば、監視装置６０の近接センサが左方向に障害物があることを検出し、その検出情報を出力すると、演算部４４は、警告情報８１の表示内容（表示画像）として、左方向の矢印と、エクスクラメーションマークとを生成する。なお、警告情報８１の表示内容（表示画像）は、警告情報の種類に応じて設定される。すなわち、オペレータの注意喚起が必要な場合にエクスクラメーションマークを生成する。そして、前記障害物の検出のように注意すべき方向を指示する必要がある場合に、その方向の矢印を生成する。また、油圧ポンプの吐出圧や、エンジン冷却水の水温の異常を警告する場合には、それらの警告対象を示すアイコンや文字などの画像を生成する。 (Generation of warning information S12)
Next, the calculation unit 44 generates the display content of the warning information 81 output from the monitoring device 60 (S12). For example, when the proximity sensor of the monitoring device 60 detects that there is an obstacle in the left direction and outputs the detection information, the calculation unit 44 displays the warning information 81 as a display content (display image) with an arrow in the left direction. , Generates an exclamation mark. The display content (display image) of the warning information 81 is set according to the type of warning information. That is, an exclamation mark is generated when the operator needs to be alerted. Then, when it is necessary to indicate a direction to be noted as in the detection of the obstacle, an arrow in that direction is generated. Further, when warning of an abnormality in the discharge pressure of the hydraulic pump or the water temperature of the engine cooling water, an image such as an icon or a character indicating the warning target is generated.

（警告情報の表示位置算出Ｓ１３）
次に、演算部４４は、バケット８の刃先の現在位置に合わせて警告情報８１の表示位置を算出する（ステップＳ１３）。コンバイナ４２の表示面における警告情報８１の表示位置は、バケット８や操作支援情報８２に重ならない位置であり、かつ、バケット８に近接した位置に設定される。また、警告情報８１の内容に合わせて表示位置を調整する。このため、図７に示すように、左方向の障害物を警告する警告情報８１は、バケット８の斜め左上方位置などに表示される。右方向の障害物を警告する警告情報であれば、バケット８の斜め右上方位置などに表示される。
また、虚像として表示される警告情報８１のオペレータから見て奥行き方向になる座標（ｘ）に相当する奥行き表示位置は、バケット８の刃先のコンバイナ４２からの距離つまりオペレータの視点からの距離に合わせて設定される。 (Calculation of display position of warning information S13)
Next, the calculation unit 44 calculates the display position of the warning information 81 according to the current position of the cutting edge of the bucket 8 (step S13). The display position of the warning information 81 on the display surface of the combiner 42 is set to a position that does not overlap the bucket 8 and the operation support information 82 and is close to the bucket 8. Further, the display position is adjusted according to the content of the warning information 81. Therefore, as shown in FIG. 7, the warning information 81 that warns of an obstacle in the left direction is displayed at a diagonally upper left position of the bucket 8. If it is warning information that warns of an obstacle in the right direction, it is displayed at an obliquely upper right position of the bucket 8.
Further, the depth display position corresponding to the coordinates (x) in the depth direction of the warning information 81 displayed as a virtual image in the depth direction is adjusted to the distance from the combiner 42 of the cutting edge of the bucket 8, that is, the distance from the operator's viewpoint. Is set.

（警告情報の表示Ｓ１４）
次に、演算部４４は、レンズ光学系４１および実像表示部４０を制御し、ステップＳ１３で算出した表示位置に、警告情報８１を表示する（ステップＳ１４）。以上のＳ１１〜Ｓ１４の処理により、警告情報表示処理Ｓ２が終了する。 (Display of warning information S14)
Next, the calculation unit 44 controls the lens optical system 41 and the real image display unit 40, and displays the warning information 81 at the display position calculated in step S13 (step S14). The warning information display process S2 ends by the above processes S11 to S14.

［４−２．施工設計面情報表示処理Ｓ４］
次に、ステップＳ４の施工設計面情報８４の表示処理について、図１１のフローチャートに基づいて説明する。 [4-2. Construction design surface information display processing S4]
Next, the display process of the construction design surface information 84 in step S4 will be described with reference to the flowchart of FIG.

（グローバル座標系の車体の三次元位置情報算出Ｓ２１）
施工設計面情報８４を表示する場合、演算部４４は、グローバル座標系上の車体１の三次元位置情報を算出する（ステップＳ２１）。
具体的に、演算部４４は、３次元位置センサ２３および傾斜角センサ２４の検出値を用いて、グローバル座標系上の車体１の三次元位置情報（緯度、経度、高度、方位角、ロール角、ピッチ角、ヨー角）を算出する（ステップＳ２１）。
すなわち、３次元位置センサ２３は、アンテナ２１、２２のグローバル座標上の位置（緯度、経度、高度）を検出する。そして、演算部４４は、前述した車体座標系の原点と各アンテナ２１、２２との位置関係と、３次元位置センサ２３が検出したグローバル座標系におけるアンテナ２１，２２の座標から、車体座標系の原点位置のグローバル座標（Ａ，Ｂ，Ｃ）を演算する。
さらに、アンテナ２１，２２は、車体座標系のｙｍ軸に沿って配置されるため、演算部４４は、グローバル座標系におけるアンテナ２１，２２の座標から車体１（旋回体３）の向き（方位角）を演算する。 (Calculation of three-dimensional position information of the vehicle body in the global coordinate system S21)
When displaying the construction design surface information 84, the calculation unit 44 calculates the three-dimensional position information of the vehicle body 1 on the global coordinate system (step S21).
Specifically, the calculation unit 44 uses the detection values of the three-dimensional position sensor 23 and the tilt angle sensor 24 to provide three-dimensional position information (latitude, longitude, altitude, azimuth angle, roll angle) of the vehicle body 1 on the global coordinate system. , Pitch angle, yaw angle) (step S21).
That is, the three-dimensional position sensor 23 detects the positions (latitude, longitude, altitude) of the antennas 21 and 22 on the global coordinates. Then, the calculation unit 44 determines the vehicle body coordinate system from the positional relationship between the origin of the vehicle body coordinate system and the antennas 21 and 22 described above and the coordinates of the antennas 21 and 22 in the global coordinate system detected by the three-dimensional position sensor 23. Calculate the global coordinates (A, B, C) of the origin position.
Further, since the antennas 21 and 22 are arranged along the ym axis of the vehicle body coordinate system, the calculation unit 44 determines the direction (azimuth angle) of the vehicle body 1 (turning body 3) from the coordinates of the antennas 21 and 22 in the global coordinate system. ) Is calculated.

（車体座標系上の刃先位置算出Ｓ２２）
次に、演算部４４は、車体座標系上のバケット８の刃先の位置を算出する（ステップＳ２２）。この車体座標系上のバケット８の刃先位置の具体的な算出方法は、前記警告情報８１の表示処理におけるステップＳ１１と同じであるため、説明を省略する。 (Calculation of cutting edge position on the vehicle body coordinate system S22)
Next, the calculation unit 44 calculates the position of the cutting edge of the bucket 8 on the vehicle body coordinate system (step S22). Since the specific calculation method of the cutting edge position of the bucket 8 on the vehicle body coordinate system is the same as step S11 in the display process of the warning information 81, the description thereof will be omitted.

（グローバル座標系上の刃先位置算出Ｓ２３）
次に、演算部４４は、グローバル座標系上のバケット８の刃先位置を算出する（ステップＳ２３）。演算部４４は、数１から求められた車体座標系でのバケット８の刃先の座標（ｘ、ｙ、ｚ）を、以下の数２の式により、グローバル座標系での座標（X，Y，Z）に変換する。 (Calculation of cutting edge position on global coordinate system S23)
Next, the calculation unit 44 calculates the cutting edge position of the bucket 8 on the global coordinate system (step S23). The calculation unit 44 sets the coordinates (x, y, z) of the cutting edge of the bucket 8 in the vehicle body coordinate system obtained from the equation 1 to the coordinates (X, Y, z) in the global coordinate system by the following equation of the equation 2. Convert to Z).

Figure 2021050602
Figure 2021050602

ただし、ω，φ，κは以下の数３で表される。 However, ω, φ, and κ are represented by the following number 3.

Figure 2021050602
Figure 2021050602

ここで、上述したとおり、θ１はロール角である。θ２はピッチ角である。θ３はヨー角である。 Here, as described above, θ1 is a roll angle. θ2 is the pitch angle. θ3 is the yaw angle.

（刃先の軌跡情報記憶Ｓ２４）
次に、演算部４４は、ステップＳ２３で算出された刃先位置を記憶部４３に記憶することで、刃先の軌跡情報を記憶する（ステップＳ２４）。
この際、施工後の出来形を計算・表示するためには、バケット８の刃先をバケット８の刃先の両端により形成する線として捉え、その軌跡を計算する必要がある。このため、図１２に示すように、車体１と施工面２００が並行でない時には、バケット８の刃先の中で地形に最も近い点と地形との距離ｄ１に加え、グローバル座標系における車体１の傾斜角度と施工面２００の傾斜角度の情報を用いてバケット８の刃先の線２０１が移動した時の軌跡情報を取得する。 (Trajectory information storage of cutting edge S24)
Next, the calculation unit 44 stores the locus information of the cutting edge by storing the cutting edge position calculated in step S23 in the storage unit 43 (step S24).
At this time, in order to calculate and display the finished shape after construction, it is necessary to grasp the cutting edge of the bucket 8 as a line formed by both ends of the cutting edge of the bucket 8 and calculate the trajectory thereof. Therefore, as shown in FIG. 12, when the vehicle body 1 and the construction surface 200 are not parallel to each other, in addition to the distance d1 between the point closest to the terrain and the terrain among the cutting edges of the bucket 8, the inclination of the vehicle body 1 in the global coordinate system Using the information of the angle and the inclination angle of the construction surface 200, the locus information when the line 201 of the cutting edge of the bucket 8 moves is acquired.

（目標地形に対する作業進度情報算出Ｓ２５）
次に、演算部４４は、記憶部４３に記憶したバケット８の刃先の軌跡情報と、記憶部４３に記憶されている目標地形情報とに基づいて、目標地形に対する作業進度情報を算出する（ステップＳ２５）。 (Calculation of work progress information for target terrain S25)
Next, the calculation unit 44 calculates the work progress information for the target terrain based on the locus information of the cutting edge of the bucket 8 stored in the storage unit 43 and the target terrain information stored in the storage unit 43 (step). S25).

（施工設計面情報生成＆表示位置算出Ｓ２６）
次に、演算部４４は、前記目標地形情報および作業進度情報に基づいて施工設計面情報８４の表示内容を生成する（ステップＳ２６）。また、車体１の三次元位置情報に基づいて、施工設計面情報８４を表示する位置を算出する（ステップＳ２６）。 (Construction design surface information generation & display position calculation S26)
Next, the calculation unit 44 generates the display contents of the construction design surface information 84 based on the target topography information and the work progress information (step S26). Further, the position for displaying the construction design surface information 84 is calculated based on the three-dimensional position information of the vehicle body 1 (step S26).

（施工設計面情報表示Ｓ２７）
そして、演算部４４は、レンズ光学系４１および実像表示部４０を制御し、ステップＳ２６で算出した表示位置に、施工設計面情報８４を表示する（ステップＳ２７）。 (Construction design surface information display S27)
Then, the calculation unit 44 controls the lens optical system 41 and the real image display unit 40, and displays the construction design surface information 84 at the display position calculated in step S26 (step S27).

このため、オペレータは、作業対象の地面に、施工設計面情報８４を重ねて視認することができる。例えば、施工作業前であれば、施工設計面情報８４は、作業目標の地形が表示されるため、オペレータはこれからの作業すべき目標面を容易に把握できる。
また、作業中であれば、施工設計面情報８４は作業進度情報も含んでいるため、オペレータは、実際に視認できるバケット８の刃先位置と、掘削等の作業の目標面の位置関係を視点および焦点を変更することなく容易に把握でき、かつ、目標通りに施工できているかも容易に確認できる。 Therefore, the operator can visually recognize the construction design surface information 84 superimposed on the ground to be worked. For example, before the construction work, the construction design surface information 84 displays the topography of the work target, so that the operator can easily grasp the target surface to be worked on in the future.
Further, since the construction design surface information 84 also includes the work progress information during the work, the operator can view the positional relationship between the cutting edge position of the bucket 8 that can be actually visually recognized and the target surface of the work such as excavation. It can be easily grasped without changing the focus, and it can be easily confirmed whether the construction is done according to the target.

なお、施工設計面情報８４と、警告情報８１や操作支援情報８２とを同時に表示する場合、表示コントローラ３９は、警告情報８１や操作支援情報８２の奥行き表示位置が、バケット８の位置となることを優先してレンズ光学系４１を制御する。すなわち、警告情報８１や操作支援情報８２の奥行き表示位置と、施工設計面情報８４の奥行き表示位置が異なる場合、レンズ光学系４１は、警告情報８１や操作支援情報８２の奥行き表示位置を設定するために制御される。
また、バケット８の刃先位置に合わせて表示位置を変更する作業支援情報である警告情報８１や操作支援情報８２を表示する実像表示部４０およびレンズ光学系４１と、バケット８の刃先位置に合わせて表示位置を変更しない情報である車体情報８３や施工設計面情報８４を表示する実像表示部４０およびレンズ光学系４１を別々に設けてもよい。 When the construction design surface information 84 and the warning information 81 and the operation support information 82 are displayed at the same time, the display controller 39 sets the depth display position of the warning information 81 and the operation support information 82 to the position of the bucket 8. Is prioritized to control the lens optical system 41. That is, when the depth display position of the warning information 81 and the operation support information 82 and the depth display position of the construction design surface information 84 are different, the lens optical system 41 sets the depth display position of the warning information 81 and the operation support information 82. Is controlled for.
Further, the real image display unit 40 and the lens optical system 41 for displaying warning information 81 and operation support information 82, which are work support information for changing the display position according to the cutting edge position of the bucket 8, and the lens optical system 41, and the cutting edge position of the bucket 8 are matched. The real image display unit 40 and the lens optical system 41 that display the vehicle body information 83 and the construction design surface information 84, which are information that does not change the display position, may be provided separately.

［４−３．操作支援情報表示処理Ｓ６］
次に、ステップＳ６の施工設計面情報８４を利用した操作支援情報８２の表示処理について図１３のフローチャートに基づいて説明する。
操作支援情報８２を表示する場合も、演算部４４は、グローバル座標系上の車体１の三次元位置情報を算出する（ステップＳ３１）。次に、演算部４４は、車体座標系上の刃先の位置を算出する（ステップＳ３２）。次に、演算部４４は、グローバル座標上の刃先位置を算出する（ステップＳ３３）。これらのステップＳ３１〜Ｓ３３の具体的な算出方法は、前記施工設計面情報８４の表示処理におけるステップＳ２１〜Ｓ２３と同じであるため、説明を省略する。なお、ステップＳ６の操作支援情報８２の表示処理が、ステップＳ４の施工設計面情報８４の表示処理に続いて行われた場合、ステップＳ３１〜Ｓ３３を省略し、ステップＳ２１〜Ｓ２３で算出したデータを利用してもよい。 [4-3. Operation support information display processing S6]
Next, the display processing of the operation support information 82 using the construction design surface information 84 in step S6 will be described with reference to the flowchart of FIG.
When displaying the operation support information 82, the calculation unit 44 also calculates the three-dimensional position information of the vehicle body 1 on the global coordinate system (step S31). Next, the calculation unit 44 calculates the position of the cutting edge on the vehicle body coordinate system (step S32). Next, the calculation unit 44 calculates the cutting edge position on the global coordinates (step S33). Since the specific calculation method of these steps S31 to S33 is the same as that of steps S21 to S23 in the display process of the construction design surface information 84, the description thereof will be omitted. If the display process of the operation support information 82 in step S6 is performed following the display process of the construction design surface information 84 in step S4, steps S31 to S33 are omitted, and the data calculated in steps S21 to S23 are used. You may use it.

次に、演算部４４は、上記のように演算したバケット８の刃先のグローバル座標での現在位置と、記憶部４３に記憶されている目標地形情報とに基づいて、目標地点への到達に必要な刃先の移動量情報を算出する（ステップＳ３４）。
次に、演算部４４は、ステップＳ３４で算出した移動量情報に基づいて操作支援情報８２の表示内容を生成し、バケット８の刃先の現在位置に合わせて表示位置を算出する（ステップＳ３５）。コンバイナ４２の表示面における操作支援情報８２の表示位置は、バケット８や警告情報８１に重ならない位置であり、かつ、バケット８に近接した位置に設定される。このため、図６，７では、バケット８の側方位置に表示される。また、虚像として表示される操作支援情報８２のオペレータから見て奥行き方向となる座標（ｘ）に相当する奥行き表示位置は、バケット８の刃先の位置に合わせて設定される。 Next, the calculation unit 44 is required to reach the target point based on the current position of the cutting edge of the bucket 8 calculated as described above in the global coordinates and the target terrain information stored in the storage unit 43. The movement amount information of the cutting edge is calculated (step S34).
Next, the calculation unit 44 generates the display content of the operation support information 82 based on the movement amount information calculated in step S34, and calculates the display position according to the current position of the cutting edge of the bucket 8 (step S35). The display position of the operation support information 82 on the display surface of the combiner 42 is set to a position that does not overlap the bucket 8 and the warning information 81 and is close to the bucket 8. Therefore, in FIGS. 6 and 7, it is displayed at the lateral position of the bucket 8. Further, the depth display position corresponding to the coordinates (x) in the depth direction when viewed from the operator of the operation support information 82 displayed as a virtual image is set according to the position of the cutting edge of the bucket 8.

次に、演算部４４は、レンズ光学系４１および実像表示部４０を制御し、ステップＳ３５で算出した表示位置に、操作支援情報８２を表示する（ステップＳ３６）。 Next, the calculation unit 44 controls the lens optical system 41 and the real image display unit 40, and displays the operation support information 82 at the display position calculated in step S35 (step S36).

このような本実施形態によれば、表示装置３８を、実像表示部４０、レンズ光学系４１、コンバイナ４２を備えて構成したので、作業支援情報を運転室４の前方景色に重ねて表示できる。このため、オペレータは、作業機２のバケット８および作業支援情報である警告情報８１や操作支援情報８２を視認する場合に、視点および焦点の移動を少なくでき、作業効率を向上できる。
表示コントローラ３９は、バケット８の位置情報に基づいて、警告情報８１、操作支援情報８２のコンバイナ４２の表面に沿った表示位置および奥行き表示位置を制御する。このため、オペレータが知覚する警告情報８１や操作支援情報８２の投影像を、バケット８の周囲に表示でき、オペレータの視線の動きと焦点調節とを最小限に抑えることができる。このため、オペレータがバケット８および作業支援情報を認識する場合の負荷を低減できる。
コンバイナ４２は、フロントグラス４Ａの大きさに合わせて設定できるため、従来のモニタ装置に比べて各種情報の表示領域を大きくできる。このため、従来は、モニタ装置の画面を切り替えなければ表示できない複数の情報を、コンバイナ４２の領域内に継ぎ目なく表示できる。さらに、情報化による様々な作業支援情報を提供する場合に、運転室４内のモニタ装置を増やす必要がなく、運転室４内のスペースを確保でき、オペレータの作業性や視界性を維持できる。 According to this embodiment, since the display device 38 is provided with the real image display unit 40, the lens optical system 41, and the combiner 42, the work support information can be superimposed on the front view of the driver's cab 4. Therefore, when the operator visually recognizes the bucket 8 of the work machine 2 and the warning information 81 and the operation support information 82 which are the work support information, the movement of the viewpoint and the focus can be reduced, and the work efficiency can be improved.
The display controller 39 controls the display position and the depth display position along the surface of the combiner 42 of the warning information 81 and the operation support information 82 based on the position information of the bucket 8. Therefore, the projected image of the warning information 81 and the operation support information 82 perceived by the operator can be displayed around the bucket 8, and the movement of the operator's line of sight and the focus adjustment can be minimized. Therefore, the load when the operator recognizes the bucket 8 and the work support information can be reduced.
Since the combiner 42 can be set according to the size of the front glass 4A, the display area of various information can be enlarged as compared with the conventional monitor device. Therefore, conventionally, a plurality of information that cannot be displayed without switching the screen of the monitoring device can be seamlessly displayed in the area of the combiner 42. Further, when providing various work support information by computerization, it is not necessary to increase the number of monitoring devices in the driver's cab 4, the space in the driver's cab 4 can be secured, and the workability and visibility of the operator can be maintained.

[実施形態の変形]
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記の実施形態では、第１〜第３ストロークセンサ１６〜１８によって、ブーム６、アーム７、バケット８の傾斜角を検出しているが、傾斜角の検出手段はこれらに限られない。例えば、ブーム６、アーム７、バケット８の傾斜角を検出する角度センサが備えられてもよい。 [Modification of Embodiment]
The present invention is not limited to the above-described embodiment, and modifications, improvements, and the like within the range in which the object of the present invention can be achieved are included in the present invention.
In the above embodiment, the inclination angles of the boom 6, the arm 7, and the bucket 8 are detected by the first to third stroke sensors 16 to 18, but the means for detecting the inclination angle is not limited thereto. For example, an angle sensor that detects the inclination angle of the boom 6, the arm 7, and the bucket 8 may be provided.

上記の実施形態では、バケット８を有しているが、バケット８はこれに限られず、チルトバケットであってもよい。チルトバケットとは、バケットチルトシリンダを備え、バケットが左右にチルト傾斜することで油圧ショベルが傾斜地にあっても、斜面、平地を自由な形に成形、整地をすることができ、低板プレートによる転圧作業もできるバケットである。
また、作業機２は、バケット８を有するものに限らない。例えば、作業機２としては、油圧ブレーカ等のバケット８以外のアタッチメントを装着したものでもよい。
さらに、建設機械としては、油圧ショベル１００に限らず、ブルドーザ、ホイールローダー、モーターグレーダー等の作業機を有する各種の建設機械でもよい。 In the above embodiment, the bucket 8 is provided, but the bucket 8 is not limited to this, and may be a tilt bucket. A tilt bucket is equipped with a bucket tilt cylinder, and by tilting the bucket to the left and right, even if the hydraulic excavator is on a slope, it is possible to form and level the slope and flat ground in any shape, using a low plate. It is a bucket that can also be used for rolling compaction work.
Further, the working machine 2 is not limited to the one having the bucket 8. For example, the working machine 2 may be equipped with an attachment other than the bucket 8 such as a hydraulic breaker.
Further, the construction machine is not limited to the hydraulic excavator 100, and may be various construction machines having a working machine such as a bulldozer, a wheel loader, and a motor grader.

実像表示部４０に表示される案内画面の内容は、上記のものに限られず、アタッチメントの種類や建設機械の種類などに応じて設定すればよい。また、表示コントローラ３９の機能の一部、あるいは、全てが、建設機械の外部の基地局に配置されたコンピュータによって実行されて配信されてもよい。
操作支援情報８２としては、目標地点までの移動量情報に限らない。例えば、掘削後にバケット８を上方に移動する場合は、バケット８の上方への移動量を操作支援情報８２として表示してもよい。操作支援情報８２の内容は、作業機の種類や、オペレータの操作に応じて設定すればよい。 The content of the guidance screen displayed on the real image display unit 40 is not limited to the above, and may be set according to the type of attachment, the type of construction machine, and the like. In addition, some or all of the functions of the display controller 39 may be executed and distributed by a computer located at a base station outside the construction machine.
The operation support information 82 is not limited to the movement amount information to the target point. For example, when the bucket 8 is moved upward after excavation, the amount of movement of the bucket 8 upward may be displayed as the operation support information 82. The content of the operation support information 82 may be set according to the type of the work machine and the operation of the operator.

建設機械としては、アンテナ２１、２２等のグローバル座標系上の現在位置を検出する機構を備えないものでもよい。この場合は、車体座標系上での情報に基づいて警告情報８１などを作成して表示すればよい。
また、作業機２の位置に合わせて表示する作業支援情報の奥行き表示位置は、レンズ光学系４１のレンズを移動したり、実像表示部４０を移動するものに限定されない。例えば、作業支援情報の表示画像を処理して、オペレータが知覚する投影像の奥行き表示位置を調整してもよい。 The construction machine may not have a mechanism for detecting the current position on the global coordinate system such as the antennas 21 and 22. In this case, the warning information 81 or the like may be created and displayed based on the information on the vehicle body coordinate system.
Further, the depth display position of the work support information displayed according to the position of the work machine 2 is not limited to that for moving the lens of the lens optical system 41 or moving the real image display unit 40. For example, the display image of the work support information may be processed to adjust the depth display position of the projected image perceived by the operator.

本発明は、油圧ショベルに利用できる他、ホイールローダー、ブルドーザ、モーターグレーダーなど、オペレータが作業機を視認できる各種の建設機械にも利用することができる。 The present invention can be used not only for hydraulic excavators but also for various construction machines such as wheel loaders, bulldozers, and motor graders in which the operator can visually recognize the work machine.

１…車体、３…旋回体、４…運転室、４Ａ…フロントグラス、５…走行装置、６…ブーム、７…アーム、８…バケット、１６…第１ストロークセンサ、１７…第２ストロークセンサ、１８…第３ストロークセンサ、１９…位置検出部、２１、２２…アンテナ、２３…３次元位置センサ、２４…傾斜角センサ、２５…操作装置、２６…作業機コントローラ、２７…作業機制御装置、２８…表示システム、３８…表示装置、３９…表示コントローラ、４０…実像表示部、４１…レンズ光学系、４２…コンバイナ、４３…記憶部、４４…演算部、６０…監視装置、７０…虚像、８１…警告情報、８２…操作支援情報、８３…車体情報、８４…施工設計面情報、１００…油圧ショベル 1 ... car body, 3 ... swivel body, 4 ... driver's cab, 4A ... front glass, 5 ... traveling device, 6 ... boom, 7 ... arm, 8 ... bucket, 16 ... first stroke sensor, 17 ... second stroke sensor, 18 ... 3rd stroke sensor, 19 ... position detection unit, 21, 22 ... antenna, 23 ... 3D position sensor, 24 ... tilt angle sensor, 25 ... operation device, 26 ... work machine controller, 27 ... work machine control device, 28 ... Display system, 38 ... Display device, 39 ... Display controller, 40 ... Real image display unit, 41 ... Lens optical system, 42 ... Combiner, 43 ... Storage unit, 44 ... Calculation unit, 60 ... Monitoring device, 70 ... Virtual image, 81 ... Warning information, 82 ... Operation support information, 83 ... Body information, 84 ... Construction design surface information, 100 ... Hydraulic excavator

Claims (8)

作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する建設機械の表示システムであって、
前記作業機の位置情報を検出する作業機位置検出部と、
実像を表示する実像表示部と、
前記実像を運転室内に反射することで前記運転室の外部に虚像を形成するとともに、前記運転室の外部からの光を透過するコンバイナと、
前記作業機の位置情報に基づいて、前記虚像の表示位置を変更する制御を行う表示制御部と
を備える建設機械の表示システム。 A display system for a construction machine having a work machine and a main body to which the work machine is attached and having a driver's cab.
A work machine position detection unit that detects the position information of the work machine, and
A real image display unit that displays a real image and
By reflecting the real image into the driver's cab, a virtual image is formed outside the driver's cab, and a combiner that transmits light from the outside of the driver's cab and a combiner.
A display system for a construction machine including a display control unit that controls to change the display position of the virtual image based on the position information of the work machine. 前記表示制御部は、作業機の位置情報に基づいて、前記虚像の前記コンバイナの表面に沿った表示位置および前記運転室の前方への奥行き表示位置を変更する制御を行う
請求項１に記載の建設機械の表示システム。 The first aspect of the present invention, wherein the display control unit controls to change the display position of the virtual image along the surface of the combiner and the depth display position to the front of the driver's cab based on the position information of the work machine. Display system for construction machinery. 請求項１または請求項２に記載の建設機械の表示システムにおいて、
前記虚像は、前記作業機の位置情報と、作業対象の目標地形情報とに基づいて作成される前記作業機の操作情報を含む
建設機械の表示システム。 In the display system of the construction machine according to claim 1 or 2.
The virtual image is a display system of a construction machine including operation information of the work machine created based on the position information of the work machine and the target topography information of the work target. 請求項１から請求項３のいずれかに記載の建設機械の表示システムにおいて、
前記本体部の現在位置、向き、傾斜角度を有する三次元位置情報を検出する位置検出部と、
作業対象の目標地形情報を記憶する記憶部と、を備え、
前記表示制御部は、施工後の出来形を表す施工設計面情報を表す前記虚像が、前記作業対象の地形位置に表示されるように制御を行い、
前記施工設計面情報は、前記本体部の三次元位置情報と、前記目標地形情報とに基づいて作成される
建設機械の表示システム。 In the construction machine display system according to any one of claims 1 to 3.
A position detection unit that detects three-dimensional position information having the current position, orientation, and tilt angle of the main body unit, and
Equipped with a storage unit that stores the target terrain information of the work target,
The display control unit controls so that the virtual image representing the construction design surface information representing the finished form after construction is displayed at the topographical position of the work target.
The construction design surface information is a display system of a construction machine created based on the three-dimensional position information of the main body and the target topography information. 請求項１から請求項４のいずれかに記載の建設機械の表示システムにおいて、
前記本体部の現在位置、向き、傾斜角度を有する三次元位置情報を検出する位置検出部と、
作業対象の目標地形情報および前記作業機の軌跡情報を記憶する記憶部と、を備え、
前記表示制御部は、施工後の出来形を表す施工設計面情報を表す前記虚像が、前記作業対象の地形位置に表示されるように制御を行い、
前記施工設計面情報は、前記本体部の三次元位置情報と、前記目標地形情報と、前記作業機の軌跡情報に基づく作業進度情報とに基づいて作成される
建設機械の表示システム。 In the construction machine display system according to any one of claims 1 to 4.
A position detection unit that detects three-dimensional position information having the current position, orientation, and tilt angle of the main body unit, and
A storage unit that stores target topographical information of a work target and trajectory information of the work machine is provided.
The display control unit controls so that the virtual image representing the construction design surface information representing the finished form after construction is displayed at the topographical position of the work target.
The construction design surface information is a display system for a construction machine created based on the three-dimensional position information of the main body, the target topography information, and the work progress information based on the locus information of the work machine. 請求項１から請求項５のいずれかに記載の建設機械の表示システムにおいて、
前記実像表示部と前記コンバイナとの間に配置されるレンズ光学系を備え、
前記レンズ光学系は、複数のレンズを備え、かつ、少なくとも一部のレンズは光軸方向に移動可能に設けられ、
前記表示制御部は、前記レンズ光学系の少なくとも一部のレンズを光軸方向に移動させて前記虚像の奥行き表示位置を制御する
建設機械の表示システム。 In the display system of the construction machine according to any one of claims 1 to 5.
A lens optical system arranged between the real image display unit and the combiner is provided.
The lens optical system includes a plurality of lenses, and at least some of the lenses are provided so as to be movable in the optical axis direction.
The display control unit is a display system of a construction machine that controls the depth display position of the virtual image by moving at least a part of the lenses of the lens optical system in the optical axis direction. 請求項１から請求項５のいずれかに記載の建設機械の表示システムにおいて、
前記実像表示部は、前記コンバイナとの距離を変更可能に設けられ、
前記表示制御部は、前記実像表示部と前記コンバイナとの距離を変更して前記虚像の奥行き表示位置を制御する
建設機械の表示システム。 In the display system of the construction machine according to any one of claims 1 to 5.
The real image display unit is provided so that the distance from the combiner can be changed.
The display control unit is a display system for a construction machine that controls the depth display position of the virtual image by changing the distance between the real image display unit and the combiner. 作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する建設機械において、実像を表示する実像表示部と、前記実像を運転室内に反射することで前記運転室の外部に虚像を形成するとともに、前記運転室の外部からの光を透過するコンバイナとを備えた表示システムの制御方法であって、
前記作業機の位置情報を検出するステップと、
前記作業機の位置情報に基づいて、前記コンバイナによる前記虚像の表示位置を変更する制御を行うステップと、
を備える建設機械の表示システムの制御方法。 In a construction machine having a work machine and a main body to which the work machine is attached and has a driver's cab, a real image display unit for displaying a real image and a virtual image outside the driver's cab by reflecting the real image into the driver's cab. It is a control method of a display system provided with a combiner that transmits light from the outside of the driver's cab while forming the above.
The step of detecting the position information of the working machine and
A step of controlling to change the display position of the virtual image by the combiner based on the position information of the work machine, and
How to control the display system of construction machinery.
JP2021001420A 2021-01-07 2021-01-07 DISPLAY SYSTEM FOR CONSTRUCTION MACHINE AND CONTROL METHOD THEREOF Active JP7168697B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021001420A JP7168697B2 (en) 2021-01-07 2021-01-07 DISPLAY SYSTEM FOR CONSTRUCTION MACHINE AND CONTROL METHOD THEREOF

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021001420A JP7168697B2 (en) 2021-01-07 2021-01-07 DISPLAY SYSTEM FOR CONSTRUCTION MACHINE AND CONTROL METHOD THEREOF

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018208456A Division JP6823036B2 (en) 2018-11-05 2018-11-05 Display system for construction machinery and its control method

Publications (2)

Publication Number Publication Date
JP2021050602A true JP2021050602A (en) 2021-04-01
JP7168697B2 JP7168697B2 (en) 2022-11-09

Family

ID=75157273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021001420A Active JP7168697B2 (en) 2021-01-07 2021-01-07 DISPLAY SYSTEM FOR CONSTRUCTION MACHINE AND CONTROL METHOD THEREOF

Country Status (1)

Country Link
JP (1) JP7168697B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100533A1 (en) * 2021-12-03 2023-06-08 コベルコ建機株式会社 Image display system, remote operation assistance system, and image display method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01312129A (en) * 1988-06-13 1989-12-15 Komatsu Ltd Monitoring device for arm-type work machine
JPH06156119A (en) * 1992-11-18 1994-06-03 Kansei Corp Head-up display device for construction machine
JP2002146846A (en) * 2000-11-13 2002-05-22 Topcon Corp Construction guide device for construction equipment
JP2009173195A (en) * 2008-01-25 2009-08-06 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd Display system for construction machine
JP2009243073A (en) * 2008-03-28 2009-10-22 Komatsu Ltd Working vehicle
JP2010018141A (en) * 2008-07-10 2010-01-28 Caterpillar Japan Ltd Display device in construction machine

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01312129A (en) * 1988-06-13 1989-12-15 Komatsu Ltd Monitoring device for arm-type work machine
JPH06156119A (en) * 1992-11-18 1994-06-03 Kansei Corp Head-up display device for construction machine
JP2002146846A (en) * 2000-11-13 2002-05-22 Topcon Corp Construction guide device for construction equipment
JP2009173195A (en) * 2008-01-25 2009-08-06 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd Display system for construction machine
JP2009243073A (en) * 2008-03-28 2009-10-22 Komatsu Ltd Working vehicle
JP2010018141A (en) * 2008-07-10 2010-01-28 Caterpillar Japan Ltd Display device in construction machine

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100533A1 (en) * 2021-12-03 2023-06-08 コベルコ建機株式会社 Image display system, remote operation assistance system, and image display method

Also Published As

Publication number Publication date
JP7168697B2 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
KR101815268B1 (en) Construction machinery display system and control method for same
JP6823036B2 (en) Display system for construction machinery and its control method
JP6454383B2 (en) Construction machine display system and control method thereof
JP6072993B1 (en) Work vehicle control system, control method, and work vehicle
WO2019058695A1 (en) Work machinery
US11105072B2 (en) Work vehicle and display control method
AU2017318911B2 (en) Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
US20240026651A1 (en) Display device for shovel, and shovel
JP6620011B2 (en) Work vehicle and display control method
US20180355586A1 (en) Work vehicle and method for controlling work vehicle
US20240018750A1 (en) Display device for shovel, shovel, and assist device for shovel
JP2017186875A (en) Control system of work vehicle, control method, and work vehicle
JP7168697B2 (en) DISPLAY SYSTEM FOR CONSTRUCTION MACHINE AND CONTROL METHOD THEREOF
US20210395982A1 (en) System and method for work machine
JP6559529B2 (en) Construction machinery
WO2023002796A1 (en) System for setting operation range of excavation machine and method for controlling same
CA3117824C (en) System and method for work machine
WO2023157707A1 (en) Display control device and remote operation device
US20210395980A1 (en) System and method for work machine
JP6860471B2 (en) Work machine
CA3118562A1 (en) A system and method for generating images based on work machine traveling state

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221027

R150 Certificate of patent or registration of utility model

Ref document number: 7168697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150