JP2021165526A - Work machine image display system - Google Patents
Work machine image display system Download PDFInfo
- Publication number
- JP2021165526A JP2021165526A JP2021117334A JP2021117334A JP2021165526A JP 2021165526 A JP2021165526 A JP 2021165526A JP 2021117334 A JP2021117334 A JP 2021117334A JP 2021117334 A JP2021117334 A JP 2021117334A JP 2021165526 A JP2021165526 A JP 2021165526A
- Authority
- JP
- Japan
- Prior art keywords
- image
- work
- work machine
- information
- bucket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
Abstract
Description
本発明は、作業機械の画像表示システムに関する。 The present invention relates to an image display system for a work machine.
特許文献1に記載されているように、油圧ショベル等の作業機械を遠隔操作する技術が知られている。 As described in Patent Document 1, a technique for remotely controlling a work machine such as a hydraulic excavator is known.
作業機械を遠隔操作する場合、作業機械のオペレータ視点の画像を用いた操作では、表示される画像が2次元のため、遠近感に乏しくなる。そのため、作業対象と作業機械との距離の把握が難しくなり、作業効率が低下する可能性がある。また、作業機械に搭乗したオペレータが作業機を操作する場合も、オペレータの熟練度によっては作業機と作業対象との距離を把握することが難しい場合があり、作業効率が低下する可能性もある。 When the work machine is remotely controlled, the displayed image is two-dimensional in the operation using the image from the operator's viewpoint of the work machine, so that the perspective is poor. Therefore, it becomes difficult to grasp the distance between the work target and the work machine, and the work efficiency may decrease. Also, when the operator on the work machine operates the work machine, it may be difficult to grasp the distance between the work machine and the work target depending on the skill level of the operator, which may reduce the work efficiency. ..
本発明の態様は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することを目的とする。 An aspect of the present invention is to suppress a decrease in work efficiency when working with a work machine equipped with a work machine having a work tool.
第1の態様によれば、作業具を有する作業機及び前記作業機が取り付けられた旋回体を備えた作業機械に適用される作業機械の画像表示システムであり、前記作業機の位置を検出する位置検出部と、前記作業機械から作業対象までの距離の情報を求める距離検出装置と、前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記距離の情報から得られた前記作業対象の位置の情報とを用いて第1画像を生成して、表示装置に表示させる処理装置と、を含み、前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される作業機械の画像表示システムが提供される。 According to the first aspect, it is an image display system of a work machine applied to a work machine having a work tool and a work machine having a swivel body to which the work machine is attached, and detects the position of the work machine. The position detection unit, the distance detection device that obtains information on the distance from the work machine to the work target, the position information of the work tool obtained by the position detection unit, and the distance obtained by the distance detection device. The first image includes a processing device that generates a first image using the information on the position of the work target obtained from the information and displays the first image on the display device, and the first image is the work facing the work tool. An image display system of a work machine generated based on information on a first position corresponding to the work tool on the surface of a target and information on the position of a portion extending from the first position along a direction in which the swivel body turns. Is provided.
第2の態様によれば、第1の態様において、前記第1画像は、前記旋回体の旋回中心軸と前記作業具の一部との距離を半径とし、かつ前記旋回中心軸に対応する位置を中心とする円弧の画像である作業機械の画像表示システムが提供される。 According to the second aspect, in the first aspect, in the first image, the distance between the turning center axis of the turning body and a part of the working tool is a radius, and the position corresponding to the turning center axis. An image display system for a working machine, which is an image of an arc centered on
第3の態様によれば、第2の態様において、前記作業具はバケットであり、前記作業具の一部は、前記バケットの幅方向の中央に存在する前記バケットの刃先である作業機械の画像表示システムが提供される。 According to the third aspect, in the second aspect, the work tool is a bucket, and a part of the work tool is an image of a work machine which is a cutting edge of the bucket located in the center in the width direction of the bucket. A display system is provided.
第4の態様によれば、第1の態様から第3の態様のいずれか1つにおいて、前記処理装置は、前記作業対象の位置の情報を用いて前記作業対象の表面に沿った線画像を生成して、前記作業対象の画像と合成して前記表示装置に表示させる作業機械の画像表示システムが提供される。 According to the fourth aspect, in any one of the first to third aspects, the processing apparatus uses the information on the position of the work object to produce a line image along the surface of the work object. Provided is an image display system of a work machine that is generated, combined with an image of the work target, and displayed on the display device.
第5の態様によれば、第4の態様において、前記線画像は、前記旋回体の旋回中心軸に対応する位置から放射状に延びた複数の第1の線画像と、前記旋回中心軸を中心として前記旋回体の旋回方向に沿って延びる複数の第2の線画像とを備える作業機械の画像表示システムが提供される。 According to the fifth aspect, in the fourth aspect, the line image is centered on a plurality of first line images radially extending from a position corresponding to the rotation center axis of the swivel body and the rotation center axis. Provided is an image display system of a working machine including a plurality of second line images extending along a turning direction of the swivel body.
第6の態様によれば、第1の態様から第5の態様のいずれか1つにおいて、前記旋回体に取り付けられる撮像装置を有し、前記処理装置は、前記第1画像と、前記撮像装置によって撮像された前記作業対象の画像である第2画像とを合成して、前記表示装置に表示させる作業機械の画像表示システムが提供される。 According to the sixth aspect, in any one of the first to fifth aspects, the image pickup device attached to the swivel body is provided, and the processing device includes the first image and the image pickup device. Provided is an image display system of a work machine that synthesizes a second image, which is an image of the work object captured by the above, and displays the image on the display device.
第7の態様によれば、第6の態様において、前記処理装置は、前記作業機の姿勢を用いて前記作業機が前記第2画像に占める領域を求め、得られた前記領域を前記作業対象の形状の情報から除去する作業機械の画像表示システムが提供される。 According to the seventh aspect, in the sixth aspect, the processing apparatus uses the posture of the working machine to obtain an area occupied by the working machine in the second image, and the obtained area is used as the work target. An image display system for a working machine is provided that removes from the shape information of the work machine.
第8の態様によれば、第6の態様又は第7の態様において、前記撮像装置、前記位置検出部及び前記距離検出装置は前記作業機械に備えられ、前記処理装置及び前記表示装置は、前記作業機械を遠隔操作する操作装置を備えた施設に設けられる作業機械の画像表示システムが提供される。 According to the eighth aspect, in the sixth or seventh aspect, the image pickup device, the position detection unit, and the distance detection device are provided in the work machine, and the processing device and the display device are described. An image display system for a work machine provided in a facility equipped with an operation device for remotely controlling the work machine is provided.
第9の態様によれば、作業具を有する作業機、前記作業機が取り付けられた旋回体、前記作業機の位置を検出する位置検出部、距離検出装置及び撮像装置を備えた作業機械に適用される作業機械の画像表示システムであり、表示装置と、前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記作業機械から作業対象までの距離の情報から得られた前記作業対象の位置の情報とを用いて第1画像を生成し、前記撮像装置によって撮像された前記作業対象の画像である第2画像と合成して、表示装置に表示させる処理装置と、を含み、前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される、作業機械の画像表示システムが提供される。 According to the ninth aspect, it is applied to a work machine having a work tool, a swivel body to which the work machine is attached, a position detection unit for detecting the position of the work machine, a distance detection device, and a work machine provided with an image pickup device. It is an image display system of a work machine, and information on the position of the display device and the work tool obtained by the position detection unit, and information on the distance from the work machine to the work target obtained by the distance detection device. A process of generating a first image using the information on the position of the work target obtained from the above, synthesizing it with a second image which is an image of the work target captured by the image pickup device, and displaying the image on the display device. The first image includes the device, and the information of the first position corresponding to the work tool on the surface of the work target facing the work tool, and the direction in which the swivel body turns from the first position. An image display system for a working machine is provided, which is generated based on information on the position of a portion extending along the line.
第10の態様によれば、第9の態様に係る作業機械の画像表示システムと、前記作業機械が備える前記作業機を操作する操作装置と、を含む作業機械の遠隔操作システムが提供される。 According to a tenth aspect, a remote control system for a work machine including an image display system for the work machine according to the ninth aspect and an operation device for operating the work machine included in the work machine is provided.
第11の態様によれば、第1の態様から第9の態様のいずれか1つに係る作業機械の画像表示システムを備えた作業機械が提供される。 According to the eleventh aspect, the work machine provided with the image display system of the work machine according to any one of the first to ninth aspects is provided.
第12の態様によれば、作業具と、前記作業具を有する作業機と、前記作業機が取り付けられた旋回体と、前記旋回体に取り付けられた撮像装置と、を備えた作業機械に適用される作業機械の画像表示方法であり、前記作業機の姿勢を用いて得られた前記作業具の位置の情報と、前記作業機械から作業対象までの距離の情報から得られた前記作業対象の位置の情報とを用い、前記作業具の一部に、前記作業具と対向する前記作業対象の表面で対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて第1画像を生成する工程と、生成した前記第1画像を表示装置に表示させる工程と、を含み、前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される作業機械の画像表示方法が提供される。 According to the twelfth aspect, it is applied to a work machine including a work tool, a work machine having the work tool, a swivel body to which the work machine is attached, and an imaging device attached to the swivel body. It is an image display method of the work machine to be performed, and the information of the position of the work tool obtained by using the posture of the work machine and the information of the distance from the work machine to the work target of the work target. Using the position information, information on the first position corresponding to a part of the work tool on the surface of the work object facing the work tool, and along the direction in which the swivel body turns from the first position. The first image includes a step of generating a first image based on information on the position of the extending portion and a step of displaying the generated first image on a display device, and the first image faces the work tool. Image display of the work machine generated based on the information of the first position corresponding to the work tool on the surface of the work target and the position information of the portion extending from the first position along the direction in which the swivel body turns. The method is provided.
本発明は、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下を抑制することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to suppress a decrease in work efficiency when working with a work machine equipped with a work machine having a work tool.
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。 An embodiment (embodiment) for carrying out the present invention will be described in detail with reference to the drawings.
<作業機械の画像表示システム及び作業機械の遠隔操作システムの概要>
図1は、実施形態に係る作業機械の画像表示システム100及び作業機械の遠隔操作システム101を示す図である。作業機械の画像表示システム100(以下においては適宜、画像表示システム100と称する)は、オペレータが作業機械である油圧ショベル1を遠隔操作する際に、油圧ショベル1の作業対象WAと作業具であるバケット8とを撮像装置19で撮像し、得られた画像を表示装置52に表示させる。このとき、画像表示システム100は、作業対象WA上においてバケット8の位置を示すための画像60と、撮像装置19によって撮像された作業対象WAの画像68とを含む作業用の画像69を、表示装置52に表示させる。画像68は、バケット8の画像も含む。実施形態において、作業用の画像69は、さらに基準画像65を含む。基準画像65は、作業対象WAの表面に沿って表示される画像である。基準画像65は、作業対象WAの位置を表す指標となる。油圧ショベル1の作業対象は、油圧ショベル1が備える作業機2による作業の対象である地形面、すなわち作業対象WAである。
<Overview of work machine image display system and work machine remote control system>
FIG. 1 is a diagram showing an
画像表示システム100は、撮像装置19と、姿勢検出装置32と、距離検出装置20と、処理装置51とを含む。作業機械の遠隔操作システム101(以下においては適宜、遠隔操作システム101と称する)は、撮像装置19と、姿勢検出装置32と、距離検出装置20と、作業機制御装置27と、表示装置52と、処理装置51と、操作装置53とを含む。実施形態において、画像表示システム100の撮像装置19、姿勢検出装置32及び距離検出装置20は油圧ショベル1に備えられ、処理装置51は施設50に備えられる。施設50は、油圧ショベル1を遠隔操作したり、油圧ショベル1を管理したりするために用いられる。実施形態において、遠隔操作システム101の撮像装置19、姿勢検出装置32、距離検出装置20及び作業機制御装置27は油圧ショベル1に備えられ、表示装置52、処理装置51及び操作装置53は施設50に備えられる。
The
画像表示システム100の処理装置51は、処理部51Pと、記憶部51Mと、入出力部51IOとを含む。処理部51Pは、例えばCPU(Central Processing Unit)のようなプロセッサが例示される。記憶部51Mは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ、ストレージデバイス又はこれらの組合せが例示される。入出力部51IOは、処理装置51と外部機器とを接続するためのインターフェース回路である。実施形態において、入出力部51IOには、外部機器として、表示装置52、操作装置53及び通信装置54が接続されている。入出力部51IOに接続される外部機器はこれらに限定されるものではない。
The
処理装置51は、作業機2の姿勢を用いて得られたバケット8の位置の情報と、距離検出装置20が求めた距離の情報から得られた作業対象WAの位置の情報とを用いて、バケット8と対向する作業対象WA上でバケット8に対応する第1位置の情報、及び第1位置から旋回体である上部旋回体3が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される第1画像を、撮像装置19を基準として生成する。第1位置は、バケット8と対向する作業対象WA上でバケット8の一部に対応する位置であってもよい。処理装置51は、第1画像を、撮像装置19によって撮像された作業対象WAの画像68と合成して、表示装置52に表示させる。作業対象WAは、油圧ショベル1の作業機2が掘削又は地ならし等の作業をする対象となる面である。第1画像は、作業対象WA上においてバケット8の位置を示すための画像60に含まれる。以下において、画像68を適宜、第2画像68と称する。
The
表示装置52は、液晶ディスプレイ又はプロジェクタが例示されるがこれらに限定されるものではない。通信装置54は、アンテナ54Aを備えている。通信装置54は、油圧ショベル1に備えられた通信装置25と通信して、油圧ショベル1の情報を取得したり、油圧ショベル1に情報を送信したりする。
Examples of the
操作装置53は、オペレータの左側に設置される左操作レバー53Lと、オペレータの右側に配置される右操作レバー53Rと、を有する。左操作レバー53L及び右操作レバー53Rは、前後左右の操作が2軸の動作に対応されている。例えば、右操作レバー53Rの前後方向の操作は、油圧ショベル1が備える作業機2のブーム6の動作に対応している。右操作レバー53Rの左右方向の操作は、作業機2のバケット8の動作に対応している。左操作レバー53Lの前後方向の操作は、作業機2のアーム7の動作に対応している。左操作レバー53Lの左右方向の操作は、油圧ショベル1の上部旋回体3の旋回に対応している。
The
左操作レバー53L及び右操作レバー53Rの操作量は、例えば、ポテンショメータ及びホールIC等によって検出され、処理装置51は、これらの検出値に基づいて電磁制御弁を制御するための制御信号を生成する。この信号は、施設50の通信装置54及び油圧ショベル1の通信装置25を介して作業機制御装置27に送られる。作業機制御装置27は、制御信号に基づいて電磁制御弁を制御することによって作業機2を制御する。電磁制御弁については後述する。
The amount of operation of the
処理装置51は、左操作レバー53L及び右操作レバー53Rの少なくとも一方に対する入力を取得し、作業機2及び上部旋回体3の少なくとも一方を動作させるための命令を生成する。処理装置51は、生成した命令を、通信装置54を介して油圧ショベル1の通信装置25に送信する。油圧ショベル1が備える作業機制御装置27は、通信装置25を介して処理装置51からの命令を取得し、命令にしたがって作業機2及び上部旋回体3の少なくとも一方を動作させる。
The
油圧ショベル1は、通信装置25と、作業機制御装置27と、姿勢検出装置32と、撮像装置19と、距離検出装置20と、アンテナ21,22と、位置演算装置23とを備える。作業機制御装置27は、作業機2を制御する。通信装置25は、アンテナ24に接続されており、施設50に備えられた通信装置54と通信する。作業機制御装置27は、作業機2及び上部旋回体3を制御する。姿勢検出装置32は、作業機2及び油圧ショベル1の少なくとも一方の姿勢を検出する。撮像装置19は、油圧ショベル1に取り付けられて、作業対象WAを撮像する。距離検出装置20は、油圧ショベル1の所定の位置から作業対象WAまでの距離の情報を求める。アンテナ21,22は、測位衛星200からの電波を受信する。位置演算装置23は、アンテナ21,22が受信した電波を用いて、アンテナ21,22のグローバル位置、すなわちグローバル座標系における位置を求める。
The hydraulic excavator 1 includes a
<油圧ショベル1の全体構成>
油圧ショベル1は、本体部としての車両本体1Bと作業機2とを有する。車両本体1Bは、上部旋回体3と走行体である走行装置5とを有する。上部旋回体3は、運転室4を有する。走行装置5は、上部旋回体3を搭載する。走行装置5は履帯を有している。走行装置5は、履帯が回転することにより、油圧ショベル1を走行させる。作業機2は、上部旋回体3の運転室4の側方側に取り付けられている。
<Overall configuration of hydraulic excavator 1>
The hydraulic excavator 1 has a vehicle
上部旋回体3は、作業機2及び運転室4が配置されている側が前であり、カウンタウェイト9が配置されている側が後である。前に向かって左側が上部旋回体3の左であり、前に向かって右側が上部旋回体3の右である。油圧ショベル1又は車両本体1Bは、上部旋回体3を基準として走行装置5側が下であり、走行装置5を基準として上部旋回体3側が上である。油圧ショベル1が水平面に設置されている場合、下は鉛直方向、すなわち重力の作用方向側であり、上は鉛直方向とは反対側である。
In the
作業機2は、ブーム6とアーム7と作業具であるバケット8とブームシリンダ10とアームシリンダ11とバケットシリンダ12とを有する。バケット8は、複数の刃8Bを有する。刃先8Tは、刃8Bの先端である。バケット8は、複数の刃8Bを有するものには限定されない。バケット8は、チルトバケットであってもよい。この他にも、作業機2は、バケット8の代わりに、法面バケット又は削岩用のチップを備えた削岩用のアタッチメント等を作業具として備えていてもよい。
The working machine 2 has a
ブームシリンダ10とアームシリンダ11とバケットシリンダ12とは、それぞれ油圧ポンプから吐出される作動油の圧力によって駆動される油圧シリンダである。ブームシリンダ10はブーム6を駆動する。アームシリンダ11は、アーム7を駆動する。バケットシリンダ12は、バケット8を駆動する。
The
上部旋回体3の上部には、アンテナ21,22及びアンテナ24が取り付けられている。アンテナ21,22は、油圧ショベル1の位置を検出するために用いられる。アンテナ21,22は、位置演算装置23と電気的に接続されている。
アンテナ21,22は、GNSS(Kinematic-Global Navigation Satellite Systems,GNSSは全地球航法衛星システムをいう)用のアンテナである。アンテナ21,22は、上部旋回体3の幅方向と平行な方向に沿って、一定距離だけ離れて配置されている。アンテナ21,22は、測位衛星200からGNSS電波を受信し、受信したGNSS電波に応じた信号を出力する。アンテナ21,22は、GPS(Global Positioning System)用のアンテナであってもよい。以下の説明において、アンテナ21,22を、適宜GNSSアンテナ21,22と称する。位置演算装置23は、例えばGNSSを利用して油圧ショベル1の位置を検出する。
撮像装置19は、図1に示される作業対象WAを撮像し、距離検出装置20は、自身(油圧ショベル1の所定の位置)から作業対象WAまでの距離を求めるので、できる限り広い作業対象WAからの情報を取得することが好ましい。このため、実施形態において、アンテナ24、撮像装置19及び距離検出装置20は、上部旋回体3の運転室4の上方に設置される。撮像装置19及び距離検出装置20が設置される場所は運転室4の上方に限定されるものではない。例えば、撮像装置19及び距離検出装置20は、運転室4の内部かつ上方に設置されてもよい。
The
撮像装置19は、入射面19Lが上部旋回体3の前方を向いている。距離検出装置20は、入射面20Lが上部旋回体3の前方を向いている。実施形態において、撮像装置19は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのようなイメージセンサを備えた単眼カメラである。実施形態において、距離検出装置20は、3次元レーザーレンジファインダ又は距離センサである。撮像装置19及び距離検出装置20はこれらに限定されるものではない。例えば、撮像装置19及び距離検出装置20の代わりに、作業対象WAの画像を取得する機能と、作業対象WAまでの距離を求める機能との両方を有する装置が用いられてもよい。このような装置としては、例えば、ステレオカメラが例示される。
In the
<油圧ショベル1の制御系>
図2は、実施形態に係る作業機械である油圧ショベル1の制御系1Sを示す図である。制御系1Sは、通信装置25と、センサコントローラ26と、作業機制御装置27と、撮像装置19と、距離検出装置20と、位置演算装置23と、姿勢検出装置32と、IMU(Inertial Measurement Unit:慣性計測装置)33と、油圧システム36と、を備える。通信装置25と、センサコントローラ26と、作業機制御装置27とは、信号線35によって接続されている。このような構造により、通信装置25と、センサコントローラ26と、作業機制御装置27とは、信号線35を介して相互に情報をやり取りすることができる。制御系1S内で情報を伝達する信号線は、CAN(Controller Area Network)のような車内信号線が例示される。
<Control system of hydraulic excavator 1>
FIG. 2 is a diagram showing a
センサコントローラ26は、CPU等のプロセッサと、RAM及びROM等の記憶装置とを有する。センサコントローラ26には、位置演算装置23の検出値、撮像装置19によって撮像された画像の情報、距離検出装置20の検出値、姿勢検出装置32の検出値及びIMU33の検出値が入力される。センサコントローラ26は、入力された検出値及び画像の情報を、信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
The
作業機制御装置27は、CPU等のプロセッサと、RAM及びROM等の記憶装置とを有する。作業機制御装置27は、施設50の処理装置51によって生成された、作業機2及び上部旋回体3の少なくとも一方を動作させるための命令を、通信装置25を介して取得する。作業機制御装置27は、取得した命令に基づいて、油圧システム36の電磁制御弁28を制御する。
The work
油圧システム36は、電磁制御弁28と、油圧ポンプ29と、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び旋回モータ30等の油圧アクチュエータとを備える。油圧ポンプ29は、エンジン31によって駆動されて、油圧アクチュエータを動作させるための作動油を吐出する。作業機制御装置27は、電磁制御弁28を制御することにより、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び旋回モータ30に供給される作動油の流量を制御する。このようにして、作業機制御装置27は、ブームシリンダ10、アームシリンダ11、バケットシリンダ12及び旋回モータ30の動作を制御する。
The
センサコントローラ26は、第1ストロークセンサ16、第2ストロークセンサ17及び第3ストロークセンサ18の検出値を取得する。第1ストロークセンサ16はブームシリンダ10に、第2ストロークセンサ17はアームシリンダ11に、第3ストロークセンサ18はバケットシリンダ12に、それぞれ設けられる。
The
第1ストロークセンサ16は、ブームシリンダ10の長さであるブームシリンダ長を検出してセンサコントローラ26に出力する。第2ストロークセンサ17は、アームシリンダ11の長さであるアームシリンダ長を検出してセンサコントローラ26に出力する。第3ストロークセンサ18は、バケットシリンダ12の長さであるバケットシリンダ長を検出してセンサコントローラ26に出力する。
The
ブームシリンダ長、アームシリンダ長及びバケットシリンダ長が決定されれば、作業機2の姿勢が決定される。したがって、これらを検出する第1ストロークセンサ16、第2ストロークセンサ17及び第3ストロークセンサ18は、作業機2の姿勢を検出する姿勢検出装置32に相当する。姿勢検出装置32は、第1ストロークセンサ16、第2ストロークセンサ17及び第3ストロークセンサ18に限定されるものではなく、角度検出器であってもよい。
Once the boom cylinder length, arm cylinder length, and bucket cylinder length are determined, the posture of the work machine 2 is determined. Therefore, the
センサコントローラ26は、第1ストロークセンサ16が検出したブームシリンダ長から、油圧ショベル1の座標系である車体座標系における水平面と直交する方向に対するブーム6の傾斜角を算出する。センサコントローラ26は、第2ストロークセンサ17が検出したアームシリンダ長から、ブーム6に対するアーム7の傾斜角を算出する。センサコントローラ26は、第3ストロークセンサ18が検出したバケットシリンダ長から、アーム7に対するバケット8の傾斜角を算出する。ブーム6、アーム7及びバケット8の傾斜角は、作業機2の姿勢を示す情報である。すなわち、センサコントローラ26は、作業機2の姿勢を示す情報を求める。センサコントローラ26は、算出した傾斜角を、信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
The
位置演算装置23は、CPU等のプロセッサと、RAM及びROM等の記憶装置とを有する。位置演算装置23は、油圧ショベル1の位置を求める。詳細には、位置演算装置23は、アンテナ21,22から取得した信号を用いて、グローバル座標系におけるアンテナ21,22の位置及び上部旋回体3の方位を検出して、出力する。上部旋回体3の方位は、グローバル座標系における上部旋回体3の向きを表す。上部旋回体3の向きは、例えば、グローバル座標系の鉛直軸周りにおける上部旋回体3の前後方向の向きで表すことができる。方位角は、上部旋回体3の前後方向における基準軸の、グローバル座標系の鉛直軸周りにおける回転角である。方位角によって上部旋回体3の方位が表される。
The
IMU33は、油圧ショベル1の動作及び姿勢を検出する。油圧ショベル1の動作は、上部旋回体3の動作及び走行装置5の動作の少なくとも一方を含む。油圧ショベル1の姿勢は、油圧ショベル1のロール角、ピッチ角及びヨー角によって表される。実施形態において、IMU33は、油圧ショベル1の角度又は角速度、及び加速度を検出して出力する。IMU33によって検出される油圧ショベル1の角度は、油圧ショベル1のロール角、ピッチ角及びヨー角である。
The
<座標系について>
図3は、実施形態に係る画像表示システム100及び遠隔操作システム101の座標系を説明するための図である。図4は、油圧ショベル1の背面図である。図5は、撮像装置19及び距離検出装置20の座標系を説明する図である。
<About the coordinate system>
FIG. 3 is a diagram for explaining the coordinate system of the
画像表示システム100及び遠隔操作システム101においては、グローバル座標系と、車体座標系と、撮像装置19の座標系と、距離検出装置20の座標系とが存在する。グローバル座標系(Xg,Yg,Zg)は、地球に固定された原点PGを基準とした3次元の座標系である。実施形態において、グローバル座標系は、例えば、GNSS又はGPSにおける座標系である。
In the
車体座標系とは、油圧ショベル1を基準とした、(Xm,Ym,Zm)で示される3次元の座標系である。実施形態において、車体座標系の原点位置PLは、上部旋回体3の回転中心軸であるZm軸と、上部旋回体3のスイングサークル内においてZm軸と直交する平面との交点であるがこれに限定されるものではない。Xm軸は、上部旋回体3の前後方向に延び、かつZm軸と直交する軸である。Xm軸は、上部旋回体3の前後方向における基準軸である。Ym軸は、Zm軸及びXm軸と直交する、上部旋回体3の幅方向に延びる軸である。スイングサークル内においてZm軸と直交する平面は、スイングサークルのZm軸方向における中心を通る平面とすることができる。
The vehicle body coordinate system is a three-dimensional coordinate system represented by (Xm, Ym, Zm) with reference to the hydraulic excavator 1. In the embodiment, the origin position PL of the vehicle body coordinate system is the intersection of the Zm axis, which is the rotation center axis of the
実施形態において、撮像装置19の座標系(以下においては適宜、撮像装置座標系と称する)は、図5に示されるように、撮像素子19RCの撮像面19Pの中心を原点PCとした、(Xc,Yc,Zc)で示される3次元の座標系である。撮像装置座標系(Xc,Yc,Zc)のXc軸は、撮像装置19の光学中心を通り、かつ撮像面19Pと直交する方向に延びる軸である。Yc軸は、Xc軸と直交する軸である。Zc軸は、Xc軸及びYc軸の両方と直交する軸である。
In the embodiment, the coordinate system of the image pickup device 19 (hereinafter, appropriately referred to as the image pickup device coordinate system) has the center of the
実施形態において、距離検出装置20の座標系は、図5に示されるように、距離検出素子20RCの検出面20Pの中心を原点PDとした、(Xd,Yd,Zd)で示される3次元座標系である。
In the embodiment, as shown in FIG. 5, the coordinate system of the
<油圧ショベル1の姿勢>
図4に示されるように、上部旋回体3の左右方向、すなわち幅方向に対する傾斜角θ4は油圧ショベル1のロール角であり、上部旋回体3の前後方向に対する傾斜角θ5は油圧ショベル1のピッチ角であり、鉛直軸周りにおける上部旋回体3の角度は油圧ショベル1のヨー角である。ロール角、ピッチ角及びヨー角は、IMU33によって検出された角速度を時間で積分することにより求められる。
<Attitude of hydraulic excavator 1>
As shown in FIG. 4, the inclination angle θ4 with respect to the left-right direction of the
IMU33が検出した加速度及び角速度は、動作情報としてセンサコントローラ26に出力される。センサコントローラ26は、IMU33から取得した動作情報にフィルタ処理及び積分といった処理を施して、ロール角である傾斜角θ4と、ピッチ角である傾斜角θ5と、ヨー角とを求める。センサコントローラ26は、求めた傾斜角θ4、傾斜角θ5及びヨー角を、油圧ショベル1の姿勢に関連する情報として、図2に示される信号線35及び通信装置25を介して、図1に示される施設50の処理装置51に送信する。
The acceleration and angular velocity detected by the
センサコントローラ26は、前述したように、作業機2の姿勢を示す情報を求める。作業機2の姿勢を示す情報は、具体的には、車体座標系における水平面と直交する方向(Zm軸方向)に対するブーム6の傾斜角θ1、ブーム6に対するアーム7の傾斜角θ2及びアーム7に対するバケット8の傾斜角θ3である。図1に示される施設50の処理装置51は、油圧ショベル1のセンサコントローラ26から取得した作業機2の姿勢を示す情報、すなわち傾斜角θ1,θ2,θ3からバケット8の刃先8Tの位置(以下においては適宜、刃先位置と称する)P4を算出する。
As described above, the
処理装置51の記憶部51Mは、作業機2のデータ(以下においては適宜、作業機データと称する)を記憶している。作業機データは、ブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3を含む。図3に示されるように、ブーム6の長さL1は、ブームピン13からアームピン14までの長さに相当する。アーム7の長さL2は、アームピン14からバケットピン15までの長さに相当する。バケット8の長さL3は、バケットピン15からバケット8の刃先8Tまでの長さに相当する。刃先8Tは、図1に示される刃8Bの先端である。作業機データは、車体座標系の原点位置PLに対するブームピン13までの位置の情報を含む。処理装置51は、長さL1,L2,L3,傾斜角θ1,θ2,θ3及び原点位置PLを用いて、原点位置PLに対する刃先位置P4を求めることができる。実施形態において、施設50の処理装置51が刃先位置P4を求めたが、油圧ショベル1のセンサコントローラ26が刃先位置P4を求めて施設50の処理装置51に送信してもよい。刃先位置P4は、作業機2の一部であるバケット8の刃先8Tの位置なので、作業機2の位置である。前者の場合、姿勢検出装置32、センサコントローラ26及び処理装置51が、作業機の位置を検出する位置検出部に相当する。後者の場合、姿勢検出装置32及びセンサコントローラ26が、作業機の位置を検出する位置検出部に相当する。
The
位置検出部は、前述した姿勢検出装置32、センサコントローラ26及び処理装置51,又は姿勢検出装置32及びセンサコントローラ26に限定されない。例えば、ステレオカメラ又はレーザスキャナ等の距離計測装置で作業機の位置を検出してもよい。この場合、距離計測装置が、作業機の位置を検出する位置検出部に相当する。
The position detection unit is not limited to the
<画像表示システム100及び遠隔操作システム101が実行する制御例>
図6は、実施形態に係る画像表示システム100及び遠隔操作システム101が実行する制御例のフローチャートである。図7は、撮像装置19及び距離検出装置20と作業対象WAとを示す図である。
<Control example executed by the
FIG. 6 is a flowchart of a control example executed by the
ステップS101において、図2に示されるセンサコントローラ26は、油圧ショベル1の情報を取得する。油圧ショベル1の情報は、撮像装置19、距離検出装置20、位置演算装置23、姿勢検出装置32及びIMU33から得られる情報である。撮像装置19は、図7に示されるように、撮像範囲TA内で作業対象WAを撮像し、作業対象WAの画像を得る。距離検出装置20は、検出範囲MA内に存在する作業対象WA及びその他の物体までの、距離検出装置20からの距離Ldを検出する。位置演算装置23は、グローバル座標系におけるGNSSアンテナ21,22の位置P1,P2に対応する基準位置情報Pga1,Pga2を求める。姿勢検出装置32は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を検出する。IMU33は、油圧ショベル1の姿勢、より詳細には、上部旋回体3のロール角θ4、ピッチ角θ5及びヨー角を検出する。
In step S101, the
ステップS102において、画像表示システム100及び遠隔操作システム101の処理装置51は、油圧ショベル1の通信装置25及び処理装置51に接続された通信装置54を介して、油圧ショベル1のセンサコントローラ26から油圧ショベル1の情報を取得する。
In step S102, the
処理装置51がセンサコントローラ26から取得する油圧ショベル1の情報は、撮像装置19によって撮像された作業対象WAの画像と、距離検出装置20によって検出された、距離検出装置20から作業対象WAまでの距離の情報と、姿勢検出装置32によって検出された油圧ショベル1が備える作業機2の姿勢の情報と、基準位置情報Pga1,Pga2と、油圧ショベル1の姿勢の情報と、を含む。
The information of the hydraulic excavator 1 acquired by the
距離検出装置20から作業対象WAまでの距離の情報は、検出範囲MA内に存在する作業対象WA又は物体OBまでの距離Ldと、距離Ldに対応する位置Pdの方位の情報とを含む。図7に示される例では、作業対象WAまでの距離として距離Ldが示される。位置Pdの方位の情報は、距離検出装置20を基準としたときの位置Pdの方位であり、距離検出装置20の座標系の各軸Xd、Yd、Zdに対する角度である。処理装置51が取得する作業機2の姿勢の情報は、ブームシリンダ長、アームシリンダ長及びバケットシリンダ長を用いてセンサコントローラ26が求めた、作業機2の傾斜角θ1、θ2、θ3である。油圧ショベル1の姿勢の情報は、油圧ショベル1、より具体的には上部旋回体3のロール角θ4、ピッチ角θ5及びヨー角である。
The information on the distance from the
処理装置51は、センサコントローラ26から取得した作業機2の傾斜角θ1、θ2、θ3と、記憶部51Mに記憶されているブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3とを用いて、バケット8の刃先位置P4を求める。バケット8の刃先位置P4は、油圧ショベル1の車体座標系(Xm,Ym,Zm)における座標の集合である。
The
ステップS103において、処理装置51は、作業対象WAまでの距離の情報を用いて、作業対象WAまでの距離Ldを位置の情報に変換する。位置の情報は、距離検出装置20の座標系(Xd,Yd,Zd)における位置Pdの座標である。ステップS103においては、検出範囲MA内で距離検出装置20によって検出されたすべての距離Ldが、位置の情報に変換される。処理装置51は、距離Ldと、距離Ldに対応する位置Pdの方位の情報とを用いて、距離Ldを位置の情報に変換する。ステップS103においては、検出範囲MA内に存在する物体OBまでの距離も、作業対象WAの距離Ldと同様に、位置の情報に変換される。ステップS103の処理によって、検出範囲MA内における作業対象WAの位置の情報が得られる。作業対象WAの位置の情報から、作業対象WAの形状の情報を得ることができる。
In step S103, the
作業対象WAの位置の情報及び形状の情報は、距離検出装置20の座標系(Xd,Yd,Zd)における位置Pdの座標の集合である。処理装置51は、作業対象WAの形状の情報を撮像装置座標系(Xc,Yc,Zc)の値に変換した後、車体座標系(Xm,Ym,Zm)の値に変換する。次に、ステップS104において、処理装置51は、占有領域SAを求める。
The position information and shape information of the work target WA are a set of coordinates of the position Pd in the coordinate system (Xd, Yd, Zd) of the
図8は、占有領域SAを説明する図である。占有領域SAは、作業対象WAの形状の情報内において、作業機2が占める領域である。図8に示される例では、作業機2のバケット8が距離検出装置20の検出範囲MA内、かつ距離検出装置20と作業対象WAとの間に入っている。このため、占有領域SAの部分は、距離検出装置20によって、作業対象WAまでの距離ではなくバケット8までの距離が検出される。ステップS105において、処理装置51は、ステップS103で得られた作業対象WAの形状の情報から、占有領域SAの部分を除去する。
FIG. 8 is a diagram for explaining the occupied area SA. The occupied area SA is an area occupied by the work machine 2 in the information on the shape of the work target WA. In the example shown in FIG. 8, the
占有領域SAの部分を除去するにあたって、処理装置51は、バケット8の位置及び姿勢の少なくとも一方に応じて距離検出装置20が検出する位置及び姿勢の少なくとも一方の情報を、例えば記憶部51Mに記憶させておく。このような情報は、本実施形態において油圧ショベル1の作業機2の姿勢に含まれる。作業機2の姿勢は、作業機2の傾斜角θ1、θ2、θ3、ブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3を用い、必要に応じて油圧ショベル1の姿勢を用いて求めることができる。そして、処理装置51は、距離検出装置20によって検出された情報と記憶部51Mに記憶されている情報とを比較し、両者がマッチングしたなら、バケット8が検出されたものとすることができる。両者がマッチングした部分が占有領域SAに対応するので、処理装置51は、作業対象WAの形状の情報から、占有領域SAの部分を除去する。
In removing the portion of the occupied area SA, the
作業機2の姿勢を用いて占有領域SAを除去する処理により、処理装置51は、図1に示される、作業対象WAの位置を表す指標となる基準画像65を生成する際に、占有領域SAのバケット8の情報を使わないので、基準画像65を正確に生成できる。
By the process of removing the occupied area SA using the posture of the work machine 2, the
作業機2の姿勢を用いて占有領域SAの部分を除去する処理は、次のような方法によって行われてもよい。作業機2の姿勢に含まれる、バケット8の車体座標系における位置及び姿勢の少なくとも一方に関する情報は、作業機2の傾斜角θ1、θ2、θ3、ブーム6の長さL1、アーム7の長さL2及びバケット8の長さL3から求められる。ステップS103で、車体座標系における作業対象WAの形状の情報が得られている。ステップS105において、処理装置51は、バケット8の位置を作業対象WAの形状の情報に投影した領域を占有領域SAとして、作業対象WAの形状から除去する。
The process of removing the portion of the occupied area SA using the posture of the working machine 2 may be performed by the following method. The information regarding at least one of the position and the posture of the
図9は、占有領域を除去した作業対象WAの形状の情報を示す図である。作業対象WAの形状の情報IMWAは、車体座標系(Xm,Ym,Zm)における座標Pmd(Xmd、Ymd、Zmd)の集合である。占有領域SAは、ステップS105の処理により、座標の情報が存在しない。次に、ステップS106に進み、処理装置51は第1画像を生成する。第1画像は、作業対象WA上において、バケット8に対応する部分又はバケット8の一部に対応する部分を含み、かつ油圧ショベル1の上部旋回体3が旋回する方向に沿って延びる画像である。
FIG. 9 is a diagram showing information on the shape of the work target WA from which the occupied area has been removed. The information IMWA of the shape of the work target WA is a set of coordinates Pmd (Xmd, Ymd, Zmd) in the vehicle body coordinate system (Xm, Ym, Zm). Coordinate information does not exist in the occupied area SA due to the process of step S105. Next, the process proceeds to step S106, and the
<第1画像>
図10は、第1画像IMCの一例を示す図である。図11及び図12は、処理装置51が第1画像IMCを生成する処理を説明するための図である。実施形態において、図10に示される第1画像IMCは、作業対象WA上でのバケット8の刃先8Tの位置を示すとともに、作業機2が現在の姿勢を維持したまま上部旋回体3が旋回した場合の作業対象WAの表面における刃先8Tの位置を示す。次に、処理装置51が第1画像IMCを生成する処理を説明する。
<First image>
FIG. 10 is a diagram showing an example of the first image IMC. 11 and 12 are diagrams for explaining a process in which the
第1画像IMCは、図10及び図12に示されるように、上部旋回体3の旋回中心軸である車体座標系のZm軸から見て、Zm軸とバケット8との距離Rbtを半径とし、かつZm軸に対応する位置を中心とする円弧の画像である。実施形態において、距離Rbtを求める際に用いられるバケット8の位置は、図12に示されるように、バケット8の幅方向Wbの中央に存在するバケット8の刃先8Tの位置である。距離Rbtを求める際に用いられるバケット8の位置は、バケット8の幅方向Wbの中央における刃先8Tには限定されない。距離Rbtは、車体座標系のXm−Ym平面と平行な方向に沿った、車体座標系のZm軸と、バケット8の幅方向Wbの中央における刃先8Tの位置Pbt(Xmbt,Ymbt,Zmbt)との距離である。位置Pbt(Xmbt,Ymbt,Zmbt)は、車体座標系における位置である。
As shown in FIGS. 10 and 12, the first image IMC has a radius of the distance Rbt between the Zm axis and the
図12の線LCは、バケット8の幅方向Wbの中央を示す。バケット8の幅方向Wbは、バケット8とアーム7とを連結するバケットピン15が延びる方向と平行な方向であり、車体座標系のYm軸と平行な方向である。距離Rbtは、車体座標系において、Xm軸と平行な方向に沿った、Zm軸とバケット8の刃先8Tとの距離である。
The line LC in FIG. 12 shows the center of the
第1画像IMCが示す位置は、作業対象WAの表面WASの位置である。処理装置51は、車体座標系のZm軸を中心とした距離Rbtを半径とする円弧を、軸作業対象WAの表面WASへ車体座標系のZm軸と平行な方向に投影した部分(以下においては適宜、交差部分と称する)の位置Pt(Xmt,Ymt,Zmt)を求める。交差部分の画像が第1画像IMCとなる。
The position indicated by the first image IMC is the position of the surface WAS of the work target WA. The
交差部分の位置Pt(Xmt,Ymt,Zmt)は、例えば、車体座標系のZm軸を中心とした距離Rbtを半径とする曲面と、作業対象WAの表面WASとが交差する部分の位置となる。バケット8の幅方向Wbの中央に存在するバケット8の刃先8Tを通り、かつ車体座標系のZm軸と平行な方向に延びる直線VLが作業対象WAの表面WASと交差する部分は、交差部分の一部の位置である。処理装置51は、交差部分の位置Pt(Xmt,Ymt,Zmt)の情報を用いて、第1画像IMCを生成する。第1画像IMCは、交差部分の位置Pt(Xmt,Ymt,Zmt)の情報に対応している。
The position Pt (Xmt, Ymt, Zmt) of the intersecting portion is, for example, the position of the portion where the curved surface having the distance Rbt centered on the Zm axis of the vehicle body coordinate system as the radius and the surface WAS of the work target WA intersect. .. The portion where the straight line VL that passes through the
交差部分の位置Pt(Xmt,Ymt,Zmt)の中の第1位置Ptcは、バケット8と対向する作業対象WAの表面WASでバケット8の位置、実施形態においてはバケット8の幅方向Wbの中央に存在するバケット8の刃先8Tの位置に対応する。第1位置Ptcは、幅方向Wb中央における刃先8Tの位置には限定されず、例えば幅方向Wpの一端部における位置であってもよい。
The first position Ptc in the position Pt (Xmt, Ymt, Zmt) of the intersection is the position of the
第1位置Ptcから上部旋回体3の旋回方向Rtdに沿って延びる部分の位置は、交差部分の位置Pt(Xmt,Ymt,Zmt)のうち、第1位置Ptcから旋回方向Rtdに沿って延びる部分の位置である。第1画像IMCは、第1位置Ptcの情報、及び第1位置Ptcから旋回方向Rtdに沿って延びる部分の位置の情報に対応する。すなわち、第1画像IMCは、第1位置Ptcの情報、及び第1位置Ptcから旋回方向Rtdに沿って延びる部分の位置の情報に基づいて生成される。
The position of the portion extending from the first position Ptc along the turning direction Rtd of the
実施形態において、処理装置51は、直線LV1の画像である第1直線画像62、及び直線LV2の画像である第2直線画像63も図1に示される表示装置52に表示させる。直線LV1は、バケット8の幅方向Wbの一方の端部8Wt1側における刃8Bの外側の位置Pb1から、車体座標系のZm軸と平行な方向に沿って作業対象WAの表面WASまで延ばした直線である。直線LV2は、バケット8の幅方向Wbの他方の端部8Wt2側における刃8Bの外側の位置Pb2から、車体座標系のZm軸と平行な方向に沿って作業対象WAの表面WASまで延ばした直線である。直線LV1と作業対象WAの表面WASとが交差する部分の位置をPt1、直線LV2と作業対象WAの表面WASとが交差する部分の位置をPt2とする。車体座標系におけるバケット8の各部の位置及び車体座標系における作業対象WAの表面WASの位置が分かっているので、処理装置51は、これらの位置から位置Pb1,Pb2,Pt1,Pt2を求めることができる。位置Pb1,Pb2,Pt1,Pt2が得られれば、直線LV1及び直線LV2も得られるので、処理装置51は、第1直線画像62及び第2直線画像63を生成することができる。
In the embodiment, the
第1画像IMC、第1直線画像62及び第2直線画像63が得られたら、処理装置51は、これらを撮像装置19の視点の画像に変換する。撮像装置19の視点の画像は、撮像装置19を基準とした画像である。次に、第1画像IMC、第1直線画像62及び第2直線画像63を撮像装置19の視点の画像に変換するための処理について説明する。
When the first image IMC, the first
図13は、撮像装置19の原点PCと、第1画像IMC、第1直線画像62及び第2直線画像63との位置関係を示す図である。撮像装置19の視点の画像は、車体座標系(Xm,Ym,Zm)における撮像装置の原点PCから第1画像IMC、第1直線画像62及び第2直線画像63を見たときの画像である。
FIG. 13 is a diagram showing the positional relationship between the origin PC of the
第1画像IMC、第1直線画像62及び第2直線画像63は、3次元空間内の画像であるが、撮像装置19の視点の画像は2次元の画像である。したがって、処理装置51は、3次元空間、すなわち車体座標系(Xm,Ym,Zm)内に定義された第1画像IMC、第1直線画像62及び第2直線画像63を、2次元面上に投影する透視投影変換を実行する。撮像装置19の視点の画像に変換された第1画像IMC、第1直線画像62及び第2直線画像63を、以下においては適宜、案内画像60と称する。
The first image IMC, the first
図14は、図1に示された基準画像65と第1画像IMCとを示す図である。案内画像60が生成されたら、ステップS107に進み、処理装置51は、基準画像65を生成する。基準画像65は、作業対象WAの表面WASに沿った線画像である。処理装置51は、作業対象WAの位置の情報、詳細には作業対象WAの表面WASにおける位置の情報を用いて、基準画像65を生成する。
FIG. 14 is a diagram showing the
基準画像65は、上部旋回体3の旋回中心軸であるZm軸に対応する位置から放射状に延びた複数の第1の線画像RLと、Zm軸を中心として上部旋回体3の旋回方向Rtdに沿って延びる複数の第2の線画像CLとを備える。実施形態において、複数の第1の線画像RLは、車体座標系(Xm,Ym,Zm)のZm軸方向から見て、Zm軸から放射状に延び、かつZm軸を中心とした円の周方向に沿って配置される線画像である。複数の第2の線画像CLは、車体座標系(Xm,Ym,Zm)のZm軸方向から見て、Zm軸を中心とした円の周方向に沿って延びる円弧又は円の画像であり、Zm軸を中心とした円の径方向に沿って配置される。
The
第1の線画像RL及び第2の線画像CLは、車体座標系(Xm,Ym,Zm)で定義されるので、3次元の情報を含んでいる。実施形態において、複数の第1の線画像RLは、Zmを中心とした円の周方向に沿って、角度α毎に等間隔に配置される。複数の第2の線画像CLは、Zmを中心とした円の径方向に沿って、距離ΔR毎に等間隔に配置される。 Since the first line image RL and the second line image CL are defined by the vehicle body coordinate system (Xm, Ym, Zm), they include three-dimensional information. In the embodiment, the plurality of first line image RLs are arranged at equal intervals at each angle α along the circumferential direction of the circle centered on Zm. The plurality of second line image CLs are arranged at equal intervals for each distance ΔR along the radial direction of the circle centered on Zm.
処理装置51は、第1の線画像RL及び第2の線画像CLを生成したら、これらを撮像装置19の視点の画像に変換して、基準画像65を生成する。第1の線画像RL及び第2の線画像CLが撮像装置19の視点の画像に変換されることで、表示装置52は、基準画像65を作業対象WAの形状に合わせて変形させて表示させることができる。
After the
次に、ステップS108において、処理装置51は、生成された案内画像60及び基準画像65から、前述した占有領域SAを除去する。案内画像60及び基準画像65は、作業対象WAの形状の情報から生成されるので、案内画像60及び基準画像65から占有領域SAを除去することは、占有領域SAを作業対象WAの形状の情報から除去することを意味する。処理装置51は、占有領域SAを除去した作業対象WAの形状の情報を用いて、案内画像60及び基準画像65を生成してもよい。
Next, in step S108, the
ステップS108において、処理装置51は、占有領域SAを撮像装置19の視点の画像に変換して、案内画像60及び基準画像65から除去する。処理装置51は、撮像装置19の視点の画像に変換される前の第1画像IMC、第1直線画像62及び第2直線画像63と、撮像装置19の視点の画像に変換される前の第1の線画像RL及び第2の線画像CLとから、それぞれ撮像装置19の視点の画像に変換される前の占有領域SAを除去してもよい。
In step S108, the
図15は、作業用の画像69を示す図である。ステップS109において、処理装置51は、占有領域SAが除去された案内画像60と、基準画像65と、撮像装置19によって撮像された作業対象WAの第2画像68とを合成して、作業用の画像69を生成する。ステップS110において、処理装置51は、生成された作業用の画像69を表示装置52に表示させる。作業用の画像69は、作業対象WAの画像68と、基準画像65と、案内画像60とが合成された画像である。
FIG. 15 is a diagram showing a working
基準画像65は、上部旋回体3の旋回中心軸を中心とした円の周方向及び径方向に沿って、作業対象WAの表面WASに延びる複数の線画像なので、油圧ショベル1のオペレータは、基準画像65を参照することにより、作業対象WAの位置を把握することができる。例えば、オペレータは、第2の線画像CLにより奥行き、すなわち油圧ショベル1が備える上部旋回体3の前後方向の位置を把握でき、第1の線画像RLにより上部旋回体3の旋回方向Rtdにおける位置を把握できる。
Since the
距離Rbtは、バケット8とZm軸との距離に応じて変化するので、第1画像IMCもバケット8とZm軸との距離に応じて、油圧ショベル1から遠ざかったり油圧ショベル1に近づいたりする。第1画像IMCは、バケット8の現在の位置に応じて移動するので、オペレータは、第1画像IMCを参照しながら作業機2を操作することで、作業対象WAとバケット8との位置を把握できる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。
Since the distance Rbt changes according to the distance between the
オペレータは、第1画像IMCと第2の線画像CLとを参照することで、現在の作業機2の姿勢のまま上部旋回体3が旋回した場合に、掘削対象の位置がバケット8よりも遠い側にあるのか又は近い側にあるのかを容易に把握できる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。
By referring to the first image IMC and the second line image CL, the operator refers to the position of the excavation target farther than the
第1直線画像62及び第2直線画像63は、作業対象WAの表面WASにおけるバケット8の刃先8Tの位置を示す。すなわち、作業対象WAの表面WASにおいて第1直線画像62と第2直線画像63とで挟まれる部分がバケット8の刃先8Tの位置になる。このため、オペレータは、第1直線画像62及び第2直線画像63により、バケット8と作業対象WAとの位置関係をより容易に把握できる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。
The first
基準画像65及び第1画像IMCは、作業対象WA、例えば油圧ショベル1が作業する対象の地形の形状に沿って表示されるため、表示装置52に2次元で表示された地形面上において、基準画像65と第1画像IMCとの相対位置関係が容易に把握できる。さらに、基準画像65を構成する、第1の線画像RL及び第2の線画像CLは、車体座標系において等間隔に配置されているため、オペレータは地形面上での距離感をつかみやすく、遠近感の把握が容易になる。
Since the
実施形態において、作業用の画像69は、バケット8の刃先8Tと作業対象WAとの距離を示す情報64を含んでもよい。情報64により、オペレータは、バケット8の刃先8Tと作業対象WAとの実際の距離を把握できるという利点がある。バケット8の刃先8Tと作業対象WAとの距離は、バケット8の幅方向Wbの中央における刃先8Tから作業対象WAの表面WASまでの距離とすることができる。
In the embodiment, the working
情報64は、作業具又は作業対象WAに関する空間位置情報であればよい。空間位置情報は、バケット8の刃先8Tと作業対象WAとの距離に代え、又はその距離に加えて、バケット8の角度といった姿勢に関する情報、バケット8と作業対象WAとの相対距離を示す情報、バケット8の例えば刃先8Tの向きと作業対象WAの面の向きとの関係を示す情報、バケット8の位置を座標で示した情報、作業対象WAの面の向きを示す情報及び撮像装置19からバケット8の刃先8Tまでの車体座標系におけるXm方向の距離を示す情報といった情報を含む。
The
すなわち、処理装置51は、作業具であるバケット8の位置、バケット8の姿勢、作業対象WAの位置、作業対象WAの相対的な姿勢、バケット8と作業対象WAとの相対的な距離、バケット8と作業対象WAとの相対的な姿勢の少なくとも1つを求めて、表示装置52に表示させてもよい。
That is, the
<変形例に係る基準画像>
図16は、変形例に係る基準画像65aを示す図である。基準画像65aは、車体座標系を極座標系とした基準画像65とは異なり、車体座標系(Xm,Ym,Zm)におけるZm軸の方向から見て、複数の第1の直線画像66と、これらに直交する複数の第2の直線画像67とで形成される格子の画像である。複数の第1の直線画像66は、車体座標系のXm軸に平行であり、複数の第2の直線画像67は、車体座標系のYm軸に平行である。複数の第1の直線画像66が配列される間隔は等しい。また複数の第2の直線画像67が配列される間隔は等しい。そして、複数の第1の直線画像66が配列される間隔と、複数の第2の直線画像67が配列される間隔とは等しい。
<Reference image related to the modified example>
FIG. 16 is a diagram showing a
処理装置51は、占有領域SAが除去された案内画像60と、基準画像65aと、撮像装置19によって撮像された作業対象WAの第2画像68とを合成して、作業用の画像69を生成する。処理装置51がこのような格子画像を案内画像60とともに表示装置52に表示させることによっても、オペレータは、旋回時及び掘削時にバケット8の位置と作業対象WAとの位置関係を容易に把握することができる。
The
<第3画像>
図17は、第1画像IMC及び第3画像61の一例を示す図である。第3画像61は、位置Pt1と、位置Pt2とを結び、かつ作業対象WAの表面WASに沿った線画像である。位置Pt1は、第1直線画像62に対応する直線LV1と作業対象WAの表面WASとが交差する部分の位置である。位置Pt2は、第2直線画像63に対応する直線LV2と作業対象WAの表面WASとが交差する部分の位置である。処理装置51は、第1位置Pt1と第2位置Pt2とを結ぶ直線を作業対象WAの表面WASに投影したときの表面WASの位置の集合を第3画像61とする。バケット8の幅方向Wbにおける中央の位置の刃先8Tから延びる、車体座標系のZm軸と平行な直線が、作業対象WAの表面WASと交差する位置Ptは、第3画像61の一部である。また、位置Ptは、第1画像IMCの一部でもある。
<Third image>
FIG. 17 is a diagram showing an example of the first image IMC and the
処理装置51は、第1画像IMCに加えて第3画像61を表示装置52に表示させてもよい。第3画像61により、オペレータは、作業対象WAの表面WASにおけるバケット8の現在の位置を把握できる。その結果、オペレータは、バケット8と作業位置との位置関係を容易かつ確実に把握できる。処理装置51は、第1画像IMC及び第3画像61を表示装置52に表示させる場合、両者の表示形態を異ならせてもよい。表示形態を異ならせることには、例えば、第1画像IMCの色と第3画像61の色とを異ならせること、第1画像IMCの線の太さと第3画像61の線の太さとを異ならせること、第1画像IMCの線の種類と第3画像61の線の種類とを異ならせること、及びこれらの2以上を組み合わせることが含まれる。第1画像IMCと第3画像61との表示形態を異ならせることにより、オペレータは、第3画像61を第1画像IMCと区別しやすくなる。
The
<変形例に係る油圧ショベル1の制御系>
図18は、変形例に係る油圧ショベル1の制御系1Saを示す図である。前述した画像表示システム100及び遠隔操作システム101は、図1に示される施設50の操作装置53を用いて油圧ショベル1を遠隔操作した。本変形例は、図2に示される運転室4内に表示装置52aが設けられている。本変形例は、油圧ショベル1にオペレータの作業を補助させるために、作業用の画像69が表示装置52aに表示される。
<Control system of hydraulic excavator 1 according to the modified example>
FIG. 18 is a diagram showing a control system 1Sa of the hydraulic excavator 1 according to the modified example. The
制御系1Saは、前述した制御系1Sの信号線35に、処理装置51及び操作装置53aが接続されている。処理装置51には、表示装置52aが接続されている。制御系1Saが備える処理装置51は、前述した画像表示システム100及び遠隔操作システム101において図1に示される施設50に備えられる処理装置51と同様の機能を有している。処理装置51及び表示装置52aによって、変形例に係る画像表示システム100aが構成される。
In the control system 1Sa, the
変形例において、処理装置51が姿勢検出装置32及びセンサコントローラ26の検出値を用いて刃先位置P4を求めてもよいし、センサコントローラ26が姿勢検出装置32の検出値を用いて刃先位置P4を求めてもよい。前者の場合、位置検出装置32、センサコントローラ26及び処理装置51が、作業具の位置を検出する位置検出部に相当する。後者の場合、位置検出装置32及びセンサコントローラ26が、作業具の位置を検出する位置検出部に相当する。位置検出部は、前述した、ステレオカメラ又はレーザスキャナ等の距離計測装置であってもよい。
In the modified example, the
制御系1Saの表示装置52aは、運転席のフロントウィンドウFGに画像を投影するヘッドアップディスプレイである。表示装置52aは、ヘッドマウントディスプレイであってもよい。表示装置52aは、フロントウィンドウFG越しに見えるバケット8に合わせた位置に、作業用の画像69を表示する。この場合、作業対象WA及びバケット8はフロントウィンドウFG越しに見えるので、表示装置52aが表示する作業用の画像69は、少なくとも第1画像IMCを含んでいればよい。すなわち、表示装置52aがヘッドアップディスプレイ又はヘッドマウントディスプレイである場合、処理装置51は、第1画像IMCを表示装置52aに表示させる。変形例では、第1画像IMCに加えて、基準画像65も表示装置52aに表示される。
The
表示装置52aはヘッドアップディスプレイには限定されず、通常のディスプレイであってもよい。表示装置52aが通常のディスプレイである場合、処理装置51は、少なくとも第1画像IMCと撮像装置19によって撮像された第2画像68とが合成された作業用の画像69を、表示装置52aに表示させる。
The
操作装置53aは、油圧ショベル1を操作するための装置であり、左操作レバー53La及び右操作レバー53Raを備えている。操作装置53aは、パイロット油圧方式であってもよいし、電気方式であってもよい。
The
制御系1Saを備える油圧ショベル1は、画像表示システム100aによって、所定の位置、例えば運転席に着座したオペレータの視点に対応する位置から作業対象WAを見た場合に、第1画像IMCを少なくとも含む作業用の画像69が、フロントウィンドウFGに表示される。このような処理により、オペレータは、フロントウィンドウFGに画像に表示された第1画像IMCによって、バケット8と作業位置との位置関係を容易かつ確実に把握できる。その結果、画像表示システム100aは、作業効率の低下及び作業の精度の低下を抑制させることができる。バケット8が油圧ショベルの車両本体1Bから離れるほど、オペレータは遠近感を把握し難くなるため、このような場合において、画像表示システム100aは作業効率及び作業の精度の低下を抑制するができる。
The hydraulic excavator 1 including the control system 1Sa includes at least the first image IMC when the work target WA is viewed from a predetermined position, for example, a position corresponding to the viewpoint of the operator seated in the driver's seat by the
また、経験の浅いオペレータも、画像表示システム100aを備える油圧ショベル1を用いることにより、バケット8の遠近感を把握しやすくなる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。さらに、夜間作業のように、オペレータが実際の作業対象WAを目視し難い状況であっても、オペレータは表示装置52aに表示された作業用の画像69を見ながら作業することができるので、作業効率及び作業の精度の低下が抑制される。
Further, even an inexperienced operator can easily grasp the perspective of the
画像表示システム100,100a及び遠隔操作システム101は、撮像装置19の視点で生成された案内画像60及び基準画像65又は65aを、撮像装置19によって撮像された実際の作業対象WAの画像68と重ね合わせて、表示装置52に表示する。このような処理により、画像表示システム100及び遠隔操作システム101は、表示装置52に表示された作業対象WAの画像を用いて油圧ショベル1を遠隔操作するオペレータに、バケット8の位置と作業対象WAとの位置関係を把握させやすくすることができる。その結果、作業効率の低下が抑制される。また、作業の精度の低下が抑制される。
The
案内画像60に含まれる第1画像IMCは、上部旋回体3の旋回方向に沿って延びるので、オペレータは、案内画像60を参照することで、上部旋回体3が旋回した場合におけるバケット8と作業対象WAにおける作業地点との相対的な位置関係を容易に把握できる。その結果、画像表示システム100及び遠隔操作システム101は、旋回体を有する作業機械において、作業効率の低下を抑制させることができ、また作業の精度の低下を抑制させることができる。
Since the first image IMC included in the
経験の浅いオペレータも、画像表示システム100,100a及び遠隔操作システム101を用いることにより、バケット8の位置と作業対象WAにおける作業地点との位置関係を容易に把握できる。その結果、作業効率及び作業の精度の低下が抑制される。また、画像表示システム100及び遠隔操作システム101は、案内画像60と、基準画像65又は65aと、実際の作業対象WAの画像68とを重ね合わせて表示装置52に表示することにより、作業中にオペレータが注目する画面を単一として、作業効率の低下を抑制できる。
Even an inexperienced operator can easily grasp the positional relationship between the position of the
基準画像65又は65aは、隣接する第1の線画像RL同士の間隔が等しく、隣接する第2の線画像CL同士の間隔が等しい。このため、基準画像65又は65aと、撮像装置19によって撮像された実際の作業対象WAの画像68とを重ね合わせて表示することにより、作業対象WAでの作業地点を把握しやすくなる。また、案内画像60の第1画像IMCと基準画像65とを重ね合わせることにより、オペレータは、バケット8が移動した距離を把握することが容易になるので、作業効率の低下が抑制される。
In the
案内画像60及び基準画像65又は65aは、作業機2の領域である占有領域SAが除去されるので、案内画像60及び基準画像65又は65aは、占有領域SAによる歪み及び作業機2に案内画像60及び基準画像65が重畳して表示されることを回避できる。その結果、画像表示システム100及び遠隔操作システム101は、オペレータにとって見やすい形態で作業用の画像69を表示装置52に表示できる。
Since the occupied area SA, which is the area of the work machine 2, is removed from the
実施形態及び変形例において、案内画像60は、少なくとも第1画像IMCを含んでいればよい。すなわち、案内画像60は、第1直線画像62及び第2直線画像63を含まなくてもよい。また、処理装置51は、バケット8の刃先8Tと作業対象WAとの距離に応じて、案内画像60のうち、例えば第1画像IMCの表示形態を変更してもよい。このようにすることで、オペレータは、バケット8の位置と作業対象WAとの距離を把握しやすくなる。
In the embodiments and modifications, the
実施形態において、処理装置51は、少なくとも第1画像IMC及び第2画像68を表示装置52に表示させればよい。この場合でも、オペレータは、上部旋回体3の旋回方向Rtdに沿って延びる第1画像IMCを参照することで、上部旋回体3が旋回した場合におけるバケット8と作業対象WAにおける作業地点との相対的な位置関係を容易に把握できる。その結果、少なくとも第1画像IMC及び第2画像68が表示装置52に表示されることにより、旋回体を有する作業機械において、作業効率の低下が抑制され、また作業の精度の低下が抑制される。
In the embodiment, the
実施形態において、処理装置51は、車体座標系(Xm,Ym,Zm)で作業用の画像69を生成したが、グローバル座標系(Xg、Yg、Zg)、撮像装置座標系(Xc,Yc,Zc)又は距離検出装置20の座標系(Xd、Yd、Zd)のいずれで作業用の画像69を生成してもよい。グローバル座標系(Xg、Yg、Zg)で作業用の画像69が生成される場合は、GNSSアンテナ21,22及び位置演算装置23が必要になる。車体座標系(Xm,Ym,Zm)、撮像装置座標系(Xc,Yc,Zc)及び距離検出装置20の座標系(Xd、Yd、Zd)で作業用の画像69が生成される場合は、GNSSアンテナ21,22及び位置演算装置23は不要である。
In the embodiment, the
実施形態において、作業機2の領域である占有領域SAが案内画像60及び基準画像65から除去されなくてもよい。この場合でも、表示装置52に表示された第1画像IMC及び第2画像68によって、オペレータは、上部旋回体3が旋回した場合におけるバケット8と作業対象WAにおける作業地点との相対的な位置関係を容易に把握できる。このため、旋回体を有する作業機械において、作業効率の低下が抑制される。また、旋回体を有する作業機械において、作業の精度が抑制される。
In the embodiment, the occupied area SA, which is the area of the working machine 2, may not be removed from the
前述の実施形態では、距離検出装置20により検出された油圧ショベル1の一部、例えば、前述のようにバケット8を除去し、作業対象WAの形状の情報(3次元地形データ)とした。しかし、過去、例えば数秒前に取得した3次元地形データを処理装置51の記憶部51Mに記憶しておき、処理装置51の処理部51Pが、現在の作業対象WAと、その記憶されている3次元地形データとが同じ位置であるのか判断し、同じ位置であるのであれば、過去の3次元地形データを用いて、基準画像65又は65aを表示させてもよい。つまり、処理装置51は、撮像装置19から見て、油圧ショベル1の一部によって隠れている地形があっても、過去の3次元地形データがあれば、基準画像65又は65aを表示させることができる。
In the above-described embodiment, a part of the hydraulic excavator 1 detected by the
<荷積み作業における画像表示の例>
実施形態及び変形例において、油圧ショベル1がダンプトラックのベッセルに岩石及び土砂等の積荷を積み込む荷積み作業において、画像表示システム100,100aによる画像表示の例を説明する。画像表示システム100,100aの処理装置51は、距離検出装置20によって検出された、荷積み作業の対象であるダンプトラックの位置を取得する。作業用の画像69に含まれる第1画像IMC及び基準画像65又は65aは、ダンプトラックの位置で立ち上がるので、オペレータは作業機2とダンプトラックの高さ及び位置との関係を把握できる。作業用の画像69にダンプトラックの位置を加えることで、オペレータは、上部旋回体3を旋回させて作業機2のバケット8をダンプトラックに接近させる場合に、バケット8がどの位置でダンプトラックに到達するかを把握できる。このため、作業機2とダンプトラックとの干渉が抑制される。
<Example of image display in loading work>
In the embodiment and the modified example, an example of image display by the
処理装置51は、距離検出装置20によって検出されたダンプトラックの位置を作業対象WAの一部として取り扱ってもよいし、図2に示される通信装置25を介して管理サーバ等からダンプトラックの位置を取得してもよい。後者の場合、処理装置51は、取得したダンプトラックの位置に、ダンプトラックのモデルの情報を当てはめて、ダンプトラックの位置としてもよい。
The
処理装置51は、ダンプトラックの高さと、作業機2の高さ、詳細にはバケット8の刃先8Tの高さとを比較し、比較結果に応じて第1画像IMCの表示形態を変更してもよい。このような処理により、オペレータは、作業機2の高さとダンプトラックの高さとの関係を把握できるので、作業機2とダンプトラックとの干渉が抑制される。第1画像の表示形態を変更する場合、処理装置51は、例えば、ダンプトラックの高さよりも作業機2の高さが低ければ第1画像IMCを赤色で表示し、ダンプトラックの高さと作業機2の高さとが同等であれば第1画像IMCを橙色で表示し、ダンプトラックの高さよりも作業機2の高さが高ければ第1画像IMCを緑色で表示することができる。
The
第1画像IMCとともに第3画像61と第1直線画像61及び第2直線画像62との少なくとも一方が表示される場合、処理装置51は、ダンプトラックの高さに応じて、第1画像IMCとともに第3画像61と第1直線画像61及び第2直線画像62との少なくとも一方の表示形態を変更してもよい。このような処理により、オペレータは、作業機2の高さとダンプトラックの高さとの関係を把握しやすくなる。
When at least one of the
実施形態及び変形例において、作業機械は、作業機2を有する旋回体を備えていれば、作業機2の種類及び作業機械の種類は限定されない。 In the embodiments and modifications, the type of the work machine 2 and the type of the work machine are not limited as long as the work machine includes a swivel body having the work machine 2.
以上、実施形態及び変形例を説明したが、前述した内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、実施形態及び変形例の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも1つを行うことができる。 Although the embodiments and modifications have been described above, the embodiments are not limited by the contents described above. In addition, the above-mentioned components include those that can be easily assumed by those skilled in the art, those that are substantially the same, that is, those in a so-called equal range. Furthermore, the components described above can be combined as appropriate. Further, at least one of various omissions, substitutions and changes of the components can be made without departing from the gist of the embodiments and modifications.
1 油圧ショベル
1B 車両本体
1S,1Sa 制御系
2 作業機
3 上部旋回体
8 バケット
8B 刃
8T 刃先
19 撮像装置
20 距離検出装置
23 位置演算装置
50 施設
51 処理装置
51IO 入出力部
51M 記憶部
51P 処理部
52,52a 表示装置
60 案内画像
61 第3画像
62 第1直線画像
63 第2直線画像
65,65a 基準画像
68 第2画像
69 作業用の画像
100,100a 作業機械の画像表示システム(画像表示システム)
101 作業機械の遠隔操作システム(遠隔操作システム)
CL 第2の線画像
RL 第1の線画像
FG フロントウィンドウ
IMC 第1画像
Rtd 旋回方向
WA 作業対象
WAS 表面
Wb 幅方向
1
101 Remote control system for work machines (remote control system)
CL 2nd line image RL 1st line image FG Front window IMC 1st image Rtd Turning direction WA Work target WAS Surface Wb Width direction
Claims (8)
前記作業機の位置を検出する位置検出部と、
検出範囲内の作業対象の形状の情報を非接触で求める距離検出装置と、
前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が求めた前記作業対象の形状の情報とを用いて前記作業対象の地形の形状に沿った第1画像を生成して、表示装置に表示させる処理装置と、を含み、
前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて前記作業対象の地形の形状に沿って生成される、
作業機械の画像表示システム。 It is an image display system of a work machine applied to a work machine having a work tool and a work machine having a swivel body to which the work machine is attached.
A position detection unit that detects the position of the work machine, and
A distance detection device that non-contactly obtains information on the shape of the work object within the detection range,
A first image along the shape of the terrain of the work target is generated by using the position information of the work tool obtained by the position detection unit and the shape information of the work target obtained by the distance detection device. Then, including a processing device to be displayed on the display device,
The first image shows information on a first position corresponding to the work tool on the surface of the work object facing the work tool, and a position of a portion extending from the first position along a direction in which the swivel body turns. Generated along the shape of the terrain of the work target based on the information of
Image display system for work machines.
請求項1に記載の作業機械の画像表示システム。 The information on the shape of the work object is three-dimensional topographical data.
The image display system for a work machine according to claim 1.
前記旋回体の旋回中心軸の方向から見て、前記旋回中心軸と前記作業具との距離を半径とし、かつ前記旋回中心軸に対応する位置を中心とする円弧の画像である、
請求項1又は請求項2に記載の作業機械の画像表示システム。 The first image is
It is an image of an arc whose radius is the distance between the turning center axis and the working tool and the position corresponding to the turning center axis is the center when viewed from the direction of the turning center axis of the turning body.
The image display system for the work machine according to claim 1 or 2.
前記作業具と前記作業対象とを結ぶ直線画像を生成し、前記表示装置に表示させる、
請求項1から請求項3のいずれか1項に記載の作業機械の画像表示システム。 The processing device is
A linear image connecting the work tool and the work object is generated and displayed on the display device.
The image display system for a work machine according to any one of claims 1 to 3.
前記作業対象の位置の情報を用いて前記作業対象の表面に沿った線画像を生成して、前記作業対象の画像と合成して前記表示装置に表示させる、
請求項1から請求項4のいずれか1項に記載の作業機械の画像表示システム。 The processing device is
A line image along the surface of the work object is generated using the information on the position of the work object, combined with the image of the work object, and displayed on the display device.
The image display system for a work machine according to any one of claims 1 to 4.
前記処理装置は、
前記第1画像と、前記撮像装置によって撮像された前記作業対象の画像である第2画像とを合成して、前記表示装置に表示させる、
請求項1から請求項5のいずれか1項に記載の作業機械の画像表示システム。 It has an imaging device attached to the swivel body and has an imaging device.
The processing device is
The first image and the second image, which is an image of the work object captured by the imaging device, are combined and displayed on the display device.
The image display system for a work machine according to any one of claims 1 to 5.
前記処理装置及び前記表示装置は、前記作業機械を遠隔操作する操作装置を備えた施設に設けられる、
請求項6に記載の作業機械の画像表示システム。 The image pickup device, the position detection unit, and the distance detection device are provided in the work machine.
The processing device and the display device are provided in a facility equipped with an operating device for remotely controlling the work machine.
The image display system for a work machine according to claim 6.
表示装置と、
前記位置検出部によって得られた前記作業具の位置の情報と、前記距離検出装置が非接触で求めた検出範囲内の作業対象の形状の情報とを用いて前記作業対象の地形の形状に沿った第1画像を生成し、前記撮像装置によって撮像された前記作業対象の画像である第2画像と合成して、表示装置に表示させる処理装置と、を含み、
前記第1画像は、前記作業具と対向する前記作業対象の表面で前記作業具に対応する第1位置の情報、及び前記第1位置から前記旋回体が旋回する方向に沿って延びる部分の位置の情報に基づいて生成される、
作業機械の画像表示システム。 An image display system of a work machine applied to a work machine having a work tool, a swivel body to which the work machine is attached, a position detection unit for detecting the position of the work machine, a distance detection device, and an image pickup device. And
Display device and
Along with the shape of the terrain of the work target using the position information of the work tool obtained by the position detection unit and the shape information of the work target within the detection range obtained by the distance detection device in a non-contact manner. A processing device that generates a first image, combines it with a second image that is an image of the work object captured by the image pickup device, and displays the image on the display device.
The first image shows information on a first position corresponding to the work tool on the surface of the work object facing the work tool, and a position of a portion extending from the first position along a direction in which the swivel body turns. Generated based on the information in
Image display system for work machines.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021117334A JP7128497B2 (en) | 2020-09-29 | 2021-07-15 | Image display system for working machines |
JP2022128502A JP7333551B2 (en) | 2020-09-29 | 2022-08-10 | Image display system for working machines |
JP2023127017A JP2023143985A (en) | 2020-09-29 | 2023-08-03 | Work machine image display system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020163375A JP6923144B2 (en) | 2016-09-02 | 2020-09-29 | Image display system for work machines |
JP2021117334A JP7128497B2 (en) | 2020-09-29 | 2021-07-15 | Image display system for working machines |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020163375A Division JP6923144B2 (en) | 2016-09-02 | 2020-09-29 | Image display system for work machines |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022128502A Division JP7333551B2 (en) | 2020-09-29 | 2022-08-10 | Image display system for working machines |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021165526A true JP2021165526A (en) | 2021-10-14 |
JP2021165526A5 JP2021165526A5 (en) | 2021-11-25 |
JP7128497B2 JP7128497B2 (en) | 2022-08-31 |
Family
ID=78021914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021117334A Active JP7128497B2 (en) | 2020-09-29 | 2021-07-15 | Image display system for working machines |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7128497B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100533A1 (en) * | 2021-12-03 | 2023-06-08 | コベルコ建機株式会社 | Image display system, remote operation assistance system, and image display method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06317090A (en) * | 1993-05-07 | 1994-11-15 | Tokyu Constr Co Ltd | Three-dimensional display device |
US20050256607A1 (en) * | 2004-05-11 | 2005-11-17 | J.C. Bamford Excavators Limited | Operator display system |
JP2013036243A (en) * | 2011-08-09 | 2013-02-21 | Topcon Corp | Control system for construction machine |
JP2013113044A (en) * | 2011-11-30 | 2013-06-10 | Sumitomo (Shi) Construction Machinery Co Ltd | Monitor system for construction machine |
JP2014129676A (en) * | 2012-12-28 | 2014-07-10 | Komatsu Ltd | Display system of construction machine, and method of controlling the same |
JP2016102312A (en) * | 2014-11-27 | 2016-06-02 | 住友建機株式会社 | Device and method for supporting shovel |
-
2021
- 2021-07-15 JP JP2021117334A patent/JP7128497B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06317090A (en) * | 1993-05-07 | 1994-11-15 | Tokyu Constr Co Ltd | Three-dimensional display device |
US20050256607A1 (en) * | 2004-05-11 | 2005-11-17 | J.C. Bamford Excavators Limited | Operator display system |
JP2013036243A (en) * | 2011-08-09 | 2013-02-21 | Topcon Corp | Control system for construction machine |
JP2013113044A (en) * | 2011-11-30 | 2013-06-10 | Sumitomo (Shi) Construction Machinery Co Ltd | Monitor system for construction machine |
JP2014129676A (en) * | 2012-12-28 | 2014-07-10 | Komatsu Ltd | Display system of construction machine, and method of controlling the same |
JP2016102312A (en) * | 2014-11-27 | 2016-06-02 | 住友建機株式会社 | Device and method for supporting shovel |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100533A1 (en) * | 2021-12-03 | 2023-06-08 | コベルコ建機株式会社 | Image display system, remote operation assistance system, and image display method |
Also Published As
Publication number | Publication date |
---|---|
JP7128497B2 (en) | 2022-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6794193B2 (en) | Image display system for work machines | |
JP6777375B2 (en) | Work machine image display system, work machine remote control system and work machine | |
WO2020241618A1 (en) | Map generation system and map generation method | |
JP6832548B2 (en) | Work machine image display system, work machine remote control system, work machine and work machine image display method | |
JP7462710B2 (en) | Work machine image display system and work machine image display method | |
JP6606230B2 (en) | Shape measurement system | |
JP7128497B2 (en) | Image display system for working machines | |
JP6923144B2 (en) | Image display system for work machines | |
JP7333551B2 (en) | Image display system for working machines | |
WO2020241572A1 (en) | Map generation system and map generation method | |
WO2020241640A1 (en) | Display system and display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7128497 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |