JP2021025238A

JP2021025238A - 表示システム、遠隔操作システム、及び表示方法

Info

Publication number: JP2021025238A
Application number: JP2019141680A
Authority: JP
Inventors: 和久高濱; Kazuhisa Takahama
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2019-07-31
Filing date: 2019-07-31
Publication date: 2021-02-22
Anticipated expiration: 2039-07-31
Also published as: US20220316188A1; AU2020320149B2; WO2021020567A1; AU2020320149A1; JP7458155B2

Abstract

【課題】作業機械の作業効率の低下を抑制すること。【解決手段】表示システムは、表示装置と、作業機械に設けられた撮像装置と、作業機械に設けられた３次元計測装置と、３次元計測装置により計測された作業機械の進行方向の３次元地形データに基づいて、撮像装置により撮像された進行方向の地形画像に、進行方向の地形高さを示すシンボル画像を重畳させて、表示装置に表示させる表示制御装置と、を備える。【選択図】図１

Description

本開示は、表示システム、遠隔操作システム、及び表示方法に関する。

作業機械に係る技術分野において、特許文献１に開示されているような遠隔操作システムが知られている。

特開２０１６−１６０７４１号公報

遠隔操作システムの表示装置に作業現場の２次元画像が表示される場合、操作者は、作業現場の３次元形状を十分に認識することが困難になる可能性がある。例えば遠隔操作により作業機械を走行させる場合、作業機械の進行方向の地形を操作者が十分に認識できないと、作業効率が低下する可能性がある。

本開示は、作業機械の作業効率の低下を抑制することを目的とする。

本開示に従えば、表示装置と、作業機械に設けられた撮像装置と、前記作業機械に設けられた３次元計測装置と、前記３次元計測装置により計測された前記作業機械の進行方向の３次元地形データに基づいて、前記撮像装置により撮像された前記進行方向の地形画像に、前記進行方向の地形高さを示すシンボル画像を重畳させて、前記表示装置に表示させる表示制御装置と、を備える、表示システムが提供される。

本開示によれば、作業機械の作業効率の低下を抑制することができる。

図１は、本実施形態に係る遠隔操作システムを模式的に示す図である。図２は、本実施形態に係る作業機械を示す図である。図３は、本実施形態に係る表示制御装置を示す機能ブロック図である。図４は、本実施形態に係るメッシュ画像を示す図である。図５は、本実施形態に係るシンボル画像を示す図である。図６は、本実施形態に係る表示装置を示す図である。図７は、本実施形態に係る表示方法を示すフローチャートである。図８は、本実施形態に係るコンピュータシステムを示すブロック図である。

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

［遠隔操作システムの概要］
図１は、本実施形態に係る遠隔操作システム１を模式的に示す図である。遠隔操作システム１は、作業機械２を遠隔操作する。本実施形態においては、作業機械２がブルドーザであることとする。

遠隔操作システム１は、表示システム３と、操作装置４と、操作制御装置５と、通信システム６とを備える。表示システム３は、表示装置７と、撮像装置８と、３次元計測装置９と、表示制御装置１０とを備える。

作業機械２は、作業現場ＷＳにおいて稼働する。操作装置４、操作制御装置５、表示装置７、及び表示制御装置１０は、作業機械２の外部の遠隔操作施設ＲＣに設けられる。作業機械２は、車両制御装置１１を有する。操作制御装置５及び表示制御装置１０のそれぞれは、通信システム６を介して車両制御装置１１と無線通信する。通信システム６は、作業機械２に設けられた通信装置６Ａと、遠隔操作施設ＲＣに設けられた通信装置６Ｂとを含む。

操作者は、操作装置４を操作して、作業機械２を遠隔操作する。操作制御装置５は、操作装置４の操作に基づいて、操作指令を生成する。操作制御装置５により生成された操作指令は、通信システム６を介して車両制御装置１１に送信される。車両制御装置１１は、操作指令に基づいて、作業機械２を作動する。

撮像装置８は、作業機械２に設けられる。３次元計測装置９は、作業機械２に設けられる。撮像装置８は、作業現場ＷＳを撮像して、作業現場ＷＳの画像を示す画像データを取得する。撮像装置８により取得された画像データは、通信システム６を介して表示制御装置１０に送信される。３次元計測装置９は、作業現場ＷＳを計測して、作業現場ＷＳの３次元形状を示す３次元データを取得する。３次元計測装置９により取得された３次元データは、通信システム６を介して表示制御装置１０に送信される。表示制御装置１０は、作業現場ＷＡの画像データ及び３次元データに基づいて、作業現場ＷＳに係る画像を表示装置７に表示させる。操作者は、表示装置７に表示された画像を参照しながら操作装置４を操作する。

作業機械２は、車体１２と、車体１２を支持する走行装置１３と、車体１２に連結される作業機１４とを有する。走行装置１３は、回転軸ＡＸを中心に回転する回転体である駆動輪１３Ａ及び遊動輪１３Ｂと、駆動輪１３Ａ及び遊動輪１３Ｂに支持される履帯１３Ｃとを有する。

［座標系］
本実施形態においては、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）、ローカル座標系（Ｘｌ，Ｙｌ，Ｚｌ）、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）、及び計測座標系（Ｘｄ，Ｙｄ，Ｚｄ）を規定して、各部の位置関係について説明する。

グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）とは、地球に規定された原点を基準とする３次元座標系をいう。グローバル座標系は、ＧＮＳＳ（Global Navigation Satellite System）によって規定される。ＧＮＳＳとは、全地球航法衛星システムをいう。全地球航法衛星システムの一例として、ＧＰＳ（Global Positioning System）が挙げられる。ＧＮＳＳは、Ｘｇ軸方向の位置を示す緯度、Ｙｇ軸方向の位置を示す経度、及びＺｇ軸方向の位置を示す高度を検出する。

ローカル座標系（Ｘｌ，Ｙｌ，Ｚｌ）とは、作業機械２の車体１２に規定された原点を基準とする３次元座標系をいう。ローカル座標系において、前後方向、左右方向、及び上下方向が規定される。Ｘｌ軸方向は前後方向である。＋Ｘｌ方向は前方であり、−Ｘｌ方向は後方である。Ｙｌ軸方向は左右方向である。＋Ｙｌ方向は右方であり、−Ｙｌ方向は左方である。駆動輪１３Ａの回転軸ＡＸは、Ｙｌ軸方向に延伸する。Ｙｌ軸方向は、作業機械２の車幅方向と同義である。Ｚｌ軸方向は上下方向である。＋Ｚｌ方向は上方であり、−Ｚｌ方向は下方である。履帯１３Ｃの接地面は、Ｚｌ軸と直交する。

カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）とは、撮像装置８の撮像素子に規定された原点を基準とする３次元座標系をいう。

計測座標系（Ｘｄ，Ｙｄ，Ｚｄ）とは、３次元計測装置９の検出素子に規定された原点を基準とする３次元座標系をいう。

［作業機械の概要］
図２は、本実施形態に係る作業機械２を示す図である。作業機械２は、車体１２と、走行装置１３と、作業機１４と、油圧シリンダ１５と、通信装置６Ａと、撮像装置８と、３次元計測装置９と、位置センサ１６と、車体姿勢センサ１７と、作業機姿勢センサ１８と、車両制御装置１１とを有する。

走行装置１３は、車体１２を支持する。遊動輪１３Ｂは、駆動輪１３Ａの前方に配置される。駆動輪１３Ａ及び遊動輪１３Ｂのそれぞれは、回転軸ＡＸを中心に回転する回転体である。回転軸ＡＸは、作業機械２の車幅方向に延伸する。駆動輪１３Ａは、油圧モータのような駆動源が発生する動力により駆動する。駆動輪１３Ａは、操作装置４の操作により回転する。駆動輪１３Ａの回転により履帯１３Ｃが回転する。履帯１３Ｃの回転により作業機械２が走行する。

作業機１４は、車体１２に移動可能に連結される。作業機１４は、リフトフレーム１９と、ブレード２０とを有する。

リフトフレーム１９は、上下方向に回動可能に車体１２に支持される。リフトフレーム１９は、ブレード２０を支持する。

ブレード２０は、車体１２の前方に配置される。ブレード２０は、リフトフレーム１９に連動して上下方向に移動する。

油圧シリンダ１５は、作業機１４を移動させる動力を発生する。油圧シリンダ１５は、ブレード２０を上下方向に移動させるリフトシリンダ１５Ａと、ブレード２０をアングル方向に回動させるアングルシリンダ１５Ｂと、ブレード２０をチルト方向に回動させるチルトシリンダ１５Ｃとを含む。

撮像装置８は、作業機械２の進行方向の地形ＷＡの画像を示す地形画像ＴＩを撮像する。撮像装置８として、動画を撮影可能なビデオカメラが例示される。作業機械２が前方に進行する場合、撮像装置８は、作業機械２の前方の地形画像ＴＩを撮像する。作業機械２が後方に進行する場合、撮像装置８は、作業機械２の後方の地形画像ＴＩを撮像する。本実施形態において、撮像装置８は、車体１２の運転台の屋根部に設けられる。撮像装置８は、作業機械２の前方の地形画像ＴＩ及び作業機械２の後方の地形画像ＴＩのそれぞれを撮像するために、屋根部の前部及び後部のそれぞれに設けられる。なお、撮像装置８は、作業機械２の進行方向の地形画像ＴＩを撮像可能な位置に配置されていればよい。撮像装置８は、例えば運転室の内部に配置されてもよい。

３次元計測装置９は、作業機械２の進行方向の地形ＷＡの３次元形状を示す３次元地形データＴＤを計測する。３次元計測装置９として、物体の３次元形状を計測可能なレーダセンサ、レーザセンサ、及びステレオカメラが例示される。作業機械２が前方に進行する場合、３次元計測装置９は、作業機械２の前方の３次元地形データＴＤを計測する。作業機械２が後方に進行する場合、３次元計測装置９は、作業機械２の後方の３次元地形データＴＤを計測する。本実施形態において、３次元計測装置９は、屋根部よりも低い車体１２のボンネット部に設けられる。３次元計測装置９は、作業機械２の前方の３次元地形データＴＤ及び作業機械２の後方の３次元地形データＴＤのそれぞれを計測するために、ボンネット部の前部及び後部のそれぞれに設けられる。なお、３次元計測装置９は、作業機械２の進行方向の３次元地形データＴＤを計測可能な位置に配置されていればよい。３次元計測装置９は、例えば運転台の屋根部に配置されてもよいし、運転室の内部に配置されてもよい。

位置センサ１６は、グローバル座標系における車体１２の位置を検出する。位置センサ１６は、車体１２に設けられる。位置センサ１６は、ＧＮＳＳ（Global Navigation Satellite System）を利用して車体１２の位置を検出するＧＮＳＳセンサを含む。位置センサ１６は、車体１２に複数設けられる。位置センサ１６が複数設けられることにより、複数の位置センサ１６の検出データに基づいて、グローバル座標系における車体１２の方位が算出される。

車体姿勢センサ１７は、ローカル座標系における車体１２の姿勢を検出する。車体姿勢センサ１７は、車体１２に設けられる。車体姿勢センサ１７は、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を含む。車体１２の姿勢は、Ｘｌ軸を中心とする車体１２の傾斜角度を示すロール角、Ｙｌ軸を中心とする車体１２の傾斜角度を示すピッチ角、及びＺｌ軸を中心とする車体１２の傾斜角度を示すヨー角を含む。

作業機姿勢センサ１８は、ローカル座標系における作業機１４の姿勢を検出する。作業機姿勢センサ１８は、油圧シリンダ１５に設けられる。作業機姿勢センサ１８は、油圧シリンダ１５の作動量を検出する。作業機姿勢センサ１８は、油圧シリンダ１５のロッドの位置を検出する回転ローラと、ロッドの位置を原点復帰する磁力センサとを有する。なお、作業機姿勢センサ１８は、作業機１４の傾斜角度を検出する角度センサでもよい。

作業機姿勢センサ１８は、リフトシリンダ１５Ａに設けられるリフト姿勢センサ１８Ａと、アングルシリンダ１５Ｂに設けられるアングル姿勢センサ１８Ｂと、チルトシリンダ１５Ｃに設けられるチルト姿勢センサ１８Ｃとを含む。リフト姿勢センサ１８Ａは、リフトシリンダ１５Ａの作動量を検出する。アングル姿勢センサ１８Ｂは、アングルシリンダ１５Ｂの作動量を検出する。チルト姿勢センサ１８Ｃは、チルトシリンダ１５Ｃの作動量を検出する。

車両制御装置１１は、操作制御装置５から送信された操作指令に基づいて、作業機械２を制御する。図１に示したように、操作装置４は、走行装置１３を操作する走行レバー４Ａと、油圧シリンダ１５を操作する作業レバー４Ｂと、作業機械２の進行方向を前方と後方とに切り換える前後進切換レバー４Ｃとを含む。車両制御装置１１は、操作装置４の操作に基づいて生成された操作指令に基づいて、走行装置１３及び作業機１４の少なくとも一方を駆動する。

［表示制御装置］
図３は、本実施形態に係る表示制御装置１０を示す機能ブロック図である。本実施形態において、表示制御装置１０は、３次元計測装置９により計測された作業機械２の進行方向の３次元地形データＴＤに基づいて、撮像装置８により撮像された進行方向の地形画像ＴＩに、進行方向の地形高さを示すシンボル画像ＳＩを重畳させて、表示装置７に表示させる。

図３に示すように、表示制御装置１０は、通信装置６Ｂ及び表示装置７のそれぞれに接続される。表示制御装置１０は、通信装置６Ｂを介して、撮像装置８により撮像された地形画像ＴＩ、３次元計測装置９により計測された３次元地形データＴＤ、位置センサ１６により検出された車体１２の位置を示す車体位置データ、車体姿勢センサ１７により検出された車体１２の姿勢を示す車体姿勢データ、及び作業機姿勢センサ１８により検出された作業機１４の姿勢を示す作業機姿勢データを取得する。表示装置７は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。なお、表示装置７は、プロジェクタ装置を含んでもよい。

表示制御装置１０は、地形画像取得部１０１と、３次元地形データ取得部１０２と、作業機械データ取得部１０３と、規定部位位置算出部１０４と、メッシュ画像生成部１０５と、シンボル画像生成部１０６と、表示制御部１０７と、記憶部１０８とを有する。

地形画像取得部１０１は、撮像装置８により撮像された作業機械２の進行方向の地形画像ＴＩを取得する。

３次元地形データ取得部１０２は、３次元計測装置９により計測された作業機械２の進行方向の３次元地形データＴＤを取得する。

作業機械データ取得部１０３は、位置センサ１６により検出された車体位置データ、車体姿勢センサ１７により検出された車体姿勢データ、及び作業機姿勢センサ１８により検出された作業機姿勢データを取得する。

規定部位位置算出部１０４は、作業機械２の少なくとも一部に規定される規定部位ＳＰの位置を算出する。規定部位ＳＰは、例えば作業機械２の車幅方向において最も外側の部位に規定されてもよいし、作業機１４の少なくとも一部に規定されてもよい。本実施形態において、規定部位ＳＰは、ブレード２０の幅方向両端部に規定される。ブルドーザにおいて、ブレード２０の幅方向両端部は、作業機械２の車幅方向において最も外側の部位である。

規定部位位置算出部１０４は、車体位置データ、車体姿勢データ、及び作業機姿勢データに基づいて、グローバル座標系における規定部位ＳＰの位置を算出する。

規定部位位置算出部１０４は、作業機１４の寸法及び外形を示す作業機データと、作業機械データ取得部１０３により取得された作業機姿勢データとに基づいて、ローカル座標系における規定部位ＳＰの位置を算出する。作業機１４の寸法は、リフトフレーム１９の長さ及びブレード２０の長さを含む。作業機１４の外形は、ブレード２０の外形を含む。作業機データは、作業機械２の設計データ又は諸元データから導出可能な既知データであり、記憶部１０８に予め記憶される。規定部位位置算出部１０４は、リフト姿勢センサ１８Ａの検出データに基づいて、車体１２に対するリフトフレーム１９の傾斜角度θ１を算出する。規定部位位置算出部１０４は、アングル姿勢センサ１８Ｂの検出データに基づいて、リフトフレーム１９に対するアングル方向におけるブレード２０の傾斜角度θ２を算出する。規定部位位置算出部１０４は、チルト姿勢センサ１８Ｃの検出データに基づいて、リフトフレーム１９に対するチルト方向におけるブレード２０の傾斜角度θ３を算出する。規定部位位置算出部１０４は、記憶部１０８に記憶されている作業機データと、傾斜角度θ１、傾斜角度θ２、及び傾斜角度θ３を含む作業機姿勢データとに基づいて、ローカル座標系における規定部位ＳＰの位置を算出することができる。

規定部位位置算出部１０４は、作業機械データ取得部１０３により取得された車体位置データ及び車体姿勢データに基づいて、ローカル座標系における規定部位ＳＰの位置をグローバル座標系における規定部位ＳＰの位置に変換することにより、グローバル座標系における規定部位ＳＰの位置を算出する。

メッシュ画像生成部１０５は、３次元地形データ取得部１０２により取得された３次元地形データＴＤに基づいて、作業機械２の周囲の地形ＷＡの表面の３次元形状を示すメッシュ画像ＭＩを生成する。

図４は、本実施形態に係るメッシュ画像ＭＩを示す図である。メッシュ画像ＭＩは、地形ＷＡの表面に沿うように生成される。メッシュ画像ＭＩは、グローバル座標系における地形ＷＡの表面の位置を示す複数のポイントＰｇと、Ｘｇ軸方向に延伸し複数のポイントＰｇを結ぶ第１ラインＭＩｘと、Ｙｇ軸方向に延伸し複数のポイントＰｇを結ぶ第２ラインＭＩｙとを有する。ポイントＰｇは、地形ＷＡの表面においてマトリクス状に複数設けられる。ポイントＰｇは、Ｘｇ軸方向に複数設けられ、Ｙｇ軸方向に複数設けられる。複数のポイントＰｇのそれぞれは、地形ＷＡの表面のＸｇ軸方向の位置、Ｙｇ軸方向の位置、及びＺｇ軸方向の位置を示す。

第１ラインＭＩｘは、Ｘｇ軸方向に設けられた複数のポイントＰｇを結ぶようにＸｇ軸方向に延伸する。第１ラインＭＩｘは、Ｙｇ軸方向に間隔をあけて複数設けられる。第２ラインＭＩｙは、Ｙｇ軸方向に設けられた複数のポイントＰｇを結ぶようにＹｇ軸方向に延伸する。第２ラインＭＩｙは、Ｘｇ軸方向に間隔をあけて複数設けられる。本実施形態において、複数の第１ラインＭＩｘは、Ｙｇ軸方向に等間隔に設けられる。複数の第２ラインＭＩｙは、Ｘｇ軸方向に等間隔に設けられる。ポイントＰｇは、第１ラインＭＩｘと第２ラインＭＩｙとの交点に規定される。

シンボル画像生成部１０６は、作業機械２の進行方向の地形高さを示すシンボル画像ＳＩを生成する。シンボル画像ＳＩは、ブレード２０の規定部位ＳＰを通る規定面ＶＰと作業機械２の進行方向の地形ＷＡの表面の少なくとも一部とが交差する交差部ＣＬを示す。

図５は、本実施形態に係るシンボル画像ＳＩを示す図である。シンボル画像生成部１０６は、ブレード２０の規定部位ＳＰを通る規定面ＶＰを設定する。規定面ＶＰは、規定部位ＳＰを通り地形ＷＡの表面に交差する仮想平面である。規定面ＶＰは、ローカル座標系のＸｌ軸及びＺｌ軸を含むＸｌ−Ｚｌ平面と平行である。シンボル画像ＳＩは、規定部位ＳＰを通る規定面ＶＰと作業機械２の進行方向の地形ＷＡの表面の少なくとも一部とが交差する交差部ＣＬを示す。規定面ＶＰは、地形ＷＡの表面と実質的に直交する。本実施形態において、規定面ＶＰは、駆動輪１３Ａの回転軸ＡＸと直交するように設定される。交差部ＣＬは、地形ＷＡの表面に沿って進行方向に延伸する交線を含む。

交差部ＣＬは、地形ＷＡの表面のＸｇ軸方向の位置、Ｙｇ軸方向の位置、及びＺｇ軸方向の位置を示す複数の交点ＣＰの集合体である。交点ＣＰは、地形ＷＡの表面に沿って作業機械２の進行方向に複数配置される。シンボル画像ＳＩにより示される地形高さは、交点ＣＰのＺｇ軸方向の位置である。交差部ＣＬは、前方に走行する作業機械２が通過する地形ＷＡの３次元形状を示す。

表示制御部１０７は、地形画像取得部１０１により取得された作業機械２の進行方向の地形画像ＴＩに、シンボル画像生成部１０６により生成された作業機械２の進行方向の地形高さを示すシンボル画像ＳＩを重畳させて、表示装置７に表示させる。

図６は、本実施形態に係る表示装置７を示す図である。図６に示すように、表示制御部１０７は、撮像装置８により撮像された作業機械２の進行方向の地形画像ＴＩに、作業機械２の進行方向の地形高さを示すシンボル画像ＳＩを重畳させて、表示装置７に表示させる。本実施形態において、表示制御部１０７は、地形画像ＴＩに、作業機械２の進行方向の地形高さを示すシンボル画像ＳＩ及び作業機械２の周囲の地形ＷＡの表面の３次元形状を示すメッシュ画像ＭＩの両方を重畳させて、表示装置７に表示させる。

表示制御部１０７は、シンボル画像ＳＩとメッシュ画像ＭＩとを異なる表示形態で表示装置７に表示させる。表示制御部１０７は、シンボル画像ＳＩがメッシュ画像ＭＩよりも強調表示されるように、シンボル画像ＳＩ及びメッシュ画像ＭＩを表示装置７に表示させる。本実施形態において、メッシュ画像ＭＩは、第１太さの点線で表示され、シンボル画像ＳＩは、第１太さよりも太い第２太さの実線で表示される。

シンボル画像ＳＩは、メッシュ画像ＭＩとは別に生成される。シンボル画像ＳＩとメッシュ画像ＭＩとは、表示装置７の表示画面において重複するように表示されてもよいし、重複しないように表示されてもよい。図６に示すように、本実施形態において、表示制御部１０７は、シンボル画像ＳＩがメッシュ画像ＭＩの第１ラインＭＩｘと重複しないように、シンボル画像ＳＩ及びメッシュ画像ＭＩを表示装置７に表示させる。

シンボル画像ＳＩは、ブレード２０に規定された規定部位ＳＰを通る規定面ＶＰと作業機械２の進行方向の地形ＷＡの表面とが交差する交差部ＣＬ（交線）に基づいて生成される。本実施形態において、規定部位ＳＰは、ブレード２０の幅方向両端部に規定される。そのため、シンボル画像ＳＩは、ブレード２０の幅方向両端部のそれぞれに対応するように、表示装置７に２本表示される。

シンボル画像ＳＩは、作業機械２の進行方向の地形高さを示す。これにより、操作者は、表示装置７に表示されたシンボル画像ＳＩを確認することにより、作業機械２の進行方向の地形ＷＡを直感的に認識することができる。また、作業機械２の進行方向に段差ＭＢが存在する場合、表示制御部１０７は、段差ＭＢにおいてシンボル画像ＳＩを表示しない。段差ＭＢは、進行方向において作業機械２に近い地形ＷＡよりも先方の地形ＷＡの方が低い段差である。段差ＭＢにより、地形ＷＡの表面において３次元計測装置９が計測できない部分が生じる。例えば３次元計測装置９がレーザレーダ（ＬＩＤＡＲ：Laser Imaging Detection and Ranging）を含む場合、段差ＭＢにより、地形ＷＡの表面においてレーザレーダから射出された検出波が照射されない部分が生じる。そのため、表示制御部１０７は、段差ＭＢにおいてシンボル画像ＳＩを表示しない。図６に示すように、段差ＭＢにおいて、交差部ＣＬは不連続になる。同様に、表示制御部１０７は、段差ＭＢにおいてメッシュ画像ＭＩを表示しない。これにより、操作者は、作業機械２の進行方向に段差ＭＢが存在することを認識することができる。

［表示方法］
図７は、本実施形態に係る表示方法を示すフローチャートである。地形画像取得部１０１は、撮像装置８から地形画像ＴＩを取得する。３次元地形データ取得部１０２は、３次元計測装置９から３次元地形データＴＤを取得する。作業機械データ取得部１０３は、位置センサ１６から車体位置データを取得し、車体姿勢センサ１７から車体姿勢データを取得し、作業機姿勢センサ１８から作業機姿勢データを取得する（ステップＳ１）。

ステップＳ１において取得された地形画像ＴＩは、カメラ座標系において規定されている。３次元地形データＴＤは、計測座標系において規定されている。車体位置データは、グローバル座標系において規定されている。車体姿勢データ及び作業機姿勢データは、ローカル座標系において規定されている。

次に、３次元地形データ取得部１０２は、３次元地形データＴＤから車体１２及び作業機１４が占める領域を示す占有領域を算出する（ステップＳ２）。

車体１２の一部又は作業機１４の少なくとも一部が３次元計測装置９の計測エリアに入り込む可能性がある。そのため、３次元地形データ取得部１０２は、３次元地形データＴＤから車体１２及び作業機１４の占有領域を除去する。３次元計測装置９の計測エリアにおける車体１２が占める領域は、既知データであり、記憶部１０８に記憶されている。また、３次元地形データ取得部１０２は、記憶部１０８に記憶されている作業機データと、作業機姿勢データとに基づいて、３次元計測装置９の計測エリアにおける作業機１４が占める領域を算出することができる。占有領域は、ローカル座標系において規定される。３次元地形データ取得部１０２は、ローカル座標系の占有領域を、グローバル座標系の占有領域に変換する。

メッシュ画像生成部１０５は、３次元地形データＴＤに基づいて、メッシュ画像ＭＩを生成する（ステップＳ３）。

３次元地形データＴＤは、計測座標系において規定されている。メッシュ画像生成部１０５は、計測座標系の３次元地形データＴＤを、グローバル座標系の３次元地形データＴＤに変換する。メッシュ画像生成部１０５は、グローバル座標系において規定された３次元地形データＴＤに基づいて、図４を参照して説明したメッシュ画像ＭＩを生成する。メッシュ画像生成部１０５において生成されたメッシュ画像ＭＩは、表示制御部１０７に出力される。

規定部位位置算出部１０４は、作業機械２の規定部位ＳＰの位置を算出する。シンボル画像生成部１０６は、規定部位ＳＰの位置と３次元地形データＴＤとに基づいて、シンボル画像ＳＩを生成する（ステップＳ４）。

上述のように、本実施形態において、規定部位ＳＰは、ブレード２０の幅方向両端部に規定される。規定部位位置算出部１０４は、記憶部１０８に記憶されている作業機データと、作業機械データ取得部１０３により取得された作業機姿勢データとに基づいて、ローカル座標系における規定部位ＳＰの位置を算出する。また、規定部位位置算出部１０４は、作業機械データ取得部１０３により取得された車体位置データ及び車体姿勢データを用いて、ローカル座標系の規定部位ＳＰの位置を、グローバル座標系の規定部位ＳＰの位置に変換する。シンボル画像生成部１０６は、計測座標系の３次元地形データＴＤを、グローバル座標系の３次元地形データＴＤに変換する。図５を参照して説明したように、シンボル画像生成部１０６は、グローバル座標系において、規定部位ＳＰを通る規定面ＶＰと作業機械２の進行方向の地形ＷＡの表面とが交差する交差部ＣＬを算出する。シンボル画像生成部１０６は、交差部ＣＬに基づいて、シンボル画像ＳＩを生成する。シンボル画像生成部１０６において生成されたシンボル画像ＳＩは、表示制御部１０７に出力される。

表示制御部１０７は、メッシュ画像ＭＩ及びシンボル画像ＳＩから、ステップＳ２において算出された占有領域を除去する（ステップＳ５）。

表示制御部１０７は、ステップＳ１において取得された地形画像ＴＩに、ステップＳ５において占有領域が除去されたメッシュ画像ＭＩ及びシンボル画像ＳＩを重畳させる（ステップＳ６）。

表示制御部１０７は、グローバル座標系のメッシュ画像ＭＩ及びシンボル画像ＳＩを、カメラ座標系のメッシュ画像ＭＩ及びシンボル画像ＳＩに変換した後、地形画像ＴＩに重畳させる。

図６に示したように、表示制御部１０７は、重畳された地形画像ＴＩ、メッシュ画像ＭＩ、及びシンボル画像ＳＩを表示装置７に表示させる（ステップＳ７）。

なお、図６においては、図面を見易くするために、占有領域の一部である車体１２は示されてなく、ブレード２０のみが示されている。

［コンピュータシステム］
図８は、本実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の表示制御装置１０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の表示制御装置１０の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

コンピュータプログラムは、上述の実施形態に従って、作業機械２の進行方向の３次元地形データＴＤに基づいて、進行方向の地形高さを示すシンボル画像ＳＩを生成することと、進行方向の地形画像ＴＩに、シンボル画像ＳＩを重畳させて、表示装置７に表示させることと、を実行することができる。

［効果］
以上説明したように、本実施形態によれば、撮像装置８により撮像された作業機械２の進行方向の地形画像ＴＩと作業機械２の進行方向の地形高さを示すシンボル画像ＳＩとが重畳された状態で、表示装置７に表示される。これにより、遠隔操作により作業機械２を走行させる場合、操作者は、シンボル画像ＳＩを参照することにより、作業機械２の進行方向の地形ＷＡを十分に認識することができる。操作者は、シンボル画像ＳＩを参照することにより、作業機械２の進行方向の地形ＷＡの凹凸を認識したり、作業機械２の進行方向の障害物を認識したり、作業機械２の進行方向の凹部ＭＢを認識することができる。したがって、操作者は、作業機械２の進行方向の状況を認識しながら作業機械２を走行させることができる。操作者は、例えば作業機械２が障害物に接触しないように操作装置４を操作したり、作業機械２が凹部ＭＢに進入しないように操作装置４を操作したりすることができる。そのため、作業機械２の作業効率の低下が抑制される。

表示装置７には、メッシュ画像ＭＩが地形画像ＴＩ及びシンボル画像ＳＩと一緒に表示される。これにより、操作者は、メッシュ画像ＭＩを参照することにより、作業機械２の周囲の地形ＷＡの３次元形状を認識することができる。また、シンボル画像ＳＩとメッシュ画像ＭＩとが異なる表示形態で表示されることにより、操作者は、シンボル画像ＳＩを参照して、作業機械２の進行方向の地形ＷＡを認識することができ、メッシュ画像ＭＩを参照して、作業機械２の周囲の地形ＷＡを認識することができる。

シンボル画像ＳＩは、作業機械２の規定部位ＳＰを通る規定面ＶＰと作業機械２の進行方向の地形ＷＡの表面の少なくとも一部とが交差する交差部ＣＬを示す。これにより、シンボル画像ＳＩは、進行方向に走行する作業機械２が通過する地形ＷＡを適切に表わすことができる。

交差部ＣＬは、地形ＷＡの表面に沿って作業機械２の進行方向に延伸する交線である。シンボル画像ＳＩとして進行方向に延伸する交線が表示装置７に表示されることにより、操作者は、シンボル画像ＳＩを参照して、作業機械２の進行方向の地形ＷＡを十分に認識することができる。

規定部位ＳＰは、作業機械２の車幅方向において最も外側の部位である。シンボル画像ＳＩは、作業機械２の車幅方向において最も外側の部位が通過する地形ＷＡを適切に表わすことができる。

［その他の実施形態］
上述の実施形態において、規定部位ＳＰは、ブレード２０の幅方向両端部に規定されることとした。規定部位ＳＰは、例えばブレード２０の幅方向中央部に規定されてもよい。また、規定部位ＳＰは、作業機１４に規定されなくてもよく、例えば履帯１３Ｃに規定されてもよい。例えば、規定部位ＳＰは、履帯１３Ｃの車幅方向両端部に規定されてもよい。規定部位ＳＰが履帯１３Ｃの車幅方向両端部に規定されることにより、シンボル画像ＳＩは、作業機械２の走行装置１３が通過する領域を示す走行幅を示すことができる。

上述の実施形態において、シンボル画像ＳＩ（交差部ＣＬ）は、地形ＷＡの表面に沿って作業機械２の進行方向に延伸する交線であることとした。シンボル画像ＳＩは、作業機械２の進行方向に表示される交点ＣＰでもよいし、マークでもよい。

上述の実施形態において、規定部位ＳＰを通る規定面ＶＰは、回転軸ＡＸと直交し、ローカル座標系のＸｌ−Ｚｌ平面と平行であることとした。規定面ＶＰは、回転軸ＡＸと直交しなくてもよい。また、規定面ＶＰは、グローバル座標系に基づいて規定されてもよい。例えば、規定面ＶＰは、作業機械２の進行方向と平行な軸及び鉛直方向と平行な軸を含む平面と平行でもよい。作業機械２の進行方向とグローバル座標系のＸｇ軸とが平行である場合、規定面ＶＰは、グローバル座標系のＸｇ軸及びＺｇ軸を含むＸｇ−Ｚｇ平面と平行でもよい。シンボル画像ＳＩは、グローバル座標系において規定された規定面ＶＰと作業機械２の進行方向の地形ＷＡの表面の少なくとも一部とが交差する交差部ＣＬを示してもよい。

上述の実施形態においては、前方に走行する作業機械２の進行方向の地形高さを示すシンボル画像ＳＩが表示装置７に表示されることとした。後方に走行する作業機械２の進行方向の地形高さを示すシンボル画像ＳＩが表示装置７に表示されてもよい。また、作業機械２の後部に、掘削対象を掘削可能なリッパと呼ばれる掘削部材が設けられている場合、規定部位ＳＰは、掘削部材に規定されてもよい。また、前後進切換レバー４Ｃが操作されることにより、作業機械２の前方の地形高さを示すシンボル画像ＳＩの表示と、作業機械２の後方の地形高さを示すシンボル画像ＳＩとの表示とが切り換えられてもよい。

上述の実施形態において、メッシュ画像ＭＩ及びシンボル画像ＳＩは、作業機械２の走行において３次元計測装置９により取得された３次元地形データＴＤに基づいて生成されることとした。すなわち、メッシュ画像ＭＩ及びシンボル画像ＳＩは、リアルタイムに取得された３次元地形データＴＤに基づいて生成されることとした。過去において取得された３次元地形データＴＤが記憶部１０８に記憶され、メッシュ画像ＭＩ及びシンボル画像ＳＩは、記憶部１０８に記憶されている３次元地形データＴＤに基づいて生成されてもよい。例えばグローバル座標系において規定される３次元地形データＴＤが記憶部１０８に記憶されることにより、メッシュ画像生成部１０５は、記憶部１０８に記憶されている３次元地形データＴＤに基づいて、作業機械２の周囲のメッシュ画像ＭＩを円滑に生成することができる。シンボル画像生成部１０６は、記憶部１０８に記憶されている３次元地形データＴＤに基づいて、作業機械２の進行方向のシンボル画像ＳＩを円滑に生成することができる。

上述の実施形態において、メッシュ画像ＭＩは表示装置７に表示されなくてもよい。

上述の実施形態においては、作業機械２がブルドーザであることとした。作業機械２は、油圧ショベルでもよいし、ホイールローダでもよい。作業機械２が油圧ショベルである場合、作業機械２の車幅方向において最も外側の部位は、履帯である場合が多い。作業機械２が油圧ショベルである場合、規定部位ＳＰは、履帯に規定されてもよい。なお、作業機械２が油圧ショベルである場合においても、規定部位ＳＰは、バケットを含む作業機の少なくとも一部に規定されてもよい。

１…遠隔操作システム、２…作業機械、３…表示システム、４…操作装置、４Ａ…走行レバー、４Ｂ…作業レバー、４Ｃ…前後進切換レバー、５…操作制御装置、６…通信システム、６Ａ…通信装置、６Ｂ…通信装置、７…表示装置、８…撮像装置、９…３次元計測装置、１０…表示制御装置、１１…車両制御装置、１２…車体、１３…走行装置、１３Ａ…駆動輪、１３Ｂ…遊動輪、１３Ｃ…履帯、１４…作業機、１５…油圧シリンダ、１５Ａ…リフトシリンダ、１５Ｂ…アングルシリンダ、１５Ｃ…チルトシリンダ、１６…位置センサ、１７…車体姿勢センサ、１８…作業機姿勢センサ、１８Ａ…リフト姿勢センサ、１８Ｂ…アングル姿勢センサ、１８Ｃ…チルト姿勢センサ、１９…リフトフレーム、２０…ブレード、１０１…地形画像取得部、１０２…３次元地形データ取得部、１０３…作業機械データ取得部、１０４…規定部位位置算出部、１０５…メッシュ画像生成部、１０６…シンボル画像生成部、１０７…表示制御部、１０８…記憶部、ＡＸ…回転軸、ＣＬ…交差部、ＣＰ…交点、ＭＢ…段差、ＭＩ…メッシュ画像、ＭＩｘ…第１ライン、ＭＩｙ…第２ライン、ＲＣ…遠隔操作施設、ＳＩ…シンボル画像、ＳＰ…規定部位、ＴＤ…３次元地形データ、ＴＩ…地形画像、ＶＰ…規定面、ＷＡ…地形、ＷＳ…作業現場。

Claims

表示装置と、
作業機械に設けられた撮像装置と、
前記作業機械に設けられた３次元計測装置と、
前記３次元計測装置により計測された前記作業機械の進行方向の３次元地形データに基づいて、前記撮像装置により撮像された前記進行方向の地形画像に、前記進行方向の地形高さを示すシンボル画像を重畳させて、前記表示装置に表示させる表示制御装置と、を備える、
表示システム。
前記表示制御装置は、前記作業機械の周囲の地形の３次元形状を示すメッシュ画像を、前記シンボル画像とは異なる表示形態で前記表示装置に表示させる、
請求項１に記載の表示システム。
前記シンボル画像は、前記作業機械の規定部位を通る規定面と前記進行方向の地形の表面の少なくとも一部とが交差する交差部を示す、
請求項１又は請求項２に記載の表示システム。
前記交差部は、前記地形の表面に沿って前記進行方向に延伸する交線を含む、
請求項３に記載の表示システム。
前記規定部位は、前記作業機械の車幅方向において最も外側の部位を含む、
請求項３又は請求項４に記載の表示システム。
前記作業機械は、車体と、回転軸を中心に回転する回転体を含む走行装置とを有し、
前記規定面は、前記回転軸と直交する、
請求項３から請求項５のいずれか一項に記載の表示システム。
前記作業機械は、前記車体に連結される作業機を有し、
前記規定部位は、前記作業機の少なくとも一部に規定される、
請求項６に記載の表示システム。
前記作業機は、ブレードを含み、
前記規定部位は、前記ブレードの幅方向両端部に規定される、
請求項７に記載の表示システム。
前記車体の位置を検出する位置センサと、
前記車体の姿勢を検出する車体姿勢センサと、
前記作業機の姿勢を検出する作業機姿勢センサと、を備え、
前記表示制御装置は、前記車体の位置、前記車体の姿勢、及び前記作業機の姿勢に基づいて、前記規定部位の位置を算出する、
請求項７又は請求項８に記載の表示システム。
前記表示装置は、前記作業機械の外部に設けられる、
請求項１から請求項９のいずれか一項に記載の表示システム。
作業機械の外部に設けられた表示装置と、
前記作業機械を遠隔操作する操作装置と、
前記作業機械に設けられた３次元計測装置により計測された前記作業機械の進行方向の３次元地形データに基づいて、前記作業機械に設けられた撮像装置により撮像された前記進行方向の地形画像に、前記進行方向の地形高さを示すシンボル画像を重畳させて、前記表示装置に表示させる表示制御装置と、を備える、
遠隔操作システム。
作業機械の進行方向の３次元地形データに基づいて、前記進行方向の地形高さを示すシンボル画像を生成することと、
前記進行方向の地形画像に、前記シンボル画像を重畳させて、表示装置に表示させることと、を含む、
表示方法。