JP2021158465A - 遠隔操作用のデータ表示システム - Google Patents

Abstract

【課題】従来のデータ表示システムでは、多くのフレームの計測データを保持する必要があるので、データ処理の効率向上が要望されていた。【解決手段】作業車両Ｖの自己位置を検出する位置検出器１と、作業車両前方の地上領域を測距する測距装置２と、位置検出器１及び測距装置２の各検出値に基づいて表示用データを作成する処理装置３とを備え、処理装置３が、測距装置２の計測データが選別領域に入っているか否かを選別するデータ選別手段と、測距装置２のセンサ座標系の計測データを地上座標系の計測データに変換する座標変換手段と、表示用データを作成するデータ作成手段と、作成した表示用データを表示するデータ表示手段とを備えた遠隔操作用のデータ表示システムとし、作業車両Ｖを遠隔操作するに際してデータ処理の効率向上を実現した。【選択図】図１

Description

本発明は、所定の作業を行う重機等の作業車両を遠隔操作する際に用いられる遠隔操作用のデータ表示システムに関するものである。

従来において、作業車両の遠隔操作技術としては、移動式自動砕石プラント及び自動油圧ショベルの名称で、特許文献１に記載されたものがある。特許文献１に記載の自動油圧ショベルは、アームやバケット等の駆動部の駆動制御を行う制御装置と、監視用カメラと、オペレータとの間で制御装置及び監視用カメラの信号の送受信を行う送受信器とを搭載している。また、オペレータが操作する遠隔操作装置は、制御装置に指令信号を送信するコントローラや、監視用カメラの画像を表示するモニター等を備えている。

上記の自動油圧ショベルは、オペレータが、監視用カメラで撮像した画像を見ながらコントローラを操作し、この操作により発生した指令信号を送受信器で受信して制御装置に入力することにより、各駆動部を駆動制御して所定の作業を実行する。

ところで、上記した移動体の遠隔操作技術では、監視用カメラの画像を利用しているので、上下左右方向の把握はできるものの、奥行き方向の把握が困難になる場合がある。そこで、近年では、作業車両に複数のカメラを搭載して、各カメラの画像に基づいて三次元的な画像を作成することや、レーザレンジファインダを搭載して、走行しながら計測した周囲環境の計測データに基づいて三次元的な画像を作成することが検討されている。

特開平９−１９５３２１号公報

しかしながら、従来の作業車両の遠隔操作技術では、複数のカメラを用いる場合、装置の構成が複雑化するとともに製造コストが嵩むという問題がある。これに対して、レーザレンジファインダを用いる場合では、装置の構成が簡単で且つ比較的廉価になるものの、作業車両の走行（移動）や作業をする領域が広範囲になるほど、多くのフレームの計測データを保持する必要があることから、データ処理の効率化を図る改善が必要であった。

本発明は、上記従来の状況に鑑みて成されたもので、予め設定した領域において所定の作業を行う作業車両を遠隔操作するに際し、データ処理の効率を高めることができる遠隔操作用のデータ表示システムを提供することを目的としている。

本発明に係わる遠隔操作用のデータ表示システムは、作業車両を遠隔操作する際に用いられるデータ表示システムであって、作業車両の自己位置を検出する位置検出器と、作業車両前方の地上領域を測距する測距装置と、位置検出器及び測距装置の各検出値に基づいて表示用データを作成する処理装置とを備えている。そして、データ表示システムは、前記処理装置が、測距装置で取得した計測データが選別領域に入っているか否かを選別するデータ選別手段と、測距装置で取得したセンサ座標系の計測データを地上座標系の計測データに変換する座標変換手段と、表示用データを作成するデータ作成手段と、作成した表示用データを表示するデータ表示手段とを備えていることを特徴としている。

本発明に係わる遠隔操作用のデータ表示システムは、上記構成を採用したことにより、予め設定した領域において所定の作業を行う作業車両を遠隔操作するに際し、データ処理の負担を軽減してデータ処理の効率を高めることができる。

本発明に係わる遠隔操作用のデータ表示システムの一実施形態を示す説明図である。 処理装置におけるデータの処理工程を説明するフローチャートである。 図２中のデータの選別処理の工程の細部を示すフローチャートである。 図２中の表示用データの作成処理の工程の細部を示すフローチャートである。 図２〜図４に示す処理工程を模式的に示す説明図である。 表示用データのイメージを示す説明図である。

図１は、本発明に係わる遠隔操作用のデータ表示システムの一実施形態を説明する図である。この実施形態で例示する作業車両Ｖは、油圧ショベルである。図示の作業車両Ｖは、無限軌道を備えた走行体２１の上部に、垂直軸回りに回動可能な旋回体２２を備えている。旋回体２２には、運転席があり、ブームシリンダ２３により上下方向に駆動されるブーム２４が連結してある。ブーム２４には、第１アーム２５が回動可能に連結してある。第１アーム２５には、アームシリンダ２６により上下方向に駆動される第２アーム２７が連結してあり、また、第２アーム２７には、図示しないバケットシリンダにより駆動されるバケット２８が連結してある。

データ表示システムは、上記の作業車両Ｖを遠隔操作する際に用いられるものであり、
基本構成として、作業車両Ｖの自己位置を検出する位置検出器１と、作業車両前方の地上領域を測距するレーザレンジファインダ２と、位置検出器１及びレーザレンジファインダ２の各検出値に基づいて表示用データを作成する処理装置３とを備えている。

この実施形態の位置検出器１は、作業車両Ｖに搭載したＧＰＳ（Global Positioning System）１Ａ、及びＩＮＳ（Inertial Navigation System）１Ｂである。位置検出器１は、緯度経度を基に算出した世界測地系や日本測地系に基づく位置（特定の緯度経度を原点とした相対位置情報）を作業車両Ｖの自己位置として表すものである。よって、位置検出器１は、ＧＰＳ１Ａ及びＩＮＳ１Ｂのいずれか一方であっても構わない。

この実施形態の測距装置は、レーザレンジファインダ２である。レーザレンジファインダ２は、作業車両Ｖの前方の地上領域に対してレーザ光を縦横に走査し、その反射光を受光することで各計測点までの距離を計測する。処理装置３は、各計測点の計測データにより、所定範囲の地形データを得ることができる。

処理装置３は、コンピュータであって、後記する処理工程を行うための構成として、選別データ保存領域３Ａ，非選別データ保存領域３Ｂ，表示用データ保存領域３Ｃ，及びデータ処理部３Ｄを備えている。

また、処理装置３は、データ処理部３Ｄが、レーザレンジファインダ２で取得した計測データが選別領域に入っているか否かを選別するデータ選別手段と、レーザレンジファインダ２で取得したセンサ座標系の計測データを地上座標系の計測データに変換する座標変換手段と、表示用データを作成するデータ作成手段と、作成した表示用データを表示するデータ表示手段とを備えている。

さらに、処理装置３は、上記のデータ選別手段が、選別データと非選別データとを夫々の保存領域３Ａ，３Ｂに格納する機能を有すると共に、上記のデータ作成手段が、表示用データを表示用データ保存領域３Ｃに格納すると共に、非選別データの保存領域をクリアする機能を有している。この実施形態では、表示用データを格納した後に非選別データの保存領域をクリアする。この際、処理装置３は、最新の非選別データを使用することができる。

データ表示システムは、上記構成のほか、処理装置３で作成した表示用データを表示するための表示部４、作業車両Ｖを遠隔操作するための操作部５を備えている。表示部４及び操作部５は、遠隔位置に配置してある。そこで、データ表示システムは、処理装置３に接続した搭載通信装置６と、表示部４に接続した遠隔通信装置７とにより、データ通信を行う構造になっている。

さらに、作業車両Ｖには、姿勢を検出するためのセンサ類が設けてある。これらのセンサ類としては、例えば、走行体２１に対する旋回体２２の回動角度、旋回体２２に対するブーム２４の回動角度、ブーム２４に対する第１アーム２５の回動角度、第１アーム２５に対する第２アーム２７の回動角度、及び第２アーム２７に対するバケット２８の回動角度を夫々検出するセンサが用いられる。なお、ブームシリンダ２３、アームシリンダ２６及びバケットシリンダの夫々の伸縮位置を検出するセンサを用いることもできる。これらのセンサからの信号により、作業車両Ｖの姿勢、とくに、バケット２８を用いた作業時の姿勢を把握し得る。

次に、図２に基づいて、上記のデータ表示システムの処理工程を説明する。
処理装置３は、操作部５の入力を基にステップＳ１において処理を開始すると、ステップＳ２においてレーザレンジファインダ２の計測データを取得し、ステップＳ３において、計測データが選別領域に入っているか否かの選別処理を行う。

この選別処理は、図３に示すように、ステップＳ３１において、選別領域の算出を行い、ステップＳ３２において、計測データが選別領域に入っているか否かを判断する。計測データが選別領域に入っている場合（Ｙｅｓ）には、ステップＳ３３において、計測データの座標変換を行ってから、ステップＳ３４において、計測データを選別データ保存領域３Ａに格納し、ステップＳ３６において処理を終了し、図２に示す次のステップＳ４に移行する。他方、計測データが選別領域に入っていない場合（Ｎｏ）には、ステップＳ３３において、計測データの座標変換を行ってから、ステップＳ３５において、計測データを非選別データ保存領域３Ｂに格納し、ステップＳ３６において処理を終了して、図２に示す次のステップＳ４に移行する。

ここで、非選別領域は、作業車両Ｖである油圧ショベルの作業可能範囲であり、地形等の変化が生じる可能性がある領域である。油圧ショベルの作業可能範囲は、アーム２７等の長さ及び旋回体２２の回動角度により算出される特定の大きさの矩形領域等である。一方、選別領域は、レーザレンジファインダ２の計測範囲から非選別領域を除いた範囲であり、地形等の変化が生じない領域である。

また、処理装置３は、選別後の計測データを格納する際において、図３中のステップＳ３３において、レーザレンジファインダ２のセンサ座標系の計測データを地上座標系の計測データに変換する。この際、処理装置３は、位置検出器１により検出した自己位置を取得しているので、この自己位置と地上座標系の計測データとに基づいて、地図データ上の自己位置を把握し得る。

次に、処理装置３は、図２中のステップＳ４において、表示用データの作成処理を行う。この作成処理は、図４に示すように、ステップＳ４１において、作業車両Ｖの自己位置や姿勢を取得する。作業車両Ｖの自己位置は、位置検出器１（１Ａ，１Ｂ）の検出値を使用する。また、作業車両Ｖの姿勢は、作業車両Ｖの適宜の部位に装着したセンサ類の検出値を使用する。

さらに、処理装置３は、表示用データの作成のため、ステップＳ４２において、選別データ保存領域３Ａから計測データを切り出す。この切り出しにおいては、地上座標系で保存した選別データ保存領域３Ａ中のデータから、作業車両Ｖの自己位置と姿勢を基に、車両周囲の予め設定した範囲に含まれ、且つ非選別データの範囲を除くデータを切り出す。次に、処理装置３は、ステップＳ４３において、選別データ保存領域３Ａより切り出されたデータと、非選別データと統合して表示用データを作成する。その後、処理装置３は、ステップＳ４４において、表示用データを表示用データ保存領域３Ｃに格納し、ステップＳ４５において、非選別データ保存領域３Ｂにおける非選別データをクリアし、ステップＳ５に移行して表示用データを表示する。

そして、処理装置３は、図２中のステップＳ５において、データ処理部３Ｄにより表示用データを表示部４に表示し、ステップＳ６において、作業を終了したか否かを判断し、作業を終了した場合（Ｙｅｓ）には、ステップＳ７において処理を終了する。他方、作業を終了していない場合（Ｎｏ）には、ステップＳ２に戻って同様の処理を繰り返し行う。なお、作業の終了は、例えば遠隔操縦者が操作部５を操作することにより行われる。よって、ステップＳ６では、操作部５の入力に基づいて作業を終了したか否かを判断する。

このように、上記のデータ表示システムは、位置検出器１（１Ａ，１Ｂ）と、レーザレンジファインダ２と、処理装置３とを備え、処理装置３において、取得した計測データに対して選別処理を行ってから、センサ座標系の計測データを地上座標系の計測データに変換し、表示用データの作成処理を行って、その表示用データを表示することから、限られたメモリ領域を用いてデータ処理を行うことができる。

図５は、上記の処理工程（図２〜図４）を模式的に示す説明図である。
すなわち、データ表示システムは、図５（Ａ）に示すように、作業車両Ｖの前方の地上領域をレーザレンジファインダ２により計測する（図２のＳ２）。この際、作業により地形が変化した場合においても、地形変化及び作業の進捗の把握が可能な周囲環境情報を提供することが可能である。加えて、データ表示システムでは、作業の進捗により作業車両Ｖが移動した場合に、計測範囲外となる箇所が発生するが、計測範囲外となった箇所、及び新たに計測される箇所のいずれの箇所も選別データ保存領域にデータを保持して表示可能であるから、これらのデータを周囲環境情報として提供することが可能である。

そして、データ表示システムは、レーザレンジファインダ２で計測をしながら、位置検出器１で検出した自己位置に基づいて、作業車両Ｖを予め設定した作業地点（作業範囲Ａ２）の近傍まで走行させる。なお、データ表示システムの処理開始のタイミングは、作業車両Ｖが作業地点の近傍に移動した時点でなくても良く、作業車両Ｖの周辺のデータを表示するために、作業地点から離れた位置から開始し、移動しながら計測することにより、計測できていない箇所を減らし、且つより広い範囲を計測できる点で有効である。また、この移動時において、選別領域の算出（Ｓ３１）では、非選別領域を空に設定し、レーザレンジファインダ２の計測範囲を全て選別領域とすることが可能である。

次に、データ表示システムは、計測データの選別処理（図２のＳ３）を行った後、計測データの座標変換（図３のＳ３３）を行う。すなわち、データ表示システムは、選別領域を算出（図３のＳ３１）し、計測データが選別領域に入っているか否かを判断（図３のＳ３２）し、選別したデータを選別データ保存領域に格納する（図３のＳ３４）。また、データ表示システムは、選別しなかったデータを非選別データ保存領域に格納する（図３のＳ３５）。

この選別データ保存領域３Ａに格納されているデータの範囲には、作業が可能な範囲（非選別データの範囲）である作業範囲Ａ２と仮想車両Ｖｘの範囲が含まれる。ここで、仮想車両Ｖｘは、作業車両Ｖの大きさ等の形状情報に基づいた矩形領域等である。データ表示システムは、図５（Ｃ）に示す選別データ保存領域３Ａに格納されているデータの範囲において、予め仮想車両Ｖｘを基準として設定した範囲を基に、作業範囲Ａ２を除いた選別データ保存領域３Ａを、切り出し範囲Ａ３として設定（図４のＳ４２）する。

ここで、作業車両Ｖが、油圧ショベルである場合、非選別データには自身のバケット２８を計測したデータも含まれる。このとき、バケット２８の計測データを選別データとして格納すると、選別データ保存領域３Ａ中に格納したデータに、バケット２８の計測データが残像として生じ、実際の地形等の計測データとの間に乖離が生じる。但し、このようなバケット２８を計測したデータは、非選別データと選別されるため、選別データ保存領域中に格納されたデータ中に残像が生じることはない。

さらに、データ表示システムは、上記の切り出し範囲Ａ３から、図５（Ｄ）に示す表示用地形データＤ１を作成する。この際、表示用地形データＤ１には、選別データと、非選別データ（作業範囲Ａ２）とが含まれる。そして、データ表示システムは、表示用地形データＤ１に、作業車両Ｖの状態に応じた仮想車両ＶｘのＣＧモデルを足し合わせることにより、図６にイメージで示す表示用データＤ２を作成し、表示用データ保存領域３Ｃに保存する。仮想車両Ｖｘは、ＣＧで作成することができ、その位置や姿勢は、作業車両Ｖの位置や姿勢から把握することができる。

このようにして、データ表示システムは、図６に示すイメージ（表示用データＤ２）を表示部４に表示することができる。このイメージ（表示用データＤ２）は、上記の処理工程により作成した表示用データＤ２を三次元に変換して、作業車両（仮想車両）Ｖを含む周辺環境を俯瞰的に示している。また、イメージ（表示用データＤ２）は、計測範囲Ａ１及び作業範囲Ａ２を示したり、周辺環境の高さを色分けして高低差を認識し易くしたりすることが可能である。

これにより、データ表示システムは、予め設定した領域において所定の作業を行う作業車両Ｖを遠隔操作するに際し、構造や製造コストの面で有利なレーザレンジファインダ２を使用して、作業車両Ｖの走行（移動）や作業をする領域が広範囲であっても、データ処理の負担を軽減してデータ処理の効率を高めることができる。また、データ表示システムは、一部分をリアルタイムで表示したり、過去データを表示したりすることも容易に可能である。

ここで、図１に示す作業車両Ｖとしての油圧ショベルで地面を掘削する場合、同一地点で繰り返し掘削作業をするので、次第に状況が変化する。つまり、掘削作業では、油圧ショベルのブーム２４、第１アーム２５、第２アーム２７及びバケット２８の位置や姿勢を次第に変化させることで、掘削穴が次第に大きく且つ深くなる。この掘削穴の変化は、レーザレンジファインダ２の計測を継続しているので、その計測データから把握することができる。

このとき、従来のように、多くのフレームの計測データを保持すると、過去のデータにより作業の進捗状況が判り難くなり、また、過去の計測データから該当箇所を取り除くにはデータ処理の負担が大きくなる。

これに対して、上記のデータ表示システムでは、計測データの選別処理を行うので、過去のデータによって作業の進捗状況が判り難くなることがなく、データ処理の負担を軽減することができる。

また、上記のデータ表示システムは、処理装置３において、データ選別手段が、選別データと非選別データとを夫々の保存領域３Ａ，３Ｂに格納する機能を有すると共に、データ作成手段が、表示用データを表示用データ保存領域３Ｃに格納すると共に、非選別データの領域をクリアする機能を有する。これにより、データ表示システムは、非選別データ保存領域に過去の情報が残らないようにする。

つまり、図６に示すような表示用データＤ２（イメージ）を作成する場合、複数の計測データ（フレームのデータ）を保持する必要がある。しかし、作業車両Ｖが停止した場合、計測するデータがすべて同一箇所を計測したものとなり、例えば、過去に計測できた箇所が現在は計測できない場合に、その箇所の計測データが消える。これを緩和するため、保存する計測データのフレーム数を増やすとデータ量が大きくなる。つまり、変化の無い同一地点において過去から現在までの全ての計測データを保存しておくことは、膨大なデータ量となり、リアルタイム性が困難になる。

そこで、データ表示システムは、例えば、地図の様なデータ保存領域を設けて、同一地点の計測データを１つに代表させるようにして、データ量を小さくする。但し、その中でも作業範囲Ａ２は作業の進捗に伴って次第に変化する。そこで、データ表示システムは、作業範囲Ａ２については、過去のデータではなく、最新のデータを用いるために、過去データを含む選別データ保存領域３Ａと、リアルタイムの計測データを含む非選別データ保存領域３Ｂとを採用している。

本発明に係わる遠隔操作用のデータ表示システムは、その構成が上記の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲で、構成の細部を適宜変更することができ、例えば、測距装置としては、レーザレンジファインダのほか、ステレオカメラを利用して測距を行うものを用いることも可能である。

Ｖ 作業車両
１ 位置検出器
１Ａ ＧＰＳ（位置検出器）
１Ｂ ＩＮＳ（位置検出器）
２ レーザレンジファインダ（測距装置）
３ 処理装置
３Ａ 選別データ保存領域
３Ｂ 非選別データ保存領域
３Ｃ 表示用データ保存領域

Claims (2)

1. 作業車両を遠隔操作する際に用いられるデータ表示システムであって、
   作業車両の自己位置を検出する位置検出器と、
   作業車両前方の地上領域を測距する測距装置と、
   位置検出器及び測距装置の各検出値に基づいて表示用データを作成する処理装置とを備え、
   前記処理装置が、
   測距装置で取得した計測データが選別領域に入っているか否かを選別するデータ選別手段と、
   測距装置で取得したセンサ座標系の計測データを地上座標系の計測データに変換する座標変換手段と、
   表示用データを作成するデータ作成手段と、
   作成した表示用データを表示するデータ表示手段とを備えていることを特徴とする遠隔操作用のデータ表示システム。
2. 前記処理装置におけるデータ選別手段が、選別データと非選別データとを夫々の保存領域に格納する機能を有すると共に、
   前記処理装置におけるデータ作成手段が、表示用データを表示用データ保存領域に格納すると共に、非選別データの保存領域をクリアする機能を有することを特徴とする請求項１に記載の遠隔操作用のデータ表示システム。

Images