JP2021130973A - 情報提示システム - Google Patents

Abstract

【課題】遠隔地点においても、対象物を運搬等する作業において、操作者に距離感が掴みやすい情報を提示する。【解決手段】情報提示システム１００は、可動式のバケットＢＫによる作業の対象物を設定する対象物設定部１２６と、バケットＢＫと対象物との距離を測定するバケット−対象物間距離測定部１３０と、測定した距離に応じた態様で情報を提示する提示情報処理部１３２及び表示部１４４を備える。遠隔地点にいる操作者は、提示された情報の態様からバケットＢＫと対象物との距離感を容易に掴むことができる。【選択図】図１

Description

本発明は、作業時に対象物との距離を情報として提示する情報提示システムに関する。

近年、作業現場等にある建設機械を遠隔地から操作する技術が多く提供されている。このような遠隔操作を実施する際は、建設機械に取り付けたカメラで撮影した画像を遠隔地に送信し、そこで表示された画像を頼りに操作者が建設機械を遠隔で操作することになる。

一般に建設機械は、現場内での移動（走行）とは別に、可動式の作業体（例えばバックホウのバケット）を用いた物の積み込みや運搬、土ならしといった様々な作業を行う。このような作業中、操作者が実際の現場で運転席に着座しているのであれば、作業の対象となる物（運搬・積み込み作業では運搬・積み込みの対象となる土、ならす作業ではならす対象となる土）との距離感を自身の視覚によって掴むことができるものの、遠隔操作ではカメラ映像を通して現場の様子を視認するため、作業者が実際の距離感を掴みにくいというのが現状である。

ここで従来、ショベルのような建設機械にステレオカメラを取り付け、ステレオカメラにより対象物との距離を検出し、所定の距離より近いときに対象物を囲う枠を表示する先行技術が知られている（例えば、特許文献１参照。）。この先行技術はさらに、検出した距離に応じて枠の色を変えることが可能となっており、距離感の伝達という意味ではある程度の関連性がある。

この他にも、クレーンのような建設機械にブーム（ジブ）先端を撮影するカメラを取り付け、オートフォーカス撮影時の合焦点位置と検出したブームの長さにより、ブームと衝突しうる障害物を検出する先行技術が知られている（例えば、特許文献２参照。）。この先行技術はさらに、障害物の存在する位置を特定し得る情報も取得することが可能となっている。

特開２０１９−４４８４号公報 特開２０１８−２４５００号公報

前者の先行技術（特許文献１）は、ショベル車体との距離が所定の距離未満であるか否かにより表示を切り替えるため、ショベル車体に比較的近い地物、すなわち、接触の可能性が比較的高い地物をより認識し易くさせることができる。この技術を遠隔操作に応用すれば、遠隔地点にいる操作者にも周囲の地物との距離感をある程度伝えることができると考えられる。しかしながら、この技術はあくまで、ショベル車体と周囲地物との距離に応じた表示制御をしているのみであり、運搬・積み込み作業を行うバケットのような作業体とその対象物との距離感までを操作者に伝えることはできない。

また、後者の先行技術（特許文献２）は、現状のブーム長で衝突し得る物体の存在を知らせるだけであり、操作中（ブーム、アーム、バケットを動かして、近づいている最中）に対象物との距離感を操作者に伝えるものではない。

そこで本発明は、遠隔地点においても、対象物を運搬等する作業において、操作者に距離感が掴みやすい情報を提示することを目的とする。

本発明は、情報提示システムを提供する。このシステムは、設定した対象物と作業体との距離を測定し、その距離に応じた態様で情報を提示する。したがって、遠隔地点にいる操作者は、提示された情報の態様から作業体と対象物との距離感を容易に掴むことができる。

また本発明のシステムは、作業の過程で対象物との距離が動的に変化することにも着目する。例えば、土砂の運搬や積み込み、土ならしといった作業の過程では、作業体であるバケットの操作に応じて土砂などの対象物との距離が動的に変化する。このため、例えば作業体と対象物との距離が近くなる（あるいは遠くなる）に連れて、距離等の情報を提示する態様を変化させるものとする。これにより、遠隔地点にいる操作者は、システムから提示される情報の態様の変化から、動的に変化していく対象物との距離感を掴みやすくなる。

本発明のシステムによる距離の測定には、以下の手法を用いることができる。
すなわち、所定の基準位置から対象物までの距離（１）を測定し、所定の基準位置から作業体までの距離（２）を測定し、これら測定した距離（１），（２）に基づいて、作業体と対象物との距離を測定する。これにより、高精度な距離の測定及び情報の提示が実現される。

好ましくは、本発明のシステムはステレオカメラを含むことができる。ステレオカメラは、可動する作業体とは異なり対象物に対して一定（不動）である所定の基準位置から作業体を撮像する。そして、ステレオカメラにより撮像した作業体の画像（画像データから抽出可能な輪郭、エッジ等の画像特徴量）に基づいて、基準位置から作業体までの距離を測定する。これにより、汎用（既存）の技術を用いたシステムの実現が可能となる。

あるいは、本発明のシステムには、作業体が有する水平方向の実長（実寸法）が設定されており、対象物に対して一定（不動）である所定の基準位置から作業体を撮像するカメラが含まれる。そして、カメラにより撮像した画像内での水平方向の長さと、設定した実長とに基づいて基準位置から作業体までの距離を算出（測定）する。これにより、上記と同様に汎用（既存）の技術を用いたシステムの実現が可能となる。

本発明のシステムでは、対象物を以下のように設定することができる。
すなわち、システムが対象物を撮像するカメラを含むものとし、カメラにより撮像した画像を画面上でのタッチ操作が可能デバイス（タッチスクリーン等）に表示する。システムから情報提示を受ける操作者は、画面上でタッチ操作を行うことにより、作業の対象とする物を容易に指定することができる。システムは、タッチ操作で指定された画像領域から対象物を設定することができる。

本発明のシステムは、距離センサを含むものでもよい。距離センサは、所定の基準位置からの距離を測定可能であり、距離センサにより測定した対象物までの距離を用いて、作業体と対象物との距離を測定することもできる。これにより、上記と同様に汎用（既存）の技術を用いたシステムの実現が可能となる。

本発明のシステムは、モード切り替えが可能であってもよい。システムのモードには、例えば情報を提示するモード（提示モード）と、提示しないモード（非提示モード）とが少なくとも存在する。例えば、システムが情報を提示していないモード（非提示モード）にあるとき、作業体による作業として対象物の運搬を指定する操作がなされたとすると、これをトリガとしてシステムは提示モードに切り替える。また、情報を提示しているモード（提示モード）中に作業体による作業以外の操作がなされると、これをトリガとしてシステムは提示モードを終了して非提示モードに切り替える。これにより、例えば遠隔地点での操作において、距離感が関係しない状況ではシステムが情報の提示を敢えて行わず、距離感を掴む必要が生じた状況ではシステムが適時に情報の提示を行うことができる。

本発明は、遠隔地点においても、対象物を運搬等する作業において、操作者に距離感が掴みやすい情報を提示することができる。

情報提示システム１００の構成を示すブロック図である。 バックホウＢＨの側面図である。 バックホウＢＨの平面図である。 システム１００において生成される俯瞰画像の例を示す図である。 システム１００において生成される前方画像の例を示す図である。 バックホウＢＨの移動終了時の前方画像を示す図である。 バケットＢＫによる運搬作業開始時の前方画像を示す図である。 オペレーションルームＲ内に設置されたタッチスクリーンＴＳ２の前方画像を示す図である。 バケットＢＫと対象物の距離がある程度遠い場合にタッチスクリーンＴＳ２に提示される情報の態様を示す図である。 バケットＢＫと対象物の距離がより近接してきた場合にタッチスクリーンＴＳ２に提示される情報の態様を示す図である。 情報提示管理処理の手順例を示すフローチャートである。 バケット間距離測定処理の手順例を示すフローチャートである。 対象物間距離測定処理の手順例を示すフローチャートである。 遠隔操作管理処理の手順例を示すフローチャートである。 操作入力処理の手順例を示すフローチャートである。 システム１００の第２実施形態における各種デバイスの配置を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。以下の実施形態では、情報提示システムの一例として、機器側と遠隔側とで構成が分かれた形態を挙げているが、本発明はこれに限られるものではなく、物理的に近接あるいは一体となった構成のシステムであってもよい。

図１は、情報提示システム１００の構成を示すブロック図である。なお、図１にはシステム１００のブロック構成とともに、システム１００が適用された建設機械（例えばバックホウＢＨ）を配置した現場と、その遠隔操作を行うオペレーションルームＲの様子も示されている。なお、建設機械の例としては、バックホウＢＨが挙げられるが、ブルドーザのような、他の機械にも本実施形態のシステム１００は適用可能である。

上記のように本実施形態では、現場に配置したバックホウＢＨを遠隔地点にあるオペレーションルームＲで操作するため、システム１００の構成が〔機器側〕と〔遠隔側〕とに大きく分かれている。そこで、先ず〔機器側〕の構成から説明する。

〔機器側〕
システム１００の機器側の構成は、バックホウＢＨに搭載されている。具体的な配置はさらに別の図面を用いて後述するが、バックホウＢＨには、その車体に距離センサ１０２が取り付けられている他、例えば４つの魚眼カメラ１０４，１０６，１０８，１１０が取り付けられている。距離センサ１０２には、例えば既存のレーザセンサや超音波センサといった三次元領域センサを用いることができ、この距離センサ１０２は、センシング領域内にある各種の物体までの距離を検出することができる。また、魚眼カメラ１０４〜１１０についても同様に、既存の製品を用いることができる。魚眼カメラ１０４〜１１０で撮像された画像は、合成処理（ステレオ処理及び俯瞰画像化処理を含む）されて遠隔側に随時送信される。なお、合成画像についてはさらに後述する。

システム１００は、機器制御部１２０を備える。機器制御部１２０には、上記した距離センサ１０２からの検出信号や、魚眼カメラ１０４〜１１０からの撮像信号が図示しないインタフェースを通じて入力されている。機器制御部１２０は、例えば図示しないＣＰＵ（中央処理装置）及びその周辺機器を含むコンピュータ機器であり、既存のラップトップＰＣ等でも実現可能なものである。機器制御部１２０には、例えば検出処理部１２２やバケット間距離測定部１２４、対象物設定部１２６、対象物間距離測定部１２８、バケット−対象物間距離測定部１３０、提示情報処理部１３２といった各種の機能ブロックが含まれている。これらの機能ブロックは、例えばアプリケーションソフトウェア等を用いて行うソフトウェア処理によって実現することができるので、個別のハードウェアを用意する必要はない。以下に、これら機能ブロックによる処理の概要を説明するが、具体的な処理の詳細については、さらに別途フローチャートを用いて後述する。

検出処理部１２２は、例えば魚眼カメラ１０４，１０６で撮像された画像からバケットＢＫを検出（画素抽出）する処理を行う。画像からバケットＢＫを検出する処理は、例えばバケットＢＫの画像特徴量を用いた画像認識により行うことができる。

バケット間距離測定部１２４は、検出処理部１２２の検出結果に基づき、ステレオ処理により所定の基準位置からバケットＢＫまでの距離を検出する処理を行う。バケットＢＫを撮像する魚眼カメラ１０４，１０６は、バックホウＢＨの前方側に取り付けられており、これらの撮像範囲がバケットＢＫの作業範囲をカバーしている。なお、バックホウＢＨにおける基準位置や魚眼カメラ１０４〜１１０との位置関係は、事前に初期設定（キャリブレーション調整）されているものとする。

対象物設定部１２６は、バケットＢＫで運搬作業を行う対象物（例えば盛り土）の設定を行う。対象物は、遠隔側との通信を介して設定することができ、例えば遠隔地点（オペレーションルームＲ）にいる操作者がタッチスクリーンＴＳ２の画面上で対象物を指定すると、その指定された画素領域が機器制御部１２０に伝達される。なお、遠隔側での対象物の指定や対象物の設定についてはさらに後述する。

対象物間距離測定部１２８は、対象物までの距離を検出する処理を行う。対象物設定部１２６により対象物が設定されると、対象物間距離測定部１２８は、例えば魚眼カメラ１０４，１０６で撮像された画像を用いたステレオ処理により、所定の基準位置から対象物までの距離を測定する処理を行う。あるいは、対象物間距離測定部１２８は、距離センサ１０２からの検出信号を用いて所定の基準位置から対象物までの距離を測定することもできる。なお、バックホウＢＨにおける基準位置や距離センサ１０２との位置関係についても、事前に初期設定（キャリブレーション調整）されているものとする。

バケット−対象物間距離測定部１３０は、バケットＢＫと対象物との距離を測定する処理を行う。この処理では、バケット間距離測定部１２４により測定されたバケットＢＫまでの距離Ｄｂと、対象物間距離測定部１２８により測定された対象物までの距離Ｄｏに基づいて、三次元処理等によりバケットＢＫと対象物との距離Ｄｂ−ｏを算出する。

提示情報処理部１３２は、上記のように魚眼カメラ１０４〜１１０の撮影画像を合成し、俯瞰画像を生成する処理を行う。また、提示情報処理部１３２は、俯瞰画像の他にバケットＢＫ及び対象物を含む前方ステレオ画像を生成する処理も行う。

また、提示情報処理部１３２は、本実施形態のシステム１００に特徴的な以下の処理を行う。すなわち、提示情報処理部１３２は、バケット−対象物間距離測定部１３０で算出（測定）された距離に応じて、遠隔側にて提示する情報を生成する。生成された情報は、遠隔地点にいる操作者にバケットＢＫと対象物との距離感が伝わる態様で提示される。距離感を伝える提示態様としては、例えば以下のものが挙げられる（ただし、以下の例示に限らない。）。
（１）バケットＢＫと対象物との距離を音声で伝達する（「１．５メートルです」等）。
（２）距離に応じて画面上での描画色を変える（距離が近づくほど濃色に描画される等）。
（３）距離に応じてアラーム音の出力を変える（距離が近づくほど高音で出力される等）。
（４）距離に応じてアラーム音の周期を変える（距離が近づくほど短周期で出力される等）。

その他に機器制御部１２０には、記憶部１３６及び通信処理部１３４が含まれる。記憶部１３６は、例えばＲＯＭやＲＡＭ、ＨＤＤといった記憶媒体を用いて実現されている。また、通信処理部１３４は、無線又は有線によるデータ通信を行う機能ブロックであり、システム１００が使用する通信プロトコルに適合したユニットを用いて実現されている。なお、通信処理部１３４は機器制御部１２０と物理的に分離された別構成であってもよい。

また、機器制御部１２０は、駆動部１３８に対する制御処理を実行する。駆動部１３８は、バックホウＢＨが有する各種のアクチュエータ（油圧アクチュエータ、内燃機関及びこれらの制御ユニット等）を含む構成である。機器制御部１２０が駆動部１３８に対する制御処理を実行することにより、バックホウＢＨの遠隔操作が可能となる。

〔遠隔側〕
次に、遠隔側の構成について説明する。
システム１００の遠隔側の構成は、オペレーションルームＲに設置されている。すなわち、オペレーションルームＲには、操作部１４０や音出力部１４２、表示部１４４、タッチ入力部１４６といった各種デバイスが設置されている。操作部１４０は、操作者による操作入力を受け付ける物理インタフェースであり、例えば遠隔操作用のコントローラＣＮにより実現することができる。音出力部１４２は、例えば図示しないスピーカやヘッドセット等の音響機器である。表示部１４４及びタッチ入力部１４６は、例えばタッチ操作式の表示デバイスにより実現されている。本実施形態では、表示部１４４及びタッチ入力部１４６の例として２つのタッチスクリーンＴＳ１，ＴＳ２がオペレーションルームＲ内に設置されている。操作者は、タッチスクリーンＴＳ１，ＴＳ２の画面に触れることで、タッチ操作（タッチ入力）が可能である。

システム１００は、遠隔制御部１５０を備える。遠隔制御部１５０には、上記した操作部１４０からの操作信号や、タッチ入力部１４６からのタッチ操作信号が図示しないインタフェースを通じて入力されている。また、遠隔制御部１５０は、上記の音出力部１４２に対する音響信号や、表示部１４４に対する画像信号の出力を行う。これら音響信号や画像信号は、図示しない外部出力インタフェースを通じて出力されている。遠隔制御部１５０もまた、例えば図示しないＣＰＵ（中央処理装置）及びその周辺機器を含むコンピュータ機器であり、既存のラップトップＰＣ等でも実現可能なものである。遠隔制御部１５０には、例えば遠隔情報処理部１５２といった機能ブロックが含まれており、このような機能ブロックは、例えばアプリケーションソフトウェア等を用いて行うソフトウェア処理によって実現することができる。

遠隔情報処理部１５２は、操作部１４０から入力される操作信号や、タッチ入力部１４６から入力されるタッチ操作信号に基づいて、システム１００の遠隔側に伝達する遠隔操作情報、領域指定情報等を生成する処理を実行する。遠隔制御部１５０にも通信処理部１５４が搭載されている。通信処理部１５４は、同じく無線又は有線によるデータ通信を行う機能ブロックであり、システム１００が使用する通信プロトコルに適合したユニットを用いて実現されている。なお、通信処理部１５４が遠隔制御部１５０と物理的に分離されていてもよい。

システム１００において、機器制御部１２０と遠隔制御部１５０とは、通信網１６０を介して相互にデータ通信可能である。通信網１６０には、各種の通信方式に準拠した既存のものを適用することができ、有線又は無線のいずれの通信方式でもよい。これにより、オペレーションルームＲからバックホウＢＨの遠隔操作が可能となる。また、機器制御部１２０で測定した機器側での距離の情報を遠隔制御部１５０に伝送し、遠隔側で音出力部１４２や表示部１４４において距離感を掴みやすい態様により提示することが可能となる。

システム１００が適用されるバックホウＢＨの構成は、以下の通りである。
図２は、バックホウＢＨの側面図であり、図３は、バックホウＢＨの平面図である。バックホウＢＨは、主に走行体ＭＶ、旋回体ＴＲ及びフロント作業機構ＦＲから構成されている。

走行体ＭＶは、例えば一対のクローラＣＷを回転させてバックホウＢＨを現場内で所望の方向に走行させる。
旋回体ＴＲは、旋回装置ＧＲを介して走行体ＭＶの上部に支持されており、旋回装置ＧＲは、走行体ＭＶに対して旋回体ＴＲを鉛直軸線回りに旋回させる。旋回体ＴＲの前方には運転室ＣＢが備えられており、この運転室ＣＢ内には、図示しない座席とともに操作レバーや操作ペダル等が設置されているが、本実施形態ではシステム１００の適用により、運転室ＣＢ内は基本的に無人である。

フロント作業機構ＦＲは、ブームＢＭやアームＡＭ、バケットＢＫの他、これらを作動させる複数の油圧アクチュエータＨＤを備えている。また、フロント作業機構ＦＲは旋回体ＴＲに対して前後方向へ揺動可能に支持されており、フロント作業機構ＦＲ全体が旋回体ＴＲの旋回に伴って方向変換する。なお、バックホウＢＨの動作やその操作については周知であるため、その詳細についての説明は省略する。

次に、図２及び図３を参照しつつ、バックホウＢＨに対する各種デバイスの配置について説明する。

上記の距離センサ１０２は、例えば旋回体ＴＲの前方上部（運転室ＣＢのルーフ上）に取り付けられている。この取付位置において、距離センサ１０２は、主に旋回体ＴＲの前方空間内にある物体までの距離を検出する。所定の基準位置は、例えば旋回体ＴＲ上に設定することができる。

また、上記の魚眼カメラ１０４〜１１０の配置は以下の通りである。
旋回体ＴＲの前側には、左右のコーナ位置に２つの魚眼カメラ１０４，１０６が取り付けられている。このうち前側左コーナ位置にある魚眼カメラ１０４は、旋回体ＴＲの左前方及び左側方を含む範囲を広角（例えば画角２７０°程度）に撮像する。また、前側右コーナ位置にある魚眼カメラ１０６は、旋回体ＴＲの右前方及び右側方を含む範囲を広角に撮像する。これら魚眼カメラ１０４，１０６の撮像範囲は、バケットＢＫの作業範囲をカバーしている。このため、バケットＢＫを用いた作業時には、バケットＢＫが魚眼カメラ１０４，１０６によってステレオ撮像される。

また、旋回体ＴＲの後側（カウンタウエイトＷＴ）には、左右のコーナ位置に２つの魚眼カメラ１０８，１１０が取り付けられている。このうち後側左コーナ位置にある魚眼カメラ１０８は、旋回体ＴＲの左後方及び左側方を含む範囲を広角に撮像する。また、後側右コーナ位置にある魚眼カメラ１１０は、旋回体ＴＲの右後方及び右側方を含む範囲を広角に撮像する。

〔俯瞰画像の例〕
図４は、システム１００において生成される俯瞰画像の例を示す図である。俯瞰画像は、バックホウＢＨの上方に設定した仮想視点からの撮影画像として生成されている。この例では、あたかもバックホウＢＨの真上にカメラ視点があるかのように見えているが、実際には魚眼カメラ１０４〜１１０で撮像した画像を合成処理したものであり、バックホウＢＨ自体はアイコン画像である。

このような俯瞰画像は、システム１００において機器制御部１２０から遠隔制御部１５０に送信され、遠隔地点で表示部１４４（タッチスクリーンＴＳ１）に表示される。これにより、オペレーションルームＲにいる操作者は、バックホウＢＨの周囲の状況を俯瞰画像から看取することができる。なお、俯瞰画像は斜め上方の仮想視点（いわゆる鳥瞰視点）から撮像されたものとして生成してもよい。また、このような俯瞰画像の生成手法については公知であるため、ここではその詳細な説明を省略する。

〔前方画像の例〕
図５は、システム１００において生成される前方画像の例を示す図である。前方画像は、例えば運転室ＣＢ内の仮想視点から前方視した撮影画像として生成されている。この例では、あたかもバックホウＢＨの運転室ＣＢ内にカメラ視点があるかのように見えているが、実際には、魚眼カメラ１０４，１０６で撮像した画像を合成処理したものである。

このような前方画像もまた、システム１００において機器制御部１２０から遠隔制御部１５０に送信され、遠隔地点で表示部１４４（タッチスクリーンＴＳ２）に表示される。これにより、オペレーションルームＲにいる操作者は、バケットＢＫの作業範囲を含むバックホウＢＨの前方の状況を画像から看取することができる。なお、前方画像は運転室ＣＢとは別の前方位置から撮像されたものとして生成してもよい。また、このような前方画像の生成手法については公知であるため、ここではその詳細な説明を省略する。

〔情報提示の概要〕
次に、システム１００により情報提示の概要（概略的な流れ）について説明する。
例えば、バックホウＢＨが現場内を移動している場合、システム１００は、バケットＢＫと対象物との距離に関する情報の提示を行わないモード（非提示モード）となっている。この非提示モードにおいても、システム１００は図４に示される俯瞰画像や、図５に示される前方画像等の情報を随時（リアルタイムで）遠隔側に送信する。

〔移動時〕
ここで例えば、操作者が表示部１４４に表示される前方画像（図５）から、そこに映し出された盛り土ＦＬを運搬作業の対象物にすると決定したとする。なお、前方画像には盛り土ＦＬの他にも、前方の地面に続く遠景や構内に存在するトラックＴＫ等の車両、縦屋ＢＤ等も映し出されている。これらの映像（前方画像）情報を頼りに、操作者はバックホウＢＨ全体（車体）を盛り土ＦＬまで接近移動させる操作を行う。

〔移動終了時〕
図６は、バックホウＢＨの移動終了時の前方画像を示す図である。操作者は、表示部１４４に表示される前方画像（図６）から、バックホウＢＨ全体（バケットＢＫの作業可能範囲）が運搬対象の盛り土ＦＬまで充分に近接したと判断し、バックホウＢＨの移動操作を停止する。このとき、画像内では盛り土ＦＬが手前に大きく映し出され、バケットＢＫによる作業範囲内にあることが操作者に認識可能である。ただし、バケットＢＫの作業範囲内にあるとしても、バケットＢＫと盛り土ＦＬとの具体的な距離感が画像の情報だけからは操作者に伝わりにくい。

〔運搬作業開始時〕
図７は、バケットＢＫによる運搬作業開始時の前方画像を示す図である。例えば、操作者が操作部１４０（コントローラＣＮ）で運搬作業に移行する操作を行うと、システム１００において遠隔制御部１５０から機器制御部１２０に運搬作業の開始が伝達される。
具体的には、操作者がバケットＢＫを盛り土ＦＬに向けて下ろしていく操作を操作部１４０で行うことで、システム１００の遠隔制御部１５０が自動的に判断し、機器制御部１２０に対して運搬作業の開始を伝達する。合わせて、実際にバケットＢＫを下ろす操作信号が遠隔制御部１５０から機器制御部１２０に送信される。あるいは、操作者が操作部１４０を操作することで、遠隔制御部１５０から機器制御部１２０に対して明示的に、運搬作業の開始信号を与えることとしてもよい。

操作信号を受け取った機器制御部１２０は、駆動部１３８に対する制御信号を出力し、各種アクチュエータの駆動を制御する。これにより、図７中に二点鎖線で示されるように、バケットＢＫが盛り土ＦＬに向かって近づいていく動作が行われる。このとき前方画像の中では、移動中のバケットＢＫ及びアームＡＭの他に、遠方のトラックＴＫが走って行く様子も映し出されている。また、図示されていないが、遠景中には歩いている作業者の姿や飛行機、鳥といった飛行物も映し出されていることがある。

〔機器側の処理〕
機器制御部１２０では、遠隔制御部１５０から運搬作業の開始が伝達されたことをトリガにして、概要以下の処理を実行する。

（１）バケットまでの距離を測定
先ず、バケット間距離測定部１２４が基準位置からバケットＢＫまでの距離を測定する。距離の測定には公知技術を用いることができるが、本実施形態では以下のように処理するものとする。
第１ステップ：前方左側の魚眼カメラ１０４で撮像した画像の数フレームを利用して、画像内に存在する移動体を検出する。
第２ステップ：前方右側の魚眼カメラ１０６においても同様に移動体を検出する。
第３ステップ：バケットＢＫを下す動作をしているため、ここまでに検出した移動体には、バケットＢＫが含まれているはずである。ただし、バケットＢＫ以外にも、画面内で移動している物があれば移動体として検出される。図７の例では、遠方のトラックＴＫが移動体として検出されることになる。
そこで、移動体の画像（画像特徴量）からバケットＢＫらしさを判定し、その中からバケットＢＫである移動体を検出する。具体的には、アームＡＭと垂直方向にあるバケットＢＫの下縁辺は通常、水平であることから、画像内で水平方向のエッジＥＧを含む移動体をバケットＢＫであると判断する。ここでは、図７中に二点鎖線で示すエッジＥＧが用いられる。なお、画像内の水平方向以外のエッジ、輪郭その他の画像特徴量に基づいてバケットＢＫを判断してもよい。
第４ステップ：バケットＢＫと判断した移動体のエッジＥＧから、バケットＢＫの左右両端を検出する。
第５ステップ：ステレオ処理によって、基準位置からバケットＢＫまでの距離Ｄｂを算出する。この算出は、２台の魚眼カメラ１０４，１０６にバケットＢＫが撮像されていることで実施可能である。なお、上述のように基準位置と魚眼カメラ１０４〜１１０との位置関係は事前に初期設定（キャリブレーション調整）済である。

（２）対象物までの距離を測定
図８は、オペレーションルームＲ内に設置されたタッチスクリーンＴＳ２の前方画像を示す図である。遠隔地点にいる操作者は、タッチスクリーンＴＳ２の画面上で盛り土ＦＬの領域をタッチ操作することにより、対象物の領域を指定することができる。また、タッチ操作が行われると、画面上には対象物を囲む枠画像（一点鎖線で示す）が表示される。なお、タッチ操作に対するデバイスの感度には、ある程度の冗長性を持たせることで、操作者が意図する対象物と画面上でのタッチ位置の微妙なずれ等を吸収することができる。

操作者がタッチ操作を行うと、遠隔制御部１５０から機器制御部１２０に対し、対象物の画像上での領域（画素領域）が伝えられる。これを受けて、対象物設定部１２６がステレオ画像内の指定された領域を対象物に設定し、対象物間距離測定部１２８が基準位置から対象物までの距離Ｄｏを測定する。通常、領域内には、複数の異なる点（画素）が含まれているため、ステレオ画像から測定した結果にも、複数の異なる点までの距離が含まれている。このため、ここでは最も近い点までの距離を対象物までの距離Ｄｏとして測定するものとする。なお、便宜的に最も近い点の距離を対象物までの距離としたが、これに限るものではない。また、上記のように距離センサ１０２を用いて対象物までの距離Ｄｏを測定してもよい。

（３）バケットと対象物間の距離算出
上記（１）及び（２）で測定した距離Ｄｂ，Ｄｏを用いて、バケット−対象物間距離測定部１３０が三次元処理によりバケットＢＫと対象物との距離Ｄｂ−ｏを算出する。

（４）提示処理
上記（３）で算出した距離Ｄｂ−ｏに応じて、遠隔地点にいる操作者に距離感が伝わる画像や音声等の情報を生成して出力する。情報を提示する態様の具体例は、既に述べた通りであるが、以下にその一例を示す。

〔遠距離時〕
図９は、バケットＢＫと対象物の距離がある程度遠い場合にタッチスクリーンＴＳ２に提示される情報の態様を示す図である。この態様では、画面内にポップアップウィンドウが表示され、その中に「対象物−バケット間距離」の文字情報表示とともに、「１．２５Ｍ」の距離情報が表示されている。この距離情報は、遠隔制御部１５０（バケット−対象物間距離測定部１３０）で測定した距離Ｄｂ−ｏに対応している。また、ポップアップウィンドウの枠は、距離ｂ−ｏに応じて例えば淡色、青色等で表示されている。合わせて、音出力部１４２から「１．２５メートルです」等の音声ガイダンスが出力されたり、アラーム音（「ピーピーピーピー」等）が出力されたりしてもよい。

〔中距離時〕
特に図示していないが、バケットＢＫを下ろしていく過程で、対象物との距離が中程度まで縮まってくると、タッチスクリーンＴＳ２に提示される情報の態様が変化する。例えば、引き続き画面内にポップアップウィンドウが表示され、その中に「対象物−バケット間距離」の文字情報表示とともに、「０．９５Ｍ」の距離情報が表示される。また、ポップアップウィンドウの枠は、その時点での距離Ｄｂ−ｏに応じて例えば中濃色、黄色等で表示される。また、音出力部１４２からは「０．９５メートルです」等の音声ガイダンスが出力されたり、アラーム音（中周期の「ピッピッピッピッ」等）が出力されたりしてもよい。

〔近距離時〕
図１０は、バケットＢＫと対象物の距離がより近接してきた場合にタッチスクリーンＴＳ２に提示される情報の態様を示す図である。この態様においても、画面内にポップアップウィンドウが表示され、その中に「対象物−バケット間距離」の文字情報表示とともに、「０．６３Ｍ」の距離情報が表示されている。このとき、ポップアップウィンドウの枠は、距離Ｄｂ−ｏに応じて例えば濃色、赤色等で表示されている。ここでも同様に、音出力部１４２から「０．６３メートルです」等の音声ガイダンスが出力されたり、アラーム音（短周期の「ピピピピピ・・・！」等）が出力されたりしてもよい。

なお、このような態様での情報の提示が有用となるのは、バケットＢＫを対象物に向かって下す操作時や、対象物をバケットＢＫに積み込む操作時であり、バケットＢＫを上げる操作時や、旋回体ＴＲを旋回させる操作時には有用でない。このため本実施形態のシステム１００は、対象物の運搬や積み込み操作を行わない場合、距離感を伝える情報を提示しない通常表示（非提示モード）にすることができる。

〔遠隔側の処理〕
先にある程度述べたように、遠隔制御部１５０では、以下の処理を行っている。
通常時においては、機器制御部１２０から送信されてきた画像データを再生処理し、表示部１４４（タッチスクリーンＴＳ１，ＴＳ２）に俯瞰画像及び前方画像を表示する。操作者は、これらの画像を見ながら操作部１４０を用いてバックホウＢＨを遠隔操作する。

〔運搬操作時〕
運搬作業の操作を行う場合、操作者が対象物にバケットＢＫを下す操作を開始する。このとき、操作部１４０に対する操作から遠隔制御部１５０が自動的に運搬モードと判断し、機器制御部１２０に運搬作業の開始を伝達する。また、機器制御部１２０に対してバケットＢＫを下す操作が開始されることを送信する。
操作者は、タッチスクリーンＴＳ２の画面上で、これから運搬しようとする対象物の箇所をタッチ操作で指定する（図８参照）。遠隔制御部１５０は、指定された領域を機器制御部１２０に伝える。

上記の例では、遠隔地点で操作者が指定した画像上の領域を機器制御部１２０に送信し、機器制御部１２０で距離に変換しているが、遠隔制御部１５０で距離に変換した上で機器制御部１２０に送信してもよい。

〔処理プログラム例〕
以上の説明で処理の概要は明らかとなっているが、以下では、フローチャートを用いて具体的な処理の手順を説明する。

〔情報提示管理処理〕
図１１は、機器制御部１２０で実行されるプログラムの一部として情報提示管理処理の手順例を示すフローチャートである。この情報提示管理処理は、例えば機器制御部１２０のＣＰＵによるタイマ割込処理の１スレッドとして実行することができる。以下、手順例に沿って説明する。

ステップＳ１００：機器制御部１２０は、通信処理部１３４において通信実行処理を行う。この処理は、通信網１６０を通じて遠隔制御部１５０との相互通信を行うためのものである。
ステップＳ１０２：機器制御部１２０は、現在距離の測定が実行中か否かを確認する。未だ距離の測定を実行していなければ（Ｎｏ）、次にステップＳ１０４を実行する。既に距離の測定を実行中である場合（Ｙｅｓ）、ステップＳ１０４をスキップしてステップＳ１０６に移行する。

ステップＳ１０４：未だ距離の測定中でない場合、機器制御部１２０は開始条件が満たされるか否かを判断する。ここでの判断では、例えば遠隔制御部１５０から運搬操作の開始が伝達されたことをトリガとし、開始条件が満たされたとすることができる。特に開始条件が満たされなければ（Ｎｏ）、機器制御部１２０はここで一旦、本処理から離脱する（リターン）。一方、開始条件が満たされれば（Ｙｅｓ）、機器制御部１２０は次にステップＳ１０６に進む。

ステップＳ１０６：機器制御部１２０は、バケット間距離測定部１２４においてバケット間距離測定処理を実行する。この処理では、上記のように魚眼カメラ１０４，１０６で撮像した画像の数フレームを用いてバケットＢＫの検出及び距離の測定を行う。なお、具体的な処理の内容については、さらに別のフローチャートを用いて後述する。

ステップＳ１０８：機器制御部１２０は、バケット間距離Ｄｂの測定が完了したか否かを確認する。未だ測定処理の途中であれば（Ｎｏ）、機器制御部１２０はここで一旦、本処理から離脱する（リターン）。一方、測定が完了したと判断した場合（Ｙｅｓ）、次にステップＳ１１０を実行する。

ステップＳ１１０：機器制御部１２０は、対象物間距離測定部１２８において対象物間距離測定処理を実行する。この処理では、上記のように魚眼カメラ１０４，１０６で撮像した画像の数フレームを用いて、指定された対象物までの距離の測定を行うか、もしくは距離センサ１０２を用いて測定を行う。なお、具体的な処理の内容については、さらに別のフローチャートを用いて後述する。

ステップＳ１１２：機器制御部１２０は、対象物間距離Ｄｏの測定が完了したか否かを確認する。未だ測定処理の途中であれば（Ｎｏ）、機器制御部１２０はここで一旦、本処理から離脱する（リターン）。一方、測定が完了したと判断した場合（Ｙｅｓ）、次にステップＳ１１４を実行する。

ステップＳ１１４：機器制御部１２０は、バケット−対象物間距離測定部１３０によりバケット−対象物間距離測定処理を実行する。この処理では、上記のように距離Ｄｂ−ｏを算出する。

ステップＳ１１６：機器制御部１２０は、提示情報処理部１３２において提示情報生成処理を実行する。この処理では、算出した距離Ｄｂ−ｏに応じた態様で提示する情報を生成する。

ステップＳ１１８：機器制御部１２０は、終了条件が満たされたか否かを判断する。ここでの判断では、例えば遠隔制御部１５０から運搬操作の終了が伝達されたことをトリガとし、終了条件が満たされたとすることができる。運搬操作の終了は、操作者が操作部１４０の操作によって明示的に伝達することとしてもよいし、操作者が運搬作業以外の操作、例えば旋回体ＴＲを旋回させたり、走行体ＭＶを駆動したりする操作を行うと、遠隔制御部１５０が自動的に判断し、機器制御部１２０に運搬操作の終了を伝達することとしてもよい。終了条件が満たされなければ（Ｎｏ）、機器制御部１２０はここで本処理から離脱する（リターン）。一方、終了条件が満たされれば（Ｙｅｓ）、機器制御部１２０は次にステップＳ１２０に進む。

ステップＳ１２０：機器制御部１２０は、提示モードを終了するため情報提示終了処理を実行する。この処理では、これまでに測定及び算出した各種の距離Ｄｂ，Ｄｏ，Ｄｂ−ｏの記憶をリセットし、各種の条件フラグをクリアする。また、機器制御部１２０は、プログラム上で提示モードから非提示モードに切り替える。そして、機器制御部１２０は本処理から離脱する（リターン）。

〔バケット間距離測定処理〕
図１２は、バケット間距離測定処理の手順例を示すフローチャートである。この処理は、先の情報提示管理処理（図１１）中で呼び出され、バケット間距離測定部１２４においてサブルーチンとして実行されるものである。以下、手順例に沿って説明する。

ステップＳ２００：呼び出し当初において、前回までの実行中ステップへ移行する処理が行われる。この処理では、前回の呼び出し時に保存したステップ番号に基づいて、今回の呼び出しで着手すべきステップ番号を決定する。初回の呼び出しであれば、未だ実行中のステップ番号は保存されていないので、バケット間距離測定部１２４はそのままステップＳ２０２から着手する。一方、２回目以降の呼び出しであれば、前回の呼び出し時に保存していたステップ番号を参照し、今回の呼び出しで着手すべきステップ番号を決定する。

ステップＳ２０２：左前方の魚眼カメラ１０４で撮像された画像フレームを取得する。取得したフレームは、例えばフレームバッファ等の一時記憶領域に保存される。

ステップＳ２０４：これまでに取得済のフレーム数を確認し、差分演算に充分なサンプル数に達しているかを判断する。取得フレーム数が充分でなければ（Ｎｏ）、ステップＳ２２４に進む。
ステップＳ２２４：この場合、現在までの実行中ステップ番号を保存して一旦、本処理を抜け、呼び出し元の情報提示管理処理に復帰する（リターン）。したがって、次回の呼び出しでは、ステップＳ２００においてステップＳ２０２から着手することが決定される。

次回以降の呼び出しにおいて、取得済のフレーム数が充分であると判断すると（ステップＳ２０４＝Ｙｅｓ）、次にステップＳ２０６以降が実行される。
ステップＳ２０６：取得済の数フレームを用いて移動体を検出する。ここでは上記のように、左前方の魚眼カメラ１０４で撮像された画像の数フレーム間の差分から、移動体に該当するオブジェクトを抽出する。

ステップＳ２０８〜ステップＳ２１２は、右前方の魚眼カメラ１０６について上記と同様の処理を行うものであり、その詳細は省略する。
ステップＳ２１４：左前方及び右前方の魚眼カメラ１０４，１０６を用いた移動体の検出が完了したかを確認する。移動体の検出が完了していない場合（Ｎｏ）、ステップＳ２２４でステップ番号を保存し、本処理から呼び出し元に復帰する。この場合、次回の呼び出しでは、ステップＳ２００においてステップＳ２０２から改めて着手することが決定される。一方、移動体の検出が完了していれば（Ｙｅｓ）、次にステップＳ２１６に進む。

ステップＳ２１６：移動体の中からバケットＢＫを検出する。具体的には、検出された全ての移動体の画像特徴量からバケットＢＫに該当するものを検出する。
ステップＳ２１８：次に、バケットＢＫの検出に成功したか否かを確認する。数フレームの画像から移動体が検出されても、画像特徴量からバケットＢＫに該当するものが検出されなかった場合（Ｎｏ）、ステップＳ２２４でステップ番号を保存し、本処理から呼び出し元に復帰する。この場合、次回の呼び出しでは、ステップＳ２００においてステップＳ２０２から改めて着手することが決定される。一方、バケットＢＫの検出に成功していれば（Ｙｅｓ）、次にステップＳ２２０に進む。

ステップＳ２２０：抽出したバケットＢＫの画像から、その左右両端を検出する。ここでは、上記の例（図８）に示したように、水平方向のエッジＥＧの左右両端を検出する。なお、画像の水平方向以外のエッジ、全体の輪郭その他の画像特徴量からバケットＢＫの左右両端を検出してもよい。
ステップＳ２２２：そして、ステレオ処理によりバケットＢＫまでの距離Ｄｂを算出する。ここで算出した距離Ｄｂは、以後の情報提示管理処理において使用される。
以上の手順を実行すると、本処理から呼び出し元の情報提示管理処理に復帰する（リターン）。

〔対象物間距離測定処理〕
図１３は、対象物間距離測定処理の手順例を示すフローチャートである。この処理は、先の情報提示管理処理（図１１）中で呼び出され、対象物間距離測定部１２８においてサブルーチンとして実行されるものである。以下、手順例に沿って説明する。

ステップＳ３００：先ず、遠隔制御部１５０から対象物の領域が指定されたか否かを確認する。未だ対象物の領域が指定されていなければ（Ｎｏ）、本処理を抜けて呼び出し元の情報提示管理処理に復帰する。一方、対象物の領域が指定されていた場合（Ｙｅｓ）、次にステップＳ３０２を実行する。

ステップＳ３０２：遠隔制御部１５０から指定された対象物の設定を行う。ここでは、上記の例（図８）に示したように、タッチ操作で指定された画像領域を機器制御部１２０側で対象物に設定する。
ステップＳ３０４：そして、設定した対象物までの距離Ｄｏを測定する。測定方法については、既に述べたように魚眼カメラ１０４，１０６の撮影画像を用いたステレオ処理によるもの、あるいは、距離センサ１０２を用いた測定によるもののいずれであってもよい。ここで測定した距離Ｄｏもまた、以後の情報提示管理処理において使用される。
以上の手順を実行すると、本処理から呼び出し元の情報提示管理処理に復帰する（リターン）。

〔遠隔操作管理処理〕
図１４は、遠隔制御部１５０で実行されるプログラムの一部として遠隔操作管理処理の手順例を示すフローチャートである。この遠隔操作管理処理は、例えば遠隔制御部１５０のＣＰＵによるタイマ割込処理の１スレッドとして実行することができる。また、遠隔操作管理処理は、メインスレッド内に条件分岐を有しておらず、複数のサブルーチン群で構成されている。以下、サブルーチンについて説明する。

ステップＳ４００：遠隔制御部１５０は、サブルーチンとして操作入力処理を実行する。ここでは、主にバックホウＢＨに対する操作者の操作に基づく処理が行われる。なお、具体的な処理の内容は、別途フローチャートを用いて後述する。

ステップＳ５００：遠隔制御部１５０は、サブルーチンとして通信実行処理を実行する。ここでは、機器制御部１２０に伝達する各種の情報を送信する処理が行われる。
ステップＳ６００：また、遠隔制御部１５０は、サブルーチンとして表示出力処理を実行する。ここでは、表示部１４４（タッチスクリーンＴＳ１，ＴＳ２）で表示する画像信号の出力処理が行われる。
ステップＳ７００：さらに遠隔制御部１５０は、サブルーチンとして音出力処理を実行する。ここでは、音出力部１４２（図示しないスピーカ、ヘッドセット等）から出力する音や音声の出力処理が行われる。

遠隔制御部１５０が以上のサブルーチン群を定常的に実行することで、オペレーションルームＲ内での俯瞰画像の表示や前方画像の表示、音出力等が随時行われるとともに、バックホウＢＨの遠隔操作が実現されている。また、作業モードが運搬モードに移行した場合は、機器制御部１２０からの情報に基づいて、操作者に距離感が伝わる態様で情報の提示が行われることになる。

〔操作入力処理〕
図１５は、サブルーチンとして実行される操作入力処理の手順例を示すフローチャートである。この処理は、上記のように遠隔操作管理処理（図１４）において定常的に呼び出し実行されている。

ステップＳ４０２：遠隔制御部１５０は、バックホウＢＨの操作に関する作業モードを選択する。作業モードには、例えば大きく分けて「運搬作業モード」及び「その他の作業モード」がある。作業モードの選択は、操作者が行っている操作部１４０（コントローラＣＮ）への操作に基づく。上記のように、操作者がバケットＢＫを下ろす操作を開始すると、遠隔制御部１５０は「運搬作業モード」を選択する。一方、操作者が走行体ＭＶを駆動したり、旋回体ＴＲを旋回させたりする操作を行うと、遠隔制御部１５０は「その他の作業モード」を選択する。なお、「その他の作業モード」をさらに細分したモードを有していてもよい。

ステップＳ４０４：遠隔制御部１５０は、先のステップＳ４０２で「運搬作業モード」を選択したか否かを確認する。実際に「運搬作業モード」を選択した場合（Ｙｅｓ）、次にステップＳ４０６を実行する。一方、「その他の作業モード」を選択していれば（Ｎｏ）、ステップＳ４０６をスキップしてステップＳ４０８に進む。

ステップＳ４０６：遠隔制御部１５０は、運搬対象物の領域指定入力を実行する。ここでは、上記のように、タッチ入力部１４６（タッチスクリーンＴＳ２）に対する操作者のタッチ操作に応じて、対象物の領域を指定する。

ステップＳ４０８：遠隔制御部１５０は、選択モード中の操作入力を実行する。ここでは、例えば現在の選択モードが「その他の作業モード」であれば、走行体ＭＶに対する操作入力や旋回体ＴＲに対する操作入力が行われる。一方、「運搬作業モード」であれば、バケットＢＫを含むフロント作業機構ＦＲに対する操作入力が行われる。

ステップＳ４１０：そして、遠隔制御部１５０は、機器側（機器制御部１２０）への伝達情報を生成する。ここでは、先のステップＳ４０８で行われた各種の操作入力に基づいて、機器制御部１２０に対する操作信号が生成される。また、「運搬作業モード」が選択された場合は、合わせて「運搬作業の開始」を伝達する情報も生成される。
以上の手順を実行すると、遠隔制御部１５０は呼び出し元の遠隔操作管理処理に復帰する。

ここまでをシステム１００の第１実施形態とすると、システム１００には以下の第２実施形態も適用可能である。

〔第２実施形態〕
図１６は、システム１００の第２実施形態における各種デバイスの配置を示す図である。第１実施形態では、旋回体ＴＲの四隅（前方左右コーナ、後方左右コーナ）に４つの魚眼カメラ１０４〜１１０を配置することで、バケットＢＫが２つの魚眼カメラ１０４，１０６から撮像される構成となっていた。

これに対し、第２実施形態の配置は、旋回体ＴＲの前面（フロント）、左右側面及び背面（リヤ）に４つの魚眼カメラ２０４〜２１０を配置している。この場合でも、４つの魚眼カメラ２０４〜２１０で撮像された画像を合成し、オペレーションルームＲ内で俯瞰画像を表示させることができる。ただし、この配置では、前面に取り付けた１つの魚眼カメラ２０４でしかバケットＢＫが撮像されないことになる。

したがって第２実施形態では、ステレオ処理によりバケットＢＫまでの距離Ｄｂを測定することはできなくなるものの、初期設定の段階で、バケットＢＫの水平方向の実際の長さを事前に設定しておくことで距離Ｄｂを測定することができる。
すなわち、第１実施形態と比較すると、第２実施形態では、ステレオ処理を行う代わりに、バケットＢＫの画像上での長さと、実際の長さを利用して求めることが違うだけであり、その他については第１実施形態と同様に行うことができる。

以上のような実施形態の情報提示システム１００によれば、実際の作業現場とは別の遠隔地点においても、対象物を運搬等する作業において、操作者に距離感が掴みやすい情報を提示することができる。

本発明は上述した実施形態に制約されることなく、種々に変形して実施することが可能である。
既に述べたように、システム１００を適用する建設機械はバックホウＢＨ以外であってもよいし、建設機械以外の自走式遠隔操作ロボット、レスキューロボット、あるいは大気圏外で使用されるマニピュレータ等の各種の作業機器に本システム１００を適用してもよい。これらの場合、各種の作業機器が有する作業体（ロボットハンド等）とその対象物との距離を測定し、遠隔地点において距離感が伝わりやすい態様で情報を提示することができる。

魚眼カメラ１０４〜１１０の配置や個数、画角や向き等は、第１、第２実施形態に例示したもの以外でもよい。また、対象物までの距離を魚眼カメラ１０４，１０６を用いたステレオ処理で測定する場合、距離センサ１０２を搭載していなくてもよい。

距離センサ１０２は、上記の実施形態では１つだけ配置されているが、複数の距離センサ１０２を配置してもよい。

上記の実施形態では、機器制御部１２０で提示する情報の生成までを行っているが、機器制御部１２０では情報の生成を行わず、画像信号と距離Ｄｂ−ｏの情報だけを遠隔制御部１５０に送信し、遠隔制御部１５０が距離Ｄｂ−ｏに応じた態様で提示する情報を生成してもよい。

あるいは、機器制御部１２０では距離Ｄｂ−ｏの測定を実行せず、必要な画像信号や検出結果等を全て遠隔制御部１５０に送信し、遠隔制御部１５０で距離Ｄｂ，Ｄｏ，Ｄｂ−ｏを測定することとしてもよい。この場合、機器制御部１２０の機能ブロックが遠隔制御部１５０側に移設されることになる。あるいは、機器制御部１２０及び遠隔制御部１５０が両方とも同等の機能ブロックを備えていて、適宜、いずれの側で距離の測定や情報の生成を行うかをその都度ごとに決定してもよい。

その他、実施形態等において図示とともに挙げた構造はあくまで好ましい一例であり、基本的な構造に各種の要素を付加し、あるいは一部を置換しても本発明を好適に実施可能であることはいうまでもない。

１００ 情報提示システム
１２０ 機器制御部
１２４ バケット間距離測定部
１２６ 対象物設定部
１２８ 対象物間距離測定部
１３０ バケット−対象物間距離測定部
１３２ 提示情報生成部
１４２ 音出力部
１４４ 表示部
１４６ タッチ入力部
１５０ 遠隔制御部

Claims (9)

1. 可動式の作業体による作業の対象物を設定する対象物設定手段と、
   前記作業体と前記対象物との距離を測定する距離測定手段と、
   前記距離測定手段により測定した距離に応じた態様で情報を提示する提示手段と
   を備えた情報提示システム。
2. 請求項１に記載の情報提示システムにおいて、
   前記距離測定手段は、
   前記作業体による作業の過程で、動的に変化する前記作業体と前記対象物との距離を測定し、
   前記提示手段は、
   前記距離測定手段により動的に測定した距離の変化に伴って、情報を提示する態様を変化させることを特徴とする情報提示システム。
3. 請求項１又は２に記載の情報提示システムにおいて、
   前記距離測定手段は、
   所定の基準位置から前記対象物までの距離を測定する対象物間距離測定手段と、
   前記基準位置から前記作業体までの距離を測定する作業体間距離測定手段とを含み、
   前記対象物間距離測定手段及び前記作業体間距離測定手段により測定した各距離に基づいて前記作業体と前記対象物との距離を測定することを特徴とする情報提示システム。
4. 請求項１から３のいずれかに記載の情報提示システムにおいて、
   前記距離測定手段は、
   所定の基準位置から前記作業体を撮像するステレオカメラを含み、
   前記ステレオカメラにより撮像した前記作業体の画像に基づいて前記基準位置から前記作業体までの距離を測定することを特徴とする情報提示システム。
5. 請求項１から３のいずれかに記載の情報提示システムにおいて、
   前記距離測定手段は、
   前記作業体が有する水平方向の実長を設定する実長設定手段と、
   所定の基準位置から前記作業体を撮像するカメラとを含み、
   前記カメラにより撮像した画像内に現れる前記作業体の水平方向の長さと、設定した前記実長とに基づいて前記基準位置から前記作業体までの距離を算出することを特徴とする情報提示システム。
6. 請求項１から５のいずれかに記載の情報提示システムにおいて、
   前記対象物設定手段は、
   前記対象物を撮像するカメラと、
   前記カメラにより撮像した画像を画面上でのタッチ操作が可能なデバイスに表示する表示手段とを含み、
   前記画面上でのタッチ操作により、前記対象物を設定することを特徴とする情報提示システム。
7. 請求項１から６のいずれかに記載の情報提示システムにおいて、
   前記距離測定手段は、
   所定の基準位置からの距離を測定可能な距離センサを含み、
   前記距離センサにより測定した前記対象物までの距離を用いて前記作業体と前記対象物との距離を測定することを特徴とする情報提示システム。
8. 請求項１から７のいずれかに記載の情報提示システムにおいて、
   前記提示手段は、
   情報の提示を行う提示モードと、提示を行わない非提示モードとを有しており、
   前記作業体による作業として前記対象物の運搬を指定する操作がなされたことをトリガにして、前記提示モードと前記非提示モードとを切り替えることを特徴とする情報提示システム。
9. 請求項８に記載の情報提示システムにおいて、
   前記提示手段は、
   前記提示モード中に前記作業体による作業以外を指定する操作がなされたことをトリガにして、前記非提示モードに切り替えることを特徴とする情報提示システム。

Images