JP2006053922A

JP2006053922A - 機械操作者にとっての視認性を高める方法及び装置

Info

Publication number: JP2006053922A
Application number: JP2005232531A
Authority: JP
Inventors: Roger D Koch; ディー．コックロジャー; Robert J Price; ジェー．プライスロバート
Original assignee: Caterpillar Inc
Current assignee: Caterpillar Inc
Priority date: 2004-08-10
Filing date: 2005-08-10
Publication date: 2006-02-23
Also published as: DE102005037787A1; US20060034535A1

Abstract

【課題】機械操作者にとっての視認性を高める方法及び装置を提供する。
【解決手段】作業領域の視界を提供する方法及び装置。本方法及び装置は、作業領域の第１の所望部分の第１の画像を取り込むことと、画像から少なくとも１つの物体を取り除くことと、少なくとも１つの物体を取り除いた状態で第１の画像を表示装置に提供することとを含む。
【選択図】図１

Description

本発明は、一般に、作業機械の操作者にとって作業領域の視界を高める方法及び装置に関し、さらに詳しくは、視界を遮る障害物を表示装置から取り除いた作業領域の表示を操作者に提供する方法及び装置に関する。

作業機械は、通常、費やす時間及び労力の点で実質的に有利な状態で多様な所望の作業機能を実行するように操作者により用いられる。例えば、土工業や建設業において、バックホウローダなどの作業機械は、穴や溝を掘るのに用いられることが多い。バックホウローダの操作者は、肉体労働で可能なよりもはるかに少ない時間ではるかに多い量の作業を達成することができる。

これら作業機械を用いる不利な点の１つとしては、操作者が作業領域を明確に視認する能力が低下し得ることである。上述の例におけるバックホウローダは、操作者を運転室内の一定の位置に制限するものであり、作業領域の視界が運転室のフレームやハウジング、オペレータ制御装置、及び作業機械自体の作業工具又は作業部分などの障害物により部分的に見えにくくなることがある。結局、熟練した操作者は、これらの障害物の周りで作業することを習得するようになる。しかしながら、より多くの未熟な操作者が労働力に加われば加わるほど、操作者の視認性が限定されることで生じる問題が大きくなる。

また、操作者の視認性を限定する他の要因もある。操作者は、一定の制限された位置にいるため、作業領域の一つの視界にしかアクセスし得ない。加えて、物体の中には、例えば、掘削路の地下にある物体のように、作業機械や作業工具などにより障害物を取り除くあらゆる労力にも関わらず、操作者の視界に見えないままのものがあり得る。このような地下にある物体の存在を知る操作者だけが、作業工具に対する物体の正確な位置を推測することができ、注意を払って作業を進めなければならない。

本発明は、上述した問題のうちの１つ以上を克服することに関する。

本発明の一形態において、作業領域の視界を提供する方法が開示されている。本方法は、作業領域の第１の所望部分の第１の画像を取り込む工程と、画像から少なくとも１つの物体を取り除く工程と、少なくとも１つの物体を取り除いた状態で第１の画像を表示装置に提供する工程とを含む。

本発明の他の形態において、作業領域の視界を提供する方法が開示されている。本方法は、作業領域の対応する複数の部分の複数の画像を取り込む工程と、少なくとも１つの物体が重ね合わされた画像から取り除かれるように複数の画像を重ね合わせる工程と、重ね合わされた画像を表示装置に提供する工程とを含む。

本発明の他の形態においては、作業領域の境界の視界を提供する方法が開示されている。本方法は、作業領域の少なくとも１つの所望部分の少なくとも１つの画像を取り込む工程と、少なくとも１つの画像から重ね合わされた画像を表示装置に提供する工程と、作業境界を表示装置に重ね合わせる工程とを含む。

本発明の他の形態において、作業領域での作業工具の画像を表示する方法が開示されている。本方法は、作業領域の少なくとも１つの所望部分の少なくとも１つの画像を取り込む工程と、少なくとも１つの画像から重ね合わされた画像を表示装置に提供する工程と、作業工具の実際の位置を決定する工程と、作業工具の画像を生成する工程と、実際の位置に対応する表示装置の位置に作業工具の画像を提供する工程とを含む。

本発明の他の形態において、作業領域の視界を提供する方法が開示されている。本方法は、作業領域、作業領域内の作業機械、及び作業機械に取り付けられた作業工具の位置を位置座標で決定する工程と、作業機械の操作者の位置とは別の少なくとも１つの位置から、作業領域、作業機械、及び作業工具のうちの少なくとも１つの視界の仮想画像を提供する工程とを含む。

本発明の他の形態において、作業領域の視界を提供する方法が開示されている。本方法は、作業領域の少なくとも１つの所望部分の少なくとも１つの画像を取り込む工程と、少なくとも１つの画像から重ね合わされた画像を表示装置に提供する工程と、作業領域で視認不可能な少なくとも１つの物体の位置を決定する工程と、物体の画像を表示装置に重ね合わせる工程とを含む。

本発明の他の形態において、作業領域の視界を提供する装置が開示されている。本装置は、作業領域に対して所望の位置に配置された少なくとも１つのビデオカメラと、少なくとも１つのカメラから映像信号を受信し、信号を重ね合わせ、視界から取り除くべき少なくとも１つの物体を決定し、結果得られた映像信号を提供する制御装置と、結果得られた映像信号を受信し、少なくとも１つの物体を取り除いた状態で作業領域の視界の画像を表示する表示装置とを備える。

以下、本発明について、図面及び添付した請求の範囲を参照しながら、作業領域１０２の視界を提供する方法及び装置１００に関して説明する。下記の方法及び装置１００は、本発明の範囲の限定を意図するものではなく、むしろ例示を目的として意図されるものである。

特に、図１を参照するに、本発明の実施形態を示すブロック図が示されている。この制御装置１０６は、通常、マイクロプロセッサ・ベース制御装置であり、作業機械１１４に配置され得る。制御装置１０６は、当分野で良く知られているように、作業機械１１４の多様な制御機能を実行し得る。その代わりに、制御装置１０６は、同様に、本発明の目的のためにも設けられ得る。

少なくとも１つのビデオカメラ１０４は、映像信号を制御装置１０６に供給する。図１では、２つのビデオカメラ１０４を示している。なお、任意の数のカメラ、例えば、１個、２個、３個、４個、又は他の任意数のカメラを用い得る。ビデオカメラ１０４は、デジタルカメラとし得るものであり、すなわち、直接デジタル信号を生成し得る。その代わりに、ビデオカメラ１０４は、アナログカメラであっても良く、映像信号が幾つかの適切な手段（図示せず）によりデジタルに変換されても良い。ビデオカメラ１０４は、作業機械１１４に搭載され、作業機械１１４上又はその幾つかの組み合わせとは別の幾つかの場所で位置し得る。

制御装置１０６は、詳細を後述するように、映像信号を受信し、信号を処理する。その後、処理された映像信号は、表示装置１１０に送出される。表示装置１１０は、表示モニター１１８とし得るものであり、作業機械１１４に配置され得る。加えて、又はその代わりに、表示モニター１１８は、遠隔監視及び実行可能な遠隔制御のための遠隔位置１３６に配置され得る。

従来の表示モニター１１８の他の代替手段としては、運転室の窓の少なくとも一部（図示せず）を包囲し得る表示画面１２０（図１２及び図１４）を備え得るものであり、これにより、作業領域１０２の実際の視界をシミュレートする作業領域１０２の画像１１２の視界を操作者１５０２に提供する。また、表示装置１１０は、図１７ａ及び１７ｂに示すように、また当分野で知られているように、表示ヘルメット１２２又は表示眼鏡１２４に組み込まれたものでも良い。

位置決定システム１２６は、作業領域１０２、作業機械１１４、及び作業機械１１４に配置された作業工具１２８のうちの少なくとも１つの位置を決定するのに用い得る。この位置決定システム１２６は、位置座標、例えば、ｘ、ｙ、ｚ座標、又は緯度及び経度で位置を決定し得るものであり、ＧＰＳベース、レーザーベース、慣性推定、又はこれらシステムの幾つかの組み合わせとし得る。位置決定システム１２６は、後述するように、更なる処理及び使用のための位置関連情報を制御装置１０６に送出し得る。

物体位置システム１３０は、例えば、地下の物体などの非視認物体１３２の位置を特定するのに用いられ得る。通常の物体位置システム１３０は、地下レーダー（ＧＰＲ）、音響、ソナーなどの技術を備え得る。また、物体位置システム１３０は、後述するように、更なる処理及び使用のため、非視認物体１３２の位置に関する情報を制御装置１０６に送出し得る。

送受信手段１３４は、遠隔位置１３６に、及び遠隔位置１３６から情報を送出する経路を提供する。例えば、映像情報及び画像は、遠隔位置１３６に送信され得、機械命令は、作業機械１１４に戻って送信され得る。送受信手段１３４は、無線又は有線であっても良く、利用可能な任意の種類の通信技術を用い得る。

図２を参照するに、例示的映像画像１１２が示されている。画像１１２は、作業領域１０２での作業機械１１４を表している。なお、この図を通して図示及び説明した実施形態では、作業機械１１４は、作業領域１０２で掘削動作を実行するバックホウローダとして示されている。ただし、作業機械１１４は、多様な種類の機械とし得るものであり、例えば、これらに限定されないが、土工機械、建設機械、可動式機械、固定式機械、製造機械などが挙げられる。ここで、作業機械１１４は、実際の機械であっても良いし、或いは、例えば、訓練を目的とするシミュレーションであっても良い。本発明の範囲は、本発明が適用される作業機械又は応用例の種類について限定されるのを意図していないことに留意されたい。

図２により表される画像１１２、即ち、第１の画像２０２は、１つのカメラにより撮られたものであるか、或いは、複数のビデオカメラ１０４により撮られた複数の画像であり、重なり合わされた画像２０６に組み合わされたものとし得る。好ましい実施形態では、２つ以上のビデオカメラ１０４により複数の画像を撮り、これら画像が１つの画像２０６に重ね合わされる。

図２中の画像１１２中には、１つ以上の物体１０８が示される。例えば、ブーム及びスティックを備える作業器具１１６が示されている。加えて、作業機械の運転室のフレームの一部やジョイスティックも示されている。物体１０８は、操作者１５０２から作業領域１０２の視界を遮る傾向にある。

図３では、物体１０８の１つ、即ち、運転室内のフレームが画像１１２から取り除かれている。これは、複数画像の各々から物体１０８をデジタル的に取り除き、重なり合わされた画像２０６において物体１０８の背後の領域を復元することにより実現され得る。同様な技術は、作業器具１１６（図４）や、図５に示すようなジョイスティックなどの追加的な物体１０８を取り除くのに用いられ得る。その結果、作業領域１０２に障害物のない視界を有する画像２０６となる。

また、図５は、画像２０６に重ね合わされた作業境界の画像５０２も示している。作業境界の画像５０２は、位置決定システム１２６からのデータに基づいて、作業境界を決定することにより得られる。作業境界の画像５０２は、所望の作業を実行するのに役立つ案内を操作者１５０２に提供し、作業が進行するにつれて変更され得るものである。

図６を参照するに、追加的な情報を提供するため、ピクチャー・イン・ピクチャー６０２が画像２０６に追加され得る。このピクチャー・イン・ピクチャー６０２は、図示するように、作業機械１１４の他の図とし得る。また、この代わりに、ピクチャー・イン・ピクチャーは、他の任意の情報であっても良いし、画像、文章、又は他の任意の所望の種類の表示であっても良い。

また、図７に示すように、当分野で知られた位置決定技術を用いて作業工具の実際の位置を決定し、作業工具の画像７０２を生成し、この作業工具の画像７０２を実際の作業工具の位置に対応する表示装置１１０の位置に提供することにより、作業工具１２８の位置を示し得ることが望ましい。そして、作業工具の画像７０２は、作業工具１２８の実際の位置を示すように動かし回され、他の障害物の全くない作業工具１２８の視認される視界を操作者１５０２に付与し得る。

ここで、作業工具の画像７０２が、実際の作業工具１２８の位置及び動きをより正確に追従可能となるように、幾らかの較正が必要となることがある。例えば、図１５を参照するに、操作者１５０２は、高さと厳密な操作者位置１５０４における誤差により、表示装置１１０上の正確でない位置に作業工具の画像７０２を視認することがあり得る。よって、例示的な較正処理によれば、操作者１５０２は、作業工具の画像７０２と実際の作業工具１２８とが見られるように、透明モードで画像２０６を配置することが可能である。そこで、作業工具の画像７０２の位置１５０６は、作業工具１２８の位置１５０８と一致するように調整され得る。画像２０６は、その後、作業工具の画像７０２の位置１５０６を較正しつつ、フル画像モードに修復され得る。

図８を参照するに、本発明の他の形態を表わす図が示されている。作業領域１０２、作業機械１１４、及び作業工具１２８の位置は、位置座標で決定される。この情報を用いると、作業領域、作業機械１１４、及び作業工具１２８のうちの少なくとも１つについて、作業機械１１４の操作者位置１５０４とは別の少なくとも１つの位置からの視界の仮想画像８０２が提供される。そして、例えば、操作者１５０２は、作業機械１１４から離れた位置から作業領域１０２を視認し得、これにより実行されている作業の異なる視点が得られる。仮想画像８０２は、同一な技術を用いて、同様に、他の位置からの視界を提供するようにシフトされ得る。加えて、物体１０８は、上述した方法と同様な方法で表示装置１１０から取り除かれ、物体１０８が全くないかのように、これら物体１０８のない視界が修復され得る。よって、この形態により、操作者は、作業機械から離れることなく、異なる角度から作業領域を見ることができる。

図９を参照するに、作業領域１０２での作業機械１１４を示す図が示されている。この図では、作業工具１２８を備える作業器具１１６が作業領域１０２に係合する際、即ち、作業工具１２８が作業領域１０２で掘削している際における作業機械１１４が側面から見られる。このような作業領域１０２の外形の側断面図によって、実行している掘削の範囲を監視することが可能となる。図９の図は、上述したように、作業領域１０２の他の視界を補充するのに用いられ得る。例えば、図９の図は、ピクチャー・イン・ピクチャー６０２として表示装置１１０に挿入され得る。

図１０は、作業境界の画像５０２、作業工具の画像７０２、及び非視認物体１３２の画像１００２が重ね合わされた画像２０６を示す図である。非視認物体１３２は、掘削されている領域に位置する地下の物体であり得る。地下の物体は、地下レーダー（ＧＰＲ）などの手段により位置が特定され得ることは、当分野で知られている。本発明は、上述したように、物体位置システム１３０を用いて、地下の物体の位置を特定し得る。そして、物体の位置を特定した後、位置座標に対するこの物体の位置を決定することも知られている。これらの手段によって、非視認物体１３２の画像１００２は、作業領域１０２の画像２０６上に重ね合わされて、作業の実行中に操作者１５０２が物体の位置を見ることができるようになる。図１１は、非視認物体１３２を図中に含む図９の側面図を示している。

図１２を参照するに、例示的作業機械１１４は、上述の説明に示すように図示されている。図示されているように、（２つの）ビデオカメラ１０４が、作業器具１１６及び作業工具１２８が位置した領域の視界を捉えるために適当な作業機械１１４上の位置に搭載されている。作業機械１１４が作業のために位置する場合には、この領域は、作業領域１０２に対応し得る。表示画面１２０は、通常、作業機械１１４の運転室の窓となり得るものを置き換える。この表示画面１２０は、使用しないときには透明であり、これにより通常の窓にも戻り得る。

図１３は、上述したように搭載されたビデオカメラ１０４（図中では１つ）を備える作業機械１１４の側面図である。作業機械１１４は、バックホウとして図示されている。ただし、他の種類の作業機械が用いられても良く、かかる他の種類の作業機械としては、これらに限定されないが、土工機械、建設機械、移動式又は固定式とし得る機械などが挙げられる。

図１４では、図１２の作業機械１１４の上面図が動作中のビデオカメラ１０４を図示するように示されている。ビデオカメラ１０４の一方は、作業領域１０２の第１の部分１４０２を覆うように構成され、他方のビデオカメラ１０４は、作業領域１０２の第２の部分１４０４を覆うように構成される。これら２つの部分１４０２及び１４０４は、上述したように、重なり合わされた画像２０６を提供するように重ね合わされる。これらの部分１４０２及び１４０４は、図１４中の作業器具１１６及び作業工具１２８のような物体１０８が、重なり合わされた画像２０６から取り除かれ、物体１０８のない作業領域１０２の画像が修復され得るように決定され得る。

本発明の方法の一実施例は、図１６のフロー図を参照して示され得る。

第１の入力ブロック１６０２では、カメラの画像１１２、関連位置などの情報は、制御装置１０６に入力される。

第１の制御ブロック１６０４では、カメラの画像１１２は、例えば、作業器具１１６及び作業工具１２８の位置などの関連位置に基づいて、表示装置１１０の適切な位置に作図される。これら画像１１２は、重ね合わされ、重なり合わされた画像２０６を提供する。

第２の制御ブロック１６０６では、例えば、バケツなどの作業工具１２８の実際の位置が決定され、作業工具の画像７０２は、重ね合わされた画像２０６に追加される。この作業工具の画像７０２は、実際の作業工具１２８の移動に連動して動き回るようになされる。

第１の決定ブロック１６０８では、作業工具の画像７０２の位置などの画像位置１５０６を較正するための決定がなされ得る。上述したように、操作者位置１５０４の誤差などの特定の条件は、作業工具の画像７０２の位置が実際の作業工具１２８の位置で相殺されるのに寄与し得る。較正処理は、第３の制御ブロック１６１２に示すように、例えば表示画面１２０などの表示装置１１０の透明モードをオン位置に設定する工程と、例えば、作業工具の画像７０２の位置が作業工具１２８の位置と一致するまでジョイスティック制御を介して作業工具の画像７０２を移動するといった、操作者の調整ルーチンを始動する工程と、調整された設定事項を保存する工程と、透明モードを“オフ”位置に設定する工程とを含み得る。

較正が必要でないという決定がなされた場合には、制御は、第４の制御ブロック１６１０まで進み、画像位置１５０６用の現調整パラメータが用いられる。

第５の制御ブロック１６１４では、作業境界の画像５０２の輪郭は、図５に示すように、且つ上述したように、重なり合わされた画像２０６に追加される。ここで、作業境界の画像５０２の変形例が用いられても良い。例えば、所望の精度程度に対応する複数の作業境界が用いられ得る。加えて、作業境界の特定の部分が他の部分よりも重要である場合には、図示した破線とは別の画像が用いられても良い。例えば、太い実線や点滅する線を、作業境界の重要な部分に用いても良い。

第６の制御ブロック１６１６では、ピクチャー・イン・ピクチャー６０２の画像が、例えば図６に示すように、表示装置１１０に重ね合わされ得る。しかしながら、ピクチャー・イン・ピクチャー６０２は、画像以外のもの、例えば、文章や警告や有用な他の任意の情報などを表示しても良い。なお、ピクチャー・イン・ピクチャー６０２は、図６に示すような位置、すなわち下方左縁部に配置される必要はなく、むしろ任意の場所に任意の大きさで配置され得ることに留意されたい。

図１６のフロー図は、本発明に組み込まれ得る可能な限りの特徴を含む実施例を示しており、限定を意図していない。例えば、幾つかの他の特徴は、上述したようなものであり、追加的な特徴は、本発明の要旨及び範囲から逸脱しない範囲で用い得る。

他の形態は、図面、明細書および添付した請求の範囲の検討によって得られる。

本発明の一実施形態を示すブロック図である。本発明の一実施形態を示す図である。本発明の更なる一実施形態を示す図である。本発明の更なる一実施形態を示す図である。作業境界を有する本発明の更なる一実施形態を示す図である。ピクチャー・イン・ピクチャーを有する本発明の更なる一実施形態を示す図である。作業工具の画像を有する本発明の更なる一実施形態を示す図である。代替的視界を有する本発明の更なる一実施形態を示す図である。作業領域での作業機械の画像を示す図である。作業境界、作業工具、及び非視認物体の画像を有する本発明の更なる一実施形態を示す図である。非視認物体の画像を有する図９の図面を示す図である。作業機械を示す他の図である。作業機械を示す更なる他の図である。本発明に適用される作業機械を示す図である。本発明の他の形態を示す図である。本発明の方法を示すフロー図である。本発明で用いるのに適した操作者側の表示装置を示す図である。本発明で用いるのに適した操作者側の表示装置を示す図である。

符号の説明

１００装置
１０２作業領域
１０４ビデオカメラ
１０６制御装置
１０８物体
１１０表示装置
１１２画像
１１４作業機械
１１６作業器具
１１８表示モニター
１２０表示画面
１２２表示ヘルメット
１２４表示眼鏡
１２６位置決定システム
１２８作業工具
１３０物体位置システム
１３２非視認物体
１３４送受信手段
１３６遠隔位置
２０２第１の画像
２０４第２の画像
２０６重なり合わされた画像
５０２作業境界の画像
６０２ピクチャー・イン・ピクチャー
７０２作業工具の画像
８０２仮想画像
１００２非視認物体の画像
１４０２作業領域の第１の部分
１４０４作業領域の第２の部分
１５０２操作者
１５０４操作者位置
１５０６画像位置
１５０８工具の位置
１６０２第１の入力ブロック
１６０４第１の制御ブロック
１６０６第２の制御ブロック
１６０８第１の決定ブロック
１６１０第４の制御ブロック
１６１２第３の制御ブロック
１６１４第５の制御ブロック
１６１６第６の制御ブロック

Claims

作業領域の視界を提供する方法であって、
作業領域の第１の所望部分の第１の画像を取り込む工程と、
画像から少なくとも１つの物体を取り除く工程と、
少なくとも１つの物体を取り除いた状態で第１の画像を表示装置に提供する工程とを含む方法。
作業領域の第２の所望部分の第２の画像を取り込む工程と、
少なくとも１つの物体を取り除くために第１の画像と第２の画像とを重ね合わせる工程と、
重ね合わされた画像を表示装置に提供する工程とをさらに含む請求項１に記載の方法。
作業境界の画像を表示装置に重ね合わせる工程をさらに含む請求項１に記載の方法。
作業工具の実際の位置を決定する工程と、
作業工具の画像を生成する工程と、
実際の位置に対応する表示装置の位置に、作業工具の画像を提供する工程とをさらに含む請求項１に記載の方法。
作業工具の画像を作業工具の実際の動きと関連させて移動させる工程をさらに含む請求項４に記載の方法。
作業領域、作業領域内の作業機械、及び作業機械に取り付けられた作業工具の位置を位置座標で決定する工程と、
作業機械の操作者の位置とは別の少なくとも１つの位置から、作業領域、作業機械、及び作業工具のうちの少なくとも１つの仮想画像を提供する工程とをさらに含む請求項１に記載の方法。
作業領域で視認不可能な少なくとも１つの物体の位置を決定する工程と、
物体の画像を表示装置に提供する工程とをさらに含む請求項１に記載の方法。
第１の画像を遠隔位置に送出する工程をさらに含む請求項１に記載の方法。
作業領域での機械の遠隔操作を第１の画像と関連させて可能とする工程をさらに含む請求項８に記載の方法。
作業領域の視界を提供する装置であって、
作業領域に対して所望の位置に配置された少なくとも１つのビデオカメラと、
少なくとも１つのカメラから映像信号を受信し、信号を重ね合わせ、視界から取り除くべき少なくとも１つの物体を決定し、結果得られた映像信号を提供する制御装置と、
結果得られた映像信号を受信し、少なくとも１つの物体を取り除いた状態で作業領域の視界の画像を表示する表示装置とを備える装置。