JP2014025272A - 作業機械の周囲監視装置 - Google Patents

Abstract

【課題】俯瞰画像を構成する各表示画像間の境界線付近に存在する立体物（障害物）を確実に表示できる新規な作業機械の周囲監視装置の提供。
【解決手段】
複数のカメラ30で撮影された各画像31を上方視点変換処理して上方視点画像35を作成し、各上方視点画像35から表示画像を切り出すと共に切り出した各表示画像を合成して作業機械に対応する画像を中心とした周囲の俯瞰画像300を作成するに際し、設定された合わせ面高さＺに基づいて前記各上方視点画像35から切り出される表示画像の領域を標準の切り出し領域よりも広くし、切り出した各表示画像を前記標準の切り出し領域になるように調整して合成する。これにより、その俯瞰画像を構成する各表示画像間の境界線付近に存在する立体物（障害物）を確実に表示することができる。
【選択図】図８

Description

本発明は、油圧ショベルやダンプトラックなどの作業機械に取り付けた複数のカメラによってその作業機械に対応する画像を組み合わせた俯瞰画像を作成してその周囲状況を監視するための装置に関するものである。

一般に、油圧ショベルやダンプトラックなどの大型の建設・作業機械は、その周囲の視認性が良くない。そのため、例えば以下の特許文献１などでは、油圧ショベルの上部旋回体の右側面と後部にそれぞれカメラを設置し、それらのカメラで撮影された画像を運転席のモニター上に表示することで視認性を確保している。

また、以下の特許文献２などでは、車体四方に複数のカメラを設け、各カメラで撮影された車体周囲の画像を上方視点変換処理し、これらを合成して前記作業機械に対応する画像を中心とした周囲に合成して視点を車体上方に変換した俯瞰画像を作成し、この俯瞰画像を運転席のモニター上に表示することで、車体とその周囲の障害物などとの距離を感覚的に把握できるようにした周囲監視装置が開示されている。

特開２００８−９５３０７号公報 特開２００８−２４８６１３号公報

ところで、前記特許文献２のような俯瞰画像を作成して表示する周囲監視装置では、俯瞰画像を構成する各上方視点画像間の境界線付近に人物やポールなどのように比較的細くて背の高い障害物（立体物）が存在していると、その障害物の大部分が消失して俯瞰画像に表示されない場合がある。例えば、人物の場合はその足下部分しか表示されなかったり、あるいはポールなどの場合にはその根元部分しか表示されず、その障害物の存在に気がつかない可能性がある。

そこで、本発明はこれらの課題を解決するために案出されたものであり、その目的は、俯瞰画像を構成する上方視点画像間の境界線付近に存在する立体物（障害物）を確実に表示できる新規な作業機械の周囲監視装置を提供するものである。

前記課題を解決するために第１の発明は、作業機械の車体に取り付けられてその周囲を撮影する複数のカメラと、当該各カメラで撮影した原画像を上方視点変換して上方視点画像を作成する上方視点画像作成手段と、当該上方視点画像作成手段で作成された各上方視点画像から表示画像を切り出すと共に切り出した各表示画像を合成して前記作業機械に対応する画像を組み合わせた周囲の俯瞰画像を作成する俯瞰画像作成手段と、当該俯瞰画像作成手段で作成された俯瞰画像を表示する表示手段と、前記上方視点画像作成手段で作成された各上方視点画像を合成する際の仮想的な合わせ面高さを設定する合わせ面高さ設定手段とを備え、前記俯瞰画像作成手段は、前記合わせ面高さ設定手段で設定された合わせ面高さに基づいて前記各上方視点画像から切り出される表示画像の領域を標準の切り出し領域よりも広くし、切り出した各表示画像を前記標準の切り出し領域になるように調整して合成することを特徴とする作業機械の周囲監視装置である。

このような構成によれば、複数のカメラで撮影された各画像を上方視点変換処理してから表示画像を切り出すと共に切り出した各表示画像を合成して作業機械に対応する画像を中心とした周囲の俯瞰画像を作成するに際し、その俯瞰画像を構成する各表示画像間の境界線付近に存在する立体物（障害物）を確実に表示することができる。

第２の発明は、第１の発明において、前記合わせ面高さ設定手段は、前記作業機械の動作状態に応じて作動することを特徴とする作業機械の周囲監視装置である。このような構成によれば、通常の俯瞰画像と、合わせ面高さ設定値に基づいて作成された俯瞰画像とを作業機械の動作状態、例えば停止時や作業時などに応じて適宜切り替えて表示することができる。

第３の発明は、第１の発明において、前記合わせ面高さ設定手段は、手動によって作動することを特徴とする作業機械の周囲監視装置である。このような構成によれば、通常の俯瞰画像と、合わせ面高さ設定値に基づいて作成された俯瞰画像とをオペレータの手動によって任意に適宜切り替えて表示することができる。

第４の発明は、第２の発明において、前記合わせ面高さ設定手段は、前記合わせ面高さが標準よりも異なる高さに設定されたときは、所定時間経過後に標準の合わせ面高さに戻すことを特徴とする作業機械の周囲監視装置である。このような構成によれば、作業機械の動作状態に応じて自動的に合わせ面高さが補正された場合、オペレータがその後その補正した合わせ面高さが標準の合わせ面高さであると勘違いするのを防止できる。

第５の発明は、第３の発明において、前記合わせ面高さ設定手段は、前記合わせ面高さが標準よりも異なる高さに設定されたときは、所定時間経過後に標準の合わせ面高さに戻すことを特徴とする作業機械の周囲監視装置である。このような構成によれば、手動によって合わせ面高さが補正された場合、オペレータがその後その補正した合わせ面高さが標準の合わせ面高さであると勘違いするのを防止できる。

第６の発明は、第１の発明において、前記作業機械近傍の立体物の有無を検知する立体物検知手段を備え、前記合わせ面高さ設定手段は、前記立体物検知手段で前記作業機械近傍の立体物を検知したときに合わせ面高さを設定することを特徴とする作業機械の周囲監視装置である。このような構成によれば、作業機械近傍の立体物の検知の有無に応じて通常の俯瞰画像と、合わせ面高さ設定値に基づいて作成された俯瞰画像とを自動的に切り替えて表示することができる。

第７の発明は、第６の発明において、前記合わせ面高さ設定手段は、合わせ面高さを多段階に設定可能となっており、前記無線検知手段で検知された前記作業機械近傍の立体物の種類または大きさに応じてその合わせ面高さの設定を調整することを特徴とする作業機械の周囲監視装置である。このような構成によれば、各表示画像間の境界線付近に存在する立体物（障害物）の見え具合をその立体物の種類や大きさなどに応じて自動的に調整することができる。

第８の発明は、第１乃至第７のいずれかの発明において、前記俯瞰画像作成手段で作成された俯瞰画像に、前記合わせ面高さ設定手段で設定された合わせ面高さを表示する文字または図形、記号のいずれか、あるいは２つ以上を合成した合成画像を作成する画像合成手段をさらに備え、前記表示手段は、前記画像合成手段で作成された合成画像を表示することを特徴とする作業機械の周囲監視装置である。このような構成によれば、オペレータは標準の合わせ面高さが補正されたことだけでなく、どの程度補正されたのかを目視にて瞬時かつ正確に把握することができる。また、俯瞰画像に合成して表示することにより、視線移動も最小限で済むため、見やすくてわかりやすい。

本発明によれば、複数のカメラで撮影された画像から作業機械周囲の俯瞰画像を作成するに際し、設定された合わせ面高さに基づいて俯瞰画像を構成する各表示画像の領域を標準の切り出し領域よりも広くして合成するようにしたため、各表示画像間の境界線付近に存在する立体物（障害物）を確実に表示することができる。これにより、人物やポールなどのように比較的細くて背の高い障害物（立体物）であってもこれが消失するようなおそれがなくなり、オペレータなどがその存在を確実に認識することができる。

本発明に係る作業機械の一つである油圧ショベル１００の実施の一形態を示す全体斜視図である。 本発明に係る周囲監視装置２００の実施の一形態を示すブロック図である。 車体に搭載された各カメラ３０の撮影領域の例を示す概念図である。 撮影された画像から上方視点画像３５を作成して合成する例を示す概念図である。 撮影された原画像３１をレンズ歪み補正と共に視点変換して上方視点画像を得るための画像処理の流れを示す概念図である。 合わせ面高さが０ｍの場合（標準）に作成される俯瞰画像３００の例を示す概念図である。 合わせ面高さが０．５ｍの場合に作成される俯瞰画像３００の例を示す概念図である。 合わせ面高さが１．０ｍの場合に作成される俯瞰画像３００の例を示す概念図である。 本発明に係る周囲監視装置２００による処理の流れを示すフローチャート図である。 合わせ面高さＺが０ｍの場合の上方視点画像の表示領域（切り出し領域）を示す概念図である。 合わせ面高さＺが１．０ｍの場合の上方視点画像の表示領域（切り出し領域）を示す概念図である。 合わせ面高さ設定部２１１における合わせ面高さ設定処理の一例を示したフローチャートである。 本発明に係る周囲監視装置２００の他の実施形態を示すブロック図である。 作業機械がダンプトラック４００の場合とその合わせ面高さＺとの関係を示す概念図である。 本発明に係る周囲監視装置２００をダンプトラック４００に適用した場合の実施の一形態を示すブロック図である。 本発明に係る周囲監視装置２００をダンプトラック４００に適用した場合の実施の一形態を示すブロック図である。示す概念図である。 本発明に係る周囲監視装置２００の他の実施の形態を示すブロック図である。 俯瞰画像３００に合わせ面高さＺに関する情報（数字）を合成した合成画像の一例を示す概念図である。 俯瞰画像３００に合わせ面高さＺに関する情報（文字）を合成した合成画像の一例を示す概念図である。 俯瞰画像３００に合わせ面高さＺに関する情報（バーグラフ３０２）を合成した合成画像の一例を示す概念図である。 俯瞰画像３００に合わせ面高さＺに関する情報（バーグラフ３０３）を合成した合成画像の一例を示す概念図である。 俯瞰画像３００に合わせ面高さＺに関する情報（数字とバーグラフ３０２）を合成した合成画像の一例を示す概念図である。 俯瞰画像３００に合わせ面高さＺに関する情報（数字とバーグラフ３０４）を合成した合成画像の一例を示す概念図である。

次に、本発明の実施の一形態を添付図面を参照しながら説明する。図１は、本発明に係る作業機械の一つである油圧ショベル１００の実施の一形態を示した全体斜視図である。図示するようにこの油圧ショベル１００は、下部走行体１０と、この下部走行体１０上に旋回自在に設けられた上部旋回体２０とから主に構成されている。下部走行体１０は、図示しない走行体フレームに互いに平行に位置する一対のクローラ１１，１１を有しており、これら各クローラ１１，１１には、それぞれの履帯を駆動して走行するための油圧駆動式の走行モータ１２がそれぞれ設けられている。

一方、上部旋回体２０は、図示しない旋回体フレーム上に設置されたエンジンやバッテリー、燃料タンクなどの各種機器類が収容されるエンジン室２１と、このエンジン室２１の前方左側に設けられた運転室２２と、この運転室２２の右側から前方に延びるフロント作業機２３と、このフロント作業機２３との重量バランスを図るべくエンジン室２１の後方に設けられたカウンターウエイト２４とから主に構成されている。

運転室２２は、オペレータが搭乗するキャビン２２ａ内にフロント作業機２３を操作する操作レバーや旋回レバー、計器類などの他に、後述する周囲監視モニターが設置されている。フロント作業機２３は、旋回体フレーム側から前方に延びるブーム２３ａと、このブーム２３ａの先端に揺動自在に設けられたアーム２３ｂと、このアーム２３ｂの先端に揺動自在に設けられたバケット２３ｃとから主に構成されており、これらブーム２３ａ、アーム２３ｂ、バケット２３ｃは、それぞれ油圧で伸縮するブームシリンダ２３ｄ、アームシリンダ２３ｅ、バケットシリンダ２３ｆによってそれぞれ動作するようになっている。

また、このエンジン室２１の両側と、運転室２２の上部と、カウンターウエイト２４の上部には、それぞれの方向を連続して撮影するための４つのカメラ３０ａ、３０ｂ、３０ｃ、３０ｄが設置されている。すなわち、カメラ３０ａは上部旋回体２０の右側の領域を左右約１８０°の画角で斜めに見下ろすような方向で連続的に撮影し、カメラ３０ｂは上部旋回体２０の左側の領域を左右約１８０°の画角で斜めに見下ろすような方向で連続的に撮影し、カメラ３０ｃは上部旋回体２０の前方の領域を左右約１８０°の画角で斜めに見下ろすような方向で連続的に撮影し、カメラ３０ｄは上部旋回体２０の後方の領域を左右約１８０°の画角で斜めに見下ろすような方向で連続的に撮影している。

そして、これら各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影された各画像（原画像）は、図２に示すように本発明に係る周囲監視装置２００の表示コントローラ２１０にそれぞれ入力されるようになっている。なお、このカメラ３０ａ、３０ｂ、３０ｃ、３０ｄは、例えば、耐久性や耐候性などに優れたＣＣＤやＣＭＯＳなどの撮像素子と広角レンズを備えた広角ビデオカメラなどから構成されている。また、以下の説明では、これら各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄが設置（搭載）されている上部旋回体２０の各部をまとめて車体２０と称す。

図２は、この油圧ショベル１００に搭載される周囲監視装置２００の実施の一形態を示すブロック図である。図示するようにこの周囲監視装置２００は、表示コントローラ２１０と、周囲監視モニター２２０とから主に構成されている。表示コントローラ２１０は、合わせ面高さ設定部２１１と、上方視点画像作成部２１２と、俯瞰画像作成部２１３とを有している。なお、この表示コントローラ２１０は、図示しないＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェースなどを備えた画像処理ＬＳＩ（ハードウェア）から構成されており、ＲＯＭなどに予め記憶された各種データや専用の画像処理プログラムなどによってＣＰＵが前記各部２１１乃至２１３の機能を実現するようになっている。

合わせ面高さ設定部２１１は、この油圧ショベル１００を制御する車体コントローラ２３０からの車体制御信号を入力し、その入力信号に基づいて上方視点画像を俯瞰画像作成部２１３で合成する際の仮想的な合わせ面高さを設定している。なお、この合わせ面高さ設定部２１１に入力される車体コントローラ２３０からの車体制御信号としては特に限定されるものではないが、例えば、左右の走行レバー４１，４２、旋回レバー４３，４４、ロックレバー４５の操作信号などである。

上方視点画像作成部２１２は、各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影した複数（４つ）の原画像から上方視点画像を、例えば３０フレーム／秒の単位で作成し、作成した上方視点画像（動画）を俯瞰画像作成部２１３に出力している。具体的には、各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄからそれぞれ原画像のＮＴＳＣなどのコンポジット信号が入力されると、この上方視点画像作成部２１２は、これら各コンポジット信号をＡ／Ｄ変換してＲＧＢ信号にデコードしてからそれぞれ専用のフレームメモリに蓄積する。その後、レンズ歪み補正処理を行ってからホモグラフィ行列による平面射影変換処理や三次元空間での投影処理などの公知の画像変換処理によって各原画像をその上方に視点を移動した上方視点画像に変換処理する。

図３および図５は、この上方視点画像作成部２１２における上方視点画像の変換処理に関する説明図である。先ず図３に示す車体２０周囲の各矩形エリアＥ１、Ｅ２、Ｅ３、Ｅ４は、それぞれその車体２０の各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影可能な領域を示しており、各矩形エリアＥ１、Ｅ２、Ｅ３、Ｅ４は、それぞれその両端部分で隣接するエリアと重複撮影されるようになっている。

図５（ａ）は、これら各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影された各矩形エリアＥ１、Ｅ２、Ｅ３、Ｅ４の原画像３１の一例を示したものである。各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影された原画像３１は、左右の画角が約１８０°の広角レンズで撮影されることから一般に格子線３２で示すように中央部が拡大されて周辺部が縮小されるように歪んでいる。図５（ｂ）は、上方視点画像作成部２１２によるレンズ歪み補正処理後の補正画像３３である。補正処理後の画像３３は、地面（路面）上の縦横の仮想座標線３４が示すように各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄの視点による遠近法に従った形に補正されている。なお、このレンズ歪み補正処理は、例えば予めメモリに保存された、変換前の画像を構成する各画素のアドレスと変換後の各画素のアドレスとの対応関係を記載した専用の画素変換テーブルを用いた画素座標変換によって行われる。

図５（ｃ）は、図５（ｂ）でレンズ歪み補正処理された地面（路面）画像３３の視点変換処理後の上方視点画像３５を示したものである。この視点変換処理後の上方視点画像３５は、視点が車体側部から車体上方に変換されており、図５（ｂ）の仮想座標線３４は仮想直交座標線３６に変換されている。なお、この視点変換処理も予めメモリに保存された専用の画素変換テーブルを用いた画素座標変換によって行われる。

俯瞰画像作成部２１３は、このようにして作成された各上方視点画像３５から実際に表示する画像を切り出して合成して作業機械に対応する画像を中心とした周囲の俯瞰画像（動画）を作成する。図５（ｃ）中、破線で囲んだ台形状の切り出し領域ｅ０乃至ｅ１００は、各上方視点画像３５の重複部分を削除して見やすい合成画像を得るべく、この俯瞰画像作成部２１３によって各上方視点画像３５から切り出して表示される表示画像の例を示したものである。そして、この俯瞰画像作成部２１３は、図４に示すように、これら４つの各上方視点変換画像３５から切り出した表示画像ｅ１〜ｅ４を油圧ショベル１００に対応する画像Ｇを中心としたその周囲に環状に繋ぎ合わせて一つの連続した車体周囲全体の俯瞰画像３００を作成し、その画像データをフレームメモリに出力している。

図６は、この俯瞰画像作成部２１３で作成されて周囲監視モニター２２０上に表示される俯瞰画像３００の一例を示したものであり、その中央部には予め作成された油圧ショベル１００に対応する車体画像Ｇを表示するための矩形状の表示エリアＳが設けられている。そして、この表示エリアＳを中心としてその前後左右にそれぞれ独立した台形状の表示エリアＳ１乃至Ｓ４を有し、これら各表示エリアＳ１乃至Ｓ４に、そのエリアに合わせて前記各上方視点画像３５から切り出された表示画像ｅ１乃至ｅ４をそれぞれ配置したものである。

すなわち、表示エリアＳ１には、図４に示すようにカメラ３０ａで撮影された上部旋回体２０の右側方の撮影画像から得られる上方視点画像３５Ｒからの切り出し領域ｅ１の表示画像が配置され、表示エリアＳ２には、カメラ３０ｂで撮影された上部旋回体２０の左側方の撮影画像から得られる上方視点画像３５Ｌからの切り出し領域ｅ２の表示画像が配置されるようになっている。また、表示エリアＳ３には、カメラ３０ｃで撮影された上部旋回体２０の前方の撮影画像からなる上方視点画像３５Ｆからの切り出し領域ｅ３の表示画像が配置され、表示エリアＳ４には、カメラ３０ｄで撮影された上部旋回体２０の後方の撮影画像からなる上方視点画像３５Ｂからの切り出し領域ｅ４の表示画像が配置されるようになっている。この結果、図６の俯瞰画像３００の例では、少なくとも油圧ショベル１００の右斜め後方に二人の人物Ｐ２、Ｐ３が存在しているのがわかる。

周囲監視モニター２２０は、この俯瞰画像作成部２１３で作成された車体周囲全体の俯瞰画像３００を入力して表示するようになっている。具体的には、入力された俯瞰画像３００のデータを出力用フレームメモリに格納し、その合成画像のデータ（ＲＧＢ信号）をコンポジット信号にエンコードした後、Ｄ／Ａ変換して表示部２２１に表示する。なお、この周囲監視モニター２２０には表示部２２１の他に入力部２２２が設けられており、オペレータがこの入力部２２２を操作することで電源のオン・オフや表示された合成画像の拡大、縮小、回転、表示範囲の変更、通常のカメラ撮影画像や２画面画像への切り替えなどの各種操作が任意に行えるようになっている。

次に、このような構成をした本発明の周囲監視装置２００の作用を図９のフローチャートを参照しながら説明する。先ず、この周囲監視装置２００の表示コントローラ２１０は、電源が投入されると初期のシステムチェックを行い、異常がなければ最初のステップＳ１００に移行する。ステップＳ１００では、前述したように車体２０の四方に設けられた４つのカメラ３０ａ、３０ｂ、３０ｃ、３０ｄによって車体周囲を撮影してその画像を取得して次のステップＳ１０２に移行する。

ステップＳ１０２では撮影された４つの原画像３１を前述したように上方視点変換処理してそれぞれの上方視点画像３５を作成し（図５（ｃ））、ステップＳ１０４に移行する。ステップＳ１０４では、合わせ面高さＺの設定に補正があるか否か、すなわち合わせ面高さが標準の切り出し領域と異なるか否かを判断し、合わせ面高さＺの設定に補正がないと判断したとき（ＮＯ）はステップＳ１０８にジャンプするが、合わせ面高さＺの設定に補正ありと判断したとき（ＹＥＳ）はステップＳ１０６に移行する。

ステップＳ１０６では、後述するようにその合わせ面高さＺの補正値に応じて各上方視点画像３５の切り出し領域（表示画像）を調整してからステップＳ１０８に移行して俯瞰画像を作成し、ステップＳ１１０でその俯瞰画像を周囲監視モニター２２０上に表示して処理を終了する。

ここで、ステップＳ１０４における合わせ面高さＺとは、上方視点画像３５の切り出し領域を、実際の地表面（高さ０ｍ）の切り出し領域（標準の切り出し領域）を基準とし、これよりも高い仮想的な地表面の高さをいい、例えば０．５ｍや１．０ｍなどに多段階に設定される。図６の俯瞰画像３００は、この合わせ面高さＺが０ｍの場合、すなわち実際の地表面（高さ０ｍ）を基準として切り出された表示画像によって作成したものである。この場合、油圧ショベル１００の右斜め後方に二人の人物Ｐ２、Ｐ３の全体がはっきりと映っているが、左斜め後方の境界線部分には一人の人物Ｐ１が存在しているにも関わらず、その足下部分しか映っておらず、大部分が消失してしまって、その存在を認識するのは難しい状況となっている。

このように図６の俯瞰画像３００で人物Ｐ１の足下部分しか映らない理由は、図５（ｃ）に示すように各上方視点画像３５からの切り出し領域ｅ０に沿って切り取られた表示画像をそのまま俯瞰画像３００の各表示エリアＳ１乃至Ｓ４に合わせて配置したことにより、各表示画像の境界が殆ど重複しないで各表示画像が連続するように表示されるためである。すなわち、図１０（ａ）乃至（ｃ）に示すようにある隣接する２つのカメラ、例えば各カメラ３０ｂ、３０ｄでそれぞれ撮影された各上方視点画像の標準の切り出し領域（表示画像領域）の境界線付近に人物Ｐ１が存在（立っている）している場合、その人物Ｐ１は切り出し処理前の上方視点画像上にはその前身が映っているものの、境界線で画像が重複しないように標準の切り出し領域ｅ０に従って切り出し処理を行った結果、その大部分が表示領域外となってしまう。

このため、このような標準の切り出し領域ｅ０に従って切り出された各表示画像を合成して俯瞰画像を合成すると、合成画像の各表示画像の共感線付近にはその人物Ｐ１の足下部分しか映らなくなってしまう。これでは、各上方視点画像の切り出し領域の境界線上に人物Ｐ１が存在しているにもかかわらず、うっかり見落としてしまう可能性がある。

そこで、本発明では仮想的な合わせ面高さを設定する合わせ面高さ設定部２１１を設け、ステップＳ１０６において標準となる実際の地表面の高さ（Ｚ＝０．０ｍ）よりも高い仮想的な地表面高さ、例えば地上１．０ｍ（Ｚ＝１．０ｍ）を仮想的な合わせ面高さＺとして設定し、これを地表面として仮定して各上方視点画像の切り出し領域を設定したものである。このようにすれば、例えば図１１（ａ）乃至（ｃ）に示すように、それぞれのカメラ３０ｂ、３０ｄで撮影された各上方視点画像の境界線上に立っている人物Ｐ１の少なくとも足下から胸のあたりまでが切り出し領域内に入るため、俯瞰画像を作成した際にそれらが図１１（ｃ）のように境界線付近で確実に重複して表示されるため、その人物Ｐ１をうっかり見落としてしまうようなことはない。

図７および図８はこの合わせ面高さＺをそれぞれ、０．５ｍ、１．０ｍとした場合の俯瞰画像３００の一例を示したものである。図６のように合わせ面高さＺが０ｍの場合（補正なし）、油圧ショベル１００の左斜め後方の境界線付近には人物Ｐ１の足下（足首）部分しか映っていないが、図７のように合わせ面高さＺが０．５ｍとなると、人物Ｐ１の足下から膝部分まで映ってくることがわかる。さらに、図８のように合わせ面高さＺが１．０ｍとなると、人物Ｐ１の足下から胸部分まで映ることになり、このレベルであれば、油圧ショベル１００の左斜め後方の境界線付近に人物が存在していることを周囲監視モニター２２０上ではっきりと認識することができる。

ここで、この合わせ面高さＺは高くなるほど境界線付近に立っている人物Ｐ１の全体を映しやすくなるが、合わせ面高さＺが高くなるとそれとは対照的に人物や障害物の大きさが小さくなって見づらくなる傾向にある。そのため、この合わせ面高さＺは最大でも地上２．０ｍ（Ｚ＝２．０ｍ）程度とするのが好ましい。図６乃至図８中矩形点線Ｌは、作業機械Ｇの外縁部からの距離（例えば、１．０ｍ）を示すラインである。これらの俯瞰画像３００では、合わせ面高さが高くなるにつれて油圧ショベル１００の左後方約１．０ｍ前後離れた位置に人物Ｐ１が立っている状態をよりはっきりと把握することができるが、合わせ面高さＺの設定が大きくなるにつれてラインＬが中央寄りになりその分、人物Ｐ２、Ｐ３も小さくなっていくのがわかる。

なお、このように合わせ面高さＺを補正すると、図５（ｃ）に示すように切り出し領域が通常の場合（ｅ０）よりも拡大して表示画像が大きくなってしまうため、そのままでは俯瞰画像３００の各表示エリアＳ１乃至Ｓ４に収まらない。そのため、合わせ面高さＺを補正した場合には、その切り出し領域を合わせ面高さＺが０ｍの切り出し領域ｅ０（標準領域）に合わせて縮小する処理を行う必要がある。図５（ｃ）の例では、合わせ面高さＺが０ｍの切り出し領域ｅ０（標準領域）に比べて合わせ面高さＺが０．５ｍの切り出し領域ｅ５０が大きくなり、合わせ面高さＺが１．０ｍの切り出し領域ｅ１００はさらに大きくなっている。従って、これら各切り出し領域ｅ５０、ｅ１００の表示画像を用いて俯瞰画像３００を作成する際には、これら各切り出し領域ｅ５０、ｅ１００の表示画像を標準の切り出し領域ｅ０に合わせて縮小するように調整する処理が必要となる。

このように合わせ面高さＺを通常（標準）よりも高くなるように補正すれば、俯瞰画像３００の境界線付近に人物やポールのような背の高い立体物（障害物）が存在している場合でもこれを確実に俯瞰画像３００上に表示することができる。

ここで、前述したように合わせ面高さＺを補正（高く）すると、障害物が小さく映ったり、その境界線付近では障害物が重複して見えるため、状況に応じてこの合わせ面高さＺの補正値を適宜調整することも可能である。例えば、本発明の周囲監視装置２００を適用する作業機械が図１に示すような油圧ショベル１００の場合では、停止時の合わせ面高さＺは標準高さ（０ｍ）と設定しておき、作業を開始したときにオペレータの手動スイッチにより、その合わせ面高さＺを１．０ｍなど、オペレータが所望する合わせ面高さＺに補正することができる。さらに、その補正した結果を表示コントローラ２１０から周囲監視モニター２２０に出力し、周囲監視モニター２２０に表示することも可能である。

具体的には、図２に示すように、周囲監視モニター２２０の入力部２２２などに、合わせ面高さＺを、手動で高く増加補正できるスイッチと、手動で低く減少補正できるスイッチとの２つのスイッチからなる切替スイッチ２２３を設けておく。運転室２２内のオペレータがこの切替スイッチ２２３を手動で操作することで、表示コントローラ２１０内の合わせ面高さ設定部２１１が、周囲監視モニター２２０の切り替えスイッチ２２３からの合わせ面高さ切り替え信号を入力したときに、合わせ面高さ設定部２１１では、その合わせ面高さ切り替え信号に応じて、合わせ面高さＺを変更できるため、オペレータが合わせ面高さＺを自在に補正することができる。

例えば、オペレータが切替スイッチ２２３のうち、合わせ面高さＺを増加補正できる切り替えスイッチを段階的に押すと、標準高さ（０ｍ）から０．５ｍ、０．５ｍから１．０ｍと、順に増加方向に補正することができ、切替スイッチ２２３のうち、減少補正できる切替スイッチを段階的に押すと、１．０ｍから０．５ｍ、０．５ｍから標準高さ（０ｍ）と、順に減少方向に補正することができる。

さらに、このように手動でその合わせ面高さＺを補正したときは、オペレータがその補正した合わせ面高さＺが標準高さ（０ｍ）と勘違いしないように、合わせ面高さＺを標準高さ（０ｍ）に、自動的に戻る補正をすることも可能である。具体的には、図２に示すように、周囲監視モニター２２０内に図示しないタイマーを設け、タイマーによって設定された所定時間経過後に、周囲監視モニター２２０から合わせ面高さＺを標準高さ（０ｍ）とする合わせ面高さ切替信号を合わせ面高さ設定部２１１に出力する。合わせ面高さ設定部２１１は、その合わせ面高さ切替信号を入力したときに、その合わせ面高さ切り替え信号に応じて合わせ面高さＺを標準高さ（０ｍ）に戻すことができる。

また、この合わせ面高さＺを油圧ショベル１００の動作状態に応じて自動的に調整するようにしても良い。例えば、図２に示すように、左右の走行レバー４１，４２や旋回レバー４３，４４あるいはロックレバー４５のいずれか、あるいは２つ以上が複合して操作された信号が車体コントローラ２３０から入力されたときに、その合わせ面高さＺを標準高さ（０ｍ）から１．０ｍへ自動的に補正するようにしても良い。

図１２は、このように合わせ面高さ設定部２１１における合わせ面高さ設定処理の一例を示したものである。先ず、この合わせ面高さ設定部２１１は、最初のステップＳ２００で車体コントローラ２３０からの車体情報を監視し、走行レバー４１，４２や旋回レバー４３，４４あるいはロックレバー４５のいずれか、あるいは２つ以上が複合して操作された信号があるか否かを判断する。いずれの操作信号（車体情報）もないとき（ＮＯ）は、ステップＳ２０４にジャンプする。いずれかの操作信号（車体情報）があったとき（ＹＥＳ）は、ステップＳ２０２に移行し、その合わせ面高さＺを標準高さ（０ｍ）から１．０ｍへ自動的に補正して次のステップＳ２０４に移行する。

ステップＳ２０４では、周囲監視モニター２２０からの手動による合わせ面高さＺの切り替え信号の有無を監視し、切り替え信号がないとき（ＮＯ）は、ステップＳ２０８にジャンプする。切り替え信号があったとき（ＹＥＳ）は、ステップＳ２０６に移行し、その切り替え信号に応じて合わせ高さＺを補正して次のステップＳ２０８に移行する。ステップＳ２０８では、その設定値または補正値を俯瞰画像作成部２１３に送信して次のステップＳ２１０に移行する。この設定値または補正値に応じて俯瞰画像作成部２１３が前述したように各上方視点画像３５からの切り出し表示領域を設定して俯瞰画像３００を作成する。

そして、ステップＳ２１０では、周囲監視モニター２２０のタイマーからの信号の有無を監視し、所定時間経過した旨の信号を受信したとき（ＹＥＳ）は、ステップＳ２１２に移行し、標準の合わせ面高さＺの設定値（０ｍ）を俯瞰画像作成部２１３に送信して最初のステップＳ２００に戻る。これによって、合わせ面高さＺが変化しても所定時間経過後に自動的にその合わせ面高さＺを標準高さ（０ｍ）に戻すことができる。

図１３乃至図２３は、本発明に係る周囲監視装置２００の他の実施の形態を示したものである。先ず、図１３に示す実施の形態は、表示コントローラ２１０にさらにカメラ入力部２１４と障害物検出部２１５を設け、カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影した画像をカメラ入力部２１４によって上方視点画像作成部２１２と共に障害物検出部２１５に取り込み、この障害物検出部２１５で取り込んだ画像を処理して障害物の有無を検知する。そして、その近傍に何らかの障害物を検知したときに、その検知した障害物情報に応じて、合わせ面高さ設定部２１１によってその合わせ面高さＺを補正するようにしたものである。これによって、車体２０の周囲に障害物があるとき、あるいは接近してきたときは、これを確実に俯瞰画像３００上に表示することができる。

次に、他の実施の形態として、本発明の周囲監視装置２００を適用する作業機械が図１４に示すような大型のダンプトラック４００の場合では、エンジンを始動する前の合わせ面高さＺは標準状態（０ｍ）に設定しておき、エンジン始動などをトリガーとして自動的にその合わせ面高さＺを１．０ｍなどに補正するようにしても良い。

すなわち、図１５に示すようにダンプトラック用の車体コントローラ２４０の車体情報を表示コントローラ２１０内の合わせ面高さ設定部２１１に取り込むようにし、エンジン５０が始動したときや電源５１が入ったとき、あるいはパーキングブレーキ５２を解除したとき、シフトレバー５３をニュートラル（Ｎ）からドライブ（Ｄ）またはリバース（Ｒ）に入れたとき、速度センサー５４で走行を開始したことを検知したときなどの動作状態に応じて、合わせ面高さ設定部２１１は自動的にその合わせ面高さＺを０ｍから１．０ｍにするように設定しても良い。

また、さらにその合わせ面高さＺを０ｍから１．０ｍに補正した後で、速度センサー５４によって走行速度が例えば１０ｋｍ／ｈを越えたことが検知されたときは、車体が現場内で、速度を上げて移動していることを意味することから、合わせ面高さ設定部２１１は車体コントローラ２４０から検知された走行速度を入力し、それに応じて、再びその合わせ面高さＺを０ｍに自動的に戻すようにしても良い。なお、自動的に戻る機能は、周囲監視モニター２２０の入力部２２２などを操作することでオペレータが任意に選択できるようにしても良い。

また、図１６に示すように、表示コントローラ２１０にカメラ入力部２１４と障害物検知部２１５を設け、カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影した画像をカメラ入力部２１４によって上方視点画像作成部２１２と共に障害物検出部２１５に取り込み、この障害物検出部２１５で取り込んだ画像を処理して障害物の有無を検知し、そのダンプトラックの近傍に何らかの障害物を検知したときに、その検知した障害物情報に応じて、合わせ面高さ設定部２１１によってその合わせ面高さＺを補正するようにしても良い。

また、この障害物検知部２１５による障害物の検知方法としては、前記のような画像処理によるものだけでなく、その他の従来公知の技術をそのまま利用することができる。例えば、図示するようにミリ波レーダーや超音波センサーなどの障害物検知センサー６０ａ、６０ｂ、６０ｃ、６０ｄを車体２０の周囲に装備し、これらの障害物検知センサー６０ａ、６０ｂ、６０ｃ、６０ｄによって何らかの障害物を検知したときに、その検知した障害物情報に応じて、合わせ面高さ設定部２１１はその合わせ面高さＺを０ｍから１．０ｍに補正するようにしても良い。

また、さらに、この障害物検知部２１５で検知された障害物の種類または大きさに応じてその合わせ面高さＺの補正値を多段階に切り替える（増減）ようにしても良い。例えば、検知された障害物が人物などの場合はその合わせ面高さＺを１．０ｍ（あるいは０．５ｍ）に補正するが、サービスカーなどの車両の場合はその合わせ面高さＺを０．５ｍ（あるいは１．０ｍ）に補正するようにしても良い。

この障害物検知部２１５による障害物の種類は、その検知情報の内容によって容易に判別できる。例えば、図１６に示すように作業員のヘルメットなどに発信装置８０を備えておき、その発信装置８０から発信される所定周波数の無線信号を、車体２０の周囲に設けられた無線信号式障害物検知センサー７０ａ、７０ｂ、７０ｃ、７０ｄで検知し、その信号の周波数など、その信号に含まれる情報から、その障害物が人物か否かを容易に判別することができる。

また、障害物の検知信号や車体コントローラ２４０からの車体情報などに基づいて合わせ面高さＺを自動的に補正したときは、手動の場合と同様に所定時間経過後あるいはその検知信号や車体情報が無くなったときに、その合わせ面高さＺが自動的に標準の状態に戻るように設定しても良い。なお、自動的に戻る機能は、オペレータが任意に選択できるようにしても良い。

前述したように自動的にあるいは手動によって合わせ面高さＺが補正された場合、補正された合わせ面高さＺをオペレータが識別できるように表示することも可能である。図１７は、図２で示した表示コントローラ２１０内に画像合成部２１６を付加した構成を示したものである。この画像合成部２１６は、合わせ面高さ設定部２１１からの合わせ面高さＺの補正値情報と、俯瞰画像作成部２１３からの俯瞰画像３００とを合成した合成画像を作成し、その合成画像を周囲監視モニター２２０に出力し、周囲監視モニター２２０はその合成画像を表示するようにしたものである。

図１８乃至図２３は、この画像合成部２１６で合成された合成画像を周囲監視モニター２２０に表示した際の表示例を示したものである。図１８は、補正された合わせ面高さＺを具体的な文字（数値）で表し、その文字を俯瞰画像３００内の左上に合成した表示例である。これによって、オペレータは、表示されている俯瞰画像３００の標準の合わせ面高さＺが補正されていることだけでなく、どの程度補正されたのかを具体的な数値として目視にて瞬時かつ正確に把握することができる。また、俯瞰画像３００に合成して表示することにより、視線移動も最小限で済むため、見やすくてわかりやすい。

また、図１９は、俯瞰画像３００上に専用の合わせ面高さ表示領域３０１を設け、この表示領域３０１に合わせ面高さＺの具体的な文字（数値）を表示して合成した例である。また、図２０は、合わせ面高さＺの補正値をバーグラフ３０２などの図形で表し、その図形を俯瞰画像３００内に合成して表示した例である。また、図２１は、俯瞰画像３００の右側に専用の合わせ面高さ表示領域３０４を設け、この表示領域３０４に、合わせ面高さＺの補正値を表す大型のバーグラフ３０３を合成した表示例である。図２０および図２１の例では、各バーグラフ３０２、３０３中、有色に変化する部分の高さが合わせ面高さＺを意味し、この有色部分の高さを目視にて認識することで、オペレータは、瞬時かつ正確に合わせ面高さＺの補正量を把握することができる。

さらに、図２２、２３に示すように、これらバーグラフ３０２、３０３などの図形に、合わせ面高さＺの補正値を表す具体的な文字（数字）を合わせて表示するようにして良い。また、合わせ面高さＺの補正値を俯瞰画像３００と共に視覚的に表す方法としては、前述したような文字や図形の他に、記号や色彩の変化あるいはこれらの組み合わせなどによって表す方法であっても良い。なお、図１７に示す画像合成部２１６を、図１３、図１５、図１６に示した構成に付加しても良く、この場合には、前述したような図１３、図１５、図１６に示す構成で発揮される作用・効果も合わせて得ることができる。

１００…油圧ショベル（作業機械）
２００…周囲監視装置
２１０…表示コントローラ
２１１…合わせ面高さ設定部（合わせ面高さ設定手段）
２１２…上方視点画像作成部（上方視点画像作成手段）
２１３…俯瞰画像作成部（俯瞰画像作成手段）
２１４…カメラ入力部
２１５…障害物検知部（立体物検知手段）
２１６…画像合成部（画像合成手段）
２２０…周囲監視モニター（表示手段）
２３０、２４０…車体コントローラ
３００…俯瞰画像
３０１、３０４…合わせ面高さ表示領域
３０２、３０３…バーグラフ（図形）
４００…ダンプトラック（作業機械）
２０…上部旋回体（車体）
３０、３０ａ、３０ｂ、３０ｃ、３０ｄ…カメラ（撮影手段）
３１…原画像
３５…上部視点画像
ｅ０…標準の切り出し領域（表示画像）
ｅ５０…合わせ面高さを0.5ｍに設定（補正）したときの切り出し領域（表示画像）
ｅ１００…合わせ面高さを1.0ｍに設定（補正）したときの切り出し領域（表示画像） Ｚ…合わせ面高さ

Claims (8)

1. 作業機械の車体に取り付けられてその周囲を撮影する複数のカメラと、
   当該各カメラで撮影した原画像を上方視点変換して上方視点画像を作成する上方視点画像作成手段と、
   当該上方視点画像作成手段で作成された各上方視点画像から表示画像を切り出すと共に切り出した各表示画像を合成して前記作業機械に対応する画像を組み合わせた周囲の俯瞰画像を作成する俯瞰画像作成手段と、
   当該俯瞰画像作成手段で作成された俯瞰画像を表示する表示手段と、
   前記上方視点画像作成手段で作成された各上方視点画像を合成する際の仮想的な合わせ面高さを設定する合わせ面高さ設定手段とを備え、
   前記俯瞰画像作成手段は、
   前記合わせ面高さ設定手段で設定された合わせ面高さに基づいて前記各上方視点画像から切り出される表示画像の領域を標準の切り出し領域よりも広くし、切り出した各表示画像を前記標準の切り出し領域になるように調整して合成することを特徴とする作業機械の周囲監視装置。
2. 請求項１に記載の作業機械の周囲監視装置において、
   前記合わせ面高さ設定手段は、前記作業機械の動作状態に応じて作動することを特徴とする作業機械の周囲監視装置。
3. 請求項１に記載の作業機械の周囲監視装置において、
   前記合わせ面高さ設定手段は、手動によって作動することを特徴とする作業機械の周囲監視装置。
4. 請求項２に記載の作業機械の周囲監視装置において、
   前記合わせ面高さ設定手段は、前記合わせ面高さが標準よりも異なる高さに設定されたときは、所定時間経過後に標準の合わせ面高さに戻すことを特徴とする作業機械の周囲監視装置。
5. 請求項３に記載の作業機械の周囲監視装置において、
   前記合わせ面高さ設定手段は、前記合わせ面高さが標準よりも異なる高さに設定されたときは、所定時間経過後に標準の合わせ面高さに戻すことを特徴とする作業機械の周囲監視装置。
6. 請求項１に記載の作業機械の周囲監視装置において、
   前記作業機械近傍の立体物の有無を検知する立体物検知手段を備え、
   前記合わせ面高さ設定手段は、前記立体物検知手段で前記作業機械近傍の立体物を検知したときに合わせ面高さを設定することを特徴とする作業機械の周囲監視装置。
7. 請求項６に記載の作業機械の周囲監視装置において、
   前記合わせ面高さ設定手段は、合わせ面高さを多段階に設定可能となっており、前記無線検知手段で検知された前記作業機械近傍の立体物の種類または大きさに応じてその合わせ面高さの設定を調整することを特徴とする作業機械の周囲監視装置。
8. 請求項１乃至７のいずれかに記載の作業機械の周囲監視装置において、
   前記俯瞰画像作成手段で作成された俯瞰画像に、前記合わせ面高さ設定手段で設定された合わせ面高さを表示する文字または図形、記号のいずれか、あるいは２つ以上を合成した合成画像を作成する画像合成手段をさらに備え、
   前記表示手段は、前記画像合成手段で作成された合成画像を表示することを特徴とする作業機械の周囲監視装置。

Images