JP2012112108A

JP2012112108A - 作業機械の周囲監視装置

Info

Publication number: JP2012112108A
Application number: JP2010259802A
Authority: JP
Inventors: Hidefumi Ishimoto; 英史石本; Chieko Konuma; 小沼　　知恵子
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 2010-11-22
Filing date: 2010-11-22
Publication date: 2012-06-14
Anticipated expiration: 2030-11-22
Also published as: JP5546427B2

Abstract

【課題】作業機械に設置したカメラからのカメラ画像に基づいて、上方視点とした俯瞰画像に変換してモニタに表示する際に、車両の振動に基づく画像の画質低下を最小限に抑制できるようにする。
【解決手段】上部旋回体３には、後方カメラ１３Ｂと、左右の側方カメラ１３Ｌ，１３Ｒとが設けられ、カメラ１３Ｂ，１３Ｌ，１３Ｒのカメラ画像を視点変換して個別俯瞰画像を生成して、表示キャラクタ２１を中心とした合成俯瞰画像がモニタ２０に表示され、油圧ショベルＰＳには角速度検出器４５が設けられて、ピッチ角とその方向及びロール角とその方向が検出され、走行路に凹凸があり、また傾斜地である場合には、仮想視点算出部３６で変化した仮想視点ＶＦの位置及び方向に基づく合成俯瞰画像が画像変換部３２で生成されて、モニタ２０に表示される。
【選択図】図９

Description

本発明は、油圧ショベル等からなる作業機械において、機械による作業の安全確保等のために、作業機械の周囲を上方視点とした俯瞰画像として表示するモニタを有する作業機械の周囲監視装置に関するものである。

作業機械の一例として、例えば油圧ショベルは、自走式の作業機械であって、クローラ式またはホイール式の走行手段を備えた下部走行体を有するもので、この下部走行体には旋回装置を介して上部旋回体が設置されている。上部旋回体には土砂の掘削等の作業を行う作業手段が設けられている。作業手段は、上部旋回体に俯仰動作可能に連結したブームと、このブームの先端に上下方向に回動可能に連結したアームとを備え、土砂の掘削等の作業を行うバケットはフロントアタッチメントとして、アームの先端にリンク機構を介して連結されており、これらにより多関節作業機構を構成している。

油圧ショベル等からなる自走式の作業機械において、作業の安全を確保し、また作業機械の操作性の向上を図るために、上部旋回体の周囲を監視する周囲監視装置が設けられる。周囲監視装置は、上部旋回体にカメラを装着すると共に、運転室において、オペレータが着座する運転席の前方位置にモニタを設置することにより構成され、カメラで撮影した画像は動画状態の映像としてモニタに表示される。

ただし、カメラ画像をそのままモニタに表示したのでは、オペレータが正確な距離感を得るのは困難な場合がある。例えば、上部旋回体を旋回させる操作時に、周囲の安全を確認するが、作業機械の近傍に作業者等が立ち入っていたり、構築物等の障害物が作業機械の近傍に存在していたりしている状況下において、カメラ画像だけからでは、上部旋回体を旋回させたときに接触する可能性があるか否かを正確に判断するのは困難である。また、下部走行体を後進させる際にも、作業機械が作業者や障害物等にどの程度まで接近しているかについて、さらには溝等の凹所の存在や位置を正確に把握できないこともある。作業機械の旋回時や後進時には、周囲に衝突を回避し、また進入停止を行うべき要回避対象となるものがある。この要回避対象の有無や形状，大きさといった情報を取得するには、カメラ画像は有利であるが、カメラ画像のみでは、作業機械から要回避対象までの正確な距離を認識することができない。

カメラをある高さから斜め下方向に視野を向けて撮影し、このカメラ画像を視点を変えるように画像変換処理を行うことができる。仮想視点画像において、視点を上方位置に設定すると、この上方視点画像は俯瞰状態の画像となる。従って、この俯瞰画像を作業機械像と共にモニタに表示すると、要回避対象までの距離を正確に把握することができる。作業機械において、俯瞰画像を表示することにより周囲の監視を行う装置が特許文献１に開示されている。この特許文献１においては、作業機械としての油圧ショベルの後方と、左側方との所定の位置にカメラを装着して、これらのカメラの光軸を斜め下方に向け、後方及び側方に広い視野を持った画像を取得して上方視点となるように視点変換した俯瞰画像をモニタに表示することによって、周辺監視画面を取得するようにしている。

このように俯瞰画像をモニタに表示すると、上部旋回体から要回避対象までの距離を正確に把握できることになる。従って、作業機械を後進させたり、旋回させたりする際に、このモニタの映像によって周囲の安全を確認することができる。作業機械としての油圧ショベルには、上部旋回体における運転室の右側に土砂の掘削等を行う作業手段が設置されている。従って、運転室内でのオペレータの肉眼による視野は、この作業手段により妨げられるので、この方向にも視野が必要となる。特許文献１において、カメラを上部旋回体の後方の位置だけではなく、右方の側部にも設けているのはこのためである。

国際公開ＷＯ２００６/１０６６８５号パンフレット

カメラは作業機械の所定の位置に設置されており、このカメラに対して仮想視点が設定されるが、この仮想視点は仮想の水平面を設定して、この仮想面を基準とした空間上に設定されたものである。作業機械が走行している間や、作業を行っている間等には車両が振動することになる。振動はカメラにも伝達されて、モニタに表示される画像が揺れることになる。このように、カメラの振動に起因する画像の揺れに対しては、カメラを緩衝支持させることや、機械的に振動を吸収することで、また光学的に振動を補正する機構等で対処できる。

ところで、モニタ画像の揺れはカメラの振動に起因するものだけでない。作業機械に直接装着されているカメラは、作業機械が稼働している間は振動するが、このカメラの画像を視点変換するために設定されている仮想視点は作業機械の振動に影響を受けないものである。作業機械の振動として、上下方向の振動や揺動方向の振動がある。作業機械として油圧ショベルを例に取ると、油圧ショベルにより土砂の掘削等の作業を行っている際には様々な方向に振動する。特に、車両が前後に揺動するピッチング振動が発生し、また不整地の走行時等においては、車両が左右に揺動するローリング振動が発生することになり、さらに作業の状態によっては、ピッチング振動とローリング振動とが同時に発生することもある。従って、カメラ画像の中心軸線と仮想視点の中心軸線との間に位置や角度にずれが発生することになる。

このように、ピッチング振動やローリング振動が発生すると、モニタに表示される画像が様々な方向に揺れることになり、しかも振動の大きさにより揺れ幅が大きくなるだけでなく、画像に歪みが発生する等の事態が発生して、画像の画質が著しく低下することになる。このために、モニタを注視しているオペレータの目に対する負担が極めて大きくなり、画質の低下が甚だしい場合には、モニタに対する視認が不能となってしまう。

本発明は以上の点に鑑みてなされたものであって、その目的とするところは、作業機械に設置したカメラからのカメラ画像に基づいて、上方視点とした俯瞰画像に変換してモニタに表示する際に、車両の振動に基づく画像の画質低下を最小限に抑制できるようにすることにある。

前述した目的を達成するために、本発明は、作業機械に１または複数のカメラを設置して、前記カメラにより撮影したカメラ画像を仮想視点位置となるように視点変換処理を行う画像変換手段と、この画像変換手段から出力される信号に基づいて視点変換画像を表示する画像表示手段とを備え、前記画像変換手段は、前記仮想視点位置を仮想平面上の所定の高さ位置に設定することによって、前記カメラ画像を俯瞰画像として前記画像表示手段に表示するようにした作業機械の周囲監視装置であって、前記作業機械の傾斜方向と傾斜角度とを測定する傾斜測定手段と、前記傾斜測定手段により測定した前記作業機械の傾斜角度に基づいて、前記仮想視点位置を補正する視点位置補正手段とを備える構成としたことをその特徴とするものである。

作業機械の前方はオペレータの直接視野が得られるので、カメラによる監視を行う必要はない。作業機械の後方位置はオペレータの視野が得られないので、カメラを設置して後方を監視する。また、側方もオペレータによる視野が得られないことがある。特に、作業機械の一例としての油圧ショベルにあっては、運転室の右側に作業手段が設けられている関係から、視野が著しく制限される。従って、この方向にカメラを設置するのが望ましく、従って少なくとも後方、好ましくは後方と右方、さらに好ましくは左右両側の側方にカメラを設置して、監視のための補助視野が得られるようにする。

カメラ画像は視点変換されるが、周囲監視のためには、視点位置を上方として下方を向けた画像、つまり俯瞰画像を取得するのが合理的である。このために、カメラは作業機械の上部位置に設置して、各々のカメラにおけるレンズの光軸を斜め下方に向けるようにする。これらのカメラで取得したカメラ画像は画像変換手段で視点変換処理されて、個別俯瞰画像が取得され、画像表示手段に表示されるが、各個別俯瞰画像は各カメラの位置に対応する位置関係となるように合成されて合成俯瞰画像となる。画像表示手段には、この合成俯瞰画像のみを表示しても良いが、作業機械との関連性を把握させるためには、作業機械の画像を併せて表示するのが望ましい。また、周囲に障害物等があると、その画像、つまり障害物画像も併せて表示する。監視用の画像は俯瞰画像であるから、作業機械の画像も俯瞰画像とし、より望ましくは、作業機械をグラフィック化して、平面図とした表示キャラクタとする。

視点位置補正手段により作業機械の傾斜角度に応じて視点位置の補正が実行されるが、作業機械の稼働中に生じる振動の方向としては、上下方向の動きと傾き方向の動きとがある。モニタに表示される画像の画質に大きい影響を与えるのは傾き方向であって、前後方向の傾斜角をピッチ角とし、また左右方向の傾斜角をロール角としたときに、少なくとも作業機械の振動の発生が最も頻繁に生じる方向の傾斜角度を補正するように設定する。より好ましくは、ピッチ角及びロール角の双方を補正する。上下方向の振動時には、また傾斜方向の振動時であっても、その傾斜角度に応じて高さ位置も変化する。仮想視点の高さ位置を仮想平面から十分高い位置としておけば、仮想視点の高さ位置の変化率はごくわずかなものとなるから、仮想視点の高さ方向の振動等は補正しなくても格別差し支えない。ただし、高さ位置も補正することも可能である。

視点位置補正手段によって仮想視点位置を補正するが、僅かな位置ずれがあっても補正すると、回路の負担が大きくなるだけでなく、画像の安定性が損なわれる場合がある。そこで、作業機械の傾斜角度の時系列変化から傾斜角速度を演算し、この傾斜角速度が一定値以下のときには、視点位置補正手段による仮想視点位置の補正を行わなくても良い。

作業機械に設けた傾斜測定手段により作業機械の傾斜方向と傾斜角度とが測定されることから、作業機械の姿勢が常時認識されている。そこで、作業機械の姿勢を表示キャラクタに反映させることができる。即ち、作業機械の平面図に対して上部側の画像を前後左右に移動させることによって、作業機械の傾斜方向が表示される。これによって、画像表示手段上に作業機械の動きが表示されて、臨場感を生じさせることができ、また作業機械の足場の状態をオペレータに的確に認識させることができる。

作業機械に設置したカメラからのカメラ画像に基づいて、上方視点とした俯瞰画像に変換して画像表示手段に表示する際に、車両の振動により表示画像の揺れを最小限のものとなし、かつ画像に歪みの発生を防止できて、安定した画像が表示されることになり、作業機械の周囲監視をより実効のあるものとすることができる。

作業機械の一例としての油圧ショベルの正面図である。図１の平面図である。本発明の実施の形態を示すモニタの構成説明図である。本発明の実施の形態を示す画像処理装置の回路構成図である。油圧ショベルが傾斜地を走行している状態を示す作用説明図である。図５の走行路に沿って油圧ショベルが走行する間におけるピッチ角の変化を示す線図である。油圧ショベルの走行路の傾斜成分を示す線図である。油圧ショベルの走行路における凹凸成分を示す線図である。油圧ショベルの走行路における平地から傾斜地に移行する際における仮想視点位置の補正に関する説明図である。油圧ショベルが右方に傾斜したときのモニタ画像の説明図である。油圧ショベルが前方に向けて傾斜したときのモニタ画像の説明図である。

以下、図面に基づいて本発明の実施の形態について説明する。まず、図１に作業機械の一例としての油圧ショベルＰＳの構成を示す。図中において、１はクローラ式走行体からなる下部走行体であって、下部走行体１には旋回装置２を介して上部旋回体３が設けられている。

上部旋回体３には、オペレータが搭乗して機械を操作するための運転室４が設置されており、また土砂の掘削等の作業を行う作業手段５が設けられている。作業手段５は運転室４の右手において、ほぼ並ぶような位置に設けられている。さらに、上部旋回体３には、運転室４及び作業手段５の後方位置に建屋６等が設けられており、最後端部にはカウンタウエイト７が設置されている。

作業手段５は、ブーム１０，アーム１１及びフロントアタッチメントとしてのバケット１２から構成される土砂の掘削作業手段である。ブーム１０は、その基端部が上部旋回体３のフレーム３ａに連結ピンにより軸支されて俯仰動作可能となっている。ブーム１０の先端にはアーム１１が上下方向に回動可能に連結されており、さらにアーム１１の先端にはバケット１２が回動可能に連結されている。ブーム１０の俯仰動作はブームシリンダ１０ａを駆動することにより行われる。アーム１１はアームシリンダ１１ａにより、さらにバケット１２はバケットシリンダ１２ａにより駆動される。

以上の構成を有する油圧ショベルにおいて、この油圧ショベルの操作者であるオペレータは運転室４内で、前方を向いた状態で操作を行うものであって、上部旋回体３の前方には十分広い視野が確保されている。また、運転室４の左側における斜め前方の視野も確保されている。ただし、左側であっても、斜め後方については、オペレータは振り返るようにしなければ直接視認をすることができない。また、運転室４の右側においては、作業手段５が設置されており、視野のかなりの部分がブーム１０により妨げられることになり、実質的に肉眼による確認を行うことができない。さらに、上部旋回体３の後方については、建屋６及びカウンタウエイト７が位置しており、オペレータは運転室４の内部で振り返るようにしなければ視野が得られず、しかも建屋６及びカウンタウエイト７の上面は高い位置となっており、従ってオペレータは運転室４内で振り返る姿勢を取ったとしても、視野が得られるのは遠い位置であり、上部旋回体３に近い位置を視認することはできない。

以上のことから、上部旋回体３の後方及び左右の側方の監視を可能にするために、カメラ１３Ｂ，１３Ｒ，１３Ｌをそれぞれ設置して補助的に視野を確保するようにしている。即ち、カウンタウエイト７の上面において、その左右のほぼ中間位置に後方カメラ１３Ｂが設置されている。また、建屋６の左方向の上面には左側カメラ１３Ｌが、さらに上部旋回体３の右側の位置には、建屋６またはタンクの上面には右側カメラ１３Ｒが設けられている。ここで、後方カメラ１３Ｂは上部旋回体３の後方の広い範囲の画像を取得するようになっており、この後方カメラ１３Ｂと、左右の両側カメラ１３Ｒ，１３Ｌとによって、上部旋回体３の運転室４内で、オペレータが無理のない姿勢で得られる前方視野を除くほぼ全周にわたって視野が得られることになる。これら各カメラ１３Ｂ，１３Ｒ，１３Ｌのレンズの視野角と、それらの配設位置とによって、少なくとも各レンズの水平視野角はその一部がオーバーラップするように設定している。その結果、上部旋回体３の周囲において、ブラインドとなる箇所がなくなる。

運転室４内には、図３に示したように、画像表示手段としてのモニタ２０が設置されており、前述した各カメラ１３Ｂ，１３Ｒ，１３Ｌから取得した画像がこのモニタ２０に動画状態にして表示されるようになっている。ここで、これらのカメラ画像はそのまま表示されるのではなく、上方視点となるように視点変換される。

即ち、図１に示したように、後方カメラ１３Ｂは上部旋回体３の後方に対して角度θをもった斜め下方に対物レンズの光軸を向けている。このときに、油圧ショベルの下部走行体１の接地面をＬとしたときに、この接地面Ｌに対して角度θを持ったカメラ画像から、同図に示したように、仮想視点ＶＦから接地面Ｌに対して光軸Ａが垂直になるように座標変換した画像を作成する。従って、接地面Ｌが仮想平面となり、この接地面Ｌからの仮想視点ＶＦの位置が仮想視点の高さＨであって、この高さＨの位置から光軸Ａを有する俯瞰画像がモニタ２０に表示される。また、左右の両側カメラ１３Ｒ，１３Ｌも後方カメラ１３Ｂと同様、接地面Ｌに対する光軸の傾斜角は角度θとする。

以上のことから、カメラ１３Ｂ，１３Ｒ，１３Ｌは、周囲監視のための画像を取得するカメラであって、これらカメラ１３Ｂ，１３Ｒ，１３Ｌからの画像を座標変換して得られる俯瞰画像を個別俯瞰画像として、これらの個別俯瞰画像が合成されて、図３に示したように、モニタ２０に表示される。ここで、モニタ２０に表示されるのは、この俯瞰画像だけでなく、このモニタ２０の中央の位置に油圧ショベルの平面図がキャラクタとして表示される。即ち、表示キャラクタ２１の周囲にカメラ１３Ｂ，１３Ｒ，１３Ｌで取得した画像から個別俯瞰画像として画像化の処理を行った後方俯瞰画像２２Ｂと、左右の側方俯瞰画像２２Ｌ，２２Ｒとがそれぞれ対応する位置に、合成俯瞰画像として表示され、これによって表示キャラクタ２１を中心としたパノラマ画像が表示される。このように、合成俯瞰画像を生成するために、作業機械には画像処理装置３０が設けられている。

図４に画像処理装置３０の回路構成を示す。図中、３１は画像補正部であって、カメラ１３Ｂ，１３Ｒ，１３Ｌで撮影したカメラ画像はこの画像補正部３１に取り込まれる。この画像補正部３１では、取り込まれたカメラ画像を、カメラ光学系パラメータ等に基づいて、収差補正や、コントラスト補正、色調補正等の画像補正を行うことによって、取得した画像の画質を向上させる。

画像補正部３１の出力側には、画像変換部３２が接続して設けられており、各々のカメラ画像から上方視点となるように視点変換がなされる。その結果、後方及び左右の側方における個別俯瞰画像２２Ｂ，２２Ｌ，２２Ｒが生成される。そして、これらの個別俯瞰画像２２Ｂ，２２Ｌ，２２Ｒは画像合成部３３によってモニタ２０のそれぞれ所定の領域に貼り付けるように処置される。ここで、俯瞰画像２２Ｂと左右の側方俯瞰画像２２Ｌ，２２Ｒとの境界部は部分的にオーバーラップさせるようにして画像が取得されるようになっている。そして、画像合成部３３では、オーバーラップした部位はブレンディング結合させることにより合成されて、合成俯瞰画像に変換される。これによって、合成俯瞰画像は、表示キャラクタ２１を中心として周囲囲繞するように表示され、全体が切れ目のないパノラマ画像となる。

ところで、俯瞰画像２２Ｂ，２２Ｌ，２２Ｒでは、信号処理され、実体像ではないために、画像に物体が表示されていることが認識可能できるが、変形した物体像となり、その実際の姿を正確に把握することができない場合がある。従って、画像合成部３３では、カメラ画像に基づいて障害物（人，車両，構築物等）の有無を検出し、障害物が存在する場合には、この障害物が何であるか、その形状や大きさ等の情報を取得して、障害物画像２３として、モニタ２０上に合成される。障害物画像２３は表示キャラクタ２１と実質的に同じ縮尺寸法として表示される。

このように、画像合成部３３から出力されるのは、合成俯瞰画像及び表示キャラクタ２１であり、障害物が所定の範囲内に存在していると、この障害物画像２３も合成された状態で、これらを合成した画像が表示画像生成部３４に伝送され、この表示画像生成部３４からモニタ２０に伝送されて、このモニタ２０にこれらを合成した画像が表示されることになる。

以上の画像補正部３１，画像変換部３２，画像合成部３３及び表示画像生成部３４の処理動作は記憶保持部３５に格納されている各種のデータに基づいて実行されるようになっている。また、画像処理装置３０は仮想視点算出部３６を有するものである。この仮想視点算出部３６は、作業機械の稼働時における振動が発生して、上部旋回体３が傾斜したときに、その傾斜方向及び傾斜角度を検出して、仮想視点位置を補正するように制御されることになる。

画像処理装置３０には車体コントローラ４０が接続されている。油圧ショベルの運転室４内には、操作手段として、操作レバーや操作ペダル、さらにはスイッチ等が設けられており、走行，旋回及び作業手段５の駆動は操作レバーにより動作制御がなされ、走行は操作レバーにより、また操作ペダルにより動作制御がなされる。図４には、これら操作レバー（及び操作ペダル）を総称して、操作手段４１とする。そして、運転席の左右に設けられる操作手段４１により駆動制御がなされるのは、旋回装置２による上部旋回体３の旋回、ブーム１０，アーム１１及びバケット１２の作動であり、旋回駆動は旋回モータによるものであり、ブーム１０，アーム１１及びバケット１２はそれぞれ油圧シリンダからなるブームシリンダ１０ａ，アームシリンダ１１ａ及びバケットシリンダ１２ａにより駆動されるものである。また、左右の走行駆動は運転席の前方に設けた操作レバーにより制御されるものであり、駆動は油圧モータで行われるが、走行用の油圧モータは操作ペダルでも制御されるようになっている。従って、油圧モータ及び油圧シリンダは油圧アクチュエータであって、油圧アクチュエータは図４の符号４２で総称する。

前述した各部の動作は各種のセンサにより検出するようにしている。このために、ブーム１０，アーム１１及びバケット１２の動作角度を角度検出器で、また旋回装置２による旋回角も角度検出器で検出するように構成されており、これら角度検出器は図４に符号４３で示す。また、走行速度及び旋回速度は符号４４で示した速度検出器で検出される構成としている。さらに、角速度検出器４５も設けられており、この角速度検出器４５によって、走行時及び旋回時の角速度を検出するようにしている。そして、これら角度検出器４３，速度検出器４４及び角速度検出器４５からの検出データは車体コントローラ４０を介して画像処理装置３０に伝送されるようになっている。

次に、油圧ショベルが傾斜地を走行している状態での周囲監視の動作を図５に示す。同油圧ショベルＰＳの走行路において、行程Ｐ０−Ｐ１では凹凸のない（若しくは凹凸の少ない）平地、行程Ｐ１−Ｐ２では凹凸のある平地、行程Ｐ２−Ｐ３では凹凸のない（若しくは凹凸の少ない）平地、行程Ｐ３−Ｐ４では凹凸のない（若しくは凹凸の少ない）傾斜地、行程Ｐ４−Ｐ５では凹凸のある傾斜地、行程Ｐ５以降は凹凸のない（若しくは凹凸の少ない）傾斜地である。ここで、説明の単純化のために、傾斜地の傾斜角は一定であるとする。

角速度検出器４５は、一般に、機械式、流体式、光学式等のジャイロを用いることができ、角速度と動きの方向を検出するために、３軸光ファイバジャイロが好適である。ここで、油圧ショベルＰＳは、作動中には、前後方向に傾動する（ピッチング動作）ことがあり、また左右方向にも傾動する（ローリング動作）ことがある。従って、角速度検出器４５では、前後方向の傾斜角速度ω_ψと左右方向の傾斜角速度ω_θとが検出され、これら傾斜角速度ω_ψ及び傾斜角速度ω_θをそれぞれ積分することによって、ピッチ角ψとロール角θとが求められる。

そこで、そして、油圧ショベルＰＳは地点Ｐ０から一定の速度で走行を開始したときにおいて、時刻Ｔに対するピッチ角ψの変化を図６に示す。同図において、行程Ｐ０−Ｐ１走行時の時刻Ｔ０−Ｔ１では凹凸のない平地を走行しているので、ピッチ角ψは実質的に変化しない。また、行程Ｐ１−Ｐ２走行時の時刻Ｔ１−Ｔ２の間では凹凸のある平地を走行しており、このためにピッチ角ψは振動状態となる。行程Ｐ２−Ｐ３走行時の時刻Ｔ２−Ｔ３では、凹凸のない平地を走行しているので、ピッチ角ψは実質的に変化しない。凹凸のない傾斜地を走行する行程Ｐ３−Ｐ４の平地から傾斜部への移行時である時刻Ｔ３−Ｔ４ではピッチ角ψは振動することはないが、連続的に大きくなる。さらに行程Ｐ４−Ｐ５では、傾斜角は一定になるが、凹凸があることから、時刻Ｔ４−Ｔ５ではピッチ角ψは振動する。さらに、行程Ｐ５以降は凹凸のない傾斜地であることから、時刻Ｔ５以降ではピッチ角は実質的に変化しない。

以上のことから、油圧ショベルＰＳの走行時には振動するが、このうちピッチ角ψの変化としては、ピッチ角ψが往復変動する場合と、連続的にピッチ角ψが増大若しくは減少する場合とがある。凹凸のある路面を走行していると、ピッチ角ψが往復変動し、ピッチ角ψが連続的に増大または減少するのは、平地から傾斜地（上り、下りを含む）への移行時、または傾斜地から平地への移行時である。平地であれ、傾斜地であれ、角度が変化しないときには、ピッチ角ψが一定になる。従って、油圧ショベルＰＳの走行時には、図７に示したように、当初のピッチ角がψ０としたときに、昇降開始時、つまり時刻Ｔ３−Ｔ４では、ピッチ角ψが連続的に変化するが、傾斜地に入る前、つまり時刻Ｔ３以前及び傾斜地に完全に移行するまでは、傾斜角がψ４になり、傾斜地に完全に移行したＴ４以後では傾斜角はψ４を維持し、連続的な変化を生じることはない。これに対して、凹凸のある路面を走行している間は、油圧ショベルＰＳは上下に揺動することから、図８に示したように、ピッチ角ψは凹凸差に応じた往復ストロークで変化する。

後方カメラ１３Ｂ(左右の側方カメラ１３Ｌ，１３Ｒも同様）から得られる接地面Ｌのカメラ画像は接地面Ｌに対して角度θからのものとなり、このカメラ画像は、図９に示したように、仮想視点ＶＦからの俯瞰画像、つまり高さＨの位置から接地面Ｌに対する垂直な光軸Ａを中心とした俯瞰画像に変換され、接地面Ｌの位置での視野範囲における俯瞰画像がモニタ２０に表示される。

ここで、路面に凹凸があり、または傾斜していると、ピッチ角及びロール角が変化する。ピッチ角の変化としては、図９に示したように、油圧ショベルＰＳが傾斜地にまで移行すると、接地面がＬ´に変化することになる。油圧ショベルＰＳの上部旋回体３に設置されている以上、接地面がＬからＬ´に変化することによって、後方カメラ１３Ｂの位置も追従して変位することになる。

このときに仮想視点ＶＦの位置を変化させないと、つまり高さ及び光軸を変化させないと、特に光軸Ａの接地面Ｌ´に対する角度が直角ではなく傾いた状態となって、後方カメラ１３Ｂによる接地面Ｌ´の位置での視野範囲が大きく変化することになり、モニタ２０においては、画像の位置が上下若しくは左右、さらにピッチ角の変位とロール角の変位とがあると、上下のいずれかの方向と左右のいずれかの方向とにずれると共に、画像に歪みも発生する。従って、油圧ショベルＰＳのピッチ角の変化があると、モニタ２０に表示される画像に大きな揺れや歪み等が発生するようになり、画像の画質が著しく低下することになる。

モニタ２０に表示される画像の乱れを最小限に抑制するために、油圧ショベルＰＳのピッチ角が変化したときに、このピッチ角の変化を検出して、仮想視点ＶＦの位置及び角度を補正する。このために、車体コントローラ４０には角速度検出器４５が接続されており、この角速度検出器４５は油圧ショベルＰＳの走行中におけるピッチ角の変化、つまり前後方向の傾斜角速度ω_ψを検出するようにしている。そこで、この角速度検出器４５からの傾斜角速度信号を画像処理装置３０における仮想視点算出部３６に取り込んで、仮想視点ＶＦの位置及び方向の変化を演算して、画像変換部３２において、接地面Ｌ´で、高さＨ及び光軸Ａとしたカメラ画像から俯瞰画像に変換することになる。

下部走行体１による走行時において、凹凸のある路面を走行している間でも、モニタ２０に表示されている合成俯瞰画像は乱れや変形等が最小限に抑制され、安定した合成俯瞰画像が動画状態で鮮明に表示されることになる。なお、油圧ショベルＰＳは、通常、平滑な路面を走行するのではなく、少なくとも多少の凹凸がある路面を走行することから、常に角速度が変動することになる。ただし、僅かな角速度の変化があっても、常に仮想視点位置を補正するのは信号処置の点で好ましくはなく、またモニタ２０に表示されている合成俯瞰画像は実質的に変化することはない。そこで、図８にあるように、閾値ＴＨを設定して、この閾値ＴＨより大きな変化がある場合のみに、具体的には、行程Ｐ１−Ｐ２の走行時と、行程Ｐ４−Ｐ５の走行時には仮想視点位置を補正し、それ以外の行程Ｐ０−Ｐ１，行程Ｐ２−Ｐ３及び行程Ｐ５以降では、仮想視点位置の補正を行わない。また、行程Ｐ３−Ｐ４では路面に凹凸はないものの、傾斜地であり、油圧ショベルＰＳは平地から傾斜地に移行する行程であることから、仮想視点ＶＦの角度は大きく変化するので、この行程Ｐ３−Ｐ４でも、仮想視点ＶＦの角度を補正する。

ところで、油圧ショベルＰＳが走行している間には、前後方向（ピッチング方向）だけでなく、左右方向（ローリング方向）も振動することがあり、角速度検出器４５はピッチング及びローリング方向の振動なり、傾きなりを検出できるようになっている。そして、仮想視点検出部３６では、ピッチ方向及びピッチ角と、ロール方向及びロール角との変化が検出されて、このデータが画像変換部３２に入力され、仮想視点ＶＦの方向及び位置を補正することができる。従って、角速度検出器４５は傾斜測定手段であり、また仮想視点検出器３６は視点位置補正手段を構成する。

ここで、油圧ショベルＰＳの場合には、車両全体が左右に傾斜すると、転倒するおそれがあることから、走行方向と直交する方向に大きく傾斜している路面を走行しないようにしており、従ってロール角は必ずしも検出及び補正を行わなくすることもできる。また、油圧ショベルＰＳではなく、他の作業機械であって、ローリング方向に大きく振動するが、ピッチング方向の変位は殆どないようなものである場合には、ピッチ角の検出及び補正を行わなくても良い。

仮想視点ＶＦの補正という場合、その光軸Ａの方向と角度とを補正することになるが、角度が変化すると、仮想視点ＶＦの高さ位置も変化することになる。従って、この高さ位置を補正の対象とすることもできるが、高さの変動幅の寸法は、高さＨの寸法より極めて小さいものとなるので、高さ寸法の補正は必ずしも行わなくても良い。

ところで、モニタ２０に表示されるのは、特に、仮想視点ＶＦを補正した状態での合成俯瞰画像であり、従って不整地等での走行時で油圧ショベルＰＳが振動している場合であっても、モニタ２０に表示されている合成俯瞰画像は、通常は、静止状態となっている。このために、オペレータに違和感を起こさせることがある。そこで、油圧ショベルＰＳが上下に振動しながら走行している際には、表示キャラクタ２１にこの状態を反映させるのが望ましい。即ち、油圧ショベルＰＳが左右方向、例えば右方向に傾斜している場合には、図１０に示したように変形させ、油圧ショベルＰＳが前後方向、例えば前方に向けて傾斜しているときには、図１１に示したように変形させるようにして表示キャラクタ２１を表示することができる。

従って、油圧ショベルＰＳが前後または左右に振動しているときには、その表示キャラクタ２１を頻繁に変化させることによって、オペレータに臨場感を与えることができる。しかも、周囲監視のために用いられる合成俯瞰画像は静止状態となっているので、画像が見易くなり、オペレータに疲労感を与えるようなことはない。また、油圧ショベルＰＳが傾斜地で走行している場合や、作業している場合には、表示キャラクタ２１を目視することによって、油圧ショベルＰＳの足場の状態を確認することができ、特に傾斜地で走行を停止させた状態での操作がある程度の時間にわたって継続している場合には、オペレータは、油圧ショベルＰＳの足場の状況をモニタ２０の画面における表示キャラクタ２１を目視することにより確認でき、作業の安全確保等のために、有利な情報を取得することができる。

１下部走行体３上部旋回体
４運転室５作業手段
６建屋７カウンタウエイト
１０ブーム１１アーム
１２バケット１３Ｂ後方カメラ
１３Ｌ左方カメラ１３Ｒ右方カメラ
２０モニタ２１表示キャラクタ
３０画像処理装置３１画像補正部
３２画像変換部３３画像合成部
３４表示画像生成部３５記憶保持部
３６仮想視点算出部４０車体コントローラ
４１操作手段４２油圧アクチュエータ
４３角度検出器４４速度検出器
４５角速度検出器

Claims

作業機械に１または複数のカメラを設置して、前記カメラにより撮影したカメラ画像を仮想視点位置となるように視点変換処理を行う画像変換手段と、この画像変換手段から出力される信号に基づいて視点変換画像を表示する画像表示手段とを備え、前記画像変換手段は、前記仮想視点位置を仮想平面上の所定の高さ位置に設定することによって、前記カメラ画像を俯瞰画像として前記画像表示手段に表示するようにした作業機械の周囲監視装置であって、
前記作業機械の傾斜方向と傾斜角度とを測定する傾斜測定手段と、
前記傾斜測定手段により測定した前記作業機械の傾斜角度に基づいて、前記仮想視点位置を補正する視点位置補正手段と
を備える構成としたことを特徴とする作業機械の周囲監視装置。
前記カメラは、少なくとも作業機械の上部であって、その後方位置と、少なくとも左右いずれかの位置とに設けられ、これら複数のカメラからの画像をそれぞれ前記画像変換手段により生成した俯瞰画像を個別俯瞰画像として、これら各個別俯瞰画像は画像合成手段により合成され、前記画像表示手段には、この画像合成手段により合成した合成俯瞰画像を、作業機械の平面図をグラフィック化した表示キャラクタと共に表示する構成としたことを特徴とする請求項１記載の作業機械の周囲監視装置。
前記傾斜測定手段は、前記作業機械のピッチ角及びロール角の少なくとも一方を検出する構成としたことを特徴とする請求項１記載の作業機械の周囲監視装置。
前記画像合成手段では、前記表示キャラクタを前記傾斜角測定手段により測定した前記作業機械の傾斜方向及び傾斜角度に対応するように変形させることを特徴とする請求項２記載の作業機械の周囲監視装置。
前記傾斜測定手段は、前記作業機械の傾斜角度の時系列変化から傾斜角速度を演算し、この傾斜角速度が一定値以下のときには、前記視点位置補正手段による前記仮想視点位置の補正を行わないようにしたことを特徴とする請求項１乃至請求項４のいずれかに記載の作業機械の周辺監視装置。