JP2011065280A - 画像処理装置、周辺監視システム、及び操作支援システム - Google Patents

Abstract

【課題】鳥瞰画像における路面反射像を目立たなくする画像処理装置を提供すること。
【解決手段】画像処理装置（１００）は、カメラが取得した取得画像から地上領域画像と路面領域画像とを生成する分割画像生成手段（１０）と、画像を構成する各画素が有する属性値と所定の閾値との比較に基づいてその画像を明領域と暗領域とに区分する明暗領域区分手段（１１）と、その地上領域画像における暗領域が形成するパターンの上下反転パターンとその路面領域画像における暗領域が形成するパターンとを重ね合わせて重複部分を反射像パターンとして抽出する反射像パターン抽出手段（１３）と、その取得画像におけるその反射像パターンに対応する部分を目立たなくする画像調整手段（１４）と、調整されたその取得画像を視点変換して鳥瞰画像を生成する鳥瞰画像生成手段（１５）と、を備える。
【選択図】図１

Description

本発明は、カメラが撮影した画像を視点変換して鳥瞰画像を生成する画像処理装置に関し、特に、カメラ周辺の物体の路面反射像（例えば、濡れた路面に映り込むカメラ周辺の物体の反射像である。）を目立たなくすることによってその鳥瞰画像の視認性を向上させる画像処理装置に関する。

従来、車両後方を撮影するカメラで撮影した画像を視点変換することで得られる鳥瞰画像を運転席に設置されたモニタに表示させる車両周辺監視装置が知られている（例えば、特許文献１参照。）。

この鳥瞰画像は、車両後方を撮影するカメラで撮影した画像に基づいて生成される画像であり、あたかも車両の上空にある仮想的なカメラが車両後方を俯瞰しながら撮影したかのような画像であって、カメラで撮影した画像を変形することによって得られる仮想的な画像である。

このような鳥瞰画像は、運転者が車両後方の状態を認識する上で有効であるが、車両周辺監視装置が路面上にある車両周辺の立体物をその路面上に描画されたパターンとして認識しその立体物を大きく変形させて表示するので、その立体物の変形度合いによっては、運転者に違和感を抱かせてしまう場合がある。

また、車両周辺の立体物の路面反射像は、その立体物の直接像が同じ画像内に存在する場合にはその移動体の運転者の視覚経験によりその路面反射像がその直接像に関連するものであるとして違和感なく認識され得るが、視点変換によって得られる鳥瞰画像のようにその直接像が同じ画像内に表示されずその路面反射像のみが独立して表示されるような場合には、その路面反射像を見た運転者に違和感を抱かせてしまう場合がある。

そこで、この車両周辺監視装置は、立体物の変形に対しては、視点変換によって歪みが生じた被写体のその歪み部分を黒色のマスク画像で覆い隠すことによって運転者がその歪み部分を視認できないようにし、運転者が違和感を抱くことがないようにしている。

特開２００９−７１７９０号公報

しかしながら、特許文献１に記載の車両周辺監視装置は、視点変換によって得られる鳥瞰画像における路面反射像であり、その直接像とは独立して表示される路面反射像による違和感を取り除くことはできない。

上述の点に鑑み、本発明は、カメラが撮影した画像を視点変換することで得られる鳥瞰画像におけるカメラ周辺の物体の路面反射像を目立たなくする画像処理装置、並びに、その画像処理装置を用いた周辺監視システム及び操作支援システムを提供することを目的とする。

上述の目的を達成するために、本発明の実施例に係る画像処理装置は、画像取得部が取得する取得画像を視点変換して鳥瞰画像を生成する画像処理装置であって、前記取得画像から地上領域画像と路面領域画像とを生成する分割画像生成手段と、画像を構成する各画素が有する属性値と所定の閾値との比較に基づいて該画像を明領域と暗領域とに区分する明暗領域区分手段と、前記地上領域画像における暗領域が形成するパターンの上下反転パターンと前記路面領域画像における暗領域が形成するパターンとを重ね合わせて重複部分を反射像パターンとして抽出する反射像パターン抽出手段と、前記取得画像における前記反射像パターンに対応する部分を目立たなくする画像調整手段と、調整された前記取得画像を視点変換して鳥瞰画像を生成する鳥瞰画像生成手段と、を備えることを特徴とする。これにより、本実施例に係る画像処理装置は、路面領域に映り込むカメラ周辺の物体の路面反射像を目立たなくした視認性の高い鳥瞰画像を表示することができる。

また、前記明暗領域区分手段は、前記地上領域画像を構成する各画素が有する輝度値と第一の輝度閾値との比較に基づいて前記地上領域画像を前記暗領域である低輝度領域と前記明領域である高輝度領域とに区分し、且つ、前記路面領域画像を構成する各画素が有する輝度値と第二の輝度閾値との比較に基づいて前記路面領域画像を前記暗領域である低輝度領域と前記明領域である高輝度領域とに区分することが好ましい。これにより、本実施例に係る画像処理装置は、地上領域における背景の直接像とカメラ周辺の物体の直接像との区別、及び、路面領域における背景の路面反射像とカメラ周辺の物体の路面反射像との区別を簡易且つ迅速に実行することができる。

また、前記分割画像生成手段は、前記取得画像に対して適用される所定の水平線より上にある領域を前記地上領域画像とし、且つ、該所定の水平線より下にある領域を前記路面領域画像とすることが好ましい。これにより、本実施例に係る画像処理装置は、画像取得部が取得した取得画像から地上領域画像及び路面領域画像を簡易且つ迅速に生成することができる。

また、本実施例に係る画像処理装置は、前記地上領域画像における暗領域を拡張する暗領域拡張手段を備え、前記暗領域拡張手段は、前記地上領域画像における暗領域を、前記所定の水平線に対して垂直な上下方向に拡張することが好ましい。これにより、本実施例に係る画像処理装置は、所定の水平線に対して上下対称となる地上領域画像における物体の直接像と路面領域画像におけるその物体の路面反射像との関係において、その物体の路面反射像よりその物体の直接像のほうが大きくなるようにするので、その物体の直接像の上下反転パターンとその物体の路面反射像を含む路面領域における暗領域のパターンとを重ね合わせてその重複部分を最終的な路面反射像のパターンとして抽出する際に、その路面反射像のパターンの抽出漏れを抑制することができる。

また、前記画像調整手段は、前記取得画像における前記反射像パターンに対応する部分を構成する各画素の輝度を増大させることが好ましい。これにより、本実施例に係る画像処理装置は、路面領域における物体の路面反射像の輝度をその周りにある背景の路面反射像の輝度に近づけて、物体の路面反射像を目立たなくすることができる。

また、本発明の実施例に係る周辺監視システムは、カメラが取り付けられる静止物の周辺を監視する周辺監視システムであって、上述のような画像処理装置と、該画像処理装置により生成された鳥瞰画像を表示する表示部とを備えることを特徴とする。これにより、本実施例に係る周辺監視システムは、路面領域に映り込む静止物周辺の物体の路面反射像を目立たなくした視認性の高い鳥瞰画像を表示して、その静止物の周辺を監視し易くすることができる。

また、本発明の実施例に係る操作支援システムは、被操作体の移動又は操作を支援する操作支援システムであって、上述のような画像処理装置と、前記被操作体を移動させ或いは操作するための操作室に設置され、該画像処理装置により生成された鳥瞰画像を表示する表示部と、を備えることを特徴とする。これにより、本実施例に係る操作支援システムは、路面領域に映り込む被操作体周辺の物体の路面反射像を目立たなくした視認性の高い鳥瞰画像を表示して、その被操作体の移動又は操作を支援することができる。

なお、本書において、「直接像」は、被写体から直接的にカメラに入射する光に基づく像を意味し、「反射像」は、被写体から路面での反射を通じて間接的にカメラに入射する光に基づく像を意味する。

上述の手段により、本発明は、カメラが撮影した画像を視点変換することで得られる鳥瞰画像におけるカメラ周辺の物体の路面反射像を目立たなくする画像処理装置、並びに、その画像処理装置を用いた周辺監視システム及び操作支援システムを提供することができる。

本発明に係る画像処理装置の構成例を概略的に示すブロック図である。 分割画像生成手段が所定の水平線を用いて取得画像から地上領域画像と路面領域画像とを生成した状態を示す図である。 明暗領域区分手段が地上領域画像及び路面領域画像のそれぞれを二値化して高輝度領域と低輝度領域とに区分した状態を示す図である。 上下方向に拡張された地上領域画像における直接像パターンを示す図である。 上下反転パターンと路面パターンとを重ね合わせる処理を説明するための図である。 取得画像から抽出された反射像パターンを示す図である。 画像調整手段による調整が行われる前の取得画像とその調整が行われた後の取得画像とを示す図（その１）である。 画像調整手段による調整が行われる前の取得画像に基づいて生成された鳥瞰画像とその調整が行われた後の取得画像に基づいて作成された鳥瞰画像とを示す図（その１）である。 画像調整手段による調整が行われる前の取得画像とその調整が行われた後の取得画像とを示す図（その２）である。 画像調整手段による調整が行われる前の取得画像に基づいて生成された鳥瞰画像とその調整が行われた後の取得画像に基づいて作成された鳥瞰画像とを示す図（その２）である。 反射像映り込み抑制処理の流れを示すフローチャートである。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る画像処理装置の構成例１００を概略的に示すブロック図であり、画像処理装置１００は、例えば、建設機械の運転を支援するために建設機械に搭載される装置であって、制御部１、画像取得部２、入力部３、及び表示部４で構成される。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータであって、例えば、後述する分割画像生成手段１０、明暗領域区分手段１１、暗領域拡張手段１２、反射像パターン抽出手段１３、画像調整手段１４、及び鳥瞰画像生成手段１５のそれぞれに対応するプログラムをＲＯＭに記憶しながら、各手段に対応する処理をＣＰＵに実行させる。

画像取得部２は、建設機械周辺の画像を取得するための装置であり、例えば、キャビンにいる運転者の死角となる領域を撮影できるよう上部旋回体の側面や後面に取り付けられる一又は複数のカメラである。なお、カメラは、上部旋回体の前面に取り付けられていてもよく、一度に広い範囲を撮影できるよう広角レンズ又は魚眼レンズが装着されていてもよい。

画像取得部２は、制御部１からの制御信号に応じて建設機械周辺の画像を取得し、取得した画像を制御部１に対して出力する。なお、画像取得部２は、魚眼レンズ又は広角レンズを用いて画像を取得した場合、それらレンズを用いることによって生じる歪曲やアオリを補正した画像を制御部１に対して出力する。

入力部３は、運転者の意思を制御部１に入力するための装置であり、例えば、キャビン内に設置されたプッシュボタンや表示部４上に設置されるタッチパネルを含む。運転者は、例えば、周囲の路面が濡れており、画像処理装置１００が表示部４に表示した鳥瞰画像における、路面に映り込んだ建設機械周辺の物体の路面反射像に対して違和感を抱いた場合に、そのプッシュボタンやタッチパネル上に表示されたソフトウェアボタンを押下することによって、その路面反射像を目立たなくしたいという意思を制御部１に伝えることができる。

なお、入力部３は、運転者の意思を制御部１に伝えられるものであれば、音声入力装置等を含む何れの装置であってもよい。

表示部４は、画像情報を表示するための装置であり、例えば、建設機械のキャビン内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部１が出力する画像情報を表示する。

次に、制御部１が有する各種手段について説明する。

分割画像生成手段１０は、画像取得部２が取得した取得画像から地上領域画像と路面領域画像とを生成するための手段であり、例えば、画像取得部２の設置位置（例えば、地面からの高さである。）によって一意に決定されその取得画像に対して適用される所定の水平線より上に位置するその取得画像内の領域を地上領域とし、その所定の水平線より下に位置するその取得画像内の領域を路面領域としながら、その取得画像とは別に地上領域画像と路面領域画像とを生成する。

また、分割画像生成手段１０は、画像取得部２と被写体との間の距離を測定する距離センサ等（図示せず。）の出力に基づいてその取得画像内にある被写体のそれぞれの接地位置（被写体である物体が地面と接する位置である。）を認識し、それら接地位置より上に位置する取得画像内の領域を地上領域とし、それら接地位置より下に位置する取得画像内の領域を路面領域としながら、地上領域画像と路面領域画像とを生成するようにしてもよい。この場合、地上領域画像と路面領域画像とは、垂直方向の位置が異なる複数の水平線を繋いだ境界線で分割されることとなる。

このようにして、分割画像生成手段１０は、建設機械の周辺にある物体の直接像を含む地上領域画像、及び、それら物体の反射像を含む路面領域画像を生成する。

図２は、分割画像生成手段１０が所定の水平線Ｈを用いて取得画像Ｇから地上領域画像Ｇ１と路面領域画像Ｇ２とを生成した状態を示す図であり、図２（Ａ）が取得画像Ｇを示し、図２（Ｂ）が地上領域画像Ｇ１を示し、図２（Ｃ）が路面領域画像Ｇ２を示す。なお、取得画像Ｇは、建物Ｘ１、電柱Ｘ２、建物Ｘ３、建設機械Ｘ４、及びドラム缶Ｘ５のそれぞれの直接像（点状のハッチングで示される領域）及び反射像（濃い灰色で塗りつぶされた領域）を含む。また、ハッチング及び塗りつぶしによる直接像と反射像との区別は、地上領域画像Ｇ１及び路面領域画像Ｇ２においても同様に適用される。

明暗領域区分手段１１は、画像を明領域（主に背景（空）を表す領域である。）と暗領域（明領域以外の領域である。）とに区分するための手段であり、例えば、画像取得部２が取得した取得画像における、所定の輝度閾値Ｔより高い輝度値を有する画素を高輝度画素とし、その所定の輝度閾値Ｔ以下の輝度値を有する画素を低輝度画素としながら、その取得画像内の全ての画素を高輝度画素と低輝度画素とに区分することによって、その取得画像を明領域（この場合、高輝度画素で構成される高輝度領域である。）と暗領域（この場合、低輝度画素で構成される低輝度領域である。）とに区分する。

明暗領域区分手段１１は、その取得画像を明領域と暗領域とに区分するために、高輝度画素であると判定した画素の輝度値を所定の高輝度値（例えば、最大輝度値である。）に変更し、一方で、低輝度画素であると判定した画素の輝度値を所定の低輝度値（例えば、最小輝度値（ゼロ）である。）に変更して、その取得画像内にある画素の輝度値を二値化する。なお、明暗領域区分手段１１による暗領域と明領域との区分及び二値化は、輝度値に基づくものに限定されることはなく、各画素が有する他の属性値（例えば、色相値や彩度値である。）に基づいて行われてもよい。また、後述の暗領域拡張手段１２及び反射像パターン抽出手段１３による処理も、このように二値化された属性値を持つ画素群で構成される画像に基づいて実行されるものとする。

また、明暗領域区分手段１１は、所定の輝度閾値Ｔ１に基づいて、分割画像生成手段１０が生成した地上領域画像に含まれる全ての画素を高輝度画素と低輝度画素とに区分し、更に、輝度閾値Ｔ１とは異なる別の輝度閾値Ｔ２に基づいて、分割画像生成手段１０が生成した路面領域画像に含まれる全ての画素を高輝度画素と低輝度画素とに区分するようにしてもよい。

なお、分割画像生成手段１０は、画像取得部２が取得した取得画像をそのまま地上領域と路面領域とに分割して地上領域画像及び路面領域画像を生成するばかりでなく、画像取得部２が取得した取得画像を明暗領域区分手段１１が二値化した後に、その二値化画像を地上領域と路面領域とに分割して地上領域画像及び路面領域画像を生成するようにしてもよい。

このようにして、明暗領域区分手段１１は、比較的明るい背景（空）の直接像及び反射像と比較的暗い建設機械の周辺にある物体の直接像及び反射像とを区分することができる。

図３は、明暗領域区分手段１１が地上領域画像Ｇ１及び路面領域画像Ｇ２のそれぞれを二値化して高輝度領域と低輝度領域とに区分した状態を示す図であり、図３（Ａ）は、明暗領域区分手段１１が輝度閾値Ｔ１に基づいて地上領域画像Ｇ１を高輝度領域（白色で表される領域であり背景（空）の直接像に対応する領域である。）と低輝度領域（黒色で表される領域であり建設機械の周辺にある物体の直接像に対応する領域である。）とに区分した状態を示し、図３（Ｂ）は、明暗領域区分手段１１が輝度閾値Ｔ２に基づいて路面領域画像Ｇ２を高輝度領域（白色で表される領域であり背景（空）の反射像に対応する領域である。）と低輝度領域（黒色で表される領域であり建設機械の周辺にある物体の直接像及び反射像に対応する領域である。）とに区分した状態を示す。

暗領域拡張手段１２は、明暗領域区分手段１１が区分した地上領域画像Ｇ１における暗領域を拡張するための手段であり、例えば、地上領域画像Ｇ１の低輝度領域に当初から含まれる一の画素の上下に隣接する画素群（例えば、その一の画素の上に位置する一又は連続する複数（所定数Ｎ１）の画素群、及びその一の画素の下に位置する一又は連続する複数（所定数Ｎ２）の画素群である。なお、所定数Ｎ１と所定数Ｎ２は、同じ値であってもよく、異なる値であってもよい。）をそれら画素群の輝度値にかかわらず低輝度画素として低輝度領域に含めるようにする（それら画素群の輝度値を所定の低輝度値（例えば、ゼロである。）に変更することを意味する。）。

暗領域拡張手段１２は、地上領域画像Ｇ１の低輝度領域に当初から含まれる他の全ての画素に対しても上述と同様の拡張を実行し、地上領域画像Ｇ１の低輝度領域を上下に拡張する。

なお、暗領域拡張手段１２は、その低輝度領域の上下への拡張に加え、地上領域画像Ｇ１の低輝度領域に当初から含まれる各画素の左右に隣接する画素群をそれら画素群の輝度値にかかわらず低輝度画素として低輝度領域に含めるようにし、その低輝度領域を左右にも拡張するようにしてもよい。

このようにして、暗領域拡張手段１２は、建設機械の周辺にある物体の直接像パターン（地上領域画像Ｇ１における暗領域が形成するパターンである。）の上下反転パターン（直接像パターンを水平線に対して線対称となるよう上下反転させたパターンである。）とそれら物体の反射像を含む路面パターン（路面領域画像Ｇ２における暗領域が形成するパターンである。）とを重ね合わせた場合に、その路面パターンの一部である反射像パターン（路面領域画像Ｇ２において反射像を構成する画素群が形成するパターンである。）がより確実にその上下反転パターン内に包含されるようにする。制御部１は、後述の反射像パターン抽出手段１３により、上下反転パターンと路面パターンとの重複部分を反射像パターンとして抽出するからである。

図４は、暗領域拡張手段１２によって上下方向に拡張された地上領域画像Ｇ１における暗領域（直接像パターン）Ｐ１１を示す図であり、破線枠は、拡張された直接像パターンＰ１１に対する地上領域画像Ｇ１の位置を表すための補助線である。図４を参照すると、拡張された直接像パターンＰ１１の一部が地上領域画像Ｇ１の下部境界線を超えて拡張していることが分かる。

反射像パターン抽出手段１３は、画像取得部２が取得した取得画像における反射像パターンを抽出するための手段であり、例えば、建設機械の周辺にある物体の直接像とその反射像とが接地位置に対して上下対称であるという事実に基づいて、地上領域画像における建設機械の周辺にある物体の直接像パターンの上下反転パターンと路面領域画像におけるそれら物体の反射像を含む路面パターンとを重ね合わせ、一対一で対応する画素対のそれぞれが有する二値化された属性値の論理積を求めることによってそれら二つのパターンの重複部分（例えば、対応する画素対の輝度値が共に所定の低輝度値となる部分である。）を導き出し、その重複部分が形成するパターンを反射像パターンとして抽出する。

なお、暗領域拡張手段１２により上下に拡張されたそれら物体の直接像パターンの上下反転パターンは、それら物体のそれぞれの接地位置が、地上領域画像Ｇ１と路面領域画像Ｇ２との間の境界を定義する所定の水平線Ｈから上下方向にずれている場合であっても、それら物体の反射像を含む路面パターンに重ね合わされたときには、それらのずれを吸収しながらその反射像パターンをより確実に包含することができる。すなわち、この拡張は、反射像パターン抽出手段１３が上下反転パターンと路面パターンとを重ね合わせたときに、その路面パターンの一部である、反射像パターンとして抽出されるべき部分が、その上下反転パターンからはみ出してしまい、反射像パターン抽出手段１３がその反射像パターンを適切に抽出することができなくなるのを防止するのに有効である。

このようにして、反射像パターン抽出手段１３は、路面領域画像Ｇ２における路面パターンから反射像パターンのみを抽出する。

図５は、反射像パターン抽出手段１３が、地上領域画像Ｇ１における建設機械の周辺にある物体の直接像パターンの上下反転パターンＰ１２と路面領域画像Ｇ２におけるそれら物体の反射像を含む路面パターンＰ２１とを重ね合わせる処理を説明するための図であり、図５（Ａ）は、上下反転パターンＰ１２を示し、図５（Ｂ）は、路面パターンＰ２１を示し、図５（Ｃ）は、上下反転された地上領域画像Ｇ１における水平線Ｈに対応する線と路面領域画像Ｇ２における水平線Ｈに対応する線とを一致させながら上下反転パターンＰ１２と路面パターンＰ２１とを重ね合わせた状態を示す。

なお、図５（Ａ）〜（Ｃ）において、破線枠は、各パターンに対する地上領域画像Ｇ１の位置を表すための補助線であり、一点鎖線枠は、各パターンに対する路面領域画像Ｇ２の位置を表すための補助線である。また、図５（Ｃ）において、路面パターンＰ２１は、上下反転パターンＰ１２との違いを分かり易くするために灰色で表示されている。

図５（Ｃ）を参照すると、その直接像及び反射像が共に路面領域画像Ｇ２内に存在するドラム缶Ｘ５に対応する部分を除く路面パターンＰ２１内の他の部分が、上下反転パターンＰ１２内に包含されていることが分かる。

反射像パターン抽出手段１３は、上下反転パターンＰ１２と路面パターンＰ２１とのこの重複部分を反射像パターンとして抽出する。

図６は、反射像パターン抽出手段１３により取得画像Ｇから抽出された反射像パターンＲを示す図であり、格子状のハッチングで示される領域が反射像パターンＲに対応し、破線枠は、反射像パターンＲに対する取得画像Ｇの位置を表す。

画像調整手段１４は、画像取得部２が取得した取得画像Ｇの路面領域における反射像を目立たなくするための手段であり、例えば、反射像パターン抽出手段１３が抽出した反射像パターンＲに対応する取得画像Ｇ内の画素群の属性値をその周囲にある明領域を構成する画素群の属性値に近づけることで、反射像を目立たなくする。

画像調整手段１４は、例えば、反射像パターン抽出手段１３が抽出した反射像パターンＲに対応する取得画像Ｇ内の画素群の輝度を増大させることで、路面領域における反射像を構成する画素群の輝度とその反射像の周囲にある高輝度領域を構成する画素群の輝度との間の輝度差（コントラスト）を低減させ、反射像を目立たなくする。

この場合、画像調整手段１４は、反射像パターンＲに対応する取得画像Ｇ内の各画素の輝度値をその輝度値に応じて個別に増大させてもよく（例えば、各画素の輝度値をその輝度値に対して５％ずつ増大させる。）、各画素の輝度値を一律に増大させてもよく（例えば、各画素の輝度値に関係なくその輝度値に一定値を加える。）、或いは、各画素の輝度値をその周囲にある高輝度領域を構成する画素群の平均輝度値に応じて個別に或いは一律に増大させるようにしてもよい。

また、画像調整手段１４は、反射像パターンＲに対応する取得画像Ｇ内の画素群の色相値、又は彩度値等の他の属性値を調整することによって路面領域における反射像を目立たなくするようにしてもよい。

このように、画像調整手段１４は、路面領域における反射像を消去することなく、路面領域における反射像を目立たなくすることができる。すなわち、画像調整手段１４は、反射像パターンＲに対応する取得画像Ｇ内の画素群のそれぞれが有する属性値を一つの値に揃えることによって一部の情報が失われてしまうのを回避しながら（例えば、反射像パターンＲを構成する各画素の輝度値を一つの値に揃えることによって各画素間の輝度差に関する情報が失われることとなる。）、路面領域における反射像を目立たなくすることができる。

鳥瞰画像生成手段１５は、所定位置に設置された画像取得部２が撮影した画像に基づいてその所定位置の上空にある別の位置からあたかも撮影したかのような鳥瞰画像を生成するための手段であり、例えば、画像取得部２が取得した取得画像であり画像調整手段１４による調整が加えられた取得画像に基づいて鳥瞰画像を作成する。

また、鳥瞰画像生成手段１５は、建設機械の最大旋回半径（例えば、１２メートルである。）に応じた範囲を映し出すように鳥瞰画像を生成するようにしてもよく、建設機械の現在の旋回半径（例えば、ブーム又はアーム等のアタッチメントの姿勢に基づいて算出される。）に応じた範囲を映し出すように鳥瞰画像を生成するようにしてもよい。

また、鳥瞰画像生成手段１５は、複数のカメラが撮影した複数の取得画像を組み合わせて、建設機械の側方及び後方といった運転者の死角となる方向を撮影した画像を全て含む鳥瞰画像を生成するようにしてもよく、建設機械を中心とした全方位鳥瞰画像を生成するようにしてもよい。

図７は、画像調整手段１４による調整が行われる前の取得画像Ｇと調整が行われた後の取得画像ＧＣとを示す図であり、図７（Ａ）が調整前の取得画像Ｇを示し、図７（Ｂ）が調整後の取得画像ＧＣを示す。

図７（Ａ）で示すように、調整前の取得画像ＧＣは、路面領域における反射像が目立つためにドラム缶Ｘ５の存在を分かり難くしているが、図７（Ｂ）で示すように、調整後の取得画像ＧＣは、路面領域の反射像を目立たなくし、ドラム缶Ｘ５の存在を分かり易くしていることが見て取れる。

また、図８は、画像調整手段１４による調整が行われる前の取得画像Ｇに基づいて生成された鳥瞰画像Ｂと調整が行われた後の取得画像ＧＣに基づいて作成された鳥瞰画像ＢＣとを示す図であり、図８（Ａ）が鳥瞰画像Ｂを示し、図８（Ｂ）が鳥瞰画像ＢＣを示す。

図８（Ａ）で示すように、鳥瞰画像Ｂは、図７（Ａ）の取得画像Ｇのように建設機械周辺の物体Ｘ１〜Ｘ４の直接像を表示することなくその反射像のみを表示するので直接像と反射像との対応関係を分かり難くし、ドラム缶Ｘ５の存在を更に分かり難いものとしている。

一方、図８（Ｂ）で示すように、鳥瞰画像ＢＣは、建設機械周辺の物体Ｘ１〜Ｘ４の反射像を図８（Ａ）と同じようにその直接像を示すことなく表示しているものの、路面領域の反射像を目立たなくしているので、ドラム缶Ｘ５の存在を更に分かり易くしていることが見て取れる。

また、図９は、画像調整手段１４による調整が行われる前の取得画像ＧＡと調整が行われた後の取得画像ＧＡＣとを示す図であり、図９（Ａ）が調整前の取得画像ＧＡを示し、図９（Ｂ）が調整後の取得画像ＧＡＣを示す。なお、取得画像ＧＡは、その直接像及び反射像が共に路面領域内に存在するドラム缶Ｘ６、Ｘ７を更に含む点で、取得画像Ｇと異なるが、その他の点で共通している。ドラム缶Ｘ６は、その直接像の全部が建物Ｘ３の反射像内にあり、ドラム缶Ｘ７は、その直接像の一部が建物Ｘ３の反射像内にある。

また、図１０は、画像調整手段１４による調整が行われる前の取得画像ＧＡに基づいて生成された鳥瞰画像ＢＡと調整が行われた後の取得画像ＧＡＣに基づいて作成された鳥瞰画像ＢＡＣとを示す図であり、図１０（Ａ）が鳥瞰画像ＢＡを示し、図１０（Ｂ）が鳥瞰画像ＢＡＣを示す。

図９（Ｂ）及び図１０（Ｂ）で示すように、調整後の取得画像ＧＡＣ及びその鳥瞰画像ＢＡＣは、建物Ｘ１、電柱Ｘ２、建物Ｘ３、及び建設機械Ｘ４のそれぞれの路面領域における反射像を目立たなくし、且つ、建物Ｘ３の反射像に含まれるドラム缶Ｘ６の直接像の全部、及び建物Ｘ３の反射像に含まれるドラム缶Ｘ７の直接像の一部をも目立たなくするが、それら反射像を消去することはないので、建物Ｘ１、電柱Ｘ２、建物Ｘ３、及び建設機械Ｘ４のそれぞれの路面領域における反射像による煩雑さを抑えながらも、ドラム缶Ｘ５〜Ｘ７の存在を分かり易くしていることが見て取れる。

なお、画像処理装置１００は、その直接像及び反射像が共に路面領域画像Ｇ２内に存在するドラム缶Ｘ５〜Ｘ７のような物体のその反射像を目立たなくするためにその輝度を調整することはないが、そのことによって鳥瞰画像全体を分かり難いものとすることはない。

そのような物体は、直接像及び反射像が同じ鳥瞰画像内に表示され、その直接像とその反射像との間の対応関係が明らかなためである。

また、ドラム缶Ｘ５〜Ｘ７のように建設機械の近傍に存在する物体の反射像は、その建設機械から遠く離れた物体の反射像に比べ、直接像に対する大きさの比が小さくなるので、それら物体の反射像の輝度を調節することなくそのまま表示させたとしても鳥瞰画像全体を分かり難いものとすることはない。

このように、画像処理装置１００は、その直接像が表示されずにその反射像のみが独立して鳥瞰画像内に表示されることとなる物体であり、建設機械から比較的遠くに存在する物体の反射像を選択的に目立たなくすることによって、簡易且つ迅速に鳥瞰画像全体を視認し易いものとすることができる。

次に、図１１を参照しながら、制御部１が取得画像の路面領域における反射像の映り込みを抑制する処理（以下、「反射像映り込み抑制処理」とする。）について説明する。なお、図１１は、反射像映り込み抑制処理の流れを示すフローチャートであり、制御部１は、入力部３を介して反射像映り込み抑制処理を開始させるための運転者による指示を受けた場合に、この反射像映り込み抑制処理の実行を開始する。また、制御部１は、例えば、路面領域又はその路面領域における明領域を構成する画素群の平均輝度値が所定値を上回った場合に、この反射像映り込み抑制処理の実行を自動的に開始させるようにしてもよい。

最初に、制御部１は、画像取得部２が撮影した建設機械の後方の画像（図２（Ａ）参照。）を取得する（ステップＳ１）。

その後、制御部１は、分割画像生成手段１０により、その取得画像Ｇを予め設定された水平線Ｈのところで上下に分割し地上領域画像Ｇ１（図２（Ｂ）参照。）と路面領域画像Ｇ２（図２（Ｃ）参照。）とを生成する（ステップＳ２）。

その後、制御部１は、明暗領域区分手段１１により、地上領域画像Ｇ１を構成する各画素の輝度値と輝度閾値Ｔ１とを比較し、輝度閾値Ｔ１より高い輝度値を有する画素を高輝度画素としてその輝度値を所定の高輝度値に変更し、一方で、輝度閾値Ｔ１以下の輝度値を有する画素を低輝度画素としてその輝度値をゼロに変更して二値化し、図３（Ａ）で示すように、地上領域画像Ｇ１を高輝度画素で構成される明領域と低輝度画素で構成される暗領域とに区分する（ステップＳ３）。

また、制御部１は、明暗領域区分手段１１により、路面領域画像Ｇ２を構成する各画素の輝度値と輝度閾値Ｔ２とを比較し、輝度閾値Ｔ２より高い輝度値を有する画素を高輝度画素としてその輝度値を所定の高輝度値に変更し、一方で、輝度閾値Ｔ２以下の輝度値を有する画素を低輝度画素としてその輝度値をゼロに変更して二値化し、図３（Ｂ）で示すように、地上領域画像Ｇ２を高輝度画素で構成される明領域と低輝度画素で構成される暗領域とに区分する（ステップＳ４）。

その後、制御部１は、暗領域拡張手段１２により、地上領域画像Ｇ１における暗領域を構成する各画素（輝度値がゼロである。）の上下に隣接する画素群の輝度値をゼロに変更し、図４で示すように、その暗領域を上下に拡張する（ステップＳ５）。

その後、制御部１は、反射像パターン抽出手段１３により、拡張された暗領域の上下反転パターンＰ１２（図５（Ａ）参照。）を構成する各画素と、路面領域画像Ｇ２における暗領域に相当する路面パターンＰ２１（図５（Ｂ）参照。）を構成する各画素とを一対一で対応付け各画素対に対する論理積を演算する（この場合、輝度値がゼロの画素の論理値を「真（１）」、輝度値がゼロ以外の画素の論理値を「偽（０）」として対応する画素対の論理積を演算する。）。

制御部１は、演算値が「真（１）」となる画素対で構成されるパターン（すなわち、上下反転パターンＰ１２と路面パターンＰ２１との重複部分（図５（Ｃ）参照。）で形成されるパターンである。）を反射像パターンＲ（図６参照。）として抽出する（ステップＳ６）。

その後、制御部１は、画像調整手段１４により、路面領域における明領域の平均輝度値に応じて、取得画像Ｇにおける反射像パターンＲに対応する部分を構成する各画素の輝度値を一定の割合で増大させ、路面領域における反射像が目立たなくなるよう取得画像Ｇを調整し（ステップＳ７）、調整済みの取得画像ＧＣを生成する。

その後、制御部１は、鳥瞰画像生成手段１５により、調整済みの取得画像ＧＣに基づき視点変換のための演算を実行して鳥瞰画像ＢＣを生成し（ステップＳ８）、生成した鳥瞰画像ＢＣを表示部４に表示してこの反射像映り込み抑制処理を終了させる。

以上の構成により、画像処理装置１００は、鳥瞰画像であり、建設機械に搭載されたカメラが撮影した建設機械の後方を映し出す画像を視点変換することで得られる鳥瞰画像における建設機械周辺の物体の路面反射像を目立たなくしながらその鳥瞰画像を運転者に提示するので、その建設機械の後方の路面上に存在する物体を運転者が容易に把握できるようにして運転者による建設機械の運転を支援することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例において、画像処理装置１００は、取得画像Ｇを構成する各画素が有する輝度値と所定の輝度閾値Ｔとの比較に基づいて暗領域と明領域とを区分するが、その輝度閾値Ｔを運転者に選択させるようにしてもよい。

この場合、運転者は、表示部４に表示された取得画像Ｇであり、画像調整手段１４による調整が未だ行われていない取得画像Ｇの背景の直接像部分を、タッチパネルを用いて選択（タッチ）し、その選択した部分にある画素群の平均輝度値を画像処理装置１００が輝度閾値として取得できるようにする。

また、画像処理装置１００は、取得画像の内容を分析して輝度閾値を動的に決定しながら、取得画像内にある画素の輝度値を二値化するようにしてもよい（動的二値化）。

この場合、明暗領域区分手段１１は、例えば、取得画像の全領域に対応する輝度ヒストグラム、又は、取得画像における部分領域（例えば、地上領域画像及び路面領域画像である。）のそれぞれに対応する輝度ヒストグラムを作成し、その輝度ヒストグラムをある輝度値で二つのグループに分割した場合に、その輝度値以上の輝度値を有する画素のグループと、その輝度値より小さい輝度値を有する画素のグループとの間の輝度値に関するグループ間分散が最大となるときのその輝度値を輝度閾値として採用し、採用したその輝度閾値に基づいて取得画像の全領域又は部分領域にある各画素の輝度値を二値化する（判別分析法）。

なお、明暗領域区分手段１１は、判別分析法の他にも、Ｐタイル法、モード法、最小誤差法等の他の動的二値化手法を用いて輝度閾値を決定するようにしてもよく、微分ヒストグラム法、領域分割法、適法的処理法等を用いて輝度閾値を決定するようにしてもよい。

また、上述の実施例において、画像処理装置１００は、カメラと共に建設機械に搭載され、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械の移動及びそれら可動部材の操作を支援するために用いられるが、自動車、自動二輪車若しくは船舶等の可動部材を持たない移動式被操作体、又は、産業用機械若しくは固定式クレーン等の自走しない固定式被操作体といった他の被操作体に搭載され、それら他の被操作体の移動又は操作を支援するための操作支援システムの一部として用いられてもよい。

また、画像処理装置１００は、カメラと共に建造物等の静止物に設置され、可動部材を持たず自走もしないその静止物の周辺の監視を容易にするための周辺監視システムの一部として用いられてもよい。

１ 制御部
２ 画像取得部
３ 入力部
４ 表示部
１０ 分割画像生成手段
１１ 明暗領域区分手段
１２ 暗領域拡張手段
１３ 反射像パターン抽出手段
１４ 画像調整手段
１５ 鳥瞰画像生成手段
１００ 画像処理装置
Ｂ、ＢＡ 鳥瞰画像
ＢＣ、ＢＡＣ 調整後の鳥瞰画像
Ｇ、ＧＡ 取得画像
ＧＣ、ＧＡＣ 調整後の取得画像
Ｇ１ 地上領域画像
Ｇ２ 路面領域画像
Ｈ 水平線
Ｐ１１ 直接像パターン
Ｐ１２ 上下反転パターン
Ｐ２１ 路面パターン
Ｒ 反射像パターン
Ｘ１、Ｘ３ 建物
Ｘ２ 電柱
Ｘ４ 建設機械
Ｘ５〜Ｘ７ ドラム缶

Claims (7)

1. 画像取得部が取得する取得画像を視点変換して鳥瞰画像を生成する画像処理装置であって、
   前記取得画像から地上領域画像と路面領域画像とを生成する分割画像生成手段と、
   画像を構成する各画素が有する属性値と所定の閾値との比較に基づいて該画像を明領域と暗領域とに区分する明暗領域区分手段と、
   前記地上領域画像における暗領域が形成するパターンの上下反転パターンと前記路面領域画像における暗領域が形成するパターンとを重ね合わせて重複部分を反射像パターンとして抽出する反射像パターン抽出手段と、
   前記取得画像における前記反射像パターンに対応する部分を目立たなくする画像調整手段と、
   調整された前記取得画像を視点変換して鳥瞰画像を生成する鳥瞰画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記明暗領域区分手段は、前記地上領域画像を構成する各画素が有する輝度値と第一の輝度閾値との比較に基づいて前記地上領域画像を前記暗領域である低輝度領域と前記明領域である高輝度領域とに区分し、且つ、前記路面領域画像を構成する各画素が有する輝度値と第二の輝度閾値との比較に基づいて前記路面領域画像を前記暗領域である低輝度領域と前記明領域である高輝度領域とに区分する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記分割画像生成手段は、前記取得画像に対して適用される所定の水平線より上にある領域を前記地上領域画像とし、且つ、該所定の水平線より下にある領域を前記路面領域画像とする、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記地上領域画像における暗領域を拡張する暗領域拡張手段を備え、
   前記暗領域拡張手段は、前記地上領域画像における暗領域を、前記所定の水平線に対して垂直な上下方向に拡張する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記画像調整手段は、前記取得画像における前記反射像パターンに対応する部分を構成する各画素の輝度を増大させる、
   ことを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 静止物の周辺を監視する周辺監視システムであり、
   請求項１乃至５の何れか一項に記載の画像処理装置と、
   該画像処理装置により生成された鳥瞰画像を表示する表示部と、
   を備えることを特徴とする周辺監視システム。
7. 被操作体の移動又は操作を支援する操作支援システムであって、
   請求項１乃至５の何れか一項に記載の画像処理装置と、
   前記被操作体を移動させ或いは操作するための操作室に設置され、該画像処理装置により生成された鳥瞰画像を表示する表示部と、
   を備えることを特徴とする操作支援システム。