JP2012257106A - 画像生成装置 - Google Patents

Abstract

【課題】認識された立体物と、当該立体物の撮影画像である立体物画像の領域に合成される代替画像との視認性を高めること。
【解決手段】画像生成装置であって、車両の周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力し、立体物属性情報に含まれている位置情報に基づいて撮影画像における立体物の画像領域である立体物画像領域を決定し、立体物属性情報に含まれている色情報に基づく色で色付けられた立体物の代替画像を、立体物属性情報に含まれている種別情報に基づいて出力し、立体物画像領域の位置に代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部を備えている。
【選択図】図１

Description

本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置に関する。

従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況を把握することを支援している。しかしながら、そのような射影変換を通じて得られた俯瞰画像では車載カメラの近傍領域に比べ遠方領域において画像の歪み方が大きくなり、運転者にとって距離感をつかみ難いという問題がある。特に、路面に配置された上方に延びた立体物（人や車だけでなく、工事用三角コーンなどの路上障害物）は撮影方向に間延びした歪な形状体となり、見づらくなる。

このような問題を解決するため、例えば特許文献１に記載された車両周囲画像表示システムは、車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、障害物に対応する代替画像を予め格納しておくメモリ部と、カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部とからなり、障害物検出手段が障害物を検出した場合に、画像処理部は、障害物を同定し、同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、選択した代替画像の向きと傾きを仮想視点に合わせて変更して前記俯瞰画像に重畳する。このシステムでは、画像処理部が、撮像手段より撮像した画像を車両上部又は車両側面からの俯瞰画像に変換し、障害物検出手段からの情報をもとに、車両周囲の立体障害物の大きさ、動作に見合った代替画像をメモリ部から選定して、同俯瞰画像上に上書き表示している。
しかしながら、実際の立体障害物を映し出している障害物画像に代えて代替画像を表示する場合、運転者が代替画像と実際の立体障害物とを同定することが困難となる場合が生じる。例えば、検出された立体障害物が人間であり、イラストや写真で表現された人間像が表示された場合、表示画面が小さいと表示画面状の人間像とバックミラーや肉眼で確認した実際の人間とが同一であるかどうか判断することが難しいだけでなく、表示画面が小さいと人間であることさえ確認できなくなるおそれもある。

特開２０１０‐２５１９３９号公報（段落番号〔０００８−００５６〕、図７、図１０）

上記実情から、認識された立体物と、当該立体物の撮影画像である立体物画像の領域に合成される代替画像との視認性を高める技術が望まれている。

車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する、本発明による画像生成装置は、前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記立体物の代替画像を出力する代替画像出力部と、前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部とを備えている。

この発明構成は、実際の立体物と表示画面上の代替画像との同定が、代替画像に実際の立体物の色に対応する色を付与することで改善され、実際の立体物と代替画像との視認性が高まるという事実に基づいている。
上記本発明の構成によると、撮影画像に含まれていた認識立体物は、当該立体物の特徴、特にその特徴的な色を明確に表している代替画像の形となって、その俯瞰画像に含まれることになる。従って、運転者は、この代替画像付き俯瞰画像から車両周辺に位置する立体物を容易に認めることができる。

色付けられた代替画像を出力する方法として、前もって色なしの代替画像又は特定色を付与された代替画像を種別や形状などによってデータベース化しておき、種別や形状などを検索条件として抽出された代替画像に実際の立体物の色情報に基づいて着色または塗り替えして出力する方法、前もって種々の色で着色された代替画像をデータベース化しておき、種別や形状などに色情報を加えた検索条件により色付きの代替画像を抽出して出力する方法がある。立体物が人間の場合ではその衣装の色が様々であることを考慮すると、後者の方法に比べてデータベースに格納される代替画像の容量を減らすことができるので前者の方法が好ましい。従って、本発明の好適な実施形態の１つでは、前記代替画像出力部は、前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている立体物種別情報に基づいて前記立体物の代替画像を抽出する代替画像抽出部と、当該代替画像抽出部によって抽出された代替画像を前記立体物属性情報に含まれている色情報に基づく色で着色する代替画像着色部とを含む。

認識立体物が、複数の色を有する場合には、できる限り複数の色で着色した方が好ましいので、本発明の好適な実施形態の１つでは、前記代替画像着色部は、前記色情報に基づいて前記立体物を特徴づける複数の色を決定し、前記代替画像を複数の色で塗り分けるように構成されている。代替画像に対する複数色の塗り分け技法として、例えば、撮影画像における立体物高さの下半分の平均色と上半分の平均色を算出し、この各平均色で代替画像の下半分と上半分のそれぞれを塗りつぶすことが提案される。また、代替画像における塗りつぶし面積が小さいことを考慮すると、その平均色の彩度を上げることで目立つ色にして塗りつぶすことも効果的である。

代替画像着色部が色情報に基づいて代替画像を着色する際、単純に撮影画像通りの色を用いるより、視認性を考慮して、より高彩度の色、周囲色から区別しやすい色、その立体物が有する典型色（例えば郵便ポストなら真っ赤）、移動物体なら移動方向が分かるようなグラデーション色、というように強調した色を施すことも好適である。従って、本発明の好適な実施形態の１つでは、前記代替画像着色部によって前記代替画像に着色する色を強調させる色強調指示を前記立体物属性情報に基づいて出力する色強調指示部が備えられている。

撮影画像から視点を上方に移動させた射影変換を用いて俯瞰撮影画像を生成することができるが、元になる撮影画像が、車両の前後左右の周囲を撮影した複数の撮影画像であれば、車両を中心とした車両周囲領域を俯瞰する俯瞰撮影画像を生成することができる。さらに、その俯瞰撮影画像に対して代替画像を合成するなら、代替画像が射影変換によって歪んで見づらくなることも抑制できる。従って、本発明の好適な実施形態の１つでは、前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与するように構成されている。
また、この複数の撮影方向が異なる撮影画像を処理する俯瞰撮影画像生成部に撮影画像とは異なる視点での射影変換を行う機能を付加するので、俯瞰撮影画像と代替画像との間の視点に関する違和感と、射影変換歪みの違和感とを調和させた代替画像付き俯瞰撮影画像を作り出すことも可能となる。

立体物の認識を経時的に評価することで立体物の移動方向が得られる。このことから、本発明の実施形態の１つでは、前記立体物の移動方向を示す画像を前記代替画像とともに付与するように構成されている。このような立体物の移動方向を示す画像の具体例の１つとして、前記移動方向を示す画像を前記立体物の移動に対応する前記代替画像の残像として生成することができる。また、他の１つとして、前記移動方向を示す画像を矢印とすることも提案される。

立体物画像を代替画像で置き換え、さらに代替画像に着色を施す本発明の基本構想を説明する模式図である。 図１に対して、代替画像も射影変換されることを追加した模式図である。 前後左右の４つの撮影画像を用いた俯瞰画像に本発明の代替画像を適用した例を示す模式図である。 本発明による画像生成装置を適用した車両周辺監視システムの機能ブロック図である。 車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。 立体物画像を代替画像で置き換えた俯瞰画像を表示する制御の流れを示すフローチャートである。 立体物画像を代替画像で置き換えた俯瞰画像を表示する過程を説明する模式図である。 立体物の移動方向を示す残像を付加した代替画像で立体物画像を置き換えた俯瞰画像を表示する過程を説明する模式図である。 立体物の移動方向を示す矢印を付加した代替画像で立体物画像を置き換えた俯瞰画像を表示する過程を説明する模式図である。

まず、車載カメラの撮影画像に認識された立体物が含まれている場合、その立体物画像を代替画像で置き換えた俯瞰画像が作成される、本発明による俯瞰画像生成過程の基本構想を、図１の模式図を用いて説明する。ここでは説明を簡単にするため、車載カメラとしてのバックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されているが、一般的には、前後のカメラと左右のサイドカメラとからの撮影画像から車両を中心とする車両周囲俯瞰画像が生成される。

車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まず車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される（＃１）。ここでは、取得された撮影画像は、車両周辺の障害物となる立体物の検出処理にも利用される。立体物の検出には、一般的な画像認識処理が用いられるが、補助的に、超音波やレーザレーダー法や赤外線法を用いた立体物検知が利用される（＃２）。立体物の認識アルゴリズムはよく知られているのでここでは詳しく述べないが、動きベクトル法や差分法を用いた動体か静止体かの判定、大きさ、エッジ検出による形状特定、色情報からの種別特定などにより立体物が認識される。また、図１で採用しているように、超音波やレーザレーダーによって立体物を検知した後、その検知情報に基づいて、撮影画像を用いた画像認識でより詳しく立体物を認識してもよい。画像認識を通じて、車載カメラの撮影視野内に存在している立体物の位置、姿勢、大きさ、種別、色などの立体物属性値を含む立体物属性情報が生成される（＃３）。さらに、立体物属性情報に含まれている位置情報から、撮影画像における立体物の画像領域である立体物画像領域が決定される（＃４）。

一方、バックカメラの撮影画像から、ここでは、投影面を路面に平行な面とする射影変換、つまり真上に仮想視点を設定した視点変換が行われる（＃５）。この第１射影変換処理を通じて、撮影画像の真上からの俯瞰画像である車両周辺の俯瞰画像が得られる。なお、立体物画像領域は、撮影画像に対してだけではなく、その俯瞰画像に対しても、立体物属性情報に含まれている位置情報から決定することが可能である。

上方視点を用いた射影変換処理による周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。このため、立体物画像領域は、以下に説明するように、代替画像に置き換える上書き処理あるいは上から重ね合わせる重畳処理などの合成処理が行われることによって、立体物が視認しやすいように修正される。

まず、立体物画像領域に割り当てる代替画像を生成するために、その基本(ベース)となる代替画像を代替画像データベースから抽出する（＃６）。この代替画像データベースは、車両周辺に存在する可能性があり、このシステムによって認識可能な種別の立体物が、立体物属性情報に含まれている種別情報、動体／静止体情報、大きさ情報などを検索条件として抽出可能に登録されている。
代替画像データベースから抽出された代替画像は、立体物属性情報に含まれている色情報に基づいて着色される（＃７）。この代替画像への着色は、種々のパターンで行うことができる。例えば、
（１）撮影画像における立体物が示している色をそのまま適用する。
（２）特定された立体物の特徴的な色を有している場合その色を適用する。郵便ポストであれば赤色一色、樹木であれば緑色一色、人間であれば上半身部と下半身部で二色構成とする。
（３）動体であれば、動き方向に対応したグラデーションで着色する。
（４）複数の色が含まれている場合、平均色一色で着色する。
（５）立体物を、路面からの高さ方向または横方向で分割し、各領域の平均色または代表色で、代替画像を分割に対応するように色分け着色する。
着色された代替画像は、周辺俯瞰画像における立体物画像領域に位置合わせして、俯瞰画像と合成される（＃８）。なお、合成の際には、立体物画像領域と代替画像とのサイズを合わせるために、必要に応じて代替画像の拡縮処理が行われる。さらに代替画像と合成元の俯瞰画像との境界を目立たなくするために、境界周辺領域は、ぼかし、周辺画素とのブレンド（αブレンドなど）、低彩度化などの抑制処理が行われる。
合成処理により代替画像が組み込まれた最終的な俯瞰画像はモニタに送られ、車両周辺監視の目的でモニタに表示される（＃９）。

図２も、図１と同様に発明の基本構想を説明する模式図であるが、図１による基本構想との相違点は、代替画像も視点変換処理が施されてから、俯瞰画像に合成されることである。代替画像データベースの登録されている代替画像も所定の視点から作成された立体物画像であるが、俯瞰画像における合成されるべき画像位置によっては無視できない違和感が生じる場合がある。この問題を回避するために、合成されるべき画像位置や立体物の種別等に応じて決定される上記違和感がなくなるような視点変換処理を代替画像に対して施す（＃７ａ）。
このような視点変換を通じての違和感の回避方法に代えて、俯瞰画像に視点変換される前の撮影画像に対して着色代替画像を合成し、合成された撮影画像を視点変換することで、着色代替画像を含む俯瞰画像を生成し、モニタに送るような構成を採用してもよい。

図１と図２の基本構想図ではバックカメラからの撮影画像だけを用いて、モニタ表示目的の最終的な俯瞰画像を生成していたが、自車を中心とする四方の周辺状況、特に路面状況を良好に把握するためには全周囲俯瞰画像が有効である。図３は、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄからの４つの撮影画像から、撮影画像に含まれる立体物の着色代替画像を含む全周囲俯瞰画像を作成する処理過程を示す基本構想図である。

図３では、後進での縦列駐車における駐車支援のためにモニタに表示する全周囲俯瞰画像の生成手順が例示されている。なお、この例では、バックカメラ１ａの撮影画像に注目すべき立体物として三角コーンが写り込んでいることにする。バックカメラ１ａによる後方撮影画像が車両真上からの全周囲俯瞰画像の後方領域画像として射影変換される。同様に、フロントカメラによる撮影画像、左サイドカメラ１ｂによる左撮影画像、フロントカメラ１ｄによる右撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。それぞれのマップデータの値は異なっているので、それぞれ適合するマップが設定されている。ただし、これらの各マップは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。

４つの車載カメラのうち、バックカメラ１ａからの後方撮影画像には立体物（この例では三角コーン）が含まれているが、この立体物の存在は、この車両に搭載されている立体物検知機能によって検知されるとともに、その立体物を含む周辺領域を撮影した撮影画像から画像認識により認識される。認識された立体物に関する位置情報、種別情報、色情報などを含む立体物属性情報が、バックカメラ１ａからの撮影画像（後方撮影画像）とリンク可能なように出力される。従って、立体物属性情報に含まれている位置情報に基づいて、後方領域画像における立体物が写されている領域が立体物画像領域として決定される。

さらに、立体物属性情報に含まれている種別情報やサイズ情報などを検索条件として後方領域画像に含まれている立体物（三角コーンと自動車の一部分）の代替画像が抽出される。抽出された代替画像は、立体物属性情報に含まれている色情報に基づいて着色される。その際、色情報は撮影画像における認識された立体物画像の画素値に基づいているので、環境光等の影響を受けている。立体物によっては、そのような自然の色を着色した方がよい場合があるが、一般的には、強調した色で着色した方が良い視認性を得る。この例では、三角コーンの色情報が黄色系の暗い色であったとしても、高彩度の黄色で着色されることで三角コーンの視認性を向上させる。着色された三角コーン及び自動車の一部分である着色代替画像が、後方側俯瞰画像に合成される。その際、後方側俯瞰画像を生成した視点変換マッピングテーブル又はより着色代替画像（三角コーンと自動車の一部分）が見やすくなる最適な視点変換マッピングテーブルを用いて着色代替画像を俯瞰画像化してから合成してもよい。

また、出力された着色代替画像と合成される全周囲俯瞰画像の後方領域の画像（後方側俯瞰画像セグメント）において、先に決定された立体物画像領域に抑制処理を施すことが好ましい。このようにして生成された着色代替画像を含む後方俯瞰画像セグメントを含め、左俯瞰画像セグメント、右俯瞰画像セグメント、前方俯瞰画像セグメントが合成され、最終的にモニタ表示される全周囲俯瞰画像が生成される。もちろん、着色代替画像の合成を、先に生成しておいた全周囲俯瞰画像に対して後から行うようにしてもよい。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、図３で例示したように、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像と立体物検知情報とから全周囲俯瞰画像を作成する画像生成装置が車両周辺監視システムの構築のために車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。

カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。

車両内部には、車両周辺監視システムの中核をなすＥＣＵ２０が設置されている。このＥＣＵ２０は、図４に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。

センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ２７、自車の走行距離を検出する距離センサなどが含まれる。

また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。

そのほか、ＥＣＵ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。

立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。

図５に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。

画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、立体物属性情報取得部５４、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物属性情報取得部５４は、立体物認識モジュール３０から出力された立体物属性情報を受け取り、当該立体物属性情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。

画像生成部５３は、俯瞰画像生成部６０、代替画像出力部８０、通常画像生成部６６、立体物画像領域決定部６７を含んでいる。通常画像生成部６６は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせでもよい。立体物画像領域決定部６７は、立体物属性情報取得部５４から立体物属性情報に含まれている、認識された立体物の位置情報から撮影画像におけるその立体物の画像領域を決定する。その際、撮影画像または俯瞰撮影画像あるいはその両方における立体物画像領域を決定することができる

俯瞰画像生成部６０は、撮影画像メモリ５１に展開されている1枚又は複数の撮影画像から視点変換処理を通じて俯瞰画像を生成する俯瞰撮影画像生成部６３と、さらにこの実施形態では、後で詳しく説明する代替画像から視点変換処理を通じて俯瞰画像を生成する俯瞰代替画像生成部６４とを備えている。なお、この実施形態では、俯瞰撮影画像生成部６３及び俯瞰代替画像生成部６４における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６２と称している。マッピングテーブル６２を構成する各マッピングテーブル（以下単にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰撮影画像）の画素データとの対応関係が記述されたマップ及び代替画像の画素データと射影変換画像の画素データとの対応関係が記述されたマップとして構築されている。特に、１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。射影変換選択部６１は、俯瞰代替画像生成部６４に対しては、立体物属性情報から読み出された属性に基づいて、俯瞰撮影画像とできるだけ調和する射影変換を選択する。
俯瞰代替画像生成部６４も複数の種類の射影変換が設定される。俯瞰代替画像生成部６４で実行される射影変換の選択は、代替物（立体物）の種別や、合成先の撮影画像（俯瞰撮影画像）の射影変換の種類（視点位置）に基づいて射影変換選択部６１が行う。なお、俯瞰代替画像生成部６４には、入力した代替画像をそのままスルーして出力する機能も含まれている。

代替画像出力部８０は、代替画像抽出部８１、代替画像データベース８２、代替画像着色部８３、色強調指示部８４を含む。代替画像データベース８２には、立体物認識部３２によって認識される可能性のある立体物の種々の形態、例えば人間であれば、子ども、大人、女性、男性、さらにはその向きや姿勢など毎に予め作成されたイメージ（写真やイラストなど）画像が代替画像として検索条件によって選択されるように登録され、格納されている。代替画像抽出部８１は、立体物認識部３２によって認識された立体物の代替画像を立体物属性情報に含まれている立体物種別情報などに基づいて代替画像データベースから抽出する。さらに、抽出された代替画像に対して、立体物属性情報に含まれている色情報に基づいて、代替画像着色部８３を着色する。着色のやり方は、代替画像によって適切なものを採用すればよいが、人間なら上半身部分と下半身部分に分けて設定された塗り付け領域に適正な色を付与するようにしたり、全体を適正色で塗りつけるようにしたりしてもよい。また予め、適正色を付与しておいてもよい。ここで適正色とは、運転者がその色で着色された代替画像をみて実際の立体物を想像しやすい色である。三角コーンなら予め付与されている橙色か黄色となり、人間なら撮影画像から得られる上着の色やスカートの色である。色強調指示部８４は、液晶パネルなどの表示画面に表示される代替画像は小さくなるので、その色が視認されやすいように、代替画像への着色する色を強調させる色強調指示を代替画像着色部８３を与える。この色強調指示は、立体物の種類や立体物の車両走行に対する危険度（車両との距離などで判定することができる）によって行われることが好都合なので、立体物属性情報に基づいて行うとよい。

画像合成部５５は、俯瞰撮影画像の立体物画像領域に俯瞰代替画像生成部６４によって生成された俯瞰代替画像を重ね合わせ合成する。合成方法としては、上書きに限定されず、透明化による重ね合わせなどを採用することができる。合成された代替画像付き俯瞰画像は表示画像としてフレームメモリ５６に転送され、表示制御部７１を介して表示画面としてのモニタ２１の画面に表示される。

次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートと、図７の説明図とを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰撮影画像生成部６３で用いられる射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。４台の車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置され、表示用の俯瞰画像が生成される（＃０５）。

立体物認識モジュール３０から立体物属性情報が出力されているかどうかチェックする（＃０６）。立体物属性情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された俯瞰撮影画像をそのまま利用して表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像をモニタ２１に表示させ（＃１５）、この俯瞰画像表示ルーチンの終了指令がない限り（＃１６No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。

ステップ＃０６のチェックで、立体物属性情報が出力されている場合（＃０６Yes分岐）、
注目すべき立体物が撮影画像に写り込んでいるとみなし、まず、立体物属性情報に含まれている、認識された立体物に関する位置、種別、色、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物の位置に関するデータに基づいて俯瞰撮影画像における当該立体物の画像領域を決定する（＃０８）。

決定された立体物画像領域に合成される当該立体物の代替画像が、立体物属性情報に含まれている種別、大きさ、姿勢などの情報を検索条件として代替画像を抽出して、メモリに展開する（＃０９）。次に、代替画像着色部８３がメモリに展開されている代替画像に対して、立体物属性情報に含まれている色情報に基づいて色塗りされる（＃１０）。立体物属性情報に含まれている色情報は、撮影画像に含まれている立体物の画素値に基づいていることから、照明条件等によって、本来の立体物を特徴付けるような色が検知されていないことも有り得る。この着色処理では、そのような事情が発生していると判断された場合、代替画像に着色する色が強調される。また代替画像の輪郭を強調したりする形状明確化処理を代替画像に施してもよい。

着色された代替画像は、撮影画像に対して施された射影変換の種類（視点位置）と、代替画像で代替された立体物の種別や姿勢などに基づいて、最適な射影変換が選択され、そのマップピングデータが俯瞰代替画像生成部６４に設定され（＃１１）、代替画像が射影変換される（＃１２）。もちろん、スルー用マップピングデータが設定され、少なくとも射影変換を施されない代替画像が生成されてもよい。次いで、俯瞰代替画像は俯瞰撮影画像における立体物画像領域に重ね合わせ合成される（＃１３）。このようにして生成された最終的な車両周辺の俯瞰画像は、表示俯瞰画像として生成され（＃１４）、モニタ２１に表示される（＃１５）。

〔別実施の形態〕

（１）上述した実施形態では、注目すべき一つの立体物が４つのカメラ１から取得した撮影画像の１つに写されている例を取り上げたが、隣り合うカメラ視野の境界領域では、注目すべき一つの立体物が複数の撮影画像に写されている場合も考えられる。従って、車載カメラが車両全周囲を撮影するために複数設置されているような実施形態において、立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の大きい方の立体物領域を有する立体物画像が立体物俯瞰画像生成のために抽出されると好都合である。
（２）注目すべき立体物として複数の立体物、つまり複数の代替画像を撮影俯瞰画像に合成してもよい。
（３）上述した実施の形態では、立体物画像を着色代替画像に置き換えただけであったが、立体物の移動方向が評価されている場合には、その立体物の移動方向も視認できるような形態で着色代替画像を表示すると好都合である。このことから、図８で示すように、立体物の移動方向を示す残像を付加した代替画像を採用してもよい。また、図９で示すように、立体物の移動方向を示す矢印を付加した代替画像を採用してもよい。
（４）上述した実施の形態では、立体物検知方法として、超音波を用いた立体物検知と画像認識による立体物検知のいずれか又はその組み合わせが提示されていたが、もちろん、これ以外の立体物検知方法、例えば、レーザレーダー法や赤外線法を利用することも本発明の範囲内である。

本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。

２１：モニタ
３０：立体物検知モジュール
３２：立体物認識部
５０：画像処理モジュール
５３：画像生成部
５４：立体物属性情報取得部
５５：画像合成部
６０：俯瞰画像生成部
６１：通常画像生成部
６２：マッピングテーブル
６３：俯瞰撮影画像生成部
６４：俯瞰代替画像生成部
６５：立体物俯瞰画像生成部
８１：代替画像抽出部
８２：代替画像データベース
８３：代替画像着色部
８４：色強調指示部

Claims (8)

1. 車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、
   前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、
   前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、
   前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記立体物の代替画像を出力する代替画像出力部と、
   前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部と、
   を備えた画像生成装置。
2. 前記代替画像出力部は、前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている立体物種別情報に基づいて前記立体物の代替画像を抽出する代替画像抽出部と、当該代替画像抽出部によって抽出された代替画像を前記立体物属性情報に含まれている色情報に基づく色で着色する代替画像着色部とを含む請求項１に記載の画像生成装置。
3. 前記代替画像着色部は、前記色情報に基づいて前記立体物を特徴づける複数の色を決定し、前記代替画像を複数の色で塗り分ける請求項２に記載の画像生成装置。
4. 前記代替画像着色部によって前記代替画像に着色する色を強調させる色強調指示を前記立体物属性情報に基づいて出力する色強調指示部が備えられている請求項２又は３に記載の画像生成装置。
5. 前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与する請求項１から４のいずれか一項に記載の画像生成装置。
6. 前記立体物の移動方向を示す画像を前記代替画像とともに付与する請求項１から５のいずれか一項に記載の画像生成装置。
7. 前記移動方向を示す画像は前記立体物の移動に対応する前記代替画像の残像である請求項６に記載の画像生成装置。
8. 前記移動方向を示す画像は矢印である請求項６に記載の画像生成装置。

Images