JP2009232310A - 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム - Google Patents

Abstract

【課題】自車の周辺の状況を把握しやすい画像を生成する車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラムを提供する。
【解決手段】少なくとも１つのカメラにより車両の周囲が撮影された画像である撮影画像を取得する画像取得部と、車両の状態を取得する状態取得部と、状態取得部により取得された状態に基づいて、立体と該立体又は撮影画像の変形方法とを設定する設定部と、画像取得部により取得された撮影画像と設定部により設定された立体との対応関係を取得し、設定部により設定された変形方法に基づいて立体又は撮影画像の変形を行い、対応関係に基づいて撮影画像を立体上に写して像を生成して像データとする生成部と、生成部により生成された像データを、設定された視点から見た画像に変換して出力画像とする視点変換部とを備える。
【選択図】図１１

Description

本発明は、車両内で表示される画像の生成を行う車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラムに関するものである。

車両の運転者が自車の周囲の状況を目視確認するために、複数の車載カメラにより撮影された画像を俯瞰画像に変換及び合成し、表示する技術がある。これにより、運転者は、客観的、直感的に自車の周囲の状況を把握することができる。この技術を拡張するものとして、車載カメラにより撮影された画像（撮影画像）をそのまま３次元空間モデルにマッピングしたデータ（空間データ）を生成し、空間データを任意の視点から見た画像（出力画像）に変換して表示する画像生成装置が開示されている（例えば、特許文献１参照）。

上述した従来の画像生成装置のように、カメラ画像を投影するモデルとして曲面と平面から構成される立体形状（円柱型、お椀型、擬似円柱）を用いると、運転者は、車両近傍の俯瞰画像以外に、空を含む周辺画像も全て同時に閲覧できるという利点がある。
特許第３２８６３０６号公報

しかしながら、従来の投影方法は、投影形状の一部だけを拡大縮小することができなかった。また、従来の投影方法において、自車の周辺をユーザに分かりやすく投影させるための投影形状を設定すると、投影された結果が「穴」（撮影画像が投影できない領域）だらけになり、「穴」を少なくするための投影形状を設定すると、自車の周辺がユーザに分かりにくくなっていた。

本発明は上述した問題点を解決するためになされたものであり、自車の周辺の状況を把握しやすい画像を生成する車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラムを提供することを目的とする。

上述した課題を解決するため、本発明の一態様は、車両内で表示される画像の生成を行う車両用画像処理装置であって、少なくとも１つのカメラにより前記車両の周囲が撮影された画像である撮影画像を取得する画像取得部と、前記車両の状態を取得する状態取得部と、前記状態取得部により取得された状態に基づいて、立体と該立体又は前記撮影画像の変形方法とを設定する設定部と、前記画像取得部により取得された撮影画像と前記設定部により設定された立体との対応関係を取得し、前記設定部により設定された変形方法に基づいて前記立体又は前記撮影画像の変形を行い、前記対応関係に基づいて前記撮影画像を前記立体上に写して像を生成して像データとする生成部と、前記生成部により生成された像データを、設定された視点から見た画像に変換して出力画像とする視点変換部とを備える。これにより、自車の周辺の状況を把握しやすい画像を生成することができる。

また、前記設定部は、前記状態取得部により取得された状態に基づいて、前記立体と該立体の変形方法とを設定し、前記生成部は、前記変形方法に基づいて前記立体を変形し、前記対応関係に基づいて前記撮影画像上の情報を、変形された該立体上に写しても良い。これにより、立体の一部を変形して、自車の周辺の状況を把握しやすい画像を生成することが可能になる。

また、前記立体は、複数の頂点で表され、前記生成部は、該頂点間の距離を変更することにより、前記立体の変形を行っても良い。これにより、立体の一部を変形することができる。

また、前記設定部は、前記変形前の立体と前記変形後の立体との組を複数保持し、前記状態取得部により取得された状態に基づいて、複数の前記組から１つを選択して前記変形方法とし、前記生成部は、前記設定部により選択された組に基づいて、前記変形前の立体から前記変形後の立体への変形を行っても良い。これにより、複雑な計算を行うことなく、立体の変形を行うことができる。

また、前記設定部は、前記状態取得部により取得された状態に基づいて、前記立体の変形が必要であると判定した場合、前記変形方法を設定しても良い。これにより、車両の状態に適した変形が可能になる。

また、本発明の一態様は、車両内で表示される画像の生成を行う車両用画像処理方法であって、少なくとも１つのカメラにより前記車両の周囲が撮影された画像である撮影画像を取得し、前記車両の状態を取得し、取得された前記状態に基づいて、立体と該立体又は前記撮影画像の変形方法とを設定し、取得された前記撮影画像と設定された前記立体との対応関係を取得し、設定された前記変形方法に基づいて前記立体又は前記撮影画像の変形を行い、前記対応関係に基づいて前記撮影画像を前記立体上に写して像を生成して像データとし、生成された前記像データを、設定された視点から見た画像を生成して出力画像とすることを行う。

また、本発明の一態様は、車両内で表示される画像の生成をコンピュータに実行させる車両用画像処理プログラムであって、少なくとも１つのカメラにより前記車両の周囲が撮影された画像である撮影画像を取得し、前記車両の状態を取得し、取得された前記状態に基づいて、立体と該立体又は前記撮影画像の変形方法とを設定し、取得された前記撮影画像と設定された前記立体との対応関係を取得し、設定された前記変形方法に基づいて前記立体又は前記撮影画像の変形を行い、前記対応関係に基づいて前記撮影画像を前記立体上に写して像を生成して像データとし、生成された前記像データを、設定された視点から見た画像に変換して出力画像とすることをコンピュータに実行させる。

また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。

開示の車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラムによれば、自車の周辺の状況を把握しやすい画像を生成することができる。

以下、本発明の比較例について説明する。

比較例１．
まず、車載カメラによる撮影画像を３次元空間モデルにマッピングして空間データを生成し、空間データを任意の視点から見た画像である出力画像を生成する画像生成装置において、撮影画像としてノーズビューカメラの撮影画像を適用する場合を比較例１の画像生成装置とする。ノーズビューカメラとは、交差点進入時に運転者の死角となる交差路を進んでくる障害物（車）を運転者に視認させるために、自車のフロントの左右に設置されるカメラである。

運転者の死角となる交差路を進んでくる車は、死角にいる間、自車の左右斜め前方に位置し、さらに面積の小さな車両前後面しか映らないため、そのまま投影を行うと小さな像になってしまい、運転者により視認されにくくなる。

図１は、自車が交差点へ進入する様子を示した模式図である。交差路上の車両ＶＡ，ＶＢ，ＶＣのうち、車両ＶＡ，ＶＣは、自車から見た占有画角が狭くなり、結果的に車載カメラの撮像面における占有面積が小さくなる。その結果、自車を取り巻く円柱（または球）のような立体面へ投影した場合の車ＶＡ，ＶＣの投影領域は、自車前方に位置する車両ＶＢに比べて小さくなる。

図２は、自車が交差点へ進入した場合に比較例１の画像生成装置により生成される画像の一例を示す図である。この図において、比較例１の画像生成装置は、実際に４台の車載カメラで撮影した画像を、球と平面を有する投影形状に投影する。自車近傍の路面は平面へ投影され俯瞰画像となり、遠くの車や周辺建物などは立体である球の側面に投影されて周辺画像となる。ここで、比較例１の画像生成装置は、自車の周りのほぼ全ての車両が球の側面に投影されるように調整されている。また、図に示されるように、自車の左右側方及び前後方に比べて、交差点進入時に最も重視すべき斜めに位置する車両ＶＡ，ＶＣの投影面積が小さくなっている。

比較例１の画像生成装置において、重視すべき左右斜め前方の部分だけ投影形状の変更を行う方法では、解決することができない。なぜなら、投影形状が変わっても、重視すべき部分の投影画角は変わらないため、投影画像の一部だけを拡大することができない。

比較例２．
次に、車載カメラによる撮影画像を３次元空間モデルにマッピングして空間データを生成し、空間データを任意の視点から見た画像である出力画像を生成する画像生成装置において、視認性の良い投影形状を適用する場合を比較例２の画像生成装置とする。

カメラ画像を投影形状に投影した空間データを任意の視点から見る場合、投影形状が現実世界の形状に近いほど、投影後の歪みが少なくなり、視認性が向上する。そのため、道路を示す平面であり俯瞰画像を表す平面俯瞰部分と車両を包むような立体である周辺立体部分とからなる投影形状を考えた場合、平面俯瞰部分が実際の道路幅に近い幅で、周辺立体部分が道路路肩の位置にあると、運転者は、投影画像を閲覧する際に、歪みも少なく、直感的に理解しやすい。

しかし、周辺立体部分を道路脇のような車両の近くに設定すると、車載カメラの設置位置、数、画角の条件によっては、投影面が近くなりすぎてしまい、カメラ画像を投影できない「穴」の領域が発生してしまう。

図３は、小さい投影形状の一例を示す模式図である。この図は、自車に設置された４つのカメラＣ１〜Ｃ４の位置と投影形状ＦＡ上に投影される各カメラの投影領域とを示す。また、この図は、実際の道路幅に合わせて投影形状ＦＡの平面俯瞰部分の幅を狭めに設定した場合を示す。また、この図は、自車上方から自車を見た図である。

また、この図の投影形状において、周辺立体部分の高さが高く、周辺立体部分がゆるやかな角度で平面俯瞰部分から立ち上がる。実際、周辺立体部分には、建物など、地面に垂直となる被写体が映されることが多い。従って、平面俯瞰部分と周辺立体部分の繋ぎ目付近は、なだらかな角度であるが、繋ぎ目から少し外側へ移動するとすぐに地表平面に対して垂直に近い角度となるようにすることにより、視認性が良くなる。この図に示された周辺立体部分の幅（ドーナッツ状の部分の太さ）は、より狭くなるが、図を見やすくするために太めに記載されている。

図４は、投影方法の一例を示す模式図である。ここで、投影方法は、一般的な透視射影（中心射影又は透視投影とも呼ぶ）である。透視射影は、撮影画像の各画素に対し、カメラ原点から各画素に向けたベクトルと投影形状が交差した点に、その画素色を設定するものである。

ここで、周辺立体部分への投影について説明する。図５は、水平方向から見た周辺立体部分への投影の一例を示す模式図である。ここで、投影形状は、上部に行くに従って広がる楕円球の周辺立体部分と地面に相当する平面である平面俯瞰部分とを有するものとする。この図は、楕円球の各高さにおける断面楕円の大きさが分かりやすいように、各高さにおける断面を楕円柱として示す。図６は、自車上方から見た周辺立体部分への投影の一例を示す模式図である。この図は、図５と同様であるが、自車上方から見た図である。

これらの図は、撮影方向と垂直な平面上に表された撮影画角、撮影画角と投影形状の交線である撮影境界を示す。撮影画像を投影形状に投影した結果である空間データの境界（投影境界）は、カメラ撮影方向に垂直な平面（投影平面）と投影形状の交差した点の集合と考えることができる。楕円球と平面の交差形状は楕円になることが知られている。よって、これらの図中に示されるように、周辺立体部分と投影平面の交差形状（投影断面）は、各交点の高さに合致した大きさの楕円の一部の集合となる。

ところで、投影形状に投影される撮影画像は、無限平面ではなく、撮影画角に対応した矩形の有限の大きさである。このため、撮影画像（画角）上端部分に対応して、投影境界にも図５及び図６に示されるような上端部分が現れる。また、下端部分は平面俯瞰部分に投影されるため、一般的な俯瞰画像と同様、台形のような形になって現れる。このように、撮影画像は、周辺立体部分である楕円球により、上方に行くに従って平面俯瞰部分よりも緩く広がるしゃもじ（あるいはスプーン）のような形状として投影形状に投影される。

なお、他の一般的な投影方法として、透視射影ではなく、途中まで透視投影を行い、投影形状近くでは平行投影となる弱中心投影を用いる場合も考えられる。この場合、投影位置は、カメラと投影したい撮影画面上の画素とを結ぶベクトル方向の直線と投影形状との交点ではない。投影形状近辺までは透視射影と同じくそのベクトル上を辿り（透視射影）、そこから先は地面に平行になるように射影したベクトルに沿って投影（平行射影）を行う、透視射影と平行射影の混じった投影となる。ここで、撮影画像上の隣合う画素の投影位置の間隔を考えると、透視射影においては撮影画面（カメラ）から遠ざかるに従って投影位置の間隔も広がるのに対し、地面に平行なベクトルを用いる平行射影においては撮影画面（カメラ）からどれだけ遠ざかっても同じ間隔である。そのため、一部が平行射影である弱中心射影による交差形状は、透視射影に比べて外への広がりが弱まり、しゃもじ状の透視射影の投影領域の内側の小さな領域に投影される。

上述したように周辺立体部分がしゃもじ形状となる投影領域を各カメラの投影領域とすると、図１に示されるように小さな投影形状を用いる場合、周辺立体部分の上に行くに従って、どのカメラの画像も投影できない部分、すなわち「穴」が出現してしまう。

一方、周辺立体部分の「穴」を防ぐために、投影形状をできるだけ大きくするという方法が考えられる。図７は、大きい投影形状の一例を示す模式図である。この図は、図３と同様、自車に設置された４つのカメラＣ１〜Ｃ４の位置と投影形状ＦＢ上に投影される各カメラの投影領域とを示す。ここで、投影形状ＦＢは、投影形状ＦＡより大きい。また、撮影画像は透視射影により投影形状ＦＢ上へしゃもじ状に投影されるが、投影形状ＦＡと比較すると、投影形状ＦＢが大きいためにしゃもじの広がりが緩くなる位置で周辺立体部分へ投影される位置が自車及びカメラから遠くなる。この位置において各カメラの投影領域の幅がかなり広がっているため、撮影画像を投影できない領域（未投影領域）、すなわち「穴」が現れるのを防ぐことができる。

図８は、大きな投影形状を用いた場合の比較例２の画像生成装置による出力画像の一例を示す図である。この場合の投影形状ＦＢは、上述した投影形状ＦＡに比べて平面俯瞰部分の領域（この図に示された楕円内の領域）が広がるため、本来は周辺立体部分に投影したい路肩部分まで平面俯瞰部分に投影されて俯瞰画像になってしまい、視認性が低下する。

図９は、小さな投影形状を用いた場合の比較例２の画像生成装置による出力画像の一例を示す。この図に示されるように、小さな投影形状ＦＡを用いた場合、撮影画像を投影できない領域「穴」（図中の画像が黒く欠けている領域）が出力画像に出現する。図１０は、大きな投影形状を用いる場合の比較例２の画像生成装置による出力画像の一例を示す。大きな投影形状ＦＢを用いた場合、本来は周辺立体部分へ投影したいのに平面俯瞰画像として投影されてしまう領域（図中の楕円内に示された領域）が出力画像に出現する。つまり、投影形状をどのように決定しても、相反する２つの問題のどちらかが生じてしまい、視認性のよい投影画像を得ることが困難となる。

上述したように、車載カメラによる撮影画像を３次元空間モデルにマッピングして空間データを生成し、空間データを任意の視点から見た画像である出力画像を生成する画像生成装置において、変換空間データの一部を拡大縮小すること、視認性のよい出力画像を得ることは、困難である。

以下、本発明の実施の形態について図面を参照しつつ説明する。

実施の形態１．
まず、本実施の形態に係る車両用画像処理装置の構成について説明する。

図１１は、実施の形態１に係る車両用画像処理装置の構成の一例を示すブロック図である。この車両用画像処理装置は、運転情報取得部１１、道路情報取得部１２、直接指定部１３、投影形状決定部１４、少なくとも１つのカメラ２１、歪み補正部２２、投影変換判定部２３、変形処理部２４、投影変換部２５、表示視線変換部２６、表示部２７、投影関係情報記憶部３３を備える。なお、歪み補正部２２は、画像取得部に対応する。また、運転情報取得部１１、道路情報取得部１２は、状態取得部に対応する。また、投影変換判定部２３は、設定部に対応する。また、変形処理部２４、投影変換部２５は、生成部に対応する。また、表示視線変換部２６は、視点変換部に対応する。

次に、本実施の形態に係る車両用画像処理装置の動作について説明する。

図１２は、実施の形態１に係る車両用画像処理装置の動作の一例を示すフローチャートである。

まず、歪み補正部２２は、少なくとも１つのカメラ２１により撮影された撮影画像の読み込みを行い（Ｓ１）、撮影画像の歪みの補正を行って補正画像とする（Ｓ２）。この歪みは、カメラ２１のレンズ等に起因するものであり、既知の歪みである。この画像の歪み補正は、簡単のため最初に行っているが、後述する処理Ｓ１２において、投影変換部２５が撮影画像の歪み補正と投影を同時に行っても構わない。以後、補正画像を撮影画像と呼ぶ。また、本実施の形態において、カメラ２１は、４個とする。カメラ２１の数は、１個以上であれば良い。また、処理Ｓ１において歪み補正部２２が読み込む撮影画像の数は、１個からカメラ２１の数までであれば良い。

次に、直接指定部１３は、ユーザ（運転者）等により直接指定される内容（指定内容）があれば（Ｓ３，ＹＥＳ）、指定内容を取得する（Ｓ４）。指定内容は、投影形状や投影形状の変形内容などである。なお、処理Ｓ３，Ｓ４は、フローチャートの順に実行されるのではなく、優先割り込み処理として適宜指定を検知し処理しても構わない。この直接指定部１３は、通常時に車両用画像処理装置が自動判定する内容について、ユーザが適宜、投影形状や変形内容を補正またはカスタマイズすることを主目的として設けられたものであり、省略してもかまわない。

次に、運転情報取得部１１、道路情報取得部１２は、運転情報又は道路情報が変化したと判定した場合（Ｓ５，ＹＥＳ）、自車両状態（車両情報）を取得する（Ｓ６）。

ここで、運転情報取得部１１により取得される運転情報は、ＧＰＳ（Global Positioning System）、車速センサ、ジャイロ等から取得される自車位置、自車速度、進行方向、更にハンドル、ギア、ウィンカーなどの操作から取得される直進・右左折・後退などの運転操作、運転者により自己申告される、又は運転者の眠気で変化する注意力を監視する内部監視モニタ等から推定される現在の運転者の運転技能などである。

また、道路情報取得部１２は、例えばカーナビゲーションや路車間通信を行う無線通信機であり、地図データベースやＧＰＳ等から、自車位置と共に道路形状、道路種別、市街地種別、混雑状況などの道路情報を取得する。なお、ミリ波センザやレーザセンサなどのセンサが自車に設けられ、道路形状を直接取得しても構わない。

次に、投影形状決定部１４は、取得された運転情報、道路情報、又は指示内容を用いて、基本となる投影形状（基本投影形状）が無い、又は設定された基本投影形状を変更する必要があると判定した場合（Ｓ７，ＹＥＳ）、変形前投影形状（立体）と変形内容（変形方法）を決定する（Ｓ８）。一方、基本投影形状が有り、且つ基本投影形状を変更する必要がない場合（Ｓ７，ＮＯ）、処理Ｓ１２へ移行する。変形前投影形状は、基本投影形状が自車両状態に基づいて微調整されたものである。なお、基本投影形状は、一度決定されると、その後は同じものが使われてよいため、予め決められていても良く、微調整が行われなくてもかまわない。その場合、基本投影形状と変形前投影形状は同一となる。

基本投影形状は、１つ以上の形状から成り、自車の周囲を包むような形状であり、平面と曲面などを有する立体形状である。例えば、基本投影形状は、比較例１及び比較例２のように自車近くの画像を俯瞰画像として投影するための地面平面と、空を含む周辺の建物や路肩の物体等を投影するための自車を囲む楕円球面とを合わせたものである。

基本投影形状の例を示す。図１３は、実施の形態１に係る基本投影形状の第１の例を示す模式図である。この基本投影形状は、楕円球面と平面を有する立体形状である。図１４は、実施の形態１に係る基本投影形状の第２の例を示す模式図である。この基本投影形状は、楕円錐面と平面を有する立体形状である。図１５は、実施の形態１に係る基本投影形状の第３の例を示す模式図である。この基本投影形状は、自由曲面と平面を有する立体形状である。

また、図１３〜図１５において、各図中の左側は、それぞれの基本投影形状を成す平面（平面俯瞰部分）と立体（周辺立体部分）を示す。図１５において、図中の左側は、基本投影形状の断面図Ｍと平面図を示す。また、図１３〜図１５において、各図中の右上は、周辺立体部分に対して平面俯瞰部分の高さを高くした場合の断面図Ｈを示し、各図中の右下は、周辺立体部分に対して平面俯瞰部分の高さを低くした場合の断面図Ｌを示す。

各断面図Ｈに示されるように、周辺立体部分に対して平面俯瞰部分の高さを上げると周辺立体部分が自車から遠ざかる（周辺立体部分の面積が減り、平面俯瞰部分の面積が増える）。また、各断面図Ｌに示されるように、周辺立体部分に対して平面俯瞰部分の高さを下げると周辺立体部分が自車に近づく（周辺立体部分の面積が増え、平面俯瞰部分の面積が減る）。周辺立体部分が楕円球面や自由曲面である場合、平面俯瞰部分の位置及び周辺立体部分の形状によっては、必ずしも平面俯瞰部分の高さを上げると周辺立体部分が遠ざかる結果になるわけではないが、本実施の形態においては平面俯瞰部分の高さを上げると周辺立体部分が遠ざかる領域を用いている。

これらの基本投影形状は、パラメータにより形状を細かく制御できる例として挙げたものであり、これらに限定されるわけではなく、円柱や立方体を用いたりしてもよいし、投影形状に平面がなくても構わない。また、基本投影形状は、１つの形状で構成されていてもよいし、より多くの形状の組み合わせで構成されていてもよい。上述した基本投影形状の例は、平面の位置（高さ）や、楕円球面又は楕円錐面の楕円半径などのパラメータを変更することで、さらに細かな投影形状の種類を作り出すことが可能である。

投影形状決定部１４は、このように決定した基本投影形状を、運転情報、道路情報、指定内容から微調整して変形前投影形状を決定する。この微調整は、道路形状や自車位置等の道路情報から得た実際の道路や路肩などの自車周辺の形状に、変形前投影形状が近づけることが望ましい。これは、投影形状に投影された撮影画像が実際に目で見たものと近くなるためである。

また、投影形状決定部１４は、利用シーンに応じて重視したい領域を推定し、その重視領域の形状が大きくなるよう、変形前投影形状を決定してもよい。投影形状決定部１４は、例えば、ハンドル操舵角やウィンカーなどの運転情報と交差路の存在などの道路情報から自車の右折を検知した場合、自車の右側を重視するために、周辺立体部分である楕円球面の中心を自車より右寄りに配置する。また、投影形状決定部１４は、例えば、走行速度が低速であるという運転情報を取得した場合、自車近傍を重視するために、投影形状である楕円球面の半径を大きくして、平面俯瞰部分を増やす。

このように自車両状態に最適な微調整が行われた変形前投影形状に対して、投影形状決定部１４は更に、変形前投影形状をそのまま用いるか否かを判定し、そのまま用いない場合は代用となる投影形状（代用投影形状）を変形前投影形状として決定する。また、投影形状決定部１４は、変形前投影形状の変形方法の決定も行う。

図１６は、実施の形態１に係る投影形状決定部の判定条件の一例を示す表である。この表は、俯瞰画像を投影するための平面俯瞰部分と周辺物体を投影するための周辺立体部分とを用いた場合の、判定条件、変形前投影形状、変形内容、判定理由を示す。

判定条件１は、変形前投影形状の平面俯瞰部分の大きさが小さい場合であり、変形前投影形状の平面俯瞰部分を大きくした代用投影形状を変形前投影形状として用いる。具体的には、変形前投影形状において、周辺立体部分と平面俯瞰部分の交差図形の内接円半径が指定サイズ以下となる場合である。

ここで、変形内容により示される変形前投影形状（代用投影形状）の変形の処理（投影形状変形処理）は、形状サイズを縮めること（縮小処理）である。この縮小処理は、投影できない「穴」部分を避けることが目的である。

この他にも、例えば複数画像の投影ずれを直す等の他の理由で、この縮小処理を適用しても構わない。図１７は、投影ずれの一例を示す模式図である。ここでは、撮影位置の異なる２つのカメラＣＡ、ＣＢで被写体ＤＡを撮影し、それを投影形状へ投影した場合を考える。２つのカメラＣＡ、ＣＢによる被写体ＤＡの投影位置は、２つのカメラＣＡ、ＣＢの成す角αだけずれて投影されるため、表示視線Ｅから見ると、同じ被写体ＤＡが異なる位置にずれて見える。このずれを改善するためには、角αを限りなく小さくすれば良い。即ち、２つのカメラＣＡ、ＣＢ間の距離に比べて、被写体と投影形状の距離が限りなく大きな値になれば良い。特にずれを気にしなければならない被写体ＤＡは自車両の近くに存在する場合が多い。言い換えると、「穴」部分を避ける場合と同様に、変形前投影形状（代用投影形状）として限りなく半径の大きな楕円体などの大きな投影形状を用意し、投影形状変形処理として縮小処理を行えば良いことになる。

図１８は、実施の形態１に係る変形内容の一例を示す模式図である。この図において、右側の投影形状は、縮小処理前の投影形状である変形前投影形状（代用投影形状）であり、左側の投影形状は、縮小処理後の投影形状である変形後投影形状である。変形前投影形状の平面俯瞰部分に比べて、変形後投影形状の平面俯瞰部分は小さくなる。但し、変形後投影形状における平面俯瞰部分は変形の前後で不変である。

次に、縮小処理の詳細について説明する。

図１９は、実施の形態１に係る第１の縮小処理の一例を示す模式図である。まず、変形の基準となる基準点（変形基準点）があらかじめ設定される。変形処理部２４は、変形前投影形状の特徴点である各メッシュ頂点のうち、変形基準点より低い位置にあるものに対して、メッシュ頂点から基準点へ向かう変形ベクトルに従って変形を行う。また、変形処理部２４は、基準点より高い位置にある各メッシュ頂点に対して、地面と平行な変形ベクトルに従って変形を行う。これにより、平面俯瞰部分と周辺立体部分の境界は、自車に近づく。なお、図１９は、各メッシュ頂点が基準点の高さより高いか低いかで変形方法を変えたが、変形方法が同じであっても構わない。

第１の縮小処理によれば、変形前投影形状の平面俯瞰部分の一部（平面俯瞰部分から周辺立体部分へと変わった部分）の頂点が周辺立体部分へとゆるやかに立ち上がると共に、変形基準点より上の頂点については自車からの距離が変わるだけで高さに変更のない変形となる。従って、変形が最低限かつ緩やかに行われるため、最終的な画像への変形の影響を少なくし、違和感の少ない画像とすることができる。なお、変形基準点は複数あってもよいが、自車の中心に位置し、規定の高さにある１点としておけば、計算が簡単ですむ。あるいは、変形基準点を表示視線位置の１点としておけば、前述した複数画画像の投影ずれをより良く補正することができる。

ところで、どのような点にしろ、変形基準点を設定する際には、変形前投影形状と変形基準点の間に変形後投影形状が存在しないと、頂点の変形後の投影先が見つからなくなってしまう問題が生じるため、注意が必要になる。

この変形基準点の設定時の問題を避けるため、投影形状決定部１４は、変形前後の投影形状と変形基準点の関係を調べて、変形基準点を調整する基準点微調整処理を行う。図２０は、実施の形態１に係る基準点微調整処理の一例を示す模式図である。図２０では、例えば自車中心Ｃを調整のための調整点とし、調整点Ｃと変形基準点Ｐを結んだ直線上で、変形後形状内の任意の位置を調整後の変形基準点Ｑとする。変形基準点Ｐの代わりに調整済みの変形基準点Ｑを用いることで、調整前は変形先が求められなかった、変形前投影形状の特徴点Ｍの変形先Ｎを算出することができる。

同様に、投影形状決定部１４は、変形基準点の設定時の問題を避けるため、基準点微調整処理の代わりに、変形前後の投影形状と変形基準点の関係を調べて変形後投影形状を調整する投影形状微調整処理を行っても良い。図２１は、実施の形態１に係る投影形状微調整処理の一例を示す模式図である。図２１では、変形後投影形状Ｓの代わりに、変形基準点Ｐを内包するように高さを高く調整した変形後投影形状Ｔを用いることで、調整前は変形先が求められなかった変形前投影形状の特徴点Ｍの変形先Ｎを算出することができる。なお、この例では変形後投影形状の高さを変更したが、任意の形状変形による調整を行っても良い。この際、変形前投影形状上の全ての特徴点に対して変形先が求まるよう調整を行うのではなく、撮影画像が投影される可能性の高い特徴点群や任意の一部の特徴点に対して変形先が求まるような調整を行っても構わない。

図２２は、実施の形態１に係る第２の縮小処理の一例を示す模式図である。第１の縮小処理においては、変形前、変形基準点より低いメッシュ頂点の間隔は等しいが、変形後、平面に近いメッシュ頂点の間隔が広がる。これに対して、第２の縮小処理は、等間隔を保つことを重視した変形方法である。すなわち、変形処理部２４は、周辺立体部分と平面俯瞰部分の境界点より上の変形対象となる各メッシュ頂点に対し、変形後投影形状におけるメッシュ間隔が等間隔となるような変形を行う。これにより、第１の縮小処理と同様、平面俯瞰部分と周辺立体部分の境界は、自車に近づく。

具体的には、変形処理部２４は、変形対象メッシュ頂点の上端点の移動先を決定しておき、あとは境界点と上端点を結ぶ緩やかな二次曲線を決定し、その曲線を等間隔に分割する点を各メッシュ頂点の移動先とする。なお、縮小処理の手法は、第１の縮小処理及び第２の縮小処理に限定するわけではなく、他の変形を行っても良い。

また、上述した縮小処理は、変形前投影形状と変形後投影形状の特徴点数（メッシュ分割数）やトポロジが等しくなっているが、変形後の各特徴点が、変形前の各特徴点の補間により計算できれば、特徴点数やトポロジが必ずしも等しくなくてもよい。例えば、変形前に比べて変形後の四角形メッシュの横分割数が１つ多い場合、変形処理部２４は、変形前の四角形メッシュのうちどこかの横一列の四角形メッシュを縦で２分割し、分割した四角形メッシュの頂点の和平均として新たな頂点を算出する。

この和平均の補間式は、新たな頂点における投影位置情報を求める際の、補間式として用いられる。すなわち、２つの頂点の和平均とした場合に、その２つの頂点の投影位置情報の各数値の和平均を、新たな頂点の投影位置情報の各数値とする。特徴点から位置が離れた頂点を利用して補間すると、最終的な画像が滲んでしまい、実質的に役に立たない画像になる可能性があるため、補間式を用いる必要がないように、変形前投影形状と変形後投影形状が同じ構造であることが望ましい。

判定条件２は、交差点進入などを検知した場合である。交差点の進入は、運転情報の自車位置、道路情報の道路形状、などから推定できる。この場合、代用投影形状は用いられない。また、変形処理部２４は、投影形状変形処理として変形前投影形状のうち指定された領域を変形させる領域変形処理を行う。変形内容は、交差路に合致する自車の左右斜め前の周辺立体部分を拡大する。

図２３は、実施の形態１に係る領域変形処理における変形前投影形状の一例を示す模式図である。ここで、変形前投影形状は、自車を中心とする楕円球面と平面を有するお椀状の形状とする。ここでは、図１と同様、自車が交差路に近づく状況と他車ＶＡ，ＶＢ，ＶＣを示す。

図中の２つの矢印（変形領域方向ベクトル１、変形領域方向ベクトル２）は、変形前投影形状のうち領域変形処理の対象となる領域（変形領域１、変形領域２）の方向をそれぞれ指定するためのもので、自車から各変形領域の中心を指示する。この例における変形領域方向ベクトルは、自車の交差路上を進行してくる他車ＶＡ，ＶＣの周辺を拡大変形することを示す。変形領域方向以外に、変形領域の大きさや変形の波及の強さを示す変形強度が指示されても構わないし、それらは予め設定されていても構わない。このような変形領域方向ベクトル（方向と大きさ）を用いることにより、右斜め前方を２倍の大きさで、というような指示を実現でき、簡単に変形の指示を行うことが可能となる。

図２４は、実施の形態１に係る領域変形処理における変形後投影形状の一例を示す模式図である。領域変形処理により、変形領域１及び変形領域２のみが拡大される。

なお、変形領域及び領域変形処理の詳細に関する指定は、これ以外の一般的な指定方法を用いてもよい。例えば、具体的に、変形前投影形状の特徴点を指定し、変形後投影形状の特徴点の位置も指定してもよい。あるいは、投影形状を引きつける仮想的な磁石を用い、磁石の位置及び磁場の強さで変形強度や変形領域を制御するものとし、特徴点を磁石に近づけたり遠ざけたりするイメージにより変形強度や変形領域が指定されてもよい。これにより、特徴点を代表する代表点の移動量のみを指定し、残りの特徴点は移動した代表点間の補間等で移動量を計算することができ、簡単に変形の指示を行うことが可能となる。

図２５は、実施の形態１に係る変形領域における領域変形処理の一例を示す模式図である。図中の左側は、変形前投影形状における変形領域を示し、図中の右側は、変形後投影形状における変形領域を示す。この例では、簡単のため、四角形メッシュで構成する平面を変形する様子を示す。また、この例では、変形領域方向ベクトルによって、変形領域の中心となる位置とその変形の方向及び強さを指定する。変形中心はメッシュの中心付近の特徴点であり、メッシュ特徴点の移動方向である変形方向は、変形領域方向ベクトルと垂直な方向、すなわち変形中心から放射状に広がる方向とする。また、変形の強さは変形中心から離れるに従って、距離に比例して減衰するものとする。この結果、変形中心付近のメッシュ間隔が最も広くなるような変形を行うことになる。

なお、この領域変形処理は一例であり、変形内容を実現するような、任意の変形手法を用いて構わない。また、変形前後の特徴点数の違いに対しては、上述した補間式を用いて対処することができる。

判定条件３は、自車周辺の障害物を検知した場合である。この場合、変形処理部２４は、検知された障害物を注目領域（変形領域）とし、その部分を拡大する。処理及び判定自体は判定条件２と同様である。この処理は、障害物以外にも、指定された領域の拡大縮小などの変形に応用できる。

このように、投影形状決定部１４は、変形前投影形状とその変形内容を決定する。なお、変形内容のデータ形式は、変形処理部２４が用いるデータ形式である。変形内容のデータ形式は、例えば、変形前投影形状の全特徴点に対する変形後投影形状の位置座標を全て保持し、変形処理部２４がその変形内容を参照して変形前投影形状の変形を行う。

変形内容のデータ形式及び投影形状変形処理は、領域変形処理と同様、一般的な変形方法を利用しても構わない。また、投影形状決定部１４は、現在の自車両状態に応じて毎回変形内容を定義してもよいが、自車両状態（利用シーン）に応じた変形パターンをいくつか用意し、現在の自車両状態に基づいて変形パターンを選択利用してもよい。

例えば、基本投影形状が、楕円球面と平面を有し、四角形メッシュで表された１つの形状に限定されるとする。また、投影形状決定部１４は、交差点進入（判定条件２に対応）、障害物検知（判定条件３に対応）、それ以外（判定条件１に対応）、という３種類の変形パターンを用意し、自車両状態により変形パターンを選択する。

この際、投影形状決定部１４は、運転情報や道路情報などから得た詳しい状況によって、変形パターンの細かいパラメータを適宜補正して利用しても構わない。例えば、投影形状決定部１４は、運転情報による自車位置、道路情報による周辺道路形状から、自車の走行路に対して交差路が交差する角度を算出する。次に、投影形状決定部１４は、判定条件２の交差点進入パターンとして用意された斜め前方の変形領域を、算出した角度に合わせて微調整しても良い。すなわち、微調整された変形領域は、真横に近い斜め前方部分、正面に近い斜め前方部分、などになる。

また、例えば、投影形状決定部１４は、判定条件３として障害物の中心に対する変形パターンを定義しておき、実際に道路情報等から取得した障害物の位置や大きさを用いて、その変形パターンの中心を障害物の位置に合わせ、障害物の大きさに合わせた変形強度で微調整してから利用することも考えられる。

次に、投影変換判定部２３は、歪み補正された撮影画像の各画素が変形前投影形状のどこに投影されるかを示す投影関係情報を取得する（Ｓ９）。

図２６は、実施の形態１に係る投影関係情報の一例を示す表である。投影関係情報記憶部３３は、一般的な撮影画像に関する情報と変形前投影形状に関する情報とを保持する。更に、投影関係情報記憶部３３は、これら２つのデータを対応づける対応関係を保持する。

撮影画像に関する情報は従来と同様、撮影したカメラ２１（または画像）を特定するＩＤ（撮影カメラＩＤ）と縦横画素数である画像解像度（画像サイズ）を有する。また、変形前投影形状に関する情報は、投影形状ＩＤと形状定義値を有する。この例において、投影形状は、一般的な四角形メッシュで表されるものとし、形状定義値は四角形メッシュの定義として一般的な情報（メッシュの総数（形状メッシュＩＤ数）、メッシュの縦横分割数（形状メッシュ分割数）、各メッシュの頂点（形状メッシュ頂点）の座標値（頂点座標値）、同頂点の法線値（頂点法線値））とした。

なお、変形前投影形状に関する情報は、四角形メッシュ以外に、三角形ストリップや特徴点の頂点セットなど、任意の形状定義に従ったデータでよい。また、法線ベクトルは、必ずしも保持する必要はない。また、座標値や法線値は、投影形状毎に定めたモデル座標系の値としたが、自車を基準として全ての投影形状を含むような自車座標系の値にしてもよい。モデル座標系の場合、各投影形状と各カメラ２１及び撮影領域の位置関係を把握する必要があり、通常、自車を基準とした自車座標系へ各モデル座標系を変換するアフィン変換値を座標変換情報として保持する。但し、簡単のため、この座標変換情報は、本実施の形態における投影関係情報から省かれている。

対応関係は、変形前投影形状の各メッシュ頂点毎に保持するデータであり、各頂点に投影する画像の一部を特定するため、カメラ２１（撮影画像）の撮影カメラＩＤ（対応撮影カメラＩＤ）と撮影画像内の位置（対応画像内座標）を有する。なお、コンピュータグラフィックスのテクスチャマッピングにおける慣習として、貼り付けられる画像内の座標は、正規化され、画像の左上を（０．０，０．０）、右下を（１．０，１．０）として表記されることが一般的であり、本実施の形態はこの表記に従う。

なお、これらの投影関係情報のデータ構造は一例として示したものであり、より細かな複数のテーブルとして保持されてもよい。また、投影関係情報は、変形前投影形状の特徴点に対する撮影画像の位置を保持するのではなく、その逆として撮影画像上の特徴点が変形前投影形状のどこになるかを示してもよい。例えば、撮影画像がメッシュで分割され、投影関係情報は、画像メッシュ頂点が変形前投影形状上のどこに当るかを保持してもよい。但し、この場合、変形前投影形状を変形した後の投影処理は、形状メッシュ頂点毎に行うため、形状メッシュ頂点の情報は、周囲に投影された画像メッシュ点の情報を補間して求められることになり、複雑な補間計算が必要である。

ここで、撮影画像とそれが投影される変形前投影形状の例を用いて説明する。図２７は、実施の形態１に係る撮影画像における投影関係情報の一例を示す模式図である。図２８は、実施の形態１に係る変形前投影形状における投影関係情報の一例を示す模式図である。これらの図は、撮影カメラＩＤ＝２の撮影画像が、投影形状ＩＤ＝３の変形前投影形状の側面（周辺立体部分）へと投影される例を示す。

投影先である変形前投影形状内の位置の決定は、比較例１及び比較例２と同様、透視投影や弱中心投影、平行投影などの投影方法により、カメラの位置及び撮影方向、撮影画角、投影形状とその配置を用いて行われる。

この例において、対応関係は、変形前投影形状のｍａ行ｎａ列のメッシュ頂点である点Ａ（頂点座標＝（ｘａ，ｙａ，ｚａ）、頂点法線＝（ｎｘａ，ｎｙａ，ｎｚａ））と、そこに投影される撮影画像の画像点Ａ（画像内座標＝（ｓａ，ｔａ））との対応付けを保持する。同様にして、対応関係は、変形前投影形状のメッシュ頂点である点Ｂと撮影画像の画像点Ｂとの対応付けを保持する。このように、対応関係が保持されることにより、変形前投影形状の各特徴点であるメッシュ頂点にどの撮影画像のどの部分が投影されるかを取得することができる。

なお、変形前投影形状上のある特徴点に対して、必ずしも１つの撮影画像が投影されるとは限らず、複数の撮影画像が同一の位置に投影されることも有りうる。その場合、それら全ての撮影画像に対する投影位置関係を保持してもよいし、どれか１つまたはいくつかを選択して、その位置関係だけを保持しても構わない。また、複数の画像が投影されることを示す特別な値を保持しても構わない。

次に、変形処理部２４は、投影形状決定部により変形内容が決定された場合（Ｓ１０，ＹＥＳ）、その変形内容に従って投影形状変形処理を行う（Ｓ１１）。

ここで投影形状変形処理は、変形前投影形状のメッシュ頂点毎に変形の計算を行う代わりに、予め変形後投影形状を別に保持しておき、変形前投影形状から変形後投影形状への変更を行ってもよい。また、ここでは、投影変換判定部２３が変形前投影形状に基づいて投影関係情報を取得するとしたが、同様の結果が得られるのであれば投影形状をどの時点で変形しても良い。

次に、投影変換部２５は、投影変換判定部２３により取得された投影関係情報を用いて、変形処理部２４により処理された変形後投影形状へ撮影画像を投影して投影データ（像データ、空間データ）を生成する投影処理を行う（Ｓ１２）。投影データは、投影形状上の各点に投影された色の情報を有する。ここで、投影変換部２５は、変形前投影形状に関する投影関係情報を、変形後投影形状に対応させることにより、変形と投影の両方を行うことができる。

ここで、投影処理の一例について述べる。投影関係情報には変形前投影形状の各頂点に対応する撮影画像内の画素の位置（撮影画像内位置）が保持されているので、投影変換部２５は、投影データにおいて各頂点の色は対応する撮影画像内位置の画素色とする。また、頂点以外の変形前投影形状上の点に対応する撮影画像内位置については、その点が属するメッシュの各頂点の撮影画像内位置をバイリニア補間などの補間方法を用いて算出する。例えば、四角形メッシュで構成する投影形状の場合、形状のある点に対応する撮影画像の位置は、その点が属する四角形メッシュの４頂点の画像内位置を、バイリニア補間などの補間方法を使って算出する。これにより、変形後投影形状上の点で、対応する撮影画像及びその画像内の位置から、画素色を取得することができる。

なお、投影処理は、上述の処理に限定されるものではなく、コンピュータグラフィックにおけるテクスチャマッピングで行われている一般的な計算手法などを用いてよい。また、投影形状の１点に対して複数の撮影画像内位置が対応する場合には、それら全て又は一部の撮影画像の画素色を混ぜた平均色等を利用したり、どれか１つの撮影画像の画素色を選択したり、または複数存在することを意味する特別な画素色に置き換えたりしても構わない。

次に、表示視線変換部２６は、表示視点変換処理として、投影データを表示用視点（視点位置及び視線方向）から眺めた出力画像を生成し（Ｓ１３）、このフローは終了する。ここで、表示視線変換部２６は、表示用視点を基点とする透視投影（透視射影、中心射影）を行うが、他の投影方法を用いても構わない。表示部２７は、表示視線変換部２６により生成された出力画像を表示する。

なお、本実施の形態においては、投影変換部２５が変形後投影形状の各特徴点以外の面内の全ての点に対して色をあてがった後、表示視線変換部２６が表示視線変換処理を行っているが、投影処理と表示視線変換処理は、同時に処理しても構わない。これは、投影データを出力画像内において何ドット（画素数）で表示するを示す、投影データにおけるある面の表示解像度が、表示用視線の内容および表示視線変換によって変わるためである。

例えば、投影形状から近い表示用視点が設定された場合、出力画像はその投影形状を構成する四角形メッシュ１つしか表示しないかもしれない。この場合、投影処理は、投影データにおける四角形メッシュ内で出力画像の画素数以上の点の色を求める必要がある。一方、投影形状から遠い表示用視点が設定された場合、出力画像は投影形状を構成する５０個の四角形メッシュを表示するかもしれない。その場合、該当する５０個の四角形メッシュ全部で、出力画像内の全画素を占めることになり、各四角形メッシュは前者よりも少ない点の集合として粗く表示されるため、投影処理は、前者よりも少ない必要な数の投影データの点の色を求めればよい。また、投影処理において出力画像に映らない部分まで色を算出することは無駄である。

このように、表示用視点により投影データの表示時の粗さ及び表示部分が決まるため、投影データ中の色の計算は表示視線変換処理と同時に行う方が効率的である。

また、投影処理を表示視線変換処理と同時に行うだけでなく、投影形状変形処理も同時に行っても構わない。ここで、判定条件１の場合の変形基準点を用いた投影形状変形処理を行う例で、さらに変形基準点を表示視線の位置Ｅとした例について説明する。図２９は、実施の形態１に係る判定条件１の場合の変形基準点を用いた投影形状変形処理の一例を示す模式図である。投影形状変形処理は、第１の縮小処理とは異なり、変形基準点及び形状特徴点の高さに無関係に、全て変形基準点と特徴点を結んだ変形ベクトルを用いて変形する。画素Ａは、表示視線Ｅから表示視線方向及び画角を使って求めた、最終的に閲覧する画像に対応する仮想スクリーン上の任意画素であり、閲覧画像内の任意画素である。図２９においては、表示視線変換処理として透視投影を用いるため、画素Ａに投影される変形後投影形状内特徴点は、表示視線Ｅと画素Ａを結んだ直線上の特徴点Ｎである。また、変形基準点が表示視線と同じ位置Ｅにあるので、特徴点Ｎの形状変形処理前の変形前投影形状内の特徴点は、ＥとＮを結んだ直線との交点、特徴点Ｍである。

ところで、表示用視線変換処理で求める画素Ａの色は投影データ内の特徴点Ｎの色であり、特徴点Ｎの色は形状変形処理を介して特徴点Ｍから取得した色である。Ｍ、Ｎ，Ａ，Ｅは同一直線上の点なので、Ａから対応点Ｎを求める計算と特徴点Ｎから特徴点Ｍを求める計算は、異なる投影形状と同一直線との交点算出計算となるので、特徴点Ｎの算出を省略して、特徴点Ａから直接特徴点Ｍを求めてその色を利用してしまっても構わない。これは言い換えると、投影形状変形処理と投影処理と表示視線変換処理を１つの計算で実現した特殊な例とみることができ、投影形状変形処理でもあり、投影処理でもあり、表示視線変換処理でもある。変形基準点と表示視線位置を同一にすることで、形状変形計算用の変形ベクトルと変形後形状の交差判定を省略することができるので、より簡単に表示用の画素色を算出することができる。

このように、本実施の形態は、分かりやすい説明のために処理を分けており、厳密に記載した処理全てを記載順番で行うのではなく、いくつか一緒に処理できるものを一度にまとめて行ったり、順番を一部入れ替えたり、一部の処理を省略しても構わない。

自車の状態が判定条件１に該当する場合、本実施の形態に係る車両用画像処理装置は、実際の道路幅に近く視認性の高い投影形状を用いながら、撮影画像が投影できない領域である「穴」の少ない出力画像を実現することができる。つまり、変形前投影形状として「穴」ができないような大きい投影形状を用い、変形後投影形状として表示に最適な大きさの投影形状を用い、投影関係情報を保持したまま投影形状の変形を行うことにより、穴がなく視認性も良い出力画像を生成することができる。

また、自車の状態が判定条件２及び判定条件３に該当する場合、本実施の形態に係る車両用画像処理装置は、投影データの任意の部分を変形することが可能となり、交差路を進んでくる車や検知した障害物周辺を拡大表示する等、ユーザの視認性を高めた画像を生成することができる。つまり、投影関係情報を保持したまま投影形状の変形を行うことにより、変形を行う領域と行わない残りの領域との繋ぎ目を保持したまま、投影データの一部の変形が可能となり、ユーザにとって違和感のない出力画像を提供することができる。

本実施の形態においては、撮影画像と変形前投影形状の関係を示す投影関係情報を変形後投影形状に対応させることにより、従来の投影変換（正射影、透視射影を主とするアフィン変換）では実現できない、特殊な投影方法で撮影画像を変形投影していることに等しい。

ここで、従来の投影変換のうち最も一般的な透視投影・中心投影を用いて、撮影画像を投影形状に投影した例について説明する。図３０は、透視投影・中心投影の一例を示す模式図である。カメラＣで撮影された撮影画像面上の画素ＧＰは、透視投影により投影形状上の特徴点Ｐに投影される。この結果、画素ＧＰの色に塗られた特徴点Ｐを、これを表示視線Ｅから眺める。

次に、この例を非常に特殊な変換として擬似的に表し、本来の投影形状とは異なる代用投影形状を用いる場合について説明する。図３１は、実施の形態１に係る代用投影形状を用いる透視投影・中心投影の一例を示す模式図である。

いま、変形前投影形状である代用投影形状上の特徴点Ｐ’が前述した任意の変形方法により、変形後投影形状である本来の投影形状上の特徴点Ｐに変形するものとする。ここでは、撮影画像と変形前投影形状の関係を用いるので、図３０と異なり、特徴点Ｐの色となるのは特徴点Ｐ’の色である。また、特徴点Ｐ’の色は、カメラＣで撮影した撮影画像面上の画素ＧＱを、透視投影により変形前投影形状に投影して得る。この結果、特徴点Ｐの色は従来の投影変換では特徴点Ｑの色であったはずの画素ＧＱの色となる。特徴点Ｐに対応する特徴点Ｑは、代用投影形状及び変形方法（変形ベクトル）の定義によって自由に変更でき、その対応づけは必ずしも数式的に表現できるものとは限らない。このため、カメラＣで撮影した撮影画面上の画素ＧＱを、代用投影形状上の特徴点Ｐ’の色に対応づけすることは、従来の投影変換（正射影、透視射影を主とするアフィン変換）では実現できず、従来とは全く違った数式的に表記できるかも分からない、任意の特殊な投影方法で変形投影しているものと看做すことができる。

また、本実施の形態においては、撮影画像と変形前投影形状の関係を示す投影関係情報を変形後投影形状に対応させることにより、投影された撮影画像ごと投影データを変形していることに等しい。ここで、本実施の形態に係る投影形状変形処理及び投影処理について、撮影画像を伸縮可能なシールとして変形前投影形状に貼り付けることに例えて説明する。

変形前投影形状にシールの貼り付け位置を決めておき、その貼り付け位置に従って変形後投影形状にシールを貼るならば、変形後投影形状に合わせて伸びたシールが貼り付けられる。これは、変形前投影形状にシールを貼ったあと、シールごと変形して変形後投影形状にするのと同義である。また、最終的に描画するのは投影データとして投影された撮影画像だけ、すなわちシールだけであって、シールの貼られていない部分は必ずしも表示する必要がない。

実施の形態２．
まず、本実施の形態に係る車両用画像処理装置の構成について説明する。

図３２は、実施の形態２に係る車両用画像処理装置の構成の一例を示すブロック図である。この図において、図１１と同一符号は図１１に示された対象と同一又は相当物を示しており、ここでの説明を省略する。図１１の車両用画像処理装置と比較すると、この車両用画像処理装置は、投影形状決定部１４、投影変換判定部２３、変形処理部２４、投影変換部２５、投影関係情報記憶部３３の代わりに投影形状決定部４１、画像変形部５１、投影変換判定部５２、投影変換部５３、投影関係情報記憶部６３を備える。

本実施の形態に係る車両用画像処理装置は、撮影画像を変形し、上述した投影関係情報を用いて投影形状に投影する。つまり、本実施の形態に係る車両用画像処理装置は、投影データの一部を変形する代わりに、撮影画像の変形を行う。

次に、本実施の形態に係る車両用画像処理装置の動作について説明する。

図３３は、実施の形態２に係る車両用画像処理装置の動作の一例を示すフローチャートである。この図において、図１２と同一符号は図１２に示された対象と同一又は相当処理を示しており、ここでの説明を省略する。まず、実施の形態１と同様の処理Ｓ１〜６が実行される。次に、画像変形部５１は、運転情報、道路情報、指示内容を用いて、撮影画像中に重視すべき被写体が映る領域（重視被写体領域）があれば（Ｓ２０，ＹＥＳ）、歪み補正された撮影画像の画像部分を変形して変形画像を生成する画像変形処理を行う（Ｓ２１）。

例えば、画像変形部５１は、撮影画像を適当な分割数の四角形メッシュで分割し、このメッシュの任意の部分を変形するものとする。この場合の変形方法は、実施の形態１における投影形状変形処理のように、メッシュ頂点の移動などを用いて行う。

なお、画像変形処理の前後における画像形状の違いは、各メッシュ頂点の変形前後の位置座標の違いから計算できる。例えば、（ｓ１，ｔ１）だったメッシュ頂点が、（ｓ１＋Δｓ１，ｔ１＋Δｔ１）へと変化する場合、（Δｓ１，Δｔ１）が、画像変形に用いた移動ベクトルである。

画像変形領域の特定は、以下の方法で行う。まず、画像変形部５１は、撮影画像が自車周辺のどのあたりを撮影したものかを、撮影したカメラ２１の位置や撮影方向、撮影画角などのカメラパラメータから撮影領域を計算することにより推定する。この撮影領域は、カメラ位置を頂点とする四角錐とするのが一般的である。

次に、実施の形態１の投影形状決定部で述べた変形内容の決定と同様にして、画像変形部５１は、取得された運転情報や道路情報、指示内容などから、重視被写体領域を特定する。すなわち、上述した判定条件２のように交差路に合致する左右斜め前の地面より上の領域、あるいは上述した判定条件３のように検知された障害物の位置及び大きさ、などを重視被写体領域とする。この重視被写体領域は、実際の障害物形状に近い形状でもよいし、大まかな球のようなものでもよいし、上述した変形領域方向ベクトルのような自車位置を原点とする方向ベクトル（重視被写体領域ベクトル）であってもよい。

次に、画像変形部５１は、撮影領域と重視被写体領域とを比較してそれらの交差領域を計算し、交差領域が撮影画像内に占める画像領域を画像変形領域として算出する。なお、撮影領域と重視被写体領域の交差領域は、例えば前述の四角錐と詳細形状や球、方向ベクトルとの交差判定により求められる。また、画像変形部５１は、交差領域が撮影画像内で占める位置及び縦横の画角を調べること等で、画像変形領域を求める。

投影形状決定部４１は、実施の形態１と同様、取得された運転情報、道路情報、指示内容を用いて、基本投影形状が無い、または設定された基本投影形状を変更する必要があると判定した場合（Ｓ７，ＹＥＳ）、投影形状のみを決定する（Ｓ２２）。この投影形状は、実施の形態１における変形前投影形状であってもよいし、変形後投影形状であってもよい。以下、実際に変形された撮影画像と変形されない撮影画像とを便宜的に変形画像と呼ぶ。

投影変換判定部５２は、変形画像が投影形状のどこに投影されるかを示す投影関係情報を投影関係情報記憶部６３から取得する（Ｓ２２）。この投影関係情報は、画像変形部５１により変形された、矩形ではない変形画像を用いるため、実施の形態１と異なる情報である。変形画像を使った投影関係情報は、実施の形態１において（０．０，０．０）から（１．０，１．０）までの座標として正規化していた撮影画像内位置の表記を、画像変形処理前の撮影画像内の位置に対応付けることで、本実施の形態に適用できる。

次に、投影変換判定部５２は、具体的な変形画像中の画素毎の投影先について、変形画像のメッシュの各頂点または実際の変形画像内の全画素に対して、実施の形態１と同様の投影方法及び幾何計算を用いて、どこに投影されるかを算出する。

次に、投影変換部５３は、投影関係情報を用いて変形画像を投影形状へ投影して投影データを生成し（Ｓ２３）、表示視線変換部２６は、設定された表示視線から投影データを見た画像である出力画像を生成し（Ｓ１３）、このフローは終了する。表示部２７は、表示視線変換部２６により生成された出力画像を表示する。

次に、本実施の形態に係る第１の処理例について説明する。

図３４は、実施の形態２に係る第１の処理例におけるカメラと被写体の配置の一例を示す模式図である。この例では、カメラ２１であるカメラＣＡ，ＣＢがそれぞれ被写体（円形及び三角形）を撮影する。図３５は、実施の形態２に係る第１の処理例におけるカメラＣＡの撮影画像の一例を示す模式図である。図３６は、実施の形態２に係る第１の処理例におけるカメラＣＢの撮影画像の一例を示す模式図である。

次に、カメラＣＡの画像内の被写体（円形）は重視被写体領域ベクトル及び重視被写体領域範囲に含まれたため、カメラＣＡの撮影画像を変形する。図３７は、実施の形態２に係る第１の処理例におけるカメラＣＡの変形画像の一例を示す模式図である。撮影画像と比べると、変形画像は、変形中心に近い部分ほど拡大される。また、撮影画像内の被写体（変形前）に比べて、変形画像内の被写体（変形後）は拡大されている。

投影変換部５３は、カメラＣＡの変形画像及びカメラＣＢの撮影画像を投影形状（平面）に投影する。図３８は、実施の形態２に係る第１の処理例における投影データの一例を示す模式図である。左側にカメラＣＡの変形画像が投影され、右側にカメラＣＢの撮影画像が投影されている。

次に、本実施の形態に係る第２の処理例について説明する。

撮影画像が投影形状上に重なって投影される場合、２つの撮影画像の変形が独立して変形されるため、投影形状に投影された被写体のずれが大きくなる。図３９は、実施の形態２に係る第２の処理例におけるカメラと被写体の配置の一例を示す模式図である。第２の処理例は、第１の処理例における２つの被写体（円形と三角形）の間にもうひとつ被写体（四角形）が存在する例である。カメラＣＡの撮影画像とカメラＣＢの撮影画像に、この四角形の被写体が映っているものとする。

図４０は、実施の形態２に係る第２の処理例におけるカメラＣＡの撮影画像とカメラＣＢの撮影画像との投影データの一例を示す模式図である。この図は、カメラＣＡの撮影画像とカメラＣＢの撮影画像とが変形されずに投影形状（平面）に投影された場合を示す。カメラＣＡの撮影画像とカメラＣＢの撮影画像とで、中央の四角形の被写体にずれがあることがわかる。

ここで、第１の処理例と同様、カメラＣＡの被写体（円形）の近辺を拡大変形する。図４１は、実施の形態２に係る第２の処理例におけるカメラＣＡの変形画像とカメラＣＢの撮影画像との投影データの一例を示す模式図である。もともと異なるカメラ位置によりずれて投影されていた被写体（四角形）は、変形されたことにより更にずれが大きくなっている。このため、本実施の形態においては、ずれが目立たない被写体であるか、カメラの数が少ない、又は投影領域が重ならない場合であることが望ましい。

また、画像変形部５１は、変形画像（カメラＣＡ）と撮影領域が近い撮影画像（カメラＣＢ）において投影形状上に重なって投影される領域（重複領域）を確認し、変形画像内の重複領域の変形状況（カメラＣＡの撮影画像でのメッシュ特徴点の位置移動等）に合わせて撮影画像（カメラＣＢ）内の重複領域を変形する補正処理を行ってもよい。

図４２は、実施の形態２に係る第２の処理例におけるカメラＣＡの変形画像とカメラＣＢの補正された撮影画像との投影データの一例を示す模式図である。この例において、画像変形部５１は、補正処理として、カメラＣＡの変形画像の変形状況と同じ変形量を用いて、カメラＣＢの撮影画像内の重複領域のメッシュを変形する。これにより、投影データにおいて、カメラＣＡの被写体（四角形）とカメラＣＢの被写体（四角形）のずれが小さくなる。

なお、撮影画像内で補正処理を行う部分（補正領域）は、厳密に重複領域ではなく、重複領域から所定の距離内にある領域のメッシュ特徴点であっても構わない。この場合、撮影画像内で補正処理の対象となったメッシュ特徴点を第１特徴点とし、第１特徴点に最も近い変形画像内のメッシュ特徴点を第２特徴点とするとき、画像変形部５１は、第２特徴点の変形状況（位置移動等）、第１特徴点と第２特徴点の距離を用いて、第１特徴点の変形量を算出する。

上述した補正処理によれば、最初の変形画像と連動して変形した画像と他の撮影画像とのずれを少なくすることができる。あるカメラの変形画像と別のカメラの撮影画像とのずれが気になる部分に、この補正処理を適用することにより、れば、その部分のずれを最小限にすることが可能である。

なお、最初の変形画像の影響を別の１つの撮影画像内のみに抑えるために、撮影画像の形状（矩形、及び矩形の大きさ）自体には影響を及ぼさないように撮影画像の範囲内でメッシュ特徴点位置の移動を行う補正処理としても構わない。これにより、撮影画像への補正処理が別の撮影画像への補正処理を発生させることを防ぐことができる。

本実施の形態によれば、複雑な３次元形状の変形を行うことなく２次元の撮影画像の変形だけで、実施の形態１と同様、投影データの任意の部分を変形することが可能となり、交差路を進んでくる他車や検知した障害物周辺を拡大表示する等、視認性を高めた画像を生成することができる。

上述した実施の形態１，２によれば、投影データを変形させることにより、従来の投影変換（正射影、透視射影を主とするアフィン変換）では実現できなかった、一部の拡大縮小等の変形を行うことができる。これにより、交差路を進んでくる他車など、従来は小さく表示されていた被写体について、ユーザは任意の大きさで視認することが可能になる。

また、従来、「穴」のない投影形状と、視認性を高めるための現実の環境に近い投影形状とを両立することが困難であった。上述した実施の形態１，２によれば、「穴」のない投影形状に撮影画像を投影して投影データを変形することにより、その両立を実現できる。これにより、自車の状況に適切な画像を表示することが可能となる。

更に、車両用画像処理装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、車両用画像処理プログラムとして提供することができる。上述したプログラムは、コンピュータにより読み取り可能な記録媒体に記憶させることによって、車両用画像処理装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読み取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。

以上の実施の形態１〜２に関し、更に以下の付記を開示する。

（付記１） 車両内で表示される画像の生成を行う車両用画像処理装置であって、
少なくとも１つのカメラにより前記車両の周囲が撮影された画像である撮影画像を取得する画像取得部と、
前記車両の状態を取得する状態取得部と、
前記状態取得部により取得された状態に基づいて、立体と該立体又は前記撮影画像の変形方法とを設定する設定部と、
前記画像取得部により取得された撮影画像と前記設定部により設定された立体との対応関係を取得し、前記設定部により設定された変形方法に基づいて前記立体又は前記撮影画像の変形を行い、前記対応関係に基づいて前記撮影画像を前記立体上に写して像を生成して像データとする生成部と、
前記生成部により生成された像データを、設定された視点から見た画像に変換して出力画像とする視点変換部と、
を備える車両用画像処理装置。
（付記２） 付記１に記載の車両用画像処理装置において、
前記設定部は、前記状態取得部により取得された状態に基づいて、前記立体と該立体の変形方法とを設定し、
前記生成部は、前記変形方法に基づいて前記立体を変形し、前記対応関係に基づいて前記撮影画像上の情報を、変形された該立体上に写す車両用画像処理装置。
（付記３） 付記１に記載の車両用画像処理装置において、
前記立体は、複数の頂点で表され、
前記生成部は、該頂点間の距離を変更することにより、前記立体の変形を行う車両用画像処理装置。
（付記４） 付記１に記載の車両用画像処理装置において、
前記設定部は、前記変形前の立体と前記変形後の立体との組を複数保持し、前記状態取得部により取得された状態に基づいて、複数の前記組から１つを選択して前記変形方法とし、
前記生成部は、前記設定部により選択された組に基づいて、前記変形前の立体から前記変形後の立体への変形を行う車両用画像処理装置。
（付記５） 付記１に記載の車両用画像処理装置において、
前記設定部は、前記状態取得部により取得された状態に基づいて、前記立体の変形が必要であると判定した場合、前記変形方法を設定する車両用画像処理装置。
（付記６） 付記１に記載の車両用画像処理装置において、
前記立体は、平面と曲面を含む車両用画像処理装置。
（付記７） 付記１に記載の車両用画像処理装置において、
前記状態は、前記車両の運転に関する情報を含む車両用画像処理装置。
（付記８） 付記１に記載の車両用画像処理装置において、
前記状態は、道路に関する情報を含む車両用画像処理装置。
（付記９） 付記１に記載の車両用画像処理装置において、
前記状態は、障害物に関する情報を含む車両用画像処理装置。
（付記１０） 付記１に記載の車両用画像処理装置において、
前記変形方法は、ユーザによる指示を含む車両用画像処理装置。
（付記１１） 付記１に記載の車両用画像処理装置において、
前記立体は、少なくとも１つの特徴点を有し、
前記変形方法は、前記特徴点の位置の変更に関する情報を含む車両用画像処理装置。
（付記１２） 付記１に記載の車両用画像処理装置において、
前記変形方法は、前記変形の方向及び前記変形の強さを含む車両用画像処理装置。
（付記１３）付記１に記載の車両用画像処理装置において、
前記変形方法は、前記特徴点の位置の変更の基準となる少なくとも１つの変形基準点を有することを特徴とする車両用画像処理装置。
（付記１４）付記１３に記載の車両用画像処理装置において、
前記変形基準点の位置は、前記設定された視点であることを特徴とする車両用画像処理装置。
（付記１５）付記１３に記載の車両用画像処理装置において、
前記変形基準点の位置は、前記変形前の立体及び前記変形後の立体との位置関係を用いて調整されることを特徴とする車両用画像処理装置。
（付記１６）付記１３に記載の車両用画像処理装置において、
前記変形後の立体の形状は、前記変形基準点との位置関係を用いて調整されることを特徴とする車両用画像処理装置。
（付記１７） 付記１に記載の車両用画像処理装置において、
前記対応関係は、前記撮影画像上の位置と該位置の情報が写される前記立体上の位置との対応付けである車両用画像処理装置。
（付記１８） 付記１に記載の車両用画像処理装置において、
前記設定部は、前記状態取得部により取得された状態に基づいて、前記立体と前記撮影画像の変形方法とを設定し、
前記生成部は、前記変形方法に基づいて前記撮影画像を変形し、変形された該撮影画像上の情報を前記対応関係に基づいて前記立体上に写す車両用画像処理装置。
（付記１９） 車両内で表示される画像の生成を行う車両用画像処理方法であって、
少なくとも１つのカメラにより前記車両の周囲が撮影された画像である撮影画像を取得し、
前記車両の状態を取得し、
取得された前記状態に基づいて、立体と該立体又は前記撮影画像の変形方法とを設定し、
取得された前記撮影画像と設定された前記立体との対応関係を取得し、設定された前記変形方法に基づいて前記立体又は前記撮影画像の変形を行い、前記対応関係に基づいて前記撮影画像を前記立体上に写して像を生成して像データとし、
生成された前記像データを、設定された視点から見た画像を生成して出力画像とする
ことを行う車両用画像処理方法。
（付記２０） 付記１９に記載の車両用画像処理方法において、
取得された前記状態に基づいて、前記立体と該立体の変形方法とを設定し、
前記変形方法に基づいて前記立体を変形し、前記撮影画像上の情報を前記対応関係に基づいて、変形された該立体上に写す車両用画像処理方法。
（付記２１） 付記１９に記載の車両用画像処理方法において、
前記立体は、複数の頂点で表され、
該頂点間の距離を変更することにより、前記立体の変形を行う車両用画像処理方法。
（付記２２） 付記１９に記載の車両用画像処理方法において、
前記変形前の立体と前記変形後の立体との組を複数保持し、取得された前記状態に基づいて、複数の前記組から１つを選択して前記変形方法とし、
選択された前記組に基づいて、前記変形前の立体から前記変形後の立体への変形を行う車両用画像処理方法。
（付記２３） 付記１９に記載の車両用画像処理方法において、
取得された前記状態に基づいて、前記立体の変形が必要であると判定した場合、前記変形方法を設定する車両用画像処理方法。
（付記２４） 車両内で表示される画像の生成をコンピュータに実行させる車両用画像処理プログラムであって、
少なくとも１つのカメラにより前記車両の周囲が撮影された画像である撮影画像を取得し、
前記車両の状態を取得し、
取得された前記状態に基づいて、立体と該立体又は前記撮影画像の変形方法とを設定し、
取得された前記撮影画像と設定された前記立体との対応関係を取得し、設定された前記変形方法に基づいて前記立体又は前記撮影画像の変形を行い、前記対応関係に基づいて前記撮影画像を前記立体上に写して像を生成して像データとし、
生成された前記像データを、設定された視点から見た画像に変換して出力画像とする
ことをコンピュータに実行させる車両用画像処理プログラム。

自車が交差点へ進入する様子を示した模式図である。 自車が交差点へ進入した場合に比較例１の画像生成装置により生成される画像の一例を示す図である。 小さい投影形状の一例を示す模式図である。 投影方法の一例を示す模式図である。 水平方向から見た周辺立体部分への投影の一例を示す模式図である。 自車上方から見た周辺立体部分への投影の一例を示す模式図である。 大きい投影形状の一例を示す模式図である。 大きな投影形状を用いた場合の比較例２の画像生成装置による出力画像の一例を示す図である。 小さな投影形状を用いた場合の比較例２の画像生成装置による出力画像の一例を示す。 大きな投影形状を用いる場合の比較例２の画像生成装置による出力画像の一例を示す。 実施の形態１に係る車両用画像処理装置の構成の一例を示すブロック図である。 実施の形態１に係る車両用画像処理装置の動作の一例を示すフローチャートである。 実施の形態１に係る基本投影形状の第１の例を示す模式図である。 実施の形態１に係る基本投影形状の第２の例を示す模式図である。 実施の形態１に係る基本投影形状の第３の例を示す模式図である。 実施の形態１に係る投影形状決定部の判定条件の一例を示す表である。 投影ずれの一例を示す模式図である。 実施の形態１に係る変形内容の一例を示す模式図である。 実施の形態１に係る第１の縮小処理の一例を示す模式図である。 実施の形態１に係る基準点微調整処理の一例を示す模式図である。 実施の形態１に係る投影形状微調整処理の一例を示す模式図である。 実施の形態１に係る第２の縮小処理の一例を示す模式図である。 実施の形態１に係る領域変形処理における変形前投影形状の一例を示す模式図である。 実施の形態１に係る領域変形処理における変形後投影形状の一例を示す模式図である。 実施の形態１に係る変形領域における領域変形処理の一例を示す模式図である。 実施の形態１に係る投影関係情報の一例を示す表である。 実施の形態１に係る撮影画像における投影関係情報の一例を示す模式図である。 実施の形態１に係る変形前投影形状における投影関係情報の一例を示す模式図である。 実施の形態１に係る判定条件１の場合の変形基準点を用いた投影形状変形処理の一例を示す模式図である。 透視投影・中心投影の一例を示す模式図である。 実施の形態１に係る代用投影形状を用いる透視投影・中心投影の一例を示す模式図である。 実施の形態２に係る車両用画像処理装置の構成の一例を示すブロック図である。 実施の形態２に係る車両用画像処理装置の動作の一例を示すフローチャートである。 実施の形態２に係る第１の処理例におけるカメラと被写体の配置の一例を示す模式図である。 実施の形態２に係る第１の処理例におけるカメラＣＡの撮影画像の一例を示す模式図である。 実施の形態２に係る第１の処理例におけるカメラＣＢの撮影画像の一例を示す模式図である。 実施の形態２に係る第１の処理例におけるカメラＣＡの変形画像の一例を示す模式図である。 実施の形態２に係る第１の処理例における投影データの一例を示す模式図である。 実施の形態２に係る第２の処理例におけるカメラと被写体の配置の一例を示す模式図である。 実施の形態２に係る第２の処理例におけるカメラＣＡの撮影画像とカメラＣＢの撮影画像との投影データの一例を示す模式図である。 実施の形態２に係る第２の処理例におけるカメラＣＡの変形画像とカメラＣＢの撮影画像との投影データの一例を示す模式図である。 実施の形態２に係る第２の処理例におけるカメラＣＡの変形画像とカメラＣＢの補正された撮影画像との投影データの一例を示す模式図である。

符号の説明

１１ 運転情報取得部、１２ 道路情報取得部、１３ 直接指定部、１４，４１ 投影形状決定部、２１ カメラ、２２ 歪み補正部、２３，５２ 投影変換判定部、２４ 変形処理部、２５，５３ 投影変換部、２６ 表示視線変換部、２７ 表示部、３３，６３ 投影関係情報記憶部、５１ 画像変形部。

Claims (7)

1. 車両内で表示される画像の生成を行う車両用画像処理装置であって、
   少なくとも１つのカメラにより前記車両の周囲が撮影された画像である撮影画像を取得する画像取得部と、
   前記車両の状態を取得する状態取得部と、
   前記状態取得部により取得された状態に基づいて、立体と該立体又は前記撮影画像の変形方法とを設定する設定部と、
   前記画像取得部により取得された撮影画像と前記設定部により設定された立体との対応関係を取得し、前記設定部により設定された変形方法に基づいて前記立体又は前記撮影画像の変形を行い、前記対応関係に基づいて前記撮影画像を前記立体上に写して像を生成して像データとする生成部と、
   前記生成部により生成された像データを、設定された視点から見た画像に変換して出力画像とする視点変換部と、
   を備える車両用画像処理装置。
2. 請求項１に記載の車両用画像処理装置において、
   前記設定部は、前記状態取得部により取得された状態に基づいて、前記立体と該立体の変形方法とを設定し、
   前記生成部は、前記変形方法に基づいて前記立体を変形し、前記対応関係に基づいて前記撮影画像上の情報を、変形された該立体上に写す車両用画像処理装置。
3. 請求項１または請求項２に記載の車両用画像処理装置において、
   前記立体は、複数の頂点で表され、
   前記生成部は、該頂点間の距離を変更することにより、前記立体の変形を行う車両用画像処理装置。
4. 請求項１乃至請求項３のいずれかに記載の車両用画像処理装置において、
   前記設定部は、前記変形前の立体と前記変形後の立体との組を複数保持し、前記状態取得部により取得された状態に基づいて、複数の前記組から１つを選択して前記変形方法とし、
   前記生成部は、前記設定部により選択された組に基づいて、前記変形前の立体から前記変形後の立体への変形を行う車両用画像処理装置。
5. 請求項１乃至請求項４のいずれかに記載の車両用画像処理装置において、
   前記設定部は、前記状態取得部により取得された状態に基づいて、前記立体の変形が必要であると判定した場合、前記変形方法を設定する車両用画像処理装置。
6. 車両内で表示される画像の生成を行う車両用画像処理方法であって、
   少なくとも１つのカメラにより前記車両の周囲が撮影された画像である撮影画像を取得し、
   前記車両の状態を取得し、
   取得された前記状態に基づいて、立体と該立体又は前記撮影画像の変形方法とを設定し、
   取得された前記撮影画像と設定された前記立体との対応関係を取得し、設定された前記変形方法に基づいて前記立体又は前記撮影画像の変形を行い、前記対応関係に基づいて前記撮影画像を前記立体上に写して像を生成して像データとし、
   生成された前記像データを、設定された視点から見た画像を生成して出力画像とする
   ことを行う車両用画像処理方法。
7. 車両内で表示される画像の生成をコンピュータに実行させる車両用画像処理プログラムであって、
   少なくとも１つのカメラにより前記車両の周囲が撮影された画像である撮影画像を取得し、
   前記車両の状態を取得し、
   取得された前記状態に基づいて、立体と該立体又は前記撮影画像の変形方法とを設定し、
   取得された前記撮影画像と設定された前記立体との対応関係を取得し、設定された前記変形方法に基づいて前記立体又は前記撮影画像の変形を行い、前記対応関係に基づいて前記撮影画像を前記立体上に写して像を生成して像データとし、
   生成された前記像データを、設定された視点から見た画像に変換して出力画像とする
   ことをコンピュータに実行させる車両用画像処理プログラム。

Images