JP2012065228A - 画像処理装置、画像表示システム及び画像表示方法 - Google Patents

Abstract

【課題】画角が狭い画像を取得するための専用のカメラがなくても、合成画像と画角が狭い画像とのいずれも生成する。
【解決手段】画像表示システムの画像処理回路３においては、画像合成部３２が、複数の撮影画像Ｐ１〜Ｐ４に基づいて、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する。一方で、歪補正部３３が、複数の撮影画像Ｐ１〜Ｐ４のうちの一の撮影画像Ｐ４の一部の領域の歪みを補正して、一の撮影画像Ｐ４より画角が狭い歪補正画像ＲＰを生成する。このため、画角が狭い画像を取得するための専用のカメラがなくても、合成画像と画角が狭い歪補正画像とのいずれも生成することができる。
【選択図】図３

Description

本発明は、車両において画像を表示する技術に関する。

従来より、自動車などの車両に搭載され、カメラで得られる撮影画像に基づいて車両の周辺の領域を示す画像を車室内の表示装置に表示する画像表示システムが知られている（例えば、特許文献１参照。）。この画像表示システムを利用することにより、ユーザ（代表的には、ドライバ）は車両の周辺の様子をほぼリアルタイムに把握することができる。

例えば、車両の後方領域は運転席から死角となりやすく、車両を後退させる場合において車両の後方領域に存在する物体をユーザは把握しにくい。これに対して、画像表示システムを利用すれば、車両の後方領域の様子を示す画像を車室内の表示装置に表示できるため、ユーザは車両の後方領域に存在する物体を確認しつつ、車両を安全に後退させることが可能となる。

特開２００９−０６１９６９号公報

近年では、車両の前後左右にそれぞれ配置された複数のカメラで得られる複数の撮影画像に基づいて、仮想視点からみた車両の周辺の領域を示す合成画像を生成して表示する画像表示システムも提案されている。この画像表示システムでは、例えば、車両の直上の視点からみた場合の車両の周辺の領域を示す合成画像を表示させることが可能である。

ところで、このような合成画像を表示する画像表示システムでは、できるだけ広い範囲を１台のカメラで撮影できるように、魚眼レンズや超広角レンズなどを有する広角カメラが利用される。したがって、各カメラにおいては、画角が非常に広い（例えば１８０度以上の）撮影画像が取得される。

一方で、このような画像表示システムにおいても、車両の周辺の特定領域のみを示す画像を表示させることも要求される。例えば、車両を後退させる際においては、車両の後方領域に存在する物体の確認のために、車両の後方領域のみを示す画像を表示させることが望ましい場合がある。

しかしながら、広角カメラで取得される撮影画像は、示される被写体の範囲が著しく広いとともに、画像の周辺の領域になるほど被写体の像の歪みが大きくなる。したがって、この撮影画像は、被写体同士の位置関係がわかりにくく、車両の周囲に存在する物体の確認のために用いることには適していない。

これに対応するため、車両の周辺の特定領域のみを示す、画角が比較的狭い撮影画像を取得する専用のカメラを、広角カメラとは別に設けることも考えられる。しかしながら、この場合においては、画像表示システムに必要なカメラの数が多くなり、画像表示システムのコストが高くなってしまう。

本発明は、上記課題に鑑みてなされたものであり、画角が狭い画像を取得するための専用のカメラがなくても、合成画像と画角が狭い画像とのいずれも生成できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載される表示装置に表示させる表示画像を生成する画像処理装置であって、前記車両に配置された複数のカメラそれぞれの撮影画像を取得する取得手段と、前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する合成手段と、前記複数の撮影画像のうちの一の撮影画像の一部の領域の歪みを補正して、前記一の撮影画像より画角が狭い歪補正画像を生成する歪補正手段と、前記合成画像及び前記歪補正画像の少なくとも１つを含む表示画像を、前記表示装置に出力して表示させる出力手段と、を備えている。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記出力手段は、前記合成画像及び前記歪補正画像の双方を並べて含む表示画像を、前記表示装置に出力して表示させる。

また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記歪補正手段の機能の有効化／無効化を切り替える切替手段、を備えている。

また、請求項４の発明は、車両に搭載され、表示画像を表示する画像表示システムであって、請求項１ないし３のいずれかに記載の画像処理装置と、前記表示画像を表示する表示手段と、を備えている。

また、請求項５の発明は、車両において、表示画像を表示する画像表示方法であって、前記車両に配置された複数のカメラそれぞれの撮影画像を取得する工程と、前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、前記複数の撮影画像のうちの一の撮影画像の一部の領域の歪みを補正して、前記一の撮影画像より画角が狭い歪補正画像を生成する工程と、前記合成画像及び前記歪補正画像の少なくとも１つを含む表示画像を表示する工程と、を備えている。

請求項１ないし５の発明によれば、一の撮影画像の一部の領域の歪みを補正してその撮影画像より画角が狭い歪補正画像を生成するため、画角が狭い画像を取得するための専用のカメラがなくても、合成画像と画角が狭い歪補正画像とのいずれも生成できる。

また、特に請求項２の発明によれば、画角が狭い画像を取得するカメラがなくても、合成画像及び歪補正画像の双方を同時に表示できる。

また、特に請求項３の発明によれば、歪み補正をしない画像を表示することができる。

図１は、画像表示システムの構成を示すブロック図である。 図２は、車両における車載カメラの配置の例を示す図である。 図３は、第１の実施の形態の画像処理回路が備える機能を示す図である。 図４は、合成画像を生成する手法を説明するための図である。 図５は、歪補正画像を生成する手法を説明するための図である。 図６は、表示装置に表示される表示画像の例を示す図である。 図７は、俯瞰モードにおける画像処理装置の動作の流れを示す図である。 図８は、第２の実施の形態の画像処理回路が備える機能を示す図である。 図９は、車両における車載カメラの配置の他の例を示す図である。 図１０は、表示装置に表示される表示画像の他の例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．システムの構成＞
図１は、本実施の形態の画像表示システム１００の構成を示すブロック図である。この画像表示システム１００は、車両に搭載され、当該車両の周辺の様子を示す画像を生成して車室内に表示する機能を有している。以下、車両は自動車であるものとして説明する。画像表示システム１００のユーザ（代表的にはドライバ）は、この画像表示システム１００を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。

図１に示すように、画像表示システム１００は、ユーザに対して各種情報を表示する表示装置２と、表示装置２に表示する表示画像を生成する画像処理装置１０と、車両の周辺を撮影する撮影部５と、ユーザが操作可能な切替スイッチ６とを主に備えている。

表示装置２は、液晶ディスプレイなどを備えており、画像処理装置１０で生成された車両の周辺の様子を示す各種の表示画像を表示する。表示装置２は、ユーザから視認可能なように車両のインストルメントパネルなどに配置される。

画像処理装置１０は、例えば、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である。画像処理装置１０は、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて、表示装置２に表示するための表示画像を生成する。画像処理装置１０は、表示装置２とは異なる車両の所定の位置に配置される。

撮影部５は、画像処理装置１０に電気的に接続され、画像処理装置１０からの信号に基づいて動作する。撮影部５は、複数の車載カメラ、具体的には、フロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３、及び、バックカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。これら４つの車載カメラ５１〜５４は、車両の前後左右にそれぞれ配置される。

図２は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。図２に示すように、フロントカメラ５１は車両９の前端に設けられ、その光軸５１ａは平面視で車両９の直進方向に向けられている。バックカメラ５４は、車両９の後端に設けられ、その光軸５４ａは平面視で車両９の直進方向の逆方向に向けられている。これらフロントカメラ５１やバックカメラ５４の取付位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

また、左サイドカメラ５２は左側のドアミラー９３に設けられ、その光軸５２ａは平面視で車両９の左右方向に沿って車両９の左側に向けられている。一方、右サイドカメラ５３は右側のドアミラー９３に設けられ、その光軸５３ａは平面視で車両９の左右方向に沿って車両９の右側に向けられている。

これらの車載カメラ５１〜５４のレンズとしては、魚眼レンズや超広角レンズなどが採用されている。このため、各車載カメラ５１〜５４の撮影可能な水平方向の角度θは１８０度以上となっており、４つの車載カメラ５１〜５４を利用することで車両９の全周囲の撮影が可能となっている。各車載カメラ５１〜５４では、画角（画像に示される被写体の範囲を示す角度）が非常に広い（１８０度以上の）撮影画像が取得されることになる。

図１に戻り、切替スイッチ６は、表示装置２の表示内容を切り替える指示をユーザから受け付ける。切替スイッチ６は、ユーザが操作しやすいように画像処理装置１０とは別の位置に配置される。

また、画像処理装置１０は、システム全体を制御する制御部１と、画像を処理する画像処理回路３と、不揮発性メモリ４０と、信号入力部４３とを主に備えている。

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。制御部１の各種の制御機能は、所定のプログラムに従ってＣＰＵが演算処理を行うことで実現される。制御部１は、例えば、切替スイッチ６を介したユーザの指示などに応じて表示装置２に表示させる内容を変更する制御などを行う。

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、制御部１の機能を実現するプログラム（ファームウェア）や、車体サイズなどの車両９に固有の情報を示す車両データなどが記憶されている。

信号入力部４３は、車両９に設けられた各種装置から信号を受け付ける。この信号入力部４３を介して、画像表示システム１００の外部のシフトセンサ８１からの信号からの信号が制御部１に入力される。シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。

画像処理回路３は、各種の画像処理機能を有するハードウェア回路である。画像処理回路３は、撮影部５から撮影画像を取得し、撮影画像を処理して表示装置２に表示するための表示画像を生成する。

図３は、画像処理回路３が備える機能を他の構成とともに示すブロック図である。画像処理回路３は、画像取得部３１、画像合成部３２、歪補正部３３、表示画像生成部３４及び画像出力部３５を備えている。

画像取得部３１は、撮影部５が備える複数の車載カメラ５１〜５４から複数の撮影画像Ｐ１〜Ｐ４をそれぞれ取得する。画像取得部３１は、アナログ信号の撮影画像をデジタル信号の撮影画像に変換（Ａ／Ｄ変換）する。画像取得部３１は、複数の撮影画像Ｐ１〜Ｐ４を画像合成部３２に入力する。また、画像取得部３１は、複数の撮影画像Ｐ１〜Ｐ４のうちバックカメラ５４で取得された撮影画像Ｐ４のみを歪補正部３３にも入力する。

画像合成部３２は、複数の撮影画像Ｐ１〜Ｐ４に基づいて、任意の仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する。画像合成部３２が合成画像ＣＰを生成する手法については後述する。

歪補正部３３は、複数の車載カメラ５１〜５４でそれぞれ取得された複数の撮影画像Ｐ１〜Ｐ４のうち、バックカメラ５４で取得された撮影画像Ｐ４のみを用いて、この撮影画像Ｐ４より画角が狭い画像を生成する。歪補正部３３は、撮影画像の一部の領域を切り出し、その領域に歪み補正を行って、被写体の像の歪みが補正された画像（以下、「歪補正画像」という。）ＲＰを生成する。この歪補正画像ＲＰは、車両９の周辺の特定領域、より具体的には車両９の後方領域のみを示す画像となる。歪補正部３３が歪補正画像ＲＰを生成する手法については後述する。

表示画像生成部３４は、画像合成部３２に生成された合成画像ＣＰ、及び、歪補正部３３に生成された歪補正画像ＲＰを用いて、表示装置２の表示に用いる表示画像ＤＰを生成する。表示画像ＤＰには、合成画像ＣＰ及び歪補正画像ＲＰの少なくとも１つが含まれる。

画像出力部３５は、表示画像生成部３４により生成された表示画像ＤＰを表示装置２に出力する。画像出力部３５は、デジタル信号の表示画像をアナログ信号の表示画像に変換（Ｄ／Ａ変換）して、表示装置２に受け渡す。これにより、合成画像ＣＰ及び歪補正画像ＲＰの少なくとも１つを含む表示画像ＤＰが表示装置２に表示される。

＜１−２．合成画像の生成＞
次に、画像合成部３２が、任意の仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する手法について説明する。図４は、合成画像ＣＰを生成する手法を説明するための図である。

撮影部５のフロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３及びバックカメラ５４で同時に撮影が行われると、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＴＳに投影される。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶された車両データに含まれている。

また、この車両データに含まれる車体の形状やサイズが利用され、車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＴＳが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両９の像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成される。

例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す合成画像ＣＰｂが生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＴＳの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

画像表示システム１００では、このような画像合成部３２の機能を利用することで、車両９の周辺の任意の仮想視点からみた合成画像を生成して、表示装置２に表示することができる。

＜１−３．歪補正画像の生成＞
次に、歪補正部３３が、撮影画像よりも画角が狭い歪補正画像ＲＰを生成する手法について説明する。図５は、歪補正画像ＲＰを生成する手法を説明するための図である。

歪補正部３３は、バックカメラ５４で取得された撮影画像Ｐ４から歪補正画像ＲＰを生成する。図に示すように、撮影画像Ｐ４は、水平方向の画角が１８０度以上あり、周辺の領域になるほど被写体の像に大きな歪みが生じている。

歪補正部３３は、この撮影画像Ｐ４の中央部分となる一部の領域Ａ１を切り出す。この領域Ａ１は撮影画像Ｐ４における中央部分であるため、領域Ａ１における被写体の像の歪みは比較的少ないが、ある程度の歪みは残っている。このため、歪補正部３３は、切り出した領域Ａ１に対して歪み補正処理を行い、被写体の像の歪みが補正された歪補正画像ＲＰを生成する。歪み補正処理の手法としては、座標変換などの周知の手法を用いればよい。生成された歪補正画像ＲＰの画角は撮影画像Ｐ４より狭く、例えば、歪補正画像ＲＰの水平方向の画角は１３５度となる。

歪補正部３３は、生成した歪補正画像ＲＰを拡大あるいは縮小して表示に必要なサイズにすることが可能である。例えば、撮影画像Ｐ４から切り出した画素で生成される歪補正画像ＲＰａは、撮影画像Ｐ４のサイズよりも小さくなる。このため、歪補正部３３が、歪補正画像ＲＰａに対して拡大処理を行うことで、撮影画像Ｐ４と同一のサイズの歪補正画像ＲＰｂを生成できる。

＜１−４．システムの動作＞
次に、画像表示システム１００の動作について説明する。画像表示システム１００は、シフトセンサ８１から入力されるシフトポジションが”Ｒ（後退）”となったことに応答して、表示画像ＤＰを生成して表示装置２に表示させる。また、画像表示システム１００は、シフトポジションが”Ｒ（後退）”以外となると、表示装置２における表示画像ＤＰの表示を停止する。

図６は、表示装置２に表示される表示画像ＤＰの例を示す図である。画像表示システム１００は、２つの表示モード、具体的には、バックカメラモードＭ１、及び、俯瞰モードＭ２を有している。これらの２つの表示モードは、ユーザが切替スイッチ６を押下するごとに切り替えられる。

２つの表示モードでは、表示装置２に表示される表示画像ＤＰの内容が異なっている。具体的には、バックカメラモードＭ１においては、車両９の後方領域を示す歪補正画像ＲＰのみを含む表示画像ＤＰ１が表示される。一方、俯瞰モードＭ２においては、歪補正画像ＲＰと、車両９をその直上から俯瞰する合成画像ＣＰとの双方を並べて含む表示画像ＤＰ２が表示される。

バックカメラモードＭ１では、歪補正画像ＲＰが比較的大きく表示されるため、車両９の後方領域に存在する物体を確認しやすい。一方、俯瞰モードＭ２では、歪補正画像ＲＰとともに、車両９を俯瞰する合成画像ＣＰが表示されるため、車両９の全周囲に存在する物体を確認することができる。ユーザは、必要に応じてこれらの表示モードを切り替えることが可能である。

図７は、俯瞰モードＭ２における画像処理装置１０の動作の流れを示す図である。まず、画像処理回路３の画像取得部３１が、４つの車載カメラ５１〜５４から４つの撮影画像Ｐ１〜Ｐ４を取得する（ステップＳ１１）。

次に、画像処理回路３の画像合成部３２が、画像取得部３１が取得した４つの撮影画像Ｐ１〜Ｐ４に基づいて車両９を俯瞰する合成画像ＣＰを生成する（ステップＳ１２）。

また、この合成画像を生成する処理と並行して、画像処理回路３の歪補正部３３が後方領域のみを示す歪補正画像ＲＰを生成する。歪補正部３３は、４つの撮影画像Ｐ１〜Ｐ４のうちのバックカメラ５４で取得された撮影画像Ｐ４のみを用いて歪補正画像ＲＰを生成する（ステップＳ１３）。

合成画像ＣＰと歪補正画像ＲＰの双方が生成されると、次に、画像処理回路３の表示画像生成部３４が、これらの合成画像ＣＰと歪補正画像ＲＰとを並べて含む表示画像ＤＰ２（図６参照。）を生成する（ステップＳ１４）。生成された表示画像ＤＰは、画像処理回路３の画像出力部３５から表示装置２に出力される（ステップＳ１５）。これにより、表示装置２において、合成画像ＣＰと歪補正画像ＲＰとの双方が同時に表示されることになる。

この図７に示す処理は、制御部１の制御により所定の周期（例えば、１／６０秒）で繰り返し実行される。これにより、表示装置２においては、車両９の周辺の状況が略リアルタイムに示される。

以上のように、画像表示システム１００においては、画像合成部３２が、複数の撮影画像Ｐ１〜Ｐ４に基づいて、仮想視点からみた車両９の周辺の領域を示す合成画像ＣＰを生成する。一方で、歪補正部３３が、複数の撮影画像Ｐ１〜Ｐ４のうちの一の撮影画像Ｐ４の一部の領域の歪みを補正して、一の撮影画像Ｐ４より画角が狭い歪補正画像ＲＰを生成する。このため、画角が狭い画像を取得するための専用のカメラがなくても、合成画像と画角が狭い歪補正画像とのいずれも生成することができる。

また、画像出力部３５が、合成画像ＣＰ及び歪補正画像ＲＰの双方を並べて含む表示画像ＤＰを表示装置２に出力して表示させるため、画角が狭い画像を取得するための専用のカメラがなくても、合成画像ＣＰと歪補正画像ＲＰとの双方を同時に表示することができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態においては、歪補正部３３の機能の有効化／無効化を切り替えることが可能となっている。以下、第１の実施の形態との相違点を中心に説明する。

図８は、第２の実施の形態の画像処理回路３ａが備える機能を他の構成とともに示すブロック図である。第２の実施の形態の画像処理回路３ａは、第１の実施の形態の画像処理回路３が有する機能に加えて、切替部３６をさらに備えている。

切替部３６は、歪補正部３３に信号を送信して、歪補正部３３の機能の有効化／無効化を切り替える。切替部３６は、レジスタを内蔵しており、このレジスタには歪補正部３３の機能を有効化するか無効化するかを示すフラグが予め記録される。切替部３６は、このフラグに応じて歪補正部３３の機能を有効化、あるいは、無効化することが可能である。

切替部３６が歪補正部３３の機能を有効化した場合は、画像処理回路３ａは第１の実施の形態の画像処理回路３と同一の処理を行うことになる。このような処理は、バックカメラ５４で得られる撮影画像Ｐ４の画角が広いタイプの画像表示システム（第１の実施の形態と同様の画像表示システム）において採用される。

一方、切替部３６が歪補正部３３の機能を無効化した場合は、バックカメラ５４で得られた撮影画像Ｐ４がそのまま表示画像ＤＰに含められて、表示装置２に表示されることになる。このような処理は、バックカメラ５４で得られる撮影画像Ｐ４の画角が狭いタイプの画像表示システムにおいて採用される。

例えば、図９に示すように、画像表示システムに用いられる４つの車載カメラ５１〜５４のうち、バックカメラ５４が撮影可能な水平方向の角度θａを１３５度とし、他の車載カメラ５１〜５４が撮影可能な水平方向の角度θを１８０度以上とする態様が考えられる。

このような態様の画像表示システムにおいても、左右のサイドカメラ５２，５３で取得される撮影画像は画角が１８０度以上あるため、車両９の全周囲の情報に基づいて合成画像を生成することができる。一方で、バックカメラ５４で取得される撮影画像Ｐ４は画角が１３５度となるため、撮影画像Ｐ４における被写体の像の歪みは比較的少なく、この撮影画像Ｐ４をそのまま表示に用いることができる。したがって、このような態様の画像表示システムでは、歪補正部３３による処理は不要となる。

本実施の形態の画像処理回路３ａは、歪補正部３３の機能の有効化／無効化を切り替え可能であるため、いずれのタイプの画像表示システムにおいても採用することができる。したがって、画像処理回路３ａの汎用性や、画像処理回路３ａを含む画像処理装置１０の汎用性を高くすることができる。

＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、バックカメラ５４で取得される撮影画像から歪補正画像を生成すると説明したが、他の車載カメラ５１〜５３で取得される撮影画像から特定領域のみを示す歪補正画像を生成するようにしてもよい。また、２以上の車載カメラで取得される複数の撮影画像のそれぞれから特定領域のみを示す歪補正画像を生成するようにしてもよい。例えば、図１０に示すように、左右のサイドカメラ５２，５３で取得された２つの撮影画像Ｐ２，Ｐ３のそれぞれから２つの歪補正画像ＲＰ１，ＲＰ２を生成し、それらを表示画像ＤＰ３に含ませるようにすることができる。図の例では、左側の歪補正画像ＲＰ１は車両９の左フロントフェンダの近傍領域のみを示し、右側の歪補正画像ＲＰ２は車両９の右フロントフェンダの近傍領域のみを示している。

また、上記実施の形態では、画像処理装置１０と表示装置２とは別の装置であるとして説明したが、画像処理装置１０と表示装置２とが同一の筐体内に配置されて一体型の装置として構成されてもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

２ 表示装置
３ 画像処理回路
１０ 画像処理装置
３１ 画像取得部
３２ 画像合成部
３３ 歪補正部
３５ 画像出力部
３６ 切替部
５４ バックカメラ
ＣＰ 合成画像
ＤＰ 表示画像
ＲＰ 歪補正画像

Claims (5)

1. 車両に搭載される表示装置に表示させる表示画像を生成する画像処理装置であって、
   前記車両に配置された複数のカメラそれぞれの撮影画像を取得する取得手段と、
   前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する合成手段と、
   前記複数の撮影画像のうちの一の撮影画像の一部の領域の歪みを補正して、前記一の撮影画像より画角が狭い歪補正画像を生成する歪補正手段と、
   前記合成画像及び前記歪補正画像の少なくとも１つを含む表示画像を、前記表示装置に出力して表示させる出力手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記出力手段は、前記合成画像及び前記歪補正画像の双方を並べて含む表示画像を、前記表示装置に出力して表示させることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記歪補正手段の機能の有効化／無効化を切り替える切替手段、
   を備えることを特徴とする画像処理装置。
4. 車両に搭載され、表示画像を表示する画像表示システムであって、
   請求項１ないし３のいずれかに記載の画像処理装置と、
   前記表示画像を表示する表示手段と、
   を備えることを特徴とする画像表示システム。
5. 車両において、表示画像を表示する画像表示方法であって、
   前記車両に配置された複数のカメラそれぞれの撮影画像を取得する工程と、
   前記複数の撮影画像に基づいて、仮想視点からみた前記車両の周辺の領域を示す合成画像を生成する工程と、
   前記複数の撮影画像のうちの一の撮影画像の一部の領域の歪みを補正して、前記一の撮影画像より画角が狭い歪補正画像を生成する工程と、
   前記合成画像及び前記歪補正画像の少なくとも１つを含む表示画像を表示する工程と、
   を備えることを特徴とする画像表示方法。

Images