JP2007325074A - 画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】画像の解像度を高く保ったまま、視点変換した変換画像と原画像とを同時に表示装置に表示させる。
【解決手段】第１乃至第４の撮影装置１ａ〜１ｄが画像撮影部５で撮影した通常ビュー画像を視点変換部８にて視点変換してトップビュー画像を生成し、これら通常ビュー画像とトップビュー画像との双方を画像処理装置２に出力する。また、画像処理装置２は、各撮影装置１ａ〜１ｄから出力されたトップビュー画像を合成して全周囲画像を生成し、表示装置３には全周囲画像といずれかの撮影装置からの通常ビュー画像とを同時に表示させる。
【選択図】図１

Description

本発明は、複数の車載カメラで撮影した画像を用いて合成画像を生成し、車両内部に設置した表示装置に表示する画像処理システム及び画像処理方法に関する。

従来、車両運転の際の安全確認を補助するために、車載カメラを用いて車両の周囲を監視するシステムが利用されている。例えば、特許文献１にて開示される監視システムでは、複数の車載カメラを車両の周囲に配置して、各車載カメラによって撮影された画像を変形・合成して車両周囲を車両上方の仮想視点から見下ろした様子を表す画像を生成し、モニタに表示している。
特開２００２−１９５５６号公報

ところで、特許文献１にて開示される監視システムでは、車載カメラで撮影した画像は原画像のまま画像処理部へと送られて、画像処理部において、原画像を視点変換することで変換画像（俯瞰画像）を作成している。そして、この視点変換の際に、画像の一部分が拡大されることになり、拡大された一部分の画像解像度が悪化してしまうという問題が生じる。

このような問題への対策としては、車載カメラの画素数を高くして車載カメラ内で視点変換を行い、この視点変更後の変換画像を画像処理部へ送るといった対策が考えられる。しかしながら、監視システムの用途としては、原画像を視点変換した変換画像だけでなく原画像も同時に表示装置に表示することが求めらる場合もあり、このような場合に、視点変更後の変換画像だけを画像処理部へ送信してしまうと、表示装置には視点変換した変換画像しか表示することができない。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、画像の解像度を高く保ったまま、視点変換した変換画像と原画像とを同時に表示装置に表示させることが可能な画像処理システム及び画像処理方法を提供することを目的としている。

本発明は、上述した課題を解決するために、複数の撮影装置が画像撮影部で撮影した原画像を視点変換して変換画像を生成し、これら複数の撮影装置から画像処理装置に対しては、原画像と変換画像との双方を出力できるようにする。また、画像処理装置は、複数の撮影装置から出力された変換画像を合成して合成画像を生成し、表示装置には原画像及び合成画像を表示するようにしている。

本発明によれば、複数の撮影装置が原画像と変換画像との双方を出力し、画像処理装置で変換画像を合成した合成画像及び原画像を表示装置が表示することにより、画像の解像度を高く保ったまま、原画像を視点変換した変換画像と原画像とを同時に表示させることができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

［第１の実施形態］
第１の実施形態としての画像処理システムの構成を図１に示す。本実施形態の画像処理システムは、第１乃至第４の撮影装置１ａ〜１ｄと、画像処理装置２と、表示装置３とを備えて構成される。

第１乃至第４の撮影装置１ａ〜１ｄは共通の内部構成を有し、主要な構成要素として、広角レンズ５ａ及び撮像素子５ｂからなる画像撮影部５と、この画像撮影部５で撮影した原画像を視点変換して変換画像を生成する視点変換部８とを有している。ここで、画像撮影部５で撮影した原画像は、第１乃至第４の撮影装置１ａ〜１ｄそれぞれの設置位置や角度に依存する各撮影装置１ａ〜１ｄ固有の視点位置から見た画像である。「視点変換」とは、この原画像を各撮影装置１ａ〜１ｄ固有の視点位置以外の仮想の視点位置から見た画像へと変換する処理のことをいう。なお、以下では、視点変換部８が原画像を車両上方の仮想視点から見下ろした俯瞰画像に視点変換する例を挙げ、原画像を「通常ビュー画像」、変換画像を「トップビュー画像」と呼ぶ。

第１乃至第４の撮影装置１ａ〜１ｄにおいて、画像撮影部５で撮影された通常ビュー画像の画像情報は、Ａ／Ｄ変換器６によりデジタル信号へと変換され、ＤＳＰ（Digital Signal Processor）７を介して二股に分岐される。そして、その一方は上述した視点変換部８及び回転部９を通ってから切替部１０に入力され、他方は視点変換部８及び回転部９を迂回して、切替部１０に直接入力される。回転部９では、画像処理装置２において合成画像が生成される際の向きに合わせて、視点変換部８での視点変換処理により生成されたトップビュー画像を回転させる処理を行う。

第１乃至第４の撮影装置１ａ〜１ｄでは、このように、通常ビュー画像とトップビュー画像との双方が切替部１０に入力される。そして、切替部１０が、通常ビュー画像とトップビュー画像とを交互に切り替えながら出力する。つまり、切替部１０は、１フレームごとにデータの伝送路を通常ビュー画像側とトップビュー画像側とで切替えて画像データを出力する。その後、Ｄ／Ａ変換器１１により、画像データはアナログ信号へ変換されて、画像処理装置２へ向けて出力される。このとき、第１乃至第４の撮影装置１ａ〜１ｄは、画像処理装置２において合成画像を生成する際に、視点変換部８で生成したトップビュー画像のうちで合成画像に必要な部分を切り出して、切り出した一部の画像を画像処理装置２へと出力することが望ましい。

画像処理装置２は、主要な構成要素として、第１乃至第４の撮影装置１ａ〜１ｄから出力されたトップビュー画像を合成して合成画像を生成する画像合成部１６を有している。なお、以下では、画像処理装置２の画像合成部１６が、第１乃至第４の撮影装置１ａ〜１ｄからのトップビュー画像を繋ぎ合わせて、車両周囲を車両上方の仮想視点から見下ろした合成画像を生成するものとし、この合成画像を「全周囲画像」と呼ぶ。

画像処理装置２において、第１乃至第４の撮影装置１ａ〜１ｄから出力されて当該画像処理装置２に入力された通常ビュー画像及びトップビュー画像の画像データは、それぞれ各撮影装置１ａ〜１ｄに対応して設けられたＡ／Ｄ変換器６によりデジタル信号へと変換され、画像合成部１６に入力される。そして、画像合成部１６が、各撮影装置１ａ〜１ｄからのトップビュー画像を合成して全周囲画像を生成する。その後、画像合成部１６により生成された全周囲画像や第１乃至第４の撮影装置１ａ〜１ｄからの通常ビュー画像の画像データが、Ｄ／Ａ変換器１７によりアナログ信号へ変換されて、表示装置３に出力される。表示装置３は、この画像処理装置２から出力された画像データに基づき、通常ビュー画像及び全周囲画像を表示する。

以上のように構成される本実施形態の画像処理システムにおいて、第１乃至第４の撮影装置１ａ〜１ｄは、例えば図２に示すように、車両２１の周囲４方向にそれぞれ設置される。ここでは、第１の撮影装置１ａを車両２１の前方に配置し、第２の撮影装置１ｂを車両２１の左側面に配置し、第３の撮影装置１ｃを車両２１の後方に配置し、第４の撮影装置１ｄを車両２１の右側面に配置した場合を例に挙げて説明する。また、ここでは、第１乃至第４の撮影装置１ａ〜１ｂが設置された車両２１の周囲の状況は、図３に示すように、車両２１の周囲が白線２２で囲まれ、白線２２の外側の左斜め前方に第１のポール２３ａが配置され、白線２２の外側の左斜め後方に第２のポール２３ｂが配置されているものとして説明する。

図４（ａ）乃至図４（ｄ）に示すように、図２のように配置された第１乃至第４の撮影装置１ａ〜１ｄの画像撮影部５は、図３のような状況にある車両２１の周囲を、それぞれの視点位置から見た通常ビュー画像として撮影することができる。例えば、第１の撮影装置１ａの画像撮影部５は、図４（ａ）に示すように、車両２１の前バンパーと、白線２２と、第１のポール２３ａとが映る通常ビュー画像を撮影し、第２の撮影装置１ｂの画像撮影部５は、図４（ｂ）に示すように、車両２１の左側面部と、白線２とが映る通常ビュー画像を撮影する。また、第３の撮影装置１ｃの画像撮影部５は、図４（ｃ）に示すように、車両２１の後ろバンパーと、白線２２と、第２のポール２３ｂとが映る通常ビュー画像を撮影し、第４の撮影装置１ｄの画像撮影部５は、図４（ｄ）に示すように、車両２１の右側面部と、白線２とが映る通常ビュー画像を撮影する。

第１乃至第４の撮影装置１ａ〜１ｄでは、図４（ａ）乃至図４（ｄ）の通常ビュー画像に対して視点変換部８で視点変換を行ってトップビュー画像を生成し、通常ビュー画像とともに画像処理装置２に出力する。そして、画像処理装置２の画像合成部１６が、第１乃至第４の撮影装置１ａ〜１ｄからのトップビュー画像を合成して全周囲画像を生成し、表示装置３に出力する。これにより、図５に示すように、トップビュー画像３１〜３４を繋ぎ合せた１つの連続した全周囲画像を表示装置３に表示することができる。なお、この図５に例示する全周囲画像において、トップビュー画像３１が第１の撮影装置１ａで撮影した図４（ａ）の通常ビュー画像を視点変換したものであり、トップビュー画像３２が第２の撮影装置１ｂで撮影した図４（ｂ）の通常ビュー画像を視点変換したものであり、トップビュー画像３３が第３の撮影装置１ｃで撮影した図４（ｃ）の通常ビュー画像を視点変換したものであり、トップビュー画像３４が第４の撮影装置１ｄで撮影した図４（ｄ）の通常ビュー画像を視点変換したものである。また、この全周囲画像では、各トップビュー画像３１〜３４の繋ぎ目部分にマスク線Ｍを重畳し、繋ぎ目部分の不連続性による違和感を緩和させるようにしている。

また、表示装置３には、図５に示すように、図４（ａ）乃至図４（ｄ）のいずれか１つの通常ビュー画像３５を、以上の全周囲画像と同時に表示することができる。なお、図５の例では、第１の撮影装置１ａで撮影した図４（ａ）の通常ビュー画像を、全周囲画像と同時に表示している。

図６は、第１乃至第４の撮影装置１ａ〜１ｄにおける切替部１０による画像データの切替え処理の様子を示すタイミングチャートである。各撮影装置１ａ〜１ｄの切替部１０は、所定のクロック周期に同期して、通常ビュー画像とトップビュー画像とを交互に出力する。なお、図６の（１）は、ＤＳＰ７から切替部１０に直接入力される画像データの入力タイミングを示し、図６の（２）は、ＤＳＰ７から視点変換部８及び回転部９を介して切替部１０に入力される画像データの入力タイミングを示す。このように、切替部１０には、通常ビュー画像とトップビュー画像のそれぞれが、クロック（ｔ１、ｔ２、・・・）に同期して同じタイミングで入力される。また、図６の（３）は、切替部１０からの出力タイミングを示す。このように、切替部１０は、通常ビュー画像とトップビュー画像を、クロック（ｔ１、ｔ２、・・・）に合わせて交互に出力している。

図７は、本実施形態の画像処理システムにおいて表示装置３に図５のような画像を表示させる際の一連の動作の概要を示すフローチャートである。表示装置３に図５のような画像を表示させる場合、図７に示すように、まず、ステップＳ１において、第１乃至第４の撮影装置１ａ〜１ｄの画像撮影部５が、車両周囲の通常ビュー画像を各々撮影する。次に、ステップＳ２において、第１乃至第４の撮影装置１ａ〜１ｄの視点変換部８が、画像撮影部５で撮影した通常ビュー画像を視点変換して、トップビュー画像を生成する。

次に、ステップＳ３において、第１乃至第４の撮影装置１ａ〜１ｄの切替部１０での処理により通常ビュー画像とトップビュー画像とを交互に切替えながら、これらの画像を第１乃至第４の撮影装置１ａ〜１ｄから画像処理装置２へと出力する。次に、ステップＳ４において、画像処理装置２の画像合成部１６が、第１乃至第４の撮影装置１ａ〜１ｄからのトップビュー画像を合成して全周囲画像を生成する。そして、ステップＳ５において、画像処理装置２から表示装置３へと、全周囲画像と第１乃至第４の撮影装置１ａ〜１ｄからの通常ビュー画像とを出力し、ステップＳ６において、図５のような全周囲画像と通常ビュー画像とを組み合わせた画像を表示装置３に表示させる。

以上説明した本発明の第１の実施の形態によれば、以下の作用効果が得られる。

まず、第１乃至第４の撮影装置１ａ〜１ｄの画像撮影部５の画像解像度、第１乃至第４の撮影装置１ａ〜１ｄと画像処理装置２との間の伝送路の帯域、及び表示装置３の画像解像度がすべて等しい場合を考える。この場合、図４（ａ）〜（ｄ）の通常ビュー画像を図５のトップビュー画像３１〜３４へと視点変換する際に、図５の拡大部分Ｗ１〜Ｗ４において、画素が２倍以上に引き伸ばされ、画像が悪化するという問題が生じる。そこで、撮像素子５ｂの画素数を増やして各撮影装置１ａ〜１ｄの画像撮影部５の解像度を高める。そして、各撮影装置１ａ〜１ｄの内部で視点変換を実施してトップビュー画像を生成する。これにより、トップビュー画像の劣化の問題は解消されることになる。

具体的に説明すると、撮像素子５ｂの画素数が３０万画素で、伝送路の帯域が３０万画素である場合に、各撮影装置１ａ〜１ｄの画像撮影部５で撮影された通常ビュー画像を３０万画素で画像処理装置２へ送信して、画像処理装置２内で視点変換を行ってトップビュー画像を生成すると、拡大された部分の画像が劣化してしまう。そこで、撮像素子５ｂの画素数を例えば１００万画素に増やして、各撮影装置１ａ〜１ｄの内部で視点変換を行い、視点変換後のトップビュー画像の画素数を３０万画素となるようにする。この状態であれば、劣化の生じないトップビュー画像を３０万画素の伝送路で画像処理装置２へと送信することができる。

しかしながら、図５に示したように、トップビュー画像３１〜３４を繋ぎ合せた全周囲画像のみならず通常ビュー画像３５も同時に表示装置３へ表示させる必要がある場合、各撮影装置１ａ〜１ｄから画像処理装置２に対して３０万画素の伝送路を用いてトップビュー画像及び通常ビュー画像を同時に送信すると、画像処理装置２で得られるトップビュー画像及び通常ビュー画像の解像度が１５万画素づつということになってしまう。

そこで、図６に示したクロック周期に同期して、各撮影装置１ａ〜１ｄの切替部１０がトップビュー画像及び通常ビュー画像を交互に送信する。これにより、画像処理装置２には、画像解像度が高い保ままのトップビュー画像と通常ビュー画像が送られることになり、トップビュー画像を繋ぎ合せた全周囲画像と通常ビュー画像とを、画像解像度を高く保ったまま同時に表示装置３に表示させることができる。

また、このとき、各撮影装置１ａ〜１ｄが通常ビュー画像を視点変換して生成したトップビュー画像のうち、画像処理装置２で全周囲画像を生成する際に必要な部分のみを抽出して画像処理装置２へと出力するようにすれば、伝送路上を流れるデータ量を必要最小限に抑えることができる。

また、各撮影装置１ａ〜１ｄが通常ビュー画像を視点変換して生成したトップビュー画像を、回転部９での回転処理により、画像処理装置２で全周囲画像を生成する際の向きに合わせて回転させて画像処理装置２へと出力するようにすれば、画像処理装置２での画像処理の負荷を低減させて、画像処理装置２を簡略化することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態としての画像処理システムの構成を図８に示す。本実施形態の画像処理システムは、上述した第１の実施形態と比較すると、第１乃至第４の撮影装置１ａ〜１ｄが、切替部１０（図１参照）の代わりに記憶部４１を有しており、回転部９を削除した構成となっている。なお、本実施形態の画像処理システムにおけるその他の点については、上述した第１の実施形態と同じであるので、以下では、第１の実施形態と同じ部分の説明は省略し、本実施形態に特徴的な部分についてのみ説明する。

第１乃至第４の撮影装置１ａ〜１ｄに設けられている記憶部４１は、４フレーム分（４画像分）の画像データを格納できる記憶容量を有する。そして、各撮影装置１ａ〜１ｄは、記憶部４１への書き込みと読み出しの速度比を１：２としている。また、これに伴い、各撮影装置１ａ〜１ｄは、Ｄ／Ａ変換器１１及びＡ／Ｄ変換器６として、図１に示した第１の実施形態のものと比べて、速度が２倍のものを使用している。

図９は、第１乃至第４の撮影装置１ａ〜１ｄにおける記憶部４１への画像データの書き込み及び読み出し処理の様子を示すタイミングチャートである。なお、図９の（１）は、ＤＳＰ７から記憶部４１に直接入力される画像データの入力タイミングを示し、図９の（２）は、ＤＳＰ７から視点変換部８を介して記憶部４１に入力される画像データの入力タイミングを示す。このように、記憶部４１には、通常ビュー画像とトップビュー画像のそれぞれが、書込クロック（ｔ１、ｔ２、・・・）に同期して同じタイミングで入力される。また、図９の（３）は、記憶部４１からの出力タイミングを示す。このように、記憶部４１からは、通常ビュー画像とトップビュー画像とが、読出クロック周期に合わせて交互に出力される。ここで、読出クロックの速度は書込クロックの速度の２倍であり、したがって、１回の書込クロックの間に、通常ビュー画像とトップビュー画像とが１回づつ出力されることになる。

以上のように、本実施形態の画像処理システムにおける第１乃至第４の撮影装置１ａ〜１ｄは、書き込み側では、時刻ｔ１で４フレーム分の画像データを格納できる記憶容量を持った記憶部４１のうち２フレーム分に、通常ビュー画像の画像データとトップビュー画像の画像データとを書き込んでいく。一方、読み出し側では、時刻ｔ２に書き込み速度の２倍の速度で通常ビュー画像の画像データとトップビュー画像の画像データとを読み出していく。これにより、１フレーム内で通常ビュー画像とトップビュー画像とを同時に伝送路に送出できる。また、時刻ｔ２の書き込み側では、記憶部４１のうちで時刻ｔ１で使用しなかった２フレーム分の記憶領域に新たな画像データを書き込んでいき、これを時刻ｔ３で読み出すものとすれば、画像データがあふれることなく、読み書きが可能である。

上述した第１の実施形態では、図６のタイミングチャートで示したように、時刻ｔ１、ｔ３ではトップビュー画像を出力できず、また、時刻ｔ２、ｔ４では通常ビュー画像を出力できないため、それぞれの画像のデータ量が１／２となってコマ落ちした画像となっているが、本実施形態によれば、図９のタイミングチャートで示したように、すべての時刻で通常ビュー画像とトップビュー画像との双方を出力することができ、コマ落ちのない画像の表示が可能となる。

このように、本実施形態の画像処理システムでは、第１乃至第４の撮影装置１ａ〜１ｄが４フレーム分の画像データを格納可能な記憶容量を持つ記憶部４１を備え、記憶部４１への書き込みと読み出しの速度比を１：２とすることにより、解像度の劣化がなく、かつコマ落ちがない画像を表示装置３に表示させることができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第３の実施形態としての画像処理システムの構成を図１０に示す。本実施形態の画像処理システムは、上述した第１の実施形態と比較すると、第１乃至第４の撮影装置１ａ〜１ｄが、視点変換部８の他に第２の視点変換部４２を有しており、回転部９を削除した構成となっている。なお、本実施形態の画像処理システムにおけるその他の点については、上述した第１の実施形態と同じであるので、以下では、第１の実施形態と同じ部分の説明は省略し、本実施形態に特徴的な部分についてのみ説明する。

第１乃至第４の撮影装置１ａ〜１ｄに設けられている第２の視点変換部４２は、画像撮影部５で撮影した通常ビュー画像を視点変換して、第２の変換画像を生成する。この第２の変換画像は、通常ビュー画像やトップビュー画像とも視点位置が異なる画像である。以下では、第２の視点変換部４２が通常ビュー画像を視点変換して、第２の変換画像として拡大画像を生成するものとする。本実施形態の画像処理システムでは、各撮影装置１ａ〜１ｄの切替部１０が、通常ビュー画像とトップビュー画像と拡大画像とを、１フレームごとに順番に切替えて出力する。

図１１は、第１乃至第４の撮影装置１ａ〜１ｄにおける切替部１０による画像データの切替え処理の様子を示すタイミングチャートである。各撮影装置１ａ〜１ｄの切替部１０は、所定のクロック周期に同期して、通常ビュー画像とトップビュー画像と拡大画像（第２の変換画像）とを順番に出力する。なお、図１１の（１）は、ＤＳＰ７から切替部１０に直接入力される画像データの入力タイミングを示し、図１１の（２）は、ＤＳＰ７から視点変換部８を介して切替部１０に入力される画像データの入力タイミングを示し、図１１の（３）は、ＤＳＰ７から第２の視点変換部４１を介して切替部１０に入力される画像データの入力タイミングを示す。このように、切替部１０には、通常ビュー画像とトップビュー画像と拡大画像（第２の変換画像）のそれぞれが、クロック（ｔ１、ｔ２、・・・）に同期して同じタイミングで入力される。また、図１１の（４）は、切替部１０からの出力タイミングを示す。このように、切替部１０は、通常ビュー画像とトップビュー画像と拡大画像（第２の変換画像）とを、クロック周期に合わせて順番に出力している。つまり、切替部１０は、時刻ｔ１では通常ビュー画像、時刻ｔ２ではトップビュー画像、時刻ｔ３では拡大画像、時刻ｔ４では通常ビュー画像、・・・といったように、クロック周期に合わせて各画像の画像データを順番に出力する。

以上のように、本実施形態の画像処理システムでは、第１乃至第４の撮影装置１ａ〜１ｄが画像撮影部５で撮影した通常ビュー画像を視点変換して第２の変換画像を生成する第２の視点変換部４２を備え、切替部１０が通常ビュー画像とトップビュー画像と拡大画像（第２の変換画像）とを１フレームごとに順番に切替えて出力するようにしている。これにより、本実施形態の画像処理システムでは、表示装置３に表示させる画像の構成を多様化させることができ、車両周囲の状況を更に詳細に表す画像を表示装置３に表示させることが可能となる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。第４の実施形態としての画像処理システムの構成を図１２に示す。本実施形態の画像処理システムは、上述した第３の実施形態と比較すると、第１乃至第４の撮影装置１ａ〜１ｄが、切替部１０（図１０参照）の代わりに記憶部４３を配置した構成となっている。なお、本実施形態の画像処理システムにおけるその他の点については、上述した第３の実施形態と同じであるので、以下では、本実施形態に特徴的な部分についてのみ説明する。

第１乃至第４の撮影装置１ａ〜１ｄに設けられている記憶部４３は、６フレーム分（６画像分）の画像データを格納できる記憶容量を有する。そして、各撮影装置１ａ〜１ｄは、記憶部４３への書き込みと読み出しの速度比を１：３としている。また、これに伴い、各撮影装置１ａ〜１ｄは、Ｄ／Ａ変換器１１及びＡ／Ｄ変換器６として、図１に示した第１の実施形態のものと比べて、速度が３倍のものを使用している。

図１３は、第１乃至第４の撮影装置１ａ〜１ｄにおける記憶部４３への画像データの書き込み及び読み出し処理の様子を示すタイミングチャートである。なお、図１３の（１）は、ＤＳＰ７から記憶部４３に直接入力される画像データの入力タイミングを示し、図１３の（２）は、ＤＳＰ７から視点変換部８を介して記憶部４３に入力される画像データの入力タイミングを示し、図１３の（３）は、ＤＳＰ７から第２の視点変換部４２を介して記憶部４３に入力される画像データの入力タイミングを示す。このように、記憶部４３には、通常ビュー画像とトップビュー画像と拡大画像（第２の変換画像）のそれぞれが、書込クロック（ｔ１、ｔ２、・・・）に同期して同じタイミングで入力される。また、図１３の（４）は、記憶部４３からの出力タイミングを示す。このように、記憶部４３からは、通常ビュー画像とトップビュー画像と拡大画像（第２の変換画像）とが、読出クロック周期に合わせて順番に出力される。ここで、読出クロックの速度は書込クロックの速度の３倍であり、したがって、１回の書込クロックの間に、通常ビュー画像とトップビュー画像と拡大画像（第２の変換画像）とが１回づつ出力されることになる。

以上のように、本実施形態の画像処理システムにおける第１乃至第４の撮影装置１ａ〜１ｄは、書き込み側では、時刻ｔ１で６フレーム分の画像データを格納できる記憶容量を持った記憶部４１のうち３フレーム分に、通常ビュー画像の画像データとトップビュー画像の画像データと拡大画像の画像データとを書き込んでいく。一方、読み出し側では、時刻ｔ２に書き込み速度の３倍の速度で通常ビュー画像の画像データとトップビュー画像の画像データと拡大画像の画像データとを読み出していく。これにより、１フレーム内で通常ビュー画像とトップビュー画像と拡大画像とを同時に伝送路に送出できる。また、時刻ｔ２の書き込み側では、記憶部４３のうちで時刻ｔ１で使用しなかった３フレーム分の記憶領域に新たな画像データを書き込んでいき、これを時刻ｔ３で読み出すものとすれば、画像データがあふれることなく、読み書きが可能である。

上述した第３の実施形態では、図１１のタイミングチャートで示したように、時刻ｔ１ではトップビュー画像と拡大画像とを出力できず、また、時刻ｔ２では通常ビュー画像と拡大画像とを出力できず、また、時刻ｔ３では通常ビュー画像とトップビュー画像とを出力できないため、それぞれの画像のデータ量が１／３となってコマ落ちした画像となっているが、本実施形態によれば、図１３のタイミングチャートで示したように、すべての時刻で通常ビュー画像とトップビュー画像と拡大画像とを出力することができ、コマ落ちのない画像の表示が可能となる。

このように、本実施形態の画像処理システムでは、第１乃至第４の撮影装置１ａ〜１ｄが６フレーム分の画像データを格納可能な記憶容量を持つ記憶部４３を備え、記憶部４３への書き込みと読み出しの速度比を１：３とすることにより、解像度の劣化がなく、かつコマ落ちがない画像を表示装置３に表示させることができる。

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。第５の実施形態としての画像処理システムの構成を図１４に示す。本実施形態の画像処理システムは、上述した第１の実施形態と比較すると、第１乃至第４の撮影装置１ａ〜１ｄが、切替部１０（図１参照）の代わりに第２の画像合成部４５を有しており、回転部９を削除した構成となっている。なお、本実施形態の画像処理システムにおけるその他の点については、上述した第１の実施形態と同じであるので、以下では、本実施形態に特徴的な部分についてのみ説明する。

第１乃至第４の撮影装置１ａ〜１ｄに設けられている第２の画像合成部４５は、例えば図１５に示すように、画像撮影部５で撮影した通常ビュー画像５１と、視点変換部８で生成したトップビュー画像５２とを合成して、これら通常ビュー画像５１とトップビュー画像５２とを繋ぎ合せた複合画像（第２の合成画像）５３を生成する。そして、各撮影装置１ａ〜１ｄは、この第２の画像合成部４５で生成した複合画像５３を画像処理装置２へと出力し、画像処理装置２の画像合成部１６が、これら各撮影装置１ａ〜１ｄから送られた複合画像を更に加工処理して、表示装置３に表示させる。

以上のように、本実施形態の画像処理システムでは、第１乃至第４の撮影装置１ａ〜１ｄが画像撮影部５で撮影した通常ビュー画像と視点変換部８で生成されたトップビュー画像とを合成して複合画像（第２の合成画像）を生成する第２の画像合成部４５を備え、この第２の画像合成部４５で生成された複合画像を画像処理装置２へと出力するようにしている。これにより、本実施形態の画像処理システムでは、表示装置３に通常ビュー画像とトップビュー画像とを同時に表示させる場合であっても、画素の拡大率が２倍以上になることがなく、解像度の高いきれいな画像を表示装置３に表示させることができる。

［変形例］
次に、上述した第５の実施形態の変形例を説明する。図１４に示した第１乃至第４の撮影装置１ａ〜１ｄのそれぞれは、図１５に例示したような複合画像（第２の合成画像）５３を生成する第２の画像合成部４５を備える。しかし、第２の画像合成部４５は、トップビュー画像を回転あるいは拡大縮小するなどの他の画像処理を行っていない。したがって、例えば図５の左側に示したような全周囲画像（合成画像）を表示装置３に表示させるためには、画像処理装置２の画像合成部１６において、第１乃至第４の撮影装置１ａ〜１ｄからの複合画像（第２の合成画像）に対して回転又は拡大縮小などその他の加工処理を施す必要があり、画像処理装置２での処理負荷が増大する。

そこで、図１６に示すように、第１乃至第４の撮影装置１ａ〜１ｄの内部において、第２の画像合成部４５で生成された複合画像のトップビューの画像部分を、最終的に表示装置３に表示される全周囲画像の表示形態にまで加工処理してから、画像処理装置２へと出力する。具体的には、第１乃至第４の撮影装置１ａ〜１ｄが、第２の画像合成部４５で生成した複合画像５３〜５６の左側のトップビューの画像部分を、全周囲画像５７における対応する画像部分５３ａ〜５６ａに合わせて、回転及び縮小する機能を備える。これにより、画像処理装置２で必要とされる画像処理の機能は大幅に削減され、第１乃至第４の撮影装置１ａ〜１ｄからの複合画像から必要な画像部分を取り出して合成する機能だけに簡略化することができ、画像処理装置２での処理負荷を大幅に低減させながら、表示装置３には図１６に示すような全周囲画像５７を表示させることができ、また、この全周囲画像５７と同時に、例えば第１の撮影装置１ａの画像撮影部５で撮影された通常ビュー画像５３ｂを表示装置３に表示させることができる。なお、各撮影装置１ａ〜１ｄ内に画像処理機能を設けるコストは、画像の拡大・縮小、平行移動、回転移動など簡単な関数計算に関するものであるため少なくてすむので、画像処理装置２に同様の機能を設ける場合に比べて、システム全体としてのコストを低下させることができる。

また、図１４に示した第１乃至第４の撮影装置１ａ〜１ｄの第２の画像合成部４５は、通常ビュー画像とトップビュー画像とを合成して図１５に例示したような複合画像５３を生成しているが、各撮影装置１ａ〜１ｄに第３の実施形態や第４の実施形態で説明したような第２の視点変換部４２（図１０や図１２参照）を設けて、この第２の視点変換部４２で拡大画像（第２の変換画像）を生成するようにし、これを第２の画像合成部４５で通常ビュー画像及びトップビュー画像とともに合成して、図１７に示すように、通常ビュー画像６０ａとトップビュー画像６０ｂと拡大画像６０ｃとを繋ぎ合せた複合画像６０を生成するようにしてもよい。この場合には、画像処理装置２での処理負荷を大幅に低減させながら、第３の実施形態や第４の実施形態と同様に、表示装置３に表示させる画像の構成を多様化させることができ、車両周囲の状況を更に詳細に表す画像を表示装置３に表示させることが可能となる。

なお、以上説明した画像処理システムは、本発明の一実施形態を例示したものであり、本発明の技術的範囲は、以上の各実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。

本発明の第１の実施形態としての画像処理システムの構成を示すブロック図である。 車両周囲に設置された第１乃至第４の撮影装置の配置例を示す模式図である。 車両の周囲の状況を示す模式図であり、車両周囲を白線が取り囲み、白線の外側にポールが配置された状況を示す図である。 第１乃至第４の撮影装置の画像撮影部で撮影された通常ビュー画像の例を示す図であり、（ａ）は第１の撮影装置、（ｂ）は第２の撮影装置、（ｃ）は第３の撮影装置、（ｄ）は第４の撮影装置で撮影された通常ビュー画像を示す図である。 表示装置に表示される全周囲画像及び通常ビュー画像の表示例を示す図である。 第１乃至第４の撮影装置の切替部による画像データの切替え処理の様子を示すタイミングチャートである。 第１の実施形態の画像処理システムにおいて表示装置に図５のような画像を表示させる際の一連の動作の概要を示すフローチャートである。 本発明の第２の実施形態としての画像処理システムの構成を示すブロック図である。 第１乃至第４の撮影装置における記憶部への画像データの書き込み及び読み出し処理の様子を示すタイミングチャートである。 本発明の第３の実施形態としての画像処理システムの構成を示すブロック図である。 第１乃至第４の撮影装置の切替部による画像データの切替え処理の様子を示すタイミングチャートである。 本発明の第４の実施形態としての画像処理システムの構成を示すブロック図である。 第１乃至第４の撮影装置における記憶部への画像データの書き込み及び読み出し処理の様子を示すタイミングチャートである。 本発明の第５の実施形態としての画像処理システムの構成を示すブロック図である。 第１乃至第４の撮影装置における第２の画像合成部が通常ビュー画像とトップビュー画像とを合成して複合画像を生成する様子を表す模式図である。 トップビューの画像部分が最終表示形態に合わせて加工処理された複合画像から、表示装置に表示させる最終表示形態の画像を生成する様子を表す模式図である。 第１乃至第４の撮影装置における第２の画像合成部で通常ビュー画像とトップビュー画像と拡大画像とを合成して生成される複合画像の例を示す図である。

符号の説明

１ａ〜１ｄ 撮影装置
２ 画像処理装置
３ 表示装置
５ 画像撮影部
８ 視点変換部
９ 回転部
１０ 切替部
１６ 画像合成部
４１ 記憶部
４２ 第２の視点変換部
４３ 記憶部
４５ 第２の画像合成部

Claims (10)

1. 画像撮影部と、前記画像撮影部で撮影した原画像を視点変換して変換画像を生成する視点変換部とを有し、前記原画像及び前記変換画像を出力する複数の撮影装置と、
   前記複数の撮影装置から出力された変換画像を合成して合成画像を生成する画像合成部を有する画像処理装置と、
   前記原画像及び前記合成画像を表示する表示装置とを備えることを特徴とする画像処理システム。
2. 前記撮影装置は、前記視点変換部で生成した変換画像の一部を前記画像処理装置に対して出力することを特徴とする請求項１に記載の画像処理システム。
3. 前記撮影装置は、前記視点変換部で生成した変換画像を前記合成画像における向きに合わせて回転させる回転部を更に有することを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記撮影装置は、前記原画像及び前記変換画像を前記画像処理装置に対して交互に出力することを特徴とする請求項１乃至３の何れかに記載の画像処理システム。
5. 前記撮影装置は、４画像分の記憶容量を持つ記憶部を更に有し、前記記憶部への書き込みと読み出しの速度比を１：２とすることを特徴とする請求項４に記載の画像処理システム。
6. 前記撮影装置は、前記画像撮影部で撮影した原画像を視点変換して第２の変換画像を生成する第２の視点変換部を更に備え、前記原画像と前記変換画像と前記第２の変換画像とを前記画像処理装置に対して順番に出力することを特徴とする請求項１乃至３の何れかに記載の画像処理システム。
7. 前記撮影装置は、６画像分の記憶容量を持つ記憶部を更に有し、前記記憶部への書き込みと読み出しの速度比を１：３とすることを特徴とする請求項６に記載の画像処理システム。
8. 前記撮影装置は、前記原画像と前記変換画像を合成して第２の合成画像を生成する第２の画像合成部を更に有することを特徴とする請求項１に記載の画像処理システム。
9. 画像撮影部と、前記画像撮影部で撮影した原画像を視点変換して変換画像を生成する視点変換部とを有する撮影装置と、
   前記原画像及び前記変換画像を表示する表示装置とを備えることを特徴とする画像処理システム。
10. 複数の撮影装置でそれぞれ原画像を撮影するステップと、
    前記複数の撮影装置で前記原画像を視点変換して変換画像を生成するステップと、
    前記複数の撮影装置から画像処理装置に対して前記原画像及び前記変換画像を出力するステップと、
    前記画像処理装置で前記複数の撮影装置から出力された変換画像を合成して合成画像を生成するステップと、
    前記原画像及び前記合成画像を表示装置に表示するステップとを有することを特徴とする画像処理方法。

Images