JP2008017197A - 画像合成装置および画像合成方法 - Google Patents

Abstract

【課題】車両に搭載され、重複した撮像領域を持つ複数の車載カメラの画像を合成して車両周囲の画像を表示する際に、明るさや色合いの差異の小さな視認しやすい画像を表示するための画像合成装置を提供すること。
【解決手段】車載カメラ１０１から得られたそれぞれの車載カメラ画像を表示装置に表示する画像合成装置１０２において、互いに隣接して重複領域を含む車載カメラ画像を補正対象画像として選択する補正対象画像選択部１１１と、補正対象画像選択部１１１で選択された補正対象画像から互いにある重複領域の画像レベルに基づいて仮補正ゲインを算出する仮補正ゲイン算出部１１２と、仮補正ゲイン算出部１１２で算出された仮補正ゲインに基づいて車載カメラ１０１それぞれに対応する理想補正ゲインを更新して保持する理想補正ゲイン更新部１１３とを有し、理想補正ゲインを用いて車載カメラ画像それぞれの明るさまたは色合いを補正するよう構成する。
【選択図】図１

Description

本発明は、車両に搭載された複数台の車載カメラによる車載カメラ画像を合成して表示する画像合成装置および画像合成方法に関する。

近年、車両周囲に取り付けた複数台のカメラによる車載カメラ画像を、画像合成装置が、車両上方から見下ろした画像等、所定の仮想視点から見た画像に変形・合成することで、視認が容易な合成画像をリアルタイムで表示画面に表示する視点変換技術を用いた画像合成方法が開発されている。視点変換技術により、車内にいる運転者は、車両周囲の状況を表示画面で確認でき、駐車場での車庫入れ等の運転操作を容易にしたり、衝突事故を回避することが可能となる。

視点変換技術の一例を図を用いて示す。図７（ａ）は、車載カメラを搭載した自動車の上面図であり、図７（ｂ）はその側面図である。この車両では、５台のカメラ０〜４を搭載し、カメラ０が車両の真後ろを監視し、車両の左サイドの前後に取り付けられたカメラ１、２が車両の左サイド斜め後方を監視し、車両の右サイドの前後に取り付けられたカメラ３、４が車両の右サイド斜め後方を監視する様になっている。

図８は、図７に示す５台のカメラ０〜カメラ４の各車載カメラ画像、および、合成画像を示す図である。この合成画像の例では、車両が駐車場にバックするときの画像を示している。運転者が５台のカメラ０〜カメラ４の車載カメラ画像を順番に表示画面で監視することは困難であるので、一度に監視でき、しかも自分の車両の近傍周りを見やすくするために、画像合成装置が、５台のカメラの車載カメラ画像を、車両の上方位置の仮想視点から下方を見下ろした画像に変換して合成し、表示画面に表示するようにしている。尚、図８に示した自分の車両を表す画像は、各車載カメラ画像による合成画像ではなく（カメラには写らないため）、イラストデータの画像である。

ところが、複数台のカメラを車両に搭載し、画像合成装置が、各カメラによる車載カメラ画像を合成して表示装置の画面に表示する場合、単に車載カメラ画像を合成しただけでは、同一規格のカメラであっても、輝度や色バランス等をカメラ毎に独立に制御を行っているため、各車載カメラ画像を合成する際の境界部においてカメラ間で明るさにレベル差ができてしまい、合成画像が非常に見づらくなってしまう、という問題があった。

そこで、特許文献１には、上述した境界部においてカメラ同士の撮像範囲の一部が重複するように各カメラが配置されており、各カメラによる車載カメラ画像を合成する際、各カメラによる車載カメラ画像の重なった重複領域のレベルを参照してカメラ間の輝度や色バランスが一致するように補正を行う画像合成処理の技術が提案されている。

例えば、基準となる第１のカメラを決定した後、第１のカメラの重複領域のレベルに合うように、隣接する第２のカメラの補正ゲインを求める。補正後の第２のカメラの逆側の重複領域のレベルにあるように、隣接する第３のカメラの補正ゲインを求め、という処理を繰り返しすべてのカメラの補正ゲインを求める、という方法が特許文献１で提示されている。
特開２００２−３２４２３５号公報

しかしながら、従来の画像合成装置では、基準のカメラをもとに他のカメラの補正ゲインを決定しているため、基準のカメラのレベルの状態が画面全体に影響してしまうという課題が残されていた。例えば、基準となる第１のカメラの重複領域のレベルが低い場合、第２のカメラもそのレベルに合わせてしまうため、第２のカメラの補正ゲインは低くなり、さらにその先の第３のカメラは、第２のカメラのレベルに合わせるため、同様に低い補正ゲインになる。したがって、基準となる第１のカメラの重複領域のレベルに各補正ゲインが影響を受けて、画面全体が暗くなってしまう。

また、特定のカメラが異常になったときの考慮がなされていないため、特に基準カメラが異常になったときは、異常になった基準カメラのレベルに他のカメラのレベルを合わせようとするので、本来正常であるはずの他のカメラも補正によって異常になってしまう可能性があった。

本発明は、上述した従来の課題を解決するために、特定のカメラによる車載カメラ画像における明るさや色合いの影響を受けずに、また、異常なカメラによる車載カメラ画像が画像合成処理に影響するのを軽減しながら、互いに隣接したカメラ間による車載カメラ画像の輝度や色バランスの差異を軽減することのできる画像合成装置および画像合成方法を提供することを目的とする。

本発明の画像合成装置は、車両の周囲を一部重複して撮像する複数の車載カメラから得られたそれぞれの車載カメラ画像を合成して表示装置に表示する画像合成装置であって、
互いに隣接して重複領域を含む前記車載カメラ画像を補正対象画像として選択する補正対象画像選択部と、前記補正対象画像選択部によって選択された、互いに隣接した複数の補正対象画像の前記重複領域の画像レベルに基づいて、前記隣接した複数の補正対象画像の明るさまたは色合いの差異を小さくする仮補正ゲインを算出する仮補正ゲイン算出部と、前記仮補正ゲイン算出部によって算出された仮補正ゲインに基づいて前記車載カメラそれぞれに対応する理想補正ゲインを更新して保持する理想補正ゲイン更新部とを有し、前記理想補正ゲインを用いて前記車載カメラ画像それぞれの明るさまたは色合いを補正する構成を有している。

この構成により、特定の車載カメラ画像や、特定の車載カメラ画像間の境界部の状態のみで画面全体の明るさや色合いに影響を受けず、各車載カメラ画像の明るさや色合いの揃った合成画像が得られ、見やすい合成画像を得ることができる。

また、本発明の画像合成装置の前記補正対象画像選択部は、前記理想補正ゲインが算出された後、前記選択した複数の隣接した前記補正対象画像を１つの補正対象画像と見なした後、隣接した他の補正対象画像との組み合わせを再選択し、繰り返し前記理想補正ゲインが算出される構成を有している。

この構成により、理想補正ゲインの算出毎に、選択された補正対象画像の明るさや色合いを揃えるための補正ゲインが得られるため、明るさや色合いが不連続となる境界数は減少し、補正対象画像数を少なく数えることができる。

また、本発明の画像合成装置の前記補正対象画像選択部は、前記補正対象画像の数が２のべき乗である場合、前記理想補正ゲインが算出された後の前記補正対象画像の数が半分となるように、隣接した２つの前記補正対象画像の組み合わせを選択し、選択された各々の前記補正対象画像の組み合わせにおいて、前記理想補正ゲインが算出される構成を有している。

この構成により、明るさや色合いの異なる補正対象画像の数を、理想補正ゲインの算出毎に半分に減少させていくことができる。

また、本発明の画像合成装置の前記補正対象画像選択部は、前記補正対象画像の数が２のべき乗でない場合、前記理想補正ゲインが算出された後の前記補正対象画像の数が２のべき乗となるように、隣接した２つまたは３つの前記補正対象画像の組み合わせを選択し、選択された各々の前記補正対象画像の組み合わせにおいて、前記理想補正ゲインが算出される構成を有している。

この構成により、理想補正ゲインの算出後、補正対象画像の数を２のべき乗に減少させることができ、それ以降は、補正対象画像数が半分となるように２つの隣接した補正対象画像を選択していくことで、容易に明るさや色合いの異なる補正対象画像数を半分に減少させていくことができる。

また、本発明の画像合成装置の前記補正対象画像選択部は、前記補正対象画像の数が１つになるまで隣接した複数の前記補正対象画像を組み合わせて再選択することを繰り返す構成を有している。

この構成により、補正対象画像が１つになった際には各車載カメラ画像の明るさや色合いを揃えるための理想補正ゲインが得られており、各車載カメラ画像の繋ぎ目を目立たなくすることができる。

また、本発明の画像合成装置の前記理想補正ゲイン更新部は、前記仮補正ゲイン算出部によって算出された仮補正ゲインを既に保持している前記理想補正ゲインに乗じて前記理想補正ゲインを更新して保持する構成を有している。

この構成により、保持されている理想補正ゲインによって隣接した車載カメラ画像との明るさや色合いの揃っているものに対しては、揃った状態を保ちながら、さらに仮補正ゲイン算出に用いた補正対象画像を構成する車載カメラ画像との重複領域における明るさや色合いを揃えるための新たな理想補正ゲインを得ることができる。

また、本発明の画像合成装置は、前記理想補正ゲイン更新部が保持している各前記車載カメラに対応する理想補正ゲインを、前記補正対象画像選択部において選択された前記補正対象画像の重複領域の画像レベルに乗じた値を用いて、前記仮補正ゲインを算出する構成を有している。

この構成により、保持されている理想補正ゲインによって補正対象画像選択部で選択された補正対象画像を構成する各車載カメラ画像の明るさや色合いの揃っているものに対しては、明るさや色合いの揃った状態を保つことができる理想補正ゲインを反映しながら、補正対象画像選択部によって選択された補正対象画像との明るさや色合いを揃えるための理想補正ゲインの算出を行うことができる。

本発明の画像合成方法は、車両の周囲を一部重複して撮像する複数の車載カメラから得られたそれぞれの車載カメラ画像を合成して画像合成装置が表示装置に表示する画像合成方法において、互いに隣接して重複領域を含む前記車載カメラ画像を補正対象画像として選択する補正対象画像選択ステップと、前記補正対象画像選択ステップによって選択された、互いに隣接した複数の補正対象画像の前記重複領域の画像レベルに基づいて、前記隣接した複数の補正対象画像の明るさまたは色合いの差異を小さくする仮補正ゲインを算出する仮補正ゲイン算出ステップと、前記仮補正ゲイン算出ステップで算出された仮補正ゲインに基づいて前記車載カメラそれぞれに対応する理想補正ゲインを更新して保持する理想補正ゲイン更新ステップと、
前記理想補正ゲイン更新ステップで更新した理想補正ゲインを用いて前記車載カメラ画像それぞれの明るさまたは色合いを補正するステップとを有している。

この方法により、特定の車載カメラ画像や、特定の車載カメラ画像間の境界部の状態のみで画面全体の明るさや色合いに影響を受けず、各車載カメラ画像の明るさや色合いの揃った合成画像が得られ、見やすい合成画像を得ることができる。

以上のように本発明は、複数の車載カメラ画像を合成して表示装置に表示するときの視認が容易な合成画像をリアルタイムに生成する画像合成装置および画像合成方法に係り、特定の車載カメラによる車載カメラ画像における明るさや色合いの影響を受けずに、互いに隣接したカメラ間による車載カメラ画像の明るさ及び色合いの差異を小さくすることができ、視認しやすい合成画像を得るための画像合成装置および画像合成方法を提供することが可能となる。

以下、本発明の実施の形態の画像合成装置および画像合成方法について図面を用いて説明する。

（本発明の第１の実施の形態）
本発明の第１の実施の形態における画像合成装置のブロック図を図１に示す。画像合成装置１０２は、ｎ台の車載カメラ１０１、および、表示装置１０３が接続され、画像メモリ１０４と、画像抽出部１０５と、補正信号発生部１０６と、画像補正部１０７と、画像合成部１０８とを有する。補正信号発生部１０６は、画像レベル計測部１１０と、補正対象画像選択部１１１と、仮補正ゲイン算出部１１２と、理想補正ゲイン更新部１１３と、補正ゲイン決定部１１４とを有している。

ｎ台の車載カメラ１０１から入力された画像データは、画像メモリ１０４に記憶される。画像抽出部１０５は、画像メモリ１０４から合成に使用される画像データを読み出す。補正信号発生部１０６は、画像メモリ１０４から読み出された画像データから補正ゲインを算出し、画像補正部１０７は、補正信号発生部１０６で算出した補正ゲインに基づいて画像データの補正を行う。画像合成部１０８は、補正後の画像データの合成を行い、表示装置１０３に合成画像を表示し、例えば図８に示すように、車載カメラ１０１の各カメラから得られたそれぞれの車載カメラ画像を視点変換、合成して、表示装置１０３に表示する。

図２は、図１に示す補正信号発生部１０６と画像補正部１０７の行う画像合成補正処理の手順を示すフローチャートである。例えば、各車載カメラ１０１の車載カメラ画像を１秒に３０回ずつ画像合成装置１０２に取り込む場合、この画像合成補正処理は、車載カメラ画像を取り込む度に行われる。

まず、ステップＳ２００で、画像レベル計測部１１０は、補正に必要な各車載カメラ画像の各重複領域における明るさのレベルを表す画像レベルを赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色別に積算し、同時に画素数の計測を行う。このとき、画像レベル計測部１１０は、Ｒ、Ｇ、Ｂのどれか一色でもあらかじめ決められた閾値の範囲外になった画素を、画素数の計測から除外する。

次のステップＳ２０１で、画像レベル計測部１１０は、画面の有効期間の終わりの所定のタイミングで、各車載カメラ画像の各重複領域におけるＲ、Ｇ、Ｂの画像レベルの積算値を画素数で割り、各車載カメラ画像の各重複領域における画像レベルの平均値を算出する。また、これらの平均値は、次の画像合成補正処理が開始されるまで保持される。

次のステップＳ２０２で、補正対象画像選択部１１１は、隣接した複数の補正対象画像の組み合わせを複数組選択し、ステップＳ２０１で算出した車載カメラ画像の重複領域における画像レベルの平均値の内、各々の補正対象画像の組み合わせにおける重複領域の画像レベルの平均値の出力を指定する。また、補正対象画像数が２つしか無いときには補正対象画像の組み合わせを１組選択する。

次のステップＳ２０３では、画像レベル計測部１１０は、ステップＳ２０２にて指定された重複領域の画像レベルの平均値に、理想補正ゲイン更新部１１３にて保持している、それぞれの重複領域に対応した車載カメラの理想補正ゲイン値を乗じた値を出力する。なお、理想補正ゲインの初期値は、例えば１であり、これは車載カメラ画像を取り込む度に初期値に初期化される。

次のステップＳ２０４では、仮補正ゲイン算出部１１２は、補正対象画像選択部１１１がステップＳ２０２で選択した複数の隣接した補正対象画像の組み合わせの各々において、ステップＳ２０３にて出力された、隣接した補正対象画像の重複領域における画像レベルの平均値に理想補正ゲインを乗じた値の差異が小さくなるような、仮補正ゲインを算出する。

次のステップＳ２０５で、理想補正ゲイン更新部１１３は、保持されている各車載カメラ画像の理想補正ゲインに対し、ステップＳ２０４で算出した仮補正ゲインを、その補正対象画像に対応する各車載カメラ画像の理想補正ゲインに乗じることで理想補正ゲインの値を更新する。

次のステップＳ２０６で、補正対象画像選択部１１１はステップＳ２０２にて選択した、隣接した複数の補正対象画像の組み合わせの各々を１つの補正対象画像と見なす。

また、ステップＳ２０６以降は、すべての車載カメラ画像が１つの補正対象画像として見なせるまでステップＳ２０２〜ステップＳ２０６までの処理を繰り返し、すべての車載カメラ画像が１つの補正対象画像となったら、その時の理想補正ゲインを補正ゲイン決定部１１４に出力する。

次のステップＳ２０７で、補正ゲイン決定部１１４は、ステップＳ２０５で算出した理想補正ゲインをそのまま最終補正ゲインとするのではなく、ステップＳ２０５で算出した理想補正ゲインと現在決定されている最終補正ゲインとを比較し、比較結果に基づいて、例えば算出した理想補正ゲインと現在決定されている最終補正ゲインとの差が基準値以内であるとき、算出した理想補正ゲインを最終補正ゲインとして決定することにより、ゲインの急激な変動を防ぐ、いわゆる時定数処理を行う。

ここで、図３に示すように４台のカメラを車両周囲に取り付けた場合において、ステップＳ２０２〜ステップＳ２０６の処理の具体例について説明する。

図３の各カメラの斜線部分は、隣接する車載カメラ画像との重複領域であり、ｓｉｇＸ＿ＹＺは、画像レベル計測部１１０によって算出された重複領域のＲ、Ｇ、Ｂのうち特定の一色の画像レベルの平均値で、車載カメラ画像Ｙと車載カメラ画像Ｚの重複領域における車載カメラ画像Ｘの画像レベルの平均値を表している。

図４は、補正対象画像の組み合わせの選択について説明するための図である。本発明の第１の実施の形態では車載カメラを４個使っているため、ステップＳ２０２において、補正対象画像選択部１１１は、これら４つの車載カメラ画像すべてを補正対象画像とし、それぞれ画像０＿０、画像１＿０、画像２＿０、画像３＿０とする。

第一段階において、図４（ａ）で"○"で囲まれた重複領域はそれぞれ、平均レベルを合わせるための重複領域を表している。補正対象画像数は４であり、４は２のべき乗であるため、補正対象画像選択部１１１は、重複領域の平均レベルを合わせるために、隣接した２つの補正対象画像の組み合わせを指定する。図４（ａ）の例では、仮補正ゲイン算出部１１２は、指定された画像０＿０と画像３＿０の組と、画像１＿０と画像２＿０の２組の重複領域の平均レベルを合わせるための仮補正ゲインの算出を行う。詳細には、画像０＿０と画像３＿０の重複領域の平均レベル（ｓｉｇ０＿３０、ｓｉｇ３＿３０）、および、画像１＿０と画像２＿０の重複領域の平均レベル（ｓｉｇ１＿１２、ｓｉｇ２＿１２）を合わせるための仮補正ゲインの算出を行う。

まず、仮補正ゲイン算出部１１２は、画像０＿０と画像３＿０の重複領域の平均レベルに、理想補正ゲイン更新部１１３にて保持されているカメラ０の理想補正ゲイン（ｇａｉｎ０＿０）、カメラ３の理想補正ゲイン（ｇａｉｎ３＿０）を乗じた値を（Ｓ２０３）、一致させるための画像０＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ０＿０）、および、画像３＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ３＿０）を、（１）式のように求める。ここでは、理想補正ゲインｇａｉｎ０＿０、ｇａｉｎ３＿０の値は１（初期値）であるため、重複領域の平均レベルの値をそのまま算出に用いたものと同じ値となる。

また、仮補正ゲイン算出部１１２は、画像１＿０と画像２＿０の重複領域の平均レベルに、理想補正ゲイン更新部１１３にて保持されているカメラ１の理想補正ゲイン（ｇａｉｎ１＿０）、カメラ２の理想補正ゲイン（ｇａｉｎ２＿０）を乗じた値を（Ｓ２０３）、一致させるための、画像１＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ１＿０）、および、画像２＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ２＿０）を、（２）式のように求める。ここでは、理想補正ゲインｇａｉｎ１＿０、ｇａｉｎ２＿０の値は１（初期値）であるため、重複領域の平均レベルの値をそのまま算出に用いたものと同じ値となる。

（１）式および（２）式で求めた各車載カメラ画像の仮補正ゲインについては、画像０＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ０＿０）がカメラ０の仮補正ゲインであり、画像１＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ１＿０）がカメラ１の仮補正ゲインであり、画像２＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ２＿０）がカメラ２の仮補正ゲインであり、画像３＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ３＿０）がカメラ３の仮補正ゲインである。

理想補正ゲイン更新部１１３は、各カメラの仮補正ゲインをそれぞれ（３）式のように、理想補正ゲイン更新部１１３で保持されている各カメラの理想補正ゲインｇａｉｎ０＿０、ｇａｉｎ１＿０、ｇａｉｎ２＿０、ｇａｉｎ３＿０に乗じて、理想補正ゲインを更新して各カメラの理想補正ゲインｇａｉｎ０＿１、ｇａｉｎ１＿１、ｇａｉｎ２＿１、ｇａｉｎ３＿１を求める（Ｓ２０５）。なお、各カメラの理想補正ゲインの初期値は１とするため、各仮補正ゲインの値がそのまま反映される。

次に、第二段階において、補正対象画像選択部１１１は、図４（ｂ）に示すように第一段階で選択した隣接しあう補正対象画像である画像０＿０と画像３＿０の組を１つの画像０＿１とし、画像１＿０と画像２＿０の組を１つの画像１＿１として扱う（Ｓ２０６）。

図４（ｂ）で"△"で印を付した２つの重複領域は、第二段階において、平均レベルを合わせるための重複領域を表しており、補正対象画像選択部１１１は、それぞれ１つの補正対象画像と見なして扱う画像０＿１と画像１＿１を選択し（Ｓ２０２）、仮補正ゲイン算出部１１２は、選択されたこの１組の重複領域の平均レベルを合わせるための仮補正ゲインの算出を行う。詳細には、画像０＿１と画像１＿１の重複領域の平均レベル（ｓｉｇ０＿０１、ｓｉｇ１＿０１、ｓｉｇ２＿２３、ｓｉｇ３＿２３）を合わせるための仮補正ゲインの算出を行う（Ｓ２０４）。

まず、画像レベル計測部１１０は、選択された画像０＿１と画像１＿１に対して重複領域は２箇所存在するため、それぞれの車載カメラ画像における重複領域の平均レベルと、第一段階で保持されている理想補正ゲインの値を用いて（Ｓ２０３）、重複領域の平均レベルを求める。詳細には、画像０＿１の２箇所の重複領域の平均レベルの平均値（ａｖｅ＿ｓｉｇ３０）、画像１＿１の２箇所の重複領域の平均レベルの平均値（ａｖｅ＿ｓｉｇ１２）を（４）式のように求める。次に、仮補正ゲイン算出部１１２は、画像０＿１の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ０＿１）、および、画像１＿１の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ１＿１）を、（５）式のように求める。

（５）式で求めた各車載カメラ画像の仮補正ゲインについては、画像０＿１の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ０＿１）がカメラ０とカメラ３の仮補正ゲインであり、画像１＿１の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ１＿１）がカメラ１とカメラ２の仮補正ゲインである。

理想補正ゲイン更新部１１３は、各カメラの仮補正ゲインをそれぞれ（６）式のように、理想補正ゲイン更新部１１３で保持されている各カメラの理想補正ゲインｇａｉｎ０＿１、ｇａｉｎ１＿１、ｇａｉｎ２＿１、ｇａｉｎ３＿１に乗じて、理想補正ゲインを更新して各カメラの理想補正ゲインｇａｉｎ０＿２、ｇａｉｎ１＿２、ｇａｉｎ２＿２、ｇａｉｎ３＿２とする（Ｓ２０５）。

第二段階が終了した後、第二段階で用いた画像０＿１と画像１＿１を１つの画像として扱うと（Ｓ２０６）、すべての各車載カメラの画像を１つの補正対象画像として見なすことが可能となり、これ以降の複数補正対象画像の組み合わせの選択は不可能であるため、ステップＳ２０７に処理を進めることができる。また、第二段階が終了した後、理想補正ゲイン更新部１１３に保持されている理想補正ゲインｇａｉｎ０＿２、ｇａｉｎ１＿２、ｇａｉｎ２＿２、ｇａｉｎ３＿２の平均値を求め、各理想補正ゲインを平均値で割って規格化した理想補正ゲインが算出された時点でステップＳ２０７に処理を進めてもよい。

ステップＳ２０１〜ステップＳ２０７における画像合成補正処理をＲ、Ｇ、Ｂのそれぞれに対して行い、ステップＳ２０８において、画像補正部１０７は、ステップＳ２０７で決定した最終補正ゲインに基づいて画像メモリ１０４に記憶されている画像データの補正を行う。

以上説明したように、本発明の第１の実施の形態における画像合成装置は、４台の車載カメラを用いて車両の周囲を撮像する場合において特定の車載カメラ画像や、特定の車載カメラ画像の重複領域の影響を受けることなく、隣接した車載カメラ画像の明るさや色合いを揃えることが可能となる。

また、車載カメラ数が８台の場合、第一段階において２つの車載カメラ画像の組み合わせを４組選択すると、第二段階において補正対象画像は４つとなるので、２つの車載カメラ画像の組み合わせを２組選択し、第三段階において補正対象画像は２つとなるので、２つの車載カメラ画像の組み合わせを１組選択することで、明るさや色合いの揃った合成画像を得ることができる。

以上のように、本発明の第１の実施の形態では、車載カメラが４個の場合に限定されるものではなく、車載カメラ数が８個の場合等、更に多くの２のべき乗個の車載カメラによって車両の周囲を撮影する場合にも、隣接する２つの補正対象画像の組み合わせを理想補正ゲイン算出後の補正対象画像数が半分になるよう選択し、理想補正ゲインの算出を繰り返すことによって、車載カメラが４個の場合と同様の処理が可能である。

（本発明の第２の実施の形態）
本発明における第２の実施の形態について説明する。本発明の第２の実施の形態における画像合成装置の構成は、図１に示す通りであり、第１の実施の形態と同一であるため説明を省略する。

本発明における第２の実施の形態に係る画像合成補正処理については、図２を参照して説明する。本発明における第２の実施の形態では、図５に示すように５台のカメラを車両周囲に取り付け、視点変換、合成する際の、ステップＳ２０２〜ステップＳ２０６の動作について説明する。

図５の各カメラの斜線部分は、隣接する車載カメラ画像との重複領域であり、ｓｉｇＸ＿ＹＺは、画像レベル計測部１１０によって算出された重複領域のＲ、Ｇ、Ｂのうち特定の一色の画像レベルの平均値で、車載カメラ画像Ｙと車載カメラ画像Ｚの重複領域における車載カメラ画像Ｘの画像レベルの平均値を表している。

図６は、補正対象画像の組み合わせの選択について説明するための図である。本発明の第２の実施の形態では車載カメラを５個使っているため、ステップＳ２０２において、補正対象画像選択部１１１は、これら５つの車載カメラ画像すべてを補正対象画像とし、それぞれ画像０＿０、画像１＿０、画像２＿０、画像３＿０、画像４＿０とする。

第一段階において、図６（ａ）で"○"で囲まれた重複領域はそれぞれ、平均レベルを合わせるための重複領域を表している。第一段階においては補正対象画像数は２のべき乗ではないため、補正対象画像選択部１１１は、重複領域の平均レベルを合わせるために、隣接した２つの補正対象画像を１組、また、隣接した３つの補正対象画像を１組指定する。図６（ａ）の例では、補正対象画像選択部１１１は、画像２＿０と画像３＿０の組と、画像０＿０と画像１＿０と画像４＿０の組を指定し、仮補正ゲイン算出部１１２は、指定された組の車載カメラ画像の重複領域の平均レベルを合わせるための仮補正ゲインの算出を行う。

まず、仮補正ゲイン算出部１１２は、画像２＿０と画像３＿０の重複領域の平均レベル（ｓｉｇ２＿２３、ｓｉｇ３＿２３）を合わせるための仮補正ゲイン（ｇａｉｎ＿ｔｍｐ２＿０、ｇａｉｎ＿ｔｍｐ３＿０）を、（１）式や（２）式と同様にして求める。

また、仮補正ゲイン算出部１１２は、画像０＿０と画像１＿０と画像４＿０の重複領域の平均レベル（ｓｉｇ０＿０１、ｓｉｇ１＿０１、ｓｉｇ０＿４０、ｓｉｇ４＿４０）を合わせるために、画像０＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ０＿０）の値を１とし、画像０＿０と画像１＿０との重複領域の平均レベルに、理想補正ゲイン更新部１１３にて保持されているカメラ０の理想補正ゲイン（ｇａｉｎ０＿０）、カメラ１の理想補正ゲイン（ｇａｉｎ１＿０）を乗じた値（Ｓ２０３）を基準として（Ｓ２０３）画像１＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ１＿０）を求め、また、画像０＿０と画像４＿０との重複領域の平均レベルに、理想補正ゲイン更新部１１３にて保持されているカメラ０の理想補正ゲイン（ｇａｉｎ０＿０）、カメラ４の理想補正ゲイン（ｇａｉｎ４＿０）を乗じた値を基準として（Ｓ２０３）画像４＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ４＿０）を求める。ここで、仮補正ゲイン算出部１１２は、画像１＿０と画像４＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ１＿０、ｇａｉｎ＿ｔｍｐ４＿０）を、（７）式のように求める。ここでは、理想補正ゲインｇａｉｎ０＿０、ｇａｉｎ１＿０、ｇａｉｎ４＿０の値は１（初期値）であるため、重複領域の平均レベルの値をそのまま算出に用いたものと同じ値となる。

ここまでの計算で求めた各車載カメラ画像の仮補正ゲインについては、画像０＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ０＿０）がカメラ０の仮補正ゲインであり、画像１＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ１＿０）がカメラ１の仮補正ゲインであり、画像２＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ２＿０）がカメラ２の仮補正ゲインであり、画像３＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ３＿０）がカメラ３の仮補正ゲインであり、画像４＿０の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ４＿０）がカメラ４の仮補正ゲインである。

理想補正ゲイン更新部１１３は、各カメラの仮補正ゲインをそれぞれ（８）式のように、理想補正ゲイン更新部１１３にて保持されている各カメラの理想補正ゲインｇａｉｎ０＿０、ｇａｉｎ１＿０、ｇａｉｎ２＿０、ｇａｉｎ３＿０、ｇａｉｎ４＿０に乗じて、理想補正ゲインを更新して各カメラの理想補正ゲインｇａｉｎ０＿１、ｇａｉｎ１＿１、ｇａｉｎ２＿１、ｇａｉｎ３＿１、ｇａｉｎ４＿１を求める（Ｓ２０５）。なお、各カメラの理想補正ゲインの初期値は１とするため、各仮補正ゲインの値がそのまま反映される。

次に、第二段階において、補正対象画像選択部１１１は、図６（ｂ）に示すように第一段階において指定した画像２＿０と画像３＿０の組を１つの画像０＿１とし、画像０＿０と画像１＿０と画像４＿０の組を１つの画像１＿１として扱う（Ｓ２０６）。

図６（ｂ）で"△" で印を付した２つの重複領域は、第二段階において、平均レベルを合わせるための重複領域を表しており、補正対象画像選択部１１１は、それぞれ１つの補正対象画像と見なして扱う画像０＿１と画像１＿１の組み合わせを選択し（Ｓ２０２）、仮補正ゲイン算出部１１２は、選択されたこの１組の重複領域の平均レベルを合わせるための仮補正ゲインの算出を行う。詳細には、画像０＿１と画像１＿１の重複領域の平均レベル（ｓｉｇ１＿１２、ｓｉｇ２＿１２、ｓｉｇ３＿３４、ｓｉｇ４＿３４）を合わせるための仮補正ゲインの算出を行う（Ｓ２０４）。

まず、画像レベル計測部１１０は、選択された画像０＿１と画像１＿１に対して重複領域は２箇所存在するため、それぞれの車載カメラ画像における重複領域の平均レベルと、第一段階で保持されている理想補正ゲインの値を用いて（Ｓ２０３）、重複領域の平均レベルを求める。詳細には、画像０＿１の２箇所の重複領域の平均レベルの平均値（ａｖｅ＿ｓｉｇ２３）、画像１＿１の２箇所の重複領域の平均レベルの平均値（ａｖｅ＿ｓｉｇ０１４）を（９）式のように求める。次に、仮補正ゲイン算出部１１２は、画像０＿１の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ０＿１）、および、画像１＿１の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ１＿１）を、（１０）式のように求める。

（１０）式で求めた各車載カメラ画像の仮補正ゲインについては、画像０＿１の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ０＿１）がカメラ２とカメラ３の仮補正ゲイン、画像１＿１の仮補正ゲイン（ｇａｉｎ＿ｔｍｐ１＿１）がカメラ０とカメラ１とカメラ４の仮補正ゲインである。

理想補正ゲイン更新部１１３は、各カメラの仮補正ゲインをそれぞれ（１１）式のように、理想補正ゲイン更新部１１３で保持されている各カメラの理想補正ゲインｇａｉｎ０＿１、ｇａｉｎ１＿１、ｇａｉｎ２＿１、ｇａｉｎ３＿１、ｇａｉｎ４＿１に乗じて、理想補正ゲインを更新して各カメラの理想補正ゲインｇａｉｎ０＿２、ｇａｉｎ１＿２、ｇａｉｎ２＿２、ｇａｉｎ３＿２、ｇａｉｎ４＿２とする（Ｓ２０５）。

第二段階が終了した後、第二段階で用いた画像０＿１と画像１＿１を１つの画像として扱うと（Ｓ２０６）、すべての各車載カメラの画像を１つの補正対象画像として見なすことが可能となり、これ以降の複数補正対象画像の組み合わせの選択は不可能であるため、ステップＳ２０７に処理を進めることができる。また、第二段階が終了した後、理想補正ゲイン更新部１１３に保持されている理想補正ゲインｇａｉｎ０＿２、ｇａｉｎ１＿２、ｇａｉｎ２＿２、ｇａｉｎ３＿２、ｇａｉｎ４＿２の平均値を求め、各理想補正ゲインを平均値で割って規格化した理想補正ゲインが算出された時点でステップＳ２０７に処理を進めてもよい。

ステップＳ２０１〜ステップＳ２０７における画像合成補正処理をＲ、Ｇ、Ｂのそれぞれに対して行い、ステップＳ２０８において、画像補正部１０７は、ステップＳ２０７で決定した補正ゲインに基づいて画像メモリ１０４に記憶されている画像データの補正を行う。

以上説明したように、本発明の第２の実施の形態における画像合成装置は、５台の車載カメラを用いて車両の周囲を撮像する場合において特定の車載カメラ画像や、特定の車載カメラ画像の重複領域の影響を受けることなく、隣接した車載カメラ画像の明るさや色合いを揃えることが可能となる。

また、本発明の第２の実施の形態では、５台の車載カメラを用いた場合、第一段階において補正対象画像選択部１１１は２つの補正対象画像の組み合わせと３つの補正対象画像の組み合わせを選択して仮補正ゲインを算出し、第二段階において２つの補正対象画像の組み合わせを選択して仮補正ゲインを算出したが、別の処理手順として、補正対象画像選択部１１１は、第一段階において２つの車載カメラ画像の組み合わせを１組だけ選択して理想補正ゲインを算出した後、第二段階において補正対象画像数は４つとなるので、それ以降は第１の実施の形態と同様の手順で、明るさや色合いの揃った合成画像を得るための各車載カメラの補正ゲインを算出することが可能である。

また、本発明の第２の実施の形態では、車載カメラの数を５台としたが、他の２のべき乗でない台数においても実施が可能である。例えば、車載カメラ数が６台の場合、補正対象画像選択部１１１は、第一段階において３つの補正対象画像の組み合わせを２組選択すると、第二段階において補正対象画像は２つとなるので、２つの補正対象画像の組み合わせを１組選択することで、明るさや色合いの揃った合成画像を得ることができる。

以上のように補正対象画像数が２のべき乗でない場合、補正対象画像選択部１１１は補正対象画像数が２のべき乗となるように、補正対象画像として、隣接した２つの車載カメラ画像の組み合わせ、もしくは隣接した３つの車載カメラ画像の組み合わせを選択する。従って、補正対象画像数が２のべき乗となった以降は、第１の実施の形態と同様の処理を行い、補正対象画像数を半減させていくことで、明るさや色合いの揃った合成画像を得ることが可能である。

本発明の実施の形態では、複数の車載カメラが車両の全周囲を撮像される場合に限定されるものではなく、車両の周囲の一部、例えば、車両の側方と後方のみを重複しながら撮像する場合にも全周囲を撮像する場合と同様の処理が可能である。

以上のように、本発明に係る画像合成装置および画像合成方法は、各々の車載カメラによる車載カメラ画像の明るさ或いは色合いを揃えるための補正ゲインを算出する際に、車載カメラ画像の個数及び位置に応じて、複数の隣接した補正対象画像を選択する補正対象画像選択部と、補正対象画像選択部にて選択された、重複した撮像範囲を持つ複数の隣接した補正対象画像の明るさ或いは色合いの差異を小さくするための仮補正ゲインを算出する仮補正ゲイン算出部と、仮補正ゲイン算出部にて算出された仮補正ゲインの値から、各車載カメラ画像の明るさ或いは色合いの補正を行うための理想補正ゲインを算出、保持する理想補正ゲイン更新部を有し、算出された理想補正ゲインに時定数処理を行ったものを用いて各車載カメラ画像の明るさ或いは色合いを補正し、複数の車載カメラの合成画像を表示装置に表示することにより、特定の車載カメラ画像や、特定の車載カメラ画像間の重複領域における明るさや色合いの影響を受けずに、互いに隣接した車載カメラ画像の明るさ及び色合いの差異を小さくすることができ、視認しやすい合成画像を得ることができる効果を有し、自車両の周囲を撮像する複数の車載カメラによる車載カメラ画像を合成して周囲の合成画像を表示装置に表示する車載カメラの画像合成装置等として有用である。

本発明の第１の実施の形態における画像合成装置のブロック図 本発明の実施の形態における画像合成補正処理の手順を示すフローチャート ４台のカメラを車両周囲に取り付けた場合の隣接する車載カメラ画像との重複領域とを示す図 補正対象画像が４つあった場合の補正対象画像の組み合わせの選択について説明するための図 ５台のカメラを車両周囲に取り付けた場合の隣接する車載カメラ画像との重複領域とを示す図 補正対象画像が５つあった場合の補正対象画像の組み合わせの選択について説明するための図 車載カメラを搭載した自動車を示す図 車載カメラによる各車載カメラ画像および合成画像を示す図

符号の説明

１０１ 車載カメラ
１０２ 画像合成装置
１０３ 表示装置
１０４ 画像メモリ
１０５ 画像抽出部
１０６ 補正信号発生部
１０７ 画像補正部
１０８ 画像合成部
１１０ 画像レベル計測部
１１１ 補正対象画像選択部
１１２ 仮補正ゲイン算出部
１１３ 理想補正ゲイン更新部
１１４ 補正ゲイン決定部

Claims (8)

1. 車両の周囲を一部重複して撮像する複数の車載カメラから得られたそれぞれの車載カメラ画像を合成して表示装置に表示する画像合成装置であって、
   互いに隣接して重複領域を含む前記車載カメラ画像を補正対象画像として選択する補正対象画像選択部と、
   前記補正対象画像選択部によって選択された、互いに隣接した複数の補正対象画像の前記重複領域の画像レベルに基づいて、前記隣接した複数の補正対象画像の明るさまたは色合いの差異を小さくする仮補正ゲインを算出する仮補正ゲイン算出部と、
   前記仮補正ゲイン算出部によって算出された仮補正ゲインに基づいて前記車載カメラそれぞれに対応する理想補正ゲインを更新して保持する理想補正ゲイン更新部とを有し、
   前記理想補正ゲインを用いて前記車載カメラ画像それぞれの明るさまたは色合いを補正することを特徴とする画像合成装置。
2. 前記補正対象画像選択部は、前記理想補正ゲインが算出された後、前記選択した複数の隣接した前記補正対象画像を１つの補正対象画像と見なした後、隣接した他の補正対象画像との組み合わせを再選択し、繰り返し前記理想補正ゲインが算出されることを特徴とする請求項１に記載の画像合成装置。
3. 前記補正対象画像選択部は、前記補正対象画像の数が２のべき乗である場合、前記理想補正ゲインが算出された後の前記補正対象画像の数が半分となるように、隣接した２つの前記補正対象画像の組み合わせを選択し、選択された各々の前記補正対象画像の組み合わせにおいて、前記理想補正ゲインが算出されることを特徴とする請求項１に記載の画像合成装置。
4. 前記補正対象画像選択部は、前記補正対象画像の数が２のべき乗でない場合、前記理想補正ゲインが算出された後の前記補正対象画像の数が２のべき乗となるように、隣接した２つまたは３つの前記補正対象画像の組み合わせを選択し、選択された各々の前記補正対象画像の組み合わせにおいて、前記理想補正ゲインが算出されることを特徴とする請求項１に記載の画像合成装置。
5. 前記補正対象画像選択部は、前記補正対象画像の数が１つになるまで隣接した複数の前記補正対象画像を組み合わせて再選択することを繰り返すことを特徴とする請求項３または請求項４に記載の画像合成装置。
6. 前記理想補正ゲイン更新部は、前記仮補正ゲイン算出部によって算出された仮補正ゲインを既に保持している前記理想補正ゲインに乗じて前記理想補正ゲインを更新して保持することを特徴とする請求項１に記載の画像合成装置。
7. 前記理想補正ゲイン更新部が保持している各前記車載カメラに対応する理想補正ゲインを、前記補正対象画像選択部において選択された前記補正対象画像の重複領域の画像レベルに乗じた値を用いて、前記仮補正ゲインを算出することを特徴とする請求項１に記載の画像合成装置。
8. 車両の周囲を一部重複して撮像する複数の車載カメラから得られたそれぞれの車載カメラ画像を合成して画像合成装置が表示装置に表示する画像合成方法において、
   互いに隣接して重複領域を含む前記車載カメラ画像を補正対象画像として選択する補正対象画像選択ステップと、
   前記補正対象画像選択ステップによって選択された、互いに隣接した複数の補正対象画像の前記重複領域の画像レベルに基づいて、前記隣接した複数の補正対象画像の明るさまたは色合いの差異を小さくする仮補正ゲインを算出する仮補正ゲイン算出ステップと、
   前記仮補正ゲイン算出ステップで算出された仮補正ゲインに基づいて前記車載カメラそれぞれに対応する理想補正ゲインを更新して保持する理想補正ゲイン更新ステップと、
   前記理想補正ゲイン更新ステップで更新した理想補正ゲインを用いて前記車載カメラ画像それぞれの明るさまたは色合いを補正するステップとを有することを特徴とする画像合成方法。