JP2007323495A - 画像合成装置 - Google Patents

Abstract

【課題】特定のカメラの状態に画面全体が影響されることなく、また特定のカメラの異常な状態が他のカメラに影響することなく、カメラ間の輝度、色バランスの差を軽減することができる画像合成装置を提供すること。
【解決手段】複数のカメラ２を隣接するカメラ同士の撮像範囲の一部が重複する重複部ができるように配置し、重複部の画像レベルを画像レベル計測部１３１で計測し、補正値算出手順決定部１３２が、各重複部における隣接カメラ間の信号レベル比によりゲインの補正値を算出する手順を定めた補正値算出手順を決定し、補正仮ゲイン算出部１３３が補正値算出手順に従って重複部でのレベル差を補正するための各カメラ２の仮ゲインを算出し、補正ゲイン規格化部１３４が全カメラのゲインを一倍に規格化し、補正ゲイン決定部１３５が規格化されたゲインと現在のゲインとの比較で最終ゲインを決定し、画像補正部１４が最終ゲインに基づいて画像を補正する。
【選択図】図１

Description

本発明は、複数のカメラで撮像した画像を合成する画像合成装置に関するものである。

近年、車両周辺に取り付けられた複数台のカメラの画像を、車両上方から見下ろした視点等の所定の仮想視点から見た画像に変形・合成し、リアルタイムで表示画面に表示する視点変換技術を用いた画像合成装置が開発されている。運転者は、車両周辺の状況を表示画面で確認でき、事故を回避したり、駐車場等での運転操作を容易にすることができる。

図５は、このような画像表示装置のカメラの搭載位置を示す図であり、図５（ａ）は、カメラを搭載した自動車の上面図であり、図５（ｂ）は、その左側面図である。

この自動車では、五台のカメラ１０１から１０５を搭載し、カメラ１０１が車両の真後ろを撮像し、車両の左サイドの前後に取り付けられたカメラ１０２、１０３が車両の左サイド斜め後方を撮像し、車両の右サイドの前後に取り付けられたカメラ１０４、１０５が車両の右サイド斜め後方を撮像するようになっている。

図６は、図５に示す五台のカメラ１０１から１０５の各撮像画像、および合成画像を示す図である。この例では、車両が駐車場にバックするときの画像を示している。

運転者が五台のカメラの撮像画像を順番に表示画面で監視することは困難であり、一度に監視でき、しかも自分の車両の近傍周りを見やすくするために、五台のカメラの撮像画像を、車両の上方位置の仮想視点から下方を見下ろした画像に変換して合成し、表示画面に表示するようにしている。なお、図６の合成画像で、自分の車両を表す画像は、カメラ画像の合成ではなく（カメラに写らないため）、イラストデータの画像である。

ところが、複数台のカメラを車両に搭載し、各カメラの撮像画像を合成して表示装置の画面に表示する場合、同一規格のカメラであっても、輝度や色バランス等をカメラ毎に独立に制御しているため、単に画像を合成しただけではカメラの境界部においてカメラ間でレベル差ができてしまい、非常に見づらい画像になってしまう、という問題があった。

このような問題を解決するため、車両周囲に取り付けられたカメラの画像を合成する際、カメラの境界部においてカメラ同士の撮像範囲の一部が重複するように配置し、これらの画像の重なった部分の画像レベルを参照して、カメラ間の輝度や色バランスが一致するように補正を行うことが提案されている（例えば、特許文献１参照）。

具体的には、基準となる第一のカメラを決定した後、第一のカメラの重複部の画像レベルに合うように、隣接する第二のカメラの補正ゲインを求める。補正後の第二のカメラの逆側の重複部の画像レベルに合うように、隣接する第三のカメラの補正ゲインを求め、という処理を繰り返して全てのカメラの補正ゲインを求める、という方法が提案されている。

また、同様に、二つの撮像画像に対し、第一の画像を基準とし、第二の画像の重複部の輝度レベルに一致するよう、第二の画像に補正を行うことも提案されている（例えば、特許文献２参照）。
特開２００２−３２４２３５号公報 特開平９−２４７３８４号公報

しかしながら、従来の画像合成装置においては、基準のカメラを基に他のカメラの補正ゲインを決定しているため、基準のカメラの画像レベルの状態が画面全体に影響する、という問題があった。

例えば、基準となる第一のカメラの重複部の画像レベルが低い場合、第二のカメラもそのレベルに合わせてしまうため、第二のカメラの補正ゲインは低くなり、さらにその先の第三のカメラは、第二のカメラのレベルに合わせるため、同様に低い補正ゲインになる。

したがって、基準となる第一のカメラの重複部のレベルに画面全体のゲインが影響を受けて、画面全体が暗くなってしまう。

また、特定のカメラが画異常になったときの考慮がなされていないため、特に基準カメラが画異常になったときは、異常なレベルに対して他のカメラを合わせようとするので、本来正常であるはずの他のカメラも補正によって異常になってしまう可能性があった。

本発明は、以上のような問題を解決するためになされたもので、特定のカメラの状態に画面全体が影響されることなく、また特定のカメラの異常な状態が他のカメラに影響することなく、カメラ間の輝度、色バランスの差を軽減することができる画像合成装置を提供することを目的とする。

本発明の画像合成装置は、車両の周囲を撮像する複数のカメラを、隣接するカメラの撮像範囲の一部が重複するように配置し、前記複数のカメラの撮像した画像を合成する画像合成装置であって、カメラごとに前記隣接するカメラの重複部分の全部または一部の画像レベルを計測する画像レベル計測部と、前記隣接するカメラの重複部分におけるカメラ間の画像レベルの比較を行い、比較結果に応じて補正値算出手順を決定する補正値算出手順決定部と、前記補正値算出手順に従って、隣接するカメラの前記画像レベルの差異が小さくなるような補正仮ゲインを算出する補正仮ゲイン算出部と、全カメラの前記補正仮ゲインの平均値により、前記補正仮ゲインを規格化する補正ゲイン規格化部と、前記規格化された補正ゲインにより画像を補正する画像補正部と、前記補正された画像を合成する画像合成部とを備える構成を有している。

この構成により、特定のカメラの重複部分の状態のみで画面全体のゲインが影響を受けることが無くなり、合成画像の画面表示を見やすくすることができる。

ここで、前記画像レベル計測部は、カメラごとに、前記重複部分の、画像レベルが予め設定された範囲内の画素の画像レベルを積算するとともに、画素数として計数し、所定のタイミングで前記画像レベルの積算値を前記画素数で除算し、この値を前記カメラの重複部分の画像レベルとする構成とした。

この構成により、画像レベルが異常な画素による影響を軽減することができ、合成画像の画面表示をさらに見やすくすることができる。

また、前記画像レベル計測部は、Ｒ、Ｇ、Ｂ全ての色の画像レベルが予め設定された範囲内であるときのみ、画像レベルの積算と画素数への計数を行う構成とした。

この構成により、Ｒ、Ｇ、Ｂの一色でも画像レベルが異常な画素による影響を軽減することができ、合成画像の画面表示をさらに見やすくすることができる。

また、前記補正値算出手順決定部は、前記重複部分におけるカメラ間の画像レベルの比が、予め設定された範囲外の重複部分は前記補正値算出手順から除外する構成とした。

この構成により、画像レベルの比が異常な重複部分による影響を軽減することができ、合成画像の画面表示をさらに見やすくすることができる。

さらに、前記補正ゲイン規格化部は、前記複数のカメラの前記補正仮ゲインの平均値が一倍になるように規格化する構成とした。

この構成により、補正前の画像に対して、画面全体の明るさが変動することを防ぐことができ、合成画像の画面表示をさらに見やすくすることができる。

本発明によれば、隣接するカメラの重複部分におけるカメラ間の画像レベルの比較を行い、比較結果に応じて補正値算出手順を決定し、この補正値算出手順に従って隣接するカメラの重複部分の画像レベルの差異が小さくなるような補正仮ゲインを算出した後、全カメラの補正仮ゲインの平均値で各カメラの補正仮ゲインを規格化しているので、特定のカメラの重複部分の状態のみで画面全体のゲインが影響を受けることを無くし、カメラ間の輝度、色バランスの差を軽減することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は本発明の一実施の形態の画像合成装置を示す図である。本実施の形態の画像合成装置は、従来例の図６で示したような複数のカメラのカメラ画像を、視点変換、合成して表示装置に表示させるものである。このとき、隣接するカメラの境界部において、カメラ同士の撮像範囲の一部が重複するように配置し、これらの画像の重なった部分（重複部）の画像レベルを参照して、カメラ間の輝度や色バランスが一致するように補正を行うようになっている。

図１において、本実施の形態の画像合成装置１は、ｎ台の車載カメラ２および表示装置３が接続され、車載カメラ２から入力されたカメラ画像を記憶する画像メモリ１１と、画像メモリ１１から合成に使用する画像データを出力させる画像抽出部１２と、画像メモリ１１から出力された画像データから補正値を算出する補正信号発生部１３と、補正信号発生部１３が算出した画像信号補正値に基づいて画像データの補正を行う画像補正部１４と、補正後の画像データの合成を行い表示装置３に画像を表示させる画像合成部１５とを備えている。

補正信号発生部１３は、画像レベル計測部１３１と、補正値算出手順決定部１３２と、補正仮ゲイン算出部１３３と、補正ゲイン規格化部１３４と、補正ゲイン決定部１３５とを有している。

図２は、補正信号発生部１３と画像補正部１４が行う画像合成補正処理手順を示すフローチャートである。

各カメラ画像を、１秒に例えば３０回ずつ画像合成装置１に取り込む場合、この画像合成補正処理は、画像を取り込む毎に行われる。

まず、画像レベル計測部１３１が、補正に必要な各隣接するカメラの画像の重複部における画像データの画素レベルを、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色別に積算し、同時に画素数の計測を行う（Ｓ１１）。このとき、Ｒ、Ｇ、Ｂの一色でも、予め決められた閾値の範囲外になった画素は計測から除外する。

そして、画面の有効期間の終わりの所定のタイミングで、各重複部における各カメラの画像データのＲ、Ｇ、Ｂの画素レベルの積算値を画素数で割り、各重複部における各カメラの信号レベルの平均値を算出する（Ｓ１２）。

次いで、補正値算出手順決定部１３２は、各重複部における各カメラの信号レベルの平均値により、各重複部における隣接カメラ間の信号レベル比をＲ、Ｇ、Ｂの色毎に算出する（Ｓ１３）。このとき、Ｒ、Ｇ、Ｂの一色でも、予め決められた閾値の範囲外になった場合は、その重複部は異常とみなす。

そして、補正値算出手順決定部１３２は、異常とされた重複部を除いた重複部の、ゲインの補正値を算出する手順（補正値算出の基準点や算出順序など）を定めた補正値算出手順を決定する（Ｓ１４）。

次いで、補正仮ゲイン算出部１３３は、補正値算出手順に従って、重複部でのレベル差を補正するための各カメラの仮ゲインを算出する（Ｓ１５）。

次いで、補正ゲイン規格化部１３４は、全カメラの仮ゲインの平均値を算出し（Ｓ１６）、各カメラの仮ゲインを全カメラの仮ゲインの平均値で割ることで、全カメラのゲインを一倍に規格化する（Ｓ１７）。

次いで、補正ゲイン決定部１３５は、各カメラの、補正ゲイン規格化部１３４で規格化されたゲインと、現在のゲインとを比較し、比較結果に基づいて、ゲインの急激な変動を防ぐ、いわゆる時定数処理を行って最終ゲインを決定する（Ｓ１８）。

画像補正部１４は、補正ゲイン決定部１３５が決定した最終ゲインに基づいて画像の補正を行う（Ｓ１９）。

次に、四台のカメラを車両周辺に取り付け、視点変換、合成する際の補正値算出手順決定部１３２、補正仮ゲイン算出部１３３、補正ゲイン規格化部１３４、における動作について、重複部における閾値判定の結果で場合分けして説明する。

図３は、四台のカメラの撮像領域を示す図であり、車両周辺のカメラ名の書かれた略台形の部分が各カメラの撮像領域であり、各カメラの撮像領域の斜線部分は、隣接するカメラとの重複領域（重複部）の画像であり、ｓｉｇＸ＿ＹＺは、重複部のＲ、Ｇ、Ｂのうちのある一色の信号のレベルで、Ｙ番カメラとＺ番カメラの重複部におけるＸ番カメラの信号レベルを表している。

図４は、重複部の閾値判定の結果に基づく計算順序を示している。図中の“×”は、重複部における隣接カメラ間の信号レベル比が閾値の範囲外であることを示し、また、“○”で囲った重複部もしくはカメラ名は計算開始の基準点、“→”は計算のフローを表している。なお、計算順序は各色共通であり、ゲインはＲ、Ｇ、Ｂ各々の信号レベルに従い、別々に算出を行う。

図４（ａ）は、全ての重複部の信号レベル比が閾値の範囲内に収まっている場合であり、このとき、補正値算出手順決定部１３２は、重複部のレベル比が最も１に近い重複部を基準に計算を開始する補正値算出手順とする。

図４（ａ）では、０番カメラと３番カメラの重複部の信号レベル比が最も１に近い場合の計算のフローを示している。

補正仮ゲイン算出部１３３は、まず、０番カメラと３番カメラの重複部のレベルを等しくするための、０番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ０）と３番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ３）を数１のように求める。

次いで、仮ゲインで補正した０番カメラの重複部にレベルが合うような１番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ１）、同様に、３番カメラの重複部にレベルが合うような２番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ２）を、数２のように求める。

そして、補正ゲイン規格化部１３４は、四台のカメラのゲインの平均値（ｇａｉｎａｖｅ）を数３のように求める。

次いで、各カメラの仮ゲインを仮ゲインの平均値で割り、各カメラのゲインを数４のように求める。

次に、図４（ｂ）は、一箇所の重複部のみの信号レベル比が閾値の範囲外になった場合であり、このとき、補正値算出手順決定部１３２は、閾値の範囲外となった重複部の対角線上に位置する重複部を基準に計算を開始する補正値算出手順とする。

図４（ｂ）では、１番カメラと２番カメラの重複部が閾値の範囲外になった場合の計算フローを示している。

この場合、１番カメラと２番カメラの重複部の対角線上の０番カメラと３番カメラの重複部を基準に計算を開始することになるが、これは、図４（ａ）の全ての重複部の信号レベル比が閾値の範囲内で、０番カメラと３番カメラの重複部の信号レベル比が最も１に近い場合の計算フローと同一となる。

次に、図４（ｃ）は、二箇所の重複部の信号レベル比が閾値の範囲外で、かつ信号レベル比が範囲外となった重複部は隣接する重複部の場合であり、このとき、補正値算出手順決定部１３２は、閾値の範囲外となった重複部を両方持つカメラの対角線上に位置するカメラを基準に計算を開始する補正値算出手順とする。

図４（ｃ）では、２番カメラの両側の重複部の信号レベル比が範囲外になった場合の計算フローを示している。

この場合、０番カメラを基準に１番カメラと３番カメラのゲインを算出し、２番カメラについては、両側の重複部の信号レベル比がともに閾値の範囲外で算出に使用できないため、ゲインは１（一倍）とする。

補正仮ゲイン算出部１３３は、まず、０番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ０）を１とし、０番カメラの境界部に合うように１番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ１）、および３番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ３）を数５のように求める。

そして、補正ゲイン規格化部１３４は、三台のカメラのゲインの平均値（ｇａｉｎａｖｅ０１３）を数６のように求める。

次いで、各カメラの仮ゲインを仮ゲインの平均値で割り、各カメラのゲインを数７のように求める。

なお、補正ゲイン規格化部１３４は、２番カメラのゲイン（ｇａｉｎ２）は、数８のように１とする。

次に、図４（ｄ）は、二箇所の重複部の信号レベル比が閾値の範囲外で、かつ信号レベル比が範囲外となった重複部は対角線上に位置する重複部の場合であり、このとき、補正値算出手順決定部１３２は、信号レベル比が閾値の範囲内である重複部のゲイン算出を独立に行う補正値算出手順とする。

図４（ｄ）では、０番カメラと１番カメラの重複部、および２番カメラと３番カメラの重複部の信号レベル比が閾値の範囲外となった場合の計算フローを示している。

０番カメラと３番カメラの重複部のレベルを等しくするためのゲイン算出と、１番カメラと２番カメラの重複部のレベルを等しくするためのゲイン算出を独立に行い、両者間は信号レベル比が閾値の範囲外の重複部をまたぐので、両者間でゲインの作用を及ぼす計算は行わない。

補正仮ゲイン算出部１３３は、０番カメラと３番カメラの重複部のレベルを等しくするための０番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ０）と３番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ３）を数９のように求める。

そして、補正ゲイン規格化部１３４は、０番カメラと３番カメラのゲインの平均値（ｇａｉｎａｖｅ０３）を数１０のように求める。

０番カメラと３番カメラのゲインの平均値は、数１０に示すように１である。したがって、補正ゲイン規格化部１３４が求める、仮ゲインを仮ゲインの平均値で割った０番カメラ、３番カメラのゲインは数１１で示すように仮ゲインと等しくなる。

同様に、補正ゲイン規格化部１３４は、１番カメラと２番カメラのゲインを数１２のように求める。

次に、図４（ｅ）は、三箇所の重複部の信号レベル比が閾値の範囲外の場合であり、このとき、補正値算出手順決定部１３２は、信号レベル比が閾値の範囲内である重複部のゲイン算出のみを行う補正値算出手順とする。

図４（ｅ）では、０番カメラと３番カメラの重複部の信号レベル比のみが閾値の範囲内である場合の計算フローを示している。

この場合、０番カメラと３番カメラの重複部のレベルを等しくするためのゲイン算出のみ行い、１番カメラ、２番カメラについては、両側の重複部の信号レベル比が閾値の範囲外のためゲイン計算は行わず、ゲインは１とする。

補正仮ゲイン算出部１３３は、０番カメラと３番カメラの重複部のレベルを等しくするための０番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ０）と３番カメラの仮ゲイン（ｇａｉｎ＿ｔｍｐ３）を、数１３のように求める。

そして、補正ゲイン規格化部１３４は、０番カメラと３番カメラのゲインの平均値（ｇａｉｎａｖｅ０３）を数１４のように求める。

０番カメラと３番カメラのゲインの平均値は、数１４に示すように１である。したがって、補正ゲイン規格化部１３４が求める、仮ゲインを仮ゲインの平均値で割った０番カメラ、３番カメラのゲインは数１５で示すように仮ゲインと等しくなる。

なお、補正ゲイン規格化部１３４は、１番カメラのゲイン（ｇａｉｎ１）、および２番カメラのゲイン（ｇａｉｎ２）は、数１６のように１とする。

以上のような、補正値算出手順決定部１３２、補正仮ゲイン算出部１３３、補正ゲイン規格化部１３４における、各カメラの補正値を算出する動作を、Ｒ、Ｇ、Ｂのそれぞれに対して行い、画像補正部１４において、補正値に基づいて画像の補正を行う。

なお、本実施の形態においては、平均値を相乗平均で求めたが、相加平均でも同様に実施可能である。

また、本実施の形態においては、カメラの取付台数を四台としたが、他の台数でも同様に実施可能である。

以上のように、本発明にかかる画像合成装置は、特定のカメラの重複部分の状態のみで画面全体のゲインが影響を受けることを無くし、カメラ間の輝度、色バランスの差を軽減することができるという効果を有し、複数のカメラで撮像した画像を合成する画像合成装置等として有用である。

本発明の一実施の形態における画像合成装置のブロック図 本発明の一実施の形態における画像合成装置の画像合成補正処理の手順を示すフローチャート 本発明の一実施の形態における画像合成装置の四台のカメラ画像とその合成画像の例を示す図 （ａ）本発明の一実施の形態における画像合成装置の全ての重複部の信号レベル比が閾値の範囲内に収まっている場合のゲイン算出手順を示す図 （ｂ）本発明の一実施の形態における画像合成装置の一箇所の重複部のみの信号レベル比が閾値の範囲外になった場合のゲイン算出手順を示す図 （ｃ）本発明の一実施の形態における画像合成装置の二箇所の重複部の信号レベル比が閾値の範囲外で、かつ信号レベル比が範囲外となった重複部は隣接する重複部の場合のゲイン算出手順を示す図 （ｄ）本発明の一実施の形態における画像合成装置の二箇所の重複部の信号レベル比が閾値の範囲外で、かつ信号レベル比が範囲外となった重複部は対角線上に位置する重複部の場合のゲイン算出手順を示す図 （ｅ）本発明の一実施の形態における画像合成装置の三箇所の重複部の信号レベル比が閾値の範囲外の場合のゲイン算出手順を示す図 （ａ）車載カメラを五台搭載した自動車の例を示す上面図 （ｂ）車載カメラを五台搭載した自動車の例を示す左側面図 車載カメラを五台搭載した自動車の各カメラの画像とその合成画像の例を示す図

符号の説明

１ 画像合成装置
２ 車載カメラ
３ 表示装置
１１ 画像メモリ
１２ 画像抽出部
１３ 補正信号発生部
１３１ 画像レベル計測部
１３２ 補正値算出手順決定部
１３３ 補正仮ゲイン算出部
１３４ 補正ゲイン規格化部
１３５ 補正ゲイン決定部
１４ 画像補正部
１５ 画像合成部
１０１〜１０５ カメラ

Claims (5)

1. 車両の周囲を撮像する複数のカメラを、隣接するカメラの撮像範囲の一部が重複するように配置し、前記複数のカメラの撮像した画像を合成する画像合成装置であって、
   カメラごとに前記隣接するカメラの重複部分の全部または一部の画像レベルを計測する画像レベル計測部と、
   前記隣接するカメラの重複部分におけるカメラ間の画像レベルの比較を行い、比較結果に応じて補正値算出手順を決定する補正値算出手順決定部と、
   前記補正値算出手順に従って、隣接するカメラの前記画像レベルの差異が小さくなるような補正仮ゲインを算出する補正仮ゲイン算出部と、
   全カメラの前記補正仮ゲインの平均値により、前記補正仮ゲインを規格化する補正ゲイン規格化部と、
   前記規格化された補正ゲインにより画像を補正する画像補正部と、
   前記補正された画像を合成する画像合成部とを備えることを特徴とする画像合成装置。
2. 前記画像レベル計測部は、カメラごとに、前記重複部分の、画像レベルが予め設定された範囲内の画素の画像レベルを積算するとともに、画素数として計数し、所定のタイミングで前記画像レベルの積算値を前記画素数で除算し、この値を前記カメラの重複部分の画像レベルとすることを特徴とする請求項１に記載の画像合成装置。
3. 前記画像レベル計測部は、Ｒ、Ｇ、Ｂ全ての色の画像レベルが予め設定された範囲内であるときのみ、画像レベルの積算と画素数への計数を行うことを特徴とする請求項２に記載の画像合成装置。
4. 前記補正値算出手順決定部は、前記重複部分におけるカメラ間の画像レベルの比が、予め設定された範囲外の重複部分は前記補正値算出手順から除外することを特徴とする請求項１から請求項３のいずれかに記載の画像合成装置。
5. 前記補正ゲイン規格化部は、前記複数のカメラの前記補正仮ゲインの平均値が一倍になるように規格化することを特徴とする請求項１から請求項４のいずれかに記載の画像合成装置。