JP2007329555A - 撮像制御装置、撮像システム、および撮像制御方法 - Google Patents

Abstract

【課題】撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像される撮像画像の明るさや色味などの差異を小さくして、合成などの後処理の負担を軽減する。
【解決手段】撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像された撮像画像の各々から重複領域を抽出し（ステップ１０２）、該抽出した重複領域の各画像に基づいて、複数の撮像装置の露出およびホワイトバランスの少なくとも一方を調整する（ステップ１０４、１０６、１０８）。
【選択図】図４

Description

本発明は、複数の撮像装置の露出やホワイトバランスを調整する撮像制御装置、撮像制御方法、および該撮像制御装置と複数の撮像装置とを含む撮像システムに関する。

互いに重複した撮像領域を有する複数画像の合成を、重複部分の画像の明るさ等を補正してから行なうことにより、良好に画像を合成することができる画像合成装置が知られている（例えば、特許文献１参照。）。

また、自車両の周りを撮像する複数の車載カメラの画像を合成して表示装置に表示する際に、複数の車載カメラのうち隣接するカメラ画像の画素データ間の差異が小さくなるように補正して前記複数の車載カメラの合成画像を表示する車載カメラの画像合成表示装置も知られている（例えば、特許文献２参照。）。
特開平９−９３４３０号公報 特開２００２−３２４２３５号公報

しかしながら、従来の合成装置では、撮像条件、環境、あるいは撮像装置の個体差などにより重複部分の各画像の明るさや色味の差異が大きくなる場合があり、これを補正してから合成すると、合成処理の負担が重くなって処理時間が長くなり、短時間に合成を行なうことができなくなる、という問題がある。特に、動画を複数のカメラで撮像し、合成して表示する場合に対応できない。

本発明は、上記問題を解決すべく成されたもので、撮像領域の一部が互いに重複するように配置された複数の撮像装置の撮像時の露出あるいはホワイトバランスを重複領域の画像に基づいて調整することにより、複数の撮像装置で撮像される撮像画像の明るさや色味などの差異を小さくすることができ、合成などの後処理の負担を軽減することができる撮像制御装置、撮像システム、撮像制御方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像制御装置は、撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像された撮像画像の各々から重複領域の画像を抽出する抽出手段と、前記抽出された重複領域の各画像に基づいて、前記複数の撮像装置のうち少なくとも２つの撮像装置の露出およびホワイトバランスの少なくとも一方を調整する調整手段と、を含んで構成されている。

このように、撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像するときに、該複数の撮像装置で撮像された撮像画像の重複領域の画像に基づいて該複数の撮像装置のうち少なくとも２つの撮像装置の露出およびホワイトバランスの少なくとも一方を調整するようにしたため、複数の撮像装置で撮像される撮像画像の明るさや色味などの差異を小さくすることができ、合成などの後処理の負担を軽減することができる。

前記調整手段は、前記複数の撮像装置のうち少なくとも２つの撮像装置の露出を調整する場合には、前記抽出された重複領域の各画像の輝度値を算出し、該各画像間の該算出した輝度値の差分が小さくなるように露出を調整することができる。

なお、重複領域の各画像の輝度値は、該重複領域全体の画像から算出してもよいし、該重複領域の一部の画像から算出してもよい。

前記調整手段は、前記算出された輝度値の差分が所定値以上の場合に、前記抽出された重複領域の各画像に基づいた露出の調整を行なうようにしてもよいし、前記調整手段は、前記算出された輝度値の差分が所定値未満の場合には、前記複数の撮像装置のうち基準となる撮像装置で撮像された撮像画像に基づいて前記複数の撮像装置のうち少なくとも２つの撮像装置の露出を調整するようにしてもよい。

また、前記調整手段は、前記複数の撮像装置のうち少なくとも２つの撮像装置のホワイトバランスを調整する場合には、前記抽出された重複領域の各画像のＲ，Ｇ，Ｂ信号の積算値を各色毎に算出し、該各画像間の該算出した各色毎の積算値の差分の各々が小さくなるようにホワイトバランスを調整することができる。

なお、重複領域の各画像のＲ、Ｇ、Ｂ信号の各色毎の積算値は、該重複領域全体の画像から算出してもよいし、該重複領域の一部の画像から算出してもよい。

前記調整手段は、前記算出された各色毎の積算値の差分の少なくとも１つが所定値以上の場合に、前記抽出された重複領域の各画像に基づいたホワイトバランスの調整を行なうようにしてもよいし、前記調整手段は、前記算出された各色毎の積算値の差分の各々が所定値未満の場合には、前記複数の撮像装置のうち基準となる撮像装置で撮像された撮像画像に基づいて前記複数の撮像装置のうち少なくとも２つの撮像装置のホワイトバランスを調整するようにしてもよい。

さらに、本発明の撮像システムは、撮像領域の一部が互いに重複するように配置された複数の撮像装置と、前記複数の撮像装置で撮像された撮像画像の各々から重複領域の画像を抽出する抽出手段、および前記抽出された重複領域の各画像に基づいて前記複数の撮像装置のうち少なくとも２つの撮像装置の露出およびホワイトバランスの少なくとも一方を調整する調整手段を含む撮像制御装置と、を含んで構成されている。

本発明の撮像制御方法は、撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像された撮像画像の各々から重複領域の画像を抽出する抽出ステップと、前記抽出された重複領域の各画像に基づいて、前記複数の撮像装置のうち少なくとも２つの撮像装置の露出およびホワイトバランスの少なくとも一方を調整する調整ステップと、を含んで構成されている。

本発明の撮像システム及び撮像制御方法も、撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像するときに、該複数の撮像装置で撮像された撮像画像の重複領域の画像に基づいて該複数の撮像装置の露出およびホワイトバランスの少なくとも一方を調整するようにしたため、複数の撮像装置で撮像される撮像画像の明るさや色味などの差異を小さくすることができ、合成などの後処理の負担を軽減することができる。

なお、本発明の撮像制御装置、撮像システム、及び撮像制御方法において、前記複数の撮像装置は、車両周辺を撮像するために車両に搭載される撮像装置とすることができる。

また、上記発明の撮像制御装置及び撮像システムにおいて、前記複数の撮像装置は、連続して複数の撮像画像を撮像可能な撮像装置であって、前記撮像制御装置の前記調整手段は、前記複数の撮像装置が連続して複数の撮像画像を撮像するときの露出およびホワイトバランスの少なくとも一方を調整することもできる。

また、上記撮像制御方法において、前記複数の撮像装置は、連続して複数の撮像画像を撮像可能な撮像装置であって、前記調整ステップでは、前記複数の撮像装置が連続して複数の撮像画像を撮像するときの露出およびホワイトバランスの少なくとも一方を調整することもできる。

このように、複数の撮像装置は連続して複数の撮像画像を撮像すること、すなわち動画を撮像することができ、上記発明は動画撮像中の露出およびホワイトバランスの少なくとも一方を調整することができるため、動画撮影中に撮像画像の合成などの後処理を行なって合成画像をリアルタイムに表示する場合であっても負荷軽く短時間で合成できリアルタイムの表示も可能となる。

以上説明したように本発明によれば、撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像された撮像画像の明るさや色味などの差異を小さくすることができ、合成などの後処理の負担を軽減することができる、という効果を奏する。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

［第１の実施の形態］
図１は、本実施の形態に係る撮像システム１の構成を示すブロック図である。

この撮像システム１は、撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄを備え、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄには、撮像制御装置２０および画像合成装置３０が接続されている。撮像制御装置２０および画像合成装置３０には、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄで撮像されて得られた画像信号（デジタル画像データ）が入力される。また、撮像制御装置２０から撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに対しては、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄの露出を制御するための制御信号などが出力される。

各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄは、車載カメラとして用いられる。具体的には、図２に示されるように、車体７０の天板部７２に４つの撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄを、隣接する撮像装置の撮像領域の一部が互いに重複するように配置固定される。図中、点線が各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄの撮像領域を示し、斜線部は重複領域を示している。

同図に示すように、重複領域５０ａは、撮像装置１０ａおよび撮像装置１０ｂの撮像領域の重複領域であり、重複領域５０ｂは、撮像装置１０ｂおよび撮像装置１０ｃの撮像領域の重複領域であり、重複領域５０ｃは、撮像装置１０ｃおよび撮像装置１０ｄの撮像領域の重複領域であり、重複領域５０ｄは、撮像装置１０ｄおよび撮像装置１０ａの撮像領域の重複領域である。

図３は、撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄの各々の構成を示すブロック図である。各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄは、同一構成を有するため、以下、撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄを区別しないで説明する場合には、末尾の符号を省略し撮像装置１０と総称する。

撮像装置１０の撮影光学系１３は撮影レンズ１１及び絞り１２を含んで構成されている。撮影レンズ１１は１枚又は複数枚のレンズで構成され、単一の焦点距離（固定焦点）のレンズでも良いし、ズームレンズや望遠／広角の二焦点切替式レンズの如く焦点距離可変のものでもよい。

撮影光学系１３を介してＣＣＤ１４の受光面に結像された被写体像は、入射光量に応じた量の信号電荷に変換される。このようにして蓄積された信号電荷は、ＣＣＤ駆動部４０から加えられるＣＣＤ駆動パルスによって読み出され、信号電荷に応じた電圧信号（アナログ画像信号）として順次ＣＣＤ１４から出力される。

ＣＣＤ１８から読み出された信号は、アナログ信号処理部１５で、相関二重サンプリング（ＣＤＳ）処理されるとともに、Ｒ，Ｇ，Ｂの各色信号に色分離処理される。

これら所定のアナログ信号処理を経た画像信号は、Ａ／Ｄ変換器１６に加えられ、該Ａ／Ｄ変換器１６によりＲ，Ｇ，Ｂのデジタル信号に変換された後、デジタル信号処理部１７で、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行うと共に、ガンマ処理及びシャープネス処理を行って８ビットの画像データを生成する。生成されたデジタル画像データは、メモリＩ／Ｆ４３を介してメモリ４４に格納される。

タイミング信号発生回路（ＴＧ）１９は、ＣＰＵ１８からのコマンドに応じてＣＣＤ駆動部４０に対して適宜のタイミング信号を与えており、ＣＣＤ１４はタイミング信号発生回路１９から加えられるタイミング信号により駆動され、蓄積された信号電荷に応じた電圧信号が出力される。

ＣＰＵ１８は、不図示のＲＯＭに記憶されたプログラムを実行することにより撮像装置１０の各回路を統括制御する制御部であり、バス４５を介してデジタル信号処理部１７、入出力インタフェース（Ｉ／Ｆ）４２、メモリＩ／Ｆ４３等と接続されている。

入出力Ｉ／Ｆ４２は、撮像制御装置２０に接続される。入出力Ｉ／Ｆを介して撮像制御装置２０から露出を制御するための制御信号が入力されると、ＣＰＵ１８は該制御信号に含まれる露出値に基づいて撮影光学系１３の駆動部４１を制御して絞り１２を適正絞り値に設定すると共にシャッタースピード（具体的にはＴＧ１９のタイミング信号の出力）を調整する。

また、メモリ４４に格納された画像データは適宜入出力Ｉ／Ｆ４２を介して撮像制御装置２０及び画像合成装置３０に出力される。撮像制御装置２０は、入力された画像データを用いて各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄの露出値を算出して、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに出力する。また、画像合成装置３０は、入力された画像データをつなぎ合わせて合成し、車体周囲を撮像した俯瞰画像を生成して不図示の表示装置などに表示したりする。

ここで、図１を参照して、撮像制御装置２０の構成について説明する。

撮像制御装置２０は、重複領域抽出部２２、明るさ差分算出部２４、および露出調整量算出部２６を備えている。なお、撮像制御装置２０には、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄと画像データや信号のやりとりをするための入出力Ｉ／Ｆも備えられているが、ここでは図示を省略した。

重複領域抽出部２２は、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄから受信した画像データの各々に基づいて、重複領域の画像を示す画像データを抽出する。重複領域の抽出方法としては、例えば、パターンマッチングによる周知の抽出方法を採用することができる。また、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄの配置が常時固定であれば、重複領域の位置も固定であるため、重複領域の座標値を記憶しておき、この座標値に基づいて重複領域の画像データを抽出してもよい。

明るさ差分算出部２４は、重複領域抽出部２２で抽出された画像データから重複領域の画像の輝度値を算出し、各重複領域において重複する各画像間の輝度値の差分を算出する。

露出調整量算出部２６は、上記算出した輝度値の差分が小さくなるように、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄの露出値を求め、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに出力する。このように、撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄの露出値はフィードバック制御される。

次に、この撮像制御装置２０で行なわれる露出調整処理の流れを図４のフローチャートを参照しながら説明する。ここでは、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄで撮像した撮像画像により車体７０周囲の動画撮影を行なう場合を例に挙げて説明する。このフローチャートに示す露出調整処理は、動画撮影開始と同時に開始される。動画撮影中は、常に各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄで撮像した撮像画像が画像合成装置３０で合成されて、合成画像が生成される。

ステップ１００では、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに制御信号を送信し、予め定められた基準の露出値で１コマ目の撮影を行なわせ、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄで撮像された撮像画像の画像データを取得する。

ステップ１０２では、重複領域抽出部２２により各画像データから重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの画像を示す画像データを抽出する。

ステップ１０４では、明るさ差分算出部２４により、該重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの画像データに基づいて、各重複領域の各画像の明るさ（輝度値）を算出し、重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの各々で重複する２つの画像間の輝度値の差分を算出する。

具体的には、まず、重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの各々の画像データからＲ、Ｇ、Ｂ信号を積算した積算値を各画像データ毎かつ各色毎に算出する。以下、Ｒ信号積算値、Ｇ信号積算値、およびＢ信号積算値をＲＧＢ積算値と総称する。このＲＧＢ積算値は、各重複領域の画像データ全体から算出してもよいし、一部から算出してもよい。このＲＧＢ積算値から輝度信号（Ｙ信号）を生成して、輝度信号の積算演算を行い輝度値を算出する。そして、重複領域５０ａ、５０ｂ、５０ｃ、５０ｄにおいて重複している２つの画像間の輝度値の差分をそれぞれ算出する。

ステップ１０６では、露出調整量算出部２６により、各重複領域５０ａ、５０ｂ、５０ｃ、５０ｄにおいて輝度値が近くなる（輝度値の差分が小さくなる）ような露出値を算出する。

ここでは、撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄのうち基準となる一台の撮像装置（基準撮像装置と呼称）を予め定めておき、まず基準撮像装置の撮像領域の一部と重複する撮像領域を有する２台の撮像装置の露出値を、重複領域における基準撮像装置の撮像画像と非基準撮像装置の撮像画像との間の輝度値の差分が小さくなるように算出し、さらに、該露出値を算出した２台の撮像装置のうちいずれか一方を基準撮像装置として、残りの撮像装置の露出値を算出する。

より詳細には、撮像装置１０ａを基準撮像装置とした場合、この撮像装置１０ａについては、一般的な露出制御で行なわれているように、撮像装置１０ａで撮像された画像データから求めた輝度値およびＣＣＤ１４の感度を加算して撮像装置１０ａの露出値を求める。

この撮像装置１０ａの撮像領域と重複している撮像領域（重複領域５０ａ）を有する撮像装置１０ｂの露出値については、該重複領域５０ａにおいて重複している２つの画像間の輝度値の差分が無くなるように露出値を求める。ここでは、まず一般的な露出制御で行なわれているように撮像装置１０ｂの露出値を求めた後、この露出値に重複領域５０ａにおける輝度値の差分を加算して調整し最終的な露出値を求める。また、撮像装置１０ａの撮像領域と重複する撮像領域を有するもう１つの撮像装置１０ｄの露出値についても、同様に、重複領域５０ｄの画像に基づいて輝度値の差分をなくす方向に露出値を調整して求める。

更に、撮像装置１０ｃについては、撮像装置１０ｂまたは撮像装置１０ｄのいずれか一方を基準撮像装置として、重複領域５０ｂまたは重複領域５０ｃのいずれか一方の画像に基づいて前述と同様に露出値を求める。

ステップ１０８では、上記算出した露出値で露出を調整するように各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに対する制御信号を生成し、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに出力し、次のコマを撮像させる。

これにより、輝度値の差分をなくす方向に露出調整された状態で各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄが次のコマを撮像することができ、次のコマでは前のコマより輝度値の差分を小さくすることができる。従って、画像合成装置３０で、各画像データを合成する際の補正量を大幅に小さく（あるいは０に）することができ、合成処理の負担が著しく軽減される。

その後は動画撮影が終了するまで、上記ステップ１０２〜１０８の処理を繰り返す。

以上説明したように、撮像領域の一部が互いに重複するように配置された複数の撮像装置の露出値を重複領域の画像に基づいて調整するようにしたため、複数の撮像装置で撮像される撮像画像の明るさの差異を小さくすることができ、合成などの後処理の負担を軽減することができる。また、これにより、撮像装置間のばらつきを吸収できるだけでなく、温度上昇などにより一部の撮像装置の撮影環境が変化した場合でもその変化を吸収できる。

なお、上記実施の形態では、重複領域の画像を撮像した２台の撮像装置のうち一方の撮像装置の露出値に輝度値の差分を加算するという手法により調整する例について説明した。しかし、この方法では差分を直接加算するため変化量が大きくなり、過補正となる場合がある。また、突発的に生じた明るさのズレ（輝度値の差分）に対して表示が不安定になることもある。

そこで、輝度値の差分そのものではなく、該差分に基づいて算出した値（差分に対して所定の係数を乗じた値など）を一方の撮像装置の露出値に加算したり、加算値に上限を設けたり、あるいは差分を即座にフィードバックせずに加算するまでの時間をもたせる、などの方法を組み合わせて、合成後に違和感のない画像となるよう調整を行うことが好ましい。

また、合成画像を安定させるため、差分はコマ積算または時間積算したものを利用してもよい。つまり、あるコマ数だけ（コマ１、コマ２、コマ３・・・）のＲＧＢ積算値を求め、上記と同様の方法で露出値を調整する、或いは、ある一定時間内のコマ全てのＲＧＢ積算値を求めて上記と同様の方法で露出値を調整するようにしてもよい。

［第２の実施の形態］
また、上記第１の実施の形態では、撮像領域の一部が互いに重複するように配置された複数の撮像装置の露出値を、重複領域の画像に基づいて調整する例について説明したが、重複領域の画像に基づいてホワイトバランスを調整するようにしてもよい。この場合には、本実施の形態の撮像システム２には、図５に示すように、第１の実施の形態の撮像制御装置２０に代えて、第１の実施の形態と同様に重複領域を抽出する重複領域抽出部２２、ＲＧＢ積算値を算出するためのＲＧＢ積算値算出部２５、およびホワイトバランス調整量（ゲイン値）を算出するためのホワイトバランス調整量算出部２７を備えた撮像制御装置２１を設ける。なお、それ以外の構成については、第１の実施の形態と同様であるため説明を省略する。

図６は、撮像制御装置２１で行なわれるホワイトバランス調整処理の流れを示すフローチャートである。このフローチャートに示すホワイトバランス調整処理は、動画撮影開始と同時に開始される。

ステップ２００では、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに制御信号を送信し、１コマ目の撮影を行なわせ、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄで撮像された撮像画像の画像データを取得する。

ステップ２０２では、重複領域抽出部２２により各画像データから重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの画像を示す画像データを抽出する。

ステップ２０４では、ＲＧＢ積算値算出部２５により、重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの各々の画像データからＲ、Ｇ、Ｂ信号を積算した積算値を各画像データ毎かつ各色毎に算出する。なお、このＲＧＢ積算値は、重複領域全体の画像のＲＧＢ積算値であってもよいし、重複領域の一部の画像の積算値であってもよい。そして、重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの各々で重複する２つの画像間のＲＧＢ各色毎の積算値の差分を算出する。

ステップ２０６では、ホワイトバランス調整量算出部２７により、各重複領域５０ａ、５０ｂ、５０ｃ、５０ｄにおいてホワイトバランスの状態が近くなるような、すなわち、ＲＧＢ積算値の各色毎の差分が小さくなるようなホワイトバランスのゲイン値をＲＧＢ各色毎に算出する。

ここでも、上記実施の形態と同様に、撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄのうち基準となる１台の撮像装置（基準撮像装置と呼称）を予め定めておき、まず基準撮像装置のホワイトバランスのゲイン値について、周囲の環境（明るさ等）に基づいて好適な値を算出するか、或いは予め定められた値を設定する。

続いて、基準撮像装置の撮像領域の一部と重複する撮像領域を有する２台の撮像装置（各々を非基準撮像装置と呼称）の各々のホワイトバランスのゲイン値を、重複領域における基準撮像装置の撮像画像と非基準撮像装置の撮像画像との間のＲＧＢ各色毎の積算値の差分が小さくなるように算出する。より具体的には、重複領域におけるＲＧＢ各色毎の積算値の差分を非基準撮像装置のＲＧＢ各色毎の積算値に加算し、この加算結果から非基準撮像装置のホワイトバランスのゲイン値を求める。さらに、ゲイン値を求めた非基準撮像装置のうちいずれか一方を基準撮像装置として、残りの撮像装置のゲイン値を同様に算出する。

ステップ２０８では、上記算出したゲイン値でホワイトバランス制御が行なわれるように各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに対する制御信号を生成し、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに出力する。

これにより、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄのＣＰＵ１８は、制御信号に含まれるゲイン値をデジタル信号処理部１７に出力する。デジタル信号処理部１７は、ＣＰＵ１８から与えられた各色毎のゲイン値をＲＧＢ信号に乗算してホワイトバランスを調整する。

これにより、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄで撮像された次のコマの画像データについては、ＲＧＢ積算値の各色毎の差分をなくす方向にホワイトバランス調整されて画像合成装置３０に出力されるため、次のコマでは前のコマより色味の差異を小さくすることができる。従って、画像合成装置３０で各画像データを合成する際に、各画像データを補正するための補正量が大幅に小さくする（あるいは０にする）ことができ、合成処理の負担が著しく軽減される。

その後は動画撮影が終了するまで、上記ステップ２０２〜２０８の処理を繰り返す。

以上説明したように、撮像領域の一部が互いに重複するように配置された複数の撮像装置のホワイトバランスを重複領域の画像に基づいて調整するようにしたため、複数の撮像装置で撮像される撮像画像の色味の差異を小さくすることができ、合成などの後処理の負担を軽減することができる。また、これにより、撮像装置間のばらつきを吸収できるだけでなく、温度上昇などにより一部の撮像装置の撮影環境が変化した場合でもその変化を吸収できる。

なお、この例でも、重複領域の画像を撮像した２台の撮像装置のうち一方の撮像装置のＲＧＢ積算値に基準撮像装置との差分を加算し、この加算結果に基づいてホワイトバランスのゲイン値を算出するという手法により調整する例について説明した。しかし、前述したように、この方法では差分を直接加算するため変化量が大きくなり、過補正となる場合がある。

そこで、前述と同様にＲＧＢ積算値の差分そのものではなく、該ＲＧＢ積算値に基づいて算出した値（差分に対して所定の係数を乗じた値など）を一方の撮像装置の積算値に加算したり、加算値に上限を設けたり、あるいは差分を即座にフィードバックせずに加算するまでの時間をもたせる、などの方法を組み合わせて、合成後に違和感のない画像となるよう調整を行うことが好ましい。

また、前述したように、合成画像を安定させるため、差分はコマ積算または時間積算したものを利用してもよい。つまり、あるコマ数だけ（コマ１、コマ２、コマ３・・・）のＲＧＢ積算値を求め、上記と同様の方法でホワイトバランスのゲイン値を調整する、或いは、ある一定時間内のコマ全てのＲＧＢ積算値を求めて上記と同様の方法でゲイン値を調整するようにしてもよい。

［第３の実施の形態］
上記第１の実施の形態では、常に重複領域の輝度値の差分に基づいて露出を調整する例について説明したが、本発明はこれに限定されない。例えば、算出した輝度値の差分が予め定められた閾値以上のとき（すなわち、明るさの差異が大きく撮像画像のつなぎ目が目立つ場合）には、上記重複領域の画像に基づいた露出調整を行ない、差分が閾値未満のとき（すなわち、明るさの差異が小さく撮像画像のつなぎ目が目立たない場合）には、上記重複領域の画像に基づいた露出調整を行なわないようにしてもよい。以下、輝度値の差分と閾値との比較結果に基づいて露出調整方法を切替える例について説明する。

図７は、輝度値の差分と閾値との比較結果に基づいて露出調整方法を切替える露出調整処理の流れを示すフローチャートである。この露出調整処理は、動画撮影開始と同時に開始される。

ステップ３００では、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに制御信号を送信し、予め定められた基準の露出量で１コマ目の撮影を行なわせ、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄで撮像された撮像画像の画像データを取得する。

ステップ３０２では、重複領域抽出部２２により各画像データから重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの画像を示す画像データを抽出する。

ステップ３０４では、明るさ差分算出部２４により、該重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの画像データに基づいて、各重複領域の各画像の明るさ（輝度値）を算出し、重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの各々で重複する２つの画像間の輝度値の差分を算出する。

ステップ３０６では、各重複領域における明るさ（輝度値）の差分が予め定められた閾値未満か否かを判断する。ここで、輝度値の差分が閾値未満であると判断した場合には、明るさの差異が小さく、重複領域に基づく露出調整は行なう必要はないと判断する。そこで、ステップ３０８に移行し、重複領域の画像に基づいた露出調整は行なわずに、まず４台の撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄのうち基準となる撮像装置の露出値を一般的な露出制御で行なわれているような手法で求め、残りの３台の撮像装置の露出値を該基準となる撮像装置の値に追従させる（すなわち、同一の露出値とする）。

ステップ３１０では、ステップ３０８で求めた露出値で露出を調整するように各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに対する制御信号を生成し、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに出力し、次のコマを撮像させる。

その後は、動画撮影が終了するまで、上記ステップ３０８〜３１０の処理を繰り返す。

一方、ステップ３０６で、各重複領域における輝度値の差分は閾値以上である判断した場合には、ステップ３１２で、上記実施の形態と同様に各重複領域５０ａ、５０ｂ、５０ｃ、５０ｄにおいて各画像データが示す明るさ（輝度値）が近くなる（輝度値の差分が小さくなる）ような露出値を算出する。詳細は、上述の実施の形態と同様であるため、説明を省略する。

ステップ３１４では、ステップ３１２で求めた露出値で露出を調整するように各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに対する制御信号を生成し、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに出力し、次のコマを撮像させる。

その後は動画撮影が終了するまで、上記ステップ３１２〜３１４の処理を繰り返す。

重複領域の各画像に基づく露出調整は、輝度値の差分を求めてから各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄの各々の露出調整を個別に行なう必要があり撮像制御装置２０の負荷が大きくなる。従って、重複領域の各画像の輝度値の差分が閾値以上の場合にのみ、前述の重複領域の画像に基づく露出調整を行なって各画像の明るさの差異が小さくなるようにし、輝度値の差分が閾値未満の場合には、重複領域の画像に基づく露出調整を行なわずに、基準とする撮像装置のみ通常の露出調整を行ない残りの撮像装置の露出値はそれに追従させるようにすることにより、輝度値の差分が閾値未満の場合の露出調整では、撮像制御装置２０のプロセッサには１台の撮像装置の露出制御のみの負荷しかかからなくなり、撮像制御装置２０の負荷を軽減させることができる。

なお、ここでは、最初に撮像された１コマ目の画像の重複領域の画像から露出調整方法を切替え、その後は該切替えた露出調整方法を継続して行なう例について説明したが、本発明はこれに限定されない。例えば、１コマ撮影する毎に重複領域の輝度値の差分と閾値とを比較して露出調整方法を切替えるようにしてもよい。これにより、環境温度の変化等により細やかに対応して露出調整を行なうようにすることができる。また、所定時間間隔毎あるいは所定撮影コマ数毎に重複領域の輝度値の差分と閾値とを比較して露出調整方法を切替えるようにしてもよい。これにより、さらに負荷が軽減される。

［第４の実施の形態］
本実施の形態では、第２の実施の形態の変形例として、ＲＧＢ積算値の差分と閾値との比較結果に基づいてホワイトバランス調整方法を切替える場合を例に挙げて説明する。

図８は、ＲＧＢ積算値の差分と閾値との比較結果に基づいてホワイトバランス調整方法を切替えるホワイトバランス調整処理の流れを示すフローチャートである。このホワイトバランス調整処理は、動画撮影開始と同時に開始される。

ステップ４００では、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに制御信号を送信し、１コマ目の撮影を行なわせ、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄで撮像された撮像画像の画像データを取得する。

ステップ４０２では、重複領域抽出部２２により各画像データから重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの画像を示す画像データを抽出する。

ステップ４０４では、該重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの画像データに基づいて、各重複領域の各画像のＲＧＢ信号の積算値を算出し、重複領域５０ａ、５０ｂ、５０ｃ、５０ｄの各々で重複する２つの画像間のＲＧＢ各色毎の積算値の差分を算出する。

ステップ４０６では、各重複領域におけるＲＧＢ各色毎の積算値の差分の全てが予め定められた閾値未満か否かを判断する。ここで、ＲＧＢ各色毎の積算値の差分の全てが閾値未満であると判断した場合には、各撮像領域の撮影画像の色味の差異は小さいため、ステップ４０８で、重複領域の画像に基づいたホワイトバランス調整は行なわずに、まず基準となる撮像装置のゲイン値について周囲の環境に応じた値を一般的なホワイトバランス制御で行なわれているような手法で求め、続いて他の撮像装置のゲイン値を該基準となる撮像装置の値に追従させる（すなわち、同一のゲイン値とする）。

一方、ステップ４０６で、各重複領域におけるＲＧＢ各色毎の積算値の差分の少なくとも１つが閾値以上であると判断した場合には、ステップ４１２で、上記実施の形態と同様に各重複領域５０ａ、５０ｂ、５０ｃ、５０ｄにおいて各重複領域５０ａ、５０ｂ、５０ｃ、５０ｄにおいてホワイトバランスの状態が近くなるような、すなわち、ＲＧＢ積算値の差分が小さくなるようなホワイトバランスのゲイン値をＲＧＢ各色毎に算出する。詳細は、上述の実施の形態と同様であるため、説明を省略する。

ステップ４１４では、上記算出したゲイン値でホワイトバランス制御が行なわれるように各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに対する制御信号を生成し、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄに出力し、次のコマを撮像させる。

その後は動画撮影が終了するまで、上記ステップ４１２〜４１４の処理を繰り返す。

重複領域の各画像に基づくホワイトバランス調整は、各撮像装置１０ａ、１０ｂ、１０ｃ、１０ｄの各々のホワイトバランス調整を個別に行なう必要があり撮像制御装置２０の負荷が大きくなる。従って、このように、重複領域の各画像のＲＧＢ積算値の差分が閾値以上の場合にのみ、前述の重複領域の画像に基づくホワイトバランス調整を行なって各画像の色味の差異が小さくなるようにし、ＲＧＢ積算値の差分が閾値未満の場合には、重複領域の画像に基づくホワイトバランス調整を行なわずに、基準とする撮像装置のみ通常のホワイトバランス調整を行ない残りの撮像装置のゲイン値はそれに追従させるようにすることにより、ＲＧＢ積算値の差分が閾値未満の場合のホワイトバランス調整では、撮像制御装置２０のプロセッサには１台の撮像装置のホワイトバランス制御のみの負荷しかかからなくなり、撮像制御装置２０の負荷を軽減させることができる。

なお、ここでは、最初に撮像された１コマ目の画像の重複領域の画像からホワイトバランス調整方法を切替え、その後は該切替えたホワイトバランス調整方法を継続して行なう例について説明したが、本発明はこれに限定されない。例えば、１コマ撮影する毎に重複領域のＲＧＢ積算値の差分と閾値とを比較してホワイトバランス調整方法を切替えるようにしてもよい。これにより、環境温度の変化等により細やかに対応してホワイトバランス調整を行なうようにすることができる。また、所定時間間隔毎あるいは所定撮影コマ数毎に重複領域のＲＧＢ積算値の差分と閾値とを比較してホワイトバランス調整方法を切替えるようにしてもよい。これにより、負荷が軽減される。

また、第１の実施の形態および第２の実施の形態を組み合わせ、重複領域の画像に基づいて、露出調整およびホワイトバランス調整の双方を行なうようにしてもよい。また、第３の実施の形態および第４の実施の形態を組み合わせ、露出調整およびホワイトバランス調整の双方を制御する場合に閾値との比較に応じて調整方法を切替えるようにしてもよい。

第１の実施の形態に係る撮像システムの構成を示すブロック図である。 車体に対する各撮像装置の配置位置を示す図である。 撮像装置の構成を示すブロック図である。 第１の実施の形態の露出調整処理の流れを示すフローチャートである。 第２の実施の形態に係る撮像システムの構成を示すブロック図である。 第２の実施の形態のホワイトバランス調整処理の流れを示すフローチャートである。 第３の実施の形態の露出調整処理の流れを示すフローチャートである。 第４の実施の形態のホワイトバランス調整処理の流れを示すフローチャートである。

符号の説明

１ 撮像システム
１０ａ、１０ｂ、１０ｃ、１０ｄ 撮像装置
２０、２１ 撮像制御装置
２２ 重複領域抽出部
２４ 明るさ差分算出部
２５ ＲＧＢ積算値差分算出部
２６ 露出調整量算出部
２７ ホワイトバランス調整量算出部
３０ 画像合成装置
５０ａ、５０ｂ、５０ｃ、５０ｄ 重複領域

Claims (15)

1. 撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像された撮像画像の各々から重複領域の画像を抽出する抽出手段と、
   前記抽出された重複領域の各画像に基づいて、前記複数の撮像装置のうち少なくとも２つの撮像装置の露出およびホワイトバランスの少なくとも一方を調整する調整手段と、
   を含む撮像制御装置。
2. 前記調整手段は、前記複数の撮像装置のうち少なくとも２つの撮像装置の露出を調整する場合には、前記抽出された重複領域の各画像の輝度値を算出し、該各画像間の該算出した輝度値の差分が小さくなるように露出を調整する請求項１記載の撮像制御装置。
3. 前記調整手段は、前記算出された輝度値の差分が所定値以上の場合に、前記抽出された重複領域の各画像に基づいた露出の調整を行なう請求項２記載の撮像制御装置。
4. 前記調整手段は、前記算出された輝度値の差分が所定値未満の場合には、前記複数の撮像装置のうち基準となる撮像装置で撮像された撮像画像に基づいて前記複数の撮像装置のうち少なくとも２つの撮像装置の露出を調整する請求項３記載の撮像制御装置。
5. 前記調整手段は、前記複数の撮像装置のうち少なくとも２つの撮像装置のホワイトバランスを調整する場合には、前記抽出された重複領域の各画像のＲ，Ｇ，Ｂ信号の積算値を各色毎に算出し、該各画像間の該算出した各色毎の積算値の差分の各々が小さくなるようにホワイトバランスを調整する請求項１乃至請求項４のいずれか１項記載の撮像制御装置。
6. 前記調整手段は、前記算出された各色毎の積算値の差分の少なくとも１つが所定値以上の場合に、前記抽出された重複領域の各画像に基づいたホワイトバランスの調整を行なう請求項５記載の撮像制御装置。
7. 前記調整手段は、前記算出された各色毎の積算値の差分の各々が所定値未満の場合には、前記複数の撮像装置のうち基準となる撮像装置で撮像された撮像画像に基づいて前記複数の撮像装置のうち少なくとも２つの撮像装置のホワイトバランスを調整する請求項６記載の撮像制御装置。
8. 前記複数の撮像装置は、車両周辺を撮像するために車両に搭載される撮像装置である請求項１乃至請求項７のいずれか１項記載の撮像制御装置。
9. 前記複数の撮像装置は、連続して複数の撮像画像を撮像可能な撮像装置であって、
   前記調整手段は、前記複数の撮像装置が連続して複数の撮像画像を撮像するときの露出およびホワイトバランスの少なくとも一方を調整する請求項１乃至請求項８のいずれか１項記載の撮像制御装置。
10. 撮像領域の一部が互いに重複するように配置された複数の撮像装置と、
    前記複数の撮像装置で撮像された撮像画像の各々から重複領域の画像を抽出する抽出手段、および前記抽出された重複領域の各画像に基づいて前記複数の撮像装置のうち少なくとも２つの撮像装置の露出およびホワイトバランスの少なくとも一方を調整する調整手段を含む撮像制御装置と、
    を含む撮像システム。
11. 前記複数の撮像装置は、車両周辺を撮像するために車両に搭載される撮像装置である請求項１０記載の撮像システム。
12. 前記複数の撮像装置は、連続して複数の撮像画像を撮像可能な撮像装置であって、
    前記調整手段は、前記複数の撮像装置が連続して複数の撮像画像を撮像するときの露出およびホワイトバランスの少なくとも一方を調整する請求項１０または請求項１１記載の撮像システム。
13. 撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像された撮像画像の各々から重複領域の画像を抽出する抽出ステップと、
    前記抽出された重複領域の各画像に基づいて、前記複数の撮像装置のうち少なくとも２つの撮像装置の露出およびホワイトバランスの少なくとも一方を調整する調整ステップと、
    を含む撮像制御方法。
14. 前記複数の撮像装置は、車両周辺を撮像するために車両に搭載される撮像装置である請求項１３記載の撮像制御方法。
15. 前記複数の撮像装置は、連続して複数の撮像画像を撮像可能な撮像装置であって、
    前記調整ステップでは、前記複数の撮像装置が連続して複数の撮像画像を撮像するときの露出およびホワイトバランスの少なくとも一方を調整する請求項１３または請求項１４記載の撮像制御方法。

Images