JP2017175480A - 撮像装置システム - Google Patents

Abstract

【課題】複数のカメラの重複領域の撮像画像の輝度のずれを低減できる撮像装置システムを提供する。【解決手段】重複領域を持つように撮像する複数のＣカメラ２００、Ｒカメラ３００、Ｌカメラ４００と、各前記複数のカメラにより撮像されたＣ撮像画像５２０、Ｒ撮像画像５３０、Ｌ撮像画像５４０を合成する画像合成部６５０と、Ｃカメラ２００のＣ撮像画像５２０の輝度を制御するＣ輝度制御部６２０と、Ｒカメラ３００のＲ撮像画像５３０の輝度を制御するＲ輝度制御部６３０と、を備え、Ｒ輝度制御部６３０は、Ｃ輝度制御部６２０の制御情報７２１と、Ｃカメラ２００とＲカメラ３００の重複領域のそれぞれの撮像画像５２１、５３１と、に基づき露光制御する。【選択図】図１

Description

本開示は、複数のカメラの撮像画像を合成する撮像装置システムに関する。

特許文献１は、基準となるカメラと他のカメラの重複領域の撮像画像の輝度が同一となるように、他のカメラの利得を変化させる。この構成により、定常時は、重複領域の撮像画像の輝度を同一とすることができる。しかし、環境照度の急変時は、基準となるカメラの撮像画像を適切な輝度になるように制御した後、基準となるカメラと他のカメラの重複領域の撮像画像の輝度を同一する制御に時間が必要なため、過渡的に重複領域の撮像画像の輝度が一致しない。

特許文献２は、それぞれのカメラが単独に撮像画像の輝度を制御するが、一部のカメラは重複領域に測光領域を設定し、その測光領域の撮像画像の輝度を制御する。この構成により、それぞれのカメラの撮像画像の輝度をすばやく輝度の目標に収束できる。また、測光領域を重複領域に設定しない場合と比較し、一部のカメラの重複領域の撮像画像の輝度が適切となるため、それぞれの重複領域での撮像画像の輝度のずれを低減できるが、ずれが大きい。

特許文献３は、基準となるカメラを露光や利得を変化させて撮像画像の輝度を制御し、この基準となるカメラの露光と利得と同一の値を用いて他のカメラの撮像画像の輝度を制御する。この構成により、それぞれのカメラの撮像画像の輝度をすばやく制御できる。また、それぞれのカメラを単独に制御する場合と比較し、同一の露光と利得を使用するため、それぞれの重複領域での撮像画像の輝度のずれを低減できるが、ずれが大きい。

特開２００８−２８５２１号公報 特開２００７−３１１９７０号公報 特開２００７−３２４８８７号公報

本開示は複数のカメラの重複領域の撮像画像の輝度のずれを低減できる撮像装置システムを提供する。

本開示における撮像装置システムは、少なくとも１つのカメラの撮像領域と重複領域を持つように撮像する複数のカメラと、複数のカメラにより撮像された複数の撮像画像を合成する画像合成部と、複数のカメラのうち第１のカメラの撮像画像の輝度を制御する第１の輝度制御部と、複数のカメラのうち第１のカメラ以外の少なくとも１つの第２のカメラの撮像画像の輝度を制御する第２の輝度制御部とを備える。第２の輝度制御部は、第１の輝度制御部の制御情報と、第１のカメラの撮像画像において、第１のカメラと前記第２のカメラの重複領域の第１の重複撮像画像と、第２のカメラの撮像画像において、第１のカメラと第２のカメラの重複領域における第２の重複撮像画像と、に基づき第２のカメラの撮像画像の輝度を制御する。

本開示における撮像装置システムは、複数のカメラの重複領域の画像輝度のずれを低減できる。

実施の形態１における撮像装置システムの構成を示すブロック図 実施の形態１における撮像装置システムのカメラの配置を示す外観図 実施の形態１における撮像装置システムのカメラの撮像領域と被写体を説明する外観図 実施の形態１における撮像装置システムの撮像画像、および合成画像の一例を示す図 実施の形態１における撮像装置システムのＣ輝度制御部の動作を説明するためのフローチャート 実施の形態１における撮像装置システムのＣ総合ゲインに対するＣ露光ゲイン、Ｃ利得ゲインの関係を示すグラフ 実施の形態１における撮像装置システムのＲ輝度制御部の動作を説明するためのフローチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜７を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１における撮像装置システム６００の構成を示すブロック図である。撮像装置システム６００は、第１のカメラに相当するＣカメラ２００、第２のカメラに相当するＲカメラ３００とＬカメラ４００、およびＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）６１０を備える。実施の形態１の撮像装置システム６００は、第１のカメラと２つの第２のカメラで構成される。

図２は、実施の形態１における撮像装置システム６００のカメラの配置を示す図である。車両１００において、背面ドア１２０にＣカメラ２００が配置され、右ドアミラー１３０にＲカメラ３００が配置され、左ドアミラー１４０にＬカメラ４００が配置される。図２において、各カメラから伸びる点線は各カメラの撮像領域の端を示し、点線で囲まれた領域が各カメラの撮像領域となる。本開示の複数のカメラは、図２に示すように、少なくとも１つのカメラの撮像領域と重複領域を持つように撮像する。

Ｃカメラ２００は、レンズ２０１、および撮像素子であるＣＭＯＳセンサ２０２を備える。レンズ２０１は被写体象をＣＭＯＳセンサ２０２の撮像面に集光し、ＣＭＯＳセンサ２０２が光電変換、ＡＤ変換などの処理を行い撮像画像データ（Ｃ撮像画像）を出力する。同様に、Ｒカメラ３００はレンズ３０１とＣＭＯＳセンサ３０２を備え、Ｒ撮像画像を出力する。Ｌカメラ４００は、レンズ４０１とＣＭＯＳセンサ４０２を備え、Ｌ撮像画像を出力する。

ＥＣＵ６１０は、第１の輝度制御部であるＣ輝度制御部６２０、第２の輝度制御部であるＲ輝度制御部６３０とＬ輝度制御部６４０、および画像合成部６５０を備える。これらは、基板、ＬＳＩ、電子部品などから構成される。ＬＳＩは、ハードロジック、プロセッサ、メモリなどから構成される。ＥＣＵ６１０は、ハードロジック、プロセッサ上のソフトウェア、あるいは両者の組み合わせなどにより動作する。

Ｃ輝度制御部６２０は、Ｃ撮像画像を入力し、Ｃカメラ２００の第１の露光ゲイン（Ｃ露光ゲイン）とＣカメラの第１の利得ゲイン（Ｃ利得ゲイン）をＣカメラ２００のＣＭＯＳセンサ２０２に出力する。Ｃ輝度制御部６２０は、Ｃカメラの第１のゲインである総合ゲイン（Ｃ総合ゲイン）をＲ輝度制御部６３０とＬ輝度制御部６４０に出力する。ここで、Ｃ総合ゲインがＣ輝度制御部６２０の制御情報である。

Ｒ輝度制御部６３０は、Ｒゲイン補償部６３１とＲゲイン加算部６３２を備える。Ｒゲイン補償部６３１は、Ｒ撮像画像とＣ撮像画像を入力しＲカメラ３００のゲイン補償値（Ｒゲイン補償値）を出力する。Ｒゲイン加算部６３２は、Ｒゲイン補償部６３１から出力されたＲゲイン補償値とＣ輝度制御部６２０から出力されたＣ総合ゲインを入力し、Ｒカメラ３００の第２の露光ゲイン（Ｒ露光ゲイン）とＲカメラの第２の利得ゲイン（Ｒ利得ゲイン）をＲカメラ３００のＣＭＯＳセンサ３０２に出力する。

Ｌ輝度制御部６４０は、Ｌゲイン補償部６４１とＬゲイン加算部６４２を備える。Ｌゲイン補償部６４１は、Ｌ撮像画像とＣ撮像画像を入力しＬカメラ４００のゲイン補償値（Ｌゲイン補償値）を出力する。Ｌゲイン加算部６４２は、Ｌゲイン補償値とＣ総合ゲインを入力し、Ｌカメラの第２の露光ゲイン（Ｌ露光ゲイン）とＬカメラの第２の利得ゲイン（Ｌ利得ゲイン）をＬカメラ４００のＣＭＯＳセンサ４０２に出力する。ここで、Ｒ輝度制御部６３０とＬ輝度制御部６４０が出力する第２の露光ゲインと第２の利得ゲインは第２のゲインに相当する。

画像合成部６５０は、複数のカメラにより撮像された複数の撮像画像を合成する。本実施の形態では、画像合成部６５０は、Ｃ撮像画像、Ｒ撮像画像、Ｌ撮像画像を入力し、合成画像５１０を作成して出力する。

［１−２．動作］
以上のように構成された撮像装置システム６００について、以下、その動作を説明する。

［１−２−１．カメラの動作］
Ｃカメラ２００のＣＭＯＳセンサ２０２は、Ｃ輝度制御部６２０から入力されるＣ露光ゲインとＣ利得ゲインに応じて、露光時間、アナログゲインなどの利得を変化させる。具体的には、ＣＭＯＳセンサ２０２は、Ｃ露光ゲインが増大すると露光時間を長くし、Ｃ利得ゲインが増大するとアナログゲインなどの利得を増大させる。Ｃカメラ２００はＣＭＯＳセンサ２０２により撮像したＣ撮像画像をＣ輝度制御部６２０と画像合成部６５０に出力する。

また、Ｒカメラ３００のＣＭＯＳセンサ３０２は、Ｒゲイン加算部６３２から入力されるＲ露光ゲインとＲ利得ゲインに応じて、露光時間、利得を変化させる。具体的には、ＣＭＯＳセンサ３０２は、Ｒ露光ゲインが増大すると露光時間を長くし、Ｒ利得ゲインの増大に応じてアナログアンプなどの利得を増大させる。Ｒカメラ３００は、ＣＭＯＳセンサ３０２により撮像したＲ撮像画像をＲ輝度制御部６３０と画像合成部６５０に出力する。

さらに、Ｌカメラ４００のＣＭＯＳセンサ４０２は、Ｌゲイン加算部６４２から出力されるＬ露光ゲインとＬ利得ゲインに応じて、露光時間、利得を変化させる。具体的には、ＣＭＯＳセンサ４０２は、Ｌ露光ゲインが増大すると露光時間を長くし、Ｌ利得ゲインの増大に応じてアナログゲインなどの利得を増大させる。Ｌカメラ４００は、ＣＭＯＳ４０２により撮像したＬ撮像画像をＬ輝度制御部６４０と画像合成部６５０に出力する。

図３は、実施の形態１における撮像装置システム６００のカメラの撮像領域と被写体を説明する外観図である。図４は、実施の形態１における撮像装置システム６００撮像画像、および合成画像の一例である。

図３に示すように、Ｃカメラ２００は、車両中央後部に配置され、Ｃカメラ２００から伸びる点線２１０で挟まれた領域を撮像領域として、車両中央後方の領域を撮像する。図３において、Ｃカメラ２００は、後続車８０３、実線路面標示８０４、および、点線路面標示８０５を含んで撮像する。この場合、Ｃカメラ２００が撮像したＣ撮像画像は、図４のＣ撮像画像５２０に示すように、後続車８０３の画像５２３、実線道路標示８０４の画像５２４、および点線道路標示８０５の画像５２５を含む。

Ｒカメラ３００は、図３に示すように、車両右側側面に配置され、Ｒカメラ３００から伸びる一点鎖線３１０で挟まれた領域を撮像領域として、車両右側後方の領域を撮像する。図３において、Ｒカメラ３００は、実線路面標示８０４、車両１００の右側面後部１０６、および、人物８０７を含んで撮像する。この場合、Ｒカメラ３００が撮像したＲ撮影画像は、図４のＲ撮像画像５３０に示すように、実線道路標示８０４の画像５３４、車両１００の右側面部１０６の画像５３６、および人物８０７の画像５３７を含む。

Ｌカメラ４００は、図３に示すように、車両左側側面に配置され、Ｌカメラ４００から伸びる二点鎖線４１０で挟まれた領域を撮像領域として、車両左側後方の領域を撮像する。図３において、Ｌカメラ４００は、点線路面標示８０５、車両１００の左側面後部１０８、および、標識８０９を含んで撮像する。この場合、Ｌカメラ４００が撮像したＬ撮像画像は、図４のＬ撮像画像５４０に示すように、点線道路標示８０５の画像５４５、車両１００の左側面部１０８の画像５４８、および標識８０９の画像５４９を含む。

ここで、図３に示すように、Ｃカメラ２００の撮像領域とＲカメラ３００の撮像領域との間には、重複領域２１１が存在する。重複領域２１１は、Ｃ撮像画像５２０では領域５２１付近が第１の重複撮像画像、Ｒ撮像画像５３０では領域５３１付近が第２の重複領域画像に該当する。また、Ｃカメラ２００の撮像領域とＬカメラ４００の撮像領域との間にも重複領域２１２が存在し、Ｃ撮像画像５２０では領域５２２付近が第１の重複撮像画像、Ｌ撮像画像５４０では領域５４２付近が第２の重複領域画像に該当する。

［１−２−２．輝度制御部の動作］
次に、Ｃ輝度制御部６２０の動作を説明する。Ｃ輝度制御部６２０は、Ｃ撮像画像の輝度が所定の目標値になるように制御する。ここで、Ｃ撮像画像の輝度を制御するとは、ＣＭＯＳセンサ２０２の露光時間とアナログゲインなどの利得を制御することである。具体的には、Ｃ輝度制御部６２０は、ＣＭＯＳセンサ２０２の露光時間を示す露光ゲインとＣＭＯＳセンサ２０２のアナログゲインなどの利得を示す利得ゲインの和であるＣ総合ゲインを制御情報として作成する。

図５は、実施の形態１における撮像装置システム６００のＣ輝度制御部６２０の動作を説明するためのフローチャートである。以下、順に動作を説明する。

Ｃ輝度制御部６２０は、例えば、１フレームから数フレームに１回、図５の動作を行う。

（ステップＳ２１）最初に、Ｃ輝度制御部６２０は、Ｃ撮像画像５２０を入力する。

（ステップＳ２２）Ｃ輝度制御部６２０は、Ｃ総合ゲインを作成する。Ｃ輝度制御部６２０は、Ｃ撮像画像の輝度の全画面の平均値ａｖｅ＿ｃが、所定の目標値ｔａｒｇｅｔ＿ｃになるように、Ｃ総合ゲイン（ｇａｉｎ１＿ｃ）を作成する。具体的には、Ｃ輝度制御部６２０は、下記式（１）を用いて計算する。

ｇａｉｎ１＿ｃ［ｉ］＝ｇａｉｎ１＿ｃ［ｉ−１］＋ｋ＿ｃ＊（ｔａｒｇｅｔ＿ｃ−ａｖｅ＿ｃ）・・・（１）
ここで、式（１）において、ｇａｉｎ１＿ｃ［ｉ］はｉ番目のＣ総合ゲイン、ｔａｒｇｅｔ＿ｃは目標値、ａｖｅ＿ｃは全画面の平均値、ｋ＿ｃは係数である。

（ステップＳ２３）Ｃ輝度制御部６２０は、Ｃ総合ゲイン（ｇａｉｎ１＿ｃ）から、Ｃ露光ゲイン（ｇａｉｎ２＿ｃ）、Ｃ利得ゲイン（ｇａｉｎ３＿ｃ）を作成する。Ｃ輝度制御部６２０は、具体的には、下記式（２）を用いて作成する。

ｇａｉｎ１＿ｃ＝ｇａｉｎ２＿ｃ＋ｇａｉｎ３＿ｃ・・・（２）
図６は、実施の形態１における撮像装置システム６００のＣ総合ゲインに対するＣ露光ゲイン、Ｃ利得ゲインの関係を示すグラフである。図６において、縦軸はＣ露光ゲイン、Ｃ利得ゲイン、横軸はＣ総合ゲインである。また、実線はＣ露光ゲインのグラフ、点線はＣ利得ゲインのグラフである。図６に示すように、Ｃ輝度制御部６２０は、Ｃ総合ゲイン（ｇａｉｎ１＿ｃ）の増加に応じて、まずＣ露光ゲイン（ｇａｉｎ２＿ｃ）を増加させ、次にＣ利得ゲイン（ｇａｉｎ３＿ｃ）を増加させる。前述のように、Ｃカメラ２００は、Ｃ露光ゲイン（ｇａｉｎ２＿ｃ）増大に応じて露光時間を増大させ、Ｃ利得ゲイン（ｇａｉｎ３＿ｃ）増大に応じてアナログゲインなどの利得を増大させる。ここで、露光時間増大によるノイズの増大は、アナログゲインなどの利得増大によるノイズの増大より小さい。そのため、図６のように動作させることにより、Ｃ総合ゲイン（ｇａｉｎ１＿ｃ）のより広い範囲で、ノイズが小さい撮像画像を得ることができる。

（ステップＳ２４）Ｃ輝度制御部６２０は、Ｃ総合ゲインをＲ輝度制御部６３０とＬ輝度制御部６４０に出力する。

（ステップＳ２５）Ｃ輝度制御部６２０は、Ｃ露光ゲイン、Ｃ利得ゲインをＣカメラ２００のＣＭＯＳセンサ２０２に出力する。

次に、Ｒ輝度制御部６３０の動作を説明する。図７は、実施の形態１における撮像装置システム６００のＲ輝度制御部６３０の動作を説明するためのフローチャートである。以下、順に、動作を説明する。

Ｒ輝度制御部６３０は、例えば、１フレームから数フレームに１回、図７の動作を行う。なお、Ｒ輝度制御部６３０は、Ｃ輝度制御部６２０と同期して動作してもよい。

（ステップＳ３１）Ｒ輝度制御部６３０は、Ｃ撮像画像を入力する。

（ステップＳ３２）Ｒ輝度制御部６３０は、Ｒ撮像画像を入力する。なお、ステップＳ３１とステップＳ３２の動作の順番は入れ替わってもよい。

（ステップＳ３３）Ｒ輝度制御部６３０は、ゲイン補償値を計算する。Ｒ輝度制御部６３０は、Ｃ撮像画像とＲ撮像画像の重複領域の一部（図４のＣ撮像画像５２０の重複領域５２１とＲ撮像画像５３０の重複領域５３１）の輝度が同一となるようなゲイン補償値（ｇａｉｎ＿４＿ｒ）を計算する。具体的には、Ｒ輝度制御部６３０は、下記式（３）を用いて計算する。

ｇａｉｎ４＿ｒ［ｉ］＝ｇａｉｎ４＿ｒ［ｉ−１］＋ｋ＿ｒ＊（ｏｖｅｒｌａｐ＿ａｖｅ＿ｃ＿ｒ−ｏｖｅｒｌａｐ＿ａｖｅ＿ｒ）・・・（３）
ただし、ｇａｉｎ４＿ｒ［ｉ］はｉ番目のゲイン補償値、ｏｖｅｒｌａｐ＿ａｖｅ＿ｃ＿ｒは重複領域５２１の平均輝度、ｏｖｅｒｌａｐ＿ａｖｅ＿ｒは重複領域５３１の平均輝度、ｋ＿ｒは係数である。

（ステップＳ３４）Ｒ輝度制御部６３０は、Ｃ総合ゲイン（ｇａｉｎ１＿ｃ）を入力する。

（ステップＳ３５）Ｒ輝度制御部６３０は、第２の利得ゲインに相当するＲ総合ゲイン（ｇａｉｎ１＿ｒ）を次の式（４）を用いて計算する。

ｇａｉｎ１＿ｒ＝ｇａｉｎ１＿ｃ＋ｇａｉｎ４＿ｒ・・・（４）
（ステップＳ３６）Ｒ輝度制御部６３０は、Ｒ露光ゲイン、Ｒ利得ゲインを作成する。この動作は、ステップＳ２３におけるＣ露光ゲイン、Ｃ利得ゲインの計算と同様であるので、説明を省略する。

（ステップＳ３７）Ｒ輝度制御部６３０は、Ｒ露光ゲイン、Ｒ利得ゲインをＲカメラ３００のＣＭＯＳセンサ３０２に出力する。

Ｌ輝度制御部６４０の動作は、Ｒ輝度制御部６３０と同様であるので、説明を省略する。

［１−２−３．画像合成部の動作］
画像合成部６５０は、図４に示すように、Ｃ撮像画像５２０とＲ撮像画像５３０とＬ撮像画像５４０を合成し、合成画像５１０を作成する。図４においては、画像合成部６５０は、Ｒ撮像画像５３０における重複領域５３１より右側の領域５６０と、重複領域５２１と、Ｃ撮像画像５２０の重複領域５２１、５２５に挟まれた領域５５０と、重複領域５２２と、Ｌ撮像画像における重複領域５４２より左側の領域５７０を合成する。

この場合、合成画像５１０において、実線路面標示の画像５１４は、Ｃ撮像画像５２０の重複領域５２１における実線路面標示の画像５２４と、Ｒ撮像画像５３０の領域５６０における実線路面標示の画像５３４から構成される。また、点線路面標示の画像５１５は、Ｃ撮像画像５２０の重複領域５２２における点線路面標示の画像５２５と、Ｌ撮像画像５４０の領域５７０の点線路面標示の画像５４５から合成される。

重複領域５３１と重複領域５２４、および、重複領域５２２と重複領域５４２の輝度差が低減されていることから、合成画像５１０における実線路面標示５１４と、点線路面標示５１５の合成の境界部の輝度ずれは低減される。

［１−３．効果等］
以上のように、本実施の形態において、撮像装置システム６００は、少なくとも１つのカメラの撮像領域と重複領域を持つように撮像するＣカメラ２００、Ｒカメラ３００、Ｌカメラ４００を備える。画像合成部６５０は、各カメラにより撮像された複数の撮像画像を合成する。Ｃ輝度制御部６２０は、Ｃカメラ２００のＣ撮像画像５２０の輝度を制御し、Ｒ輝度制御部６３０はＲカメラ３００のＲ撮像画像５３０の輝度を制御し、Ｌ輝度制御部６４０は、Ｌカメラ４００のＬ撮像画像５４０の輝度を制御する。Ｒ輝度制御部６３０は、Ｃ輝度制御部６２０の制御情報と、Ｃ撮像画像５２０において、Ｒ撮像画像５３０との重複領域５２１と、Ｒ撮像画像５３０において、Ｃ撮像画像５２０との重複領域５３１に基づきＲカメラ３００のＲ撮像画像５３０の輝度を制御する。Ｌ輝度制御部６４０も同様の動作を行う。

これにより、Ｃ撮像画像５２０とＲ撮像画像５３０の重複領域５２１、５３１の輝度がずれた場合に、輝度が一致するようにＲゲイン補償値が変化する。従って、Ｃ撮像画像５２０とＲ撮像画像５３０の重複領域５２１、５３１の輝度差を低減され、合成の境界部で輝度差を低減した合成画像５１０を作成することができる。Ｌ撮像画像５４０についても同様に、Ｃ撮像画像５２０とＬ撮像画像５４０の重複領域５２２、５４２の輝度差を低減し、合成の境界部で輝度差を低減した合成画像５１０を作成することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、カメラを３つ用いて、Ｃカメラ２００を背面ドア１２０に、Ｒカメラ３００を右ドアミラー１３０に、Ｌカメラ４００を左ドアミラー１４０に配置した。カメラの個数、配置はこれに限定されない。例えば、カメラを４つ用いて、車両前方に前方カメラ、車両後方に後方カメラ、車両右側に右側カメラ、および車両左側に左側カメラを配置してもよい。

この場合、例えば、以下のように制御する。前方カメラの撮像画像が目標値となるように前方カメラ用総合ゲインを計算し前方カメラの撮像画像の輝度を制御する。次に、前方カメラ撮像画像と右側カメラの撮像画像の重複領域の輝度が同一となるように右側カメラ用ゲイン補償値を計算し、前方カメラ用総合ゲインと右側カメラ用ゲイン補償値を加算し右側カメラ用総合ゲインとして右側カメラの撮像画像の輝度を制御する。また、前方カメラの撮像画像と左側カメラの撮像画像の重複領域の輝度が同一となるように左側カメラ用ゲイン補償値を計算し、前方カメラ用総合ゲインと左側カメラ用ゲイン補償値を加算し左側カメラ用総合ゲインとして左側カメラの撮像画像の輝度を制御する。さらに、右側カメラの撮像画像と後方カメラの撮像画像の重複領域の輝度が同一となるように後方カメラ用ゲイン補償値を計算し、右側カメラ用総合ゲインと後方カメラ用ゲイン補償値を加算し後方カメラ用総合ゲインとして後方カメラの撮像画像の輝度を制御する。

なお、上記において、後方カメラ用総合ゲインとして右側カメラ用総合ゲインを加算したが、前方カメラ用総合ゲインを加算してもよい。右側カメラ用総合ゲインは、前方カメラ用総合ゲインを加算しているため、同様の効果が得られる。

実施の形態１では、車両に配置されたカメラの撮像画像を合成したが、これに限定されない。例えば、屋外に配置された複数のセキュリティカメラの撮像画像を合成してもよい。また、屋内に配置された複数のセキュリティカメラの撮像画像を合成してもよい。

また、環境照度が急変した場合、Ｃ輝度制御部６２０がＣ撮像画像５２０を目標値にするようにＣ総合ゲインを制御する。そして、Ｒ輝度制御部６３０は、このＣ総合ゲインとＲゲイン補償値を加算したものをＲ総合ゲインとする。

これにより、環境照度の変化に対してＣ総合ゲイン、Ｒ総合ゲインは同様の速さで応答し、Ｃ撮像画像５２０とＲ撮像画像５３０の重複領域５２１、５３１の輝度差を低減できる。

そのため、環境照度が急変するときであっても、Ｃ撮像画像５２０とＲ撮像画像５３０の重複領域５２１、５３１の輝度差を低減し、合成の境界部で輝度差を低減した合成画像５１０を作成することができる。Ｌ撮像画像５４０についても同様に、環境照度が急変するときであっても、Ｃ撮像画像５２０とＬ撮像画像５４０の重複領域５２２、５４２の輝度差を低減し、合成の境界部で輝度差を低減した合成画像５１０を作成することができる。

なお、合成画像を記録媒体に記録するドライブレコーダーに適用してもよい。

また、合成画像を左右反転し、室内ルームミラー部に配置された液晶ディスプレイや、センターコンソールに配置された液晶ディスプレイに表示してもよい。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、複数のカメラの撮像画像を合成する撮像装置システムに適用可能である。具体的には、車両用カメラを用いたシステム、セキュリティ用カメラを用いたシステムなどに、本開示は適用可能である。

１００ 車両
２００ Ｃカメラ
２０２、３０２、４０２ ＣＭＯＳセンサ
３００ Ｒカメラ
４００ Ｌカメラ
５１０ 合成画像
５２０ Ｃ撮像画像
５３０ Ｒ撮像画像
５４０ Ｌ撮像画像
６００ 撮像装置システム
６１０ ＥＣＵ
６２０ Ｃ輝度制御部
６３０ Ｒ輝度制御部
６３１ Ｒゲイン補償部
６３２ Ｒゲイン加算部
６４０ Ｌ輝度制御部
６４１ Ｌゲイン補償部
６４２ Ｌゲイン加算部
６５０ 画像合成部

Claims (3)

1. 少なくとも１つのカメラの撮像領域と重複領域を持つように撮像する複数のカメラと、
   前記複数のカメラにより撮像された複数の撮像画像を合成する画像合成部と、
   前記複数のカメラのうち第１のカメラの撮像画像の輝度を制御する第１の輝度制御部と、
   前記複数のカメラのうち第１のカメラ以外の少なくとも１つの第２のカメラの撮像画像の輝度を制御する第２の輝度制御部と、を備える撮像装置システムであって、
   前記第２の輝度制御部は、
   前記第１の輝度制御部の制御情報と、
   前記第１のカメラの撮像画像において、前記第１のカメラと前記第２のカメラの前記重複領域の第１の重複撮像画像と、
   前記第２のカメラの撮像画像において、前記第１のカメラと前記第２のカメラの前記重複領域における第２の重複撮像画像と、に基づき前記第２のカメラの撮像画像の輝度を制御する、撮像装置システム。
2. 前記複数のカメラは、それぞれ撮像素子を備え、
   前記第１の輝度制御部は、前記第１のカメラの撮像素子を制御することにより前記第１のカメラの撮像画像の輝度を制御する第１のゲインを前記制御情報として作成し、
   前記第２の輝度制御部は、前記第２のカメラの撮像素子を制御することにより前記第２のカメラの撮像画像の輝度を制御する第２のゲインを作成する、
   前記第２の輝度制御部は、ゲイン補償値を作成するゲイン補償部と、前記第１のゲインと前記ゲイン補償値の加算結果に基づき前記第２のゲインを作成するゲイン加算部と、を備え、
   前記ゲイン補償部は、前記第１の重複撮像画像の輝度と、前記第２の重複撮像画像の輝度が同一になるように、前記ゲイン補償値を作成する、請求項１に記載の撮像装置システム。
3. 前記第１の輝度制御部は、前記第１のゲインに基づき、前記第１のカメラの撮像素子の露光を制御する第１の露光ゲインと、前記第１のカメラの撮像素子の利得を制御する第１の利得ゲインと、を作成し、
   前記第２の輝度制御部は、前記第２のゲインに基づき、前記第２のカメラの撮像素子の露光を制御する第２の露光ゲインと、前記第２のカメラの撮像素子の利得を制御する第２の利得ゲインと、を作成する、請求項２に記載の撮像装置システム。

Images