JP2019103046A - 撮像システム、画像処理装置、及び、画像処理方法 - Google Patents

Abstract

【課題】複数の撮像部を用いて画像を撮像する際に光源や被写体の相違に起因する画像間の輝度レベル差を軽減することができる撮像システムを提供する。【解決手段】撮像システムは、第１撮像部と、第２撮像部と、信号処理部とを備えており、信号処理部は、第１撮像部によって撮像される画像と第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。【選択図】 図１

Description

本開示は、撮像システム、画像処理装置、及び、画像処理方法に関する。

近年、画像を撮像する撮像部を複数有する複眼構成の撮像システムを用いて、各撮像部が撮像する複数の画像に基づいて画像処理を行なうといったことが提案されている。複数の画像間の出力レベルの差が大きい状態で画像合成等の画像処理を行なう場合、処理に支障を来たす場合がある。このため、例えば、画面全体で露光合わせを行い、複数の画像間において輝度レベルを合わせるなどといったことが提案されている（例えば、特許文献１参照）。

特開２００８−４２２２７号公報

複数の撮像部を有する撮像システムにあっては、初期設定時において、所定の光源下（例えばＤ₆₅光源下）での動作状態において輝度レベルが合うように撮像に関する各種パラメータを適宜選定し、以降はそのパラメータを用いて撮像を行なうといったことが考えられる。しかしながら、この場合には、所定の光源とは異なる光源下で撮像を行なう際に、撮像素子間の分光感度の差によって複数の画像間において輝度レベルに差が生ずるといったことが考えられる。また、画面全体で輝度レベルを合わせたとしても、被写体の位置や色彩の相違などに起因して、画面の特定の部分において輝度レベル差が生ずるといったことが考えられる。複数の画像に基づく画像処理を良好に行なうといった観点からは、このような輝度レベル差はできるだけ少なくすることが好ましい。

そこで、本開示は、複数の撮像部を用いて画像を撮像する際に光源や被写体の相違に起因する画像間の輝度レベル差を軽減することができる、撮像システム、画像処理装置、及び、画像処理方法をを提供することを目的とする。

上記の目的を達成するための本開示に係る撮像システムは、
第１撮像部と、第２撮像部と、信号処理部とを備えており、
前記信号処理部は、
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
撮像システムである。

上記の目的を達成するための本開示に係る画像処理装置は、
第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う信号処理部を備えた画像処理装置であって、
前記信号処理部は、
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
画像処理装置である。

上記の目的を達成するための本開示に係る画像処理方法は、
第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う画像処理方法であって、
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行う工程、
前記輝度レベル調整処理工程が施された一対の画像に基づいて画像処理を行なう工程、
を備えている、
画像処理方法である。

本開示によれば、所定の光源とは異なる光源下で撮像を行なうときに輝度レベルに差が生ずるといったことや、あるいは又、画面の特定の部分において輝度レベル差が生ずるといったことが軽減される。従って、複数の撮像部から得られる画像間において、光源や被写体の相違に起因する輝度レベル差を軽減することができる。

尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。

図１は、本開示の第１の実施形態に係る撮像システムの構成を説明するための模式図である。 図２は、参考例の撮像システムの構成を説明するための模式図である。 図３は、第１の実施形態において撮像部として用いられる撮像素子の分光特性を説明するための模式的なグラフである。 図４は、参考例の撮像システムにおいて、所定の光源下で感度差ゲインを設定する方法を説明するための模式図である。 図５は、参考例の撮像システムにおいて、設定された感度差ゲインに基づき、所定の光源下で撮像する際の動作を説明するための模式図である。 図６は、参考例の撮像システムにおいて、設定された感度差ゲインに基づき、所定の光源とは異なる光源下で撮像する際の動作を説明するための模式図である。 図７は、本開示の第１の実施形態に係る撮像システムにおいて、所定の光源下で撮像する際の動作を説明するための模式図である。 図８は、図７に示す分光ゲイン処理部における係数の算出方法を説明するための模式図である。 図９は、図７において、図８に示す式で算出される係数が用いられる場合の動作を説明するための模式図である。 図１０は、本開示の第１の実施形態に係る撮像システムにおいて、所定の光源とは異なる光源下で撮像する際の動作を説明するための模式図である。 図１１は、図８に示す式で算出される係数が用いられる場合の動作を説明するための模式図である。 図１２は、本開示の第１の実施形態に係る撮像システムの変形例を説明するための模式図である。 図１３は、本開示の第２の実施形態に係る撮像システムの構成を説明するための模式図である。 図１４は、第２の実施形態において撮像部として用いられる撮像素子の分光特性と説明するための模式的なグラフである。 図１５は、カラー撮像素子の出力に基づいてモノクロ画像を合成する際の分光特性をモノクロ撮像素子の分光特性と概ね一致するように設定した場合に、両者の分光特性間に観察される差を説明するための模式的なグラフである。 図１６は、画像補正部の動作を説明するための模式図である。 図１７は、第１撮像部と第２撮像部の画像分割を説明するための模式図である。 図１８Ａは、第１撮像部の画像における第（ｕ，ｖ）番目の分割領域における係数の算出を説明するための模式図である。図１９Ａは、第２撮像部の画像における第（ｕ，ｖ）番目の分割領域における係数の算出を説明するための模式図である。 図１９Ａは、第１撮像部の画像における各分割領域における係数を説明するための模式図である。図１９Ｂは、第２撮像部の画像における各分割領域における係数を説明するための模式図である。 図２０は、各分割領域の係数比を説明するための模式図である。 図２１は、画素に対応した画像情報に乗算するゲインを、４個の分割領域の係数比を用いたバイリニア補間によって求める方法を説明するための模式図である。 図２２は、画素に対応した画像情報に乗算するゲインを、１６個の分割領域の係数比を用いたバイリニア補間によって求める方法を説明するための模式図である。 図２３は、本開示の第３の実施形態に係る撮像システムの構成を説明するための模式図である。 図２４は、遠くの被写体と近くの被写体とを撮像する際に、近くの被写体の部分において画像の位置に差が生ずることを説明する模式的な図である。 図２５は、レベル合わせ制御部の構成を説明するための模式図である。 図２６は、第１撮像部の画像と第２撮像部の画像とでグラデーションに差が生ずる場合を説明するための模式図である。 図２７Ａは、基準画像と参照画像とでグラデーションの程度が同じであると良好に照合が行なえることを説明する模式図である。図２７Ｂは、基準画像と参照画像とでグラデーションの程度に差があると照合の際に誤差を生ずることを説明するための模式図である。 図２８は、第３の実施形態の第１変形例に係るレベル合わせ制御部の構成を説明するための模式図である。 図２９は、グラデーション判定部の動作を説明するための模式的なフローチャートである。 図３０は、第３の実施形態の第２変形例に係るレベル合わせ制御部の構成を説明するための模式図である。 図３１は、第３の実施形態の第３変形例に係るレベル合わせ制御部の構成を説明するための模式図である。 図３２は、第３の実施形態の第４変形例に係る撮像システムの構成を説明するための模式図である。 図３３は、第３の実施形態の第５変形例に係るレベル合わせ制御部の構成を説明するための模式図である。 図３４は、第３の実施形態の第６変形例に係る撮像システムの構成を説明するための模式図である。 図３５は、本開示の第４の実施形態に係る撮像システムの構成を説明するための模式図である。 図３６は、車両制御システムの概略的な構成の一例を示すブロック図である。 図３７は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照して、実施形態に基づいて本開示を説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の数値や材料などは例示である。以下の説明において、同一要素または同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は、以下の順序で行う。
１．本開示に係る、撮像システム、画像処理装置、及び、画像処理方法、全般に関する説明
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６．第５の実施形態：応用例
７．その他

［本開示に係る、撮像システム、画像処理装置、及び、画像処理方法、全般に関する説明］
本開示に係る撮像システムや画像処理装置において、
信号処理部は、
第１撮像部からの画像データに基づいて、第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
構成とすることができる。

上述した好ましい構成の本開示に係る撮像システムや画像処理装置にあっては、
第１撮像部はカラー画像を撮像し、
信号処理部は、第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、分光ゲインを調整する、
構成とすることができる。

この場合において、
第２撮像部はモノクロ画像を撮像し、
信号処理部は、第２撮像部における分光比率の値とホワイトバランス補正量とに基づいて、分光ゲインを調整する、
構成とすることができる。

この場合において、
信号処理部は、第２撮像部における分光比率の値とホワイトバランス補正量とを用いた計算値に基づいて、分光ゲインを調整する、
構成とすることができる。

あるいは又、本開示に係る撮像システムや画像処理装置において、
信号処理部は、
第１撮像部からの画像データに基づいて、第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
構成とすることができる。

上述した好ましい構成の本開示に係る撮像システムや画像処理装置にあっては、
第１撮像部はカラー画像を撮像し、
信号処理部は、第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、分光ゲインを調整する、
構成とすることができる。

この場合において、
第２撮像部はモノクロ画像を撮像し、
信号処理部は、第２撮像部における分光比率の値とホワイトバランス補正量とに基づいて、分光ゲインを調整する、
構成とすることができる。

あるいは又、本開示に係る撮像システムや画像処理装置において、
第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う、
構成とすることができる。

上述した好ましい構成の本開示に係る撮像システムや画像処理装置にあっては、複数の領域の個数は所定の一定値である構成とすることができる。処理の高速性を図るといった観点からは、領域の個数は所定の一定値とすることが好ましい。

あるいは又、信号処理部は、複数の領域の個数を動的に制御するといった構成とすることもできる。輝度レベル処理の正確性をより高めるといった観点からは、領域の個数を動的に制御することが好ましい。

この場合において、信号処理部は、被写体の位置情報に応じて複数の領域の個数を動的に制御する構成、あるいは又、第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する構成、更には、撮像時における光源の特性情報に応じて複数の領域の個数を動的に制御する構成とすることができる。

被写体の位置情報として、例えば、光学系のレンズフォーカス位置情報や、像面位相差情報といった情報を用いることができる。定性的には、被写体が撮像部から近い位置にあるといった場合には、複数の領域の個数を少なくする（換言すれば、分割を粗くする）といった制御をすることが好ましい。

グラデーション領域情報は、例えば、画像情報（露光制御のためのＡＥ検波情報なども含む）について、微分フィルタ処理を行い、輝度が漸減する領域、あるいは、輝度が漸増する領域を抽出するといったことで得ることができる。定性的には、画像が所定のサイズより広いグラデーション領域を含むといった場合には、複数の領域の個数を少なくする（換言すれば、分割を粗くする）といった制御をすることが好ましい。

光源の特性情報としては、例えばオートホワイトバランス（ＡＷＢ）情報などを用いることができる。定性的には、第１撮像部と第２撮像部とで感度差が相対的に大きい波長の光成分を含む光源下と判定した場合には、複数の領域の個数を多くする（換言すれば、分割を細かくする）といった制御をすることが好ましい。

更には、信号処理部は、被写体の位置情報、第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、複数の領域の個数を動的に制御する構成とすることもできる。

複数の領域の個数を動的に制御する態様の、上述した本開示に係る撮像システムや画像処理装置において、信号処理部は、被写体の判定情報に応じて複数の領域の個数を動的に制御する構成とすることができる。あるいは又、信号処理部は、輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する構成とすることもできる。

複数の領域の個数を動的に制御する態様の上述した本開示に係る撮像システムや画像処理装置において、第１撮像部と第２撮像部は共にモノクロ画像あるいは共にカラー画像を撮像する構成、あるいは又、第１撮像部はカラー画像を撮像し第２撮像部はモノクロ画像データを撮像する構成とすることができる。定性的には、後者の構成において輝度レベル調整の効果はより顕著に発揮される。

本開示に係る画像処理方法は、例えば上述した好ましい構成を含む本開示の撮像システムや画像処理装置を用いて実行することができる。

上述した好ましい構成を含む本開示の撮像システム、画像処理装置、及び、画像処理方法（以下、これらを単に、本開示と呼ぶ場合がある）において、信号処理部は、ハードウェアとして実装されていてもよいし、ソフトウェアとして実装されていてもよい、更には、ハードウェアとソフトウェアとが協同するように実装されていてもよい。

本開示に用いられる第１撮像部や第２撮像部は、例えば、光電変換素子や種々の画素トランジスタを含む画素が、行方向及び列方向に２次元マトリクス状に配列されて成るＣＭＯＳセンサやＣＣＤセンサといった撮像素子によって構成することができる。第１撮像部や第２撮像部は通常離間して配置される。離間の間隔は、撮像部の搭載対象となる電子機器等に応じて適宜設定すればよい。

撮像システムに用いられる撮像部の数は２台に限定されるものでなはく、場合によっては３台以上であってもよい。定性的には、各撮像部の画角や画素数は同じであることが好ましい。しかしながら、画像間で画角が異なっていても、同じ被写体が写っている範囲内においては本開示を適用することができる。更には、画像間で画素数が異なっている場合にも、例えば、画像のリサイズ処理などによって画素数を揃えることによって、本開示を適用することができる。

本開示にあっては、輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。画像処理の内容は特に限定するものではない。例えば、複数の画像を合成してＳ／Ｎを向上させるといった構成、白黒画像に色情報を加えてカラー画像を合成するといった構成、画像間の視差情報を抽出するといった構成、画像間の視差情報を利用して被写界深度を調整するといった構成、所定の奥行き箇所に対応するように別画像を挟むといった構成、あるいは又、輝度レベル調整処理が施された一対の画像をそれぞれ切り替えて表示するなどといった構成を挙げることができる。

［第１の実施形態］
第１の実施形態は、本開示に係る、撮像システム、画像処理装置、及び、画像処理方法に関する。

図１は、本開示の第１の実施形態に係る撮像システムの構成を説明するための模式図である。

撮像システム１は、
第１撮像部１０と、第２撮像部２０と、画像処理装置に対応する信号処理部１００とを備えており、
信号処理部１００は、
第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。

先ず、撮像システム１の概要について説明する。第１撮像部１０と第２撮像部２０は、例えば、レンズ等の光学系とＣＭＯＳセンサなどによって構成されている。第１撮像部１０と第２撮像部２０は、例えば、水平方向に所定の間隔を空けて配されている。説明の都合上、第１の実施形態において、第１撮像部１０はカラー撮像用、第２撮像部２０はモノクロ撮像用であるとする。

信号処理部１００は、第１撮像部１０からの画像データに基づいて、第２撮像部２０からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう。

第１撮像部１０はカラー画像を撮像し、信号処理部１００は、第１撮像部１０からの画像データから得られたホワイトバランス補正量に基づいて、分光ゲインを調整する。より詳しくは、第２撮像部２０はモノクロ画像を撮像し、信号処理部１００は、第２撮像部２０における分光比率の値とホワイトバランス補正量とに基づいて、分光ゲインを調整する。

信号処理部１００は、例えば、シリコンから成る半導体基板上に形成されている。信号処理部１００は、第１撮像部１０からの信号を処理するための、第１共通ゲイン処理部１１０、ホワイトバランスゲイン処理部１１１、及び、ホワイトバランス補正量算出部１１２を備えており、更に、第２撮像部２０からの信号を処理するための、第２共通ゲイン処理部１２０、及び、上述したホワイトバランス補正量算出部１１２からの情報に基づいて動作する分光ゲイン処理部１２１を備えている。更に、ホワイトバランスゲイン処理部１１１からの信号と分光ゲイン処理部１２１からの信号に基づいて画像処理を行なう画像処理部１３０を備えている。

第１共通ゲイン処理部１１０や第２共通ゲイン処理部１２０は、例えば明所や暗所での撮像においても、画像データが或る程度の範囲の数値になるように所定のゲインを乗算する。

ホワイトバランス補正量算出部１１２は、撮像される画像の色調を整えるのに必要な補正量を算出する。ホワイトバランスゲイン処理部１１１は、撮像される画像の色調を整えるために、ホワイトバランスゲインを乗算するといった処理を行なう。

分光ゲイン処理部１２１は、ホワイトバランス補正量算出部１１２からの情報に基づいて動作し、第２共通ゲイン処理部１２０からの信号に対して分光ゲインを乗算するといった処理を行なう。

画像処理部１３０は、例えば、複数の画像を合成してＳ／Ｎを向上させるといった処理、白黒画像に色情報を加えてカラー画像を合成するといった処理、画像間の視差情報を抽出するといった処理、画像間の視差情報を利用して被写界深度を調整するといった処理、所定の奥行き箇所に対応するように別画像を挟むといった処理、あるいは又、輝度レベル調整処理が施された一対の画像をそれぞれ切り替えて表示するといった処理を行なう。

上述した撮像システム１の動作については、後述する図７ないし図１１を参照して、後で詳しく説明する。

以上、撮像システム１の概要について説明した。次いで、第１の実施形態の理解を助けるため、図１に示す分光ゲイン処理部を廃し、固定的なゲイン処理を行なう感度差ゲイン処理部に置き換えた参考例の撮像システムの構成と、その問題点について説明する。

図２は、参考例の撮像システムの構成を説明するための模式図である。

参考例の撮像システム９において、感度差ゲイン処理部９２１は、第２共通ゲイン処理部１２０からの信号に対して感度差ゲインを乗算するといった処理を行なう。感度差ゲインは、例えば所定の光源下での動作において好適な特性となるように設定される。

先ず、撮像システムに用いられる撮像部の特性について説明する。

図３は、第１の実施形態において撮像部として用いられる撮像素子の分光特性を説明するための模式的なグラフである。この図において、符号Ｂ，Ｇ，Ｒはそれぞれ、カラー撮像素子における青色、緑色、赤色の分光特性を示す。符号Ｗは、モノクロ撮像素子における分光特性を示す。横軸は光の波長を示す。縦軸は分光特性のピーク値を基準に正規化したものを示す。

図３に示すように、一般に、モノクロ撮像素子はカラー撮像素子に比べて感度が高い。従って、モノクロ撮像素子の画像とカラー撮像素子の画像とに基づいて信号処理を行なう信号処理システムにおいて、同じ条件下で撮像を行なうと、モノクロ画像はカラー画像よりも輝度レベルが高くなる。このため、双方の画像の輝度レベルを合わせるといった必要が生ずる。

例えば、それぞれの撮像素子で独立にＡＥ制御を行うといった構成として双方の画像の輝度レベルを合わせるといったことができる。あるいは又、一方の撮像素子におけるＡＥ制御の結果を共通で用い他方の撮像素子に感度差に応じた固定ゲインを乗算するといったことによって双方の画像の輝度レベルを合わせるとこともできる。図２に示す撮像システム９は後者の構成である。この構成は、各撮像素子で独立でＡＥ制御を行なう構成に対して、撮像素子の飽和や黒ずれ等の非線形要因に起因する輝度レベルのズレを低減することができるといった利点を備えている。

しかしながら、参考例の撮像システム９にあっては、感度差ゲインを設定する時の光源下とは異なる光源下で撮像をしたときに、分光感度の違いから生じる差分により、輝度レベルにズレを生ずるという現象が生ずる。以下、図４ないし図６を参照して、詳しく説明する。

図４は、参考例の撮像システムにおいて、所定の光源下で感度差ゲインを設定する方法を説明するための模式図である。尚、図４において、符号Ｒ，Ｇ，Ｂはカラー画像データの各色のデジタル値、符号Ｗはモノクロ画像データのデジタル値、符号Ｗ１はカラー画像データＲ，Ｇ，Ｂから合成されたモノクロ画像データのデジタル値を示す。後述する他の図面においても同様である。

ホワイトバランス補正量算出部１１２は、第１撮像部１０からのデータなどに基づいて、オートホワイトバランス（ＡＷＢ）制御等により光源推定を行ない、例えば、Ｇ出力／Ｒ出力、あるいは又、Ｇ出力／Ｂ出力といった演算に基づき、ホワイトバランスゲイン処理部１１１が乗算すべきホワイトバランスを算出する。図に示す例では、
Ｒホワイトバランスゲインwbg_r＝１．２
Ｂホワイトバランスゲインwbg_b＝１．５
である。
尚、ＧホワイトバランスゲインはＧ出力／Ｇ出力といった演算であるので正規化されるが、説明の都合上、
Ｇホワイトバランスゲインwbg_g＝１．０、
とする。

第１共通ゲイン処理部１１０からのカラー画像データ（Ｒ，Ｇ，Ｂ）が（８３，１００，６７）といった値であるとする。ホワイトバランスゲイン処理部１１１によって上述したゲインが（８３，１００，６７）の各データに乗算される。ホワイトバランスゲイン処理部１１１からのカラー画像データ（Ｒ，Ｇ，Ｂ）は、（１００，１００，１００）となる。カラー画像データ（Ｒ，Ｇ，Ｂ）からモノクロ画像データＷ１を合成する際に、
Ｗ１＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
といった演算を行なうとすれば、
Ｗ１＝１００
といった値となる。

一方、第２共通ゲイン処理部１２０からのモノクロ画像データＷが２２６といった値であるとする。感度差ゲイン処理部９２１における感度差ゲインを符号DF_Gainと表せば、感度差ゲイン処理部９２１から出力されるモノクロ画像データＷは、
Ｗ＝２２６×DF_Gain
といった値となる。従って、合成したモノクロ画像データＷ１と輝度レベルを合わせるためには、
DF_Gain＝Ｗ１／２２６＝０．４４
といった値に設定すればよい。

参考例の撮像システムにあっては、上述した手順によって所定の光源下における感度差ゲインを設定することができる。

図５は、参考例の撮像システムにおいて、設定された感度差ゲインに基づき、所定の光源下で撮像する際の動作を説明するための模式図である。各デジタルデータの値は、図４において説明した値と同様であるので、詳しい説明は省略する。

以上、所定の光源下での感度差ゲインの設定といったことについて説明した。しかしながら、参考例の撮像システムにあっては、感度差ゲインを設定する時の光源下とは異なる光源下で撮像をしたときに、輝度レベルにズレを生ずる。

図６は、参考例の撮像システムにおいて、設定された感度差ゲインに基づき、所定の光源とは異なる光源下で撮像する際の動作を説明するための模式図である。

図６は、例えば、所定の光源下よりも青みが少ない光源下で撮像を行なうといった場合の例である。

ホワイトバランス補正量算出部１１２は、第１撮像部１０からのデータに基づいて、例えば、Ｇ出力／Ｒ出力、あるいは又、Ｇ出力／Ｂ出力といった演算に基づき、ホワイトバランスゲイン処理部１１１が乗算すべきホワイトバランスを算出する。図に示す例では、
Ｒホワイトバランスゲインwbg_r＝１．２
Ｇホワイトバランスゲインwbg_g＝１．０
Ｂホワイトバランスゲインwbg_b＝３．０
である。

第１共通ゲイン処理部１１０からのカラー画像データ（Ｒ，Ｇ，Ｂ）が（８３，１００，３３）であるとする。ホワイトバランスゲイン処理部１１１によって上述したゲインが（８３，１００，３３）の各データに乗算される。ホワイトバランスゲイン処理部１１１からのカラー画像データ（Ｒ，Ｇ，Ｂ）は、（１００，１００，１００）となる。カラー画像データ（Ｒ，Ｇ，Ｂ）からモノクロ画像データＷ１を合成する際に、
Ｗ１＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
といった演算を行なうとすれば、
Ｗ１＝１００
といった値となる。

一方、第２共通ゲイン処理部１２０からのモノクロ画像データＷは例えば１８８といった値を示す。感度差ゲイン処理部９２１から出力されるモノクロ画像データＷは、
Ｗ＝２２６×DF_Gain
＝２２６×０．４４
＝８３
といった値となる。従って、合成したモノクロ画像データＷ１の値とのズレを生ずる。

以上、参考例の撮像システムにあっては、感度差ゲインを設定する時の光源下とは異なる光源下で撮像をしたときに、輝度レベルにズレを生ずることを説明した。

次いで、図１に示す撮像システムの動作について説明する。撮像システム１にあっては、分光ゲイン処理部１２１が、ホワイトバランス補正量算出部１１２からの情報に基づいて動作し、第２共通ゲイン処理部１２０からの信号に対して分光ゲインを乗算するといった処理を行なう。これによって、所定の光源下とは異なる光源下で撮像するときに輝度レベルがずれるといった現象が低減される。

撮像システム１によって行なわれる画像処理方法は、
第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行う工程、
輝度レベル調整処理工程が施された一対の画像に基づいて画像処理を行なう工程、
を備えている。

撮像システム１において、第２撮像部２０はモノクロ画像を撮像する。そして、信号処理部１００は、第２撮像部２０における分光比率の値と前記ホワイトバランス補正量とに基づいて、分光ゲインを調整する。より具体的には、信号処理部１００は、第２撮像部２０における分光比率の値とホワイトバランス補正量とを用いた計算値に基づいて、分光ゲインを調整する。

図７は、本開示の第１の実施形態に係る撮像システムにおいて、所定の光源下で撮像する際の動作を説明するための模式図である。

第１共通ゲイン処理部１１０、第２共通ゲイン処理部１２０、ホワイトバランス補正量算出部１１２、ホワイトバランスゲイン処理部１１１からの出力値は、図４において説明した値と同様であるので、説明を省略する。

撮像システム１において、分光ゲインは、カラー及び白黒の分光感度に基づいて予め推定した分光比率（sp_r,sp_g,sp_b）、及び、ホワイトバランス補正量算出部１１２からのホワイトバランスゲイン（wbg_r,wbg_g,wbg_b）に基づいて算出される。

図８は、図７に示す分光ゲイン処理部における係数の算出方法を説明するための模式図である。

分光比率（sp_r,sp_g,sp_b）は、図８におけるＷのグラフを、Ｂ，Ｇ，Ｒのグラフを適宜加算することによって近似する際の定数係数として算出される。分光比率sp_rはモノクロ撮像部のＲ分光比率を示し、分光比率sp_gはモノクロ撮像部のＧ分光比率を示し、分光比率sp_bはモノクロ撮像部のＢ分光比率を示す。従って、以下の式（１）に示す近似式が成立する。

尚、本実施形態に示す例において、分光比率（sp_r,sp_g,sp_b）は、以下の式（２）に示す定数が得られた。

そして、撮像システム１において、符号SP_Gainで表す分光ゲインは、分光比率（sp_r,sp_g,sp_b）の定数、及び、ホワイトバランス補正量算出部１１２からのホワイトバランスゲイン（wbg_r,wbg_g,wbg_b）に基づいて、以下の式（３）によって算出される。

図９は、図７において、図８に示す式で算出される係数が用いられる場合の動作を説明するための模式図である。

この場合、分光ゲイン処理部１２１において乗算される分光ゲイン（SP_Gain）は、以下の式（４）によって算出される。

図に示す例では、
Ｒホワイトバランスゲインwbg_r＝１．２
Ｇホワイトバランスゲインwbg_b＝１．０
Ｂホワイトバランスゲインwbg_b＝１．５
である。第１共通ゲイン処理部１１０からのカラー画像データ（Ｒ，Ｇ，Ｂ）は（８３，１００，６７）であり、ホワイトバランスゲイン処理部１１１によって上述したゲインが各データに乗算される。ホワイトバランスゲイン処理部１１１からのカラー画像データ（Ｒ，Ｇ，Ｂ）は、（１００，１００，１００）となる。カラー画像データ（Ｒ，Ｇ，Ｂ）からモノクロ画像データＷ１を合成する際に、
Ｗ１＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
といった演算を行なうとすれば、
Ｗ１＝１００
といった値となる。

一方、分光ゲイン処理部１２１における分光ゲイン（SP_Gain）は、式（４）に示す値であるので、第２共通ゲイン処理部１２０からのモノクロ画像データには分光ゲイン処理部１２１によってSP_Gainが乗算され、
Ｗ＝２２６×SP_Gain＝２２６×０．４４
＝１００
といった値となる。

以上説明したように、撮像システム１においても、所定の光源下の撮像において輝度レベルは好適に調整されている。次いで、所定の光源下とは異なる光源下で撮像するときの動作について説明する。

図１０は、本開示の第１の実施形態に係る撮像システムにおいて、所定の光源とは異なる光源下で撮像する際の動作を説明するための模式図である。

第１共通ゲイン処理部１１０、第２共通ゲイン処理部１２０、ホワイトバランス補正量算出部１１２、ホワイトバランスゲイン処理部１１１からの出力値は、図６において説明した値と同様であるので、説明を省略する。

図１１は、図１０において、図８に示す式で算出される係数が用いられる場合の動作を説明するための模式図である。

この場合、分光ゲイン処理部１２１において乗算される分光ゲイン（SP_Gain）は、以下の式（５）によって算出される。

図に示す例では、
Ｒホワイトバランスゲインwbg_r＝１．２
Ｇホワイトバランスゲインwbg_b＝１．０
Ｂホワイトバランスゲインwbg_b＝３．０
である。第１共通ゲイン処理部１１０からのカラー画像データ（Ｒ，Ｇ，Ｂ）が（８３，１００，３３）であり、ホワイトバランスゲイン処理部１１１によって上述したゲインが（８３，１００，３３）の各データに乗算される。ホワイトバランスゲイン処理部１１１からのカラー画像データ（Ｒ，Ｇ，Ｂ）は、（１００，１００，１００）となる。カラー画像データ（Ｒ，Ｇ，Ｂ）からモノクロ画像データＷ１を合成する際に、
Ｗ１＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ
といった演算を行なうとすれば、
Ｗ１＝１００
といった値となる。

一方、分光ゲイン処理部１２１における分光ゲイン（SP_Gain）は、式（５）に示す値であるので、第２共通ゲイン処理部１２０からのモノクロ画像データには分光ゲイン処理部１２１によってSP_Gainが乗算され、
Ｗ＝１８８×SP_Gain＝１８８×０．５３
＝１００
といった値となる。

以上説明したように、撮像システム１にあっては、所定の光源下とは異なる光源下で撮像するときにおいても、輝度レベルが好適に調整される。従って、所定の光源下とは異なる光源下で撮像するときに輝度レベルがずれるといった現象が低減される。

第１の実施形態によれば、撮像時の光源によらず信号レベルを合わせることができるので、光源が変動するといった環境下においても輝度レベルが良好に調整された画像に基づいて画像処理を行なうことができる。

尚、以上の説明では、分光ゲイン処理部１２１は第２撮像部２０側（モノクロ撮像部側）に配置されているとして説明したが、第１撮像部１０側（カラー撮像部側）に配置するといった構成とすることもできる。このような変形例の撮像システム１Ａを、図１２に示す。

撮像システム１Ａにおいて、信号処理部１００Ａは、
第１撮像部１０からの画像データに基づいて、第１撮像部１０からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう。

より具体的には、撮像システム１Ａにおいて、第１撮像部１０はカラー画像を撮像する。信号処理部１００Ａは、第１撮像部１０からの画像データから得られたホワイトバランス補正量に基づいて、分光ゲインを調整する。第２撮像部２０はモノクロ画像を撮像し、信号処理部１００Ａは、第２撮像部２０における分光比率の値とホワイトバランス補正量とに基づいて、分光ゲインを調整する。

以上、第１の実施形態に係る撮像システム１，１Ａについて説明した。

第１の実施形態の説明においては、撮像システムの２つの撮像部をカラー撮像部とモノクロ撮像部の組合せから成るものとしたが、例えば、それぞれ分光特性が異なる同種の撮像部（カラー撮像部とカラー撮像部、あるいは、モノクロ撮像部とモノクロ撮像部）といった組合せにおいても、上述した分光ゲイン処理部による処理を適宜適用することができる。また、撮像システムが３つ以上の撮像部を含む場合においても、上述した分光ゲイン処理部による処理を適宜適用することができる。

［第２の実施形態］
第２の実施形態も、本開示に係る、撮像システム、画像処理装置、及び、画像処理方法に関する。

図１３は、本開示の第２の実施形態に係る撮像システムの構成を説明するための模式図である。

撮像システム２は、
第１撮像部１０と、第２撮像部２０と、画像処理装置に対応する信号処理部２００とを備えており、
信号処理部２００は、
第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。

より詳しくは、信号処理部２００は、
第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う。

先ず、撮像システム２の概要について説明する。第１撮像部１０と第２撮像部２０は、第１の実施形態において説明した構成と分光特性が相違する他は、基本的には同様の構成であるので、説明を省略する。説明の都合上、第２の実施形態においても、第１撮像部１０はカラー撮像用、第２撮像部２０はモノクロ撮像用であるとする。

信号処理部２００は、例えば、シリコンから成る半導体基板上に形成されている。信号処理部２００は、第１撮像部１０及び第２撮像部２０からの画像データを補正する画像補正部２１０、画像補正部２１０からの信号に基づいてレベル合わせを行なうレベル合わせ部２１１、レベル合わせ部２１１からの信号に基づいて画像処理を行なう画像処理部２３０を備えている。

画像補正部２１０では、デモザイク処理、ＹＵＶ変換処理、スケーラ処理、ノイズリダクション処理やレクティファイ処理などといった処理が行われる。

レベル合わせ部２１１は、第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う。

画像処理部２３０は、第１の実施形態において説明した画像処理部１３０と同様に、例えば、複数の画像を合成してＳ／Ｎを向上させるといった処理、白黒画像に色情報を加えてカラー画像を合成するといった処理、画像間の視差情報を抽出するといった処理、画像間の視差情報を利用して被写界深度を調整するといった処理などを行なう。

上述した撮像システム２の動作については、後述する図１６ないし図２２を参照して、後で詳しく説明する。

以上、撮像システム２の概要について説明した。次いで、第２の実施形態の理解を助けるため、画面全体で輝度レベルを合わせたとしても、被写体の位置や色彩の相違などに起因して、画面の特定の部分において輝度レベル差が生ずるといった現象が生ずることを説明する。

図１４は、第２の実施形態において撮像部として用いられる撮像素子の分光特性と説明するための模式的なグラフである。

図１４において、符号Ｂ，Ｇ，Ｒはそれぞれ、カラー撮像素子における青色、緑色、赤色の分光特性を示す。符号Ｗは、モノクロ撮像素子における分光特性を示す。横軸は光の波長を示す。縦軸は分光特性のピーク値を基準に正規化したものを示す。

図１５は、カラー撮像素子の出力に基づいてモノクロ画像を合成する際の分光特性をモノクロ撮像素子の分光特性と概ね一致するように設定した場合に、両者の分光特性間に観察される差を説明するための模式的なグラフである。

具体的には、図１５における符号RGB__IVで示す曲線は、図１４に示す符号Ｂ，Ｇ，Ｒのグラフに適宜係数を乗算して積分したときの積分値が図４に示す符号Ｗの積分値に概ね一致して符号Ｗのグラフに概ね倣うようにフィッティングをしたときの曲線である。この場合、カラー撮像素子の画像と、モノクロ撮像素子の画像とは、画面全体において略同様の輝度レベルとなる。

しかしながら、図１５に示す符号Ａ１に対応する部分では、モノクロ撮像素子はカラー撮像素子に対して高い輝度レベルを示す。一方、図１５に示す符号Ａ２に対応する部分では、モノクロ撮像素子はカラー撮像素子に対して低い輝度レベルを示す。また、図１５に示す符号Ａ３に対応する部分では、モノクロ撮像素子とカラー撮像素子の輝度レベルが交互に入れ替わるような挙動を示す。

従って、画面全体においては略同様の輝度レベルとなるように調整されていたとしても、被写体の色彩の相違などに起因して画面の特定の部分において輝度レベルに差が生ずるといったことが起こり得る。

以上、被写体の位置や色彩の相違などに起因して、画面の特定の部分において輝度レベル差が生ずるといった現象が生ずることを説明した。

次いで、図１３に示す撮像システム２における信号処理部の動作について説明する。

図１３に示すように、信号処理部２００の画像補正部２１０には、第１撮像部１０からの画像Ｐ１０と第２撮像部２０からの画像Ｐ２０とが入力される。画像補正部２１０は、これらの画像について、光学的歪補正処理や平行化処理（Rectification）を施して画像を補正し、ずれが並進ずれのみとなった画像Ｐ１１，Ｐ２１を出力する。図１６は、画像補正部の動作を説明するための模式図である。

信号処理部２００のレベル合わせ部２１１は、画像Ｐ１１，Ｐ２１を、水平方向にＵ個、垂直方向にＶ個、全体でＵ×Ｖ個といった複数の領域に分割する。そして、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行なう。

図１７は、第１撮像部と第２撮像部の画像分割を説明するための模式図である。

第２の実施形態において、符号Ｕ、符号Ｖは、例えば事前に定めた所定の一定値に設定されている。従って、複数の領域の個数は所定の一定値である。画像Ｐ１１における第ｕ列（但し、ｕ＝１，２・・・Ｕ）、第ｖ行目（但し、ｖ＝１，２・・・Ｖ）の領域を符号Ｔ１（ｕ，ｖ）で表す。同様に、画像Ｐ２１における第ｕ列、第ｖ行目の領域を符号Ｔ２（ｕ，ｖ）で表す。これらの各領域には、水平方向にＪ個、垂直方向にＫ個、全体でＪ×Ｋ個の画素データが含まれる。換言すれば、各領域のサイズは全て同一である。

図１３に示すレベル合わせ部２１１は、同じ位置の領域を対比して輝度レベルの比を求める。そして、その比に基づいて、画像データにゲインを乗算する。以下、図１８ないし図２２を参照して、詳しく説明する。

図１８Ａは、第１撮像部の画像における第（ｕ，ｖ）番目の分割領域における係数の算出を説明するための模式図である。図１９Ａは、第２撮像部の画像における第（ｕ，ｖ）番目の分割領域における係数の算出を説明するための模式図である。

レベル合わせ部２１１は、領域Ｔ１（ｕ，ｖ）に含まれる画素の輝度レベルの総和を求める。領域Ｔ１（ｕ，ｖ）における第ｊ列（但し、ｊ＝１，２・・・Ｊ）、第ｋ行目（但し、ｋ＝１，２・・・Ｋ）の画素を符号Ｐ１（ｊ，ｋ）と表し、その輝度を符号ＬＰ１（ｊ，ｋ）と表し、領域Ｔ１（ｕ，ｖ）に含まれる画素の輝度レベルの総和を符号ＬＴ１（ｕ，ｖ）と表せば、ＬＴ１（ｕ，ｖ）は以下の式（６）で表される（図１８Ａ参照）。

レベル合わせ部２１１は、同様に、領域Ｔ２（ｕ，ｖ）に含まれる画素の輝度レベルの総和を求める。領域Ｔ２（ｕ，ｖ）における第ｊ列、第ｋ行目の画素を符号Ｐ２（ｊ，ｋ）と表し、その輝度を符号ＬＰ２（ｊ，ｋ）と表し、領域Ｔ２（ｕ，ｖ）に含まれる画素の輝度レベルの総和を符号ＬＴ２（ｕ，ｖ）と表せば、ＬＴ２（ｕ，ｖ）は以下の式（７）で表される（図１８Ｂ参照）。

図１９Ａは、第１撮像部の画像における各分割領域における係数を説明するための模式図である。図１９Ｂは、第２撮像部の画像における各分割領域における係数を説明するための模式図である。

次いで、レベル合わせ部２１１は、領域Ｔ１（ｕ，ｖ）の輝度レベルの総和と、領域Ｔ２（ｕ，ｖ）の輝度レベルの総和とを対比して、輝度レベルの比を求める。図２０は、各分割領域の係数比を説明するための模式図である。

レベル合わせ部２１１は、以上のように求めた輝度レベルの比に基づいて、画像データにゲインを乗算する。説明の都合上、ここでは、領域Ｔ１（ｕ，ｖ）の画像データにゲインを乗算することによって輝度レベルを合わせるとして説明する。

図２１は、画素に対応した画像情報に乗算するゲインを、４個の分割領域の係数比を用いたバイリニア補間によって求める方法を説明するための模式図である。

領域Ｔ１（ｕ，ｖ）における画素Ｐ１（ｊ，ｋ）に乗算されるゲインを符号ＬＣ（ｕ，ｖ，ｊ，ｋ）と表す。画素Ｐ１を囲む４つの周辺領域の中心に図２０で示す輝度比の重みがあるとし、バイリニア補間によって画素Ｐ１の位置に対応するゲインＬＣ（ｕ，ｖ，ｊ，ｋ）を求めることができる。そして、求めたゲインＬＣ（ｕ，ｖ，ｊ，ｋ）を、画素Ｐ１（ｊ，ｋ）の画像データに乗算することによって、輝度レベルを調整することができる。

尚、ゲインＬＣ（ｕ，ｖ，ｊ，ｋ）を得るための補間方法は、特に限定するものではない。例えば、図２２に示すように、画素Ｐ１を囲む１６つの周辺領域の中心に図２０で示す輝度比の重みがあるとし、バイキュービック補間によって求めることができる。

図１３に示す撮像システム２において、レベル合わせ部２１１は、入力画像Ｐ２１と同様の画像Ｐ２２と、入力画像Ｐ１２のデータに上述したゲインＬＣ（ｕ，ｖ，ｊ，ｋ）が乗算されて成る画像Ｐ１２を出力する。

以上説明したように、撮像システム２では、画像を複数の領域に分割し、対応する領域の画像データを対比することによって輝度レベルを合わせる。従って、元画像において特定の部分において輝度レベルに差が生じていたとしても、輝度レベルが好適に調整される。

［第３の実施形態］
第３の実施形態も、本開示に係る、撮像システム、画像処理装置、及び、画像処理方法に関する。

第２の実施形態にあっては、画像Ｐ１１，Ｐ２１の分割領域の個数は固定であった。これに対し、第３の実施形態にあっては、領域の個数は動的に制御される。

図２３は、本開示の第３の実施形態に係る撮像システムの構成を説明するための模式図である。

撮像システム３は、
第１撮像部１０と、第２撮像部２０と、画像処理装置に対応する信号処理部３００とを備えており、
信号処理部３００は、
第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう。

撮像システム３においても、信号処理部３００は、
第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う。更には、複数の領域の個数を動的に制御する。

先ず、撮像システム３の概要について説明する。第１撮像部１０と第２撮像部２０は、第２の実施形態において説明した構成と同様の構成であるので、説明を省略する。

信号処理部３００は、例えば、シリコンから成る半導体基板上に形成されている。信号処理部３００は、第１撮像部１０及び第２撮像部２０からの画像データを補正する画像補正部２１０、画像補正部２１０からの信号に基づいてレベル合わせを行なうレベル合わせ部２１１、レベル合わせ部２１１からの信号に基づいて画像処理を行なう画像処理部２３０を備えている。更に、信号処理部３００は、レベル合わせ部２１１を制御するレベル合わせ制御部３１０を備えている。

画像補正部２１０や画像処理部２３０は、第２の実施形態において説明した構成と同様の構成であるので、説明を省略する。レベル合わせ部２１１は、画像を分割する領域の個数が動的に制御される点を除く他は、第２の実施形態において説明した構成と同様の構成であるので、説明を省略する。

上述した撮像システム３の動作については、後述する図２５を参照して、後で詳しく説明する。

以上、撮像システム３の概要について説明した。次いで、第３の実施形態の理解を助けるため、画面の分割数を動的に変化させることの意義について説明する。

図２４は、遠くの被写体と近くの被写体とを撮像する際に、近くの被写体の部分において画像の位置に差が生ずることを説明する模式的な図である。

第１撮像部１０と第２撮像部２０とが離間して配置されている場合、被写体までの距離が遠い物体では視差は小さい。逆に、被写体までの距離が近い物体では視差が大きい。図２４に示す例では、遠景の山では視差は小さく、近景の葡萄では視差が大きい。

従って、第１撮像部１０の画像Ｐ１１の領域ＰＴ１には葡萄が撮像されているのに対し、領域ＰＴ１に対応する第２撮像部２０の画像Ｐ２１の領域ＰＴ２の部分には葡萄が撮像されていないといったことが起こりうる。

このような場合に、領域ＰＴ１と領域ＰＴ２とを対比して輝度レベルを調整するとすれば、異なる対象物が写った画像データを対比して処理を行なうこととなり、支障を生ずる。このような場合、定性的には、画像の分割を粗くして処理を行なうことが好ましい。

以上の点に鑑み、第３の実施形態にあっては、画像の分割数を動的に変化させる。信号処理部３００は、被写体の位置情報に応じて複数の領域の個数を動的に制御する。定性的には、元画像に含まれる被写体が近いほど、第２の実施形態における符号Ｕ、符号Ｖを減ずるように制御する。

図２５は、レベル合わせ制御部の構成を説明するための模式図である。

レベル合わせ制御部３１０は、距離判定部３１１と分割数判定部３１２とを備えている。レベル合わせ部２１１は、分割数判定部３１２からの信号に応じて、画像の分割を制御する。

上述したように、定性的には、被写体位置が近いほど分割数を少なくし、逆に、遠いほど多くすることが好ましい。距離判定部３１１には、例えば、光学系のフォーカス位置や撮像部が有する像面位相差センサからの情報が距離情報として与えられる。距離判定部３１１は、距離情報に基づいて、例えば所定の重み係数を乗算して評価値を算出する。位置ごとの距離情報が取得できる場合は、その位置ごとの評価値を算出しても良い。分割数判定部３１２は、距離判定部３１１からの評価値に基づいて、符号Ｕ，Ｖの値を決定する。レベル合わせ部２１１は、分割数判定部３１２からの信号に基づいて、画像の分割処理を行なう。

以上説明したように、撮像システム３では、元画像に含まれる被写体が近いほど、分割を粗く分割した状態で輝度レベルが調整されるので、異なる対象物が写った画像データをそのまま対比するといったことが回避される。

上述の説明では、被写体の位置情報に応じて複数の領域の個数を動的に制御したが、他の要素に基づいて動的に制御するといった構成も可能である。

以下、第３の実施形態の第１変形例について説明する。第１変形例において、信号処理部は、第１撮像部１０によって撮像される画像と第２撮像部２０によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて複数の領域の個数を動的に制御する。

先ず、元画像にグラデーションのある部分が含まれる場合に起こりうる現象について説明する。

図２６は、第１撮像部１０の画像と第２撮像部の画像とでグラデーションに差が生ずる場合を説明するための模式図である。

撮像部を構成する撮像素子の分光特性などにもよるが、同一の被写体を撮像した場合においても、グラデーションの程度に差が生ずるといったことが生じ得る。図２６は、画像Ｐ１１の領域ＰＴ１は濃いグラデーション、画像Ｐ２１の領域ＰＴ２は薄いグラデーションである例を示す。

このような場合、領域ＰＴ１と領域ＰＴ２とで画像の照合を行なうとすれば誤差が生ずる。図２７Ａは、基準画像と参照画像とでグラデーションの程度が同じであると良好に照合が行なえることを説明する模式図である。図２７Ｂは、基準画像と参照画像とでグラデーションの程度に差があると照合の際に誤差を生ずることを説明するための模式図である。

従って、元画像において輝度が漸減あるいは漸増するといったグラデーション領域が大きなサイズであるほど、定性的には、画像の分割を粗くして処理を行なうことが好ましい。

図２８は、第３の実施形態の第１変形例に係るレベル合わせ制御部の構成を説明するための模式図である。

レベル合わせ制御部３１０Ａは、グラデーション判定部３１１Ａと分割数判定部３１２Ａとを備えている。レベル合わせ部２１１は、分割数判定部３１２Ａからの信号に応じて、画像の分割を制御する。

図２９は、グラデーション判定部の動作を説明するための模式的なフローチャートである。

グラデーション判定部３１１Ａは、ＡＥ検波情報や画像情報からグラデーション領域判定を行い、その領域のサイズに基づいて評価値を算出する。グラデーション判定は、基本的には、視差方向に連続したグラデーションがあるかどうかを判定の対象とする。具体的には、視差方向に微分を行い、同符号が連続するごとにラベリング処理を行うことでグラデーション領域を判別する。その際、設定された閾値以下の値はラベリング処理の対象から外しても良い。同ラベルの領域の大きさによりがグラデーション領域サイズが求まり、その値から評価値を算出することができる。分割数判定部３１２Ａは、グラデーション判定部３１１Ａからの評価値に基づいて、符号Ｕ，Ｖの値を決定する。レベル合わせ部２１１は、分割数判定部３１２Ａからの信号に基づいて、画像の分割処理を行なう。

引き続き、第３の実施形態の第２変形例について説明する。第２変形例において、信号処理部は、撮像時における光源の特性情報に応じて複数の領域の個数を動的に制御する。

第２の実施形態において図１５を参照して説明したように、図１５に符号Ａ１，Ａ２，Ａ３に対応する部分においては、センサ分光特性の差によって輝度レベル差が生じやすい。従って、輝度レベル差が生じやすい光源であるほど、定性的には、画像の分割を細かくして処理をするといったことが好ましい。

図３０は、第３の実施形態の第２変形例に係るレベル合わせ制御部の構成を説明するための模式図である。

レベル合わせ制御部３１０Ｂは、光源判定部３１１Ｂと分割数判定部３１２Ｂとを備えている。レベル合わせ部２１１は、分割数判定部３１２Ｂからの信号に応じて、画像の分割を制御する。

光源判定部３１１Ｂは、ＡＷＢなどの光源推定情報に基づいて、例えば所定の重み係数を乗算して評価値を算出する。分割数判定部３１２Ｂは、光源判定部３１１Ｂからの評価値に基づいて、符号Ｕ，Ｖの値を決定する。レベル合わせ部２１１は、分割数判定部３１２Ｂからの信号に基づいて、画像の分割処理を行なう。

以上、第３の実施形態とその第１変形例および第２変形例について説明したが、これらを適宜統合した変形例も可能である。例えば、信号処理部は、被写体の位置情報、第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、複数の領域の個数を動的に制御するといった構成とすることができる。

図３１は、第３の実施形態の第３変形例に係るレベル合わせ制御部の構成を説明するための模式図である。

レベル合わせ制御部３１０Ｃは、距離判定部３１１、グラデーション判定部３１１Ａ、光源判定部３１１Ｂ、分割数判定部３１２Ｃを備えている。レベル合わせ部２１１は、分割数判定部３１２Ｃからの信号に応じて、画像の分割を制御する。

分割数判定部３１２Ｃは、距離判定部３１１からの評価値、グラデーション判定部３１１Ａからの評価値、及び、光源判定部３１１Ｂからの評価値を勘案して、符号Ｕ，Ｖの値を決定する。例えば、各評価値を引数とする関数やテーブルなどを用いて、符号Ｕ，Ｖの値を決定すればよい。

尚、レベル合わせ制御部は、更に、被写体を判定して制御を行なうといった構成とすることもできる。第４変形例において、信号処理部は、被写体の判定情報に応じて前記複数の領域の個数を動的に制御する。

図３２は、第３の実施形態の第４変形例に係る撮像システムの構成を説明するための模式図である。

例えば、画像に人物像と背景とが含まれている場合と、画像に背景のみが含まれている場合とでは、前者は画像に主題が含まれているとしてより細かい分割を行い輝度レベルを調整するといったことが考えられる。

図３２に示す信号処理部３００Ｄにおいて、被写体判定部３５０は、被写体を判定して所定の評価値をレベル合わせ制御部３１０Ｄに送る。レベル合わせ制御部３１０Ｄは、上述した各種の評価値に加えて、被写体判定部３５０からの評価値を勘案して動作するといった構成である。

以上、第３の実施形態および各種の変形例について説明した。上述した実施形態にあっては、レベル合わせ部からの信号がそのまま画像処理部に送られるとしたが、これは例示にすぎない。

例えば、視差情報を検出するといった場合には、コントラスト補正を施した画像を用いることが好ましい。このような場合には、図３３に示す第５変形例のように、レベル合わせ部２１１と画像処理部２３０との間に、コントラスト補正部２１２を加えればよい。

また、上述した図２３にあっては、第１撮像部１０と第２撮像部２０の信号がレベル合わせ制御部に向かうように記したが、場合によって、画像補正部を介した信号が向かうといった構成も考えられる。例えば、図３４に示す第６変形例のような構成である。

［第４の実施形態］
第４の実施形態も、本開示に係る、撮像システム、画像処理装置、及び、画像処理方法に関する。

第４の実施形態は、第１の実施形態に対して第２の実施形態あるいは第３の実施形態を加重したといった構成である。

図３５は、本開示の第４の実施形態に係る撮像システムの構成を説明するための模式図である。

第４の実施形態における撮像システム４における信号処理部４００は、図１に示す第１実施形態の信号処理部１００に対して、画像処理部１３０の前半にレベル合わせ部２１１（３１１）を加えたといった構成である。レベル合わせ部２１１（３１１）の構成は、第２の実施形態あるいは第３の実施形態において説明したのと同様である。

第４の実施形態によれば、第１の実施形態における効果と第２あるいは第３の実施形態における効果とが相乗されるので、より好適に輝度レベルが調整された画像を用いて画像処理を行なうことができる。

［第５の実施形態：応用例］
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図３６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図３６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニットの撮像部に適用され得る。即ち、本開示によれば、複数の撮像部を有する撮像システムにおいて光源や被写体の相違に起因する画像間の輝度レベル差を軽減することができる。従って、複数の画像間の出力レベルの差が軽減された状態で画像処理を行なうことができるので、より詳細な情報を得ることが可能になる。

［本開示の構成］
尚、本開示は、以下のような構成をとることもできる。

［Ａ１］
第１撮像部と、第２撮像部と、信号処理部とを備えており、
前記信号処理部は、
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
撮像システム。
［Ａ２］
前記信号処理部は、
前記第１撮像部からの画像データに基づいて、前記第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
上記［Ａ１］に記載の撮像システム。
［Ａ３］
前記第１撮像部はカラー画像を撮像し、
前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
上記［Ａ２］に記載の撮像システム。
［Ａ４］
前記第２撮像部はモノクロ画像を撮像し、
前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
上記［Ａ３］に記載の撮像システム。
［Ａ５］
前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とを用いた計算値に基づいて、前記分光ゲインを調整する、
上記［Ａ４］に記載の撮像システム。
［Ａ６］
前記信号処理部は、
前記第１撮像部からの画像データに基づいて、前記第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
上記［Ａ１］に記載の撮像システム。
［Ａ７］
前記第１撮像部はカラー画像を撮像し、
前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
上記［Ａ６］に記載の撮像システム。
［Ａ８］
前記第２撮像部はモノクロ画像を撮像し、
前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
上記［Ａ７］に記載の撮像システム。
［Ａ９］
前記信号処理部は、
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う、
上記［Ａ１］ないし［Ａ８］のいずれかに記載の撮像システム。
［Ａ１０］
前記複数の領域の個数は所定の一定値である、
上記［Ａ９］に記載の撮像システム。
［Ａ１１］
前記信号処理部は、前記複数の領域の個数を動的に制御する、
上記［Ａ９］に記載の撮像システム。
［Ａ１２］
前記信号処理部は、被写体の位置情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ａ１１］に記載の撮像システム。
［Ａ１３］
前記信号処理部は、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ａ１１］に記載の撮像システム。
［Ａ１４］
前記信号処理部は、撮像時における光源の特性情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ａ１１］に記載の撮像システム。
［Ａ１５］
前記信号処理部は、被写体の位置情報、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、前記複数の領域の個数を動的に制御する、
上記［Ａ１１］に記載の撮像システム。
［Ａ１６］
前記信号処理部は、
被写体の判定情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ａ１１］ないし［Ａ１５］のいずれかに記載の撮像システム。
［Ａ１７］
前記信号処理部は、
前記輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する、
上記［Ａ９］ないし［Ａ１６］のいずれかに記載の撮像システム。
［Ａ１８］
前記第１撮像部はカラー画像を撮像し、前記第２撮像部はモノクロ画像を撮像する、
上記［Ａ９］ないし［Ａ１７］のいずれかに記載の撮像システム。

［Ｂ１］
第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う信号処理部を備えた画像処理装置であって、
前記信号処理部は、
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
画像処理装置。
［Ｂ２］
前記信号処理部は、
前記第１撮像部からの画像データに基づいて、前記第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
上記［Ｂ１］に記載の画像処理装置。
［Ｂ３］
前記第１撮像部はカラー画像を撮像し、
前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
上記［Ｂ２］に記載の画像処理装置。
［Ｂ４］
前記第２撮像部はモノクロ画像を撮像し、
前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
上記［Ｂ３］に記載の画像処理装置。
［Ｂ５］
前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とを用いた計算値に基づいて、前記分光ゲインを調整する、
上記［Ｂ４］に記載の画像処理装置。
［Ｂ６］
前記信号処理部は、
前記第１撮像部からの画像データに基づいて、前記第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
上記［Ｂ１］に記載の画像処理装置。
［Ｂ７］
前記第１撮像部はカラー画像を撮像し、
前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
上記［Ｂ６］に記載の画像処理装置。
［Ｂ８］
前記第２撮像部はモノクロ画像を撮像し、
前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
上記［Ｂ７］に記載の画像処理装置。
［Ｂ９］
前記信号処理部は、
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う、
上記［Ｂ１］ないし［Ｂ８］のいずれかに記載の画像処理装置。
［Ｂ１０］
前記複数の領域の個数は所定の一定値である、
上記［Ｂ９］に記載の画像処理装置。
［Ｂ１１］
前記信号処理部は、前記複数の領域の個数を動的に制御する、
上記［Ｂ９］に記載の画像処理装置。
［Ｂ１２］
前記信号処理部は、被写体の位置情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］に記載の画像処理装置。
［Ｂ１３］
前記信号処理部は、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］に記載の画像処理装置。
［Ｂ１４］
前記信号処理部は、撮像時における光源の特性情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］に記載の画像処理装置。
［Ｂ１５］
前記信号処理部は、被写体の位置情報、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］に記載の画像処理装置。
［Ｂ１６］
前記信号処理部は、
被写体の判定情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｂ１１］ないし［Ｂ１５］のいずれかに記載の画像処理装置。
［Ｂ１７］
前記信号処理部は、
前記輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する、
上記［Ｂ９］ないし［Ｂ１６］のいずれかに記載の画像処理装置。
［Ｂ１８］
前記第１撮像部はカラー画像を撮像し、前記第２撮像部はモノクロ画像を撮像する、
上記［Ｂ９］ないし［Ｂ１７］のいずれかに記載の画像処理装置。

［Ｃ１］
第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う画像処理方法であって、
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行う工程、
前記輝度レベル調整処理工程が施された一対の画像に基づいて画像処理を行なう工程、
を備えている、
画像処理方法。
［Ｃ２］
前記第１撮像部からの画像データに基づいて、前記第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう工程、
を備えている、
上記［Ｃ１］に記載の画像処理方法。
［Ｃ３］
前記第１撮像部はカラー画像を撮像し、
前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ２］に記載の画像処理方法。
［Ｃ４］
前記第２撮像部はモノクロ画像を撮像し、
前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ３］に記載の画像処理方法。
［Ｃ５］
前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とを用いた計算値に基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ４］に記載の画像処理方法。
［Ｃ６］
前記第１撮像部からの画像データに基づいて、前記第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう工程、
を備えている、
上記［Ｃ１］に記載の画像処理方法。
［Ｃ７］
前記第１撮像部はカラー画像を撮像し、
前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ６］に記載の画像処理方法。
［Ｃ８］
前記第２撮像部はモノクロ画像を撮像し、
前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する工程、
を備えている、
上記［Ｃ７］に記載の画像処理方法。
［Ｃ９］
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う工程、
を備えている、
上記［Ｃ１］ないし［Ｃ８］のいずれかに記載の画像処理方法。
［Ｃ１０］
前記複数の領域の個数は所定の一定値である、
上記［Ｃ９］に記載の画像処理方法。
［Ｃ１１］
前記複数の領域の個数を動的に制御する、
上記［Ｃ９］に記載の画像処理方法。
［Ｃ１２］
被写体の位置情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］に記載の画像処理方法。
［Ｃ１３］
前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］に記載の画像処理方法。
［Ｃ１４］
撮像時における光源の特性情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］に記載の画像処理方法。
［Ｃ１５］
被写体の位置情報、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］に記載の画像処理方法。
［Ｃ１６］
被写体の判定情報に応じて前記複数の領域の個数を動的に制御する、
上記［Ｃ１１］ないし［Ｃ１５］のいずれかに記載の画像処理方法。
［Ｃ１７］
前記輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する工程、
を備えている、
上記［Ｃ９］ないし［Ｃ１６］のいずれかに記載の画像処理方法。
［Ｃ１８］
前記第１撮像部はカラー画像を撮像し、前記第２撮像部はモノクロ画像を撮像する、
上記［Ｃ９］ないし［Ｃ１７］のいずれかに記載の画像処理方法。

１，１Ａ，２，３，３Ｄ，３Ｅ，３Ｆ，４，９・・・撮像システム、１０・・・第１撮像部、２０・・・第２撮像部、１００，１００Ａ，２００，３００，３００Ｄ，３００Ｅ，３００Ｆ，４００，９００・・・信号処理部、１１０・・・第１共通ゲイン処理部、１１１・・・ホワイトバランスゲイン処理部、１１２・・・ホワイトバランス補正量算出部、１２０・・・第２共通ゲイン処理部、１２１・・・分光ゲイン処理部、１３０，２３０・・・画像処理部、２１０・・・画像補正部、２１１・・・レベル合わせ部、２１１・・・レベル合わせ部、２１２・・・コントラスト補正部、３１０，３１０Ｄ，３１０Ｆ・・・レベル合わせ制御部、３１１・・・距離判定部、３１１Ａ・・・グラデーション判定部、３１１Ｂ・・・光源判定部、３１２，３１２Ａ，３１２Ｂ，３１２Ｃ・・・分割数判定部、３５０・・・被写体判定部、９２１・・・感度差ゲイン処理部

Claims (20)

1. 第１撮像部と、第２撮像部と、信号処理部とを備えており、
   前記信号処理部は、
   前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
   前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
   撮像システム。
2. 前記信号処理部は、
   前記第１撮像部からの画像データに基づいて、前記第２撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
   請求項１に記載の撮像システム。
3. 前記第１撮像部はカラー画像を撮像し、
   前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
   請求項２に記載の撮像システム。
4. 前記第２撮像部はモノクロ画像を撮像し、
   前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
   請求項３に記載の撮像システム。
5. 前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とを用いた計算値に基づいて、前記分光ゲインを調整する、
   請求項４に記載の撮像システム。
6. 前記信号処理部は、
   前記第１撮像部からの画像データに基づいて、前記第１撮像部からの画像データに適用される分光ゲインを調整することによって、輝度レベル調整処理を行なう、
   請求項１に記載の撮像システム。
7. 前記第１撮像部はカラー画像を撮像し、
   前記信号処理部は、前記第１撮像部からの画像データから得られたホワイトバランス補正量に基づいて、前記分光ゲインを調整する、
   請求項６に記載の撮像システム。
8. 前記第２撮像部はモノクロ画像を撮像し、
   前記信号処理部は、前記第２撮像部における分光比率の値と前記ホワイトバランス補正量とに基づいて、前記分光ゲインを調整する、
   請求項７に記載の撮像システム。
9. 前記信号処理部は、
   前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とをそれぞれ複数の領域に分割し、対応する領域の画像データを対比することによって得られる値に基づいて輝度レベルを合わせる輝度レベル調整処理を行う、
   請求項１に記載の撮像システム。
10. 前記複数の領域の個数は所定の一定値である、
    請求項９に記載の撮像システム。
11. 前記信号処理部は、前記複数の領域の個数を動的に制御する、
    請求項９に記載の撮像システム。
12. 前記信号処理部は、被写体の位置情報に応じて前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
13. 前記信号処理部は、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報に応じて前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
14. 前記信号処理部は、撮像時における光源の特性情報に応じて前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
15. 前記信号処理部は、被写体の位置情報、前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像とに含まれるグラデーション領域のサイズ情報、及び、撮像時における光源の特性情報のうち、少なくとも１つ以上の情報に基づいて、前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
16. 前記信号処理部は、
    被写体の判定情報に応じて前記複数の領域の個数を動的に制御する、
    請求項１１に記載の撮像システム。
17. 前記信号処理部は、
    前記輝度レベル調整処理を行なった後、更に、輝度レベル調整処理が施された画像についてコントラストを補正する、
    請求項９に記載の撮像システム。
18. 前記第１撮像部はカラー画像を撮像し、前記第２撮像部はモノクロ画像を撮像する、
    請求項９に記載の撮像システム。
19. 第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う信号処理部を備えた画像処理装置であって、
    前記信号処理部は、
    前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行い、
    前記輝度レベル調整処理が施された一対の画像に基づいて画像処理を行なう、
    画像処理装置。
20. 第１撮像部によって撮像される画像と第２撮像部によって撮像される画像とに基づいて画像処理を行う画像処理方法であって、
    前記第１撮像部によって撮像される画像と前記第２撮像部によって撮像される画像との輝度レベルを合わせる輝度レベル調整処理を行う工程、
    前記輝度レベル調整処理工程が施された一対の画像に基づいて画像処理を行なう工程、
    を備えている、
    画像処理方法。