JP2018170657A - 撮像装置、カメラモジュール、撮像システム、および、撮像装置の制御方法 - Google Patents

Abstract

【課題】画角の異なる複数の光学系を設けた撮像装置において、ホワイトバランス補正の精度を向上させる。【解決手段】広角側光検出部は、画角が所定値より広い広角画像データ内の複数の領域のそれぞれにおいて複数の広角側色成分を検出する。望遠側光検出部は、画角が前記所定値より狭い望遠画像データ内の複数の領域のそれぞれにおいて複数の望遠側色成分を検出する。望遠側ホワイトバランスゲイン取得部は、複数の広角側色成分のそれぞれの積算値の比率である広角側積算比率と複数の望遠側色成分とに基づいて望遠画像データに対するゲインを望遠側ホワイトバランスゲインとして求める。望遠側ホワイトバランス補正部は、望遠側ホワイトバランスゲインにより望遠画像データを補正する。【選択図】図４

Description

本技術は、撮像装置、カメラモジュール、撮像システム、および、撮像装置の制御方法に関する。詳しくは、ホワイトバランス補正を行う撮像装置、カメラモジュール、撮像システム、および、撮像装置の制御方法に関する。

従来より、画像データを撮像する装置において、被写体本来の色を映し出す目的で、ホワイトバランス補正が行われている。例えば、画像を撮像するための主撮像素子と色成分を検出するための検出用撮像素子とを設け、その検出用撮像素子で検出した色成分から算出したゲインによりホワイトバランス補正を行う撮像装置が提案されている（例えば、特許文献１参照。）。

特開２００３−１０１８６７号公報

上述の従来技術では、色成分の検出と画像の撮像とを同時に実行することができるため、それらの処理を順に行う場合と比較して、撮像のフレームレートを向上させることができる。しかしながら、画角の異なる複数の光学系を設けた撮像装置において光学系ごとに同様の方法によりホワイトバランス補正を行うと、ホワイトバランス補正の精度が低下するおそれがある。例えば、広角側の画像データ内の被写体の一部を望遠側で拡大して写した場合、広角側では被写体全体の色成分を検出してゲインを設定することができるのに対し、望遠側では被写体の一部の色成分しか検出することができない。このため、望遠側の画像では、広角側と比較してホワイトバランス補正の精度が低下してしまう。

本技術はこのような状況に鑑みて生み出されたものであり、画角の異なる複数の光学系を設けた撮像装置において、ホワイトバランス補正の精度を向上させることを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画角が所定値より広い広角画像データ内の複数の領域のそれぞれにおいて複数の広角側色成分を検出する広角側光検出部と、画角が上記所定値より狭い望遠画像データ内の複数の領域のそれぞれにおいて複数の望遠側色成分を検出する望遠側光検出部と、上記複数の広角側色成分のそれぞれの積算値の比率である広角側積算比率と上記複数の望遠側色成分とに基づいて上記望遠画像データに対するゲインを望遠側ホワイトバランスゲインとして求める望遠側ホワイトバランスゲイン取得部と、上記望遠側ホワイトバランスゲインにより上記望遠画像データを補正する望遠側ホワイトバランス補正部とを具備する撮像装置、および、その制御方法である。これにより、広角側積算比率と複数の望遠側色成分とに基づいて求められた望遠側ホワイトバランスゲインにより望遠画像データが補正されるという作用をもたらす。

また、この第１の側面において、上記望遠側ホワイトバランスゲイン取得部は、上記広角側積算比率を含む所定の範囲を望遠側積算範囲として設定して上記望遠側積算範囲内の上記複数の望遠側色成分のそれぞれの積算値の比率である望遠側積算比率に応じたゲインを上記望遠側ホワイトバランスゲインとして演算してもよい。これにより、望遠側積算範囲内の複数の望遠側色成分のそれぞれの積算値の比率に応じたゲインにより望遠画像データが補正されるという作用をもたらす。

また、この第１の側面において、上記複数の望遠側色成分は、Ｒ（Red）成分、Ｇ（Green）成分およびＢ（Blue）成分を含み、上記望遠側ホワイトバランスゲイン取得部は、上記Ｒ成分および上記Ｇ成分の比率と上記Ｂ成分および上記Ｇ成分の比率とのそれぞれを座標軸とする直交座標系において上記広角側積算比率を中心とする所定形状の範囲を上記望遠側積算範囲として設定してもよい。これにより、直交座標系において広角側積算比率を中心とする所定形状の範囲内の望遠側色成分が積算されるという作用をもたらす。

また、この第１の側面において、上記望遠側積算範囲は、矩形であってもよい。これにより、矩形の積算範囲内の望遠側色成分が積算されるという作用をもたらす。

また、この第１の側面において、上記望遠側積算範囲は、円形であってもよい。これにより、円形の積算範囲内の望遠側色成分が積算されるという作用をもたらす。

また、この第１の側面において、上記望遠側積算範囲は、楕円形であってもよい。これにより、楕円形の積算範囲内の望遠側色成分が積算されるという作用をもたらす。

また、この第１の側面において、所定の広角側積算範囲内の上記複数の広角側色成分のそれぞれの積算値の比率を上記広角側積算比率として演算して上記広角側積算比率に応じたゲインを広角側ホワイトバランスゲインとして取得する広角側ホワイトバランスゲイン取得部と、上記広角側ホワイトバランスゲインにより上記広角画像データを補正する広角側ホワイトバランス補正部とをさらに具備してもよい。これにより、所定の広角側積算範囲内の複数の広角側色成分のそれぞれの積算値の比率に応じたゲインにより広角画像データが補正されるという作用をもたらす。

また、この第１の側面において、上記望遠側積算範囲の辺は、上記所定の広角側積算範囲の辺と平行であってもよい。これにより、広角側積算範囲と辺が平行な望遠側積算範囲内の望遠側色成分が積算されるという作用をもたらす。

また、この第１の側面において、上記複数の望遠側色成分は、Ｒ成分、Ｇ成分およびＢ成分を含み、上記望遠側ホワイトバランスゲイン取得部は、上記Ｒ成分および上記Ｇ成分の比率と上記Ｂ成分および上記Ｇ成分の比率とのそれぞれを座標軸とする直交座標系において上記広角側積算比率を中心とする所定形状の範囲と予め設定された基準積算範囲との重複範囲を上記望遠側積算範囲として設定してもよい。これにより、広角側積算比率を中心とする所定形状の範囲と予め設定された基準積算範囲との重複範囲において演算されたゲインにより望遠画像データが補正されるという作用をもたらす。

また、この第１の側面において、上記広角側ホワイトバランスゲイン取得部は、所定の広角側積算範囲内において上記複数の広角側色成分の信頼性の有無を判定し、信頼性のある場合には上記広角側積算比率を演算してもよい。これにより、信頼性のある広角側色成分に基づいて広角側積算比率が演算されるという作用をもたらす。

また、この第１の側面において、上記広角側ホワイトバランスゲイン取得部は、上記複数の広角側色成分のそれぞれについて規定値を超える色成分が所定数よりも多いか否かを判断し、当該判断結果に基づいて信頼性の有無を判定してもよい。これにより、規定値を超え、所定数よりも多い広角側色成分に基づいて広角側積算比率が演算されるという作用をもたらす。

また、この第１の側面において、上記望遠側ホワイトバランスゲイン取得部は、上記望遠側積算範囲内において上記複数の望遠側色成分の信頼性の有無を判定し、信頼性のある場合には上記望遠側積算比率を演算してもよい。これにより、信頼性のある望遠側色成分に基づいて望遠側積算比率が演算されるという作用をもたらす。

また、この第１の側面において、上記望遠側ホワイトバランスゲイン取得部は、上記複数の望遠側色成分のそれぞれについて規定値を超える色成分が所定数よりも多いか否かを判断し、当該判断結果に基づいて信頼性の有無を判定してもよい。これにより、規定値を超え、所定数よりも多い望遠側色成分に基づいて望遠側積算比率が演算されるという作用をもたらす。

また、本技術の第３の側面は、画角が所定値より広い広角画像データ内の複数の領域のそれぞれにおいて複数の広角側色成分を検出する広角側光検出部と、画角が上記所定値より狭い望遠画像データ内の複数の領域のそれぞれにおいて複数の望遠側色成分を検出する望遠側光検出部と、上記複数の広角側色成分のそれぞれの積算値の比率である広角側積算比率と上記複数の望遠側色成分とに基づいて上記望遠画像データに対するゲインを望遠側ホワイトバランスゲインとして求める望遠側ホワイトバランスゲイン取得部と、上記望遠側ホワイトバランスゲインにより上記望遠画像データを補正する望遠側ホワイトバランス補正部と、上記補正された望遠画像データを記録する記録部とを具備する撮像システムである。これにより、広角側積算比率と複数の望遠側色成分とに基づいて求められた望遠側ホワイトバランスゲインにより補正された望遠画像データが記録されるという作用をもたらす。

本技術によれば、画角の異なる複数の光学系を設けた撮像装置において、ホワイトバランス補正の精度を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における２眼カメラモジュールの外観の構成例を示す図である。 本技術の第１の実施の形態における２眼カメラモジュールおよび画像処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるホワイトバランス補正部の一構成例を示すブロック図である。 本技術の第１の実施の形態における広角画像データおよび望遠画像データの一例を示す図である。 本技術の第１の実施の形態における広角側積算部の一構成例を示すブロック図である。 本技術の第１の実施の形態における望遠側積算部の一構成例を示すブロック図である。 本技術の第１の実施の形態における広角側色成分比率および判定結果の一例を示す図である。 本技術の第１の実施の形態における広角側色成分、積算値および広角側積算比率の一例を示す図である。 本技術の第１の実施の形態における広角側色成分比率および望遠側色成分比率のそれぞれのデータをプロットした散布図の一例である。 比較例における望遠側色成分比率のデータをプロットした散布図の一例である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態におけるホワイトバランス補正処理の一例を示すフローチャートである。 本技術の第１の実施の形態における積算処理の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例における望遠側積算範囲の形状の一例を示す図である。 本技術の第１の実施の形態の第２の変形例における望遠側積算範囲の形状の一例を示す図である。 本技術の第１の実施の形態の第３の変形例における積算処理の一例を示すフローチャートである。 本技術の第１の実施の形態の第３の変形例における矩形の望遠側積算範囲の形状の一例を示す図である。 本技術の第１の実施の形態の第３の変形例における楕円形の望遠側積算範囲の形状の一例を示す図である。 本技術の第２の実施の形態におけるホワイトバランス補正部の一構成例を示すブロック図である。 本技術の第２の実施の形態における積算処理の一例を示すフローチャートである。 本技術の第２の実施の形態における広角側信頼性判定処理の一例を示すフローチャートである。 本技術の第２の実施の形態の第１の変形例における積算処理の一例を示すフローチャートである。 本技術の第２の実施の形態の第１の変形例における望遠側信頼性判定処理の一例を示すフローチャートである。 本技術の第２の実施の形態の第２の変形例における広角側信頼性判定処理の一例を示すフローチャートである。 本技術の第３の実施の形態における撮像システムの一構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（広角側積算比率と望遠側色成分とからゲインを演算する例）
２．第２の実施の形態（信頼性を判定し、広角側積算比率と望遠側色成分とからゲインを演算する例）
３．第３の実施の形態（３眼以上の撮像システムにおいて広角側積算比率と望遠側色成分とからゲインを演算する例）
４．移動体への応用例

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像することができる装置であり、カメラモジュール制御部１１０、２眼カメラモジュール２００、画像処理部１２０および記録部１３０を備える。撮像装置１００として、撮像機能を持つスマートフォンやパーソナルコンピュータなどが想定される。

カメラモジュール制御部１１０は、ユーザの操作に従って２眼カメラモジュール２００を制御するものである。例えば、カメラモジュール制御部１１０は、ユーザの操作に従って撮像を制御するための制御信号を生成し、２眼カメラモジュール２００に信号線１１８を介して供給する。また、カメラモジュール制御部１１０は、ユーザの操作に従って、ホワイトバランス補正の目標値を指示する制御信号を生成し、信号線１１９を介して画像処理部１２０に供給する。

２眼カメラモジュール２００は、２つの固体撮像素子により２枚の画像データを同時に撮像するものである。この２眼カメラモジュール２００は、撮像した２枚の画像データを信号線２０８および２０９を介して画像処理部１２０に供給する。画像処理部１２０は、２枚の画像データに対してホワイトバランス補正などの画像処理を行うものである。この画像処理部１２０は、処理後の画像データを記録部１３０に信号線１２９を介して供給する。記録部１３０は、画像データを記録するものである。

なお、撮像装置１００は、撮像した画像データを記録しているが、表示部を設けて画像データを表示してもよいし、通信部を設けて外部に画像データを送信してもよい。

［２眼カメラモジュールの構成例］
図２は、本技術の第１の実施の形態における２眼カメラモジュールの外観の構成例を示す図である。同図におけるａは、２眼カメラモジュール２００の斜視図であり、同図におけるｂは、２眼カメラモジュール２００の正面図である。

２眼カメラモジュール２００は、複眼方式のカメラモジュールであって、単眼カメラモジュール２０１と単眼カメラモジュール２０２が、矩形の板状の形状からなる連結部材２０３により固定されることで構成される。

単眼カメラモジュール２０１には、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子やレンズユニット等が搭載されている。

単眼カメラモジュール２０１において、固体撮像素子は、複数の画素が２次元状に配列される画素部や、画素の駆動やA/D(Analog/Digital)変換等を行う周辺回路部などから構成されている。この固体撮像素子では、レンズユニット内のレンズから入射される光（像光）が画素部の受光面に結像され、結像された像の光が光電変換されることで、画素信号が生成される。

単眼カメラモジュール２０２は、単眼カメラモジュール２０１と同様に、ＣＭＯＳイメージセンサやレンズユニット等が搭載されて構成される。例えば、２眼カメラモジュール２００においては、単眼カメラモジュール２０２をメインカメラとする一方で、単眼カメラモジュール２０１をサブカメラとすることができる。

連結部材２０３は、単眼カメラモジュール２０１のレンズユニットと、単眼カメラモジュール２０２のレンズユニットを並べたときの平面方向のサイズよりも大きな輪郭の矩形の板状の形状からなる。また、連結部材２０３には、単眼カメラモジュール２０１のレンズユニットが挿入される矩形の挿入孔部と、単眼カメラモジュール２０２のレンズユニットが挿入される矩形の挿入孔部とが、対称に貫通形成されている。

２眼カメラモジュール２００においては、連結部材２０３に貫通形成された２つの矩形の挿入孔部に対し、単眼カメラモジュール２０１のレンズユニットと、単眼カメラモジュール２０２のレンズユニットとがそれぞれ挿入されて固定されている。これにより、２眼カメラモジュール２００は、単眼カメラモジュール２０１と単眼カメラモジュール２０２を有する、複眼方式のカメラモジュールとして構成される。２眼カメラモジュール２００は、以上のように構成される。

なお、単眼カメラモジュール２０１と単眼カメラモジュール２０２とは、連結部材２０３により連結される、複数の単眼カメラモジュールの一例であって、以下、それらを特に区別する必要がない場合には、単に、単眼カメラモジュール２０１と称して説明する。

また、単眼カメラモジュールとは、１つの固体撮像素子（イメージセンサ）が搭載されたカメラモジュールである。一方で、２眼カメラモジュールは、２つの単眼カメラモジュールを連結させることで、２つの固体撮像素子（イメージセンサ）が搭載されたカメラモジュールである。ただし、モジュールは、パッケージなどの他の名称で呼ばれる場合がある。

図３は、本技術の第１の実施の形態における２眼カメラモジュール２００および画像処理部１２０の一構成例を示すブロック図である。この２眼カメラモジュール２００は、望遠レンズ２１１、広角レンズ２１２、望遠側固体撮像素子２２１および広角側固体撮像素子２２２を備える。また、画像処理部１２０は、ホワイトバランス補正部３００および画像合成部２４０を備える。

図３における広角レンズ２１２および広角側固体撮像素子２２２は、図２における単眼カメラモジュール２０２内に配置され、図３における望遠レンズ２１１および望遠側固体撮像素子２２１は、図２における単眼カメラモジュール２０１内に配置される。

望遠レンズ２１１は、広角レンズ２１２よりも画角が狭いレンズであり、被写体からの光を集光して望遠側固体撮像素子２２１に導く。この望遠レンズ２１１として、例えば、焦点距離が固定の単焦点レンズが用いられる。

広角レンズ２１２は、望遠レンズ２１１よりも画角が広いレンズであり、被写体からの光を集光して広角側固体撮像素子２２２に導く。この広角レンズ２１２として、例えば、焦点距離が固定の単焦点レンズが用いられる。

望遠側固体撮像素子２２１は、カメラモジュール制御部１１０の制御に従って画像データを撮像するものである。この画像データは、Ｒ（Red）、Ｇ(Green)およびＢ(Blue)の画素データがベイヤ配列により配列されたものであり、ＲＡＷ画像データとも呼ばれる。望遠側固体撮像素子２２１は、画像データを望遠画像データとしてホワイトバランス補正部３００に供給する。

広角側固体撮像素子２２２は、カメラモジュール制御部１１０の制御に従って画像データを撮像するものである。この画像データにおいても、望遠側と同様にＲ、ＧおよびＢの画素データがベイヤ配列により配列される。広角側固体撮像素子２２２は、画像データを広角画像データとしてホワイトバランス補正部３００に供給する。

なお、望遠側固体撮像素子２２１および広角側固体撮像素子２２２は、ベイヤ配列の画像データをホワイトバランス補正部３００に供給しているが、この構成に限定されない。例えば、ホワイトバランス補正部３００の前段にデモザイク処理部を設け、そのデモザイク処理部が、画素ごとに足りない色情報を補間するデモザイク処理を行い、デモザイク処理後の画像データをホワイトバランス補正部３００に供給することもできる。また、このデモザイク処理は、望遠側固体撮像素子２２１および広角側固体撮像素子２２２の内部、外部のいずれで行ってもよい。

また、望遠側固体撮像素子２２１および広角側固体撮像素子２２２は、Ｒ、ＧおよびＢの色情報を含む画像データをホワイトバランス補正部３００に供給しているが、この構成に限定されない。例えば、ホワイトバランス補正部３００の前段に変換部を設け、その変換部が、Ｒ、ＧおよびＢを輝度信号Ｙおよび色差信号（ＵおよびＶなど）に変換し、変換後の画像データをホワイトバランス補正部３００に供給することもできる。また、輝度信号および色差信号への変換は、望遠側固体撮像素子２２１および広角側固体撮像素子２２２の内部、外部のいずれで行ってもよい。

また、カメラモジュール制御部１１０は、例えば、撮像の開始が指示されると、撮像のタイミングを示す所定周波数（例えば、３０ヘルツ）の垂直同期信号を生成して望遠側固体撮像素子２２１および広角側固体撮像素子２２２に供給する。また、カメラモジュール制御部１１０は、望遠側固体撮像素子２２１および広角側固体撮像素子２２２のそれぞれの露光時間や、画素信号に対するゲインを制御する。

ホワイトバランス補正部３００は、ホワイトバランスの目標値に基づいて、望遠画像データおよび広角画像データのそれぞれに対してホワイトバランス補正を行うものである。このホワイトバランス補正部３００は、ホワイトバランス補正後の望遠画像データおよび広角画像データを画像合成部２４０に供給する。

画像合成部２４０は、広角画像データおよび望遠画像データを必要に応じて合成するものである。この画像合成部２４０は、ユーザが所定値Ｚ１以上にズーム倍率を上げる操作を行った際に、合成せずに望遠画像データを選択して出力する。また、ユーザが所定値Ｚ２以下にズーム倍率を下げる操作を行った際に、画像合成部２４０は、広角画像データを選択して出力する。ユーザが所定値Ｚ１からＺ２の間にズーム倍率を操作した際に、画像合成部２４０は、広角画像データおよび望遠画像データを合成して、そのズーム倍率に応じた画像を生成する。そして、画像合成部２４０は、合成した画像データを記録部１３０に供給する。

図４は、本技術の第１の実施の形態におけるホワイトバランス補正部３００の一構成例を示すブロック図である。このホワイトバランス補正部３００は、望遠側光検出部３１０、望遠側ホワイトバランスゲイン取得部３２０、および、望遠側ホワイトバランス補正部３６０を備える。また、ホワイトバランス補正部３００は、広角側光検出部３１５、広角側ホワイトバランスゲイン取得部３２５、および、広角側ホワイトバランス補正部３６５を備える。

広角側光検出部３１５は、広角画像データにおいて複数の色成分を検出するものである。広角画像データは、複数の広角側エリアに分割され、広角側光検出部３１５は、広角側エリアごとに色成分としてＲ成分、Ｇ成分およびＢ成分を検出する。Ｒ成分は、広角側エリア内のＲ画素データの合計値であり、Ｇ成分は、広角側エリア内のＧ画素データの合計値である。Ｂ成分は、広角側エリア内のＢ画素データの合計値である。広角側エリアの個数がｎ（ｎは整数）個の場合には、Ｒ成分、Ｂ成分およびＧ成分は、それぞれｎ個ずつ検出される。そして、広角側光検出部３１５は、検出した色成分を正規化し、広角側色成分として広角側ホワイトバランスゲイン取得部３２５に供給する。

ここで、正規化は、望遠側および広角側のそれぞれの光学系の光学特性の差異や、望遠側および広角側のそれぞれの固体撮像素子の特性（感度など）の差異が色成分に与える影響を正規化係数により調整する処理を意味する。

広角側ホワイトバランスゲイン取得部３２５は、広角側色成分に基づいて広角側ホワイトバランスゲインを求めるものである。この広角側ホワイトバランスゲイン取得部は、広角側積算部３４０および広角側ホワイトバランスゲイン演算部３５５を備える。

広角側積算部３４０は、広角側色成分のそれぞれの積算値の比率を演算するものである。この広角側積算部３４０は、まず、次の式を用いて広角側エリアごとに色成分比率として広角側Ｒ／Ｇ成分比率および広角側Ｂ／Ｇ成分比率を演算する。
（広角側Ｒ／Ｇ成分比率）＝（広角側Ｒ成分）／（広角側Ｇ成分）
（広角側Ｂ／Ｇ成分比率）＝（広角側Ｂ成分）／（広角側Ｇ成分）

そして、広角側積算部３４０は、Ｒ／ＧおよびＢ／Ｇのそれぞれを座標軸とする直交座標系において、広角側エリアごとに、そのエリアの色成分比率が所定の広角側積算範囲内の値であるか否かを判断する。ここで、広角側積算範囲は、ホワイトバランスゲインの演算に用いるデータの範囲を示す。

次に広角側積算部３４０は、次の式により、広角側Ｒ／Ｇ積算比率と、広角側Ｂ／Ｇ積算比率とを演算する。
（広角側Ｒ／Ｇ積算比率）＝（広角側Ｒ積算値）／（広角側Ｇ積算値）
（広角側Ｂ／Ｇ積算比率）＝（広角側Ｂ積算値）／（広角側Ｇ積算値）
上式において「広角側Ｒ積算値」は、広角側積算範囲内の広角側Ｒ成分の積算値を示す。また、「広角側Ｇ積算値」は、広角側積算範囲内の広角側Ｇ成分の積算値を示す。「広角側Ｂ積算値」は、広角側積算範囲内の広角側Ｂ成分の積算値を示す。

広角側積算部３４０は、広角側Ｒ／Ｇ積算比率と広角側Ｂ／Ｇ積算比率とを広角側積算比率として広角側ホワイトバランスゲイン演算部３５５と望遠側ホワイトバランスゲイン取得部３２０とに供給する。

広角側ホワイトバランスゲイン演算部３５５は、広角側積算比率と目標値とに基づいてホワイトバランスゲインを演算するものである。目標値として、例えば、Ｒ／Ｇ積算比率に対するＲ／Ｇ目標値と、Ｂ／Ｇ積算比率に対するＢ／Ｇ目標値とが、所望の光源の色温度に基づいて設定される。広角側ホワイトバランスゲイン演算部３５５は、Ｒ／Ｇ目標値を広角側Ｒ／Ｇ積算比率により除算した商をＲ画素データに対するＲゲインとして演算する。また、広角側ホワイトバランスゲイン演算部３５５は、Ｂ／Ｇ目標値を広角側Ｂ／Ｇ積算比率により除算した商をＢ画素データに対するＢゲインとして演算する。例えば、Ｒ／Ｇ目標値が「１」で、広角側Ｒ／Ｇ積算比率が「１／２」であった場合、Ｒゲインとして「２」が演算される。なお、ＲゲインおよびＢゲインのみを演算するのでなく、さらにＧゲインを演算してもよい。

そして、広角側ホワイトバランスゲイン演算部３５５は、ＲゲインおよびＢゲインを逆正規化し、広角側ホワイトバランスゲインとして広角側ホワイトバランス補正部３６５に供給する。

広角側ホワイトバランス補正部３６５は、広角側ホワイトバランスゲインにより広角画像データを補正するものである。この広角側ホワイトバランス補正部３６５は、広角画像データ内のＲ画素データをＲゲインにより補正し、Ｂ画素データをＢゲインにより補正する。そして、広角側ホワイトバランス補正部３６５は、補正後の広角画像データを画像合成部２４０に供給する。

望遠側光検出部３１０は、望遠画像データにおいて複数の色成分を検出するものである。望遠画像データは、複数の望遠側エリアに分割され、望遠側光検出部３１０は、望遠側エリアごとに色成分としてＲ成分、Ｇ成分およびＢ成分を検出する。そして、望遠側光検出部３１０は、検出した色成分を正規化し、望遠側色成分として望遠側ホワイトバランスゲイン取得部３２０に供給する。

望遠側ホワイトバランスゲイン取得部３２０は、望遠側色成分と広角側積算比率とに基づいて望遠側ホワイトバランスゲインを求めるものである。この望遠側ホワイトバランスゲイン取得部は、望遠側積算部３３０および望遠側ホワイトバランスゲイン演算部３５０を備える。

望遠側積算部３３０は、望遠側色成分のそれぞれの積算値の比率を演算するものである。この望遠側積算部３３０は、まず、次の式を用いて望遠側エリアごとに色成分比率として望遠側Ｒ／Ｇ成分比率および望遠側Ｂ／Ｇ成分比率を演算する。
（望遠側Ｒ／Ｇ成分比率）＝（望遠側Ｒ成分）／（望遠側Ｇ成分）
（望遠側Ｂ／Ｇ成分比率）＝（望遠側Ｂ成分）／（望遠側Ｇ成分）

また、望遠側積算部３３０は、Ｒ／ＧおよびＢ／Ｇのそれぞれを座標軸とする直交座標系において、広角側積算比率を中心とする所定の範囲を望遠側積算範囲として設定する。そして、望遠側積算部３３０は、望遠側エリアごとに、そのエリアに対応する色成分比率が望遠側積算範囲内の値であるか否かを判断する。

次に望遠側積算部３３０は、次の式により、望遠側Ｒ／Ｇ積算比率と、望遠側Ｂ／Ｇ積算比率とを演算する。
（望遠側Ｒ／Ｇ積算比率）＝（望遠側Ｒ積算値）／（望遠側Ｇ積算値）
（望遠側Ｂ／Ｇ積算比率）＝（望遠側Ｂ積算値）／（望遠側Ｇ積算値）
上式において「望遠側Ｒ積算値」は、望遠側積算範囲内の望遠側Ｒ成分の積算値を示す。また、「望遠側Ｇ積算値」は、望遠側積算範囲内の望遠側Ｇ成分の積算値を示す。「望遠側Ｂ積算値」は、望遠側積算範囲内の望遠側Ｂ成分の積算値を示す。

望遠側積算部３３０は、望遠側Ｒ／Ｇ積算比率と望遠側Ｂ／Ｇ積算比率とを望遠側積算比率として望遠側ホワイトバランスゲイン演算部３５０に供給する。

望遠側ホワイトバランスゲイン演算部３５０は、望遠側積算比率と目標値とに基づいてホワイトバランスゲインを演算するものである。この望遠側ホワイトバランスゲイン演算部３５０は、広角側ホワイトバランスゲイン演算部３５５と同様の演算によりＲゲインおよびＢゲインを求めて逆正規化し、望遠側ホワイトバランスゲインとして望遠側ホワイトバランス補正部３６０に供給する。

望遠側ホワイトバランス補正部３６０は、望遠側ホワイトバランスゲインにより望遠画像データを補正するものである。この望遠側ホワイトバランス補正部３６０は、補正後の望遠画像データを画像合成部２４０に供給する。

図５は、本技術の第１の実施の形態における広角画像データおよび望遠画像データの一例を示す図である。同図におけるａは、広角画像データ５１０の一例であり、同図におけるｂは、望遠画像データ５２０の一例である。

同図におけるａに例示するように広角画像データ５１０は、複数の矩形の広角側エリアに分割されている。広角画像データ５１０内の細い点線で囲まれたエリアのそれぞれは、広角側エリアを示す。また、広角画像データ５１０内のエリア５１１は、望遠画像データ５２０に対応する領域である。

また、同図におけるｂに例示するように望遠画像データ５２０も、複数の矩形の望遠側エリアに分割されている。望遠画像データ５２０内の細い点線で囲まれたエリアのそれぞれは、望遠側エリアを示す。

ここで広角側色成分のみから広角側ホワイトバランスゲインを演算する一方で、望遠側色成分のみから望遠側ホワイトバランスゲインを演算する比較例の撮像装置を想定する。このように広角側と望遠側とで個別にホワイトバランスゲインを演算する構成では、望遠側において、被写体の色調が所望の光源下のものからずれてしまうおそれがある。これは、広角画像データ５１０では、エリア５１１の色成分のみならず、そのエリア５１１以外の色成分も検出するのに対し、望遠画像データ５２０では、そのエリア５１１に対応する部分からしか、色成分を検出することができないためである。

例えば、広角画像データ５１０においてエリア５１１が青みがかっており、その周囲が赤みがかっており、画像全体のＲ、ＧおよびＢのバランスが目標値に近いものと仮定する。広角側と望遠側とで個別にホワイトバランスゲインを演算する比較例では、撮像装置が広角側でバランスが取れているためにほとんど補正を行わないのに対し、望遠側では、全体が青みがかっているためにＲゲインを高くして補正を行う。この結果、望遠側では、広角側と比較して被写体の色調が不自然となり、ホワイトバランス補正の精度が低下してしまう。

これに対してホワイトバランス補正部３００は、広角側積算比率を中心とする望遠側積算範囲を設定し、その範囲内の望遠側色成分に基づいて望遠側ホワイトバランスゲインを演算している。これにより、広角側積算比率に近い値に、望遠側積算比率を絞り込むことができるため、望遠側のホワイトバランス補正の精度を向上させることができる。

なお、広角側ホワイトバランスゲインをそのまま望遠側に適用する方法も考えられるが、この方法では、望遠側のホワイトバランス補正の精度を十分に向上させることができない。これは、広角側と望遠側とのそれそれの光学系の特性が異なり、また、固体撮像素子の特性（感度など）が異なることもあるためである。これらの特性差を補正する係数を予め求めておき、その係数により望遠側ホワイトバランスゲインを補正する方法も考えられるが、様々な光源について同一の係数で補正することは困難である。光源ごとに係数を設定するとしても、非常に多くの係数をメモリなどに保持しておく必要があり、適切な補正が困難である。

［広角側積算部の構成例］
図６は、本技術の第１の実施の形態における広角側積算部３４０の一構成例を示すブロック図である。この広角側積算部３４０は、色成分比率演算部３４１、積算範囲内判定部３４２、積算範囲情報保持部３４３および積算比率演算部３４４を備える。

色成分比率演算部３４１は、広角側エリアごとに、広角側Ｒ／Ｇ成分比率と広角側Ｂ／Ｇ成分比率とを演算して積算範囲内判定部３４２に供給するものである。

積算範囲情報保持部３４３は、広角側積算範囲を示す情報を保持するものである。積算範囲内判定部３４２は、積算範囲情報保持部３４３から広角側積算範囲を取得し、広角側エリアごとに色成分比率が広角側積算範囲内であるか否かを判定するものである。この積算範囲情報保持部３４３は、判定結果を積算比率演算部３４４に供給する。

積算比率演算部３４４は、広角側積算範囲内の色成分比率に対応する広角側エリアの色成分から、広角側Ｒ／Ｇ積算比率と、広角側Ｂ／Ｇ積算比率とを演算するものである。この積算比率演算部３４４は、演算結果を広角側ホワイトバランスゲイン演算部３５５と望遠側積算部３３０とに供給する。

［望遠側積算部の構成例］
図７は、本技術の第１の実施の形態における望遠側積算部３３０の一構成例を示すブロック図である。この望遠側積算部３３０は、色成分比率演算部３３１、積算範囲内判定部３３２、積算範囲設定部３３３および積算比率演算部３３４を備える。

色成分比率演算部３３１は、望遠側エリアごとに、望遠側Ｒ／Ｇ成分比率と望遠側Ｂ／Ｇ成分比率とを演算して積算範囲内判定部３３２に供給するものである。

積算範囲設定部３３３は、広角側積算比率を中心とする所定の範囲を望遠側積算範囲として設定するものである。積算範囲内判定部３３２は、設定された望遠側積算範囲を取得し、望遠側エリアごとに色成分比率が望遠側積算範囲内であるか否かを判定するものである。この積算範囲内判定部３３２は、判定結果を積算比率演算部３３４に供給する。

積算比率演算部３３４は、望遠側積算範囲内の色成分比率に対応する望遠側エリアの色成分から、望遠側Ｒ／Ｇ積算比率と、望遠側Ｂ／Ｇ積算比率とを演算するものである。この積算比率演算部３３４は、演算結果を望遠側ホワイトバランスゲイン演算部３５０に供給する。

図８は、本技術の第１の実施の形態における広角側色成分比率および判定結果の一例を示す図である。ｎ個の広角側エリアには、エリア識別情報「Ａ０」乃至「Ａｎ」が割り当てられているものとする。「Ａ０」の広角側エリアにおいて、例えば、広角側Ｒ成分、広角側Ｇ成分および広角側Ｂ成分のそれぞれが「１０」、「２０」および「２０」であったものとする。この場合に広角側の色成分比率演算部３４１は、「Ａ０」の広角側Ｒ／Ｇ成分比率として「１／２」を算出し、「Ａ０」の広角側Ｂ／Ｇ成分比率として「１」を算出する。

また、広角側の積算範囲内判定部３４２は、広角側エリアごとに色成分比率が広角側積算範囲内であるか否かを判定する。例えば、色成分比率が積算範囲内である場合に判定結果に「１」が設定され、積算範囲外である場合に「０」が設定される。

図９は、本技術の第１の実施の形態における広角側色成分、積算値および広角側積算比率の一例を示す図である。積算比率演算部３４４は、判定結果が「１」の広角側エリアの色成分から、広角側Ｒ／Ｇ積算比率と、広角側Ｂ／Ｇ積算比率とを演算する。例えば、「Ａ０」の判定結果が「０」（積算範囲外）であり、「Ａ１」や「Ａｎ」の判定結果が「１」（積算範囲内）であるものとする。この場合に積算比率演算部３４４は、判定結果が「１」の「Ａ１」や「Ａｎ」のＲ成分、Ｂ成分およびＧ成分のそれぞれを積算してＲ積算値、Ｇ積算値およびＢ積算値を求める。そして、積算比率演算部３４４は、Ｒ積算値およびＧ積算値から広角側Ｒ／Ｇ積算比率を演算し、Ｂ積算値およびＧ積算値から広角側Ｂ／Ｇ積算比率を演算する。

図１０は、本技術の第１の実施の形態における広角側色成分比率および望遠側色成分比率のそれぞれのデータをプロットした散布図の一例である。同図におけるａは、広角側色成分比率のデータをプロットした散布図であり、同図におけるｂは、望遠側色成分比率のデータをプロットした散布図である。同図におけるａおよびｂの縦軸は、Ｂ／Ｇを示し、横軸はＲ／Ｇを示す。白い三角は、広角エリアごとの色成分比率をプロットしたものである。黒い三角は、広角側積算比率をプロットしたものである。白丸は、望遠エリアごとの色成分比率をプロットしたものである。黒丸は、望遠側積算比率をプロットしたものである。また、一点鎖線で囲まれた範囲は、広角側積算範囲を示し、点線で囲まれた範囲は望遠側積算範囲を示す。

なお、広角側と望遠側との光学特性や固体撮像素子の特性の差異は、正規化により調整済みである。

広角側積算部３４０は、白い三角のプロットのそれぞれが広角側積算範囲内であるか否かを判定し、広角側積算範囲内のプロットから広角側積算比率を演算する。そして、広角側積算部３４０は、広角側積算比率を望遠側積算部３３０に供給する。

そして、望遠側積算部３３０は、直交座標系において広角側積算比率を中心とする所定形状（例えば、矩形）の範囲を望遠側積算範囲として設定する。また、望遠側積算範囲の辺は、座標軸に平行であり、望遠側積算範囲が広角側積算範囲をはみ出すことがないように、その位置やサイズが設定される。また、望遠側積算範囲の中心から、辺のそれぞれまでの距離（ｃおよびｄ）には、性能評価により予め調整された値が設定される。望遠側積算部３３０は、設定した望遠側積算範囲内のプロットから望遠側積算比率を演算する。

図１１は、望遠側と広角側とで個別にホワイトバランスゲインを演算する比較例における望遠側色成分比率のデータをプロットした散布図の一例である。同図における縦軸は、Ｂ／Ｇを示し、横軸はＲ／Ｇを示す。黒い三角は、広角側積算比率をプロットしたものである。白丸は、望遠エリアごとの色成分比率をプロットしたものである。黒丸は、望遠側積算比率をプロットしたものである。また、一点鎖線で囲まれた範囲は、望遠側積算範囲を示す。

比較例では、広角側積算比率に関わらず、一定の望遠側積算範囲が設定される。比較例の撮像装置は、広角側において望遠側と同様に、望遠側積算範囲内のプロットの色成分を積算して望遠側積算比率を演算するものとする。

図１１に例示するように、比較例では、望遠側積算比率が広角側積算比率と大きく異なる値となることがある。この結果、望遠側のホワイトバランス補正の精度が低下してしまう。これは、前述したように、広角側では、被写体全体の色成分を検出することができるのに対して、望遠側では、被写体の一部の色成分しか検出することができないためである。

これに対して、望遠側積算部３３０は、望遠側色成分に加えて、広角側積算比率も用いて望遠側積算比率を演算する。このため、図１０に例示したように望遠側積算比率は、広角側積算比率に近い値となる。これにより、望遠側のホワイトバランス補正の精度を向上させることができる。

［撮像装置の動作例］
図１２は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、画像を撮像するためのアプリケーションが実行されたときに開始される。撮像装置１００は、垂直同期信号ＶＳＹＮＣの立上りタイミングであるか否かを判断する（ステップＳ９０１）。垂直同期信号ＶＳＹＮＣの立上りタイミングでない場合（ステップＳ９０１：Ｎｏ）、撮像装置１００は、ステップＳ９０１を繰り返す。

一方、垂直同期信号ＶＳＹＮＣの立上りタイミングである場合（ステップＳ９０１：Ｙｅｓ）、撮像装置１００は、広角画像データおよび望遠画像データの生成を行う（ステップＳ９０２）。そして、撮像装置１００は、それらの画像データに対するホワイトバランス補正を行うためのホワイトバランス補正処理を実行する（ステップＳ９１０）。次いで撮像装置１００は、ズーム倍率に応じて画像データの合成を行い、（ステップＳ９０３）、ステップＳ９０１以降を繰り返し実行する。

図１３は、本技術の第１の実施の形態におけるホワイトバランス補正処理の一例を示すフローチャートである。ホワイトバランス補正部３００は、広角側エリアごとにＲ、ＧおよびＢの色成分を検出し（ステップＳ９１１）、望遠側エリアごとにＲ、ＧおよびＢの色成分を検出する（ステップＳ９１２）。

そして、ホワイトバランス補正部３００は、積算比率を求めるための積算処理を行う（ステップＳ９２０）。次いで、ホワイトバランス補正部３００は、広角側積算比率と目標値とに基づいて広角側ホワイトバランスゲインを算出し（ステップＳ９１３）、望遠側積算比率と目標値とに基づいて望遠側ホワイトバランスゲインを算出する（ステップＳ９１４）。

ホワイトバランス補正部３００は、広角画像データを広角側ホワイトバランスゲインにより補正し（ステップＳ９１５）、望遠画像データを望遠側ホワイトバランスゲインにより補正する（ステップＳ９１６）。ステップＳ９１６の後にホワイトバランス補正部３００は、ホワイトバランス補正処理を終了する。

図１４は、本技術の第１の実施の形態における積算処理の一例を示すフローチャートである。ホワイトバランス補正部３００は、広角側積算範囲内で積算を行って広角側積算比率を算出する（ステップＳ９２１）。そして、ホワイトバランス補正部３００は、広角側積算比率を中心とする望遠側積算範囲を設定し（ステップＳ９２２）、望遠側の色成分を望遠側積算範囲内で積算して望遠側積算比率を算出する（ステップＳ９２３）。ステップＳ９２３の後にホワイトバランス補正部３００は、積算処理を終了する。

このように、本技術の第１の実施の形態によれば、撮像装置１００は、広角側積算比率と望遠側色成分とに基づいて望遠側積算比率に応じたゲインを求めるため、望遠側色成分のみを用いる場合よりも、広角側に近い適切な望遠側のゲインを取得することができる。この適切なゲインをホワイトバランス補正で用いることにより、望遠側のホワイトバランス補正の精度を向上させることができる。

［第１の変形例］
上述の第１の実施の形態では、ホワイトバランス補正部３００は、広角側積算比率を中心とした矩形の積算範囲を設定していたが、矩形にすると中心（広角側積算比率）から積算範囲の境界（辺や頂点）までの距離が一定とならない。辺までの距離が適切とすると、中心から頂点までの距離において不要なプロットも演算対象とされてしまう。この結果、補正精度を十分に向上させることができないおそれがある。この第１の実施の形態の第１の変形例の撮像装置１００は、中心から境界までの距離が一定となる積算範囲を設定する点において第１の実施の形態と異なる。

図１５は、本技術の第１の実施の形態の第１の変形例における望遠側積算範囲の形状の一例を示す図である。同図におけるａは、広角側色成分比率のデータをプロットした散布図であり、同図におけるｂは、望遠側色成分比率のデータをプロットした散布図である。同図におけるｂに例示するように、ホワイトバランス補正部３００は、広角側積算比率を中心とした円形の範囲を望遠側積算範囲として設定する。また、円の半径には、望遠側積算範囲が広角側積算範囲をはみ出さないような値が設定される。

なお、積算範囲の形状は、円形に限定されず、楕円であってもよい。楕円とすることにより、中心からの距離を許容量として、長軸（Ｒ／Ｇなど）方向の許容量を短軸（Ｂ／Ｇなど）方向の許容量よりも大きくすることができる。

このように、本技術の第１の実施の形態の第１の変形例では、撮像装置１００が広角側積算比率を中心とした円形の望遠側積算範囲を設定するため、中心からの距離を一定にすることができる。これにより、ホワイトバランス補正の精度を向上させることができる。

［第２の変形例］
上述の第１の実施の形態では、ホワイトバランス補正部３００は、座標軸に辺が平行な矩形の望遠側積算範囲を設定していたが、中心からの距離ｃおよびｄを大きく設定すると、望遠側積算範囲が広角側積算範囲をはみ出してしまうおそれがある。中心からの距離ｃおよびｄを大きくするには、ホワイトバランス補正部３００が、例えば、広角側積算範囲と辺が平行な望遠側積算範囲を設定すればよい。この第１の実施の形態の第２の変形例の撮像装置１００は、広角側積算範囲と辺が平行な望遠側積算範囲を設定する点において第１の実施の形態と異なる。

図１６は、本技術の第１の実施の形態の第２の変形例における望遠側積算範囲の形状の一例を示す図である。同図におけるａは、広角側色成分比率のデータをプロットした散布図であり、同図におけるｂは、望遠側色成分比率のデータをプロットした散布図である。同図におけるｂに例示するように、ホワイトバランス補正部３００は、広角側積算比率を中心とし、広角側積算範囲の辺と平行な辺を有する矩形の範囲を望遠側積算範囲として設定する。中心からの距離ｃおよびｄには、望遠側積算範囲が広角側積算範囲をはみ出さないような値が設定される。

このように、本技術の第１の実施の形態の第２の変形例では、撮像装置１００が、広角側積算範囲と辺が平行な望遠側積算範囲を設定するため、第１の実施の形態と比較して中心からの距離を長くすることができる。これにより、望遠側積算範囲の面積が大きくなるため、望遠側積算範囲内のプロット数が多くなり、ホワイトバランス補正の精度を向上させることができる。

［第３の変形例］
上述の第１の実施の形態では、ホワイトバランス補正部３００は、広角側積算範囲をはみ出さないように望遠側積算範囲を設定していたが、広角側積算範囲の形状は様々であり、複雑な形状を有することもある。このため、広角側積算範囲をはみ出さないように望遠側積算範囲を設定すると、中心からの距離ｃやｄが短くなり過ぎるおそれがある。ｃやｄが短くなると、望遠側積算範囲内に十分な個数のプロットが入らなくなり、補正精度が低下するおそれがある。この場合には、例えば、広角側積算範囲と個別に、所定の積算範囲を基準積算範囲として望遠側に設定しておき、撮像装置１００が、その基準積算範囲と広角側積算比率を中心とする所定範囲との重複範囲で積算を行えばよい。この第１の実施の形態の第３の変形例の撮像装置１００は、基準積算範囲と、広角側積算比率を中心とする所定範囲との重複範囲で積算を行う点において第１の実施の形態と異なる。

図１７は、本技術の第１の実施の形態の第３の変形例における積算処理の一例を示すフローチャートである。この第１の実施の形態の第３の変形例の積算処理は、ステップＳ９２２の代わりにステップＳ９２４を実行する点において第１の実施の形態と異なる。

ホワイトバランス補正部３００は、広角側積算比率を算出し（ステップＳ９２１）、その広角側積算比率を中心とする所定範囲と、基準積算範囲との重複範囲を望遠側積算範囲として設定する（ステップＳ９２４）。ここで、基準積算範囲は、広角側積算範囲とは個別に予め望遠側に設定された所定の積算範囲である。そして、ホワイトバランス補正部３００は、望遠側積算範囲内で望遠側の色成分を積算して望遠側積算比率を算出する（ステップＳ９２３）。ステップＳ９２３の後にホワイトバランス補正部３００は、積算処理を終了する。

図１８は、本技術の第１の実施の形態の第３の変形例における矩形の望遠側積算範囲の形状の一例を示す図である。同図におけるａは、広角側色成分比率のデータをプロットした散布図であり、同図におけるｂは、望遠側色成分比率のデータをプロットした散布図である。同図におけるｂの二点鎖線で囲まれた領域は、基準積算範囲である。ホワイトバランス補正部３００は、広角側積算比率を中心とする矩形の範囲と、基準積算範囲との重複範囲を望遠側積算範囲として設定する。同図における斜線部分は、広角側積算比率を中心とする矩形の範囲のうち、基準積算範囲からはみ出た領域である。この斜線部分におけるプロットは演算に用いられない。なお、望遠側に基準積算範囲を設定せず、ホワイトバランス補正部３００が、広角側積算比率を中心とする所定の範囲と広角側積算範囲との重複部分を望遠側積算範囲として設定することもできる。

なお、撮像装置１００は、図１９に例示するように、広角側積算比率を中心とした楕円形の範囲と基準積算範囲との重複範囲内で積算することもできる。また、撮像装置１００は、広角側積算比率を中心とした円形の範囲と基準積算範囲との重複範囲内で積算することもできる。

このように、本技術の第１の実施の形態の第３の変形例によれば、撮像装置１００は、広角側積算比率を中心とする矩形の範囲と基準積算範囲との重複範囲内で積算を行うため、第１の実施の形態と比較して中心からの距離を長くすることができる。これにより、望遠側積算範囲の面積が大きくなるため、望遠側積算範囲内のプロット数が多くなり、ホワイトバランス補正の精度を向上させることができる。

＜２．第２の実施の形態＞
上述の第１の実施の形態では、広角側積算範囲内のプロットを用いて撮像装置１００がホワイトバランス補正を行っていた。しかし、広角側積算範囲内のプロット数が非常に少なく、統計上、信頼することができる個数に満たない場合には、補正精度が低下するおそれがある。また、広角側積算範囲内の色成分の検出値が非常に小さく、有意な値でない場合にも、補正精度が低下するおそれがある。この第２の実施の形態の撮像装置１００は、広角側のプロットの信頼性の有無を判定し、信頼性のある場合に演算を行う点において第１の実施の形態と異なる。また、第２の実施の形態においては、望遠側において広角側積算範囲とは個別に予め基準積算範囲が設定されているものとする。

図２０は、本技術の第２の実施の形態におけるホワイトバランス補正部３００の一構成例を示すブロック図である。この第２の実施の形態のホワイトバランス補正部３００は、積算比率保持部３７０をさらに具備する点において第１の実施の形態と異なる。

積算比率保持部３７０は、広角側積算比率を保持するものである。第２の実施の形態の広角側積算部３４０は、垂直同期信号の周期ごとに、広角側積算範囲内のプロット全体の信頼性の有無を判定し、信頼性のある場合に広角側積算比率を演算する。そして、広角側積算部３４０は、演算した望遠側積算比率を積算比率保持部３７０に保持させるとともに、望遠側積算部３３０および広角側ホワイトバランスゲイン演算部３５５に供給する。

一方、信頼性の無い場合に広角側積算部３４０は、前回の広角画像データ（フレーム）で演算した広角側積算比率を積算比率保持部３７０から読み出して広角側ホワイトバランスゲイン演算部３５５に供給する。

図２１は、本技術の第２の実施の形態における積算処理の一例を示すフローチャートである。この第２の実施の形態の積算処理は、ステップＳ９３０と、Ｓ９４１乃至Ｓ９４３とをさらに実行する点において第１の実施の形態と異なる。

ホワイトバランス補正部３００は、広角側色成分の信頼性の有無を判定するための広角側信頼性判定処理を実行する（ステップＳ９３０）。そして、ホワイトバランス補正部３００は、広角側信頼性フラグがオンであるか否かを判断する（ステップＳ９４１）。ここで、広角側信頼性フラグは、広角側色成分の信頼性の有無を示すフラグであり、信頼性のある場合にオンが設定され、無い場合にオフが設定される。

広角側信頼性フラグがオンである場合に（ステップＳ９４１：Ｙｅｓ）、ホワイトバランス補正部３００は、ステップＳ９２１以降を実行する。一方、広角側信頼性フラグがオフである場合に（ステップＳ９４１：Ｎｏ）、ホワイトバランス補正部３００は、前フレームの広角側積算比率を積算比率保持部３７０から取得する（ステップＳ９４２）。ここで、ステップＳ９４２において最初のフレームでは、前フレームが存在しないため、所定の初期値が広角側積算比率として用いられる。そして、ホワイトバランス補正部３００は、望遠側色成分を、基準積算範囲内で積算して望遠側積算比率を求め（ステップＳ９４３）、積算処理を終了する。

図２２は、本技術の第２の実施の形態における広角側信頼性判定処理の一例を示すフローチャートである。ホワイトバランス補正部３００は、広域側積算範囲内において、規定値Ｔｈを超えるＲ成分のプロットが所定数よりも多いか否かを判断する（ステップＳ９３１）。

規定値Ｔｈを超えるＲ成分のプロットが所定数よりも多い場合に（ステップＳ９３１：Ｙｅｓ）、ホワイトバランス補正部３００は、広域側積算範囲内において、規定値Ｔｈを超えるＧ成分のプロットが所定数よりも多いか否かを判断する（ステップＳ９３２）。

規定値Ｔｈを超えるＧ成分のプロットが所定数よりも多い場合に（ステップＳ９３２：Ｙｅｓ）、ホワイトバランス補正部３００は、広域側積算範囲内において、規定値Ｔｈを超えるＢ成分のプロットが所定数よりも多いか否かを判断する（ステップＳ９３３）。

規定値Ｔｈを超えるＢ成分のプロットが所定数よりも多い場合に（ステップＳ９３３：Ｙｅｓ）、ホワイトバランス補正部３００は、広角側信頼性フラグをオンにする（ステップＳ９３４）。

規定値Ｔｈを超えるＲ成分が所定数以下の場合（ステップＳ９３１：Ｎｏ）、ホワイトバランス補正部３００は、広角側信頼性フラグをオフにする（ステップＳ９３５）。また、規定値Ｔｈを超えるＧ成分が所定数以下の場合（ステップＳ９３２：Ｎｏ）、または、規定値Ｔｈを超えるＢ成分が所定数以下の場合（ステップＳ９３３：Ｎｏ）、ホワイトバランス補正部３００は、広角側信頼性フラグをオフにする（ステップＳ９３５）。ステップＳ９３４またはＳ９３５の後にホワイトバランス補正部３００は、広角側信頼性判定処理を終了する。

このように、本技術の第２の実施の形態では、撮像装置１００は、広角側色成分について信頼性のある場合に広角側積算比率を演算し、信頼性の無い色成分は用いないため、ホワイトバランス補正の精度をさらに向上させることができる。

［第１の変形例］
上述の第２の実施の形態では、望遠側積算範囲内のプロットを用いて撮像装置１００がホワイトバランス補正を行っていた。しかし、望遠側積算範囲内のプロット数が非常に少なく、統計上、信頼することができる個数に満たない場合には、補正精度が低下するおそれがある。また、望遠側積算範囲内の色成分の検出値が非常に小さく、有意な値でない場合にも、補正精度が低下するおそれがある。この第２の実施の形態の第１の変形例の撮像装置１００は、望遠側のプロットの信頼性の有無を判定し、信頼性のある場合に演算を行う点において第１の実施の形態と異なる。

図２３は、本技術の第２の実施の形態の第１の変形例における積算処理の一例を示すフローチャートである。この第２の実施の形態の変形例の積算処理は、ステップＳ９５０、Ｓ９６１、Ｓ９６２、Ｓ９６３、Ｓ９６４およびＳ９６５をさらに実行する点において第２の実施の形態と異なる。

ホワイトバランス補正部３００は、望遠側積算範囲を設定し（ステップＳ９２２）、望遠側色成分の信頼性の有無を判定するための望遠側信頼性判定処理を実行する（ステップＳ９５０）。そして、ホワイトバランス補正部３００は、望遠側信頼性フラグがオンであるか否かを判断する（ステップＳ９６１）。ここで、望遠側信頼性フラグは、望遠側色成分の信頼性の有無を示すフラグであり、信頼性のある場合にオンが設定され、無い場合にオフが設定される。

望遠側信頼性フラグがオンである場合に（ステップＳ９６１：Ｙｅｓ）、ホワイトバランス補正部３００は、ステップＳ９２３以降を実行する。一方、望遠側信頼性フラグがオフである場合に（ステップＳ９６１：Ｎｏ）、ホワイトバランス補正部３００は、広角側積算比率をそのまま望遠側に適用する（ステップＳ９６２）。すなわち、広角側積算比率と同じ値が望遠側積算比率に設定される。ステップＳ９６２の後にホワイトバランス補正部３００は、積算処理を終了する。

また、ホワイトバランス補正部３００は、広角側信頼性フラグがオフの場合に（ステップＳ９４１：Ｎｏ）、前フレームの広角側積算比率を積算比率保持部３７０から取得する（ステップＳ９４２）。次いで、ホワイトバランス補正部３００は、望遠側信頼性判定処理を実行する（ステップＳ９５０）。そして、ホワイトバランス補正部３００は、望遠側信頼性フラグがオンであるか否かを判断する（ステップＳ９６３）。望遠側信頼性フラグがオンである場合に（ステップＳ９６３：Ｙｅｓ）、ホワイトバランス補正部３００は、望遠側において基準積算範囲内で積算を行う（ステップＳ９６４）。一方、望遠側信頼性フラグがオフである場合に（ステップＳ９６３：Ｎｏ）、ホワイトバランス補正部３００は、前フレームの望遠側積算比率を積算比率保持部３７０から取得する（ステップＳ９６５）。ここで、ステップＳ９６５において最初のフレームにおいては、前フレームが存在しないため、所定の初期値が望遠側積算比率として用いられる。ステップＳ９６４またはＳ９６５の後にホワイトバランス補正部３００は、積算処理を終了する。

図２４は、本技術の第２の実施の形態の第１の変形例における望遠側信頼性判定処理の一例を示すフローチャートである。ホワイトバランス補正部３００は、望遠側積算範囲内において、規定値Ｔｈを超えるＲ成分のプロットが所定数よりも多いか否かを判断する（ステップＳ９５１）。

規定値Ｔｈを超えるＲ成分のプロットが所定数よりも多い場合に（ステップＳ９５１：Ｙｅｓ）、ホワイトバランス補正部３００は、望遠広域側積算範囲内において、規定値Ｔｈを超えるＧ成分のプロットが所定数よりも多いか否かを判断する（ステップＳ９５２）。

規定値Ｔｈを超えるＧ成分のプロットが所定数よりも多い場合に（ステップＳ９５２：Ｙｅｓ）、ホワイトバランス補正部３００は、望遠側積算範囲内において、規定値Ｔｈを超えるＢ成分のプロットが所定数よりも多いか否かを判断する（ステップＳ９５３）。

規定値Ｔｈを超えるＢ成分のプロットが所定数よりも多い場合に（ステップＳ９５３：Ｙｅｓ）、ホワイトバランス補正部３００は、望遠側信頼性フラグをオンにする（ステップＳ９５４）。

規定値Ｔｈを超えるＲ成分が所定数以下の場合（ステップＳ９５１：Ｎｏ）、ホワイトバランス補正部３００は、望遠側信頼性フラグをオフにする（ステップＳ９５５）。また、規定値Ｔｈを超えるＧ成分が所定数以下の場合（ステップＳ９５２：Ｎｏ）、または、規定値Ｔｈを超えるＢ成分が所定数以下の場合（ステップＳ９５３：Ｎｏ）、ホワイトバランス補正部３００は、望遠側信頼性フラグをオフにする（ステップＳ９５５）。ステップＳ９５４またはＳ９５５の後にホワイトバランス補正部３００は、望遠側信頼性判定処理を終了する。

このように、本技術の第２の実施の形態の第１の変形例では、撮像装置１００は、望遠側色成分について信頼性のある場合に望遠側積算比率を演算し、信頼性の無い色成分は用いないため、ホワイトバランス補正の精度をさらに向上させることができる。

［第２の変形例］
上述の第２の実施の形態では、ホワイトバランス補正部３００は、広角側信頼性判定処理において、Ｒ成分、Ｇ成分およびＢ成分を、同一の規定値Ｔｈと比較していた。しかし、ＲやＢを受光する画素の感度と、Ｇを受光する画素の感度とが異なる場合もある。この場合には、その感度に基づいて、Ｒ成分、Ｇ成分およびＢ成分のそれぞれについて、異なる規定値を設定することが望ましい。この第２の実施の形態の第２の変形例の撮像装置１００は、Ｒ成分、Ｇ成分およびＢ成分のそれぞれを、異なる規定値と比較する点において第２の実施の形態と異なる。

図２５は、本技術の第２の実施の形態の第２の変形例における広角側信頼性判定処理の一例を示すフローチャートである。この第２の実施の形態の第２の変形例の広角側信頼性判定処理は、ステップＳ９３１乃至Ｓ９３３の代わりにステップＳ９３６乃至Ｓ９３８を実行する点において第２の実施の形態と異なる。

ホワイトバランス補正部３００は、広域側積算範囲内において、規定値Ｔｈ１を超えるＲ成分のプロットが所定数よりも多いか否かを判断する（ステップＳ９３６）。

規定値Ｔｈ１を超えるＲ成分のプロットが所定数よりも多い場合に（ステップＳ９３６：Ｙｅｓ）、ホワイトバランス補正部３００は、広域側積算範囲内において、規定値Ｔｈ２を超えるＧ成分のプロットが所定数よりも多いか否かを判断する（ステップＳ９３７）。

規定値Ｔｈ２を超えるＧ成分のプロットが所定数よりも多い場合に（ステップＳ９３７：Ｙｅｓ）、ホワイトバランス補正部３００は、広域側積算範囲内において、規定値Ｔｈ３を超えるＢ成分のプロットが所定数よりも多いか否かを判断する（ステップＳ９３８）。ここで、規定値Ｔｈ１、Ｔｈ２およびＴｈ３には、Ｒ、ＧおよびＢの画素のそれぞれの感度に応じた値が設定される。

このように、本技術の第２の実施の形態の第２の変形例では、撮像装置１００は、色成分のそれぞれについて画素の感度に応じた規定値を設定するため、色成分ごとに感度が異なる場合であっても色成分の信頼性の有無を適切に判断することができる。これにより、ホワイトバランス補正の精度を向上させることができる。

＜３．第３の実施の形態＞
上述の第１の実施の形態では、２眼の撮像装置１００において、ホワイトバランス補正を行っていたが、３眼以上の複眼の撮像システムにおいて、ホワイトバランス補正を行うこともできる。この第３の実施の形態の撮像システムは、３眼以上の複眼の撮像システムにおいて、ホワイトバランス補正を行う点において第１の実施の形態と異なる。

図２６は、本技術の第３の実施の形態における撮像システムの一構成例を示すブロック図である。この撮像素子ステムは、単眼撮像装置４０１、４０２および４０３などの３つ以上の単眼撮像装置と、同期制御装置４０４と、記録装置４０５とを備える。

同期制御装置４０４は、垂直同期信号ＶＳＹＮＣの供給により、単眼撮像装置４０１等の動作を同期させるものである。

単眼撮像装置４０１の構成は、第１の実施の形態の広角側の単眼カメラモジュール２０２と同様である。この広角側の単眼撮像装置４０１は、望遠側の単眼撮像装置４０３等に、広角側積算比率を供給する。単眼撮像装置４０２等の他の単眼撮像装置の構成は、第１の実施の形態の望遠側の単眼カメラモジュール２０１と同様である。

記録装置４０５は、単眼撮像装置４０１等で撮像された画像データを記録するものである。なお、記録装置４０５は、特許請求の範囲に記載の記録部の一例である。

例えば、工場内の所定の監視位置に単眼撮像装置４０１等を配置し、画像データを解析することにより、撮像システムは、工場内の異常を検知することができる。この撮像システムでは、高い精度でホワイトバランス補正が行われた３枚以上の画像データを撮像することができるため、画像データの解析の精度を高くすることができる。

このように、本技術の第３の実施の形態では、望遠側の単眼撮像装置４０２等において広角側積算比率と望遠側色成分とに基づいて望遠側積算比率に応じたゲインを求めるため、３眼以上の撮像システムにおいて補正精度を向上させることができる。

＜４．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２８は、撮像部１２０３１の設置位置の例を示す図である。

図２８では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１乃至１２１０４に適用され得る。例えば、撮像部１２１０１乃至１２１０４のそれぞれの内部に２眼カメラモジュール２００が配置される。撮像部１２１０１乃至１２１０４に本技術を適用することにより、画像データの画質を向上させることができるため、ドライバの疲労を軽減することが可能になる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

なお、本技術は以下のような構成もとることができる。
（１）画角が所定値より広い広角画像データ内の複数の領域のそれぞれにおいて複数の広角側色成分を検出する広角側光検出部と、
画角が前記所定値より狭い望遠画像データ内の複数の領域のそれぞれにおいて複数の望遠側色成分を検出する望遠側光検出部と、
前記複数の広角側色成分のそれぞれの積算値の比率である広角側積算比率と前記複数の望遠側色成分とに基づいて前記望遠画像データに対するゲインを望遠側ホワイトバランスゲインとして求める望遠側ホワイトバランスゲイン取得部と、
前記望遠側ホワイトバランスゲインにより前記望遠画像データを補正する望遠側ホワイトバランス補正部と
を具備する撮像装置。
（２）前記望遠側ホワイトバランスゲイン取得部は、前記広角側積算比率を含む所定の範囲を望遠側積算範囲として設定して前記望遠側積算範囲内の前記複数の望遠側色成分のそれぞれの積算値の比率である望遠側積算比率に応じたゲインを前記望遠側ホワイトバランスゲインとして演算する前記（１）記載の撮像装置。
（３）前記複数の望遠側色成分は、Ｒ（Red）成分、Ｇ（Green）成分およびＢ（Blue）成分を含み、
前記望遠側ホワイトバランスゲイン取得部は、前記Ｒ成分および前記Ｇ成分の比率と前記Ｂ成分および前記Ｇ成分の比率とのそれぞれを座標軸とする直交座標系において前記広角側積算比率を中心とする所定形状の範囲を前記望遠側積算範囲として設定する
前記（２）記載の撮像装置。
（４）前記望遠側積算範囲は、矩形である
前記（３）記載の撮像装置。
（５）前記望遠側積算範囲は、円形である
前記（３）記載の撮像装置。
（６）前記望遠側積算範囲は、楕円形である
前記（３）記載の撮像装置。
（７）所定の広角側積算範囲内の前記複数の広角側色成分のそれぞれの積算値の比率を前記広角側積算比率として演算して前記広角側積算比率に応じたゲインを広角側ホワイトバランスゲインとして取得する広角側ホワイトバランスゲイン取得部と、
前記広角側ホワイトバランスゲインにより前記広角画像データを補正する広角側ホワイトバランス補正部と
をさらに具備する前記（３）から（６）のいずれかに記載の撮像装置。
（８）前記望遠側積算範囲の辺は、前記所定の広角側積算範囲の辺と平行である
前記（７）記載の撮像装置。
（９）前記複数の望遠側色成分は、Ｒ成分、Ｇ成分およびＢ成分を含み、
前記望遠側ホワイトバランスゲイン取得部は、前記Ｒ成分および前記Ｇ成分の比率と前記Ｂ成分および前記Ｇ成分の比率とのそれぞれを座標軸とする直交座標系において前記広角側積算比率を中心とする所定形状の範囲と予め設定された基準積算範囲との重複範囲を前記望遠側積算範囲として設定する
前記（２）に記載の撮像装置。
（１０）前記広角側ホワイトバランスゲイン取得部は、所定の広角側積算範囲内において前記複数の広角側色成分の信頼性の有無を判定し、信頼性のある場合には前記広角側積算比率を演算する
前記（７）から（９）のいずれかに記載の撮像装置。
（１１）前記広角側ホワイトバランスゲイン取得部は、前記複数の広角側色成分のそれぞれについて規定値を超える色成分が所定数よりも多いか否かを判断し、当該判断結果に基づいて信頼性の有無を判定する
前記（１０）記載の撮像装置。
（１２）前記望遠側ホワイトバランスゲイン取得部は、前記望遠側積算範囲内において前記複数の望遠側色成分の信頼性の有無を判定し、信頼性のある場合には前記望遠側積算比率を演算する
前記（１０）または（１１）に記載の撮像装置。
（１３）前記望遠側ホワイトバランスゲイン取得部は、前記複数の望遠側色成分のそれぞれについて規定値を超える色成分が所定数よりも多いか否かを判断し、当該判断結果に基づいて信頼性の有無を判定する
前記（１２）記載の撮像装置。
（１４）画角が所定値より広い広角画像データ内の複数の領域のそれぞれにおいて複数の広角側色成分を検出する広角側光検出部と、
画角が前記所定値より狭い望遠画像データ内の複数の領域のそれぞれにおいて複数の望遠側色成分を検出する望遠側光検出部と、
前記複数の広角側色成分のそれぞれの積算値の比率である広角側積算比率と前記複数の望遠側色成分とに基づいて前記望遠画像データに対するゲインを望遠側ホワイトバランスゲインとして求める望遠側ホワイトバランスゲイン取得部と、
前記望遠側ホワイトバランスゲインにより前記望遠画像データを補正する望遠側ホワイトバランス補正部と、
前記補正された望遠画像データを記録する記録部と
を具備する撮像システム。
（１５）画角が所定値より広い広角画像データ内の複数の領域のそれぞれにおいて複数の広角側色成分を検出する広角側光検出手順と、
画角が前記所定値より狭い望遠画像データ内の複数の領域のそれぞれにおいて複数の望遠側色成分を検出する望遠側光検出手順と、
前記複数の広角側色成分のそれぞれの積算値の比率である広角側積算比率と前記複数の望遠側色成分とに基づいて前記望遠画像データに対するゲインを望遠側ホワイトバランスゲインとして求める望遠側ホワイトバランスゲイン取得手順と、
前記望遠側ホワイトバランスゲインにより前記望遠画像データを補正する望遠側ホワイトバランス補正手順と
を具備する撮像装置の制御方法。

１００ 撮像装置
１１０ カメラモジュール制御部
１２０ 画像処理部
１３０ 記録部
２００ ２眼カメラモジュール
２０１、２０２ 単眼カメラモジュール
２０３ 連結部材
２１１ 望遠レンズ
２１２ 広角レンズ
２２１ 望遠側固体撮像素子
２２２ 広角側固体撮像素子
２４０ 画像合成部
３００ ホワイトバランス補正部
３１０ 望遠側光検出部
３１５ 広角側光検出部
３２０ 望遠側ホワイトバランスゲイン取得部
３２５ 広角側ホワイトバランスゲイン取得部
３３０ 望遠側積算部
３３１、３４１ 色成分比率演算部
３３２、３４２ 積算範囲内判定部
３３３ 積算範囲設定部
３３４、３４４ 積算比率演算部
３４０ 広角側積算部
３４３ 積算範囲情報保持部
３５０ 望遠側ホワイトバランスゲイン演算部
３５５ 広角側ホワイトバランスゲイン演算部
３６０ 望遠側ホワイトバランス補正部
３６５ 広角側ホワイトバランス補正部
３７０ 積算比率保持部
４０１、４０２、４０３ 単眼撮像装置
４０４ 同期制御装置
４０５ 記録装置
１２１０１、１２１０２、１２１０３、１２１０４、１２１０５ 撮像部

Claims (15)

1. 画角が所定値より広い広角画像データ内の複数の領域のそれぞれにおいて複数の広角側色成分を検出する広角側光検出部と、
   画角が前記所定値より狭い望遠画像データ内の複数の領域のそれぞれにおいて複数の望遠側色成分を検出する望遠側光検出部と、
   前記複数の広角側色成分のそれぞれの積算値の比率である広角側積算比率と前記複数の望遠側色成分とに基づいて前記望遠画像データに対するゲインを望遠側ホワイトバランスゲインとして求める望遠側ホワイトバランスゲイン取得部と、
   前記望遠側ホワイトバランスゲインにより前記望遠画像データを補正する望遠側ホワイトバランス補正部と
   を具備する撮像装置。
2. 前記望遠側ホワイトバランスゲイン取得部は、前記広角側積算比率を含む所定の範囲を望遠側積算範囲として設定して前記望遠側積算範囲内の前記複数の望遠側色成分のそれぞれの積算値の比率である望遠側積算比率に応じたゲインを前記望遠側ホワイトバランスゲインとして演算する請求項１記載の撮像装置。
3. 前記複数の望遠側色成分は、Ｒ（Red）成分、Ｇ（Green）成分およびＢ（Blue）成分を含み、
   前記望遠側ホワイトバランスゲイン取得部は、前記Ｒ成分および前記Ｇ成分の比率と前記Ｂ成分および前記Ｇ成分の比率とのそれぞれを座標軸とする直交座標系において前記広角側積算比率を中心とする所定形状の範囲を前記望遠側積算範囲として設定する
   請求項２記載の撮像装置。
4. 前記望遠側積算範囲は、矩形である
   請求項３記載の撮像装置。
5. 前記望遠側積算範囲は、円形である
   請求項３記載の撮像装置。
6. 前記望遠側積算範囲は、楕円形である
   請求項３記載の撮像装置。
7. 所定の広角側積算範囲内の前記複数の広角側色成分のそれぞれの積算値の比率を前記広角側積算比率として演算して前記広角側積算比率に応じたゲインを広角側ホワイトバランスゲインとして取得する広角側ホワイトバランスゲイン取得部と、
   前記広角側ホワイトバランスゲインにより前記広角画像データを補正する広角側ホワイトバランス補正部と
   をさらに具備する請求項３記載の撮像装置。
8. 前記望遠側積算範囲の辺は、前記所定の広角側積算範囲の辺と平行である
   請求項７記載の撮像装置。
9. 前記複数の望遠側色成分は、Ｒ成分、Ｇ成分およびＢ成分を含み、
   前記望遠側ホワイトバランスゲイン取得部は、前記Ｒ成分および前記Ｇ成分の比率と前記Ｂ成分および前記Ｇ成分の比率とのそれぞれを座標軸とする直交座標系において前記広角側積算比率を中心とする所定形状の範囲と予め設定された基準積算範囲との重複範囲を前記望遠側積算範囲として設定する
   請求項２記載の撮像装置。
10. 前記広角側ホワイトバランスゲイン取得部は、所定の広角側積算範囲内において前記複数の広角側色成分の信頼性の有無を判定し、信頼性のある場合には前記広角側積算比率を演算する
    請求項７記載の撮像装置。
11. 前記広角側ホワイトバランスゲイン取得部は、前記複数の広角側色成分のそれぞれについて規定値を超える色成分が所定数よりも多いか否かを判断し、当該判断結果に基づいて信頼性の有無を判定する
    請求項１０記載の撮像装置。
12. 前記望遠側ホワイトバランスゲイン取得部は、前記望遠側積算範囲内において前記複数の望遠側色成分の信頼性の有無を判定し、信頼性のある場合には前記望遠側積算比率を演算する
    請求項１０記載の撮像装置。
13. 前記望遠側ホワイトバランスゲイン取得部は、前記複数の望遠側色成分のそれぞれについて規定値を超える色成分が所定数よりも多いか否かを判断し、当該判断結果に基づいて信頼性の有無を判定する
    請求項１２記載の撮像装置。
14. 画角が所定値より広い広角画像データ内の複数の領域のそれぞれにおいて複数の広角側色成分を検出する広角側光検出部と、
    画角が前記所定値より狭い望遠画像データ内の複数の領域のそれぞれにおいて複数の望遠側色成分を検出する望遠側光検出部と、
    前記複数の広角側色成分のそれぞれの積算値の比率である広角側積算比率と前記複数の望遠側色成分とに基づいて前記望遠画像データに対するゲインを望遠側ホワイトバランスゲインとして求める望遠側ホワイトバランスゲイン取得部と、
    前記望遠側ホワイトバランスゲインにより前記望遠画像データを補正する望遠側ホワイトバランス補正部と、
    前記補正された望遠画像データを記録する記録部と
    を具備する撮像システム。
15. 画角が所定値より広い広角画像データ内の複数の領域のそれぞれにおいて複数の広角側色成分を検出する広角側光検出手順と、
    画角が前記所定値より狭い望遠画像データ内の複数の領域のそれぞれにおいて複数の望遠側色成分を検出する望遠側光検出手順と、
    前記複数の広角側色成分のそれぞれの積算値の比率である広角側積算比率と前記複数の望遠側色成分とに基づいて前記望遠画像データに対するゲインを望遠側ホワイトバランスゲインとして求める望遠側ホワイトバランスゲイン取得手順と、
    前記望遠側ホワイトバランスゲインにより前記望遠画像データを補正する望遠側ホワイトバランス補正手順と
    を具備する撮像装置の制御方法。

Images