JP2012039525A - 撮像装置 - Google Patents

Abstract

【課題】３層構造の撮像素子を用いた撮像装置において、撮影レンズの絞りのＦ値によらず、最適なホワイトバランス調整が可能な撮像装置を提供する。
【解決手段】３層構造の撮像素子を用いた撮像装置において、撮影時の絞りのＦ値を検出するＦ値検出部と、画像信号のバランスの補正を行うカメラＣＰＵと、撮影画像データに対してホワイトバランス調整を行うホワイトバランス調整部と、を有し、カメラＣＰＵは、Ｆ値検出部により検出された撮影時の絞りのＦ値から算出した補正ゲインを用いて画像信号を補正し、ホワイトバランス調整部は、補正後の画像信号を含む撮影画像データに対してホワイトバランス調整を行うことを特徴とする撮像装置。
【選択図】図１

Description

本発明は、デジタルカメラ及びビデオカメラ等に採用される撮像装置に関し、特に３層構造の撮像素子を有する撮像装置に関する。

従来のフイルムカメラに代わり、被写体からの光を固体撮像素子を用いて光電変換することにより撮像し、取得した画像信号をデジタル値の画像データとして変換し、メモリカード等の記憶媒体に記憶する撮像装置が普及している。

これらの撮像装置の多くは、撮像するシチュエーションにかかわらず、被写体における白色を忠実に再現できるように、シチュエーションごとの照明や太陽光の色温度に応じて、撮像される画像データ全体の色調を調整するためのホワイトバランス調整手段を備えている。

ホワイトバランス調整によって撮影画像データを調整しない場合、撮影画像データは全体的に赤や緑などの異常な色味がかかったものとなり、撮像した画像データにおいて被写体の色を忠実に再現することが困難となる。

デジタルカメラ等のホワイトバランス調整は、光を受けた撮像素子から出力される赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号に対して、それぞれ撮像するシチュエーションに対応する調整ゲイン量を決定し、元の画像データのバランスを適正に調整する手法が一般的である。

赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号に対してそれぞれ調整する調整ゲイン量は、撮像装置の設計時に、様々なシチュエーションにおいて撮像を行って画像データを収集し、適正なホワイトバランスに調整できるよう、実験により予め決定されている。

そのため、特定の撮影条件における撮影装置自体の特性等によって取得される赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号自体のバランスが崩れてしまう場合には、実験により予め決定された調整ゲイン量だけでは、完全に適切なホワイトバランスを調整することができない。すなわち、適切なホワイトバランス調整が、特定の撮影条件により適切に実行されない問題が発生するおそれがある。

ホワイトバランス調整へ影響を与える撮像装置自体の要因としては、特定の撮影条件における、撮像素子上のマイクロレンズでの入射光角度による集光特性や、赤外線カットフィルタでの入射光角度による波長透過特性等があげられる。

上記のホワイトバランス調整への影響は、撮影レンズから撮像素子上へ射出された光束の入射角に起因している。特定の撮影条件におけるこの影響を勘案せず、撮影時の色温度のみを判断してホワイトバランスを調整すると、適切なホワイトバランスを得ることができない。

上記問題を解決するため、従来技術として、ホワイトバランスの調整時において、撮影レンズから撮像素子上へ射出される光束の入射光角度によって変化してしまう赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号に対し、それぞれの調整ゲイン量を補正することで、最終的にホワイトバランス調整を適切に処理する技術が発明されている。

ホワイトバランス調整時の、撮影条件による調整ゲイン量の補正技術が、次の特許文献等に開示されている。

特許文献１（特開２００２−２１８２９８号公報）には、ホワイトバランス調整時に、集光率を高めるために撮像素子上に形成されたマイクロレンズへの入射光角度特性に起因する従来のホワイトシェーディングに加えて、赤外線カットフィルタへの入射光角度により起こる赤（Ｒ）成分の色シェーディングを補正する技術が開示されている。

入射角のより大きい光線が撮像素子の手前に配置された赤外線カットフィルタへ入射した場合、撮像素子上において撮影レンズの光軸から離れた領域の感光部では、本来の入射光の一部の波長成分が異常に低下した状態で感光されてしまう。

これは、赤外線カットフィルタの分光透過特性として、入射光角度が大きくなるに従って赤（Ｒ）成分の光を透過しにくくなるためである。つまり、赤外線カットフィルタへの入射光角度が大きい光軸から離れた光束については、赤外線カットフィルタの分光透過特性により赤（Ｒ）成分が透過されにくくなってしまう。したがって、撮像素子では画像周辺で赤（Ｒ）成分を感光しにくくなり、たとえ従来のホワイトシェーディングを補正したとしても、依然として特定の色チャンネル（赤（Ｒ）成分）についてのシェーディングが補正しきれず残存してしまう。

この問題に対して、特許文献１では射出瞳位置情報等に応じて、画像周辺のＲ（赤）成分の調整ゲイン量を増大して補正することにより、特定の色チャンネルについてのシェーディングを補正することとした。すなわち、特許文献１に記載された発明は、画像データ全域の２次元平面上で起こりうるホワイトバランスの崩れを補正するものである。

また、特許文献２（特許４３３７１６１号公報）には、まずプリセットホワイトバランス調整値を決定するため、予め白色被写体を基準画像データとして撮像し、次に実際に撮像した画像データに対してプリセットホワイトバランス調整を行い、プリセットホワイトバランス調整値決定時と実際の撮影時との瞳位置や絞り値を比較し、必要と判断する場合には、さらに、プリセットホワイトバランス調整値を微調整するホワイトバランス微調整手段が開示されている。

これにより、通常のプリセットホワイトバランス調整だけでは調整しきれない、瞳位置や絞り値による撮像素子への入射光角度の変化と撮像素子上のマイクロレンズの集光特性との関係で発生するホワイトバランスの崩れを微調整し、プリセットホワイトバランス調整後の色かぶり現象を抑制することができる。

ところで、特許文献１及び特許文献２に記載の発明において前提とされている撮像素子は、ベイヤー配列の撮像素子であるが、３層構造の撮像素子も従来発明されている。

ベイヤー配列の撮像素子では、受光部が形成された各画素部に赤（Ｒ）・緑（Ｇ）・青（Ｂ）等のカラーフィルタを割り当て、そのカラーフィルタを通った特定波長の光を検知する構成が一般的である。ベイヤー配列の撮像素子では、特定波長の光を検知する各画素が２次元平面的に配置されており、１画素において赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号のうち一つの画像信号しか出力することができない。

特許文献３（特表２００２−５１３１４５号公報）には、３層構造の撮像素子の発明が開示されている。

特許文献３に記載された３層構造の撮像素子は、シリコンを透過した波長の異なる光の吸収深さを利用して、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の光を色分離している。そして、シリコンの深さ方向にフォトダイオードを３層構造に形成し、３層の光電変換部を形成している。シリコンの特性として、波長の長い光ほど深い位置で吸収されるようになっていることから、マイクロレンズ側から青（Ｂ）・緑（Ｇ）・赤（Ｒ）の順に光電変換部が積層している。

以上のような構造をもつ３層構造の撮像素子は、同一画素で赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号すべてを取得することができるため、ベイヤー配列の撮像素子と異なり色補間処理が不要となり、より偽信号の少ない画像信号を取得することが可能である。

特開２００２−２１８２９８号公報

特許４３３７１６１号公報

特表２００２−５１３１４５号公報

図２は、３層構造の撮像素子の各画素を光軸方向から見た平面図である。

１０２２は光を電荷へ光電変換する光電変換部（受光部）であり、１０２３は照射された光を遮光する遮光板である。この遮光板の下には、光を透過、吸収するシリコン部１０２４（図４Ａ及びＢに記載）がある。このシリコン部１０２４には前述の通り、透過した波長の異なる光の吸収深さを利用して、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の光を色分離する光電変換部を有する。

また、遮光板１０２３は入射した光が光電変換部１０２２以外（配線部、光電変換部を形成しないシリコン部等）にあたってしまうのを防ぐものである。

このように各画素は、光を受け、光電変換をする光電変換部と、光を透過、吸収するシリコン部と、光を遮光する遮光板を有している。

一般的な撮像素子では、各画素に照射される光をできるだけ多く集光するため、各画素にマイクロレンズを配置することとしている。このマイクロレンズを配置することで、遮光板にあたる光を受光部に集光することができる。

しかしながら、マイクロレンズは単レンズであるため、遮光板にあたる光を受光部に集光する際、軸上色収差等の収差が発生してしまう問題がある。

この問題はマイクロレンズ前方の撮影レンズにおいていくら収差を補正したとしても、マイクロレンズにより起こる問題であるため光学的に回避することが難しい。

特に３層構造の撮像素子においては、このマイクロレンズによる軸上色収差等の影響をうけやすい。

前述のとおり、３層構造の撮像素子では、深さによって吸収する光の波長が異なる特性を持つシリコンを用いて、それぞれの深さにおいて３層構造となるように光電変換部を形成し、同一画素で赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号すべてを取得する。

ここで、図３は単レンズにおける軸上色収差を示す模式図である。

単レンズからなるマイクロレンズにおいて軸上色収差等が発生すると、図３の模式図に示すように、赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの波長の光が、マイクロレンズを通過することで別々の光路をたどるように屈折されてしまう。

すなわち、波長の短い光（青色に近い光）ほど屈折の程度が大きく、波長の長い光（赤色に近い光）ほど屈折の程度が小さいことから、青色に近い光ほどマイクロレンズの近くに像を結び、赤色に近い色ほどマイクロレンズから遠くに像を結ぶ。

ここで、撮影レンズにおける絞りが開放寄りの状態だとマイクロレンズに入射する光束が太くなり、さらにマイクロレンズに入射する周辺光束の入射角が大きくなる。その結果、マイクロレンズで屈折される程度が小さい赤色に近い光線は、青色に近い光線に比べ、３層構造として形成された光電変換部の周囲を取り囲む遮光板によって遮られてしまうおそれが大きい。これは、特許文献３において説明したとおり３層構造の撮像素子は使用されるシリコンの特性より、マイクロレンズ側から青（Ｂ）・緑（Ｇ）・赤（Ｒ）の順に光電変換部が積層していることに起因する。

赤色に近い光が遮光板により遮られてしまうと、結果として全体的に色バランスの崩れた画像信号が各画素において取得されてしまい、ホワイトバランス調整以前に撮影時の正確な色バランスを反映した画像信号を取得することができない。３層構造の撮像素子ではその構造上、色バランスの崩れた、特に赤色に近い光の画像信号の低下が必然に発生する。

このような問題は、マイクロレンズへ入射する周辺光束の光電変換部への入射角が大きくなるほど顕著となる。そのため、とくに絞りのＦ値が小さい撮影条件、すなわち絞りが開放状態に近いときにこのような問題が起こりやすい。

この問題は、撮影レンズにおける絞りの状態がどのような状態であっても赤色に近い光が遮られない程度に３層構造に形成された光電変換部の面積を大きく設定すれば解決できると考えられる。しかし、光電変換部の面積を大きく設計すれば、その分、各画素も大きくなるため、高解像度な撮像素子を製造することが困難となる。

また、この問題は、マイクロレンズの屈折力を大きくし、どのような波長の光線も遮光板によって遮られないように設定すれば解決できると考えられる。しかし、マイクロレンズの屈折力を大きくすれば、各波長の焦点が前方に移動してしまい、３層構造の撮像素子では、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号を取得するための光電変換部において十分な光量を得られないおそれがある。

ところで、最近では比較的明るいレンズが好まれ、絞りのＦ値が小さいレンズが用いられる傾向がある。

そのため、３層構造の撮像素子上における各画素への周辺光束の入射角はさらに大きくなることとなり、昨今の撮像装置では従来のものと比べ、より一層、赤色に近い光は光電変換部の周囲の遮光板により遮光されやすくなっている。

以上のような構造上の理由と、昨今のニーズのため、撮影時の絞りのＦ値によっては赤色の画像信号が一部失われ、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号バランスが崩れ、その結果、撮影画像が緑かぶりしてしまい、ホワイトバランス調整を正しく行うことができない問題があった。

本発明は上述の問題点に鑑み、３層構造の撮像素子を用いた撮像装置において、撮影レンズの絞りのＦ値によらず適正な画像信号を取得できるように画像信号を補正し、最適なホワイトバランス調整が可能な撮像装置の提供を目的とする。

上記課題を解決するため、本発明に係る第１の発明は、
撮影レンズから画素へ射出される光束をマイクロレンズを用いて集光し、赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの波長の光をシリコン内の吸収深さにより分光し、それぞれの波長の光の吸収深さに対応する位置に光電変換部を設けることで、同一画素にて前記３色の画像信号を取得可能な３層構造の撮像素子を有し、前記画像信号と撮影時の撮影条件の情報とを含む撮影画像データを生成する撮像装置において、前記撮影条件の情報の一部として前記撮影画像データに記録されている撮影時の絞りのＦ値を検出するＦ値検出部と、前記３色の画像信号のバランスの補正を行うカメラＣＰＵと、前記撮影画像データに対してホワイトバランス調整を行うホワイトバランス調整部と、を有し、前記カメラＣＰＵは、前記Ｆ値検出部により検出された撮影時の前記Ｆ値から算出した補正ゲインを用いて前記画像信号を補正し、前記ホワイトバランス調整部は、補正後の画像信号を含む前記撮影画像データに対してホワイトバランス調整を行うことを特徴とする撮像装置

また、本発明に係る第２の発明は、さらに、前記カメラＣＰＵは、予め設定された任意のＦ値を閾値とし、前記Ｆ値検出部により検出された撮影時の絞りのＦ値が前記閾値と同じか、より小さい場合には画像信号を補正するという判断をし、前記Ｆ値が前記閾値より大きい場合には補正しないという判断をすることを特徴とする請求項１に記載の撮像装置を提供する。

また、本発明に係る第３の発明は、前記赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号のうち、カメラＣＰＵは赤（Ｒ）の画像信号のみに補正を行うことを特徴とする請求項１又は請求項２に記載の撮像装置を提供する。

本発明によれば、３層構造の撮像素子を用いた撮像装置において、同じ被写体を同じ撮影条件でＦ値を変化させて撮影した場合、３層構造の撮像素子へ入射する周辺光束の入射角と光束自体の太さに起因する撮像画像データの画像信号バランスの崩れを適正に補正し、正しい赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号を得ることができる。これにより、絞りのＦ値による影響を受けずに、適正なホワイトバランス調整を行うことができる。

本発明の実施例における撮像装置のブロック図 ３層構造の撮像素子の各画素を光軸方向から見た平面図 単レンズにおける軸上色収差を示す模式図 本実施例における３層構造の撮像素子断面図 絞りのＦ値を変化させて一定の撮影画像データを同一の露光量で取得し、これを構成する画像信号中の赤（Ｒ）の画像信号のみをＦ８のときを基準としてプロットした図 本発明の実施例におけるフローチャート

以下、本発明の実施例について図面を用いて詳細に説明する。

本発明の撮像装置について、図１を用いて説明する。

図１は、本発明に係る撮像装置の概略構成を示すブロック図である。

図１において、１００は、本実施形態におけるデジタルカメラであり、被写体を撮影し、撮影した画像データを保存する。２００は、デジタルカメラ１００に装着可能な交換レンズである。本実施例において、デジタルカメラ１００には、撮影レンズの交換が可能な構成となっており、デジタルカメラ１００と交換レンズ２００とで全体としてレンズ交換式カメラシステムを構成している。

デジタルカメラ１００において、１０１はカメラＣＰＵ、１０２は撮像素子、１０３はＡＤＣ（アナログデジタルコンバーター）、１０４はホワイトバランス調整部、１０５は画像処理部、１０６はＪＰＥＧエンコーダ、１０７はバッファ、１０８はＦ値検出部、１０９は操作部、１１０は表示部、１１１はＡＥユニット、１１２はＡＦユニット、１１３はメモリ、である。

交換レンズ２００において、２０１はレンズＣＰＵ、２０２はレンズ光学系、２０３は絞り、である。

撮像素子１０２は、交換レンズ２００のレンズ光学系２０２及び絞り２０３を通して入射した光を信号電荷に変換する。

なお、本発明の実施例に採用されている撮像素子１０２は３層構造の撮像素子である。

このような３層構造の撮像素子では、同一画素において赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号すべてを取得することができる。

操作部１０９は、撮影者による操作をデジタルカメラ１００に入力する。表示部１１０は、デジタルカメラ１００の撮影設定や、撮影中のスルー画又は撮影後のプレビュー画像等を表示する。

ＡＥユニット１１１は、自動露出制御機構であり、ＡＦユニット１１２は、位相差方式等による自動焦点調節機構である。

撮影時の絞り２０３のＦ値は、撮影画像データとともに保存され、Ｆ値検出部１０８は撮影画像データの中から撮影時の撮影条件の情報のうち、絞り２０３の撮影動作時のＦ値情報を検出する。

カメラＣＰＵ１０１はデジタルカメラ１００全体の制御を行う。ＡＤＣ１０３は、撮像素子１０２から入力された電気信号を処理し、画像信号としてデジタル信号に変換する。

ホワイトバランス調整部１０４は、撮影画像データに対して撮影シーンや撮影者の設定等に応じた適正なホワイトバランス調整を行う。ホワイトバランス調整部１０４は、撮影画像データに対してホワイトバランス調整を行う際、撮影時の絞り２０３のＦ値による画像信号のバランスに対する影響を考慮しない。

画像処理部１０５は、撮影した撮影画像データに対して、ガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の各種画像処理を行う。ＪＰＥＧエンコーダ１０６は撮影画像データの圧縮処理を行う。

絞り２０３は、レンズ光学系２０２を通過する被写体からの光量を調整する。レンズＣＰＵ２０１は、不図示のフォーカスレンズや手ぶれ補正レンズ、及び絞り２０３などの駆動を制御したり、カメラＣＰＵ１０１と通信をしたりする。

本発明では、上述したようなホワイトバランス調整時の不都合を防止するため、撮影レンズの絞りのＦ値によって３層構造の撮像素子に起こる画像信号のバランスの崩れを、ホワイトバランス調整前に予め補正することとした。

本実施例における上記画像信号のバランスの補正方法について、図６のフローチャートを参考にしながら、以下に述べる。

ホワイトバランス調整の種類は、オートホワイトバランス調整を選択し、撮影することを前提として説明する。

最初に、撮影者が操作部１１０にある電源ボタンを操作し、デジタルカメラ１００を起動させる（＃１）。

次に、撮影者が操作部１０９にあるレリーズを半押しする（＃２）。その後、レリーズ半押しの信号がカメラＣＰＵ１０１に送られ、カメラＣＰＵ１０１は、ＡＦユニット１１２へ自動合焦制御の開始を命令し、ＡＥユニット１１１へ自動露出制御の開始を命令する。

自動合焦制御及び自動露出制御の終了後、撮影者は撮影動作をするため、レリーズを全押しする（＃３）。その後、レリーズ全押しの信号がカメラＣＰＵ１０１に送られ、一般的な撮影動作が開始される（＃４）。

撮影された画像信号は撮影画像データとして一旦バッファ１０７に保存され、種々の画像処理が施される。

この撮影画像データは赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３つの画像信号と、撮影動作時の絞りのＦ値の値などの撮影時の撮影条件の情報から構成される。

まず、Ｆ値検出部１０８において、撮影動作時の絞りのＦ値の値が、バッファ１０７に保存された撮影画像データ中の撮影時の撮影条件の情報より検出される（＃５）。Ｆ値検出部１０８により検出された絞りのＦ値の情報はカメラＣＰＵ１０１へ送信される。

次に、カメラＣＰＵ１０１はＦ値検出部１０８で検出した絞りのＦ値の情報に基づいて、撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号のバランスを補正するか否かの判定を行う（＃６）。

本実施例において、Ｆ４を閾値として設定し、撮影動作時のＦ値が「Ｆ４」以下の値である場合、上記判定により画像信号のバランスを補正する必要ありと決定する。

画像信号のバランスを補正する必要ありと判定された場合には、後述する所定の演算式により、取得した撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号に乗算する補正ゲインを算出する（＃７）。

そして、それぞれの画像信号に上記補正ゲインを乗算して、撮像素子１０２が有する遮光板１０２３が光束を遮光してしまうことに起因する画像信号のバランスの崩れを整えた後、オートホワイトバランスによる一般的なホワイトバランス調整を行う。

ここで、撮影動作時のＦ値に基づいて画像信号のバランスを補正するか否かの判定を行う。本実施例における閾値は「Ｆ４」とする。かかる閾値に基づくこととした理由については、以下に説明する。

図４は、本実施例における３層構造の撮像素子断面図を示したものである。図４（Ａ）は、絞りのＦ値がＦ４以下である場合、図４（Ｂ）は、絞りのＦ値がＦ４より大きく絞りこまれている場合の、撮像素子１０２へ入射する光束の光路を拡大図示している。

図４（Ａ）に図示するように、絞りのＦ値が閾値以下である場合、すなわち本実施例においてＦ４以下である場合、撮影レンズの絞りの口径が比較的大きいため、マイクロレンズ１０２１へ入射する周辺光束の入射角度も大きく、光束自体も太くなる。

さらに、マイクロレンズ１０２１から射出された光束は、上述したようにマイクロレンズ１０２１に起因する軸上色収差により、赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの波長の光の焦点距離が異なってしまう。

したがって、マイクロレンズ１０２１によって最も屈折されない赤色に近い光は、最も屈折される青色に近い光に比べてマイクロレンズ１０２１から離れた地点に集光することとなり、その赤色に近い光は遮光板１０２３により遮光されやすくなる。

その結果、撮像素子１０２において、同一画素にて赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３つの画像信号を取得したとしても、実際の光のバランスと取得した画像信号のバランスとが異なってしまうこととなる。

本発明では、バランスが崩れてしまった赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号に対して、撮影動作時の絞りのＦ値に応じて算出した補正ゲインをかけることで、画像信号のバランスの崩れを補正し、その後の適正なホワイトバランス調整を可能とした。

また、本実施例では上述した絞りのＦ値による光量低下の影響は、赤（Ｒ）の画像信号に大きく発生するとし、その他の緑（Ｇ）及び青（Ｂ）の画像信号の光量低下は発生しないものとした。

一方、図４（Ｂ）に図示するように、絞りのＦ値が閾値より大きい場合、すなわち本実施例においてはＦ４より大きい場合、絞りの口径が比較的小さいため、マイクロレンズ１０２１へ入射する周辺光束の入射角度も小さく、光束自体も細くなる。

この場合においても、図４（Ａ）の場合と同様に、マイクロレンズ１０２１の軸上色収差により、赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの波長の光の焦点距離が異なってしまう。

しかしながら、絞りのＦ値が閾値より大きい場合には、マイクロレンズ１０２１へ入射する周辺光束の入射角度が小さく、光束自体も細いため、赤（Ｒ）の画像信号となる光が遮光板１０２３に遮られるおそれは少ない。したがってこの場合、赤（Ｒ）の画像信号は絞りのＦ値による光量低下の影響を受けず、画像信号のバランスの崩れを補正する必要はない。また、同様にその他のＧ（緑）及びＢ（青）の画像信号の光量低下も発生しない。

上記説明の通り、取得した撮影画像データを構成する画像信号において、撮影動作時の絞りのＦ値により画像信号のバランスの崩れを補正する必要がある場合と、必要がない場合とに分けられる。

次に、画像信号のバランスの崩れに影響する撮影動作時の絞りのＦ値（閾値）の決定方法について説明する。

図５は、絞りのＦ値を変化させて一定の撮影画像データを同一の露光量で取得し、これを構成する画像信号中の赤（Ｒ）の画像信号のみをＦ８のときを基準としてプロットしたものである。

図５に示すように、所定の値を超えて絞りのＦ値が小さくなると、赤（Ｒ）の画像信号のみが同一の露光量で撮影画像データを取得しているにもかかわらず減少する傾向にある。

これは、上述した通り、３層構造の撮像素子において、撮影レンズの絞りのＦ値が小さくなるに従って、マイクロレンズを通った周辺光束が遮光板によって遮られ易くなってしまうことによる。

一方で、撮影レンズの絞りが絞り込まれ、Ｆ値が大きくなると、マイクロレンズを通った周辺光束は遮光板に遮られることはなく、画像信号のバランスも崩れることはなくなる。

上記のように画像信号のバランスが崩れ、補正が必要となる所定のＦ値（閾値、本実施例では「Ｆ４」）を定めるには、図５に示したように、絞りのＦ値を変化させて一定の撮影画像データを同一の露光量で取得し、これを構成する各画像信号の変化をプロットして決定したり、撮像素子自体の設計値から理論的に決定したりすることが考えられる。

次に、画像信号のバランスの崩れを補正するための補正ゲイン算出について説明する。

撮影動作時の絞りのＦ値がＦ４以下である場合、画像信号のバランスの崩れを補正する必要があると判定し、＃５でＦ値検出部１０８により検出したＦ値の情報に基づいて補正ゲインを算出する（＃７）。

補正ゲインは、カメラＣＰＵ１０１等に予め記憶されたＦ値を変数とする演算式に、Ｆ値検出部１０８により検出したＦ値を当てはめて決定する。この演算式は、画像信号の減少傾向があるデータのみから近似して決定したり、撮像素子自体の設計値から理論的に決定したりすることが考えられる。

次に、算出した補正ゲインを用いて、取得した撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号へ乗算し、画像信号バランス補正を行う（＃８）。

画像信号バランス補正は、赤（Ｒ）の画像信号に対して、演算式によって算出した補正ゲインを乗算することによって行う。本実施例では、他の緑（Ｇ）及び青（Ｂ）の画像信号に対しては、撮影動作時にどのようなＦ値であっても補正する必要がないため、整数１を乗算することとする。

これにより、撮影動作時の撮影レンズの絞りのＦ値に影響を受けない、補正された画像信号とその他の撮影時の撮影条件の情報を含む撮影画像データを得ることができる。

次に、算出もしくは予め用意された補正ゲインにより画像信号バランス補正を受けた画像信号に対し、ホワイトバランス調整するための調整ゲインを算出し（＃９）、これを撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号に乗算してホワイトバランス調整を行う。（＃１０）

一方、＃６の判定の結果、撮影動作時の絞りのＦ値がＦ４より大きく絞り込まれている場合には、補正ゲインの算出は行わず、そのままホワイトバランス調整をするための調整ゲインを算出し（＃９）、ホワイトバランス調整を行う。（＃１０）

本実施例では、オートホワイトバランスを採用してホワイトバランス調整することを前提として説明する。

オートホワイトバランス調整の場合、ホワイトバランス調整部１０４は、＃６の判定の結果、画像信号のバランスの崩れを補正する必要があると判定された場合には画像信号バランス補正をうけた画像信号を基に、また、画像信号のバランスの崩れを補正する必要がないと判断された場合には画像信号バランス補正をうけていない画像信号を基に、ホワイトバランス調整のための調整ゲインを算出する。

ホワイトバランス調整部１０４は撮影画像データを構成する画像信号の中から、ホワイトバランス調整部１０４にあらかじめ設定保存されている、白色として判断される色バランスの範囲に該当する色バランス情報を検出する。

そして、ホワイトバランス調整部１０４は、検出した白色として判断される色バランスの範囲に該当する色バランス情報を基に、ホワイトバランス算出アルゴリズムを用いて撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号にかけるホワイトバランス調整ゲインを算出する。

また、撮影画像データ中に該当の色バランス情報が含まれない場合には、予め記憶されている調整ゲインをもとに、ホワイトバランス調整部１０４がホワイトバランス算出アルゴリズムを用いて撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号にかけるホワイトバランス調整ゲインを算出する。

これをかけることによって、白色の被写体がどのようなシーンにおいても白く写るよう、撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号が調整される。

また、ホワイトバランス調整の他の手段として、プリセットホワイトバランス調整がある。

プリセッホワイトバランス調整で撮影する場合、ホワイトバランス調整を実行する際には、ホワイトバランス調整のための調整ゲインとして、デジタルカメラ１００に予め記憶されている固定値を用いる。

予め記憶されている固定値とは、例えば「晴れ」「曇り」「蛍光灯」「白熱灯」などの撮影シーンごとに設定されているホワイトバランス調整のための調整ゲインである。

予め記憶されている調整ゲイン（固定値）から、撮影者が撮影をする際に設定した撮影シーンに応じて選択し、ホワイトバランス調整部１０４は、それに応じた調整ゲイン（固定値）を撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号に乗算することによって白色の被写体が白く写るよう、ホワイトバランス調整を行う。

また、ホワイトバランス調整の他の手段として、カスタムホワイトバランス調整がある。

カスタムホワイトバランス調整１０４で撮影する場合、実際の撮影前に、撮影者は予めホワイトバランス調整の基準となる基準画像データを取得するため白い被写体を撮影する。そして、ホワイトバランス調整部は、この白い被写体を予め撮影した基準画像データから、ホワイトバランス調整のための調整ゲインを算出する。

実際の撮影時において、ホワイトバランス調整部１０４は、基準画像データから算出した調整ゲインを用いて、これを撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号に乗算することによって白色の被写体が白く写るよう、ホワイトバランス調整を行う。

カスタムホワイトバランス調整のための基準画像データ取得においても、撮影画像データを得るための実際の撮影と同様に、基準画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号へ調整ゲインを乗算する場合がある。

すなわち、基準画像データの撮影時の撮影条件の情報に含まれる絞りのＦ値を検出し、検出されたＦ値がＦ４以下と判定された場合には、Ｆ値に応じた補正ゲインを算出し、算出された補正ゲインをカスタムホワイトバランス調整のために用いる基準画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号へ乗算する。

カスタムホワイトバランス調整のための基準画像データの撮影においても、当然にして絞りのＦ値によっては実際の撮影と同様に、赤（Ｒ）の画像信号の減少が引き起こされる。

これは、前述の通り、本実施における赤（Ｒ）の画像信号の減少は、３層構造の撮像素子のマイクロレンズによる軸上色収差が影響するためである。すなわち、本実施例において、絞りのＦ値がＦ４以下で撮影された画像データでは、基準画像データであろうと撮影画像データであろうと関わりなく赤（Ｒ）の画像信号の減少が起こりうる。

したがって、カスタムホワイトバランス調整のために用いる基準画像データの撮影をする際にも、実際の撮影時と同様に、補正ゲインを、基準画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの画像信号へ乗算し、画像信号バランス補正を行う必要がある。

以上に説明した通り、本発明により、撮影レンズから３層構造の撮像素子のマイクロレンズへ入射する周辺光束の入射角が大きく、光束が太い場合において、光束が遮光板により遮光されたとしても、減少してしまった赤（Ｒ）の画像信号を調整することができ、撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号のバランスを補正し、ひいては適正なホワイトバランス調整を行うことが可能となる。

次に、ホワイトバランス調整がなされた撮影画像データは、画像処理部１０５においてガンマ補正、ＹＣｂＣｒ変換、ノイズ除去等の一般的な種々の画像処理がなされる（＃１１）。

そして、撮影画像データは＃１１の画像処理が終わると、ＪＰＥＧエンコーダ１０６に送られ、圧縮処理がなされ、撮影画像としてメモリ１１３に記録される（＃１２）。

本発明を実施するにあたり、コンピュータ上でＲＡＷ画像データを読み込みＪＰＥＧ現像時に、撮影画像データに記録された撮影時の撮影条件の情報に含まれる絞りのＦ値とカメラボディの情報を参照して、ホワイトバランス調整前の撮影画像データを構成する赤（Ｒ）・緑（Ｇ）・青（Ｂ）の画像信号のバランスを補正することとしても良い。

また、本発明を実施するにあたり、本実施例では、ある一定のＦ値をこえて絞りが開放された場合に、赤（Ｒ）の画像信号のみ信号量が減少するとして補正を行ったが、撮像素子の構成によっては緑（Ｇ）の画像信号も赤（Ｒ）の画像信号と同様の原因により減少するとして、赤（Ｒ）の画像信号と同様に、補正ゲインを算出し、画像信号バランス補正を行う構成も考えられる。

１００ デジタルカメラ
２００ 交換レンズ
２０１ レンズＣＰＵ
２０２ レンズ光学系
２０３ 絞り
１０１ カメラＣＰＵ
１０２ 撮像素子
１０３ ＡＤＣ（アナログデジタルコンバーター）
１０４ ホワイトバランス調整部
１０５ 画像処理部
１０６ ＪＰＥＧエンコーダ
１０７ バッファ
１０８ Ｆ値検出部
１０９ 操作部
１１０ 表示部
１１１ ＡＥユニット
１１２ ＡＦユニット
１１３ メモリ
１０２１ マイクロレンズ
１０２２ 光電変換部
１０２３ 遮光板
１０２４ シリコン部

Claims (3)

1. 撮影レンズから画素へ射出される光束をマイクロレンズを用いて集光し、赤（Ｒ）・緑（Ｇ）・青（Ｂ）それぞれの波長の光をシリコン内の吸収深さにより分光し、それぞれの波長の光の吸収深さに対応する位置に光電変換部を設けることで、同一画素にて前記３色の画像信号を取得可能な３層構造の撮像素子を有し、前記画像信号と撮影時の撮影条件の情報とを含む撮影画像データを生成する撮像装置において、前記撮影条件の情報の一部として前記撮影画像データに記録されている撮影時の絞りのＦ値を検出するＦ値検出部と、前記３色の画像信号のバランスの補正を行うカメラＣＰＵと、前記撮影画像データに対してホワイトバランス調整を行うホワイトバランス調整部と、を有し、前記カメラＣＰＵは、前記Ｆ値検出部により検出された撮影時の前記Ｆ値から算出した補正ゲインを用いて前記画像信号を補正し、前記ホワイトバランス調整部は、補正後の画像信号を含む前記撮影画像データに対してホワイトバランス調整を行うことを特徴とする撮像装置。
2. 前記カメラＣＰＵは、予め設定された任意の値を閾値とし、前記Ｆ値が前記閾値と同等もしくはより小さい場合に前記画像信号の補正を行うという判断をし、前記Ｆ値が前記閾値より大きい場合には前記画像信号の補正を行わないという判断をすることを特徴とする請求項１に記載の撮像装置
3. 前記画像信号のうち、カメラＣＰＵは赤（Ｒ）の画像信号のみに補正を行うことを特徴とする請求項１又は請求項２に記載の撮像装置。
   

Images