JP2017038253A - 撮像装置、画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】それぞれ異なる瞳領域からの光を受光する複数の副画素からの信号に基づいて、高画質な画像信号を簡単な方法で生成すること【解決手段】単板式の撮像素子１０２において、各画素は、結像光学系１０１の異なる瞳領域を通過した光束をそれぞれ受光して結像光学系が結像する被写体像を光電変換する複数の副画素Ｇ１ａ〜Ｇ１ｄを備えている。カメラ信号処理回路１０３は、出力画像を生成するための複数のサンプリング位置のそれぞれに対して、複数の画素の中から使用される副画素を選択し、選択された副画素からの信号に基づいて複数の色の全ての色情報を設定する。色情報を設定する際に、選択された複数の光電変換部の位相差を相殺するための重みを、選択された複数の光電変換部からの色情報に加重して加算する。【選択図】図１１

Description

本発明は、撮像装置、画像処理装置、画像処理方法およびプログラムに関する。

ベイヤー（Ｂａｙｅｒ）配列等のカラーフィルタが配置された単板式センサを用いた撮像装置では、撮像時に画素毎に生成できる色信号が異なり、カラーフィルタの配列に起因した折り返し（歪）が発生し、画質が損なわれる場合がある。また、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。例えば、特許文献１は、１画素毎に、１つのマイクロレンズと複数の光電変換部（以下、副画素と称する）を備え、副画素には、ＲＧＢのいずれかのカラーフィルタが配置された２次元撮像素子を用いた撮像装置を提案している。

特許第５３５９４６５号公報

しかしながら、特許文献１の構成では、撮像時の合焦状態によっては、画素内の副画素が光束を受光する位置のずれ（以下、「重心ずれ」と称する）が発生するため、副画素を用いてデモザイク処理する際に、重心ずれによるエッジのガタつきが発生する。また、重心ずれ量は、撮像時の合焦状態によって異なり、撮像画像の局所的な合焦状態を判定し、合焦状態に応じて、重心ずれを適切に補正することは難しい。

本発明は、それぞれ異なる瞳領域からの光を受光する複数の副画素からの信号に基づいて、高画質な画像信号を簡単な方法で生成することが可能な撮像装置、画像処理装置、画像処理方法およびプログラムを提供することを例示的な目的とする。

本発明の撮像装置は、複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、を有し、各画素は、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光して前記結像光学系が結像する被写体像を光電変換する複数の光電変換部を備えた撮像素子と、前記画素アレイに出力画像を生成するための複数の画像生成位置を設定し、各画像生成位置に対して、前記複数の画素の中から使用される複数の光電変換部を選択し、選択された前記複数の光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定する画像処理手段と、を有し、前記画像処理手段は、各画像生成位置に対して、選択された前記光電変換部が前記光束を受光する位置と、前記選択された光電変換部に対応する画素の中心位置とのずれ量を相殺するための重みを、前記選択された光電変換部からの信号に加重して加算することによって前記色情報を設定することを特徴とする。

本発明によれば、それぞれ異なる瞳領域からの光を受光する複数の副画素からの信号に基づいて、高画質な画像信号を簡単な方法で生成することが可能な撮像装置、画像処理装置、画像処理方法およびプログラムを提供することができる。

本発明の撮像装置の構成の一例を示すブロック図である。 図１に示す撮像素子の画素配列を説明するための模式図である。 図１に示す結像光学系における分割された瞳領域を示す模式図である。 図３に示す分割された瞳領域を通る光束が入射される様子を示した模式図である。 図１に示すカメラ信号処理回路内の色信号生成処理手段のブロック図である。 副画素のサンプリング位置と、出力画像のサンプリング位置を示した模式図である。 Ｇの副画素と出力画像のサンプリング位置を示した模式図である。 Ｒの副画素と出力画像のサンプリング位置を示した模式図である。 Ｂの副画素と、出力画像のサンプリング位置を示した模式図である。 本発明のＲ、Ｂの重心ずれ補正処理の動作を説明する模式図である。 本発明によって補正された画素信号が生成されることを示す模式図である。

図１は、本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。撮像装置１００は、一眼レフカメラやノンレフレックスカメラ（ミラーレスカメラ）におけるカメラ本体でもよいし、レンズ一体型でもよい。撮像装置１００は、デジタルスチルカメラ、デジタルビデオカメラ、テレビカメラなどであってもよい。

図１において、撮像装置１００は、結像光学系１０１、撮像素子１０２、カメラ信号処理回路１０３、フレームメモリ１０４、結像光学系１０１の駆動制御手段１０５、表示部１０６、記録部１０７、操作系１０８、システム制御手段１０９を有する。カメラ信号処理回路１０３、フレームメモリ１０４、表示部１０６、記録部１０７、操作系１０８は、バスライン１１０を介して相互に接続されている。

結像光学系１０１は、被写体像を形成する。即ち、結像光学系１０１は、フォーカスレンズ、ズームレンズ、絞り、手振れ補正レンズ等の光学素子を含み、被写体からの入射光（像光）を取り込んで撮像素子１０２の撮像面上に結像する。また、結像光学系１０１の上記光学素子は、駆動制御手段１０５からの制御信号に基づき、駆動制御される。駆動制御手段１０５は、システム制御手段１０９によって制御される。なお、フォーカスレンズは、光軸方向に移動されて焦点調節を行う。焦点調節においては、撮像素子１０２を光軸方向に移動させてもよい。フォーカスレンズや撮像素子１０２の駆動手段は、ＤＣモータ、ステッピングモータ、ボイスコイルモータなどのアクチュエータにより構成することができる。駆動制御手段１０５は、駆動手段の駆動を制御する。

撮像素子１０２は、２次元ＣＭＯＳフォトセンサーと周辺回路からなる撮像素子であり、結像光学系の結像面に配置される。撮像素子１０２は、結像光学系１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。このように、撮像素子１０２は、結像光学系１０１が形成した被写体像を光電変換するが、その詳細な構造については後述する。

カメラ信号処理回路１０３は、撮像素子１０２から出力される、例えば、１フレーム分の画像信号をフレームメモリ１０４に一時的に保存し、保存した画像信号に対して各種の信号処理（ホワイトバランス、ガンマ補正、デモザイク処理など）を行う。カメラ信号処理回路１０３は、デジタルシグナルプロセッサ（ＤＳＰ）から構成されてもよい。デモザイク処理は、一般には、撮像素子から得られる信号に対して、欠けている色情報（輝度情報、画素値情報）を補間することによって、各画素に、カラーフィルタに設定された複数の色の全てについて色情報を設定する色補間処理をいう。

図５は、カメラ信号処理回路１０３が有する色信号生成処理手段（デモザイク処理手段）１０３０の構成を示すブロック図である。色信号生成処理手段１０３０は、画素アレイに複数の画像生成位置を設定し、各画像生成位置に対して、複数の画素の中から使用される複数の副画素を選択し、選択された複数の副画素からの信号に基づいて全ての色情報を設定する。画像生成位置は、出力画像を生成するために画素アレイに設定される位置であり、以下、「出力画像のサンプリング位置」と呼ぶ場合もある。従来、出力画像のサンプリング位置は各画素の中心位置であった。

なお、本発明が画像処理装置に適用される場合には、画像処理装置は、上記複数の画像生成位置を設定する手段と、上記副画素を選択する手段と、上記選択された副画素からの信号に基づいて全ての色情報を設定する手段と、を有する。また、本発明が画像処理方法に適用される場合には、画像処理方法は、上記複数の画像生成位置を設定するステップと、上記副画素を選択するステップと、上記選択された副画素からの信号に基づいて全ての色情報を設定するステップと、を有する。

色信号生成処理手段１０３０は、色信号生成処理手段１０３０は、内部にＲ信号補間処理手段１０３１、Ｂ信号補間処理手段１０３２、Ｇ信号補間処理手段１０３３を有する。

本実施形態の画像処理方法（信号処理方法）は、撮像装置１００の内部で行われてもよいし、専用の画像処理装置（信号処理装置）や本実施形態の画像処理方法のプログラムをインストールしたパーソナルコンピュータなど、撮像装置１００の外部で行われてもよい。このような画像処理装置、画像処理方法およびプログラムも本発明の一側面を構成する。その際、画像処理方法の各ステップはコンピュータがソフトウェアによって実行してもよいし、専用のハードウェアが実行してもよい。

図１に戻り、表示部１０６は、液晶表示部等のパネル型表示部からなり、撮像素子１０２で撮像された動画または静止画を表示する。本発明の画像処理方法は、表示部１０６が、画像処理手段によって処理された画像を逐次表示するライブビュー画像を生成する際に適用されてもよい。記録部１０７は、撮像素子１０２で撮像された動画または静止画を、ＳＤカード等の記録媒体に記録する。

操作系１０８は、ユーザによる操作に従って、様々な操作指令を発する、ボタン、ダイヤル、レバー、タッチパネルなどを含む。操作系１０８は、フォーカス選択スイッチを含む。かかるフォーカス選択スイッチ（フォーカス選択手段）は、マニュアルフォーカス（ＭＦ）モード、オートフォーカス（自動焦点調節、ＡＦ）モード、デフォーカスモードを選択することができる。ＭＦモードでは、ユーザが不図示のフォーカスリングを操作してフォーカスレンズを移動させ、手動で焦点調節を行う。ＡＦモードでは、位相差検出方式やコントラスト検出方式などを利用して焦点検出を行い、自動でフォーカスレンズを合焦位置に移動させて焦点調節を行う。デフォーカスモードでは、合焦位置から所定量だけデフォーカスさせた位置にフォーカスレンズを自動的に移動させる。デフォーカス状態において、後述する本実施形態の効果を得ることができるが、製造誤差などからＡＦモードでもフォーカスレンズは焦点位置に完全に一致しない場合が多く、後述する本実施形態の効果を得られる場合がある。

システム制御手段１０９は、撮像装置１００内の各部の動作を制御する制御手段である。

次に、撮像素子１０２の構成と、瞳分割した画像の取得処理について説明する。撮像素子１０２は、複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、複数のマイクロレンズを有する。各画素は、結像光学系１０１の異なる瞳領域を通過した光束をそれぞれ受光して結像光学系１０１が結像する被写体像を光電変換する複数の光電変換部としての副画素を備えている。

図２は、撮像素子１０２の画素アレイの一部を示したものである。図２（Ａ）は、撮像素子１０２の撮像面を上から見た模式図であり、複数の画素２００、２０１、２０２、２０３は、それぞれ、出力画像の１画素分に相当する同色成分の信号を生成する。画素は、水平方向、垂直方向に、それぞれΔＸの、サンプリング周期で、画像信号を出力するものとする。ΔＸは、副画素の間隔（ΔＸ／２）よりも大きい間隔である。３００、３０２は、対応する画素の中心位置を表している。

画素２００、２０１、２０２、２０３には、それぞれ１つのマイクロレンズが配置されており、図２は、マイクロレンズを丸で示している。各画素は、水平方向と垂直方向にそれぞれ２つずつ、合計４つの副画素を有する。このような構成で、副画素毎に撮像された信号を読み出すことにより、図３の実線で示す結像光学系１０１の射出瞳を分割した複数の領域（破線で示す）瞳領域Ａ、Ｂ、Ｃ、Ｄに応じた視差画像を同時に撮影することができる。副画素には、Ｒ、Ｇ、Ｂのいずれかのカラーフィルタが配置され、共通のマイクロレンズに対応づけられた副画素には、同色のカラーフィルタが配置される。例えば、図２（Ｂ）に示すベイヤー配列のカラーフィルタが配置されている。

次に、図４を参照して、撮像時に副画素でサンプリングされる被写体像のサンプリング位置について説明する。図４（Ａ）、（Ｂ）は、撮像素子１０２の撮像面３０に、分割された瞳領域を通る光束４００（実線）、４０１（破線）が入射される様子を示した模式図であり、光束４００、４０１は、それぞれ、瞳領域Ａ、Ｄを通る光束を示している。

ここで、被写体からの光が撮像素子１０２の撮像面３０に結像する場合、図４（Ａ）に示すように、分割された瞳領域を通り、撮像素子１０２に入射された光束４００、４０１は撮像面３０の一点に集まる。従って、図４（Ｃ）に示すように、撮像素子１０２で取得される、分割された瞳領域Ａ、Ｂ、Ｃ、Ｄに対応した副画素の重心は一致する。なお、図４（Ａ）と（Ｃ）の方向Ｅは対応し、図４（Ｂ）と（Ｄ）の方向Ｅは対応している。図２（Ｂ）に示す画素２００内の副画素Ｒａ、Ｒｂ、Ｒｃ、Ｒｄが光束を受光する位置は、図４（Ａ）において画素２００の中心位置３００に一致している。図２（Ｂ）に示す画素２０３内の副画素Ｂａ、Ｂｂ、Ｂｃ、Ｂｄが光束を受光する位置は、図４（Ａ）において画素２０３の中心位置３０２に一致している。このように、副画素が画像を生成する位置を「サンプリング位置」または「重心位置」と呼ぶ場合がある。

しかし、実際は、結像光学系１０１の制御誤差等により、合焦位置からずれた位置で撮像される場合が多い。この場合、分割された瞳領域を通り、撮像素子１０２に入射された光束は、図４（Ｂ）に示すように、一点に集まらない。

この場合、図４（Ｄ）に示すように、副画素の重心位置は、画素の重心位置からずれている。例えば、副画素Ｒａ、Ｒｂ、Ｒｃ、Ｒｄが光束を受光する位置３１１〜３１４は、画素の中心位置３００から、垂直、水平方向にそれぞれΔＸ／２以内のずれ量を持っている。以下、副画素の重心位置と画素の中心位置とのずれ量を「位相差」と呼ぶ場合がある。

以上より、瞳分割して被写体像を取得する場合、撮像時に完全に合焦していない場合には、副画素を個別に読み出すことで、画素間隔ΔＸよりも細かい間隔（例えば、ΔＸ／４）で被写体像をサンプリングすることが可能になる。カメラ信号処理回路１０３は、副画素によってオーバーサンプリングされた信号を用いて、画素の中心と異なる位置にＲＧＢの全ての色信号を生成（設定）する。

カメラ信号処理回路１０３は、副画素によってオーバーサンプリングされた信号を用いて、画素の重心と異なる位置（例えば、図４（Ｃ）、（Ｄ）に示す位置３０１）にＲ、Ｇ、Ｂの全ての色信号を生成する。副画素の重心位置と画素の中心とのずれ量は、撮像時の合焦状態によって異なる。Ｒ信号補間処理１０３１、Ｂ信号補間処理１０３２、Ｇ信号補間処理１０３３のそれぞれは重心ずれ補正手段を有し、重心ずれ補正を行いながらＲＧＢの色信号を生成（設定）する。

図６は、撮像素子１０２から出力される副画素のサンプリング位置と、副画素を用いて、色信号生成処理手段１０３０が生成する、出力画像のサンプリング位置を示す模式図である。例えば、図６の左上隅の画素２５０には、４つの副画素２５１〜２５４が含まれ、副画素２５１〜２５４の重心位置は２６１〜２６４である。

図６において、黒丸で示したサンプリング位置が、撮像素子１０２から出力される副画素のサンプリング位置であり、白丸で示したサンプリング位置が、出力画像のサンプリング位置である。副画素には、それぞれ、Ｒ、Ｇ、Ｂいずれかのカラーフィルタが配置されているため、その位置に応じて、取得できる色信号が異なる。白丸の位置には、Ｒ信号補間処理手段１０３１、Ｂ信号補間処理手段１０３２、Ｇ信号補間処理手段１０３３によって、それぞれ、近傍の副画素の色情報を用いてＲＧＢの色補間処理を行う。

ここで、出力画像のサンプリング位置（白丸の位置）Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１によって、近傍の副画素に配置されたカラーフィルタの配列が異なる。例えば、Ｐ００を中心とした４ｘ４画素の副画素領域内のカラーフィルタの配列は、２×２を１つの単位としてみると、左上、右上、左下、右下の順で、Ｒ、Ｇ、Ｇ、Ｂとなる。Ｐ０１を中心とした４ｘ４画素の副画素領域内のカラーフィルタの配列は、２×２を１つの単位としてみると、左上、右上、左下、右下の順で、Ｇ、Ｒ、Ｂ、Ｇとなる。Ｐ１０を中心とした４ｘ４画素の副画素領域内のカラーフィルタの配列は、２×２を１つの単位としてみると、左上、右上、左下、右下の順で、Ｇ、Ｂ、Ｒ、Ｇとなる。Ｐ１１を中心とした４ｘ４画素の副画素領域内のカラーフィルタの配列は、２×２を１つの単位としてみると、左上、右上、左下、右下の順で、Ｂ、Ｇ、Ｇ、Ｒとなる。

図７は、Ｇ信号補間処理手段１０３３で参照される、Ｇのカラーフィルタが配置された副画素と、生成される出力画像のサンプリング位置を示した模式図である。

図７（Ａ）は、出力画像のサンプリング位置Ｐ００又はＰ１１の場合の例を示している。例えば、対角方向に隣接し、Ｇの色情報を有する、副画素６０３〜６０６を有する画素と副画素６０７〜６１０を有する画素の交点の位置６００にＧ信号を生成する場合、対角方向に隣接するＧの副画素６０５、６０８の色情報を加算平均する。副画素６０８には、副画素６０７〜６１０からなる画素の重心位置に対して、撮像時の合焦状態に応じた位相差が発生し、副画素６０５には、副画素６０３〜６０６からなる画素の重心位置に対して、撮像時の合焦状態に応じた位相差が発生している。合焦状態に応じた副画素のサンプリング位相に起因して、位置６００と副画素６０５、６０８の重心位置の距離も変化する。しかし、副画素６０５、６０８を加算平均することにより、生成されるＧ信号の画素重心を、位置６００に一致させることができる。

図７（Ｂ）は、出力画像のサンプリング位置Ｐ０１又はＰ１０の場合の例を示している。例えば、位置６２０におけるＧ信号を生成する場合には、対角方向に隣接するＧの副画素６２５、６２８の色情報を加算平均する。副画素６２５には、副画素６２２〜６２５からなる画素の重心位置に対して、撮像時の合焦状態に応じた位相差が発生し、副画素６２８には、副画素６２８〜６３１からなる画素の重心位置に対して、撮像時の合焦状態に応じた位相差が発生している。合焦状態に応じた副画素のサンプリング位相に起因して、位置６２０と副画素６２５、６２８の重心位置の距離も変化する。しかし、副画素６２５、６２８を加算平均することにより、生成されるＧ信号の画素重心を、位置６２０に一致させることができる。

このように、Ｇ信号を生成する場合は、出力画像のサンプリング位置の対角方向にある同距離の副画素のペアを選択する。

図８は、Ｒ信号補間処理１０３１が使用するＲの副画素と出力画像のサンプリング位置を示す模式図である。図８において、位置７００、７０１、７０２、７０３は、それぞれ、出力画像のサンプリング位置Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１に対応している。位置７００、７０１、７０２、７０３におけるＲ信号は、それぞれ、近傍のＲの副画素を参照した補間処理により生成される。

Ｒの副画素７１０〜７１３の信号には、撮像時の合焦状態に応じて副画素間の位相差が発生する。位置７００に重心が一致するように、近傍のＲの副画素を参照した補間を行うためには、位置７００の近傍の合焦状態を正確に検出し、合焦状態に起因した重心ずれ量を補正する重み付け係数を算出する必要があるが、これは煩雑である。そこで、Ｒ信号補間処理手段１０３１は、簡便な重心ずれ補正処理を行うことにより、局所的な合焦状態の判定と判定結果を用いた重心ずれ補正を行うことなく、目標位置に画像信号を生成する。

次に、図１０と図１１を参照して、Ｒ信号補間処理手段１０３１が行う重心ずれ補正処理について説明する。本実施例では、カメラ信号処理回路１０３は、各出力画像のサンプリング位置に対して、選択された複数の副画素の位相差を相殺するための重みを、選択された複数の副画素からの信号に加重して加算することによって色情報を設定する。なお、位相差の相殺は、瞳分割の方向に対して行う必要がある。本実施形態では、水平方向と垂直方向において瞳分割を行う構成としているため、水平方向と垂直方向のそれぞれにおいて位相差の相殺を行うことが望ましい。これに対し、垂直方向あるいは水平方向の一方においてのみ瞳分割を行う構成とした場合には、水平方向と垂直方向の一方において位相差の相殺を行えば良い。

図１０には、水平方向と垂直方向に１画素分だけ離れて配置された４つの画素が描かれている。左上の画素Ｒ１は副画素７１０〜７１３を有し、右上の画素Ｒ２は副画素７１４〜７１７を有し、左下の画素Ｒ３は副画素７１８〜７２１を有し、右下の画素Ｒ４は副画素７２２〜７２５を有する。

図１０では、Ｒのカラーフィルタが配置された副画素７１０、７１１、７１２、７１３、７１４、７１６、７１８、７１９、７２２を参照して、画素Ｒ１の右下隅の位置７００（第１の画像生成位置）におけるＲ信号を生成する。

まず、Ｒ信号補間処理１０３１内での水平方向の重心ずれ補正処理によって、副画素７１０、７１１、７１４を１：２：１の比率で加重加算することにより、位置７３０におけるＲ信号を生成する。即ち、画素Ｒ１の左上の副画素７１０の色情報と、右上の副画素７１１の色情報と、画素Ｒ２の左上の副画素７１４の色情報を１：２：１の割合で加重加算する。これによって、副画素７１１と７１４の重心位置を結ぶ第１の線と画素Ｒ１の輪郭が交差する第１の位置７３０に、第１の色情報を設定する。

同様に、副画素７１２、７１３、７１６を１：２：１の比率で加重加算することにより、位置７３１におけるＲ信号を生成する。即ち、画素Ｒ１の左下の副画素７１２の色情報と、右下の副画素７１３の色情報と、画素Ｒ２の左下の副画素７１６の色情報を１：２：１の割合で加重加算する。これによって、副画素７１２と７１３の重心位置を結ぶ第２の線と画素Ｒ２の輪郭が交差する第２の位置７３１に、第２の色情報を設定する。

同様に、副画素７１８、７１９、７２２を１：２：１の比率で加重加算することにより、位置７３２におけるＲ信号を生成する。即ち、画素Ｒ３の左上の副画素７１８の色情報と、右上の副画素７１９の色情報と、画素Ｒ４の左上の副画素７２２の色情報を１：２：１の割合で加重加算する。これによって、副画素７１８と７１９の重心位置を結ぶ第３の線と画素Ｒ３の輪郭が交差する第３の位置７３２に、第３の色情報を設定する。

次に、Ｒ信号補間処理１０３１内での垂直方向の重心ずれ補正処理によって、位置７３０、７３１、７３２におけるＲ信号を１：２：１の比率で加重加算することにより、位置７００におけるＲ信号を生成する。即ち、第１の色情報と、第２の色情報と、第３の色情報を１：２：１の割合で加重加算することによって、位置７３１にＲ信号を生成する。

画素Ｒ１とＲ２の中心位置のそれぞれを垂直方向に第１の線に投影すると、位置７３０は第１の線に投影された画素Ｒ１とＲ２の中心位置の間の距離を１：３に内分する。画素Ｒ１とＲ２の中心位置のそれぞれを垂直方向に第２の線に投影すると、位置７３１は第２の線に投影された画素Ｒ１とＲ２の中心位置の間の距離を１：３に内分する。画素Ｒ３とＲ４の中心位置のそれぞれを垂直方向に第３の線に投影すると、位置７３２は第３の線に投影された画素Ｒ３とＲ４の中心位置の間の距離を１：３に内分する。

画素Ｒ１〜Ｒ４の近傍での合焦状態は同一であるとみなすと、画素Ｒ１〜Ｒ４の各重心位置と副画素との位相のずれ量と方向は等しいとみなすことができる。このため、上述の加重加算を行うことにより、撮像時の合焦状態に応じた重心ずれを補正しながら、目標位置（例えば、位置７００）に信号を生成することができる。

図１１を参照して、副画素７１０、７１１、７１４を１：２：１の比率で加重加算し、位置７３０においてＲ信号を生成する際の、重心ずれ補正の作用について説明する。図１１において、副画素７１０、７１１、７１４、７１５の撮像時の重心位置は、黒丸で示した位置となる。副画素７１０、７１１の重心位置では、それぞれ、画素Ｒ１の水平方向の重心位置７４０に対して、−Δｄ、＋Δｄの位相差が発生している。また、副画素７１４、７１５の重心位置では、それぞれ、画素Ｒ２の水平方向の重心位置７４１に対して、−Δｄ、＋Δｄの位相差が発生している。
ここで、副画素７１０、７１１、７１４から得られる信号を、それぞれ、ｐ０、ｐ１、ｐ２とし、位置７３０に生成される信号をｐ１’とすると、信号ｐ１’は、数式（１）で示すように生成される。
ｐ１’＝（ｐ０＋ｐ１＊２＋ｐ２）／４・・・（１）
また、信号ｐ１’、ｐ０、ｐ１、ｐ２の重心位置の水平方向の座標（ｘ座標）を、ｘ（ｐ１’），ｘ（ｐ０）、ｘ（ｐ１）、ｘ（ｐ２）で表すと、数式（１）の演算により、信号ｐ１’の重心は、数式（２）で表すことができる。
ｘ（ｐ１’）＝（ｘ（ｐ０）＋ｘ（ｐ１）＊２＋ｘ（ｐ２））／４・・・（２）
ここで、副画素の間隔をΔＸ、画素Ｒ１の重心位置７４０のｘ座標（＝ｘ（Ｒ１））を０とすると、画素Ｒ２の重心位置７４１のｘ座標ｘ（Ｒ２）は４ΔＸとなる。また、信号ｐ０、ｐ１、ｐ２には、それぞれ、撮像時の合焦状態に応じた位相差が発生しているため、ｘ座標は、数式（３）〜（５）で示すことができる。
ｘ（ｐ０）＝０−Δｄ ・・・（３）
ｘ（ｐ１）＝０＋Δｄ ・・・（４）
ｘ（ｐ２）＝４ΔＸ−Δｄ ・・・（５）
数式（３）〜（５）を数式（２）に代入すると、信号ｐ１’の重心は次式で表される。
ｘ（ｐ１’）（−Δｄ＋（Δｄ）＊２＋４ΔＸ−Δｄ）／４＝ΔＸ・・・（６）
即ち、撮像時の合焦状態によって発生する重心ずれΔｄの成分は相殺され、画素Ｒ１の水平方向の重心位置７３０からΔＸ離れた所望の位置の信号を生成することができる。

数式（６）に示す重心ずれ補正を、位置７３１、７３２に対しても水平方向に行う。その後、位置７３０、７３１，７３２の信号を参照して、垂直方向に、数式（６）と同様の重心ずれ補正処理を行うことにより、最終的に位置７００にＲ信号を生成する。また、位置７０１、７０２、７０３に対しても、位置７００と同様のＲ信号補間処理を行い、撮像時の合焦状態によって発生する、重心ずれを相殺した、正しい画素位置の信号を生成する。

図９は、Ｂ信号補間処理手段１０３２が使用するＢの副画素と出力画像のサンプリング位置を示す模式図である。図９において、位置８００、８０１、８０２、８０３は、それぞれ、出力画像のサンプリング位置Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１に対応している。位置８００、８０１、８０２、８０３におけるＢ信号は、それぞれ、近傍のＢの副画素を参照した補間処理により生成される。

Ｂの副画素８１０〜８１３の信号にも、撮像時の合焦状態に応じて副画素間の位相差が発生する。位置８００に重心が一致するように、近傍のＢの副画素を参照した補間を行うためには、位置８００の近傍の合焦状態を正確に検出し、合焦状態に起因した重心ずれ量を補正する重み付け係数を算出する必要があるが、これは煩雑である。そこで、Ｂ信号補間処理手段１０３２は、簡便な重心ずれ補正処理を行うことにより、局所的な合焦状態の判定と判定結果を用いた重心ずれ補正を行うことなく、目標位置に、画像信号を生成する。Ｂ信号補間処理手段１０３２の処理内容は、Ｒ信号補間処理手段１０３１と同様であるので、説明を省略する。

このように、カメラ信号処理回路１０３は、撮像時の合焦状態に起因して、副画素に発生する重心位置のずれを、簡便な方法で補正し、所望の画素位置に、ＲＧＢのそれぞれの画像信号を生成することができる。被写体像をオーバーサンプリングして撮像することによって、高品質な画像信号を出力することができる。なお、１：２：１は画素が有する副画素の数や出力画像のサンプリング位置に対して選択される副画素の数によって変更可能である。

本発明は、デジタルカメラなどの撮像装置や画像処理装置等の用途に適用することができる。特に、分割された瞳領域に応じた複数の視差画像を同時に撮影し、画像信号を生成するための撮像装置に好適である。

１００…撮像装置、１０１…結像光学系、１０３…カメラ信号処理回路（画像処理手段）、２５０…画素、２５１〜２５４…副画素（光電変換部）、Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１…出力画像のサンプリング位置（画像生成位置）

Claims (10)

1. 複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、を有し、各画素は、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光して前記結像光学系が結像する被写体像を光電変換する複数の光電変換部を備えた撮像素子と、
   前記画素アレイに出力画像を生成するための複数の画像生成位置を設定し、各画像生成位置に対して、前記複数の画素の中から使用される複数の光電変換部を選択し、選択された前記複数の光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定する画像処理手段と、
   を有し、
   前記画像処理手段は、各画像生成位置に対して、選択された前記光電変換部が前記光束を受光する位置と、前記選択された光電変換部に対応する画素の中心位置とのずれ量を相殺するための重みを、前記選択された光電変換部からの信号に加重して加算することによって前記色情報を設定することを特徴とする撮像装置。
2. 前記カラーフィルタはベイヤー配列され、各画素は２×２の光電変換部を備え、
   前記画像処理手段は、前記ベイヤー配列のＲとＢの色情報を設定する際に、前記画素アレイにおいて、水平方向と垂直方向に１画素分だけ離れて配置された４つの画素うち左上の画素の右下隅の位置を第１の画像生成位置として設定し、
   前記画像処理手段は、
   前記左上の画素の左上の光電変換部の色情報と、前記左上の画素の右上の光電変換部の色情報と、前記４つの画素のうち右上の画素の左上の光電変換部の色情報を１：２：１の割合で加重加算することによって、前記左上の画素の前記左上の光電変換部と前記右上の光電変換部のそれぞれが前記光束を受光する位置を結ぶ第１の線と前記左上の画素の輪郭が交差する第１の位置に、第１の色情報を設定し、
   前記左上の画素の左下の光電変換部の色情報と、前記左上の画素の右下の光電変換部の色情報と、前記右上の画素の左下の光電変換部の色情報を１：２：１の割合で加重加算することによって、前記左上の画素の前記左下の光電変換部と前記右下の光電変換部のそれぞれが前記光束を受光する位置を結ぶ第２の線と前記左上の画素の輪郭が交差する第２の位置に、第２の色情報を設定し、
   前記４つの画素のうち左下の画素の左上の光電変換部の色情報と、前記左下の画素の右上の光電変換部の色情報と、前記４つの画素のうち右下の画素の左上の光電変換部の色情報を１：２：１の割合で加重加算することによって、前記左下の画素の前記左上の光電変換部と前記右上の光電変換部のそれぞれが前記光束を受光する位置を結ぶ第３の線と前記左下の画素の輪郭が交差する第３の位置に、第３の色情報を設定し、
   前記第１の色情報と、前記第２の色情報と、前記第３の色情報を１：２：１の割合で加重加算することによって、前記第１の画像生成位置に前記色情報を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記左上の画素の中心位置と前記右上の画素の中心位置のそれぞれを垂直方向に前記第１の線に投影すると、前記第１の位置は、前記第１の線に投影された前記左上の画素の中心位置と前記右上の画素の中心位置の間の距離を１：３に内分し、
   前記左上の画素の中心位置と前記右上の画素の中心位置のそれぞれを垂直方向に前記第２の線に投影すると、前記第２の位置は、前記第２の線に投影された前記左上の画素の中心位置と前記右上の画素の中心位置の間の距離を１：３に内分し、
   前記左下の画素の中心位置と前記右下の画素の中心位置のそれぞれを垂直方向に前記第３の線に投影すると、前記第３の位置は、前記第３の線に投影された前記左下の画素の中心位置と前記右下の画素の中心位置の間の距離を１：３に内分することを特徴とする請求項２に記載の撮像装置。
4. 前記カラーフィルタはベイヤー配列され、各画素は２×２の光電変換部を備え、
   前記画像処理手段は、前記ベイヤー配列のＧの色情報を設定する際に、対角方向に隣接するＧの色情報を有する２つの画素の交点を第１の画像生成位置として設定し、該第１の画像生成位置を介して前記対角方向に隣接する２つの光電変換部の色情報を加算平均することによって、前記第１の画像生成位置の色情報を設定することを特徴とする請求項１に記載の撮像装置。
5. 前記画像処理手段は、各画像生成位置に対して、水平方向および垂直方向の少なくとも一方において、前記ずれ量を相殺するように、前記重みを加重することを特徴とする請求項１に記載の撮像装置。
6. 前記画素アレイにおいて、前記複数の画像生成位置は、前記複数の画素の中心位置からずれていることを特徴とする請求項１乃至５のうちいずれか１項に記載の撮像装置。
7. 前記結像光学系または前記撮像素子を駆動する駆動手段と、
   合焦位置からずれた位置で撮像されるように前記駆動手段を制御する制御手段と、
   を有することを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像装置。
8. 複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、を有し、各画素は、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光して前記結像光学系が結像する被写体像を光電変換する複数の光電変換部を備えた撮像素子から得られる信号を処理する画像処理装置であって、
   前記画素アレイに出力画像を生成するための複数の画像生成位置を設定する手段と、
   各画像生成位置に対して、前記複数の画素の中から使用される複数の光電変換部を選択する手段と、
   選択された前記複数の光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定する手段と、
   を有し、
   前記色情報を設定する手段は、各画像生成位置に対して、選択された前記光電変換部が前記光束を受光する位置と、前記選択された光電変換部に対応する画素の中心位置とのずれ量を相殺するための重みを、前記選択された光電変換部からの信号に加重して加算することを特徴とする画像処理装置。
9. 複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、を有し、各画素は、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光して前記結像光学系が結像する被写体像を光電変換する複数の光電変換部を備えた撮像素子から得られる信号を処理する画像処理方法であって、
   前記画素アレイに出力画像を生成するための複数の画像生成位置を設定するステップと、
   各画像生成位置に対して、前記複数の画素の中から使用される複数の光電変換部を選択するステップと、
   選択された前記複数の光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定するステップと、
   を有し、
   前記色情報を設定するステップは、各画像生成位置に対して、選択された前記光電変換部が前記光束を受光する位置と、前記選択された光電変換部に対応する画素の中心位置とのずれ量を相殺するための重みを、前記選択された光電変換部からの信号に加重して加算することを特徴とする画像処理方法。
10. コンピュータに請求項９に記載の画像処理方法を実行させるためのプログラム。