JP2017038254A - 撮像装置、画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】高画質な画像信号を生成すること【解決手段】単板式の撮像素子１０２において、各画素は、結像光学系１０１の異なる瞳領域を通過した光束をそれぞれ受光して結像光学系が結像する被写体像を光電変換する複数の副画素Ｇ１ａ〜Ｇ１ｄを備えている。カメラ信号処理回路１０３は、出力画像を生成するための複数のサンプリング位置のそれぞれに対して、複数の画素の中から使用される副画素を選択し、選択された副画素からの信号に基づいて複数の色の全ての色情報を設定する。【選択図】図６

Description

本発明は、撮像装置、画像処理装置、画像処理方法およびプログラムに関する。

ベイヤー（Ｂａｙｅｒ）配列等のカラーフィルタが配置された単板式センサを用いた撮像装置では、撮像時に画素毎に生成できる色信号が異なり、カラーフィルタの配列に起因した折り返し（歪）が発生し、画質が損なわれる場合がある。また、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。例えば、特許文献１は、１画素毎に、１つのマイクロレンズと複数の光電変換部（以下、副画素と称する）を備え、副画素には、ＲＧＢのいずれかのカラーフィルタが配置された２次元撮像素子を用いた撮像装置を提案している。

特許第５３５９４６５号公報

しかしながら、特許文献１には、１画素において、副画素の信号間で視差による位置ずれが発生する場合、副画素を用いて色信号を生成する際に、色ずれや、補間による解像感の低下が発生するという問題がある。

本発明は、高画質な画像信号を生成することが可能な画像処理装置、画像処理方法、プログラムおよび撮像装置を提供することを例示的な目的とする。

本発明の撮像装置は、複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、を有し、各画素は、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光して前記結像光学系が結像する被写体像を光電変換する複数の光電変換部を備えた撮像素子と、前記画素アレイに出力画像を生成するための複数の画像生成位置を設定し、各画像生成位置に対して、前記複数の画素の中から使用される光電変換部を選択し、選択された前記光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定する画像処理手段と、を有することを特徴とする。

本発明によれば、高画質な画像信号を生成することが可能な画像処理装置、画像処理方法、プログラムおよび撮像装置を提供することができる。

本発明の撮像装置の構成の一例を示すブロック図である。（実施例１、２、３） 図１に示す撮像素子の画素配列を説明するための模式図である。（実施例１、２、３） 図１に示す結像光学系における分割された瞳領域を示す模式図である。（実施例１、２、３） 図３に示す分割された瞳領域を通る光束が入射される様子を示した模式図である。（実施例１、２、３） 図１に示すカメラ信号処理回路内の色信号生成処理手段のブロック図である。（実施例１、２、３） 副画素のサンプリング位置と、出力画像のサンプリング位置を示した模式図である。（実施例１、２、３） Ｇの副画素と出力画像のサンプリング位置を示した模式図である。（実施例１、２、３） Ｒの副画素と出力画像のサンプリング位置を示した模式図である。（実施例１、２、３） Ｂの副画素と、出力画像のサンプリング位置を示した模式図である。（実施例１、２、３） 本発明の撮像装置により折り返し低減処理の効果を示す模式図である。（実施例１） 従来の撮像装置における折り返し発生の様子を示す模式図である。 図１に示すカメラ信号処理回路のブロック図である。（実施例２） 副画素画像間の位相差が小さい場合のサンプリング位置を示す模式図である。（実施例２） 図１２に示すカメラ信号処理回路が実行する信号処理方法を示すフローチャートである。（実施例２） 図１に示すカメラ信号処理回路のブロック図である。（実施例３） 図１５に示すカメラ信号処理回路が実行する信号処理方法を示すフローチャートである。（実施例３） 図１６のＳ１６００を説明するための図である。（実施例３）

図１は、本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。撮像装置１００は、一眼レフカメラやノンレフレックスカメラ（ミラーレスカメラ）におけるカメラ本体でもよいし、レンズ一体型でもよい。撮像装置１００は、デジタルスチルカメラ、デジタルビデオカメラ、テレビカメラなどであってもよい。

図１において、撮像装置１００は、結像光学系１０１、撮像素子１０２、カメラ信号処理回路１０３、フレームメモリ１０４、結像光学系１０１の駆動制御手段１０５、表示部１０６、記録部１０７、操作系１０８、システム制御手段１０９を有する。カメラ信号処理回路１０３、フレームメモリ１０４、表示部１０６、記録部１０７、操作系１０８は、バスライン１１０を介して相互に接続されている。

結像光学系１０１は、被写体像を形成する。即ち、結像光学系１０１は、フォーカスレンズ、ズームレンズ、絞り、手振れ補正レンズ等の光学素子を含み、被写体からの入射光（像光）を取り込んで撮像素子１０２の撮像面上に結像する。また、結像光学系１０１の上記光学素子は、駆動制御手段１０５からの制御信号に基づき、駆動制御される。駆動制御手段１０５は、システム制御手段１０９によって制御される。なお、フォーカスレンズは、光軸方向に移動されて焦点調節を行う。焦点調節においては、撮像素子１０２を光軸方向に移動させてもよい。フォーカスレンズや撮像素子１０２の駆動手段は、ＤＣモータ、ステッピングモータ、ボイスコイルモータなどのアクチュエータにより構成することができる。駆動制御手段１０５は、駆動手段の駆動を制御する。

撮像素子１０２は、２次元ＣＭＯＳフォトセンサーと周辺回路からなる撮像素子であり、結像光学系の結像面に配置される。撮像素子１０２は、結像光学系１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。このように、撮像素子１０２は、結像光学系１０１が形成した被写体像を光電変換するが、その詳細な構造については後述する。

カメラ信号処理回路１０３は、撮像素子１０２から出力される、例えば、１フレーム分の画像信号をフレームメモリ１０４に一時的に保存し、保存した画像信号に対して各種の信号処理（ホワイトバランス、ガンマ補正、デモザイク処理など）を行う。カメラ信号処理回路１０３は、デジタルシグナルプロセッサ（ＤＳＰ）から構成されてもよい。デモザイク処理は、一般には、撮像素子から得られる信号に対して、欠けている色情報（輝度情報、画素値情報）を補間することによって、各画素に、カラーフィルタに設定された複数の色の全てについて色情報を設定する色補間処理をいう。

本実施形態の画像処理方法（信号処理方法）は、撮像装置１００の内部で行われてもよいし、専用の画像処理装置（信号処理装置）や本実施形態の画像処理方法のプログラムをインストールしたパーソナルコンピュータなど、撮像装置１００の外部で行われてもよい。このような画像処理装置、画像処理方法およびプログラムも本発明の一側面を構成する。その際、画像処理方法の各ステップはコンピュータがソフトウェアによって実行してもよいし、専用のハードウェアが実行してもよい。

表示部１０６は、液晶表示部等のパネル型表示部からなり、撮像素子１０２で撮像された動画または静止画を表示する。本発明の画像処理方法は、表示部１０６が、画像処理手段によって処理された画像を逐次表示するライブビュー画像を生成する際に適用されてもよい。記録部１０７は、撮像素子１０２で撮像された動画または静止画を、ＳＤカード等の記録媒体に記録する。

操作系１０８は、ユーザによる操作に従って、様々な操作指令を発する、ボタン、ダイヤル、レバー、タッチパネルなどを含む。操作系１０８は、フォーカス選択スイッチを含む。かかるフォーカス選択スイッチ（フォーカス選択手段）は、マニュアルフォーカス（ＭＦ）モード、オートフォーカス（自動焦点調節、ＡＦ）モード、デフォーカスモードを選択することができる。ＭＦモードでは、ユーザが不図示のフォーカスリングを操作してフォーカスレンズを移動させ、手動で焦点調節を行う。ＡＦモードでは、位相差検出方式やコントラスト検出方式などを利用して焦点検出を行い、自動でフォーカスレンズを合焦位置に移動させて焦点調節を行う。デフォーカスモードでは、合焦位置から所定量だけデフォーカスさせた位置にフォーカスレンズを自動的に移動させる。デフォーカス状態において、後述する本実施形態の効果を得ることができるが、製造誤差などからＡＦモードでもフォーカスレンズは焦点位置に完全に一致しない場合が多く、後述する本実施形態の効果を得られる場合がある。

システム制御手段１０９は、撮像装置１００内の各部の動作を制御する制御手段である。システム制御手段１０９は、画像全体（画面全体）に対するカメラ信号処理回路１０３の処理を制御してもよい。

次に、撮像素子１０２の構成と、瞳分割した画像の取得処理について説明する。撮像素子１０２は、複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、複数のマイクロレンズを有する。各画素は、結像光学系１０１の異なる瞳領域を通過した光束をそれぞれ受光して結像光学系１０１が結像する被写体像を光電変換する複数の光電変換部としての副画素を備えている。

図２は、撮像素子１０２の画素アレイの一部を示したものである。図２（Ａ）は、撮像素子１０２の撮像面を上から見た模式図であり、複数の画素２００、２０１、２０２、２０３は、それぞれ、出力画像の１画素分に相当する同色成分の信号を生成する。画素は、水平方向、垂直方向に、それぞれΔＸの、サンプリング周期で、画像信号を出力するものとする。ΔＸは、副画素の間隔（ΔＸ／２）よりも大きい間隔である。３００、３０２は、対応する画素の中心位置を表している。

画素２００、２０１、２０２、２０３には、それぞれ１つのマイクロレンズが配置されており、図２は、マイクロレンズを丸で示している。各画素は、水平方向と垂直方向にそれぞれ２つずつ、合計４つの副画素を有する。このような構成で、副画素毎に撮像された信号を読み出すことにより、図３の実線で示す結像光学系１０１の射出瞳を分割した複数の領域（破線で示す）瞳領域Ａ、Ｂ、Ｃ、Ｄに応じた視差画像を同時に撮影することができる。副画素には、Ｒ、Ｇ、Ｂのいずれかのカラーフィルタが配置され、共通のマイクロレンズに対応づけられた副画素には、同色のカラーフィルタが配置される。例えば、図２（Ｂ）に示すベイヤー配列のカラーフィルタが配置されている。

次に、図４を参照して、撮像時に副画素でサンプリングされる被写体像のサンプリング位置について説明する。図４（Ａ）、（Ｂ）は、撮像素子１０２の撮像面３０に、分割された瞳領域を通る光束４００（実線）、４０１（破線）が入射される様子を示した模式図であり、光束４００、４０１は、それぞれ、瞳領域Ａ、Ｄを通る光束を示している。

ここで、被写体からの光が撮像素子１０２の撮像面３０に結像する場合、図４（Ａ）に示すように、分割された瞳領域を通り、撮像素子１０２に入射された光束４００、４０１は撮像面３０の一点に集まる。従って、図４（Ｃ）に示すように、撮像素子１０２で取得される、分割された瞳領域Ａ、Ｂ、Ｃ、Ｄに対応した副画素の重心は一致する。なお、図４（Ａ）と（Ｃ）の方向Ｅは対応し、図４（Ｂ）と（Ｄ）の方向Ｅは対応している。図２（Ｂ）に示す画素２００内の副画素Ｒａ、Ｒｂ、Ｒｃ、Ｒｄが光束を受光する位置は、図４（Ａ）において画素２００の中心位置３００に一致している。図２（Ｂ）に示す画素２０３内の副画素Ｂａ、Ｂｂ、Ｂｃ、Ｂｄが光束を受光する位置は、図４（Ａ）において画素２０３の中心位置３０２に一致している。このように、副画素が画像を生成する位置を「サンプリング位置」または「重心位置」と呼ぶ場合がある。

しかし、実際は、結像光学系１０１の制御誤差等により、合焦位置からずれた位置で撮像される場合が多い。この場合、分割された瞳領域を通り、撮像素子１０２に入射された光束は、図４（Ｂ）に示すように、一点に集まらない。

この場合、図４（Ｄ）に示すように、副画素の重心位置は、画素の重心位置からずれている。例えば、副画素Ｒａ、Ｒｂ、Ｒｃ、Ｒｄが光束を受光する位置３１１〜３１４は、画素の中心位置３００から、垂直、水平方向にそれぞれΔＸ／２以内のずれ量を持っている。以下、副画素の重心位置と画素の中心位置とのずれ量を「位相差」と呼ぶ場合がある。

以上より、瞳分割して被写体像を取得する場合、撮像時に完全に合焦していない場合には、副画素を個別に読み出すことで、画素間隔ΔＸよりも細かい間隔（例えば、ΔＸ／４）で被写体像をサンプリングすることが可能になる。カメラ信号処理回路１０３は、副画素によってオーバーサンプリングされた信号を用いて、画素の中心と異なる位置にＲＧＢの全ての色信号を生成（設定）する。

図５は、カメラ信号処理回路１０３が有する色信号生成処理手段（デモザイク処理手段）１０３０の構成を示すブロック図である。色信号生成処理手段１０３０は、画素アレイに複数の画像生成位置を設定し、各画像生成位置に対して、複数の画素の中から使用される副画素を選択し、選択された副画素からの信号に基づいて全ての色情報を設定する。画像生成位置は、出力画像を生成するために画素アレイに設定される位置であり、以下、「出力画像のサンプリング位置」と呼ぶ場合もある。従来、出力画像のサンプリング位置は各画素の中心位置であった。

なお、本発明が画像処理装置に適用される場合には、画像処理装置は、上記複数の画像生成位置を設定する手段と、上記副画素を選択する手段と、上記選択された副画素からの信号に基づいて全ての色情報を設定する手段と、を有する。また、本発明が画像処理方法に適用される場合には、画像処理方法は、上記複数の画像生成位置を設定するステップと、上記副画素を選択するステップと、上記選択された副画素からの信号に基づいて全ての色情報を設定するステップと、を有する。

色信号生成処理手段１０３０は、内部にＲ信号補間処理手段１０３１、Ｂ信号補間処理手段１０３２、Ｇ信号補間処理手段１０３３を有する。

図６は、撮像素子１０２から出力される副画素のサンプリング位置と、副画素を用いて、色信号生成処理手段１０３０が生成する、出力画像のサンプリング位置を示す模式図である。例えば、図６の左上隅の画素２５０には、４つの副画素２５１〜２５４が含まれ、副画素２５１〜２５４の重心位置は２６１〜２６４である。

図６において、黒丸で示したサンプリング位置が、撮像素子１０２から出力される副画素のサンプリング位置であり、白丸で示したサンプリング位置が、出力画像のサンプリング位置である。副画素には、それぞれ、Ｒ、Ｇ、Ｂいずれかのカラーフィルタが配置されているため、その位置に応じて、取得できる色信号が異なる。白丸の位置には、Ｒ信号補間処理手段１０３１、Ｂ信号補間処理手段１０３２、Ｇ信号補間処理手段１０３３によって、それぞれ、近傍の副画素の色情報を用いてＲＧＢの色補間処理を行う。

ここで、出力画像のサンプリング位置（白丸の位置）Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１によって、近傍の副画素に配置されたカラーフィルタの配列が異なる。例えば、Ｐ００を中心とした４ｘ４画素の副画素領域内のカラーフィルタの配列は、２ｘ２を１つの単位としてみると、左上、右上、左下、右下の順で、Ｒ、Ｇ、Ｇ、Ｂとなる。Ｐ０１を中心とした４ｘ４画素の副画素領域内のカラーフィルタの配列は、２ｘ２を１つの単位としてみると、左上、右上、左下、右下の順で、Ｇ、Ｒ、Ｂ、Ｇとなる。Ｐ１０を中心とした４ｘ４画素の副画素領域内のカラーフィルタの配列は、２ｘ２を１つの単位としてみると、左上、右上、左下、右下の順で、Ｇ、Ｂ、Ｒ、Ｇとなる。Ｐ１１を中心とした４ｘ４画素の副画素領域内のカラーフィルタの配列は、２ｘ２を１つの単位としてみると、左上、右上、左下、右下の順で、Ｂ、Ｇ、Ｇ、Ｒとなる。

従って、色信号生成処理手段１０３０は、出力画像のサンプリング位置Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１に応じて、使用する副画素からの信号（色情報）と、サンプリング位置と副画素との距離に応じた重みと、に基づいて、色情報を設定する。

図７は、Ｇ信号補間処理手段１０３３が使用するＧの副画素と出力画像のサンプリング位置を示す模式図である。

図７（Ａ）は、出力画像のサンプリング位置Ｐ００又はＰ１１の場合の例を示している。例えば、位置６００にＧ信号を生成する場合、Ｇの副画素６０１、６０２、６０３、６０４、６０５、６０６、６０７、６０８、６０９、６１０、６１２、６１３を参照し、位置６００からの距離に応じた重みによって加重加算する。

図７（Ｂ）は、出力画像のサンプリング位置Ｐ０１又はＰ１０の場合の例を示している。例えば、位置６２０にＧ信号を生成する場合、Ｇの副画素６２１、６２２、６２３、６２４、６２５、６２６、６２７、６２８、６２９、６３０、６３１、６３２を参照し、位置６２０からの距離に応じた重みによって加重加算する。

図８は、Ｒ信号補間処理手段１０３１が使用するＲの副画素と出力画像のサンプリング位置を示す模式図である。図８において、位置７００、７０１、７０２、７０３は、それぞれ、出力画像のサンプリング位置Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１に対応している。位置７００、７０１、７０２、７０３にＲ信号を生成する場合、Ｒの副画素７１０、７１１、７１２、７１３、７１４、７１５、７１６、７１７、７１８、７１９、７２０、７２１、７２２、７２３、７２４、７２５を参照する。そして、それぞれ、位置７００、７０１、７０２、７０３からの距離に応じた重みによって加重加算する。

図９は、Ｂ信号補間処理手段１０３２が使用するＢの副画素と出力画像のサンプリング位置を示す模式図である。図９において、位置８００、８０１、８０２、８０３は、それぞれ、出力画像のサンプリング位置Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１に対応している。位置８００、８０１、８０２、８０３にＢ信号を生成する場合、Ｂの副画素８１０、８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８、８１９、８２０、８２１、８２２、８２３、８２４、８２５を参照する。そして、それぞれ、位置８００、８０１、８０２、８０３からの距離に応じた重みによって加重加算する。

このように、カメラ信号処理回路１０３は、Ｇに対するデモザイク処理において、一画素に含まれる一部の副画素（例えば、副画素６０１）から得られる色情報を用い、（例えば、副画素６０１が属する画素における）残りの副画素から得られる色情報を使用しない。また、カメラ信号処理回路１０３は、Ｒ、Ｇ、Ｂのそれぞれに対するデモザイク処理において、設定された出力画像のサンプリング位置から所定範囲内の副画素（例えば、副画素６０１〜６１３）を選択する。また、カメラ信号処理回路１０３は、選択手段によって選択された各副画素の色情報と、出力画像のサンプリング位置から選択された各副画素までの距離に応じた重みと、に基づいて、出力画像のサンプリング位置に色情報を設定する。

最後に、図１０、図１１を参照して、本実施例の撮像装置１００の効果を述べる。通常、ベイヤー配列のカラーフィルタを備えた撮像素子では、図１１（Ａ）に示すように、Ｇは市松状、Ｒ、Ｂは、Ｇに対してそれぞれ１／４の画素密度で被写体像をサンプリングする。このとき、図４（Ｂ）に示すように、４つの副画素の重心位置は画素の中心位置にある。従って、図１１（Ｂ）に示すように、撮像素子１０２の画素ピッチΔＸから決まるナイキスト周波数ｆｎの帯域内に、Ｒ、Ｇ、Ｂの折り返し成分が発生し、画質が損なわれる。図１１（Ｂ）において、横軸は水平方向（Ｈ）の周波数、縦軸は垂直方向（Ｖ）の周波数を表している。白丸はＧ信号の折り返しが発生する位置を表しており、ハッチングされた丸はＲ信号とＢ信号の折り返しが発生する位置を表している。

しかし、撮像装置１００では、図１０（Ａ）に示すように、副画素によって被写体像をオーバーサンプリングする。即ち、図４（Ｄ）に示すように、副画素の重心位置の数は水平方向と垂直方向で倍になっている。従って、図１０（Ｂ）に示すように、撮像素子１０２の画素ピッチΔＸから決まるナイキスト周波数ｆｎの帯域内のＲ、Ｇ、Ｂの折り返し成分を低減することが可能になり、高品質な映像信号を出力することができる。図１０（Ｂ）の定義は図１１（Ｂ）と同じである。

また、本実施例は、特定の色（Ｇ）については、一画素全体の色情報を用いないで、一画素に含まれる一部の副画素（１つの副画素でもよい）から得られる信号（画素値情報）を用い、残りの副画素から得られる信号（画素値情報）を使用しない。これにより、デモザイク処理において出力画像のサンプリング点から遠い副画素から得られる信号を使用しないので、出力画像の画質が向上する。なお、一部の副画素は、全ての副画素でなければ足りる。本実施例は、出力画像のサンプリング位置を各画素の中心からずらしているが、これは必須ではない。

実施例２の撮像装置の構成は、図１に示すものと同様であるが、カメラ信号処理回路１０３の構成が図５に示すものとは異なる。

図１２は、本実施例のカメラ信号処理回路１０３の構成を示すブロック図である。カメラ信号処理回路１０３は、色信号生成処理手段１０３０、相関演算手段１０３４及び制御手段１０３５を有するが、システム制御手段１０９が相関演算手段１０３４と制御手段１０３５を兼ねてもよい。また、相関演算手段１０３４と制御手段１０３５は一体であってもよい。制御手段１０３５は、相関演算手段１０３４の出力に基づいて、画像全体に対する色信号生成処理手段１０３０の処理を制御する。「画面全体に対して」とは、色信号生成処理手段１０３０が、出力画像のサンプリング点は画面全体で作成されることを意味する。本実施例は、撮像素子１０２で取得された、副画素画像間の位相差の絶対値に基づいて、色信号生成処理手段１０３０での処理を制御する点が、実施例１と異なる。

撮像装置では、撮像素子１０２で副画素信号を取得する際、結像光学系１０１の制御誤差により、副画素信号のサンプリング位置が、図１３に示すように、マイクロレンズを共有する副画素領域の中心に偏って撮像される場合がある。このような場合には、同色の副画素間の信号の相関が高いため、同色の副画素信号を加算して、画素間隔ΔＸのベイヤー配列の画像信号を生成してから、デモザイク処理を行い、各画素位置にＲＧＢの信号を生成する。一方、撮像素子１０２で副画素信号を取得する際に、副画素信号のサンプリング位置が図６のようになる場合には、実施例１に記載した方法で、画素間隔ΔＸで、各画素位置のＲＧＢの信号を生成する。

図１４は、本実施例のカメラ信号処理回路１０３が実行する画像処理方法（信号処理方法）を示すフローチャートであり、「Ｓ」はステップ（工程）を表す。図１４に示すフローチャートは、コンピュータに各ステップを実行させるためのプログラムとして具現化が可能である。

まず、Ｓ１４００で、副画素画像を撮像素子１０２から読み出すことによって取得する。次に、Ｓ１４０１では、相関演算手段１０３４は、副画素画像間の位相差を求める。相関演算手段１０３４は、副画素画像毎に所定の周波数を検出するバンドパスフィルタ処理を行い、バンドパスフィルタの出力結果の差分が小さいほど相関が高い、すなわち、副画素画像間の位相差が小さいと判定する。このように、相関演算手段１０３４は、副画素の重心位置と対応する画素の中心位置とのずれ量に関する情報を取得する取得手段として機能する。もちろん、相関演算手段１０３４は、同一画素の２つの副画素の間の位相差の情報を取得してもよい。

次に、Ｓ１４０２では、制御手段１０３５は、相関演算手段１０３４が検出した位相差の絶対値が所定値よりも大きいかどうかを判定する。位相差の絶対値が所定値よりも大きい場合はＳ１４０３に進み、所定値以下の場合はＳ１４０４に進む。

Ｓ１４０３では、実施例１と同様に、色信号生成処理手段１０３０は、副画素領域の重心から、水平、垂直方向に、それぞれ、ΔＸ／２画素シフトした位置に、ΔＸの画素間隔で、Ｒ、Ｇ、Ｂの各色信号を生成する。即ち、制御手段１０３５は、色信号生成処理手段１０３０に、選択された副画素からの信号に基づいて全ての色情報を設定させる。

Ｓ１４０４では、色信号生成処理手段１０３０は、副画素領域の重心位置に、Ｒ、Ｇ、Ｂのいずれかの色信号を、ベイヤー配列となるよう生成する。その後、Ｓ１４０５において、ベイヤー配列されたＲ、Ｇ、Ｂの色信号をそれぞれ参照したデモザイク処理を行い、ΔＸの画素間隔で、Ｒ、Ｇ、Ｂの各色信号を生成する。即ち、制御手段１０３５は、色信号生成処理手段１０３０に、複数の画像生成位置のそれぞれに対して、複数の画素の中から使用される画素を選択させ、選択された画素から得られる信号に基づいて全ての色情報を設定させる。この場合は、画素全体の色情報が使用され、画素の一部の副画素の色情報のみが使用されることはない。

以上、本実施例の撮像装置は、撮像素子１０２で取得された副画素画像間の位相差に応じて、色信号生成処理手段１０３０での処理方法を切り替える。これにより、副画素画像間の位相差が大きい場合には、副画素画像を参照して、被写体像をオーバーサンプリングすることにより、出力画像の各画素位置に、ＲＧＢ全色の信号を生成し、高品質な映像信号を出力することができる。なお、風景を撮像する場合、一部が合焦し、残りが合焦しないことになり、出力画像には、位相差がＳ１４０２の条件を満たす領域と満たさない領域が含まれることになる。このような場合、Ｓ１４０２とＳ１４０３の間で、Ｓ１４０２の条件を満たす領域の出力画像全体に対する割合が閾値よりも大きいかどうかを判定し、閾値よりも大きければＳ１４０３に移行し、閾値以下であればＳ１４０４に移行してもよい。これは、実施例３にも当てはまる。

次に、本発明の実施例３の撮像装置の概略構成は図１と同様であるが、カメラ信号処理回路１０３の構成が図５、図１２に示すものとは異なる。

図１５は、本実施例のカメラ信号処理回路１０３の構成を示すブロック図である。カメラ信号処理回路１０３は、色信号生成処理手段１０３０、相関演算手段１０３４、制御手段１０３５、主被写体領域検出手段１０３６を有する。システム制御手段１０９が相関演算手段１０３４、制御手段１０３５及び主被写体領域検出手段１０３６を兼ねてもよい。また、相関演算手段１０３４、制御手段１０３５及び主被写体領域検出手段１０３６の２つ以上は一体的に構成されてもよい。主被写体領域検出手段１０３６は、顔認識手段などを利用することができる。制御手段１０３５は、相関演算手段１０３４と主被写体領域検出手段１０３６の出力に基づいて、画像全体に対する色信号生成処理手段１０３０の処理を制御する。「画面全体に対して」とは、色信号生成処理手段１０３０が、出力画像のサンプリング点は画面全体で作成されることを意味する。

制御手段１０３５は、主被写体領域の画質を向上するため、予め主被写体領域を検出し、主被写体領域が検出された場合には、主被写体領域が合焦位置からずれた位置で撮像されるように駆動手段を制御する。

図１６は、本実施例のカメラ信号処理回路１０３が実行する画像処理方法（信号処理方法）を示すフローチャートであり、「Ｓ」はステップ（工程）を表す。図１６に示すフローチャートは、コンピュータに各ステップを実行させるためのプログラムとして具現化が可能である。

まず、Ｓ１６００において、入力画像の特徴解析を行い、主被写体領域を検出する。例えば、図１７に示す入力画像において領域１７００を主被写体領域、領域１７０１を背景領域と判定する。次に、Ｓ１６０１において、主被写体領域で副画素画像間の位相差が大きくなるように、結像光学系１０１を、駆動制御手段１０５を介して制御する。次に、Ｓ１６０２において、副画素からなる副画素画像を撮像素子１０２から読み出すことによって取得する。

次に、Ｓ１６０３において、相関演算手段１０３４では、副画素画像毎に所定の周波数を検出するバンドパスフィルタ処理を行い、バンドパスフィルタの出力結果の差分によって、副画素画像間の位相差を求める。

次に、Ｓ１６０４において、制御手段１０３５は、主被写体領域であるかどうかを判定する。主被写体領域であればＳ１６０６へ進み、主被写体領域でなければＳ１６0５に進む。Ｓ１６０５では、制御手段１０３５は、副画素画像間の位相差の絶対値が所定値よりも大きいかどうかを判定する。位相差の絶対値が所定値よりも大きい場合はＳ１６０６へ進み、所定値以下である場合はＳ１６０７へ進む。

Ｓ１６０６において、色信号生成処理手段１０３０は、副画素領域の重心から、水平、垂直方向に、それぞれ、ΔＸ／２画素シフトした位置に、ΔＸの画素間隔で、Ｒ、Ｇ、Ｂの各色信号を生成する。Ｓ１６０７において、色信号生成処理手段１０３０は、副画素領域の重心位置に、Ｒ、Ｇ、Ｂのいずれかの色信号を、ベイヤー配列となるよう生成する。その後、Ｓ１６０８において、ベイヤー配列されたＲ、Ｇ、Ｂの色信号をそれぞれ参照したデモザイク処理を行い、ΔＸの画素間隔で、Ｒ，Ｇ，Ｂの各色信号を生成する。

本実施例の撮像装置によれば、主被写体領域の検出結果と、撮像素子１０２で取得された副画素画像間の位相差に応じて、入力画像の被写体領域毎に、色信号生成処理を切り替える。これにより、主被写体領域においては、副画素画像間の位相差が大きくなるように、撮像が行われる。副画素画像間の位相差が大きい場合には、副画素画像を参照して、被写体像をオーバーサンプリングすることにより、出力画像の各画素位置に、ＲＧＢ全色の信号を生成し、高品質な映像信号を出力することができる。

また、本発明の副画素は被写体像を光電変換する機能を有するため、撮像面で位相差検出方式を行うための焦点検出用画素は含まない。このため、一画素に含まれる副画素よりも少ない数の副画素（即ち、一部の副画素）から得られる信号（画素値情報）を使用してデモザイク処理を行う本発明は、焦点検出用画素と撮像用画素を含む撮像素子に対しても適用可能である。

本発明は、デジタルカメラなどの撮像装置や画像処理装置等の用途に適用することができる。特に、分割された瞳領域に応じた複数の視差画像を同時に撮影し、画像信号を生成するための撮像装置に好適である。

１００…撮像装置、１０１…結像光学系、１０３…カメラ信号処理回路（画像処理手段）、２５０…画素、２５１〜２５４…副画素（光電変換部）、Ｐ００、Ｐ０１、Ｐ１０、Ｐ１１…出力画像のサンプリング位置（画像生成位置）

Claims (10)

1. 複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、を有し、各画素は、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光して前記結像光学系が結像する被写体像を光電変換する複数の光電変換部を備えた撮像素子と、
   前記画素アレイに出力画像を生成するための複数の画像生成位置を設定し、各画像生成位置に対して、前記複数の画素の中から使用される光電変換部を選択し、選択された前記光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定する画像処理手段と、
   を有することを特徴とする撮像装置。
2. 前記画素アレイにおいて、前記複数の画像生成位置は、前記複数の画素の中心位置からずれていることを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理手段は、前記画像生成位置から所定範囲内にある前記光電変換部を選択し、選択された各光電変換部の色情報と、前記画像生成位置から前記選択された各光電変換部までの距離に応じた重みと、に基づいて、前記画像生成位置に前記色情報を設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記結像光学系または前記撮像素子を駆動する駆動手段と、
   合焦位置からずれた位置で撮像されるように前記駆動手段を制御する制御手段と、
   を有することを特徴とする請求項１乃至３のうちいずれか１項に記載の撮像装置。
5. 前記光電変換部が前記光束を受光する位置と対応する画素の中心位置とのずれ量に関する情報を取得する取得手段と、
   画像全体に対する前記画像処理手段の処理を制御する制御手段と、
   を有し、
   前記制御手段は、
   前記取得手段が検出した前記ずれ量の絶対値が所定値よりも大きい場合、前記画像処理手段に、前記選択された前記光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定させ、
   前記取得手段が検出した前記ずれ量の絶対値が所定値以下である場合、前記画像処理手段に、前記複数の画像生成位置のそれぞれに対して、前記複数の画素の中から使用される画素を選択させ、選択された前記画素から得られる信号に基づいて前記複数の色の全ての色情報を設定させることを特徴とする請求項１乃至４のうちいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記出力画像に、前記ずれ量の絶対値が前記所定値よりも大きい領域と前記ずれ量の絶対値が前記所定値以下である領域が含まれる場合、前記ずれ量の絶対値が前記所定値よりも大きい領域の出力画像全体に対する割合が閾値よりも大きければ、前記画像処理手段に、前記選択された前記光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定させ、前記割合が閾値以下であれば、前記画像処理手段に、前記複数の画素の中から使用される画素を選択させ、選択された前記画素から得られる信号に基づいて前記複数の色の全ての色情報を設定させることを特徴とする請求項５に記載の撮像装置。
7. 主被写体領域を検出する主被写体領域検出手段と、
   前記結像光学系または前記撮像素子を駆動する駆動手段と、
   画像全体に対する前記画像処理手段の処理を制御する制御手段と、
   を有し、
   前記制御手段は、前記主被写体領域検出手段が前記主被写体領域を検出した場合に、前記主被写体領域が合焦位置からずれた位置で撮像されるように前記駆動手段を制御することを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像装置。
8. 複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、を有し、各画素は、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光して前記結像光学系が結像する被写体像を光電変換する複数の光電変換部を備えた撮像素子から得られる信号を処理する画像処理装置であって、
   前記画素アレイに出力画像を生成するための複数の画像生成位置を設定する手段と、
   設定された各画像生成位置に対して、前記複数の画素の中から使用される光電変換部を選択する手段と、
   選択された前記光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定する手段と、
   を有することを特徴とする画像処理装置。
9. 複数の画素からなる画素アレイと、画素アレイ上に規則的に配列された複数の色のカラーフィルタと、を有し、各画素は、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光して前記結像光学系が結像する被写体像を光電変換する複数の光電変換部を備えた撮像素子から得られる信号を処理する画像処理方法であって、
   前記画素アレイに出力画像を生成するための複数の画像生成位置を設定するステップと、
   各画像生成位置に対して、前記複数の画素の中から使用される光電変換部を選択するステップと、
   選択された前記光電変換部からの信号に基づいて前記複数の色の全ての色情報を設定するステップと、
   を有することを特徴とする画像処理方法。
10. コンピュータに請求項９に記載の画像処理方法を実行させるためのプログラム。