JP2015159472A

JP2015159472A - 撮像装置

Info

Publication number: JP2015159472A
Application number: JP2014033994A
Authority: JP
Inventors: 宣孝平間; Nobutaka Hirama
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2014-02-25
Filing date: 2014-02-25
Publication date: 2015-09-03
Anticipated expiration: 2034-02-25
Also published as: JP6459183B2

Abstract

【課題】１画素に複数の光電変換部を有する場合において適切に補間すること。
【解決手段】撮像装置１は、撮像素子３の第１画素による複数の第１の色成分の光電変換信号を第１画素ごとに加算するとともに、撮像素子３の第２画素による複数の第２の色成分の光電変換信号を第２画素ごとに加算する加算部１３と、加算部１３による加算後の第１の色成分の信号および第２の色成分の信号で構成される対象画像に対し、各画素位置において不足する色成分の信号を周辺の画素位置における信号を用いて補間する補間処理部１３と、加算部１３による加算前の複数の光電変換信号に基づいて画像構造の方向を検出し、対象画像の各画素位置において不足する色成分の信号を検出した方向の周辺の画素位置の信号を用いて補間するように、補間処理部１３を制御する制御部９と、を備える。
【選択図】図１

Description

本発明は、撮像装置に関する。

ベイヤー配列の規則にしたがう色フィルタを通して撮像された画像データに対し、各画素位置において不足する色成分のデータを補間する技術が知られている（特許文献１参照）。

日本国特許第５１４７５７７号公報

従来技術は、１画素につき１つの光電変換部（フォトダイオード）が設けられた場合のもので、１画素につき複数の光電変換部が設けられた場合の検討がなされていなかった。

本発明による撮像装置は、被写体光の第１の色成分を画素内の複数の光電変換部でそれぞれ受光して第１の色成分に対応する複数の光電変換信号をそれぞれ出力する複数の第１画素と、被写体光の第２の色成分を画素内の複数の光電変換部でそれぞれ受光して第２の色成分に対応する複数の光電変換信号をそれぞれ出力する複数の第２画素と、を有する撮像素子と、第１画素による複数の光電変換信号を第１画素ごとに加算するとともに、第２画素による複数の光電変換信号を第２画素ごとに加算する加算部と、加算部による加算後の第１の色成分の信号および第２の色成分の信号で構成される対象画像に対し、各画素位置において不足する色成分の信号を周辺の画素位置における信号を用いて補間する補間処理部と、加算部による加算前の複数の光電変換信号に基づいて画像構造の方向を検出し、対象画像の各画素位置において不足する色成分の信号を検出した方向の周辺の画素位置の信号を用いて補間するように、補間処理部を制御する制御部と、を備える。

本発明によれば、１画素に複数の光電変換部を有する場合において適切に補間できる。

本発明の一実施の形態によるデジタルカメラを例示するブロック図である。撮像素子に設けられた通常画素を説明する図である。図３(a)は通常画素から出力された光電変換信号の並びを例示する図、図３(b)はＧ色成分の信号の補間を説明する図、図３(c)は補間後のＧ色成分の信号を例示する図である。図４(a)は図３(a)からＲ色成分の信号を抽出した図、図４(b)は色差成分Ｃｒの補間を説明する図、図４(c)は色差成分Ｃｒの信号の補間を説明する図である。図５(a)は図３(a)からＢ色成分の信号を抽出した図、図５(b)は色差成分Ｃｂの補間を説明する図、図５(c)は色差成分Ｃｂの信号の補間を説明する図である。撮像素子に設けられた焦点検出用画素を説明する図である。焦点検出用画素から出力された光電変換信号に基づく画像用の信号を説明する図である。方向判定を説明する図である。補間対象とする注目画素および周辺画素の位置を示す図である。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラ１を例示するブロック図である。デジタルカメラ１には、撮像光学系として撮影レンズ２が装着される。撮影レンズ２は、マイクロプロセッサ９から指示を受けたレンズ制御部２ａによって、フォーカシングレンズや絞りが駆動制御される。撮影レンズ２は、撮像素子３の撮像面に被写体像を結像させる。

撮像素子３は、マイクロプロセッサ９から指示を受けた撮像制御部４からの駆動信号に基づいて、被写体像を光電変換する。撮像素子３から出力される光電変換信号は、信号処理部５、およびＡ／Ｄ変換部６を介して処理された後、メモリ７に一旦蓄積される。なお、信号処理部５やＡ／Ｄ変換部６を撮像素子３に含める構成にしてもよい。バス８には、レンズ制御部２ａ、撮像制御部４、メモリ７、マイクロプロセッサ９、焦点演算部（検出処理部）１０、記録部１１、画像圧縮部１２および画像処理部１３などが接続される。

マイクロプロセッサ９には、レリーズボタンなどを含む操作部９ａから操作信号が入力される。マイクロプロセッサ９は、操作部９ａからの操作信号に基づいて各ブロックへ指示を送り、デジタルカメラ１の撮影動作を制御する。焦点演算部１０は、撮像素子３から出力された光電変換信号であって焦点検出用の信号を用いて公知の位相差検出演算を行うことにより、撮像レンズ２による焦点調節状態（具体的にはデフォーカス量）を検出する。焦点検出用の信号は、後述する焦点検出用画素３２（図４）から出力された光電変換信号である。マイクロプロセッサ９は、デフォーカス量に応じてレンズ制御部２ａへフォーカシングレンズの駆動を指示する。

画像処理部１３は、撮像素子３から出力された光電変換信号であって画像用の信号に対して後述する補間処理を含む所定の画像処理を行う。本実施形態では、後述する通常画素３１（図２）の光電変換部から出力された光電変換信号と、焦点検出用画素３２（図４）から出力された光電変換信号であって同じ画素内の複数の光電変換部から出力された信号を加算した光電変換信号と、を画像用の信号とする。

画像圧縮部１２は、画像処理後の画像データを所定形式でデータ圧縮する。記録部１１は、圧縮後の画像データを所定のファイル形式で記録媒体１１ａに記録する。記録媒体１１ａは、記録部１１に対して着脱自在のメモリカードなどで構成される。

＜通常画素＞
図２は、撮像素子３に設けられた通常画素３１を説明する図である。図２において、通常画素３１が行方向（水平）および列方向（垂直）に二次元正方格子状に配列されている。１つの通常画素３１は、１つのマイクロレンズ（不図示）の下に設けられた１つの光電変換部（フォトダイオード：ＰＤ）によって構成される。各画素位置には、ベイヤー配列の規則にしたがって色フィルタ（Ｒ：赤色フィルタ、Ｇ：緑色フィルタ、Ｂ：青色フィルタ）が配置される。

各画素位置において、配置された色フィルタの色成分と異なる色成分の信号が不足するので、画像処理部１３は、周辺の画素位置における信号を用いて不足する色成分の信号を生成する色フィルタ配列補間（デモザイク）を行う。具体的には、Ｇ色成分の画素の位置の場合、Ｒ色成分の信号およびＢ色成分の信号が存在しないので、Ｇ色成分の画素周辺の画素位置におけるＲ色成分の信号を用いてＲ色成分の信号を生成し、Ｇ色成分の画素周辺の画素位置におけるＢ色成分の信号を用いてＢ色成分の信号を生成する。

同様に、Ｒ色成分の画素位置の場合は、Ｇ色成分の信号およびＢ色成分の信号が存在しないので、Ｒ色成分の画素周辺の画素位置におけるＧ色成分の信号を用いてＧ色成分の信号を生成し、Ｒ色成分の画素周辺の画素位置におけるＢ色成分の信号を用いてＢ色成分の信号を生成する。

さらに、Ｂ色成分の画素位置の場合は、Ｇ色成分の信号およびＲ色成分の信号が存在しないので、Ｂ色成分の画素周辺の画素位置におけるＧ色成分の信号を用いてＧ色成分の信号を生成し、Ｂ色成分の画素周辺の画素位置におけるＲ色成分の信号を用いてＲ色成分の信号を生成する。このような通常画素３１の場合の補間処理は公知であるが、以下に一例を説明する。

＜Ｇ色補間＞
図３(a)は、通常画素３１から出力された光電変換信号の並びを例示する図である。各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有する。Ｇ色補間を行う画像処理部１３は、Ｒ色成分およびＢ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＧ色成分の光電変換信号を用いて注目位置におけるＧ色成分の信号を補間処理によって生成する。例えば、図３(b)の太枠で示す注目位置においてＧ色成分の信号を補間する場合、注目位置の近傍に位置する４つのＧ色成分の光電変換信号を用いる。画像処理部１３は、例えば（ａＧ１＋ｂＧ２＋ｃＧ３＋ｄＧ４）／４を、注目位置におけるＧ色成分の信号とする。なお、ａ〜ｄは近傍の位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

画像処理部１３は、Ｂ色成分の位置およびＲ色成分の位置においてそれぞれＧ色成分の信号を補間する処理を行うことで、図３(c)に示すように、通常画素３１の各位置においてＧ色成分の信号を得ることができる。

＜Ｒ色補間＞
図４(a)は、図３(a)からＲ色成分の信号を抽出した図である。Ｒ色補間を行う画像処理部１３は、図３(a)におけるＢ色成分およびＧ色成分の位置を順番に注目位置として、注目位置の周囲に位置する４つのＲ色成分の光電変換信号を用いて注目位置におけるＲ色成分の信号を補間処理によって生成する。画像処理部１３は、図３(c)に示すＧ色成分の信号と図４(a)に示すＲ色成分の信号とに基づいて図４(b)に示す色差成分Ｃｒの信号を算出する。

画像処理部１３はさらに、図４(b)の太枠で示す注目位置において色差成分Ｃｒの信号を補間する場合、注目位置の近傍に位置する４つの色差成分Ｃｒの信号を用いる。画像処理部１３は、例えば（ｅＣｒ１＋ｆＣｒ２＋ｇＣｒ３＋ｈＣｒ４）／４を、注目位置における色差成分Ｃｒの信号とする。なお、ｅ〜ｈは近傍の位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

同様に、画像処理部１３は図４(c)の太枠で示す注目位置において色差成分Ｃｒの信号を補間する場合、注目位置の近傍に位置する４つの色差成分Ｃｒの信号を用いる。画像処理部１３は、例えば（ｑＣｒ２＋ｒＣｒ４＋ｓＣｒ５＋ｔＣｒ６）／４を、注目位置における色差成分Ｃｒの信号とする。なお、ｑ〜ｔは近傍の位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

画像処理部１３は、通常画素３１の各位置において色差成分Ｃｒの信号を得たのち、各画素位置に対応させて図３(c)に示すＧ色成分の信号を加算することにより、通常画素３１の各位置においてＲ色成分の信号を得ることができる。

＜Ｂ色補間＞
図５(a)は、図３(a)からＢ色成分の信号を抽出した図である。Ｂ色補間を行う画像処理部１３は、図３(a)におけるＲ色成分およびＧ色成分の位置を注目位置として、注目位置の周囲に位置する４つのＢ色成分の光電変換信号を用いて注目位置におけるＢ色成分の信号を補間処理によって生成する。画像処理部１３は、図３(c)に示すＧ色成分の信号と図５(a)に示すＢ色成分の信号とに基づいて図５(b)に示す色差成分Ｃｂの信号を算出する。

画像処理部１３はさらに、図５(b)の太枠で示す注目位置において色差成分Ｃｂの信号を補間する場合、注目位置の近傍に位置する４つの色差成分Ｃｂの信号を用いる。画像処理部１３は、例えば（ｕＣｂ１＋ｖＣｂ２＋ｗＣｂ３＋ｘＣｂ４）／４を、注目位置における色差成分Ｃｂの信号とする。なお、ｕ〜ｘは近傍の位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

同様に、画像処理部１３は図５(c)の太枠で示す注目位置において色差成分Ｃｂの信号を補間する場合、注目位置の近傍に位置する４つの色差成分Ｃｂの信号を用いる。画像処理部１３は、例えば（ｙＣｂ２＋ｚＣｂ４＋αＣｂ５＋βＣｂ６）／４を、注目位置における色差成分Ｃｂの信号とする。なお、ｙ、ｚ、α、βは近傍の位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

画像処理部１３は、通常画素３１の各位置において色差成分Ｃｂの信号を得たのち、各画素位置に対応させて図３(c)に示すＧ色成分の信号を加算することにより、通常画素３１の各位置においてＢ色成分の信号を得ることができる。

＜焦点検出用画素＞
図６は、撮像素子３に設けられた焦点検出用画素３２を説明する図である。撮像素子３の撮像面のうち、焦点演算部１０が焦点調節状態の検出に用いるＡＦエリアに対応する位置には、通常画素３１の代わりに焦点検出用画素３２が配置される。図６において、焦点検出用画素３２は、１つのマイクロレンズ（不図示）の下に設けられた２つの光電変換部（フォトダイオード：ＰＤ）によって構成される。１画素当たり２つの光電変換部を有する２ＰＤ構成の場合、２つの光電変換部が水平方向に並ぶ場合（水平分割と呼ぶ）と、２つの光電変換部が垂直方向に並ぶ場合（垂直分割と呼ぶ）とが存在する。図６は、水平分割の場合を例示した図である。垂直分割の場合は、行方向および列方向を入れ替えて考えればよい。

焦点検出用画素３２における２つの光電変換部には、それぞれ撮影レンズ２の異なる領域を介して入射された光が入射される。すなわち、焦点演算部１０が位相差検出演算に用いる一対の被写体光束が入射される。

上述したように、本実施形態では通常画素３１の光電変換部から出力された光電変換信号と、焦点検出用画素３２から出力された光電変換信号であって同じ画素における複数の光電変換部から出力された信号を加算した光電変換信号とを、画像用の信号として扱う。このため、焦点検出用画素３２と通常画素３１とに同じ強さの光が入射された場合において、焦点検出用画素３２における２つの光電変換部から出力された光電変換信号の和が通常画素３１から出力された光電変換信号と同等レベルになるように、焦点検出用画素３２に設けられる２つの光電変換部のサイズと、通常画素３１に設けられる１つの光電変換部のサイズとが最適化されている。

図７は、焦点検出用画素３２の２つの光電変換部から出力された光電変換信号に基づく画像用の信号を説明する図である。１つの画素位置における２つの光電変換部が同色の色フィルタを通して受光するので、２つの光電変換信号を加算して当該画素を代表する画像用信号を生成する。焦点検出用画素３２にも、通常画素３１の場合と同様にベイヤー配列の規則にしたがって色フィルタが配置される。このため、画像処理部１３は図７のような加算後の光電変換信号に対し、各画素位置において不足する色成分の信号を周辺の画素位置における信号を用いて生成する色フィルタ配列補間を行う。

すなわち、補間処理の手順は、
１．加算前の光電変換信号に基づく方向判定
２．加算後の光電変換信号に基づく補間
の順に行う。

＜方向判定＞
図８は、方向判定を説明する図であり、図６の焦点検出用画素３２から出力された光電変換信号の並びの一部を拡大した図である。図８において、補間対象とする画素位置における２つの光電変換部に対応する位置（以下注目位置と呼ぶ）(i,j)および(i+1,j)を、それぞれ斜線および横線で示す。画像処理部１３は、注目位置(i,j)および(i+1,j)のそれぞれにおいて、不足する色成分（例えばＧ成分）に関して画像構造の方向判定を行う。画像処理部１３は、注目位置(i,j)および(i+1,j)の周囲の６つの位置(i-1,j)、(i+2,j)、(i,j-1)、(i,j+1)、(i+1,j-1)、および(i+1,j+1)の光電変換信号を用いて次式（１）〜（８）により方向判定を行う。なお、図８では上記６つの位置を丸印で示す。

ただし、閾値th_1およびth_2 は所定値であり、ノイズによる光電変換信号の揺らぎ幅の数倍程度に設定する。

画像処理部１３は、上式（１）が成立する場合は、注目位置(i,j)におけるＧ色成分に関して画像構造は横（行）方向と判定する。

画像処理部１３は、上式（２）が成立する場合は、注目位置(i+1,j)におけるＧ色成分に関して画像構造は横（行）方向と判定する。

画像処理部１３は、上式（３）が成立する場合は、注目位置(i,j)におけるＧ色成分に関して画像構造は縦（列）方向と判定する。

画像処理部１３は、上式（４）が成立する場合は、注目位置(i+1,j)におけるＧ色成分に関して画像構造は縦（列）方向と判定する。

画像処理部１３は、上式（５）が成立する場合は、注目位置(i,j)におけるＧ色成分に関して画像構造の角がある（エッジの角がある）と判定する。

画像処理部１３は、上式（６）が成立する場合は、注目位置(i,j)におけるＧ色成分に関して画像構造がない（エッジ上にない）と判定する。

画像処理部１３は、上式（７）が成立する場合は、注目位置(i+1,j)におけるＧ色成分に関して画像構造の角がある（エッジの角がある）と判定する。

画像処理部１３は、上式（８）が成立する場合は、注目位置(i+1,j)におけるＧ色成分に関して画像構造がない（エッジ上にない）と判定する。

＜２つの注目位置において判定結果が同じ場合＞
画像処理部１３は、注目位置(i,j)における判定結果と、注目位置(i+1,j)における判定結果とが同じ場合、当該判定結果を、補間対象とする画素位置における画像構造を示す情報として採用する。

＜２つの注目位置において判定結果が異なる場合＞
（Ａ）画像処理部１３は、注目位置(i,j)における判定結果と、注目位置(i+1,j)における判定結果とが異なる場合、方向性を強く示す方を採用する。具体的には、一方の注目位置で横（行）方向または縦（列）方向と判定し、他方の注目位置で画像構造の角がある、または画像構造がないと判定した場合は、横（行）方向または縦（列）方向と判定した判定結果を、補間対象とする画素位置における画像構造を示す情報として採用する。

（Ｂ）画像処理部１３は、一方の注目位置で横（行）方向と判定し、他方の注目位置で縦（列）方向と判定した場合、方向性を強く示す方を採用する。具体的には、上式（１）〜（４）において差の絶対値がより大きい判定結果を、補間対象とする画素位置における画像構造を示す情報として採用する。例えば式の前段における差の絶対値の方が後段における差の絶対値より大きい場合は縦（列）方向と判定し、式の後段における差の絶対値の方が前段における差の絶対値より大きい場合は横（行）方向と判定する。

＜加算＞
画像処理部１３は、図９に示すように、焦点検出用画素３２の各画素位置において２つの光電変換部による光電変換信号を加算する。図９は、補間対象とする注目画素(I,J)と、注目画素(I,J)の周辺画素の位置を示す図であり、図７の一部を拡大した図に相当する。図９において、図８における注目位置(i,j)および(i+1,j)に対応する画素を、改めて注目画素(I,J)とする。すなわち、注目画素(I,J)における加算後の光電変換信号は、R(I,J)＝R(i,j)＋R(i+1,j)である。
なお、撮像素子３において加算機能を備える場合には、加算後の光電変換信号を撮像素子３から出力させてもよい。

＜Ｇ色補間＞
図９において、画像処理部１３は、注目画素(I,J)について不足する色成分を補間する。Ｇ成分の補間は、図３(b)を参照して説明した通常画素３１の場合の算出式に代えて、注目画素(I,J)および注目画素の周囲の４つの画素位置(I-1,J)、(I,J-1)、(I,J+1)、および(I+1,J)の光電変換信号を用いて次式（９）により行う。なお、図９では上記４つの位置を丸印で示す。

ただし、mは縦（列）方向の重み係数であり、nは横（行）方向の重み係数である。

画像処理部１３は、上記方向判定において横（行）方向を判定した場合は、式（９）の重み係数mを小さくして重み係数nを大きくする。

画像処理部１３は、上記方向判定において縦（列）方向と判定した場合は、式（９）の重み係数nを小さくして重み係数mを大きくする。

画像処理部１３は、上記方向判定において画像構造の角がある、または画像構造がないと判定した場合は、それぞれ式（９）の重み係数m=nとする。以上の補間処理により、焦点検出用画素３２の各位置においてＧ色成分の信号を得ることができる。

＜Ｒ色、Ｂ色補間＞
Ｒ色補間およびＢ色補間は、上述した焦点検出用画素３２の各位置におけるＧ色成分の信号を用いて、通常画素３１の場合と同様に行う。重み係数の決定の際に、上記方向判定の結果を用いることができる。例えば、画像構造の判定方向が横（行）方向の場合は図４、図５における注目位置の左右の信号に対する重み係数を大きくし、注目位置の上下の信号に対する重み係数を小さくする。また、画像構造の判定方向が縦（列）方向の場合は図４、図５における注目位置の上下の信号に対する重み係数を大きくし、注目位置の左右の信号に対する重み係数を小さくする。

上述した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、被写体光の第１の色成分（Ｇ）を画素内の複数の光電変換部でそれぞれ受光して第１の色成分に対応する複数の光電変換信号をそれぞれ出力する複数の第１画素と、被写体光の第２の色成分（Ｂ，Ｒ）を画素内の複数の光電変換部でそれぞれ受光して第２の色成分に対応する複数の光電変換信号をそれぞれ出力する複数の第２画素と、を有する撮像素子３と、第１画素による複数の光電変換信号を第１画素ごとに加算するとともに、第２画素による複数の光電変換信号を第２画素ごとに加算する画像処理部１３と、画像処理部１３による加算後の第１の色成分の信号および第２の色成分の信号で構成される対象画像に対し、各画素位置において不足する色成分の信号を周辺の画素位置における信号を用いて補間する画像処理部１３と、画像処理部１３による加算前の複数の光電変換信号に基づいて画像構造の方向を検出し、対象画像の各画素位置において不足する色成分の信号を検出した方向の周辺の画素位置の信号を用いて補間するように、画像処理部１３を制御するマイクロプロセッサ９と、を備える。画素内に複数の光電変換部を有することで、画素内の１つの光電変換部で受光する場合に比べて画像構造の方向を精細に判定できるから、画像構造を維持して適切な補間を行うことができる。

（２）画像処理部１３は、補間対象画素の周辺の画素位置のうち検出した方向に沿った画素位置の信号を用いて補間対象画素における加算後の信号を補間するので、精細に判定した方向に沿った周辺の画素位置の信号を用いて適切に補間できる。

（３）第１画素はそれぞれ、第１の色成分の光を２つの光電変換部でそれぞれ受光して２つの光電変換信号を出力し、第２画素はそれぞれ、第２の色成分の光を２つの光電変換部でそれぞれ受光して２つの光電変換信号を出力するので、いわゆる２ＰＤ構造において、画像構造を維持して適切な補間を行うことができる。

（４）マイクロプロセッサ９は、対象とする画素位置において検出した方向が２つの場合に、２つのうち強く検出した方向を採用するように画像処理部１３を制御するので、画像構造に応じた適切な補間を行うことができる。

（５）第１画素および第２画素は焦点検出用画素３２であり、画素内の複数の光電変換部は、それぞれ撮影レンズ２の異なる領域を通過した光束を受光して複数の光電変換信号を出力するようにした。これにより、焦点検出用画素３２における画素内の光電変換信号を加算して画像用信号を得る場合において、画像構造を維持して適切な補間を行うことができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
上述した実施形態では、方向判定において２つの注目位置で判定結果が異なる場合（上記（Ｂ））の場合に、方向性を強く示す方を代表として採用する例を説明したが、判定された２つの方向を合成した方向を採用してもよい。合成の結果、横（行）方向に対して斜め４５度、または横（行）方向に対して斜め１３５度の場合には、画像処理部１３は、以下のように補間算出に反映させる。

例えば、図４、図５を参照して説明したＲ色補間およびＢ色補間において重み係数を決定する際に、上記斜め４５度または斜め１３５度の判定結果を用いることができる。画像処理部１３は、画像構造の判定方向が斜め４５度の場合は図４(b)、図５(b)における注目位置の左下と右上の信号に対する重み係数を大きくし、注目位置の左上と右下の信号に対する重み係数を小さくする。また、画像構造の判定方向が斜め１３５度の場合は図４(b)、図５(b)における注目位置の左上と右下の信号に対する重み係数を大きくし、注目位置の左下と右上の信号に対する重み係数を小さくする。

変形例１によれば、判定された２つの方向をそれぞれ活かして補間処理を行うことができる。

（変形例２）
上記実施形態では、焦点検出用画素３２の２つの光電変換部による加算前の光電変換信号に基づいて画像構造の方向を判定し、判定した方向に応じて、加算後の光電変換信号に対して補間処理を行う例を説明した。これに対し、判定した画像構造の方向に応じて、加算前の光電変換信号に対して補間処理を行うようにしてもよい。

＜Ｇ色補間＞
変形例２による画像処理部１３は、図８の注目位置(i,j)および(i+1,j)のそれぞれにおいて、不足する色成分を補間する。Ｇ成分の補間は、注目位置(i,j)および(i+1,j)の周囲の６つの位置(i-1,j)、(i+2,j)、(i,j-1)、(i,j+1)、(i+1,j-1)、および(i+1,j+1)の光電変換信号を用いて次式（１０）および（１１）により行う。

ただし、mおよびoは縦（列）方向の重み係数であり、nおよびｐは横（行）方向の重み係数である。

画像処理部１３は、上式（１）が成立する場合は、注目位置(i,j)におけるＧ色成分に関して画像構造は横（行）方向と判定し、式（１０）の重み係数mを小さくして重み係数nを大きくする。

画像処理部１３は、上式（２）が成立する場合は、注目位置(i+1,j)におけるＧ色成分に関して画像構造は横（行）方向と判定し、式（１１）の重み係数oを小さくして重み係数pを大きくする。

画像処理部１３は、上式（３）が成立する場合は、注目位置(i,j)におけるＧ色成分に関して画像構造は縦（列）方向と判定し、式（１０）の重み係数mを大きくして重み係数nを小さくする。

画像処理部１３は、上式（４）が成立する場合は、注目位置(i+1,j)におけるＧ色成分に関して画像構造は縦（列）方向と判定し、式（１１）の重み係数oを大きくして重み係数pを小さくする。

画像処理部１３は、上式（５）が成立する場合は、注目位置(i,j)におけるＧ色成分に関して画像構造の角がある（エッジの角がある）と判定し、式（１０）の重み係数m=nとする。

画像処理部１３は、上式（６）が成立する場合は、注目位置(i,j)におけるＧ色成分に関して画像構造がない（エッジ上にない）と判定し、式（１０）の重み係数m=nとする。

画像処理部１３は、上式（７）が成立する場合は、注目位置(i+1,j)におけるＧ色成分に関して画像構造の角がある（エッジの角がある）と判定し、式（１０）の重み係数o=pとする。

画像処理部１３は、上式（８）が成立する場合は、注目位置(i+1,j)におけるＧ色成分に関して画像構造がない（エッジ上にない）と判定し、式（１１）の重み係数o=pとする。以上の補間処理により、焦点検出用画素３２の２つの光電変換部による加算前の光電変換信号の各位置においてＧ色成分の信号を得ることができる。

＜Ｒ色、Ｂ色補間＞
Ｒ色補間およびＢ色補間は、上述したＧ色成分の信号を用いて行う。重み係数の決定の際に、上記方向判定の結果を用いることができる。例えば、画像構造の判定方向が横（行）方向の場合は図８の注目位置の左右の信号に対する重み係数を大きくし、注目位置の上下の信号に対する重み係数を小さくする。また、画像構造の判定方向が縦（列）方向の場合は図８における注目位置の上下の信号に対する重み係数を大きくし、注目位置の左右の信号に対する重み係数を小さくする。

以上の補間処理により、焦点検出用画素３２の２つの光電変換部による加算前の光電変換信号の各位置において、Ｒ色およびＢ色成分の信号を得ることができる。変形例２によれば、焦点検出用画素３２の２つの光電変換部の位置にそれぞれ対応させた補間画像を得ることができる。

（変形例３）
焦点検出用画素３２の例として、１画素当たり２つの光電変換部を有する２ＰＤ構成を例に説明したが、複数の光電変換部の数は２つに限らず、４ＰＤでも１６ＰＤでも構わない。

（変形例４）
撮像素子３の例として、ＡＦエリアに対応する位置にのみ焦点検出用画素３２が配置される例を説明したが、撮像面の全域に焦点検出用画素３２が配置されるように構成してもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…デジタルカメラ
２…撮影レンズ
３…撮像素子
９…マイクロプロセッサ
１３…画像処理部
３１…通常画素
３２…焦点検出用画素

Claims

被写体光の第１の色成分を画素内の複数の光電変換部でそれぞれ受光して前記第１の色成分に対応する複数の光電変換信号をそれぞれ出力する複数の第１画素と、前記被写体光の第２の色成分を画素内の複数の光電変換部でそれぞれ受光して前記第２の色成分に対応する複数の光電変換信号をそれぞれ出力する複数の第２画素と、を有する撮像素子と、
前記第１画素による前記複数の光電変換信号を前記第１画素ごとに加算するとともに、前記第２画素による前記複数の光電変換信号を前記第２画素ごとに加算する加算部と、
前記加算部による加算後の前記第１の色成分の信号および前記第２の色成分の信号で構成される対象画像に対し、各画素位置において不足する色成分の信号を周辺の画素位置における信号を用いて補間する補間処理部と、
前記加算部による加算前の前記複数の光電変換信号に基づいて画像構造の方向を検出し、前記対象画像の各画素位置において不足する色成分の信号を前記検出した方向の前記周辺の画素位置の信号を用いて補間するように、前記補間処理部を制御する制御部と、
を備えることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記補間処理部は、補間対象画素の周辺の画素位置のうち前記検出した方向に沿った画素位置の信号を用いて、前記補間対象画素における前記加算後の信号を補間することを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、
前記第１画素はそれぞれ、前記第１の色成分の光を２つの光電変換部でそれぞれ受光して２つの前記光電変換信号を出力し、
前記第２画素はそれぞれ、前記第２の色成分の光を２つの光電変換部でそれぞれ受光して２つの前記光電変換信号を出力する、
ことを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記制御部は、対象とする画素位置において前記検出した方向が２つの場合に、前記２つのうち強く検出した方向を採用するように前記補間処理部を制御する、
ことを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記制御部は、対象とする画素位置において前記検出した方向が２つの場合に、前記２つの方向を合成した方向を採用するように前記補間処理部を制御する、
ことを特徴とする撮像装置。
請求項１〜５のいずれか一項に記載の撮像装置において、
前記第１画素および前記第２画素は焦点検出用画素であり、
前記第１画素および前記第２画素内の複数の光電変換部は、それぞれ撮影レンズの異なる領域を通過した光束を受光して複数の光電変換信号を出力する、
ことを特徴とする撮像装置。