JP2015060004A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 焦点調節精度を維持しつつ、撮像時の感度の低下を抑えること。さらに、焦点検出用画素からの画素信号補正後の画像の質を改善すること。【解決手段】 第１の色、第２の色及び第３の色の３種類の色の感度を有する画素のベイヤー配列を単位ユニットとして二次元状に複数配列され、各々が光学系により結像される被写体像を光電変換する光電変換部を有する複数の画素を備える撮像装置であって、前記複数の画素は、前記被写体像を示す画像信号を形成するための撮像用信号を出力する複数の撮像用画素と、前記光学系の焦点調節状態を検出するための焦点検出用信号を出力する複数の焦点検出用画素と、を含み、前記複数の撮像用画素は、第１の色に感度を有する画素であり、前記複数の焦点検出用画素は、第２及び第３の色に感度を有する画素である。【選択図】 図１

Description

本発明は、撮像装置及びその制御方法に関し、撮像素子から出力される画素信号を用いて瞳分割方式の焦点検出をすることが可能な撮像装置及びその制御方法に関する。

特許文献１は、撮像素子のＲ、Ｇ、Ｂの色フィルタのうち、一部のＧ色の色フィルタの位置に瞳分割された焦点検出用画素（以下「焦点検出用画素」という。）が配置された撮像装置を開示している。この焦点検出用画素から得られた情報に基づいて焦点検出が行われる。焦点検出用画素からは焦点検出用の画素信号が得られるが、撮像画像用の画素信号は得られない。そのため、撮像画像用の画素信号が得られる撮像用画素の画素信号に基づいて補正する必要がある。

特許文献２では、すべての画素を色フィルタにより覆われた焦点検出用画素により構成し、焦点検出時には各画素から得られた画素信号をそのまま利用し、画像取得時には得られた画素信号を色補間して、画像信号を生成することが提案されている。

特開２０００−１５６８２３号公報 特開２００７−１５８５９７号公報

しかしながら、特許文献２に記載された構成では、全ての画素の感度が原理的に約半分になってしまう。また、特許文献２においては画像信号を生成する処理において、被写体の状態や得られた画像の状態に関わり無く、偏りが対称な同色画素からの出力を参照して一律に色補間を実施する。そのため、空間周波数が高い領域や、エッジ領域において色のにじみが起き、画質が劣化してしまうことがあった。

本発明は上記問題点を鑑みてなされたものであり、焦点調節精度を維持しつつ、撮像時の感度の低下を抑えることを目的とする。さらに、焦点検出用画素からの画素信号補正後の画像の質を改善することを目的とする。

上記目的を達成するために、本発明の撮像装置は、第１の色、第２の色及び第３の色の３種類の色の感度を有する画素のベイヤー配列を単位ユニットとして二次元状に複数配列され、各々が光学系により結像される被写体像を光電変換する光電変換部を有する複数の画素を備える撮像装置であって、前記複数の画素は、前記被写体像を示す画像信号を形成するための撮像用信号を出力する複数の撮像用画素と、前記光学系の焦点調節状態を検出するための焦点検出用信号を出力する複数の焦点検出用画素と、を含み、前記複数の撮像用画素は、第１の色に感度を有する画素であり、前記複数の焦点検出用画素は、第２及び第３の色に感度を有する画素である。

本発明によれば、焦点調節精度を維持しつつ、撮像時の感度の低下を抑えることができる。さらに、焦点検出用画素からの画素信号補正後の画像の質を改善することができる。

本発明の実施形態にかかる撮像装置の概略構成を示すブロック図。 第１及び第２の実施形態における撮像素子の画素配列を示す図。 第１及び第２の実施形態における撮像処理を示すフローチャート。 第３の実施形態における撮像素子の画素配列を示す図。

以下、添付図面を参照して本発明を実施するための好適な形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の好適な実施の形態に係るデジタルスチルカメラ等の撮像装置の概略構成を示すブロック図である。撮像装置１において、撮像素子１０は光学系である撮影レンズユニット５の予定結像面に配置されている。撮像装置１は、撮像素子１０を駆動制御する撮像素子制御回路２１、撮像素子１０で撮像した画像信号を記録するメモリ回路２２を備える。また、撮像素子１０で撮像した画像信号に、焦点調節処理及び、現像処理、高輝度領域及び低輝度領域における色抑圧、γ補正等の色調補正、ホワイトバランス等の画像用処理を行う画像信号処理回路２４を備える。画像信号処理回路２４で画像処理された画像はインターフェース回路２３を介して撮像装置１の外部に出力することができる。

更に、撮像装置１は、撮像された画像を表示するための表示素子９とそれを駆動する表示素子駆動回路２５、表示素子９に表示された被写体像を観察するための接眼レンズ３、撮影者が撮影された画像を記録するための操作スイッチＳＷ１、ＳＷ２を備える。撮像装置１の各構成は、ＣＰＵ２０により制御される。

撮影レンズユニット５は、撮像装置１に取り付けられる交換レンズである。図１では、図の簡略化のために撮影レンズユニット５が２枚のレンズ５ａ、５ｂを有するものとして示されているが、本発明はこれに限定されるものではなく、３枚以上のレンズで構成されてもよい。撮影レンズユニット５は、ＣＰＵ２０から送られてくるレンズ駆動量に基づいて、撮影レンズ駆動機構２８によってレンズが駆動されて、合焦状態に調節される。ＣＰＵ２０と撮像素子１０は、焦点検出装置を兼ねている。また、絞り装置３０は、絞り駆動機構２７によって所定の絞り値に絞り込まれるよう構成されている。撮影レンズメモリ回路３１は、撮影レンズユニット５に固有な情報を記録している。撮影レンズ駆動機構２８、絞り駆動機構２７及び撮影レンズメモリ回路３１は、撮像装置１の取り付け部に設けられた通信端子を通して、撮像装置１のＣＰＵ２０と通信可能となっている。

なお、上述の説明では、撮像装置１は表示素子９、表示素子駆動回路２５、接眼レンズ３を備える構成とした。しかしながら、これに限らず、各種情報や撮影画像を表示するための表示部（モニター等）を備える構成であってもよい。

図２は、第１の実施形態に係る撮像素子１０に含まれる複数の画素の一部における色フィルタの配色及び開口の状態を示す図であり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなるベイヤー配列のフィルタが配されている。各画素は、撮像素子の光電変換部で受光する光束が通過する開口部を有する。図２に示すベイヤー配列では、２×２からなる４つの画素を１つの単位ユニットとして、Ｒ、Ｇ１、G２、Ｂのフィルタが繰り返し、二次元状に複数配列されている。なお、G１とＧ２はどちらも緑（Ｇ）のフィルタであるが、各ユニット内で位置による区別をするためにＧ１、Ｇ２と表している。

Ｇ１、Ｇ２画素の開口部には、主に緑色（第１の色）の周波数帯域の光を通過させる色フィルタが位置されている。また、Ｒ画素の開口部には、主に赤色（第２の色）の周波数帯域の光を通過させる色フィルタが、Ｂ画素の開口部には、主に青色（第３の色）の周波数帯域の光を通過させる色フィルタが配置されている。各開口部の下には光電変換部が構成され、各開口部の上面には後述するマイクロレンズが配置されている。１つの光電変換部と、その上に配置される色フィルタと、さらにその上に配置されるマイクロレンズにより１つの画素が構成されている。なお、Ｂ画素とＲ画素（焦点検出用画素）においては色フィルタの上または下に入射光束を偏心させる遮光層を備えることにより、焦点調節状態を示す位相差が検出できるように瞳分割された信号（焦点検出用信号）が生成される。また、Ｇ１、Ｇ２画素（撮像用画素）においては、遮光層を備えること無く、画素全体において受光して得られた信号（被写体像を示す画像信号を形成するための撮像用信号）を出力する。

図２においては、上述した４つの画素からなるユニットのｘ方向及びy方向の位置をx,yで表す。そして、各ユニットx,yのＧ画素をG1x,y及びG2x,y、Ｒ画素をR’x,y、Ｂ画素をB’x,yと表す。ｘがm-1からm+2の範囲、ｙがn-1からn+1の範囲を示している。Ｒ画素をR’x,y、Ｂ画素をB’x,yと表したのは、Ｒ画素とＢ画素の開口が偏心しているために、得られた信号をそのまま画像信号Rx,y、Bx,yとして用いることができない為で、区別する目的で’を付けている。後述する画像処理方法で補間補正された後、画像信号として用いる形態になったときに、’をとったRx,y、Bx,yと表現する。

図３のフローチャートを参照して、上記構成を有する撮像装置１の動作を説明する。不図示の電源スイッチにより電源が投入されると（Ｓ１）、ＣＰＵ２０は撮像装置１全体の初期化を行い、撮像装置１の動作モードを設定する（Ｓ２）。ここで動作モードとは、例えば、絞り優先モードによる撮影、シャッタ優先モード、シングルＡＦやコンティニュアスＡＦ等の撮像モードを含む。また、露光量（絞りと蓄積時間）の調整を行って撮像素子１０から画像信号を取り込み、ファインダ用表示素子９（もしくは、モニター）などの表示部に表示するため処理を行い、表示部に適正露光量の画像が表示されるようにしている。

上記処理が終了すると、レリーズボタンの第一ストロークによりＯＮになるＳＷ１の入力を待つ（Ｓ３）。ＳＷ１がＯＮになると（Ｓ３でＹＥＳ）、ＣＰＵ２０は、撮像の為の準備動作（動作モードに応じた適正露光量の測定・演算、合焦評価値の演算）を開始する。まず、適正露光量を従来の手法により求めるとともに、撮像面の照度を計ることよって焦点調節制御に最適な光量（蓄積時間）を設定し（Ｓ４）、その蓄積時間で露光した焦点調節用のＲ画素とＢ画素の画素信号を撮像素子１０から読み込む（Ｓ５）。

次に、読み込んだＲ画素とＢ画素の画素信号のシフト演算を行う。まず、読み込んだＲ画素の画素信号のうち、図２で左にオフセットした画素の集合（R'm,n-1 , R'm,n , R'm,n+1…）をＲのＡ像とする。また、図２で右にオフセットした画素の集合（R'm-1,n-1 , R'm-1,n , R'm-1,n+1…）をＲのＢ像とする。同様に、読み込んだＢ画素の画像信号のうち、図２で左にオフセットした画素の集合（B'm,n-1 , B'm,n , B'm,n+1…）をＢのＡ像とする。また、図上で右にオフセットした画素の集合（B'm-1,n-1 , B'm-1,n , B'm-1,n+1…）をＢのＢ像とする。なお、読み出す範囲は、予め決められた焦点調節領域内だけであっても良いし、また、撮像素子１０全体から読み出し、複数の領域に分割し、分割した領域毎にＡ像、Ｂ像を生成しても良い。

そして、Ｒ、ＢそれぞれのＡ像とＢ像の相対的な関係を１画素分シフトし（Ｓ６）、ずらしたＡ像とＢ像の差を演算し、記憶する（Ｓ７）。この誤差量（差）が最少になるところ（Ｓ８でＹＥＳ）が合焦予測位置となる。このときの、Ａ像とＢ像の誤差量の最小を与えるシフト量と撮影レンズメモリ回路３１から得たレンズの情報とからレンズの移動量を演算し、予測された合焦位置にレンズを駆動する（Ｓ９）。レンズ駆動の指示が終了したら、Ｓ１０において、レリーズボタンの第二ストロークによりＯＮとなるＳＷ２の入力を待つ。

なお、Ｓ６におけるシフト量は画素単位に限定されない。画素よりも細かい単位でシフトし、誤差の演算を行うことで、より高精度に合焦予測位置を求めることができる。また、この画素よりも細かい単位でのシフトによる誤差量の演算は、画素単位での誤差の極小値が得られた近傍のみで行うことで、処理時間の短縮が図れる。

ＳＷ２がＯＮになると（Ｓ１０でＹＥＳ）、撮像装置１の動作モードに応じた露光量（ＩＳＯ感度、絞り、蓄積時間）を設定し、Ｓ１１において、Ｓ９で行ったレンズ駆動の完了を待つ。なお、撮影者の操作によるＳＷ１のＯＮ操作からＳＷ２のＯＮ操作まで時間が長ければ、既にレンズ駆動が完了していることもある。レンズ駆動が完了すると、Ｓ１２において撮像素子１０の露光を実施する。ここでは、絞りの制御の完了後、画素の不要電荷を除去した後、蓄積時間として設定した読み出し開始までの時間だけ待った後、撮像素子１０からすべての画像を読み出す（Ｓ１３）。

次に、後述する画素補間により、半開口のＲ画素、Ｂ画素をＧ画素と同じような全開口相当の画素に補正した後（Ｓ１４）、現像し（Ｓ１５）、メモリ回路２２に記録する（Ｓ１６）。記録が終了すると、ＳＷ１の入力待ちに戻る（Ｓ３）。なお、上記の処理のうち、Ｓ１４、Ｓ１５の処理は、ＣＰＵ２０がこれらの処理の指示を画像信号処理回路２４に出すことにより画像信号処理回路２４内で行われる。

次に、Ｓ１４において行われる画素補間処理について説明する。まずＲ画素に隣接する４つのＧ画素の画素信号のばらつきを調べる。例えば、補正対象画素がR'm,nの場合、式（１）のようにして求める。
max{(G1m,n),(G1m+1,n),(G2m,n),(G2m,n+1)} - min{(G1m,n),(G1m+1,n),(G2m,n),(G2m,n+1)}＞K1 …（１）

具体的には隣接する４つのＧ画素の最大値と最小値との差が所定の閾値Ｋ１より大きいときには、補正対象画素R'm,nの付近は、空間周波数が予め決められたレベルより高い領域と判断する。この場合、隣接画素を用いた補間をせずに、R’m,nの画素信号を２倍して、Rm,nとする。すなわち、以下の式（２）により求める。
(Rm,n) = 2(R’m,n) …（２）

ここでは、開口部をマイクロレンズへの入射光束の中心に対して偏心させた結果、実効感度が偏心させていないＧの画素に比べて半分になっているため、２倍している。なお、この係数は実効感度に応じて、適応的に変化させることが望ましいが、簡略的には開口部の大きさによって固定値をとってもよい。

一方、隣接する４つのＧ画素の最大値と最小値との差が所定の閾値Ｋ１以下の場合、すなわち、補正対象画素R’m,nの周辺の画像の空間周波数が予め決められたレベルより高くない場合には、次のようにして求める。上下の同色の画素（Ｒ画素）の差分と、左右の同色の画素（Ｒ画素）の差分とを比較して、差分が小さい方の隣接同色画素の平均値を補正対象画素R'm,nの残りの半分と考え、補正対象画素R'm,nの画素信号と加算してRm,nの画素信号とする。すなわち、
|(R’m-1,n) - (R’m+1,n)|≦|(R’m,n-1) - (R’m,n+1)|) …（３）
ならば、
(Rm,n) = (R’m,n) + 1/2 {(R’m-1,n) + (R’m+1,n)} …（４）
とする。また、式（３）を満たさないならば、
(Rm,n) = (R’m,n) + 1/2 {(R’m,n-1) + (R’m,n+1)} …（５）
とする。
なお、上記ではＲ画素（Rm,n）について説明したが、Ｂ画素（Bm,n）についても同様に演算する。すなわち、補正対象画素B'(m,n)について、以下の式（６）
max{(G1m,n-1),(G1m,n),(G2m-1,n),(G2m,n)} - min{(G1m,n-1),(G1m,n),(G2m-1,n),(G2m,n)}＞K1 …（６）
が満たされる場合、B’m,nの画素信号を2倍して、Bm,nとする。すなわち、以下の式（７）により求める。
(Bm,n) = 2(B’m,n) …（７）

一方、式（６）が満たされない場合には、次のようにして求める。すなわち、
|(B’m-1,n),(B’m+1,n)|≦|(B’m,n-1),(B’m,n+1)| …（８）
ならば、
(Bm,n) = (B’m,n) + 1/2 {(B’m-1,n) + (B’m+1,n)} …（９）
とする。また、式（８）を満たさないならば、
(Bm,n) = (B’m,n) + 1/2 {(B’m,n-1) + (B’m,n+1)} …（１０）
とする。

このように、隣接Ｇ画素の差分と所定値とを比較することにより空間周波数を判断し、補正対象画素が空間周波数の高い領域にある場合には、補正対象画素の画素値を２倍することでぼけが生じることを防ぐ。もしも隣接同色画素を用いて補間すると、Ｒ画素やＢ画素は間にＧ画素を挟むためにぼけが発生してしまう。一方、ピントが合っている領域においては、Ａ像とＢ像は同一になるはずなので、Ｂ像でＡ像を（またはその逆にＡ像でＢ像を）補間することには問題がない。また、ピントが合っていない領域においては自然に空間周波数がそれほど高くならないので同色の周辺画素による補間であっても色にじみ等の不具合は目立たない。また、隣接同色画素のうち、差分の小さい方の上下または左右、すなわち、相関性の高い方向の組み合わせから補間することによりエッジ部の色にじみを少なくすることができる。

なお、電源投入後のファインダ用表示素子９へ表示するための処理を、演算の簡略化の為に、常に
(Rm,n) = 2(R’m,n) …（１１）
(Bm,n) = 2(B’m,n) …（１２）
として、ファインダ用画像を作ってもよい。ただし、この場合、ピントの合っていない領域においては２重像のように見えてしまうことがあるので、ＬＰＦをかける等の別処理が必要になる。もちろん撮像（記録）時と同様の処理をしてファインダ用画像を生成しても問題ない。

本実施形態では、Ｂ画素とＲ画素を焦点検出用画素に構成し、輝度信号に関して最も寄与するＧ１、Ｇ２画素については焦点検出用画素にしないことで感度を維持できる。また、焦点調節精度については、Ｇ１、Ｇ２画素の全部（もしくは多数）の画素を焦点検出用画素にすることにより予測精度や合焦精度を向上することができる。

また、本実施形態では、半開口にした焦点検出用画素の補正処理についても、単純に周辺の参照画素からの均等の処理だけでなく、エッヂ検出や周波数検出等の手段によって参照画素の寄与度を制御する。これにより、色にじみや、輝点の消失対策などが行なえる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、撮像装置の構成は、図１及び図２を参照して説明したものと同様であるので、ここでは説明を省略する。本第２の実施形態と、上述した第１の実施形態とでは、図３のＳ１４で行われる画素補間による画像信号の生成時の空間周波数の判断の仕方が異なる。以下、本第２の実施形態における画像信号の生成処理について説明する。

まず、補正対象画素をR'(m,n)とした場合に、隣接する４つ同色画素の平均と補正対象画素R'(m,n)との差が、所定の閾値Ｋ２よりも大きいかどうかを、以下の式（１３）により判断する。
|(R’m,n) - 1/4{(R’m-1,n)+(R’m,n-1)+(R’m,n+1)+(R’m+1,n)}|＞K2 …（１３）
この差が、所定の閾値Ｋ２より大きいときには、補正対象画素R'(m,n)の近傍の色の空間周波数が予め決められたレベルより高いと考え、第１の実施形態において上述した式（２）により、補間後の画素値Rm,nを求める。

一方、差が所定の閾値Ｋ２以下の場合には、第１の実施形態において上述した式（３）から式（５）により、補間後の画素値Rm,nを求める。なお、Ｂ画素についても同様にして求める。

これにより、色にじみや、輝点の消失対策などが行え、画質の向上が図れる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本第３の実施形態は、撮像素子１０の構成が、図２に示す第１の実施形態で説明したものと異なる。それ以外の撮像装置１の構成は第１の実施形態で説明したものと同様であるので、以下、第３の実施形態における撮像素子１０の構成を図４を参照して説明する。

図４に示すように、本第３の実施形態では、ベイヤー配列されたＲ、Ｇ、Ｂの色フィルタにおける、Ｒフィルタを黄（Ｙ）フィルタに、Ｂフィルタをシアン（Ｃ）フィルタに置き換えたものである。このフィルタ配置では、画像信号処理はベイヤー配列の場合と同じ処理を行うわけにはいかないが、焦点調節処理時の色依存が少なくなるという利点を有する。

上述した第１の実施形態及び第２の実施形態では焦点検出用画素を撮像用画素としても使うために、赤（Ｒ）または青（Ｂ）の色フィルタを備えていた。この場合、輝線スペクトルの緑（Ｇ）の被写体に対しては、赤（Ｒ）も、青（Ｂ）も感度を持たない為に、焦点検出に用いることができないことになる。本第３の実施形態においては、赤と緑の周波数帯域に感度を有する黄色（Ｙ）（第２の色）のフィルタと、青と緑の周波数帯域に感度を有するシアン（Ｃ）（第３の色）のフィルタを用いる。これにより、緑（Ｇ）（第１の色）の輝線スペクトルを持つ被写体であっても、焦点調節に用いることができる。

撮像装置１の動作の流れは、図３を参照して上述した第１及び第２の実施形態と同じである。ただし、Ｓ５において読み込んだＹ画素とＣ画素に基づいて、Ｓ６では以下のようにしてシフト演算を行う。

まず、読み込んだＹ画素の画素信号のうち、図４で左にオフセットした画素の集合（Y'm,n-1 , Y'm,n , Y'm,n+1…）をＹのＡ像とする。また、図４で右にオフセットした画素の集合（Y'm-1,n-1 , Y'm-1,n , Y'm-1,n+1…）をＹのＢ像とする。同様に、読み込んだＣ画素の画像信号のうち、図４で左にオフセットした画素の集合（C'm,n-1 , C'm,n , C'm,n+1…）をＣのＡ像とする。また、図４で右にオフセットした画素の集合（C'm-1,n-1 , C'm-1,n , C'm-1,n+1…）をＣのＢ像とする。

このようにして得られたＹ、ＣそれぞれのＡ像とＢ像をシフトしながら、誤差量を演算する。

また、Ｓ１４において行われる画像信号生成処理は次の通りである。まずＹ画素に隣接する４つのＧ画素の画素信号のばらつきを調べる。例えば、補正対象画素がY'(m,n)の場合、式（１４）のようにして求める。
max{(G1m,n),(G1m+1,n),(G2m,n),(G2m,n+1)} - min{(G1m,n),(G1m+1,n),(G2m,n),(G2m,n+1)}＞K3 …（１４）

具体的には隣接する４つのＧ画素の最大値と最小値との差が所定の閾値Ｋ３より大きいときには、補正対象画素Y'(m,n)の付近は、空間周波数が予め決められたレベルより高い領域と判断する。そして、隣接画素を用いた補間をせずに、Y’m,nの画素信号を２倍して、Ym,nとする。すなわち、以下の式（１５）により求める。
(Ym,n) = 2(Y’m,n) …（１５）
ここで、ベイヤー配列による画素信号に変換するために、Ym,nから以下の方法でＲ信号を生成する。すなわち、
|(G1m,n) - (G1m+1,n)|≦|(G2m,n) - (G2m,n+1)| …（１６）
ならば、
(Rm,n) = (Ym,n) - 1/2{(G1m,n) + (G1m+1,n)} …（１７）
とする。また、式（１６）を満たさないならば、
(Rm,n) = (Ym,n) - 1/2{(G2m,n) + (G2m,n+1)} …（１８）
により、Ｒ信号を生成する。

一方、隣接する４つのＧ画素の最大値と最小値との差が所定の閾値Ｋ３以下の場合、すなわち、補正対象画素Y'm,nの周辺の画像の空間周波数が予め決められたレベルより高くない場合には、次のようにして求める。上下の同色の画素（Ｙ画素）の差分と、左右の同色の画素（Ｙ画素）の差分とを比較して、差分が小さい方の隣接同色画素の平均値を補正対象画素Y'm,nの残りの半分と考え、補正対象画素Y'm,nの画素信号と加算してYm,nの画素信号とする。すなわち、
|(Y’m-1,n),(Y’m+1,n)|≦|(Y’m,n-1),(Y’m,n+1)|) …（１９）
ならば、
(Ym,n) = (Y’m,n) + 1/2 {(Y’m-1,n) + (Y’m+1,n)} …（２０）
とする。また、式（１９）を満たさないならば、
(Ym,n) = (Y’m,n) + 1/2 {(Y’m,n-1) + (Y’m,n+1)} …（２１）
とする。

このようにして求めたYm,nより、以下の式（２２）を用いてＲ信号を生成する
R(m,n) = Y(m,n) - 1/4{(G1m,n)+(G1m+1,n)+(G2m,n)+(G2m,n+1)} …（２２）
なお、上記ではＹ画素（Ym,n）について説明したが、C画素（Cm,n）についても同様に演算する。すなわち、補正対象画素C'(m , n)について、以下の式（２３）
max{(G1m,n-1),(G1m,n),(G2m-1,n),(G2m,n)} - min{(G1m,n-1),(G1m,n),(G2m-1,n),(G2m,n)}＞K3 …（２３）
が満たされる場合、C’m,nの画素信号を2倍して、Cm,nとする。すなわち、以下の式（２４）により求める。
(Cm,n) = 2(C’m,n) …（２４）
ここで、ベイヤー配列による画素信号に変換するために、画素情報Cm,nから以下の方法でＢ信号を生成する。すなわち、
|(G1m,n) - (G1m+1,n)|≦|(G2m,n) - (G2m,n+1)| …（２５）
ならば、
(Bm,n) = (Cm,n) - 1/2{(G1m,n) + (G1m+1,n)} …（２６）
とする。また、式（２５）を満たさないならば、
(Bm,n) = (Cm,n) - 1/2{(G2m,n) + (G2m,n+1)} …（２７）
により、Ｂ信号を生成する。

一方、式（２３）が満たされない場合には、次のようにしてBm,nを求める。すなわち、
|(C’m-1,n),(C’m+1,n)|≦|(C’m,n-1),(C’m,n+1)| …（２８）
ならば、
(Cm,n) = (C’m,n) + 1/2 {(C’m-1,n) + (C’m+1,n)} …（２９）
とする。また、式（２８）を満たさないならば
(Cm,n) = (C’m,n) + 1/2 {(B’m,n-1) + (B’m,n+1)} …（３０）
とする。

このようにして求めたCm,nより、以下の式（３１）を用いてＢ信号を生成する
B(m,n)=C(m,n) - 1/4{(G1m,n-1)+(G1m,n)+(G2m-1,n)+(G2m,n)} …（３１）

本実施形態では、本実施形態では、青の代わりシアン、赤の代わりに黄色を用いることで焦点検出用の素子においても緑に感度を持つように構成した。このため、緑（輝線スペクトル）と黒の縞に対して、緑の焦点検出感度が低くならない。このため、焦点調節精度を保てるという利点がある。

＜第４の実施形態＞
上述した第１及び第３の実施形態では、補正対象画素の周辺の画像の空間周波数が高いか否かを、補正対象画素に隣接するＧ画素の最大値と最小値の差が閾値を越えるか否かにより判断していた。また、第２の実施形態では、補正対象画素の周辺の画像の空間周波数が高いか否かを、同色の隣接画素の平均値との差が閾値を超えるか否かにより判断していた。

しかしながら、本発明はこれらの判断方法により限られるものではなく、補正対象画素の周辺の画像の空間周波数が高いか否かの判断は、これら以外の方法であっても良い。例えば、赤または青に感度を持つ画素に隣接する緑の画素(G1m,n-1),(G1m,n),(G2m-1,n),(G2m,n)の分散値または標準偏差値を演算して、この値を所定値と比較することで近傍の空間周波数の判断基準としても良い。この場合、分散値が予め決められた閾値よりも大きい場合、及び、標準偏差値が予め決められた閾値よりも小さい場合に、補正対象画素の周辺の画像の空間周波数が予め決められたレベルより高いと判断する。

Claims (13)

1. 第１の色、第２の色及び第３の色の３種類の色の感度を有する画素のベイヤー配列を単位ユニットとして二次元状に複数配列され、各々が光学系により結像される被写体像を光電変換する光電変換部を有する複数の画素を備え、
   前記複数の画素は、前記被写体像を示す画像信号を形成するための撮像用信号を出力する複数の撮像用画素と、前記光学系の焦点調節状態を検出するための焦点検出用信号を出力する複数の焦点検出用画素と、を含み、
   前記複数の撮像用画素は、第１の色に感度を有する画素であり、
   前記複数の焦点検出用画素は、第２及び第３の色に感度を有する画素であることを特徴とする撮像装置。
2. 赤色、緑色、青色に感度を有する３種類の画素のベイヤー配列を単位ユニットとし、前記複数の焦点検出用画素は、赤色、青色に感度を有する画素で構成されることを特徴とする請求項１に記載の撮像装置。
3. シアン、緑色、黄色に感度を有する３種類の画素のベイヤー配列を単位ユニットとし、前記複数の焦点検出用画素は、シアン、黄色に感度を有する画素で構成されることを特徴とする請求項１に記載の撮像装置。
4. 前記焦点検出用画素の周辺の画像の空間周波数が予め決められたレベルより高いか否かを判断し、該判断の結果に基づいて、前記焦点検出用画素から出力された画素信号から、撮像用の画素信号を生成する生成手段とを有し、
   前記生成手段は、
   補正対象の焦点検出用画素の周辺の画像の前記空間周波数が予め決められたレベルより高い場合に、前記補正対象の焦点検出用画素から出力された画素信号により、撮像用の画素信号を生成し、
   前記補正対象の焦点検出用画素の周辺の画像の前記空間周波数が予め決められたレベルより高くない場合に、前記補正対象の焦点検出用画素について相関性の高い方向を判断し、前記補正対象の焦点検出用画素と、該判断により相関性の高い方向に配置された隣接する焦点検出用画素から出力された画素信号とにより、撮像用の画素信号を生成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記生成手段は、前記空間周波数の判断を、前記補正対象の焦点検出用画素に隣接する前記撮像用の画素から得られた画素信号を用いて行うことを特徴とする請求項４に記載の撮像装置。
6. 前記生成手段は、前記撮像用の画素から得られた画素信号の最大値と最小値との差が予め決められた閾値より大きい場合に、前記空間周波数が予め決められたレベルより高いと判断することを特徴とする請求項５に記載の撮像装置。
7. 前記生成手段は、前記撮像用の画素から得られた画素信号の分散値が予め決められた閾値より大きい場合、及び、標準偏差値が予め決められた閾値より小さい場合に、前記空間周波数が予め決められたレベルより高いと判断することを特徴とする請求項５に記載の撮像装置。
8. 前記撮像用画素は、第１の色の色フィルタにより覆われ、前記焦点検出用画素は、第２及び第３の色を含む色フィルタにより覆われており、
   前記生成手段は、前記空間周波数の判断を、前記補正対象の焦点検出用画素と、前記補正対象の焦点検出用画素に隣接する、前記補正対象の焦点検出用画素と同色のフィルタにより覆われた焦点検出用画素とから得られた画素信号を用いて行うことを特徴とする請求項５に記載の撮像装置。
9. 前記生成手段は、前記補正対象の焦点検出用画素から得られた画素信号と、前記補正対象の焦点検出用画素に隣接する焦点検出用画素とから得られた画素信号の平均値との差が予め決められた閾値より大きい場合に、前記空間周波数が予め決められたレベルより高いと判断することを特徴とする請求項８に記載の撮像装置。
10. 前記撮像用画素は、前記第１の色の色フィルタにより覆われ、前記焦点検出用画素は、前記第２及び第３の色を含む色フィルタにより覆われており、
    前記生成手段は、前記相関性の判断を、前記補正対象の焦点検出用画素に隣接する、前記補正対象の焦点検出用画素と同色のフィルタにより覆われた焦点検出用画素から出力された画素信号を用いて行うことを特徴とする請求項４乃至９のいずれか１項に記載の撮像装置。
11. 前記生成手段は、補正対象の焦点検出用画素の周辺の画像の前記空間周波数が予め決められたレベルより高くない場合に、前記補正対象の焦点検出用画素から出力された画素信号と、前記相関性の高い方向に配置された、前記補正対象の焦点検出用画素に隣接する、前記補正対象の焦点検出用画素と同色のフィルタにより覆われた焦点検出用画素から出力された画素信号とを用いて前記撮像用の画素信号を生成することを特徴とする請求項１０に記載の撮像装置。
12. 隣接する前記焦点検出用画素は、瞳分割の方向が互いに異なっていることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 読み出し手段が、撮像用の画素信号を出力する複数の撮像用画素と、出力された像信号の位相差が検出できるように瞳分割された画素信号を出力する複数の焦点検出用画素とを有する撮像素子から、画素信号を読み出す読み出し工程と、
    生成手段が、補正対象の焦点検出用画素の周辺の画像の空間周波数が予め決められたレベルより高いか否かを判断する判断工程と、
    前記補正対象の焦点検出用画素の周辺の画像の前記空間周波数が予め決められたレベルより高い場合に、前記生成手段が、前記補正対象の焦点検出用画素から出力された画素信号により、撮像用の画素信号を生成する工程と、
    前記補正対象の焦点検出用画素の周辺の画像の前記空間周波数が予め決められたレベルより高くない場合に、前記生成手段が、前記補正対象の焦点検出用画素について相関性の高い方向を判断する判断工程と、
    前記生成手段が、前記補正対象の焦点検出用画素と、前記判断工程で判断された相関性の高い方向に配置された隣接する焦点検出用画素から出力された画素信号とにより、撮像用の画素信号を生成する工程と
    を有することを特徴とする撮像装置の制御方法。

Images