JP2009094881A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】劣化の少ない画像を得る。
【解決手段】光学系による像を受光して画素信号を出力する撮像画素３１０を二次元に配列するとともに、撮像画素３１０の配列中に撮像画素とは異なる非撮像画素３１３，３１４を配列した撮像素子２１２と、非撮像画素３１３，３１４の周辺に配置された撮像画素３１０の画素信号に基づいて、画素信号の連続性がある方向を検出する連続性検出手段と、非撮像画素３１３，３１４の周辺に配置された撮像画素３１０の画素出力を連続性がある方向に応じて処理することによって、非撮像画素３１３，３１４の位置における画素信号を求める演算手段とを備える。
【選択図】図３

Description

本発明は撮像装置と撮像方法に関する。

二次元状に配列された撮像画素の中の一部に、瞳分割型位相差検出方式の焦点検出画素を配列したイメージセンサーを用い、撮像と焦点検出を行う撮像装置が知られている（例えば、特許文献１参照）。この撮像装置では、焦点検出画素の位置における撮像用の画素データ、すなわち、この焦点検出画素の位置に本来あるべき撮像画素を配置した場合にその撮像画素から出力される画素データを、この焦点検出画素の周囲の撮像画素の画素データを平均化して求めている。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２０００―３０５０１０号公報

しかしながら、このような平均化による画素補間処理を施して求めた画像データでは、画像の空間周波数が画素ピッチで定められたナイキスト周波数に近づくにつれ、画像品質が劣化するという欠点がある。
例えば、空間周波数がナイキスト周波数に等しい白黒縦縞模様の像に対して、焦点検出画素の４方向の斜めに隣接する撮像画素の画素データを平均して焦点検出画素の位置の画素データを補間した場合には、本来あるべき画素データと補間データとでは白黒が反転してしまう場合がある。
これは、撮像画素の配列の間に焦点検出画素の配列が挿入されたことによって、撮像画素のピッチが焦点検出画素配列の近傍で大きくなり、それにともなって画像のナイキスト周波数が低周波に変化して画像の再現性が低下するためである。
特に、焦点検出画素や欠陥画素が線状に配列され、この配列方向に直交する方向に高い空間周波数成分を有する像が存在する場合には、上記のような平均化による画素補間を行うと画像劣化が顕著となり視認され易くなる。

（１） 請求項１の発明は、光学系による像を受光して画素信号を出力する撮像画素を二次元に配列するとともに、撮像画素の配列中に撮像画素とは異なる非撮像画素を配列した撮像素子と、非撮像画素の周辺に配置された撮像画素の前記画素信号に基づいて、画素信号の連続性がある方向を検出する連続性検出手段と、非撮像画素の周辺に配置された撮像画素の画素出力を連続性がある方向に応じて処理することによって、非撮像画素の位置における画素信号を求める演算手段とを備える。
（２） 請求項２の発明は、請求項１に記載の撮像装置において、連続性検出手段が、非撮像画素を基準とする撮像素子上の複数の方向に沿った複数の撮像画素が出力する画素信号の出力の変化が少ない方向を連続性がある方向として検出するようにしたものである。
（３） 請求項３の発明は、請求項１または請求項２に記載の撮像装置において、撮像素子が、異なる分光特性を有する複数種類の撮像画素が一定の法則にしたがって異なる密度で配置されており、演算手段によって、複数種類の撮像画素の中の配置密度が相対的に高い撮像画素の位置に配置された非撮像画素に対する画素信号の演算と、複数種類の撮像画素の中の配置密度が相対的に低い撮像画素の位置に配置された非撮像画素に対する画素信号の演算とを、それぞれ異なる処理により行うようにしたものである。
（４） 請求項４の発明は、請求項３に記載の撮像装置において、複数種類の撮像画素の中の配置密度が相対的に高い撮像画素の位置に配置された非撮像画素に対する画素信号の演算は、連続性のある方向において当該非撮像画素周辺の配置密度が相対的に高い撮像画素から出力される画素信号を平均化する処理である。
（５） 請求項５の発明は、請求項３に記載の撮像装置において、複数種類の撮像画素の中の配置密度が相対的に低い撮像画素の位置に配置された非撮像画素に対する画素信号の演算は、当該非撮像画素周辺における配置密度が相対的に高い撮像画素の画素信号と配置密度が相対的に低い撮像画素の画素信号との比により生成する処理である。
（６） 請求項６の発明は、請求項１または請求項２に記載の撮像装置において、演算手段が、連続性のある方向が非撮像画素の配列方向と一致した場合には、非撮像画素の配列方向と垂直な方向の非撮像画素周辺の撮像画素の画素信号に基づいて内挿を行う。
（７） 請求項７の発明は、請求項１または請求項２に記載の撮像装置において、非撮像画素近傍の入射光の分光分布に基づいて当該非撮像画素の位置における画素信号を推定する推定手段と、非撮像画素周辺の撮像画素の画素信号を統計平均して当該非撮像画素の位置における画素信号を算出する平均手段と、平均手段により算出した画素信号を基準にして演算手段により演算した画素信号と推定手段により推定した画素信号とを比較し、演算手段により演算した画素信号と推定手段により推定した画素信号の内のいずれか一方を最終的な画素信号に選択する選択手段とを備える。
（８） 請求項８の発明は、請求項１または請求項２に記載の撮像装置において、非撮像画素周辺の撮像画素の画素信号に基づいて、当該非撮像画素周辺の前記像に一様性があるか否かを判定する判定手段と、非撮像画素周辺の撮像画素の画素信号を統計平均して当該非撮像画素の位置における画素信号を算出する平均手段と、判定手段により一様性があると判定された場合は、平均手段により算出された画素信号を非撮像画素の位置における最終的な画素信号に決定する決定手段とを備える。
（９） 請求項９の発明は、請求項１〜８のいずれか１項に記載の撮像装置において、非撮像画素が、光学系の焦点調節状態を検出するための画素信号を出力する焦点検出画素である。
（１０） 請求項１０の発明は、請求項９に記載の撮像装置において、撮像画素の二次元配列は、赤画素、緑画素および青画素のベイヤー配列である。
（１１） 請求項１１の発明は、請求項９または請求項１０に記載の撮像装置において、焦点検出画素が、緑画素と青画素が直線上に配列された行または列の一部に配列される。
（１２） 請求項１２の発明は、請求項９〜１１のいずれか１項に記載の撮像装置において、焦点検出画素が、マイクロレンズと光電変換部から構成される。
（１３） 請求項１３の発明は、請求項１２に記載の撮像装置において、焦点検出画素が、光学系の射出瞳の一対の領域を通過する一対の光束によって形成される一対の像に応じた焦点検出用信号を出力する。
（１４） 請求項１４の発明は、光学系による像を受光して画素信号を出力する撮像画素を二次元に配列するとともに、撮像画素の配列中に撮像画素とは異なる非撮像画素を配列した撮像素子を用いた撮像方法において、非撮像画素の周辺に配置された撮像画素の画素信号に基づいて、画素信号の連続性がある方向を検出し、非撮像画素の周辺に配置された撮像画素の画素出力を連続性がある方向に応じて処理することによって、非撮像画素の位置における画素信号を求める。

本発明によれば、撮像画素の二次元配列中に焦点検出画素や欠陥画素などの非撮像画素があっても、高い空間周波数の像に対して良好な画素補間が可能になり、劣化の少ない画像を得ることができる。

一実施の形態の撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。図１は一実施の形態のカメラの構成を示す横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。

交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０および絞り２１１の駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。

カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。

ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出し、画像信号の処理と記録、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節、カメラの動作制御を行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値等）の送信を行う。

液晶表示素子２１６は液晶ビューファインダー（ＥＶＦ：電気的ビューファインダー）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。

交換レンズ２０２を通過した光束により撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２から画像信号と焦点検出信号を入力し、焦点検出画素の位置における撮像用の画素データ、すなわち、この焦点検出画素の位置に本来あるべき撮像画素を配置した場合にその撮像画素から出力される画素データを、この焦点検出画素の周囲の撮像画素の画素データを用いて補間し、撮像画素の画素データと焦点検出画素位置において補間した画素データにより構成される画像信号をメモリカード２１９に格納する。さらに、撮像素子２１２から入力したスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらにまた、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。

レンズ駆動制御装置２０６は、レンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦点へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。

カメラボディ２０３にはマウント部２０４を介して種々の結像光学系を有する交換レンズ２０２が装着可能であり、カメラボディ２０３は撮像素子２１２に組み込まれた焦点検出画素の出力に基づいて交換レンズ２０２の焦点調節状態を検出する。

図２は撮影画面上の焦点検出位置、すなわち後述する焦点検出画素列により焦点検出を行う際に画面上で像をサンプリングする焦点検出エリアを示す。矩形の撮影画面１００の中央、左右および上下の５箇所に焦点検出エリア１０１〜１０５が配置される。長方形で示した各焦点検出エリア１０１〜１０５の長手方向に焦点検出画素が直線的に配列される。

図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１（焦点検出エリア１０４、１０５も同様）の近傍を拡大して示す。撮像素子２１２は、撮像画素３１０と焦点検出画素３１３、３１４から構成される。撮像画素３１０は水平方向と垂直方向に２次元状に正方格子配列されており、焦点検出画素３１３、３１４は水平方向に配列されている。

図５に示すように、撮像画素３１０はマイクロレンズ１０、光電変換部１１および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図７に示す特性となっている。各色フィルターを備えた撮像画素３１０がベイヤー配列されている。

図６(ａ)に示すように、焦点検出画素３１３はマイクロレンズ１０と光電変換部１６から構成される。光電変換部１６の形状はマイクロレンズ１０の垂直２等分線に接する左半円状である。また、図６(ｂ)に示すように、焦点検出画素３１４はマイクロレンズ１０と光電変換部１７から構成される。光電変換部１７の形状はマイクロレンズ１０の垂直２等分線に接する右半円である。光電変換部１６と１７は、マイクロレンズ１０を重ね合わせて表示した場合に左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。焦点検出画素３１３と焦点検出画素３１４が水平方向、すなわち光電変換部１６と１７の並び方向に交互に配置される。

焦点検出画素３１３、３１４には光量をかせぐために色フィルターが設置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度、赤外カットフィルター（不図示）の分光感度を総合した分光特性（図８参照）となる。つまり、図７に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。焦点検出画素３１３、３１４は撮像画素３１０のＢとＧが配置されるべき行に配置される。

図４は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０２（焦点検出エリア１０３も同様）の近傍を拡大して示す。撮像素子２１２は、撮像画素３１０と焦点検出画素３１５、３１６から構成される。焦点検出画素３１５，３１６は焦点検出画素３１３，３１４を９０度回転した構造となっており、撮像面において垂直方向に配列されている。焦点検出画素３１５、３１６は、撮像画素３１０のＢとＧが配置されるべき列に配置されている。

焦点検出画素３１３、３１４、３１５、３１６が、撮像画素３１０のＢとＧが配置されるべき行または列に配置されているのは、後述する画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素に比較して青画素のほうが補間誤差が目立たないためである。

図９は撮像画素３１０の断面図である。撮像画素３１０において、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。不図示の色フィルターはマイクロレンズ１０と光電変換部１１の中間に配置される

図１０(ａ)は焦点検出画素３１３の断面図である。焦点検出画素３１３において、光電変換部１６の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１６が前方に投影される。光電変換部１６は半導体回路基板２９上に形成されており、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部１６はマイクロレンズ１０の光軸の片側に配置される。

図１０(ｂ)は焦点検出画素３１４の断面図である。焦点検出画素３１４において、光電変換部１７の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１７が前方に投影される。光電変換部１７は半導体回路基板２９上に形成されており、その上にマイクロレンズ１０が半導体イメージセンサの製造工程により一体的かつ固定的に形成される。光電変換部１７は、マイクロレンズ１０の光軸の片側でかつ光電変換部１６の反対側に配置される。

図１１は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。図において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。なお、距離ｄはマイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは画素、７３，７４、８３，８４は光束である。

また、９３は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、この明細書では測距瞳と呼ぶ。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、この明細書では測距瞳と呼ぶ。なお、図１１では説明を理解しやすくするために測距瞳を楕円領域で示しているが、実際は光電変換部の形状が拡大投影された形状となる。

図１１では隣接する４画素（画素３１３ａ、３１３ｂ、３１４ａ、３１４ｂ）を模式的に例示しているが、その他の画素においても、光電変換部はそれぞれ対応した測距瞳から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は、一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。

マイクロレンズ１０ａ〜１０ｄは交換レンズの予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１３ａ、１３ｂ、１４ａ、１４ｂの形状がマイクロレンズ１０ａ〜１０ｄから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、投影距離ｄにある射出瞳９０上において、各画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように各画素における光電変換部の投影方向が決定されている。

光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向う光束７３によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ１０ｃに向う光束８３によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。光電変換部１４ａは測距瞳９４を通過し、マイクロレンズ１０ｂに向う光束７４によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。光電変換部１４ｂは測距瞳９４を通過し、マイクロレンズ１０ｄに向う光束８４によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。

上記のような２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことにより、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面、すなわち予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面の偏差（デフォーカス量）が算出される。

図１２は、一実施の形態のデジタルスチルカメラ（撮像装置）の動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がＯＮされるとステップ１１０から動作を開始する。ステップ１１０において、撮像素子２１２から撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップ１２０では、焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは撮影者が焦点検出エリア選択スイッチ（不図示）を操作して選択されているものとする。

ステップ１３０では、読み出された撮像画素の一対の像データに基づいて像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップ１４０で合焦近傍か否か、算出されたデフォーカス量の絶対値が所定値以内であるか否かを判別する。合焦近傍でないと判別された場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、図１に示す交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。

なお、焦点検出不能な場合もこのステップ１５０へ分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限遠位置から至近位置までスキャン駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。

一方、ステップ１４０で合焦近傍であると判別した場合はステップ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別し、なされていないと判別された場合はステップ１１０へ戻って上述した動作を繰り返す。シャッターレリーズがなされたと判別された場合は、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（ユーザーまたは自動により設定されたＦ値）に設定する。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素およびすべての焦点検出画素から画像データを読み出す。

ステップ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。この画素補間については詳細を後述する。続くステップ１９０で、撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に保存し、ステップ１１０へ戻って上述した動作を繰り返す。

次に、図１２のステップ１３０における像ズレ検出演算処理（相関演算処理）の詳細について説明する。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素列から読み出された一対のデータ列Ａ１1〜Ａ１M、Ａ２1〜Ａ２M（Ｍはデータ数）に対し下記（１）式の相関演算を行い、相関量Ｃ(ｋ)を演算する。

Ｃ(ｋ)＝Σ｜Ａ１n・Ａ２n+1+k−Ａ２n+k・Ａ１n+1｜ ・・・（１）
（１）式において、Σ演算はｎについて累積される。ｎのとる範囲は、像ずらし量ｋに応じてＡ１n、Ａ１n+1、Ａ２n+k、Ａ２n+1+kのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。（１）式の演算結果は、図１３(ａ)に示すように、一対のデータの相関が高いシフト量（図１３(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(ｋ)が極小（小さいほど相関度が高い）になる。なお、相関演算式は（１）式に限定されない。

次に、（２）式から（５）式の３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・（２），
Ｃ(ｘ)＝Ｃ(ｋj)−｜Ｄ｜ ・・・（３），
Ｄ＝｛Ｃ(ｋj-1)−Ｃ(ｋj+1)｝／２ ・・・（４），
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj+1)−Ｃ(ｋj)，Ｃ(ｋj-1)−Ｃ(ｋj)｝ ・・・（５）

（２）式で算出されたずらし量ｘの信頼性があるかどうかは次のようにして判定される。図１３(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定のしきい値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。

図１３(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(ｋ)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。

算出されたずらし量ｘの信頼性があると判定された場合は、（６）式により像ズレ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ・ｘ ・・・（６）
（６）式において、ＰＹは検出ピッチ、すなわち焦点検出画素のピッチである。次に、（６）式により算出された像ズレ量に所定の変換係数ｋを乗じてデフォーカス量ｄｅｆへ変換する。
ｄｅｆ＝ｋ・ｓｈｆｔ ・・・（７）

図１４は、図１２のステップ１８０における画素補間処理の詳細な動作を示すフローチャートである。ボディ駆動制御装置２１４はステップ３００から画素補間処理を開始する。図１５は、２次元状にベイヤー配列された撮像画素の中の１行（図中の斜線で示す行）に焦点検出画素が配置された場合の、各画素のデータをＧｉｊ、Ｂｉｊ、Ｒｉｊで示す。画素補間処理では斜線の入った行の画素データ（Ｇ０３、Ｂ１３、Ｇ２３、Ｂ３３、Ｇ４３、Ｂ５３）が周囲の撮像画素のデータから補間される。

ステップ３１０で、ＧＢ行またはＧＢ列に配置された焦点検出画素の内、緑画素が配置されるべき位置に配置された焦点検出画素のひとつが順次指定される。ここでは、Ｇ２３を出力すべき位置の焦点検出画素が指定されたとして説明を進める。ステップ３２０において、この焦点検出画素位置で像の連続性が高い方向はないとして、像の連続性が高い方向を表すパラメーターＤＣＧを０に初期化する。ここで、像の連続性が高い方向とは、例えば像がエッジパターンやラインパターンである場合に、エッジパターンやラインパターンの伸びる方向が像の連続性が高い方向である。

ステップ３３０では、焦点検出画素位置近傍で像の均一性（一様性）があるか否かを判別する。像の均一性は例えば次のように判定される。本来は緑画素Ｇ２３があるべき位置に配置された焦点検出画素の周辺の緑画素の画像データを用いて、この焦点検出画素周辺の緑画素の平均値Ｇａｖと、焦点検出画素位置近傍の画像データの偏差を表すＧｓｄを演算する。
Ｇａｖ＝（Ｇ１０＋Ｇ３０＋Ｇ２１＋Ｇ１２＋Ｇ３２＋Ｇ１４＋Ｇ３４＋Ｇ２５＋Ｇ１６＋Ｇ３６）／１０ ・・・（８），
Ｇｓｄ＝（｜Ｇ１０−Ｇａｖ｜＋｜Ｇ３０−Ｇａｖ｜＋｜Ｇ２１−Ｇａｖ｜＋｜Ｇ１２−Ｇａｖ｜＋｜Ｇ３２−Ｇａｖ｜＋｜Ｇ１４−Ｇａｖ｜＋｜Ｇ３４−Ｇａｖ｜＋｜Ｇ２５−Ｇａｖ｜＋｜Ｇ１６−Ｇａｖ｜＋｜Ｇ３６−Ｇａｖ｜））／（１０・Ｇａｖ） ・・・（９）
焦点検出画素位置近傍の画素データの偏差を表すＧｓｄが所定のしきい値以内である場合には、像の均一性があると判定される。均一性があると判別された場合はステップ４２０へ進み、均一性がないと判断された場合はステップ３４０へ進む。

ステップ３４０では、焦点検出画素配列の方向（図１５に示す例では左右方向）に対して、右上がり斜め４５度方向（図１６に示すＤＣＧ＝４の方向）において像の連続性があるか否かを判定する。右上がり斜め４５度方向における像の連続性の有無は、例えば次のようにして判定される。
Ｇａｖ１＝（Ｇ１２＋Ｇ２１）／２ ・・・（１０），
Ｇｓｄ１＝｜Ｇ１２−Ｇ２１｜／Ｇａｖ１ ・・・（１１），
Ｇａｖ２＝（Ｇ１４＋Ｇ３２）／２ ・・・（１２），
Ｇｓｄ２＝｜Ｇ１４−Ｇ３２｜／Ｇａｖ２ ・・・（１３），
Ｇａｖ３＝（Ｇ２５＋Ｇ３４）／２ ・・・（１４），
Ｇｓｄ３＝｜Ｇ２５−Ｇ３４｜／Ｇａｖ３ ・・・（１５），
Ｇｄｆ１２＝｜Ｇａｖ１−Ｇａｖ２｜ ・・・（１６），
Ｇｄｆ１３＝｜Ｇａｖ１−Ｇａｖ３｜ ・・・（１７），
Ｇｄｆ２３＝｜Ｇａｖ２−Ｇａｖ３｜ ・・・（１８）

右上がり斜め４５度方向の画素データの偏差を表すＧｓｄ１、Ｇｓｄ２、Ｇｓｄ３がすべて所定のしきい値以内であり、かつ、右上がり斜め４５度方向に直交する方向の画素データの偏差Ｇｄｆ１２、Ｇｄｆ１３、Ｇｄｆ２３の内のいずれかが所定のしきい値を超えた場合には、右上がり斜め４５度方向において像の連続性があると判定される。右上がり斜め４５度方向（図１６に示すＤＣＧ＝４の方向）において像の連続性があると判別された場合はステップ３５０へ進み、像の連続性の高い方向を示すパラメーターＤＣＧに４を設定した後、ステップ３６０へ進む。一方、連続性がないと判断された場合はそのままステップ３６０へ進む。

ステップ３６０では、焦点検出画素配列の方向に対して左上がり斜め４５度方向（図１６に示すＤＣＧ＝３の方向）において像の連続性があるか否かを判定する。左上がり斜め４５度方向における像の連続性の有無は、例えば次のようにして判定される。
Ｇａｖ１＝（Ｇ１４＋Ｇ２５）／２ ・・・（１９），
Ｇｓｄ１＝｜Ｇ１４−Ｇ２５｜／Ｇａｖ１ ・・・（２０），
Ｇａｖ２＝（Ｇ１２＋Ｇ３４）／２ ・・・（２１），
Ｇｓｄ２＝｜Ｇ１２−Ｇ３４｜／Ｇａｖ２ ・・・（２２），
Ｇａｖ３＝（Ｇ２１＋Ｇ３２）／２ ・・・（２３），
Ｇｓｄ３＝｜Ｇ２１−Ｇ３２｜／Ｇａｖ３ ・・・（２４），
Ｇｄｆ１２＝｜Ｇａｖ１−Ｇａｖ２｜ ・・・（２５），
Ｇｄｆ１３＝｜Ｇａｖ１−Ｇａｖ３｜ ・・・（２６），
Ｇｄｆ２３＝｜Ｇａｖ２−Ｇａｖ３｜ ・・・（２７）

左上がり斜め４５度方向の画素データの偏差を表すＧｓｄ１、Ｇｓｄ２、Ｇｓｄ３がすべて所定のしきい値以内であり、かつ、左上がり斜め４５度方向に直交する方向の画素データの偏差Ｇｄｆ１２、Ｇｄｆ１３、Ｇｄｆ２３の内のいずれかが所定のしきい値を超えた場合には、左上がり斜め４５度方向において像の連続性があると判定される。左上がり斜め４５度方向において像の連続性があると判定された場合にはステップ３７０へ進み、像の連続性の高い方向を示すパラメーターＤＣＧに３を設定してステップ３８０へ進む。一方、連続性がないと判断された場合にはそのままステップ３８０へ進む。

ステップ３８０では、焦点検出画素配列の方向に対して直交する方向（図１６に示すＤＣＧ＝２の方向）において像の連続性があるか否かを判定する。焦点検出画素配列の方向に直交する方向における像の連続性の有無は、例えば次のようにして判定される。
Ｇａｖ１＝（Ｇ１２＋Ｇ１４）／２ ・・・（２８），
Ｇｓｄ１＝｜Ｇ１２−Ｇ１４｜／Ｇａｖ１ ・・・（２９），
Ｇａｖ２＝（Ｇ２１＋Ｇ２５）／２ ・・・（３０），
Ｇｓｄ２＝｜Ｇ２１−Ｇ２５｜／Ｇａｖ２ ・・・（３１），
Ｇａｖ３＝（Ｇ３２＋Ｇ３４）／２ ・・・（３２），
Ｇｓｄ３＝｜Ｇ３２−Ｇ３４｜／Ｇａｖ３ ・・・（３３），
Ｇｄｆ１２＝｜Ｇａｖ１−Ｇａｖ２｜ ・・・（３４），
Ｇｄｆ１３＝｜Ｇａｖ１−Ｇａｖ３｜ ・・・（３５），
Ｇｄｆ２３＝｜Ｇａｖ２−Ｇａｖ３｜ ・・・（３６）

焦点検出画素配列の方向と直交する方向の画素データの偏差を表すＧｓｄ１、Ｇｓｄ２、Ｇｓｄ３がすべて所定のしきい値以内であり、かつ、焦点検出画素配列の方向の画素データの偏差Ｇｄｆ１２、Ｇｄｆ１３、Ｇｄｆ２３の内のいずれかが所定のしきい値を超えた場合には、焦点検出画素配列の方向と直交する方向において像の連続性があると判定される。焦点検出画素配列の方向と直交する方向に像の連続性があると判断された場合にはステップ３９０へ進み、像の連続性の高い方向を示すパラメーターＤＣＧに２を設定してステップ４００へ進む。一方、連続性がないと判断された場合にはそのままステップ４００へ進む。

ステップ４００では、焦点検出画素配列の方向（図１６に示すＤＣＧ＝１の方向）において像の連続性があるか否かを判別する。焦点検出画素配列の方向における像の連続性の有無は、例えば次のようにして判定される。
Ｇａｖ１＝（Ｇ０１＋Ｇ２１＋Ｇ４１）／３ ・・・（３７），
Ｇｓｄ１＝（｜Ｇ０１−Ｇａｖ１｜＋｜Ｇ２１−Ｇａｖ１｜＋｜Ｇ４１−Ｇａｖ１｜／（３・Ｇａｖ１） ・・・（３８），
Ｇａｖ２＝（Ｇ１２＋Ｇ３２）／２ ・・・（３９），
Ｇｓｄ２＝｜Ｇ１２−Ｇ３２｜／Ｇａｖ２ ・・・（４０），
Ｇａｖ３＝（Ｇ１４＋Ｇ３４）／２ ・・・（４１），
Ｇｓｄ３＝｜Ｇ１４−Ｇ３４｜／Ｇａｖ３ ・・・（４２），
Ｇａｖ４＝（Ｇ０５＋Ｇ２５＋Ｇ４５）／２ ・・・（４３），
Ｇｓｄ４＝（｜Ｇ０５−Ｇａｖ４｜＋｜Ｇ２５−Ｇａｖ４｜＋｜Ｇ４５−Ｇａｖ４｜）／Ｇａｖ４ ・・・（４４），
Ｇｄｆ１２＝｜Ｇａｖ１−Ｇａｖ２｜ ・・・（４５），
Ｇｄｆ２３＝｜Ｇａｖ２−Ｇａｖ３｜ ・・・（４６），
Ｇｄｆ３４＝｜Ｇａｖ３−Ｇａｖ４｜ ・・・（４７）

焦点検出画素配列の方向の画素データの偏差を表すＧｓｄ１、Ｇｓｄ２、Ｇｓｄ３、Ｇｓｄ４がすべて所定のしきい値以内であり、かつ、焦点検出画素配列の方向と直交する方向の画素データの偏差Ｇｄｆ１２、Ｇｄｆ２３、Ｇｄｆ３４の内のいずれかが所定のしきい値を超えた場合には、焦点検出画素配列の方向において像の連続性があると判定される。焦点検出画素配列の方向に像の連続性があると判断された場合にはステップ４１０へ進み、像の連続性の高い方向を示すパラメーターＤＣＧに１を設定してステップ４２０へ進む。一方、連続性がないと判断された場合にはそのままステップ４２０へ進む。

ステップ４２０において、焦点検出画素位置の近傍において像の方向性がないか否かをパラメーターＤＣＧにより確認する。焦点検出画素位置の近傍で像の方向性がない場合（ＤＣＧ＝０）、つまり焦点検出画素位置の近傍で像が均一またはランダムである場合にはステップ４４０へ進み、それ以外の場合はステップ４３０へ進む。ステップ４３０では、焦点検出画素位置の近傍において像が焦点検出画素配列の方向に連続性があるか否かをパラメーターＤＣＧにより確認する。焦点検出画素配列の方向に連続性がある場合（ＤＣＧ＝１）にはステップ４６０へ進み、それ以外の場合はステップ４５０へ進む。

焦点検出画素位置の近傍で像の方向性がない場合（ＤＣＧ＝０）、つまり焦点検出画素位置の近傍で像が均一またはランダムである場合は、ステップ４４０で、焦点検出画素の近傍にある撮像画素の画素データを方向性に依存せずに平均化して画素補間し、焦点検出画素位置の画素データとする。例えば、図１５、図１６に示す焦点検出画素Ｇ２３に対しては次のようにして補間画素データが算出される。
Ｇ２３＝（Ｇ１２＋Ｇ３２＋Ｇ１４＋Ｇ３４）／４ ・・・（４８）

焦点検出画素配列の方向以外に連続性がある場合、つまり図１６に示すＤＣＧ＝２、３、４の内のいずれか１方向に連続性がある場合は、ステップ４５０で、焦点検出画素の近傍にある撮像画素のデータを像の方向性に応じて平均化して画素補間し、焦点検出画素位置の画素データとする。例えば、図１５、図１６に示す焦点検出画素Ｇ２３に対しては次のようにして補間画素データが算出される。

右上がり斜め４５度方向に像の連続性がある場合（ＤＣＧ＝４）には、図１６に示すＤＣＧ＝４の方向において焦点検出画素位置の近傍にある緑画素の画素データの平均をとり、焦点検出画素位置の画素データとする。
Ｇ２３＝（Ｇ１４＋Ｇ３２）／２ ・・・（４９）
また、左上がり斜め４５度方向に像の連続性がある場合（ＤＣＧ＝３）には、図１６に示すＤＣＧ＝３の方向において焦点検出画素の近傍にある緑画素の画素データの平均をとり、焦点検出画素位置の画素データとする。
Ｇ２３＝（Ｇ１２＋Ｇ３４）／２ ・・・（５０）
さらに、焦点検出画素配列の方向に直交する方向に像の連続性がある場合（ＤＣＧ＝２）には、図１６に示すＤＣＧ＝２の方向において焦点検出画素の近傍にある緑画素の画素データの平均をとり、焦点検出画素位置の画素データとする。
Ｇ２３＝（Ｇ２１＋Ｇ２５）／２ ・・・（５１）

焦点検出画素位置の近傍において像が焦点検出画素配列の方向に連続性がある場合（図１６に示すＤＣＧ＝１）には、焦点検出画素位置を基準として焦点検出画素配列の方向には撮像画素が存在しないため、平均化により焦点検出画素位置の画素データを算出することができない。そこで、焦点検出画素配列と直交する方向（図１６に示すＤＣＧ＝２の方向）において、焦点検出画素配列を挟む撮像画素データに基づいて焦点検出画素位置の画素データを内挿して求める。例えば、（３７）式、（３９）式、（４１）式、（４３）式で求めたＧａｖ１、Ｇａｖ２、Ｇａｖ３、Ｇａｖ４を用い、次のようにして補間画素データＧｉｐ０が内挿される。
Ｇｉｐ０＝Ｇａｖ２＋Ｇａｖ３−（Ｇａｖ１＋Ｇａｖ４）／２ ・・・（５２）

図１７は、横軸が焦点検出画素配列と直交する方向（列方向）の画素位置、縦軸が画素位置における画素データを示す。上述した（５２）式が意味する所は、焦点検出画素の片側にある２つの画素データＧａｖ１とＧａｖ２を結んだ直線を焦点検出画素位置まで延長した画素データと、焦点検出画素のもう一方の側にある２つの画素データＧａｖ３とＧａｖ４を結んだ直線を焦点検出画素位置まで延長した画素データとの平均を、補間画素データＧｉｐ０にするということである。このような内挿処理により、焦点検出画素近傍の高周波成分の影響を補間画素データの値に反映できるので、単純に焦点検出画素位置に隣接する２つの画素データＧａｖ２、Ｇａｖ３を単に平均した画素データＧｉｐ１を補間画素データとする場合に比べて、高周波成分を多く含む像に対しては良好な結果が得られる。

しかしながら、像が極めて高い空間周波成分（画素データピッチに応じたナイキスト周波数に近い空間周波数成分）のみを含んでいる場合には、（５２）式を用いた内挿処理では補間画素データの値が理想的な画素データの値に対して大きな誤差を生じる場合がある。図１７において点線はナイキスト周波数成分を多く含む像の波形であり、実際の画素データのあるべき値に対して内挿処理で求めた画素データＧｉｐ０が外れてしまう。このような不都合を防止するために、実際の画素データのあるべき値がある程度反映されている焦点検出画素の画素データを参照する。

ここで、焦点検出画素の画素データの値をＡ２３とする。焦点検出画素は図８に示す分光特性を持っており、この分光特性は緑画素、赤画素、青画素の分光特性を包含しているので、焦点検出画素の画素データＡ２３は次のように表される。
Ａ２３＝Ｋａ・（Ｇａ＋Ｂａ＋Ｒａ） ・・・（５３）
（５３）式において、Ｋａは焦点検出画素の光電変換部の面積を撮像画素の光電変換部の面積で除して求めた係数であり、Ｇａ、Ｂａ、Ｒａは焦点検出画素の位置にそれぞれ緑画素、青画素、赤画素があった場合の画素データである。

ここで、焦点検出画素位置の入射光の分光分布（緑画素、赤画素、青画素の出力比）と、焦点検出画素位置の近傍における入射光の分光分布（緑画素、赤画素、青画素の出力比）が等しいと仮定すれば、
Ｂａ／Ｇａ＝（Ｂ１１＋Ｂ３１＋Ｂ１５＋Ｂ３５）／（２・（Ｇ２１＋Ｇ２５）） ・・・（５４），
Ｒａ／Ｇａ＝２・（Ｒ２２＋Ｒ２４）／（Ｇ１２＋Ｇ３２＋Ｇ１４＋Ｇ３４） ・・・（５５）
と表される。

（５４）式と（５５）式を（５３）式に代入してＧａについて整理し、これを焦点検出画素の画素データに基づく焦点検出画素位置の緑画素の画素データに対する換算データＧｉｐ２とすると次のようになる。
Ｇｉｐ２＝Ｇａ＝Ａ２３／（Ｋａ・（１＋（Ｂ１１＋Ｂ３１＋Ｂ１５＋Ｂ３５）／（２・（Ｇ２１＋Ｇ２５））＋２・（Ｒ２２＋Ｒ２４）／（Ｇ１２＋Ｇ３２＋Ｇ１４＋Ｇ３４）） ・・・（５６）

最終的な補間画素データＧ２３は次のようにして決定される。Ｇｉｐ０とＧｉｐ２が両方ともＧｉｐ１（平均値）よりも大きいか、または小さい場合は、
Ｇ２３＝Ｇｉｐ０ ・・・（５７）
それ以外の場合は、
Ｇ２３＝Ｇｉｐ２ ・・・（５８）
上記の処理を行うことにより、ナイキスト周波数近傍の高周波成分を多く含む像に対しても補間画素データの大外れを防止することができる。

ステップ４７０において、ＧＢ行またはＧＢ列に配置された焦点検出画素の内、緑画素が配置されるべき位置に配置された焦点検出画素のすべての指定が終了したか否かを確認し、終了していない場合は次の焦点検出画素を指定するためにステップ３１０に戻り、終了した場合は青画素が配置されるべき位置に配置された焦点検出画素の画素補間処理を行うためにステップ４８０へ進む。

ステップ４８０では、ＧＢ行またはＧＢ列に配置された焦点検出画素の内、青画素が配置されるべき位置に配置された焦点検出画素のひとつが順次指定される。ここでは図１５においてＢ３３を出力すべき位置の焦点検出画素が指定されたとして、説明を進める。ステップ４９０において、焦点検出画素の近傍にある青画素の画素データと緑画素の画素データの比に基づいて焦点検出画素位置の画素データを算出し、ステップ５００へ進む。

青画素は緑画素に比較して低密度であり、画素ピッチも緑画素の画素ピッチの倍になっている。緑画素と同様な手法で焦点検出画素位置の画素データを補間することも可能であるが、青画素のナイキスト周波数が緑画素のナイキスト周波数の１／２になってしまうために、像が高周波成分を多く含む場合には緑画素の補間精度に比較して青画素の補間精度が低下してしまい、周囲の緑画素データとの比が狂って色味が変化してしまう場合がある。人間の視覚特性的には色味（青画素データと緑画素データの比）が周囲と揃っていれば違和感を感じにくいので、青画素データを補間する場合には周囲の色と揃えるように補間を行う。

例えば、焦点検出画素位置の青画素データとその周囲の緑画素の画素データの比が、焦点検出画素位置の近傍の青画素データとその周囲の緑画素の画素データの比に等しいと仮定すれば、次のようにして補間画素データＢ３３が算出される。
Ｂ３３／（Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３）＝（（Ｂ３１／（Ｇ２１＋Ｇ３０＋Ｇ３２＋Ｇ４１）＋（Ｂ３５／（Ｇ２５＋Ｇ３４＋Ｇ３６＋Ｇ４５））／２ ・・・（５９）
（５８）式を整理すれば、補間画素データＢ３３が算出される。
Ｂ３３＝（Ｇ２３＋Ｇ３２＋Ｇ３４＋Ｇ４３）・（（Ｂ３１／（Ｇ２１＋Ｇ３０＋Ｇ３２＋Ｇ４１）＋（Ｂ３５／（Ｇ２５＋Ｇ３４＋Ｇ３６＋Ｇ４５））／２ ・・・（６０）

ステップ５００で、ＧＢ行またはＧＢ列に配置された焦点検出画素の内、青画素が配置されるべき位置に配置された焦点検出画素のすべての指定が終了したかを調べ、終了していない場合は次の焦点検出画素を指定するためにステップ４８０に戻り、終了した場合はステップ５０１で画素補間処理を終了する。

上述した一実施の形態では、像の連続性の方向に応じて画素補間処理を異ならせているので、単純な平均処理による画素補間処理に比較して、エッジパターンやラインパターン等の方向性を有する像が焦点検出画素列に重畳した場合においても良好に画素補間処理を行うことができる。

また、画素密度が高い緑画素データを補間する場合は像の連続性を検出し、検出した方向に応じた画素補間処理を施すことによって、高精度な画素補間を達成できるとともに、画素密度が低い青画素データを補間する場合は、画素密度が高い緑画素データに対する色味を揃えるように青画素データを補間しているので、補間誤差による色味変化を防止できる。

さらに、焦点検出画素配列方向と像の連続性の方向が一致した場合の画素補間処理（方向に応じた平均化処理）と、像の連続性がその他の方向である場合の画素補間処理（方向に応じた平均化処理）を異ならせているので、焦点検出画素配列方向と像の連続性の方向との関係によらず、高精度な画素補間データを得ることができる。

焦点検出画素配列方向と像の連続性の方向が一致した場合の画素補間処理において、焦点検出画素近傍の画素データの平均データを基準として、内挿処理により得た補間データと焦点検出画素の画素データに基づいて得られた換算データの比較を行って最終的な補間データを決定しているので、像がナイキスト周波数近傍の高周波成分を含む場合においても、内挿処理による補間誤差を防止することができる。

また、焦点検出画素位置周辺の像が一様な場合やランダムな場合には、単純な平均化処理により画素補間を行っているので、演算処理が簡単になり、演算時間を短縮することができる。

図１４に示す一実施の形態の動作において、焦点検出画素配列と直交する方向の像の連続性の検出（ステップ３８０）に対して、焦点検出画素配列方向の像の連続性の検出（ステップ４００）のほうが後になっており、これにより焦点検出画素配列方向の像の連続性の検出が優先されている。したがって、焦点検出画素配列にエッジパターンやラインパターンが重畳した場合においても、確実に焦点検出画素配列方向の画素補間処理を行うことができる。

《他の一実施の形態》
図１４に示す一実施の形態の動作のステップ３３０、３４０、３６０、３８０、４００において、像の均一性や連続性を判定するための式において使用される撮像画素の画素データの範囲は、上述した式の範囲に限定されているわけではなく、状況に応じて任意に変更が可能である。

図１４に示すステップ４６０において、像が極めて高い空間周波成分（画素データピッチに応じたナイキスト周波数に近い空間周波数成分）を含んでいる場合に、内挿処理で求めた画素データＧｉｐ０を採用すると補間誤差が大きくなるので、焦点検出画素の画素データに基づいて求めた換算データＧｉｐ２と画素データＧｉｐ０を平均データＧｉｐ１と比較し、Ｇｉｐ０とＧｉｐ２が両方ともＧｉｐ１（平均値）よりも大きいか小さい場合はＧ２３＝Ｇｉｐ０とし、それ以外の場合にはＧ２３＝Ｇｉｐ２としているが、それ以外の場合にＧ２３＝Ｇｉｐ１としたり、Ｇ２３＝（Ｇｉｐ２＋Ｇｉｐ０）／２としたりすることも可能である。

また、像が極めて高い空間周波成分（画素データピッチに応じたナイキスト周波数に近い空間周波数成分）を含んでいることを検出するために、画素データの列をフーリエ変換して直接的に像の空間周波数分布を検出し、その結果に応じて高周波成分が多い場合はＧ２３＝Ｇｉｐ２とし、それ以外の場合にはＧ２３＝Ｇｉｐ０とするようにしてもよい。

図１４に示すステップ４６０において、焦点検出画素の画素データに基づいて得られた換算データＧｉｐ２に応じて、内挿処理で求めた画素データＧｉｐ０を採用の採用可否を決定しているが、平均化処理で求めた補間画素データや内挿処理で求めた補間画素データの上限、下限を、換算画素データＧｉｐ２に所定係数を乗じたデータに応じて制限するようにしてもよい。例えば、補間画素データの値が換算画素データの２倍を超える場合には、補間画素データの値を換算画素データの２倍の値にクリップする。このようにすることによって、補間画素データの誤差が異常に大きくなることを防止できる。

図１に示す一実施の形態の動作のステップ４６０において、焦点検出画素の画素データに基づく換算データＧｉｐ２を求めるために、その位置にある焦点検出画素の画素データの値Ａ２３を用いているが、デフォーカス量が大きい場合には像ズレが生じるので、その位置に色フィルタなしの撮像画素があった場合の換算データとは誤差が生じる。デフォーカスによる像ズレの影響をキャンセルするために、Ａ２３の代わりにＡ２３／２＋（Ａ１３＋Ａ３３）／４を用いるようにしてもよい。ここで、Ａ１３、Ａ３３は指定された焦点検出画素（基準となる焦点検出画素）に隣接する焦点検出画素の画素データである。このようにすれば、デフォーカスによる像ズレが生じていても像ズレしたデータが平均化されるので、上記のような誤差を減少させることができる。さらにデフォーカス量の大きさに応じて平均化に用いる焦点検出画素の範囲を変更して平均化することも可能である。

図１４に示す一実施の形態の動作のステップ４６０において、焦点検出画素の画素データに基づく換算データＧｉｐ２を求めるために、その位置にある焦点検出画素の画素データの値Ａ２３を用いているが、焦点検出画素の画素データと本来その位置にあるべき撮像画素の画素データの比は光学系の絞り値によっても変化するので、焦点検出画素の画素データを絞りに応じて換算して用いるようにしてもよい。

図１４に示す一実施の形態の動作においては、焦点検出画素配列と直交する方向の像の連続性の検出（ステップ３８０）に対して、焦点検出画素配列方向の像の連続性の検出（ステップ４００）のほうが後になっており、これにより焦点検出画素配列方向の像の連続性の検出が優先されているが、ステップ３８０において焦点検出画素配列と直交する方向の像の連続性が検出された状態（ＤＣＧ＝２）において、焦点検出画素配列方向の像の連続性も検出された場合には、像が格子パターンあるいはランダムパターンであると認識して方向性なし（ＤＣＧ＝０）としてステップ４２０に進むようにしてもよい。

上述した一実施の形態においては、焦点検出画素の配列近傍の像の均一性および像の連続性の方向に応じて、周囲画素データに応じた平均化処理の方法を変更しているが、焦点検出画素の配列近傍の像の空間周波数成分の分布を複数方向について算出し、算出結果に応じて平均化処理の方法を変更するようにしてもよい。例えばすべての方向で高周波数成分が少ない場合は単純な平均化処理を行い、特定の方向において高周波成分が多い場合にはその方向と直交する方向において画素データの平均を取る平均化処理を行う。また周波数成分に応じて平均化処理に用いる画素データの範囲を変更することもできる。例えば、低周波数成分が多い場合は比較的広範囲の画素データの平均化処理を行い、高周波成分が多い場合には比較的狭い範囲の画素データの平均化処理を行う。

上述した一実施の形態においては、撮像画素の２次元的な配列中に焦点検出画素の配列が線状（１次元状）に存在するものとして説明を行ったが、本発明はこれに限定されるものではなく、撮像画素の２次元的な配列中に撮像に直接用いることができない画素（例えば欠陥画素）の配列が線状（１次元状）に存在する場合に広く適用可能である。

撮像素子における焦点検出エリアの配置は図２に示す一実施の形態の配置に限定されず、対角線方向やその他の位置に水平方向および垂直方向に焦点検出エリアを配置することも可能である。

図３に示す撮像素子２１２では、焦点検出画素３１３、３１４、３１５、３１６がひとつの画素内にひとつの光電変換部を備えた例を示したが、図１８に示す変形例の撮像素子２１２Ａのように、ひとつの画素内に一対の光電変換部を備えた焦点検出画素を用いてもよい。図１８において、焦点検出画素３１１はひとつの画素内に一対の光電変換部を備ええちる。この焦点検出画素３１１が図３に示す撮像素子２１２の焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たす。

図１９に示すように、焦点検出画素３１１は、マイクロレンズ１０、一対の光電変換部１２，１３からなる。焦点検出画素３１１には光量をかせぐために色フィルターは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度、赤外カットフィルタ（不図示）の分光特性を総合した分光特性（図８）となり、図７で示した緑画素、赤画素、青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素、青画素の感度の光波長領域を包括している。

図３に示す撮像素子２１２において、撮像画素はベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されず、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。

図３に示す撮像素子２１２において、焦点検出画素には色フィルターを備えていなかったが、撮像画素と同色の色フィルターのうちひとつのフィルター（たとえば緑フィルター）を備えるようにした場合でも、本発明を適用することができる。

図５、図１８において、焦点検出画素の光電変換部の形状を半円形とした例を示したが、光電変換部の形状は一実施の形態の形状に限定されず、他の形状としてもよい。例えば、焦点検出画素の光電変換部の形状を楕円や矩形や多角形にすることも可能である。

図３に示す撮像素子２１２においては撮像画素と焦点検出画素が稠密正方格子配列に配置した例を示したが、稠密六方格子配列としてもよい。

本発明の撮像装置は交換レンズとカメラボディから構成されるデジタルスチルカメラやフィルムスチルカメラに限定されず、レンズ一体型のデジタルスチルカメラやフィルムスチルカメラやビデオカメラにも適用できる。また、携帯電話などに内蔵される小型カメラモジュール、監視カメラ、ロボット用の視覚認識装置などにも適用できる。あるいは、カメラ以外の焦点検出用装置や測距装置やステレオ測距装置にも適用できる。

一実施の形態のカメラの構成を示す横断面図 撮影画面上の焦点検出位置を示す図 撮像素子の詳細な構成を示す正面図 撮像素子の詳細な構成を示す正面図 撮像画素の構成を示す図 焦点検出画素の構成を示す図 撮像画素の分光特性を示す図 焦点検出画素の分光特性を示す図 撮像画素の断面図 焦点検出画素の断面図 マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図 一実施の形態のデジタルスチルカメラ（撮像装置）の動作を示すフローチャート 焦点検出結果の信頼性の判定方法を説明するための図 画素補間処理の詳細な動作を示すフローチャート ２次元状にベイヤー配列された撮像画素の中の１行に焦点検出画素が配置された場合の、各画素のデータをＧｉｊ、Ｂｉｊ、Ｒｉｊで示す図 像の連続性の方向を示す図 横軸が焦点検出画素配列と直交する方向（列方向）の画素位置、縦軸が画素位置における画素データを示す図 変形例の撮像素子の正面図 図１８に示す変形例の撮像素子に用いる焦点検出画素の正面図

符号の説明

１０；マイクロレンズ、１１，１２，１３；光電変換部、２０１；デジタルスチルカメラ、２０２；交換レンズ、２１２、２１２Ａ；撮像素子、２１９；ボディ駆動制御装置、３１０；撮像画素、３１１、３１３、３１４、３１５、３１６；焦点検出画素

Claims (14)

1. 光学系による像を受光して画素信号を出力する撮像画素を二次元に配列するとともに、前記撮像画素の配列中に前記撮像画素とは異なる非撮像画素を配列した撮像素子と、
   前記非撮像画素の周辺に配置された前記撮像画素の前記画素信号に基づいて、前記画素信号の連続性がある方向を検出する連続性検出手段と、
   前記非撮像画素の周辺に配置された前記撮像画素の前記画素出力を前記連続性がある方向に応じて処理することによって、前記非撮像画素の位置における画素信号を求める演算手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記連続性検出手段は、前記非撮像画素を基準とする前記撮像素子上の複数の方向に沿った複数の撮像画素が出力する前記画素信号の出力の変化が少ない方向を前記連続性がある方向として検出することを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記撮像素子は、異なる分光特性を有する複数種類の前記撮像画素が一定の法則にしたがって異なる密度で配置されており、
   前記演算手段は、前記複数種類の撮像画素の中の配置密度が相対的に高い前記撮像画素の位置に配置された前記非撮像画素に対する前記画素信号の演算と、前記複数種類の撮像画素の中の配置密度が相対的に低い前記撮像画素の位置に配置された前記非撮像画素に対する前記画素信号の演算とを、それぞれ異なる処理により行うことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記複数種類の撮像画素の中の配置密度が相対的に高い前記撮像画素の位置に配置された前記非撮像画素に対する前記画素信号の演算は、前記連続性のある方向において当該非撮像画素周辺の配置密度が相対的に高い前記撮像画素から出力される画素信号を平均化する処理であることを特徴とする撮像装置。
5. 請求項３に記載の撮像装置において、
   前記複数種類の撮像画素の中の配置密度が相対的に低い前記撮像画素の位置に配置された前記非撮像画素に対する前記画素信号の演算は、当該非撮像画素周辺における配置密度が相対的に高い前記撮像画素の画素信号と配置密度が相対的に低い前記撮像画素の画素信号との比により生成する処理であることを特徴とする撮像装置。
6. 請求項１または請求項２に記載の撮像装置において、
   前記演算手段は、前記連続性のある方向が前記非撮像画素の配列方向と一致した場合には、前記非撮像画素の配列方向と垂直な方向の前記非撮像画素周辺の前記撮像画素の画素信号に基づいて内挿を行うことを特徴とする撮像装置。
7. 請求項１または請求項２に記載の撮像装置において、
   前記非撮像画素近傍の入射光の分光分布に基づいて当該非撮像画素の位置における画素信号を推定する推定手段と、
   前記非撮像画素周辺の前記撮像画素の画素信号を統計平均して当該非撮像画素の位置における画素信号を算出する平均手段と、
   前記平均手段により算出した前記画素信号を基準にして前記演算手段により演算した前記画素信号と前記推定手段により推定した前記画素信号とを比較し、前記演算手段により演算した前記画素信号と前記推定手段により推定した前記画素信号の内のいずれか一方を最終的な画素信号に選択する選択手段とを備えることを特徴とする撮像装置。
8. 請求項１または請求項２に記載の撮像装置において、
   前記非撮像画素周辺の前記撮像画素の画素信号に基づいて、当該非撮像画素周辺の前記像に一様性があるか否かを判定する判定手段と、
   前記非撮像画素周辺の前記撮像画素の画素信号を統計平均して当該非撮像画素の位置における画素信号を算出する平均手段と、
   前記判定手段により一様性があると判定された場合は、前記平均手段により算出された前記画素信号を前記非撮像画素の位置における最終的な画素信号に決定する決定手段とを備えることを特徴とする撮像装置。
9. 請求項１〜８のいずれか１項に記載の撮像装置において、
   前記非撮像画素は、前記光学系の焦点調節状態を検出するための画素信号を出力する焦点検出画素であることを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    前記撮像画素の二次元配列は、赤画素、緑画素および青画素のベイヤー配列であることを特徴とする撮像装置。
11. 請求項９または請求項１０に記載の撮像装置において、
    前記焦点検出画素は、前記緑画素と前記青画素が直線上に配列された行または列の一部に配列されることを特徴とする撮像装置。
12. 請求項９〜１１のいずれか１項に記載の撮像装置において、
    前記焦点検出画素は、マイクロレンズと光電変換部から構成されることを特徴とする撮像装置。
13. 請求項１２に記載の撮像装置において、
    前記焦点検出画素は、前記光学系の射出瞳の一対の領域を通過する一対の光束によって形成される一対の像に応じた焦点検出用信号を出力することを特徴とする撮像装置。
14. 光学系による像を受光して画素信号を出力する撮像画素を二次元に配列するとともに、前記撮像画素の配列中に前記撮像画素とは異なる非撮像画素を配列した撮像素子を用いた撮像方法において、
    前記非撮像画素の周辺に配置された前記撮像画素の前記画素信号に基づいて、前記画素信号の連続性がある方向を検出し、前記非撮像画素の周辺に配置された前記撮像画素の前記画素出力を前記連続性がある方向に応じて処理することによって、前記非撮像画素の位置における画素信号を求めることを特徴とする撮像方法。

Images