JP2008015754A - 撮像装置、画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像にボケを付加する。
【解決手段】光学系により結像した画像を撮像素子で撮像するとともに、撮像画像におけるデフォーカス量分布を検出し、画像データに対してデフォーカス量分布に基づく処理を施す。
【選択図】図１０

Description

本発明は、撮像された画像に処理を施す撮像装置、画像処理装置および画素処理方法に関する。

所定の視差を有する一対の撮影レンズで同時に一対の画像を撮影し、これらの一対の画像に基づいて求められた被写界の距離分布に基づいて、一対の画像の内の一方の画像に対しボケを付加する画像処理を施すようにした画像処理装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開平０９−１８１９６６号公報

しかし、上述した従来の画像処理装置には次のような問題がある。
ボケ量はデフォーカス量（予定結像面と実際の結像面との差）に比例するので、ボケ量を演算する過程でデフォーカス量を算出する必要があるが、被写体距離のみに基づいて直接的にデフォーカス量を算出することはできない。ピントを合わせたい主要被写体の距離（合焦距離）を指定し、合焦距離と被写体距離の差に基づいてデフォーカス量を算出する必要がある。したがって、合焦距離を入力する装置が必要になるとともに、合焦距離の誤差に応じてデフォーカス量およびボケ量も誤差を生じる。
また、合焦距離と被写体距離の差に基づいてデフォーカス量を算出する過程においては、撮影レンズの焦点距離等の光学パラメータが必要となる。光学的パラメータを入力する入力装置が必要になるとともに、光学的パラメータの誤差に応じてデフォーカス量およびボケ量も誤差を生じる。

（１） 請求項１の発明は、光学系により結像した画像のデータを生成する撮像素子と、画像におけるデフォーカス量分布を検出するデフォーカス量分布検出手段と、画像データに対してデフォーカス量分布に基づく処理を施す画像処理手段とを備える。
（２） 請求項２の撮像装置は、撮像素子が、マイクロレンズと光電変換部を有する複数の画素が二次元状に配列されており、マイクロレンズに関して光電変換部と光学系の射出瞳とを共役としたものである。
（３） 請求項３の撮像装置は、撮像素子が光学系の射出瞳上の異なる領域を通過した光束をそれぞれ受光して対の画像のデータを生成し、対の画像のデータを加算して合成画像を生成する画像合成手段を備え、画像処理手段によって、合成画像に対してデフォーカス量分布に基づく処理を施すようにしたものである。
（４） 請求項４の撮像装置は、デフォーカス量分布検出手段によって対の画像のズレ量に基づいてデフォーカス量を算出し、合成画像におけるデフォーカス量分布を検出するようにしたものである。
（５） 請求項５の撮像装置は、撮像素子が光学系の射出瞳上の並び方向の異なる複数対の領域を通過した光束をそれぞれ受光して複数対の画像のデータを生成し、複数対の画像のデータを加算して合成画像を生成する画像合成手段を備え、画像処理手段によって、合成画像に対してデフォーカス量分布に基づく処理を施すようにしたものである。
（６） 請求項６の撮像装置は、デフォーカス量分布検出手段によって複数対の画像のズレ量に基づいて複数対の領域の並び方向に応じた複数のデフォーカス量を算出し、合成画像におけるデフォーカス量分布を検出するようにしたものである。
（７） 請求項７の撮像装置は、デフォーカス量分布検出手段によって、デフォーカス量が検出不能な画像の中の領域に対しては、当該領域の周囲の領域におけるデフォーカス量に応じて当該領域のデフォーカス量を決定するようにしたものである。
（８） 請求項８の撮像装置は、デフォーカス量分布検出手段によって、デフォーカス量が検出不能な画像の中の領域に対しては、画像の画像特性分布情報に基づいて当該領域のデフォーカス量を決定するようにしたものである。
（９） 請求項９の撮像装置は、デフォーカス量分布検出手段によって、画像の輝度情報、色相情報、彩度情報およびコントラスト情報の内の少なくとも一つを検出し、画像特性分布情報として用いるようにしたものである。
（１０） 請求項１０の撮像装置は、デフォーカス量分布検出手段によって、画像の輪郭情報を検出して画像特性分布情報として用いるようにしたものである。
（１１） 請求項１１の撮像装置は、デフォーカス量分布検出手段によって、画像を複数の領域に分割して各領域ごとにデフォーカス量を検出するようにしたものである。
（１２） 請求項１２の撮像装置は、画像処理手段によって、画像に対してデフォーカス量に応じたボケ付加処理を施すようにしたものである。
（１３） 請求項１３の撮像装置は、デフォーカス量分布検出手段によって、複数の領域で検出されたデフォーカス量を複数のデフォーカス量グループに類別するようにしたものである。
（１４） 請求項１４の撮像装置は、デフォーカス量分布検出手段によって、複数の領域で検出されたデフォーカス量のヒストグラムに基づいて複数のデフォーカス量グループに類別するようにしたものである。
（１５） 請求項１５の撮像装置は、画像処理手段によって、画像からデフォーカス量グループごとの画像を分類して抽出し、抽出した各画像に対してデフォーカス量に応じたボケ付加処理を施した後に、分類した画像を再合成して画像を生成するようにしたものである。
（１６） 請求項１６の撮像装置は、ボケ付加処理を高周波成分カットフィルター処理としたものである。
（１７） 請求項１７の撮像装置は、画像処理手段によって、画像にデフォーカス量と画像処理パラメーターに応じたボケ付加処理を施すようにしたものである。
（１８） 請求項１８の撮像装置は、画像処理手段によって、画像にデフォーカス量、画像処理パラメーターおよび合焦位置オフセット用ピント調整パラメーターに応じたボケ付加処理を施すようにしたものである。
（１９） 請求項１９の撮像装置は、画像データとデフォーカス量分布とを可搬記録媒体に記録するようにしたものである。
（２０） 請求項２０の撮像装置は、対の画像データを可搬記録媒体に記録するようにしたものである。
（２１） 請求項２１の発明は、画像のデータと前記画像のデフォーカス量分布を入力する入力手段と、画像に対してデフォーカス量分布に基づく処理を施す画像処理手段とを備える。
（２２） 請求項２２の発明は、画像のデータと前記画像のデフォーカス量分布を入力し、画像に対してデフォーカス量分布に基づく処理を施す。

本発明によれば、得られた画像に対して簡単な構成で精度よくボケを付加することができる。

本願発明の画像処理装置を備えた撮像装置を、デジタルスチルカメラに適用した一実施の形態を説明する。図１は一実施の形態の構成を示す。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２はマウント部２０４によりカメラボディ２０３に装着される。

交換レンズ２０２はレンズ駆動制御装置２０６、絞り２０７、ズーミング用レンズ２０８、レンズ２０９、フォーカシング用レンズ２１０などを備えている。レンズ駆動制御装置２０６は、マイクロコンピューターとメモリなどの周辺部品から成り、フォーカシング用レンズ２１０と絞り２０７の駆動制御、絞り２０７、ズーミング用レンズ２０８およびフォーカシング用レンズ２１０の状態検出、後述するボディ駆動制御装置２１４に対するレンズ情報の送信とカメラ情報の受信などを行う。

カメラボディ２０３は撮像素子２１１、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１１には後述する画素が二次元状に配列されており、交換レンズ２０２の予定結像面に配置されて交換レンズ２０２により結像される被写体像を撮像する。ボディ駆動制御装置２１４はマイクロコンピューターとメモリなどの周辺部品から成り、撮像素子２１１からの画像信号の読み出し、画像信号の補正、交換レンズ２０２の焦点調節状態の検出、レンズ駆動制御装置２０６からのレンズ情報の受信とカメラ情報（デフォーカス量）の送信、デジタルスチルカメラ全体の動作制御などを行う。ボディ駆動制御装置２１４とレンズ駆動制御装置２０６は、マウント部２０４の電気接点部２１３を介して通信を行う。

液晶表示素子駆動回路２１５は、液晶ビューファインダー（ＥＶＦ：電気的ビューファインダー）の液晶表示素子２１６を駆動する。撮影者は接眼レンズ２１７を介して液晶表示素子２１６に表示された像を観察することができる。メモリカード２１９はカメラボディ２０３に脱着可能であり、画像信号を格納記憶する可搬記憶媒体である。

交換レンズ２０２を通過して撮像素子２１１上に形成された被写体像は、撮像素子２１１により光電変換され、その出力はボディ駆動制御装置２１４へ送られる。ボディ駆動制御装置２１４は、撮像素子２１１の出力に基づいて画面上におけるデフォーカス分布情報を生成し、デフォーカス分布情報に応じて撮像素子出力に画像処理を加える。また、ボディ駆動制御装置２１４は、画素出力に基づいて所定の焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。さらに、ボディ駆動制御装置２１４は、撮像素子２１１の出力に基づいて生成した画像信号をメモリカード２１９に格納するとともに、画像信号を液晶表示素子駆動回路２１５へ送り、液晶表示素子２１６に画像を表示させる。撮影者は液晶表示素子２１６に表示された画像を、接眼レンズ２１７を介して観察することができる。

カメラボディ２０３には不図示の操作部材（シャッターボタン、焦点検出位置の設定部材、画像処理調整パラメータ入力部材等）が設けられており、これらの操作部材からの操作状態信号をボディ駆動制御装置２１４が検出し、検出結果に応じた動作（撮像動作、焦点検出位置の設定動作、画像処理動作）の制御を行う。

レンズ駆動制御装置２０６はレンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、レンズ駆動制御装置２０６は、レンズ２０８、２１０の位置と絞り２０７の絞り位置をモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシングレンズ２１０を不図示のモーター等の駆動源により合焦点へと駆動する。

図２は撮像素子２１１の画素配列構成を示す正面拡大図である。撮像素子２１１には、画素３１１と画素３１２が二次元状に規則的に配列されている。

図３は画素の構成を示す。図３(ａ)に示すように、画素３１２はマイクロレンズ１０と光電変換部１３とから構成される。光電変換部１３はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。また、図３(ｂ)に示すように、画素３１１はマイクロレンズ１０と光電変換部１２とから構成される。光電変換部１２はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。光電変換部１２と１３は、マイクロレンズ１０を重ね合わせて表示した場合に左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。撮像素子２１１には、画素３１１と画素３１２が水平方向（光電変換部１２と１３の並び方向）に交互に配置された画素行が、垂直方向に１行おきに１画素ずらして配置される

図４は画素の断面図である。(ａ)は画素３１１の断面を示す。画素３１１において、光電変換部１２の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２が前方に投影される。光電変換部１２は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部１２はマイクロレンズ１０の光軸の片側に配置される。(ｂ)は画素３１２の断面を示す。画素３１２において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサの製造工程により一体的かつ固定的に形成される。光電変換部１３はマイクロレンズ１０の光軸の片側でかつ光電変換部１２の反対側に配置される。

次に、図５を参照してマイクロレンズを用いた瞳分割型位相差検出方式焦点検出の原理を説明する。図５において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄ４の距離に設定された射出瞳である。なお、距離ｄ４は、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離という。９１は交換レンズの光軸、１０ａ〜１０ｃはマイクロレンズ、１２ａ、１２ｂ、１３ａ、１３ｂは光電変換部、３１１ａ、３１１ｂ、３１２ａ、３１２ｂは画素、７２，７３、８２，８３は光束である。

９２は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１２ａ、１２ｂの領域である。この明細書では領域９２を測距瞳と呼ぶ。なお、図５では解りやすくするために楕円形状の領域で表すが、実際には光電変換部１２ａ、１２ｂの形状が拡大投影された形状となる。同様に、９３は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１３ａ、１３ｂの領域、すなわち測距瞳である。なお、図５では解りやすくするために楕円形状の領域で表すが、実際には光電変換部１３ａ、１３ｂの形状が拡大投影された形状となる。

図５では、隣接する４画素３１１ａ、３１１ｂ、３１２ａ、３１２ｂを模式的に例示しているが、その他の画素においても同様に、光電変換部がそれぞれ対応した測距瞳から各マイクロレンズに到来する光束を受光する。

マイクロレンズ１０ａ〜１０ｃは交換レンズの予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｃによりその背後に配置された光電変換部１２ａ、１２ｂ、１３ａ、１３ｂの形状がマイクロレンズ１０ａ〜１０ｃから測距瞳距離ｄ４だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄ４にある射出瞳９０上で各画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように、各画素における光電変換部の投影方向が決定されている。

光電変換部１２ａは測距瞳９２を通過し、マイクロレンズ１０ａに向う光束７２によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。また、光電変換部１２ｂは測距瞳９２を通過し、マイクロレンズ１０ｃに向う光束８２によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。さらに、光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ｂに向う光束７３によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。また、光電変換部１３ｂは測距瞳９２を通過し、マイクロレンズ１０ｄに向う光束８３によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。

このような２種類の画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９２および測距瞳９３に対応した出力グループにまとめることによって、測距瞳９２と測距瞳９３を各々通過する焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。そして、この像ズレ量に所定の変換係数を乗ずることにより、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。

図６は射出瞳面における投影関係を示す図である。各画素から光電変換部をマイクロレンズにより射出瞳面９０に投影した測距瞳９２，９３は、光学系の射出瞳８９を含むような大きさに設定されている。したがって、実際に画素の光電変換部が受光する光束は、測距瞳９２，９３を光学系の射出瞳８９で絞り込んだ領域を通過する光束となる。このように、測距瞳９２、９３を光学系の射出瞳８９より大きな領域に設定することによって、光学系の絞りを制御したときに光電変換部で絞りの制御量に応じた光量を受光することが可能になり、画素の出力を画像データとして用いるのに適した構成となる。

図７により、瞳分割型位相差検出方式における像の形成状態を説明する。図７(ａ)に示すように、光学系の射出瞳面９０において測距瞳９２、９３に分割され、像を形成する光束は測距瞳９２を通過する光束７２と、測距瞳９３を通過する光束７３とに分割される。このような構成により、例えば光軸９１上にあり図７の紙面に垂直な方向の線パターン（黒地に白線）を光学系により結像させた場合、合焦面Ｐ０においては測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図７(ｃ)に示すように光軸９１上の同じ位置に高コントラストな線像パターンを形成する。

一方、合焦面Ｐ０より前方の面Ｐ１においては、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図７(ｂ)に示すように異なる位置にぼけた線像パターンを形成する。また、合焦面Ｐ０より後方の面Ｐ２においては、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図７(ｄ)に示すように、図７(ｂ)とは反対方向の異なる位置にぼけた線像パターンを形成する。したがって、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３とにより形成される２つの像を分離して検出し、２つの像の相対的な位置関係（像ズレ量）を算出することによって、２つの像を検出した面における光学系の焦点調節状態を検出できる。

図８は、一実施の形態のデジタルスチルカメラ（撮像装置）の動作を示すフローチャートである。ボディ駆動制御装置２１４は、カメラの電源がオンされるとこの動作を繰り返し実行する。ステップ１００で電源がオンされるとステップ１１０へ進み、撮像素子２１１から一対の画像データ（２種類の画素のデータ）を読み出し、一対の画像データを加算して基本画像データを生成する。ステップ１２０では画面を微小領域に分割した微小ブロックごとに後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算し、さらにデフォーカス量を算出してデフォーカス分布情報を生成する。

ステップ１３０において、デフォーカス分布情報に基づいて基本画像データに対してボケ制御の画像処理を行う。この処理については詳細を後述する。続くステップ１４０では画像処理が行われた基本画像データを電子ビューファインダーに表示させる。ステップ１５０で焦点検出位置のデフォーカス量が合焦近傍か否か、つまり算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。なお、焦点検出位置は不図示の位置設定操作部材を用いて撮影者により指定されている。合焦近傍でないと判定した場合はステップ１６０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信して交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。なお、焦点検出不能な場合もステップ１６０へ分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。

合焦近傍であると判定した場合はステップ１７０へ進み、不図示の操作部材の操作によりシャッターレリーズがなされたか否かを判定し、なされていないと判定された場合はステップ１１０へ戻って上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップ１８０へ進み、撮像素子２１１に撮像動作を行わせ、撮像素子２１１から一対の画像データ（２種類の画素のデータ）を読み出し、一対の画像データを独立にメモリーカード２１９に格納する。

図９により、図８のステップ１２０で実行されるデフォーカス量算出処理の詳細を説明する。微小ブロックにおける一対の画素データを（Ｅ(１)〜Ｅ(ｍ)）、（Ｆ(１)〜Ｆ(ｍ)、ｍはデータ数）と一般化して表現した場合に、データ系列（Ｅ(１)〜Ｅ(ｍ)）に対しデータ系列（Ｆ(１)〜Ｆ(ｍ)を相対的にずらしながら数式１により２つのデータ列間のずらし量ｋにおける相関量Ｃ(ｋ)を演算する。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）−Ｆ（ｎ＋ｋ）｜ ・・・（１）
（１）式において、Σ演算はｎについて計算される。このΣ演算においてｎ、ｎ＋ｋのとる範囲は１〜ｍの範囲に限定される。また、ずらし量ｋは整数であり、一対のデータの検出ピッチを単位とした相対的シフト量である。

（１）式の演算結果は、図９(ａ)に示すように、一対のデータ系列の相関が高いシフト量（図９(ａ)ではｋ＝ｋj＝２）において相関量Ｃ（ｋ）が最小（小さいほど相関度が高い）になる。続いて下記（２）〜（５）式による３点内挿の手法を用い、連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・（２），
Ｃ（ｘ）＝ Ｃ（ｋj）−｜Ｄ｜ ・・・（３），
Ｄ＝｛Ｃ（ｋj-１）−Ｃ（ｋj＋１）｝／２ ・・・（４），
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj＋１)−Ｃ(ｋj)，Ｃ(ｋj-１)−Ｃ(ｋj)｝ ・・・（５）

（２）式で求めたシフト量ｘより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを下記（６）式で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（６）
（６）式において、ＰＹは検出ピッチ（同一種類の画素の配置ピッチ）であり、ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。また、一対のデータ系列がぴったり合致した場合（ｘ＝０）は、実際にはデータ列が検出ピッチの半分だけすれた状態となるので、（２）式で求めたシフト量は半ピッチ分だけ補正されて（６）式に適用される。さらに、一対の測距瞳を通過する光束の重心の開き角の大きさは、交換レンズ２０２の絞り開口の大きさ（開放絞り値）に応じて変化するので、レンズ情報に応じて決定される。

算出されたデフォーカス量ＤＥＦの信頼性があるかどうかは、以下のようにして判定される。図９(ｂ)に示すように、一対のデータ系列の相関度が低い場合は、内挿された相関量の最小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。

図９(ｃ)に示すように、一対のデータ系列の相関度が低く、所定のシフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(ｋ)の落ち込みがない場合は、最小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。焦点検出が可能であった場合は、算出された像ズレ量に所定の変換係数を乗じてデフォーカス量を算出する。

上述した説明では一対のデータ系列について求めたデフォーカス量を採用しているが、同一微小ブロック内の複数対のデータ系列について求めたデフォーカス量を統計処理（例えば平均やメディアンなど）をして最終的なデフォーカス量を求めてもよい。

図１０は、図８のステップ１１０〜１３０における画像処理の概要を示すブロック図である。右測距瞳画像デ−タＲ（ｘ,ｙ）、左測距瞳画像データＬ（ｘ,ｙ）を加算して基本画像データｇ（ｘ,ｙ）を算出する。ここで、（ｘ,ｙ）は画素の２次元の離散的な位置を表し、図２に示す撮像素子２１１においてｘが水平方向、ｙが垂直方向に対応する。ただし、右測距瞳画像デ−タＲ（ｘ,ｙ）はｘが奇数の場合のみ存在し、左測距瞳画像データＬ（ｘ，ｙ）はｘが偶数の場合のみ存在するものとする。
ｇ(ｘ,ｙ)＝Ｒ(ｘ,ｙ)＋（Ｌ(ｘ-１,ｙ)＋Ｌ(ｘ+１,ｙ)）／２、Ｉｆ ｘ：奇数、
ｇ(ｘ,ｙ)＝Ｌ(ｘ,ｙ)＋（Ｒ(ｘ-１,ｙ)＋Ｒ(ｘ+１,ｙ)）／２、Ｉｆ ｘ：偶数
・・・（７）
デフォーカス分布情報データｄ（ｐ，ｑ）を、図９に説明すように分割された微小ブロックごとに算出する。ここで、(ｐ,ｑ)は微小ブロックの２次元の離散的な位置を表す。

微小ブロック内の基本画像データｇ（ｘ，ｙ）に対し、微小ブロックのデフォーカス量および外部より指定された画像処理制御パラメータに応じて画像処理を施し、画像処理済みの基本画像データＧ（ｘ，ｙ）を生成する。
Ｇ（ｘ,ｙ）＝Ｆ（ｇ（ｘ，ｙ），ｄ，ｚ） ・・・（８）
関数Ｆは、デフォーカス量ｄとパラメータｚに応じて画像データに画像処理を加える関数である。

このように、右測距瞳画像デ−タと左測距瞳画像データを加算した基本画像データに対して画像処理を行っているので、焦点調節に応じて画像の重心位置が移動することがなく、画像処理済みの基本画像データを電子ビューファインダーで表示した場合でも違和感なく自然に観察することができる。一方の画像データのみに画像処理を加えた場合には、焦点調節状に応じて画像の重心位置が移動してしまうので、電子ビューファインダーで表示した場合に違和感が生じ、不自然さが感じられてしまう（図７参照）。

また、一方の画像データのみに画像処理を加えた場合には、もともとの画像データが一対の測距瞳の片側の測距瞳を通過する光束により形成される像に対応しているので、測距瞳の形状（絞りにより制限されるので半円状になる）を反映したボケ味になり、ボケを加味した後の画像データでも電子ビューファインダーで表示した場合に違和感が生じ、不自然さが感じられてしまう。

図１１は、図８のステップ１２０〜１３０における画像処理の詳細を示すフローチャートである。ステップ２００において画面を図１２に示すように微小ブロック１０１に分割し、微小ブロックごとにデフォーカス量を算出する。これにより、画面全体に渡り図１３に示すような二次元状のデフォーカス量ｄの分布情報（デフォーカス分布情報ｄ（ｐ、ｑ））が得られる。ステップ２１０でデフォーカス分布情報ｄ（ｐ、ｑ）に基づいてデフォーカス量ｄのヒストグラムを算出する（図１４参照）。

ステップ２２０において、デフォーカス量ｄのヒストグラムに基づいて頻度が低いデフォーカス量を境界としてデフォーカス量を複数の範囲に類別する。ここでは、図１５に示すような基本画像データを例に上げて説明する。図１５において、近景が主要被写体の人物であり、中景が建物、遠景が空と雲になっている。この基本画像データに対しデフォーカス量ｄのヒストグラムをとると、図１４に示すように、近景に対応した部分１１３、中景に対応した部分１１４、遠景に対応した部分１１５に大まかに類別することができる。部分１１３と１１４の中間（谷間）にしきい値デフォーカス量ｄ１を、部分１１４と１１５の中間にしきい値デフォーカス量ｄ２をそれぞれ設定し、デフォーカス範囲をＬ１（＋∞＞ｄ≧ｄ１）、Ｌ２（ｄ１＞ｄ≧ｄ２）、Ｌ３（ｄ２＞ｄ＞−∞）の３つの範囲に分割する。各デフォーカス範囲Ｌ１、Ｌ２、Ｌ３を代表するデフォーカス量をＤＬ１、ＤＬ２、ＤＬ３とする。

ステップ２３０では微小ブロックのデフォーカス量ｄがどのデフォーカス範囲に属するかによって、微小ブロックを４つのデフォーカス属性（Ｈ０：焦点検出不能、Ｈ１：デフォーカス範囲Ｌ１、Ｈ２：デフォーカス範囲Ｌ２、Ｈ３：デフォーカス範囲Ｌ３）に類別する（図１６参照）。ステップ２４０において、低コントラスト等の原因で焦点検出不能な微小ブロック（属性Ｈ０）に対して、周囲の微小ブロックとの画像特性と類似性に基づいてデフォーカス特性Ｈ１，Ｈ２，Ｈ３を決定する。

例えば、基本画像データより肌色の領域（図１７の１３０）を切り出し、この領域に含まれる微小ブロックのデフォーカス属性が１つの属性Ｈ１に集中している場合には、この領域に属する焦点検出不能な微小ブロックの属性をＨ１とする。あるいは、この領域の外形輪郭部分に属する微小ブロックのデフォーカス属性が１つの属性Ｈ１に集中している場合には、この領域に属する焦点検出不能な微小ブロックの属性をＨ１とする。また、例えば基本画像データに対して輪郭抽出の画像処理を施した画像データ（図１８参照）に基づき、輪郭線１３１を含む微小ブロックが焦点検出不能である場合には、輪郭線が連続している方向の周囲の焦点検出可能な微小ブロックのデフォーカス属性を該焦点検出不能な微小ブロックの属性として採用する。

焦点検出不能な微小ブロックのデフォーカス属性決定方法は上記の方法に限定されず、焦点検出不能な微小ブロックと焦点検出可能な周囲の微小ブロックとの画像特性の類似性および連続性に基づいて決定することができる。画像特性としては、輝度情報、色相情報、彩度情報、コントラスト情報などを使用することができる。

ステップ２５０で微小ブロックのデフォーカス属性に基づいて微小ブロックをグループ化する。ここでは、図１９に示すように、グループＪ１、グループＪ２、グループＪ３に分類する。続くステップ２６０では同一グループに属する微小ブロックをまとめ、グループごとに抜き出す。図２０にはグループＪ１を、図２１にはグループＪ２を、図２２にはグループＪ３をそれぞれ抜き出した例を示す。次に、抜き出した領域に対応する基本画像データ部分を切り出す。図２３(ａ)にはグループＪ１に対応する基本画像データ部分を、図２４(ａ)にはグループＪ２に対応する基本画像データ部分を、図２５(ａ)にはグループＪ３に対応する基本画像データ部分をそれぞれ示す。

ステップ２７０において、切り出した部分画像データに対して、デフォーカス属性と指定された画像処理制御パラメータに応じた画像処理を施し、グループごとに画像レイヤーを生成する。図２３(ｂ)にグループＪ１に対応する画像レイヤーを、図２４(ｂ)にグループＪ２に対応する画像レイヤーを、図２５(ｂ)にグループＪ３に対応する画像レイヤーをそれぞれ示す。ステップ２８０で画像レイヤーを距離に応じた順序に重ねていき、最終的な画像処理済みの基本画像データを生成する。ここでは、遠景が下、近景が上になる順序で重ねる。図２６は遠景の上に中景を重ねた段階の画像を示し、図２７は図２６の上に近景を重ね完成した段階の画像を示す。

次に、ステップ２７０における画像処理を詳細に説明する。部分画像Ｗ（ｘ,ｙ）に対し、この部分画像のデフォーカス属性および指定された画像処理制御パラメータに基づいて画像処理が施される。ここでは、画像処理例としてボケ付加処理を行う。部分画像Ｗ（ｘ,ｙ）に対し、ボケによる点像分布関数（ポイントスプレッドファンクションＰＳＦ(ｘ,ｙ)）をコンボルーション演算（フィルタリング演算）し、処理済み部分画像Ｖ（ｘ,ｙ）を生成する。
Ｖ（ｘ，ｙ）＝Ｗ（ｘ，ｙ）◇ＰＳＦ（ｘ，ｙ） ・・・（９）
（９）式において、◇ は二次元のコンボルーション演算を表す。なお、∫∫ＰＳＦ(ｘ,ｙ)dxdy＝１とする。

点像分布関数ＰＳＦ(ｘ,ｙ)は例えば次のようにする。
ＰＳＦ（ｘ，ｙ）＝１／（π＊ｒ２） ｉｆ ｘ２＋ｙ２≦ｒ２，
ＰＳＦ（ｘ，ｙ）＝０ ｉｆ ｘ２＋ｙ２＞ｒ２ ・・・（１０）
（１０）式において、ｒは点像ボケの半径、ただしｒ＝０の場合はＰＳＦ(ｘ,ｙ)＝δ(ｘ,ｙ)とする。
ｒ＝Ｚｆ・｜ｄＬ｜ ・・・（１１）
（１１）式において、Ｚｆは画像処理制御パラメータであり、不図示の操作部材の操作により手動で入力されるか、あるいは露出制御に応じて自動で入力される絞り開口Ｆ値に相当するパラメータである。また、ｄＬは部分画像のデフォーカス属性に応じたデフォーカス量である。例えばデフォーカス属性Ｈ１（デフォーカス範囲Ｌ１）についてはデフォーカス量ｄＬ１、デフォーカス属性Ｈ２（デフォーカス範囲Ｌ２）についてはデフォーカス量ｄＬ２、デフォーカス属性Ｈ３（デフォーカス範囲Ｌ３）についてはデフォーカス量ｄＬ３となる（図１４参照）。

（１１）式により、半径ｒの値はデフォーカス量ｄＬと入力値Ｚｆに応じて変化するので、部分画像に加えられる画像処理の量も変化する。例えば図１４においてデフォーカス量ｄＬ１＝０とすれば、図２３に示すように画像処理前の基本画像データ（ａ）と画像処理後の基本画像データ（ｂ）は変化しないが、デフォーカス量ｄＬが大きくなるほど画像処理後の基本画像データのボケ量は大きくなる。また、パラメータＺｆの値が大きくなるほど画像処理後の基本画像データのボケ量は大きくなる。

画像処理制御パラメータＺｆを入力するための操作部材は、露光時の絞り開口Ｆ値を設定するために通常使用される操作部材を拡張して使用することができる。例えば、交換レンズに設けられている絞り設定のための絞り環の操作に応じて、絞り開口の大きさが対応できる限界までは絞りを制御してビューファインダー表示や撮像を行い、絞り開口の限界を超えた絞り設定の場合は、画像処理による画像をビューファインダー表示や撮像に使用することができる。もちろん、画像処理専用のパラメータ入力操作部材を設けてもよい。

点像分布関数ＰＳＦ（ｘ，ｙ）は（１１）式に示すようなステップ関数に限定されず、関数の形状がなめらかに変化するものであってもよい。関数の形状、大きさを調整することによってボケ味の制御を行うことができる。

上述した画像処理では部分画像に対し個別の画像処理を加え、画像処理後の部分画像を合成することによって最終的な画像処理済み画像を生成している。デフォーカス量のヒストグラムに応じて、相対的な距離が近接している被写体が同じ部分画像に入るように部分画像の切り出しを行っているので、画像処理後の部分画像を合成した場合にも、違和感のない自然な合成画像を得ることができる。また、画像処理後の部分画像を合成する際に、部分画像のつなぎ目近傍(境界近傍)がより自然になるような画像処理、例えば平均化処理や輪郭強調処理を施してもよい。

また、デフォーカス量とボケ量を関係づける式は（１１）式に限定されず、合焦位置オフセット用のピント調整パラメーターＯｆｆを加えた次式を用いてもよい。
ｒ＝Ｚｆ・｜ｄＬ−Ｏｆｆ｜ ・・・（１２）
合焦位置オフセット用のピント調整パラメーターＯｆｆを手動または自動で調整することによって、基本画像データに対してフォーカス位置を調整変更した画像処理済みの基本画像データを生成することも可能になる。

基本画像データの生成に関しては（７)式のような単純加算平均に限定されず、画像の重心位置がデフォーカス量に応じて変化しない処理であれば、重み付け加算平均やその他の合成演算処理を用いることができる。

焦点検出不能な微小ブロックに対し、すべて周囲の微小ブロックとの関係に基づいてデフォーカス量を決定する必要はない。例えば、コントラストが低い画像は画像処理を加えても変化が少ないので、コントラストが所定しきい値値以下の焦点検出不能な微小ブロックに対しては画像処理を加えずにそのまま合成に使用するようにしてもよい。

画像処理としては（９）式のようなボケ付加処理に限定されず、例えばデフォーカス量ｄＬに応じたパラメータにより鮮明化処理（ハイパスフィルタ処理）を行うことによって、ボケた画像データを回復する画像処理を行ってもよい。このような撮影後にデフォーカス量に応じた鮮明化処理が可能になれば、容易にパンフォーカス画像を得ることができる。また、光量不足のために絞り開口を大きくして撮影せざるを得ない場合にも、撮影した画像データから被写界深度の深い画像データを得ることができる。

画像処理としてボケの付加や鮮明化だけでなく、ボケ味（絞り開口形状を反映したボケ形状）を採用することができる。例えば、通常の絞り形状（円形）で撮影した画像データに対し、反射方式のレンズで撮影した場合に生じるリング状のボケとなるような画像処理を施したり、多角形の絞りで撮影した画像データを画像処理して、円形絞りで撮影した画像データにすることも可能である。

また、特定のデフォーカス範囲の画像のみに画像処理を加えることも可能である。例えば、前ボケが汚い場合には前ボケ（デフォーカス量が＋）の画像のみにボケ整形画像処理を加え、前ボケが良好な画像を得ることができる。

さらに、デフォーカス量に応じた収差修正処理を行うことも可能である。例えば、デフォーカス量に応じた非点収差やコマ収差などの見苦しいボケが発生する場合でも、本発明の画像処理を適用することにより、好ましいボケに修正することが可能になる。

上述したようにデフォーカス量に応じて部分画像に対し画像処理を加えることによって、物理的な制限（絞り開口の大きさや形状など）に依存せずに、デフォーカス量に応じた効果が加味された画像を得ることができる。また、例えば物理的な制限（絞り開口の大きさ、形状など）をデフォーカス量に応じた描写コントロール（ボケ味調整、被写界深度調整など）以外の撮影コントロール（全体光量調整、周辺光量調整、収差調整、解像度／コントラスト調整、フレアー/迷光調整など）に使わざるを得ない場合においても、後処理によりデフォーカス量に応じた描写コントロールを追加することができる。

《発明の一実施の形態の変形例》
図２８は撮像素子２１１の画素配列の変形例を示す。画素３１１はマイクロレンズ１０と光電変換部１２とから構成される。光電変換部１２はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、画素３１２はマイクロレンズ１０と光電変換部１３とから構成される。光電変換部１３はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。光電変換部１２と１３は、マイクロレンズ１０を重ね合わせて表示した場合、左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。

画素３１６はマイクロレンズ１０と光電変換部１６とから構成される。光電変換部１６はマイクロレンズ１０の水平２等分線に上辺を略接する長方形状である。また、画素３１７はマイクロレンズ１０と光電変換部１７とから構成される。光電変換部１７はマイクロレンズ１０の水平２等分線に下辺を略接する長方形状である。光電変換部１６と１７は、マイクロレンズ１０を重ね合わせて表示した場合、上下垂直方向に並んでおり、マイクロレンズ１０の水平２等分線に関して対称な形状をしている。

光電変換部１６と１７に対応する測距瞳９６、９７を図２９に示す。画素３１６は測距瞳９６から来る光束を受光し、画素３１７は測距瞳９７から来る光束を受光する。測距瞳９６と測距瞳９７は軸ｘに対し線対称に配置される。

図２８に示す撮像素子２１１では、画素３１１と画素３１２が水平方向に交互に配置された第１の画素行の次の行に、画素３１６と画素３１７が水平方向に交互に配置された第２の画素行が配置され、その次の行には第１の画素行を１画素水平方向にずらした第３の行が配置され、その次の行には第２の画素行を１画素水平方向にずらした第４の行が配置される。以上の４行からなる配列を垂直方向に順次配列している。

このように、画素を水平方向および垂直方向に稠密に配置した正方配列の画素配列においては、水平方向、垂直方向において像ズレ検出が可能になる。したがって、微小ブロックのデフォーカス量を算出するにあたり、被写体パターンの方向性によって焦点検出不能になる確率が減少する。

図３０は変形例の画素構成を示す。図３０(ａ)に示すように、画素６０２はマイクロレンズ１０と光電変換部５１３とから構成される。光電変換部５１３はマイクロレンズ１０の垂直２等分線に右辺を略接する半円形状である。また、図３０(ｂ)に示すように、画素６０１はマイクロレンズ１０と光電変換部５１２とから構成される。光電変換部５１２はマイクロレンズ１０の垂直２等分線に左辺を略接する半円形状である。このような光電変換部形状を設定することによって、交換レンスの最大絞り開口（円形）に対し、限られた半導体基板の表面を効率よく利用できる。

図３１は変形例の画素構成を示す。画素６０３はマイクロレンズ１０と一対の光電変換部６１２、６１３とから構成される。光電変換部６１２はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、光電変換部６１３はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。

図３２は、図３１に示す画素６０３の断面図である。画素６０３において、光電変換部６１２、６１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部６１２、６１３が前方に投影される。光電変換部６１２、６１３は、半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサの製造工程により一体的かつ固定的に形成される。光電変換部６１２、６１３は、マイクロレンズ１０の光軸を挟んで振り分けて配置される。

図３３は、図３１に示す画素を二次元状に展開した変形例の撮像素子２１１の画素配列構成を示す。この撮像素子２１１において、画素６０３が二次元的に規則的に配列されている。図３１から図３３の構成により、一対の光電変換部６１２、６１３の並び方向（図３３の水平方向）の像ズレ検出が可能になる。像の検出ピッチが図２の撮像素子に比較して半分になるので、デフォーカス検出精度が向上する。なお、図３３に示す画素配置においては、右測距瞳画像デ−タＲ（ｘ,ｙ）、左測距瞳画像データＬ（ｘ,ｙ）が同じ画素に存在するので、基本画像データｇ（ｘ,ｙ）は（７）式の代わりに下記（１３）式で算出する。
ｇ（ｘ，ｙ）＝Ｒ（ｘ、ｙ）＋Ｌ（ｘ、ｙ） ・・・（１３）
同一の画素における右測距瞳画像デ−タと左測距瞳画像データを合成して基本画像データを生成するので、画像品質が向上する。

図３４は変形例の撮像素子２１１の画素配列構成を示す。撮像素子の光電変換部の分光特性感度はすべて同一である必要はない。図３４に示す撮像素子２１１において、画素４２１，４２２，４２３が二次元状に規則的に配列されている。図３４において、Ｇを記した光電変換部５１、７１は図３５に示す緑（Ｇ）の分光感度特性を有し、Ｒを記した光電変換部５２、７２は図３５に示す赤（Ｒ）の分光感度特性を有し、Ｂを記した光電変換部５３、７３は図３５に示す緑（Ｂ）の分光感度特性を有する。２つの画素４２１と画素４２２，４２３はベイヤー配列をなしている。

画素４２１はマイクロレンズ１０と光電変換部５１、７１とから構成される。光電変換部５１はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、光電変換部７１はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。画素４２２はマイクロレンズ１０と光電変換部５２、７２とから構成される。光電変換部５２はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、光電変換部７２はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。画素４２３はマイクロレンズ１０と光電変換部５３、７３とから構成される。光電変換部５３はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、光電変換部７３はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。

図３６は画素４２１の断面図である。画素４２１において、光電変換部５１、７１の前方に共通のマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部５１、７１が前方に投影される。マイクロレンズと光電変換部の間には緑の色フィルタ４０１が配置される。光電変換部５１、７１は、半導体回路基板２９上に形成されるとともに、その上に色フィルタ４０１およびマイクロレンズ１０が半導体イメージセンサの製造工程により一体的かつ固定的に形成される。画素４２２，４２３も、色フィルタの色以外は同様の構成である。

図３４に示す撮像素子２１１の画素配列構成においては、一対の光電変換部（５１，７１）、（５２、７２）、（５３、７３）の並び方向（図３４の水平方向）の像ズレ検出が緑、赤、青の３色において可能になる。したがって、微小ブロックのデフォーカス量を算出するにあたり、被写体パターンの色によって焦点検出不能になる確率が減少する。

図３７は変形例の撮像素子２１１の画素配列構成を示す。この変形例の撮像素子２１１において、画素４２１，４２３、４２４，４２５が二次元状に規則的に配列されている。図３７において、Ｇを記した光電変換部５１、７１、５４、７４は図３５に示す緑（Ｇ）の分光感度特性を有し、Ｒを記した光電変換部５５、７５は図３５に示す赤（Ｒ）の分光感度特性を有し、Ｂを記した光電変換部５３、７３は図３５に示す緑（Ｂ）の分光感度特性を有する。画素４２１，４２３、４２４，４２５はベイヤー配列をなしている。

画素４２１はマイクロレンズ１０と光電変換部５１、７１とから構成される。光電変換部５１はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、光電変換部７１はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。画素４２３はマイクロレンズ１０と光電変換部５３、７３とから構成される。光電変換部５３はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、光電変換部７３はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。

画素４２４はマイクロレンズ１０と光電変換部５４、７４とから構成される。光電変換部５４はマイクロレンズ１０の水平２等分線に上辺を略接する長方形状である。また、光電変換部７４はマイクロレンズ１０の水平２等分線に下辺を略接する長方形状である。画素４２５はマイクロレンズ１０と光電変換部５５、７５とから構成される。光電変換部５５はマイクロレンズ１０の水平２等分線に上辺を略接する長方形状である。光電変換部７５はマイクロレンズ１０の水平２等分線に下辺を略接する長方形状である。

図３７に示す撮像素子２１１の画素配列構成においては、一対の光電変換部（５１，７１）、（５３、７３）の並び方向（図３７の水平方向）の像ズレ検出が緑、青の２色において可能になるとともに、一対の光電変換部（５４，７４）、（５５、７５）の並び方向（図３７の垂直方向）の像ズレ検出が緑、赤の２色において可能になる。したがって、微小ブロックのデフォーカス量を算出するにあたり、被写体パターンの色および方向によって焦点検出不能になる確率が減少する。

図３７に示す画素配列では、１つの微小ブロックにおいて複数の色、方向に対するデフォーカス量が求められる。最終的に１つのデフォーカス量を決定する手法としては、以下のような方法がある。（１）複数のデフォーカス量の平均にする。（２）特定色のデフォーカス量を優先する。例えば、比視感度の高い緑のデフォーカス量を優先する。（３）データの平均値が高い色のデフォーカス量を選択することによって、ＳＮが高く高精度な焦点検出ができる。（４）上述した信頼性判定に基づいて、より信頼性が高いデフォーカス量を選択する。（５）焦点検出方向に応じた優先度を設ける。

図３８は再結像瞳分割型位相差検出方式の焦点検出を説明するための図である。瞳分割の方式は図５に示すマイクロレンズを用いた方式に限定されず、再結像瞳分割型位相差検出方式であってもよい。図３８において、９１は交換レンズの光軸、１１０はコンデンサレンズ、１１１は絞りマスク、１１２，１１３は絞り開口、１１４、１１５は再結像レンズ、１１６は焦点検出用のイメージセンサー（ＣＣＤ）、１３２，１３３は焦点検出光束である。また、１０１は交換レンズの予定結像面の前方ｄ５の距離に設定された射出瞳である。ここで、距離ｄ５は、コンデンサレンズ１１０の焦点距離とコンデンサレンズ１１０と絞り開口１１２，１１３の間の距離などに応じて決まる距離であり、以下では測距瞳距離と呼ぶ。

７０２はコンデンサレンズ１１０により投影された絞り開口１１２の領域（測距瞳）、７０３はコンデンサレンズ１１０により投影された絞り開口１１３の領域（測距瞳）である。コンデンサレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４、１１５、イメージセンサー１１６が、撮像と焦点検出を同時に行う再結像ユニットを構成する。

図３８において、光軸９１上にある再結像ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ１１０、その背後に配置されたイメージサンサー１１６、コンデンサレンズ１１０とイメージサンサー１１６の間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する一対の再結像レンズ１１４、１１５、一対の再結像レンズの近傍（図では前面）に配置された一対の絞り開口１１２、１１３を有する絞りマスク１１１から構成される。イメージセンサー１１６は、複数の光電変換部が二次元状に配置されたイメージセンサーである。

イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報がイメージセンサー１１６から出力され、この一対の画像に対し像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。コンデンサレンズ１１０は、絞りマスク１１１の絞り開口１１２、１１３を射出瞳７０１上に領域７０２、７０３として投影している。領域７０２，７０３を測距瞳と呼ぶ。すなわち、イメージセンサー１１６上に再結像される一対の像は、射出瞳７０１上の一対の測距瞳７０２，７０３を通過する光束１３２、１３３によって形成される。図３８に示す再結像瞳分割型位相差検出方式においては、イメージセンサー１１６として通常のイメージセンサーを使用できるというメリットがある。

図３９により、偏光フィルターを用いた瞳分割方式の焦点検出について説明する。瞳分割の方式としてはマイクロレンズによる方式に限定されず、図３９に示すように偏光フィルターを用いても実現することができる。図において、６９０は偏光フィルター保持枠であり、偏光フィルター以外の部分は遮光されている。この偏光フィルター保持枠６９０は交換レンズの絞り近傍に配置される。６９２は偏光フィルターであり、フィルターの位置および形状により測距瞳を構成する。また、６９３も偏光フィルターであり、フィルターの位置および形状により測距瞳を構成する。偏光フィルター６９２と６９３は、互いに偏光方向が直交する。９１は交換レンズの光軸である。６２１は偏光フィルターであり、偏光方向が偏光フィルター６９２と一致する。また、６２２も偏光フィルター、偏光方向が偏光フィルター６９３と一致する。６１１、６１２は光電変換部、６３１、６３２は画素、６７２，６７３、６８２，６８３は光束である。

図３９では、隣接する４画素を模式的に例示してある。画素６３１において、光電変換部６１１は偏光フィルター６２１の作用により、偏光フィルター６９２によって形成された測距瞳を通過する光束を受光し、光束６７２または６８２によりに形成される像の強度に対応した信号を出力する。また、画素６３２において、光電変換部６１２は偏光フィルター６２２の作用により、偏光フィルター６９３によって形成された測距瞳を通過する光束を受光し、光束６７３または６８３によりに形成される像の強度に対応した信号を出力する。

上記のような偏光フィルターを用いた画素６３１，６３２を二次元状に配置し、各画素の光電変換部の出力を測距瞳に対応した出力グループにまとめることによって、各測距瞳を各々通過する焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報を得ることができる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことにより、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。

なお、図３４、図３７に示す撮像素子例では赤、青，緑の３原色のフィルターを使用した例を示したが、２つの色のみの撮像素子や４色以上の色を検出するフィルターを備えた撮像素子にも適用可能である。また、色分解フィルターは原色フィルタ（ＲＧＢ）としていたが、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）を採用してもよい。さらにまた、色分解は色フィルター以外にも光電変換部を構成するフォトダイオードの分光感度特性を光電変換部毎に変更することによっても達成することができる。

図２８、図３７に示す撮像素子の画素配列では水平方向と垂直方向の２方向で像ズレ検出を行う例を示したが、一対の測距瞳の並び方向が水平方向および垂直方向以外の方向になるように画素を構成するとともに、これらの画素を一対の測距瞳の並び方向に配列することによって、水平方向および垂直方向以外の方向でも像ズレ検出が可能になる。このようにすれば微小ブロックで焦点検出不能となる確率が減少し、より正確なデフォーカス分布情報をえることができるので、画像処理による画像品質が向上する。

なお、上述した撮像素子はＣＣＤイメージセンサーやＣＭＯＳイメージセンサーとして形成することができる

図８に示すフローチャートでは画像データをメモリーカードに保存する例を示したが、画像データを電子ビューファインダーやボディの背面に設けられた不図示の背面モニター画面に表示するようにしてもよい。

図４０は変形例の撮像装置の構成を示す。図１に示す撮像装置では撮像素子２１１を焦点検出用と撮像用に兼用する例を示したが、図４０に示すように撮像専用の撮像素子２１２を設け、上述した一実施の形態の撮像素子２１１は焦点検出と電子ビューファインダー表示用に用いるようにしてもよい。図４０において、カメラボディ２０３には撮影光束を分離するハーフミラー２２１が配置され、透過側に撮像専用の撮像素子２１２が配置されるとともに、反射側に焦点検出兼電子ビューファインダー表示用の撮像素子２１１が配置される。撮影前は、撮像素子２１１の出力に応じて、焦点検出および電子ビューファインダー表示が行われる。レリーズ時は、撮像専用の撮像素子２１２の出力に応じた画像データが生成される。ハーフミラー２２１を全反射ミラーとし、撮影時は撮影光路から退避するようにしてもよい。このような構成においては、上述した一実施の形態の画像処理は電子ビューファインダーの表示用のみに使用される。観察時に実際に絞りを絞り込まずに光量を確保したまま絞りを絞り込んだ場合の画像を観察することができる。

《一実施の形態の適用範囲》
一実施の形態の撮像装置は、交換レンズとカメラボディとから構成されるデジタルスチルカメラやフィルムスチルカメラに限定されず、レンズ一体型のデジタルスチルカメラやビデオカメラやフィルムカメラにも適用できる。また、携帯電話等に内蔵される小型カメラや、監視カメラス、テレオ画像撮影装置などにも適用できる。

また、画像を取り込む装置と取り込んだ画像に画像処理を加える装置を別体として形成してもよい。画像処理においては、大量のデータを高速に処理する能力を持った処理装置（ＣＰＵ）と、それに伴う電力消費の増加やスペースの増加が見込まれるが、このような構成にすることによって、画像取り込み装置を簡便でコンパクトな構成にすることができるとともに、いったん保存された画像データに対し高速で高度な画像処理を施すことが可能になる。画像処理を加える装置には画像処理制御パラメータを入力する操作部材が設けられる。さらに、撮影して保存した画像に対し、再生時に描写性能を調整しながら画像を閲覧することが可能になる。

画像取り込み装置と画像処理装置の間の情報の受け渡し方法としては以下の２種類がある。（１）一対の画像データを画像取り込み装置側から画像処理装置側に渡し、画像処理装置側で基本画像データとデフォーカス分布情報を演算する。このような構成ではデフォーカス分布の算出に色々な方式を適用できる。（２）画像取り込み装置側で基本画像データとデフォーカス分布情報を演算し、基本画像データとデフォーカス分布情報を画像処理装置側に渡す。このような構成では受け渡しするデータの容量を減少できる。

以上説明したように、一実施の形態によれば次のような効果が得られる。
（１）単一の光学系により結像した画像のみを用いて当該画像にボケを付加することができる。
（２）画像におけるデフォーカス量分布を対の画像に基づいて直接算出しているので、合焦距離の指定や撮影レンズの光学的パラメータの入力が不要になり、画像処理の精度が向上する。
（３）撮影レンズにより撮像された画像を撮像素子で撮像しているので、リアルタイムに画像処理が施こすことができ、撮影現場で画像処理結果を見ながら、画像処理のパラメータを調整することも可能になる。
（４）単一の撮影レンズで撮像した画像に対して画像処理を施した場合でも、違和感なく自然な画像を生成することができる。
（５）対の画像に基づいてデフォーカス量分布を算出する際に、デフォーカス量が算出できない領域が画面上に発生した場合でも、該領域と周囲の領域の画像特性（輝度、色相、彩度、コントラスト、輪郭など）の類似性に基づいて良好なデフォーカス量分布を決定することができる。
（６）対の画像の像ズレ量に基づいてデフォーカス量分布を算出する際に、複数の方向の像ズレ量に基づいてデフォーカス量を算出しているので、デフォーカス量の算出が不能となる領域が減少する。
（７）対の画像を独立して可搬記録媒体に保存しておくので、後から対の画像を読み出して所望の結果が得られるように画像処理をやりなおすことが可能となる。
（８）基本画像データとデフォーカス分布情報を独立して可搬記録媒体に保存しておくので、後から基本画像データとデフォーカス分布情報を読み出し、所望の結果が得られるように画像処理をやりなおすことが可能となる。
（９）絞り開口を大きくできない撮影光学系を用いて撮影した場合でも、絞り開口を大きくして撮影した場合のボケ効果を後処理により得ることができる。例えばコンパクトサイズのカメラにおいては、スペース的に大きな絞り開口を有する撮影レンズを搭載することが困難であり、また絞り開口を大きくすると光学系の諸特性（像面湾曲、球面収差、色収差、非点収差、歪曲収差、周辺光量、コントラスト、解像度など）が悪化するので、撮影時は絞り開口を絞って撮影せざるを得ない場合でも、絞り開口を大きくして撮影した場合のボケ効果を後処理により得ることができる。さらに、高輝度な被写体を撮影するときに、シャッター速度の高速側の限界を超えるために、絞り開口を絞って露光量を調節する場合でも、絞り開口を大きくして撮影した場合のボケ効果を後処理により得ることができる。

一実施の形態の構成を示す図 撮像素子の画素配列構成を示す正面拡大図 画素の構成を示す図 画素の断面図 マイクロレンズを用いた瞳分割型位相差検出方式焦点検出の原理を説明する図 射出瞳面における投影関係を示す図 瞳分割型位相差検出方式における像の形成状態を説明する図 一実施の形態のデジタルスチルカメラ（撮像装置）の動作を示すフローチャート デフォーカス量算出処理の詳細を説明する図 画像処理の概要を示すブロック図 画像処理の詳細を示すフローチャート 画面を微少ブロックに分割した図 デフォーカス量分布を示す図 デフォーカス量のヒストグラムを示す図 基本画像データ例を示す図 画面の微少ブロックを４つのデフォーカス属性に類別した図 基本画像データより肌色の領域を切り出した図 基本画像データに対して輪郭抽出の画像処理を施した画像データを示す図 画面の微少ブロックをグループ化する例を示す図 画面の微少ブロックの中のグループＪ１を抜き出した図 画面の微少ブロックの中のグループＪ２を抜き出した図 画面の微少ブロックの中のグループＪ３を抜き出した図 グループＪ１に対応する基本画像データ部分を示す図 グループＪ２に対応する基本画像データ部分を示す図 グループＪ３に対応する基本画像データ部分を示す図 遠景の上に中景を重ねた段階の画像を示す図 遠景の上に中景を重ねた段階の画像を示し、さらにその上に近景を重ね完成した段階の画像を示す図 撮像素子の画素配列の変形例を示す図 光電変換部に対応する測距瞳を示す図 変形例の画素構成を示す図 変形例の画素構成を示す図 図３１に示す画素の断面図 図３１に示す画素を二次元状に展開した変形例の撮像素子の画素配列構成を示す図 変形例の撮像素子の画素配列構成を示す図 光電変換部の分光感度特性を示す図 画素の断面図 変形例の撮像素子の画素配列構成を示す図 再結像瞳分割型位相差検出方式の焦点検出を説明するための図 偏光フィルターを用いた瞳分割方式の焦点検出について説明する図 変形例の撮像装置の構成を示す図

符号の説明

２１１ 撮像素子
２１４ ボディ駆動制御装置
２１９ メモリカード

Claims (22)

1. 光学系により結像した画像のデータを生成する撮像素子と、
   前記画像におけるデフォーカス量分布を検出するデフォーカス量分布検出手段と、
   前記画像データに対して前記デフォーカス量分布に基づく処理を施す画像処理手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像素子は、マイクロレンズと光電変換部を有する複数の画素が二次元状に配列されており、前記マイクロレンズに関して前記光電変換部と前記光学系の射出瞳とが共役であることを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記撮像素子は前記光学系の射出瞳上の異なる領域を通過した光束をそれぞれ受光して対の画像のデータを生成し、
   前記対の画像のデータを加算して合成画像を生成する画像合成手段を備え、
   前記画像処理手段は、前記合成画像に対して前記デフォーカス量分布に基づく処理を施すことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記デフォーカス量分布検出手段は前記対の画像のズレ量に基づいてデフォーカス量を算出し、前記合成画像におけるデフォーカス量分布を検出することを特徴とする撮像装置。
5. 請求項１または請求項２に記載の撮像装置において、
   前記撮像素子は前記光学系の射出瞳上の並び方向の異なる複数対の領域を通過した光束をそれぞれ受光して複数対の画像のデータを生成し、
   前記複数対の画像のデータを加算して合成画像を生成する画像合成手段を備え、
   前記画像処理手段は、前記合成画像に対して前記デフォーカス量分布に基づく処理を施すことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記デフォーカス量分布検出手段は前記複数対の画像のズレ量に基づいて前記複数対の領域の並び方向に応じた複数のデフォーカス量を算出し、前記合成画像におけるデフォーカス量分布を検出することを特徴とする撮像装置。
7. 請求項１〜６のいずれか１項に記載の撮像装置において、
   前記デフォーカス量分布検出手段は、デフォーカス量が検出不能な前記画像の中の領域に対しては、当該領域の周囲の領域におけるデフォーカス量に応じて当該領域のデフォーカス量を決定することを特徴とする撮像装置。
8. 請求項１〜６のいずれか１項に記載の撮像装置において、
   前記デフォーカス量分布検出手段は、デフォーカス量が検出不能な前記画像の中の領域に対しては、前記画像の画像特性分布情報に基づいて当該領域のデフォーカス量を決定することを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記デフォーカス量分布検出手段は、前記画像の輝度情報、色相情報、彩度情報およびコントラスト情報の内の少なくとも一つを検出し、前記画像特性分布情報として用いることを特徴とする撮像装置。
10. 請求項８に記載の撮像装置において、
    前記デフォーカス量分布検出手段は、前記画像の輪郭情報を検出して前記画像特性分布情報として用いることを特徴とする撮像装置。
11. 請求項１〜１０のいずれか１項に記載の撮像装置において、
    前記デフォーカス量分布検出手段は、前記画像を複数の領域に分割して各領域ごとにデフォーカス量を検出することを特徴とする撮像装置。
12. 請求項１〜１１のいずれか１項に記載の撮像装置において、
    前記画像処理手段は、前記画像に対して前記デフォーカス量に応じたボケ付加処理を施すことを特徴とする撮像装置。
13. 請求項１１に記載の撮像装置において、
    前記デフォーカス量分布検出手段は、前記複数の領域で検出されたデフォーカス量を複数のデフォーカス量グループに類別することを特徴とする撮像装置。
14. 請求項１１に記載の撮像装置において、
    前記デフォーカス量分布検出手段は、前記複数の領域で検出されたデフォーカス量のヒストグラムに基づいて複数のデフォーカス量グループに類別することを特徴とする撮像装置。
15. 請求項１３または請求項１４に記載の撮像装置において、
    前記画像処理手段は、前記画像から前記デフォーカス量グループごとの画像を分類して抽出し、抽出した各画像に対して前記デフォーカス量に応じたボケ付加処理を施した後に、分類した画像を再合成して画像を生成することを特徴とする撮像装置。
16. 請求項１２または請求項１４に記載の撮像装置において、
    前記ボケ付加処理は高周波成分カットフィルター処理であることを特徴とする撮像装置。
17. 請求項１２または請求項１５に記載の撮像装置において、
    前記画像処理手段は、前記画像に前記デフォーカス量と画像処理パラメーターに応じたボケ付加処理を施すことを特徴とする撮像装置。
18. 請求項１２または請求項１５に記載の撮像装置において、
    前記画像処理手段は、前記画像に前記デフォーカス量、前記画像処理パラメーターおよび合焦位置オフセット用ピント調整パラメーターに応じたボケ付加処理を施すことを特徴とする撮像装置。
19. 請求項１に記載の撮像装置において、
    前記画像データと前記デフォーカス量分布とを可搬記録媒体に記録することを特徴とする撮像装置。
20. 請求項３または請求項５に記載の撮像装置において、
    前記対の画像データを可搬記録媒体に記録することを特徴とする撮像装置。
21. 画像のデータと前記画像のデフォーカス量分布を入力する入力手段と、
    前記画像に対して前記デフォーカス量分布に基づく処理を施す画像処理手段とを備えることを特徴とする画像処理装置。
22. 画像のデータと前記画像のデフォーカス量分布を入力し、前記画像に対して前記デフォーカス量分布に基づく処理を施すことを特徴とする画像処理方法。

Images