JP2016156934A - 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム - Google Patents

Abstract

【課題】瞳分割型位相差検出方式で作成した距離マップに対する信頼度マップを精度良く作成する。【解決手段】距離情報生成装置１０７は、撮像範囲の撮像により得られた位相差検出用の一対の像信号の位相差に基づいて、撮像範囲内の被写体距離の分布を示す距離情報を生成する距離情報生成手段３０１と、一対の像信号のうち少なくとも一方の像信号のエッジに関する評価値、少なくとも一方の像信号のコントラストに関する評価値および一対の像信号の相関度に関する評価値のうち少なくとも１つの評価値を用いて、距離情報に対する信頼度を示す信頼度情報を生成する信頼度情報生成手段３０９とを有する。【選択図】図３

Description

本発明は、瞳分割型位相差検出方式により被写体距離の分布を示す距離情報を生成する距離情報生成装置に関する。

撮像装置によって取得された画像から撮像シーン（撮像範囲）における被写体距離の分布を示す距離マップを作成する方法が従来提案されている。

特許文献１には、Depth from Defocus（ＤＦＤ）方式で距離マップを作成する方法が開示されている。ＤＦＤ方式では、フォーカス位置が異なる複数の画像のぼけ方の違いから被写体距離を推定する。また、特許文献１には、作成した距離マップがどの程度信頼できるかを示す信頼度マップを作成する方法も開示されている。具体的には、入力画像であるフォーカス画像を矩形領域に分割し、分割領域ごとに輝度変化が少ないか否かを解析した結果、輝度変化が少ない分割領域における信頼度を、輝度変化が多い分割領域よりも低く算出する。さらに、信頼度マップを用いて距離マップを補正し、補正した距離マップを参照して被写界深度が深い画像から被写界深度が浅い画像を生成する処理を行う。

一方、特許文献２には、撮像レンズの射出瞳のうち互いに異なる瞳領域を通過した一対の光束により形成される一対の被写体像の相対的ずれ量（位相差）から撮像レンズのデフォーカス量を検出（算出）する焦点検出装置が開示されている。このように射出瞳を分割して得られる一対の被写体像の位相差からデフォーカス量を求める方式を、瞳分割型位相差検出方式という。

特開２０１３−２３９１１９号公報 特開平０１−２１６３０６号公報

特許文献２にて開示された瞳分割型位相差検出方式を利用して、特許文献１にて開示されているような距離マップを生成することは可能である。しかしながら、特許文献１，２には、瞳分割型位相差検出方式を利用して生成した距離マップに対応する信頼度マップの生成方法までは開示されていない。

本発明は、瞳分割型位相差検出方式で作成した距離マップに対する信頼度マップを精度良く作成することができるようにした距離情報生成装置およびこれを備えた撮像装置等を提供する。

本発明の一側面としての距離情報生成装置は、撮像範囲の撮像により得られた位相差検出用の一対の像信号の位相差に基づいて、撮像範囲内の被写体距離の分布を示す距離情報を生成する距離情報生成手段と、一対の像信号のうち少なくとも一方の像信号のエッジに関する評価値、少なくとも一方の像信号のコントラストに関する評価値および一対の像信号の相関度に関する評価値のうち少なくとも１つの評価値を用いて、距離情報に対する信頼度を示す信頼度情報を生成する信頼度情報生成手段とを有することを特徴とする。

なお、撮像光学系により形成された被写体像を撮像する撮像素子と、上記距離情報生成装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての距離情報生成方法は、撮像範囲の撮像により得られた位相差検出用の一対の像信号の位相差に基づいて、撮像範囲内の被写体距離の分布を示す距離情報を生成し、一対の像信号のうち少なくとも一方の像信号のエッジに関する評価値、少なくとも一方の像信号のコントラストに関する評価値および一対の像信号の相関度に関する評価値のうち少なくとも１つの評価値を用いて、距離情報に対する信頼度を示す信頼度情報を生成することを特徴とする。

なお、距離情報生成方法をコンピュータに実行させるコンピュータプログラムとしての焦点検出プログラムも、本発明の他の一側面を構成する。

本発明によれば、瞳分割型位相差検出方式により生成した距離情報（距離マップ）の信頼度を精度良く示す信頼度情報（信頼度マップ）を生成することができる。

本発明の実施例１であるデジタルカメラの構成を示すブロック図。 実施例１のデジタルカメラに用いられる撮像素子の画素構造を示す図。 実施例１における画像処理部の構成を示す図。 実施例１において行われる距離マップ生成処理を示すフローチャート。 実施例１における像ずれ量の検出を説明する図。 実施例１におけるＦ値、像ずれ量およびデフォーカス量の関係を説明する図。 実施例１におけるＡ像、Ｂ像および再構成像信号の輝度変化を説明する図。 実施例１における瞳分割を説明する図。 実施例１におけるｘ軸方向での瞳強度分布を説明する図。 実施例１における周辺像高における瞳分割と瞳強度分布を説明する図。 本発明の実施例２であるデジタルカメラにおける画像処理部の構成を示す図。 実施例２におけるシフト量の検出を説明する図。 本発明の実施例３であるデジタルカメラにおける画像処理部の構成を示す図。 本発明の実施例４であるデジタルカメラにおける画像処理部の構成を示す図。 実施例４における低域信号と高域信号を用いた場合のシフト量の検出を説明する図。 本発明の実施例５であるデジタルカメラにおける画像処理部の構成を示す図。 実施例５における周波数帯域の制限を行うフィルタの周波数特性を説明する図。 実施例５における信頼度マップの統合パターンを説明する図。 実施例５における繰り返し模様に対する像ずれ量の検出を説明する図。 実施例５における重み付け加算での重みを説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像装置としてのデジタルカメラ（以下、単にカメラという）１００の構成を示している。カメラ１００は、撮像光学系１０４を含む交換レンズの着脱が可能なレンズ交換タイプであってもよいし、撮像光学系１０４が一体に設けられたレンズ一体タイプであってもよい。

撮像光学系１０４は、被写体像（光学像）を撮像部１０５に結像する。撮像光学系１０４は、光軸方向に移動して焦点調節を行う不図示のフォーカスレンズや、光軸方向に移動して焦点距離を変更する変倍レンズや、開口径（絞り値）を変化させて光量を調節する絞りを含む。

撮像部１０５は、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子とその駆動回路を含む。撮像素子の具体的な構成については後述する。撮像部１０５は、撮像光学系１０４により撮像素子上に結像された被写体像を撮像素子により撮像（光電変換）することによりアナログ画素信号を生成し、該アナログ画素信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、アナログ画素信号をデジタル画素信号に変換して画像データとしてＲＡＭ１０３に出力して一時的に記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶された画像データに対して、ホワイトバランス調整、色補間、縮小／拡大およびフィルタリング等の様々な画像処理を行って、出力用画像データを生成する。また、画像処理部１０７は、撮像部１０５からの画素信号を用いて瞳分割型位相差検出方式により距離マップを生成するとともに、該距離マップに対する信頼度マップ（信頼度情報）を生成する距離情報生成装置としても機能する。画像処理部１０７は、さらに距離マップを補正する処理も行う。距離情報生成装置としての画像処理部１０７が行う処理については後述する。

制御部１０１は、ＣＰＵ等により構成され、コンピュータプログラムをＲＯＭ１０２から読み出してＲＡＭ１０３に展開して実行することにより、デジタルカメラ１００が有する各動作ブロックの動作を制御する。また、制御部１０１は、画像処理部１０７でのデフォーカス量演算処理により算出された撮像光学系１０４のデフォーカス量に基づいてフォーカス制御（フォーカスレンズの移動制御）を行う。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、上記コンピュータプログラムに加え、各動作ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、各動作ブロックから出力されたデータの一時的な記憶領域として用いられる。

記録媒体１０８は着脱可能なメモリカード等であり、画像処理部１０７で生成された出力用画像データを記録用画像として記録する。また、図示はしないが、液晶表示パネル等により構成される表示部は、画像処理部１０７で生成された出力用画像データを表示用画像として表示する。バス１０９は、各動作ブロックの間で信号のやり取りを行うために用いられる。

図２（ａ）には、図１に示した撮像部１０５における撮像素子２００の画素構造を示している。撮像素子２００は、水平方向（ｘ軸方向）および垂直方向（ｙ軸方向）に２次元配置された複数の画素２０２を有する。各画素２０２は、図２（ｂ）に示すように、マイクロレンズ２０１とその背後に配置された一対のサブ画素（光電変換部）２０３，２０４とを有する。複数の画素２０２のそれぞれにおいて、撮像光学系１０４の射出瞳のうち互いに異なる領域（以下、瞳領域という）からの一対の光束がマイクロレンズを通ることで一対の像（以下、Ａ像およびＢ像ともいう）を一対のサブ画素２０３，２０４上に形成する。そして、複数の画素２０２のそれぞれにおいて、一対のサブ画素２０３，２０４がＡ像およびＢ像を光電変換することで、位相差検出用の一対の像信号（以下、Ａ像信号およびＢ像信号という）が生成される。

図２（ａ），（ｂ）は、撮像光学系１０４の射出瞳のうち水平方向に分割された瞳領域からマイクロレンズに入射した一対の光束が水平方向に視差を有するＡ像およびＢ像を一対のサブ画素２０３，２０４上に形成する場合の画素構造を示している。

なお、図２（ｃ）に示すような画素構造を有する撮像素子７００を用いてもよい。この撮像素子７００では、２次元配置された複数の画素７０６のそれぞれが、マイクロレンズ７０５とその背後に配置された水平２画素×垂直２画素の４つのサブ画像７０１，７０２，７０３，７０４とを有する。サブ画素７０１，７０３の出力を加算してＡ像信号を生成し、サブ画像７０２，７０４の出力を加算してＢ像信号を生成することで、図２（ａ）の撮像素子と同様に水平方向に視差を有するＡ像およびＢ像信号を生成することができる。また、サブ画像７０１，７０２の出力を加算してＡ像信号を生成し、サブ画素７０３，７０４の出力を加算してＢ像信号を生成すれば、垂直方向に視差を有するＡ像およびＢ像信号を生成することができる。さらに、サブ画素７０１の出力からＡ像信号を生成し、サブ画素７０４の出力からＢ像信号を生成すれば、斜め４５°方向に視差を有するＡ像およびＢ像信号を生成することができる。また、サブ画素７０２の出力からＡ像信号を生成し、サブ画素７０３の出力からＢ像信号を生成すれば、斜め１３５°方向に視差を有するＡ像およびＢ像信号を生成することができる。

図３を用いて、図１に示した画像処理部１０７において行われる距離マップ生成処理、像生成処理、信頼度マップ生成処理および距離マップ補正処理について説明する。画像処理部１０７は、距離マップ生成部（距離情報生成手段）３０１、像生成部３０５、信頼度マップ生成部（信頼度情報生成手段）３０９および距離マップ補正部（補正手段）３１２を有する。また、コンピュータとしての画像処理部１０７は、コンピュータプログラムである距離情報生成プログラムに従って上記処理を実行する。

距離マップ生成部３０１は、Ａ像信号３０２およびＢ像信号３０３の位相差に基づいて被写体距離の分布を示す距離情報としての距離マップ３０４を生成する。図４のフローチャートには、距離マップ生成部３０１が行う距離マップ生成処理を示している。

まずステップＳ４０１では、距離マップ生成部３０１は、Ａ像およびＢ像信号３０２，３０３を読み込む。

次にステップＳ４０２では、距離マップ生成部３０１は、撮像素子（撮像範囲）を複数の微小ブロックに分割する。なお、微小ブロックのサイズや形状はどのようなものであってもよい。また、微小ブロックは、近接する微小ブロックと部分的に重なってもよい。距離マップ生成部３０１は、撮像範囲を、中心画素（注目画素）が１画素ずつずれた複数の微小ブロックに分割する。

次にステップＳ４０３では、距離マップ生成部３０１は、各微小ブロックにおいて相関演算を行い、Ａ像およびＢ像信号３０２，３０３のずれ量である位相差、つまりはＡ像およびＢ像の像ずれ量を算出（検出）する。

具体的には、距離マップ生成部３０１は、微小ブロックごとにＡ像信号を構成する画素値データＥ（１）〜Ｅ（ｍ）（ｍはサブ画素の画素値データの数）とＢ像信号を構成する画素値データＦ（１）〜Ｆ（ｍ）とを得る。そして、距離マップ生成部３０１は、以下の式（１）を用いて、画素値データＥ（１）〜Ｅ（ｍ）に対して画素値データＦ（１）〜Ｆ（ｍ）をサブ画素単位で相対的にシフトさせながらこれら２つの画素値データ間のシフト量ｋにおける相関値Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）−Ｆ（ｎ＋ｋ）｜ （１）
シフト量ｋは整数（１，２，３，・・・）、すなわち離散的な値であり、所定のシフト量の可変範囲（シフト量検出範囲）１〜ｍで変更される。

式（１）により、一対の画素値データの相関度が最も高くなるシフト量ｋ（＝ｋｊ，ｊ＝１，２，３，・・・）において最小相関値Ｃ（ｋｊ）が得られる。式（１）の演算結果の例として、図５には、シフト量ｋ（横軸）と相関値Ｃ（ｋ）（縦軸）との関係を示す。Ａ像およびＢ像信号の相関度が高いシフト量ｋ（＝ｋｊ＝２）において相関値Ｃ（ｋ）が最小になる。

次に距離マップ生成部３０１は、以下の式（２）〜（５）に示した３点内挿を行って、連続的な相関値に対する最小値Ｃ（ｘ）を与えるサブ画素以下の単位のシフト量ｘを求める。ＳＬＯＰは相関値（つまりは相関度）の変化量が大きいほど大きくなる相関値傾きを示し、ＭＡＸ（ａ，ｂ）は、ａとｂのうち大きい方を意味する。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ （２）
Ｃ（ｘ）＝Ｃ（ｋｊ）−｜Ｄ｜ （３）
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）｝／２ （４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝ （５）
このようにして、サブ画素以下の単位（精度）で最小相関値Ｃ（ｘ）を与えるシフト量ｘが推定される。距離マップ生成部３０１は、式（２）で求めたシフト量ｘをＡ像およびＢ像信号のずれ量である位相差とする。

次に距離マップ生成部３０１は、式（２）により求めたシフト量ｘを用いて、撮像光学系１０４の予定結像面に対するデフォーカス量ＤＥＦを以下の式（６）により算出する。
ＤＥＦ＝ＫＸ ・ＰＹ ・ｘ （６）
ただし、ＰＹはＡ像およびＢ像信号のうち一方を生成するためのサブ画素のピッチであり、ＫＸはＡ像およびＢ像を形成する一対の光束の重心の射出瞳での開き角の大きさによって決まる変換係数（単位はｍｍ／サブ画素）である。開き角の大きさは撮像光学系１０４の絞り値に応じて変化し、絞り値が大きく開き角が小さくなるほど、変換係数ＫＸは大きな値となる。本実施例では、変換係数ＫＸを、撮像光学系１０４の絞り値（Ｆ値）に応じて決定する。

図６を用いて、デフォーカス量ＤＥＦの算出において変換係数ＫＸを用いる理由について説明する。図６には、撮像光学系１０４の予定結像面に対するデフォーカス量とＦ値とＡ像およびＢ像間の像ずれ量との関係を示している。６０１は被写体面（物面）であり、６０２は撮像光学系を模式的に示したレンズである。６０３は撮像素子２００が配置された予定結像面であり、６０４は予定結像面６０３からデフォーカス量６０５だけ離れた位置の像面である。６０６はＦ値が小さい開放絞り状態での像ずれ量を示し、６０７はＦ値が大きい絞り込み状態での像ずれ量である。

図６から分かるように、予定結像面６０３からデフォーカス量６０５だけ離れた像面６０４上での像ずれ量は開放絞り状態で大きくなり（６０６）、絞り込み状態で小さくなる（６０７）。言い換えれば、同じデフォーカス量であてって、像ずれ量はＦ値によって異なる。このため、式（６）のように像ずれ量（シフト量ｘ）からデフォーカス量ＤＥＦを算出する際には、Ｆ値に応じたゲインとしての変換係数ＫＸを乗じる必要がある。

距離マップ生成部３０１は、こうして算出したデフォーカス量ＤＥＦを、像面６０４に対する被写体距離とする。

次にステップＳ４０４では、距離マップ生成部３０１は、全ての微小ブロックで像ずれ量および被写体距離を算出したか否かを判定する。まだ全ての微小ブロックで像ずれ量および被写体距離を算出していない場合はステップ４０３に戻り、他の微小ブロックでの像ずれ量および被写体距離の算出を行う。全ての微小ブロックで像ずれ量および被写体距離を算出した場合は、本処理を終了する。

このように、中心画素が１画素ずつずれた微小ブロックの全てにおいて被写体距離の算出を行うことで、撮像範囲内の被写体距離の分布を示す距離情報としての距離マップ３０４を生成することができる。

図３に戻り、像生成部３０５は、Ａ像信号３０２およびＢ像信号３０３を加算して、撮像光学系１０４の射出瞳のほぼ全域を通過した光束が生成する被写体像に対応する像信号（以下、再構成像信号という）３０８を生成する。

信頼度マップ生成部３０９は、距離マップ生成部３０１で生成された距離マップ（距離情報）３０４に対する信頼度マップ３１１Ａを生成する。具体的には、参照像信号３１０を用いて、距離マップ生成部３０１にて分割された微小ブロックごとに被写体距離の信頼度を算出することで、撮像範囲全体の信頼度マップ３１１Ａを生成する。参照像信号３１０は、Ａ像信号３０２、Ｂ像信号３０３および像生成部３０５で生成された再構成像信号（Ａ像およびＢ像信号の加算像信号）３０８のうちいずれか１つである。

本実施例にいう信頼度とは、距離マップ生成部３０１で微小ブロック（領域）ごとに検出（算出）された像ずれ量（位相差）がその領域でどの程度検出し易いかを表す値である。像ずれ量を検出しにくい領域で得られた被写体距離は正確でない可能性が高いため、その被写体距離（言い換えれば、検出した像ずれ量）の信頼度が低くなる。像ずれ量を検出しにくい領域とは、例えば空や自動車のボディといった被写体の模様の変化が少ない領域である。このような領域を検出して低い信頼度を割り当てればよい。

信頼度が低くなる模様の変化が少ない領域か否かを判定する指標としては、参照像信号３１０におけるエッジに関する評価値、例えばエッジ振幅の絶対値を積分することで算出されるエッジ積分値を用いることができる。エッジ積分値は、Ａ像およびＢ像信号のコントラストが高いと高い値となるので、コントラストに関する評価値でもある。

信頼度マップ生成部３０９は、算出したエッジ積分値と予め設定された閾値（第１の所定値）とを比較する。そして、エッジ積分値が閾値より小さい場合は模様の変化が少ない領域であると判定し、その領域の被写体距離に対しては模様の変化が多い領域（エッジ積分値が閾値より大きい領域）よりも低い信頼度を割り当てる。逆に言えば、エッジ積分値が閾値より大きい領域については、エッジ積分値が閾値より小さい領域よりも高い信頼度を割り当てる。

全ての微小ブロックに対して被写体距離の信頼度を算出することで、撮像範囲の全域の距離マップに対する信頼度マップを生成することができる。

距離マップ補正部３１２は、距離マップ生成部３０１で生成された距離マップ３０４を、信頼度マップ生成部３０９で生成された信頼度マップ３１１Ａを参照して補正して補正距離マップ３１５Ａを出力する。

距離マップの補正方法は、信頼度マップにおける信頼度が所定の信頼度より低い領域（以下、第１の領域という）に対して距離マップ生成部３０１にて算出された被写体距離を削除する。そして、その削除した被写体距離を、第１の領域の周囲にある信頼度が所定の信頼度より高い領域（以下、第２の領域という）に対して距離マップ生成部３０１にて算出された被写体距離で置き換える。このとき、第２の領域としては、第１の領域と輝度や色相が近い領域を選択することが望ましい。

また、第１の領域の被写体距離に対して置き換えられる第２の領域の被写体距離としては、例えば第１の領域の被写体距離に最も近い被写体距離であってもよいし、複数の第２の領域における被写体距離の平均値としてもよい。

距離マップ補正部３１２にて生成された補正距離マップ３１５Ａを参照することで、被写界深度が深い記録画像に対して任意の大きさの背景ぼけを画像処理によって付加することができる。ぼけを付加する処理は、特開平７−２１３６５号公報等にて開示されている方法を用いることができる。また、補正距離マップ３１５Ａを用いて被写体距離の信頼度が高い領域のみを主要被写体として抽出する処理を行ってもよい。

本実施例によれば、瞳分割型位相差検出方式により検出（算出）した位相差に基づいて距離マップを生成するとともに、該距離マップに対する精度が良い信頼度マップを生成することができる。そして、信頼度マップを参照して距離マップを補正することで、より精度の高い補正距離マップを生成することができる。

次に、本発明の実施例２であるデジタルカメラにおける距離情報生成装置としての画像処理部１０７が行う処理について説明する。なお、本実施例におけるデジタルカメラの構成は、実施例１で図１および図２を用いて説明したものと同じである。

実施例１では、画像処理部１０７はＡ像信号、Ｂ像信号および再構成像信号のうち１つを参照像信号として用いて信頼度マップを生成した。しかし、瞳分割型位相差検出方式において周辺像高領域にて取得されたＡ像およびＢ像信号間には、口径食（ケラレ）の影響によって非対称性（形状の不一致）が発生し、これらのコントラストに違いが生じることがある。周辺像高領域においてＡ像およびＢ像信号間に非対称性が発生する原理については後述する。

図７（ａ）には、非対称性を有するＡ像信号とＢ像信号を示す。図７（ａ）は、横軸を水平座標とし、縦軸を信号の輝度値として、Ａ像信号（実線）とＢ像信号（破線）の水平方向での輝度の変化を示している。図７（ａ）に示すようにＡ像信号とＢ像信号の形状が異なる状態で像ずれ量の検出を行うと、これらの相関度が低くなり、これらの位相差に基づいて算出される被写体距離が正確ではなくなる。しかし、信頼度マップを算出するときの参照像としてＢ像信号が用いられると、エッジ抽出後のエッジ積分値が高くなり、この被写体距離に対して高い信頼度が割り当てられる。つまり、正確でない被写体距離に対して誤って高い信頼度が与えられてしまう。

図７（ｂ）は、横軸を水平座標とし、縦軸を信号の輝度値として、図７（ａ）に示したＡ像信号とＢ像信号とが加算されて生成された再構成像信号の水平方向での輝度の変化を示している。再構成像信号でも、図７（ａ）に示したＢ像信号と同様に、エッジ積分値が高くなり、この結果、高い信頼度が割り当てられてしまう。

瞳分割型位相差検出方式においてＡ像およびＢ像信号が非対称になる理由について説明する。図８には、図２（ｂ）に示した画素２０２をＳ−Ｓ線で切断したときの断面（ｘｚ断面）と撮像光学系１０４の射出瞳面（ｘｙ面）とを示している。この図では、射出瞳面のｘ軸との対応をとるため、図２（ｂ）に示した画素２０２（サブ画素２０３，２０４）の左右を反転して示している。また、図８の画素２０２は、図２（ａ）に示した撮像素子２００の中央近傍に位置する画素である。

撮像光学系１０４の射出瞳９０４を通過した光束は、撮像光学系１０４の予定結像面の近傍に配置された撮像素子２００の画素２０２に入射する。射出瞳９０４の大きさは、絞りの大きさやレンズを保持するレンズ枠等の大きさによって変化する。

射出瞳９０４において２分割された（一対の）瞳領域９０１，９０２は、画素２０２に設けられたマイクロレンズ２０１によって、サブ画素２０３，２０４の受光面と共役となっている。このため、瞳領域９０１を通過した光束はサブ画素２０３で受光され、瞳領域９０２を通過した光束はサブ画素２０４で受光される。

射出瞳９０４がＭ×Ｎの瞳領域（本実施例では２×１）に分割される場合、撮像光学系１０４の絞り値をＦとすると、各瞳領域の実効絞り値は概ね、
√（Ｍ×Ｎ）×Ｆ
となる。なお、９０３は画素２０２において（Ｍ×Ｎ）分割されたサブ画素の全てで受光可能な光束が通過する領域（全開口領域）である。

本実施例では、上述したように射出瞳９０４の分割数Ｍ×Ｎが２×１であるので、各瞳領域の実効絞り値は√２×Ｆとなる。つまり、１つの瞳領域を通過した光束を１つのサブ画素で光電変換して得られる画像は、全開口領域を通過した光束の全てを光電変換して得られる画像と比較して、被写界深度が一段分深く、暗い画像となる。

図９には、図８に示したサブ画素２０３，２０４におけるｘ断面での受光特性を示している。横軸は撮像光学系１０４の射出瞳面における水平座標（ｘ座標）を示し、縦軸はサブ画素２０３，２０４の受光効率を示す。また、縦軸は各サブ画素の開口絞りの透過率分布も示すので、各サブ画素の光束受光効率と見なすことができる。この光束受光効率の分布特性を、瞳強度分布という。また、図９における２本の縦点線は、射出瞳９０４の幅を示している。サブ画素２０３の瞳強度分布１００１の＋ｘ側の部分は、画素２０２の瞳分割性能が十分でないことによる回折ぼけのために緩やかなカーブとなっている。一方、−ｘ側の部分は、レンズ枠によるケラレによって急なカーブになっている。このため、瞳強度分布１００１は、強度ピークに対して非対称になっている。一方、サブ画素２０４の瞳強度分布１００２は、−ｘ側が上記回折ぼけのために緩やかなカーブで＋ｘ側が上記ケラレによる急なカーブとなった形状、すなわち瞳強度分布１００１を左右反転した形状となっている。

図８および図９から分かるように、撮像素子２００の中央近傍に画素２０２がある場合、サブ画素２０３，２０４により受光する光量は互いに等しくなる。つまり、サブ画素２０３上に形成されるＡ像とサブ画素２０４上に形成されるＢ像の被写界深度と明るさは同じで、互いに対称性のある（一致度が高い）像となり、像ずれ量の検出において高い相関度を得ることができる。

これに対して、画素２０２が撮像素子２００の周辺部（周辺像高領域）に存在する場合は、以下のようになる。図１０（ａ）には、周辺部のうちある位置に配置された画素２０２（サブ画素２０３，２０４）（図示は省略）の射出瞳面への投影像を示している。また、図１０（ｂ）は、図１０（ａ）における瞳強度分布を示している。

図１０（ａ）から分かるように、周辺部に配置された画素２０２のサブ画素２０３，２０４によっても、図８（ａ）に示した中央付近に画素２０２が配置された場合と同様に、射出瞳１１０４が瞳領域１１０１，１１０２に分割される。１１０３は図８に示した全開口領域９０３に相当する全開口領域である。

しかし、射出瞳１１０４の形状がケラレによって変化する。例えば、図１０（ａ）に示すように、射出瞳１１０４の形状が、その重心が瞳領域１１０１の中心に近づいた形状となる。このため、図９に対応する図１０（ｂ）に示すように、瞳領域１１０１からの光束を受光するサブ画素２０３の瞳強度分布１１０１が瞳領域１１０２からの光束を受光するサブ画素２０４の瞳強度分布１１０２よりも高くなる。つまり、サブ画素２０３上に形成されるＡ像は、サブ画素２０４上に形成されるＢ像に比べて、明るく、被写界深度が浅い画像となる。なお、周辺部のうち図１０（ａ）に示した画素２０２とは反対位置に配置された画素においては図１０（ｂ）とは逆の現象が生じる。すなわち、サブ画素２０４上に形成されるＢ像は、サブ画素２０３上に形成されるＡ像に比べて、明るく、被写界深度が浅い画像となる。

このように、周辺部ではサブ画素２０３上に形成されるＡ像とサブ画素２０４上に形成されるＢ像の被写界深度と明るさが異なるため、互いに非対称な（一致度が低い）像となり、像ずれ量の検出において高い相関度を得ることができない。

そこで、本実施例では信頼度マップを算出するときに用いる参照像信号を、Ａ像信号およびＢ像の両方とし、これらのエッジ積分値から信頼度を割り当てる。これにより、より正確な信頼度マップと補正距離マップを得る。

図１１を用いて、本実施例の画像処理部１０７において行われる距離マップ生成処理、信頼度マップ生成処理および距離マップ補正処理について説明する。画像処理部１０７は、距離マップ生成部（距離情報生成手段）３０１、信頼度マップ生成部（信頼度情報生成手段）１２０１および距離マップ補正部（補正手段）３１２を有する。実施例１の図３に示した処理と同じ処理については、同じ符号を付している。本実施例では再構成像信号を参照しないため像生成処理は行わない。

信頼度マップ生成部１２０１は、距離マップ生成部３０１で生成された距離マップ３０４に対する信頼度マップ３１１Ｂを生成する。具体的には、Ａ像信号３０２およびＢ像信号３０３を用いて、距離マップ生成部３０１にて分割した微小ブロックごとに信頼度を算出し、撮像範囲全体の信頼度マップ３１１Ｂを生成する。

距離マップ補正部３１２は、距離マップ生成部３０１で生成された距離マップ３０４を、信頼度マップ生成部１２０１で生成された信頼度マップ３１１Ｂを参照して補正して補正距離マップ３１５Ｂを出力する。距離マップ３０４の補正方法は、実施例１と同じである。

本実施例の信頼度マップ生成部１２０１は、微小ブロック（領域）の模様の変化が少ないか否かを判定する指標であるエッジ積分値をＡ像およびＢ像信号の両方について算出する。そして、算出したエッジ積分値を比較して、より小さい、すなわちより変化が少ない模様を示すエッジ積分値を選択し、さらに選択したエッジ積分値（以下、小エッジ積分値という）と予め設定した閾値（第１の所定値）とを比較する。小エッジ積分値が閾値よりも小さい領域は、その領域が模様の変化が少ない領域であると判定し、その領域に対しては小エッジ積分値が閾値よりも大きい領域に比べて低い信頼度を割り当てる。逆に言えば、小エッジ積分値が閾値よりも大きい領域に対しては、小エッジ積分値が閾値よりも小さい領域に比べて高い信頼度を割り当てる。

これにより、瞳分割型位相差検出方式においてケラレの影響でＡ像およびＢ像信号の非対称性がある場合でも、Ａ像およびＢ像信号のうちより小さいエッジ積分値を有し、かつそのエッジ積分値が閾値より小さい像信号を基準として低い信頼度を割り当てられる。このため、撮像範囲に模様の変化が少ない領域が含まれる場合であっても、正確な信頼度マップを生成することができる。そして、実施例１よりも正確な信頼度マップを参照して距離マップを補正することで、実施例１よりも正確な補正距離マップを生成することができる。

次に、本発明の実施例３であるデジタルカメラにおける距離情報生成装置としての画像処理部１０７が行う処理について説明する。なお、本実施例におけるデジタルカメラの構成は、実施例１で図１および図２を用いて説明したものと同じである。

実施例２では、信頼度を割り当てる指標として、Ａ像およびＢ像信号の両方のエッジ積分値を算出する。しかし、Ａ像およびＢ像信号の両方のエッジ積分値の演算を行うと演算負荷が高くなる。そこで、本実施例では、エッジ積分値をＡ像信号、Ｂ像信号および再構成像信号のいずれかにおいて算出する。さらに、Ａ像およびＢ像信号間の相関度が高いか否かを確認するために、Ａ像およびＢ像信号間の相関度に関する評価値として、距離マップ生成時に算出した最小相関値を用いる。

相関度に関する評価値（最小相関値）が信頼度の判定に有効である理由について説明する。Ａ像信号とＢ像信号の相関度が高いと、図５に示すように、シフト量ｋの変化に伴って相関値Ｃ（ｋ）は下側に凸の形状を描くように変化し、３点内挿後の最小相関値Ｃ（ｘ）が十分に小さくなる。また、式（５）におけるＳＬＯＰも同図に示すように急峻となる。

これに対して、Ａ像信号とＢ像信号の相関度が低いと、図１２に示すように、３点内挿後の最小相関値Ｃ（ｘ）が大きくなる。また、ＳＬＯＰも同図に示すように緩やかとなる。このことから分かるように、相関値Ｃ（ｘ）を予め設定した閾値と比較することで、Ａ像およびＢ像信号間の相関度が高いか否か、つまりは被写体距離の信頼度が高いか否かを判定することができる。このため、最小相関値Ｃ（ｘ）が閾値よりも大きい場合は、最小相関値Ｃ（ｘ）が閾値よりも小さい場合に比べて信頼度が低くなるようにする。

図１３を用いて、本実施例の画像処理部１０７において行われる距離マップ生成処理、像生成処理、信頼度マップ生成処理および距離マップ補正処理について説明する。画像処理部１０７は、距離マップ生成部（距離情報生成手段）１４０１、像信号生成部３０５、信頼度マップ生成部（信頼度情報生成手段）１４０６および距離マップ補正部（補正手段）３１２を有する。実施例１の図３に示した処理と同じ処理については、同じ符号を付している。

距離マップ生成部１４０１は、Ａ像信号３０２およびＢ像信号３０３の位相差に基づいて被写体距離の分布を示す距離マップ３０４を生成する。距離マップ生成部１４０１は、微小ブロックごとのＡ像およびＢ像信号の最小相関値（Ｃ（ｘ））１４０５を出力する。

信頼度マップ生成部１４０６は、距離マップ生成部１４０１で生成された距離マップ３０４に対する信頼度マップ３１１Ｃを生成する。具体的には、参照像信号３１０と距離マップ生成部１４０１からの最小相関値１４０５とを用いて、以下のように微小ブロック（領域）ごとに被写体距離の信頼度を算出し、撮像範囲全体の信頼度マップ３１１Ｃを生成する。参照像信号３１０は、Ａ像信号３０２、Ｂ像信号３０３および像生成部３０５で生成された再構成像信号３０８のうちいずれか１つである。

信頼度マップ生成部１４０６は、領域ごとの参照像信号３１０のエッジ積分値が第１の閾値（第１の所定値）より高く、かつ最小相関値１４０５が第２の閾値（第２の所定値）よりも低い場合に、そうでない場合に比べて、その領域に高い信頼度を割り当てる。逆に言えば、エッジ積分値が第１の閾値より低いまたは最小相関値１４０５が第２の閾値よりも高い領域に対しては、エッジ積分値が第１の閾値より高く、かつ最小相関値１４０５が第２の閾値より低い領域に比べて低い信頼度を割り当てる。

これにより、瞳分割型位相差検出方式においてケラレの影響でＡ像およびＢ像信号の非対称性がある場合でも、少ない演算負荷で正確な信頼度マップを生成することができる。

距離マップ補正部３１２は、距離マップ生成部３０１で生成された距離マップ３０４を、信頼度マップ生成部１４０６で生成された信頼度マップ３１１Ｃを参照して補正して補正距離マップ３１５Ｃを出力する。距離マップ３０４の補正方法は、実施例１と同じである。本実施例でも、実施例１より正確な信頼度マップを参照して距離マップを補正することで、実施例１よりも正確な補正距離マップを生成することができる。

図１３では、距離マップ生成部１４０１から最小相関値１４０５を出力する場合について説明したが、Ａ像およびＢ像信号の相関度に関する評価値としてＳＬＯＰを出力してもよい。なお、ＳＬＯＰはＡ像およびＢ像信号のコントラストに比例した値となるので、コントラストに関する評価値でもある。この場合、信頼度マップ生成部１４０６は、ＳＬＯＰが予め設定した閾値（第２の所定値）より大きい場合に、ＳＬＯＰが閾値より小さい場合に比べて高い信頼度を割り当てる。逆に言えば、ＳＬＯＰが閾値より小さい場合に、ＳＬＯＰが閾値より大きい場合に比べて低い信頼度を割り当てる。

また、本実施例では、相関値を実施例１と同様に式（１）で示したＳＡＤ(Sum of Absolute Difference)を用いて演算してもよいし、下記の式（７）または式（８）による演算を用いてもよい。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）＋Ｆ（ｎ＋ｋ）｜ （７）
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）×Ｆ（ｎ＋ｋ）｜ （８）
ＳＡＤは相関度が高いほど相関値が小さくなるのに対して、式（７），（８）により得られる相関値は相関度が高いほど大きくなる。このため３点内挿を行う場合は、予め相関関数Ｃ（ｋ）の符号を反転させる等して、相関度が高いほど相関値が小さくなるようにしておく必要がある。

また、模様の変化が大きいほど相関値が小さくなるようにするため、相関値Ｃ（ｘ）をコントラストδ（ｋ）で正規化した値を相関度に関する評価値として距離マップ生成部１４０１から出力させるようにしてもよい。δ（ｋ）としては、例えば以下の式（９）〜（１２）で示すものを用いることができる。

δ（ｋ）＝√Σ（Ｅ（ｎ＋ｋ）＋Ｆ（ｎ））^２ （９）
δ（ｋ）＝ＭＡＸ（（√ΣＥ（ｎ＋ｋ）^２），（√ΣＦ（ｎ）^２）） （１０）
δ（ｋ）＝√ΣＥ（ｎ＋ｋ）^２×√ΣＦ（ｎ）^２ （１１）
δ（ｋ）＝√Σ｛（Ｅ（ｎ＋ｋ））^２＋（Ｆ（ｎ））^２｝ （１２）

次に、本発明の実施例４であるデジタルカメラにおける距離情報生成装置としての画像処理部１０７が行う処理について説明する。なお、本実施例におけるデジタルカメラの構成は、実施例１で図１および図２を用いて説明したものと同じである。

実施例３では、信頼度を割り当てる指標として、演算負荷を低減するために、Ａ像信号、Ｂ像信号および再構成像信号のうち１つのエッジ積分値と、Ａ像およびＢ像信号の相関値（最小相関値）とを用いる。これに対して、本実施例では、さらなる演算負荷の低減のために、信頼度をＡ像およびＢ像信号の相関値のみから算出する。

図１４を用いて、本実施例の画像処理部１０７において行われる距離マップ生成処理、信頼度マップ生成処理および距離マップ補正処理について説明する。画像処理部１０７は、距離マップ生成部（距離情報生成手段）１５０１、像信号生成部３０５、信頼度マップ生成部（信頼度情報生成手段）１５０６および距離マップ補正部（補正手段）３１２を有する。実施例１の図３に示した処理と同じ処理については、同じ符号を付している。また、本実施例では再構成像信号を参照しないため、像生成処理は行わない。

距離マップ生成部１５０１は、Ａ像信号３０２およびＢ像信号３０３の位相差に基づいて被写体距離の分布を示す距離マップ３０４を生成する。距離マップ生成部１５０１は、微小ブロックごとのＡ像およびＢ像信号の相関値のＳＬＯＰ１５０５を出力する。

信頼度マップ生成部１５０６は、距離マップ生成部１５０１で生成された距離マップ３０４に対する信頼度マップ３１１を生成する。具体的には、距離マップ生成部１５０１からのＳＬＯＰ１５０５を用いて、微小ブロック（領域）ごとに被写体距離の信頼度を算出し、撮像範囲全体の信頼度マップ３１１Ｄを生成する。この際、信頼度マップ生成部１５０６は、実施例３でも説明したように、ＳＬＯＰが予め設定した閾値（第２の所定値）より大きい場合に、ＳＬＯＰが閾値より小さい場合に比べて高い信頼度を割り当てる。逆に言えば、ＳＬＯＰが閾値より小さい場合に、ＳＬＯＰが閾値より大きい場合に比べて低い信頼度を割り当てる。

瞳分割型位相差検出方式においてケラレの影響でＡ像およびＢ像信号間に非対称性が生じている場合にはＳＬＯＰは小さくなるので、非対称性が生じていることを正確に判別することができる。

これにより、瞳分割型位相差検出方式においてケラレの影響でＡ像およびＢ像信号の非対称性がある場合でも、実施例３よりもさらに少ない演算負荷で正確な信頼度マップを生成することができる。

距離マップ補正部３１２は、距離マップ生成部１５０１で生成された距離マップ３０４を、信頼度マップ生成部１５０６で生成された信頼度マップ３１１Ｄを参照して補正して補正距離マップ３１５Ｄを出力する。距離マップ３０４の補正方法は、実施例１と同じである。本実施例でも、実施例１より正確な信頼度マップを参照して距離マップを補正することで、実施例１よりも正確な補正距離マップを生成することができる。

なお、本実施例において、距離マップ生成部１５０１は、ＳＬＯＰに代わる相関度に関する評価値として、実施例３で説明した相関値Ｃ（ｘ）をコントラストδ（ｋ）で正規化した値を出力してもよい。

次に、本発明の実施例５であるデジタルカメラにおける距離情報生成装置としての画像処理部１０７が行う処理について説明する。なお、本実施例におけるデジタルカメラの構成は、実施例１で図１および図２を用いて説明したものと同じである。

本実施例では、実施例１〜４に比べて、より高精度な信頼度マップおよび距離マップを生成する方法について説明する。

カメラにおいて、主被写体にほぼピントを合わせると、主被写体の手前や背後に存在する背景被写体は大きくぼける場合が多い。この場合に主被写体のＡ，Ｂ像の小さな像ずれ量と背景被写体のＡ，Ｂ像の大きな像ずれ量の両方を精度良く検出するため、Ａ像およびＢ像信号に対してフィルタ処理による帯域制限を行うことで得られる一対の信号の相関値を求める方法が考えられる。

図１５には、撮像光学系１０４のピントがほぼ合った模様のある被写体に対応するＡ像およびＢ像信号のうち高周波帯域を通過させて得られた一対の信号の相関値（破線）と、低周波数帯域を通過させて得られた一対の信号の相関値（実線）とを示している。この図から分かるように、ピントがほぼ合った模様のある被写体に対しては、Ａ像およびＢ像信号の高周波帯域を通過させて得られた一対の信号の相関値の方が、低周波帯域を通過させて得られた一対の信号の相関値に比べてＳＬＯＰが急峻になる。このため、前者の相関値を用いた方が、３点内挿の結果がより高精度になる。

図１６には、Ａ像およびＢ像信号に対する帯域制限を行って得られた一対の信号の相関値を用いて信頼度マップと距離マップを生成する画像処理部１０７の構成を示している。画像処理部１０７は、周波数帯域制限処理、距離マップ生成処理、信頼度マップ生成処理、信頼度マップ統合処理、距離マップ統合処理および距離マップ補正処理を行う。このため、画像処理部１０７は、周波数帯域制限部（処理手段）１７０１、距離マップ生成部１７０４および信頼度マップ生成部１７０９を有する。画像処理部１０７は、さらに信頼度マップ統合部１７１２、距離マップ統合部１７１７および距離マップ補正部（補正手段）１７２２を有する。距離マップ生成部１７０４および距離マップ統合部１７１７が距離情報生成手段を構成し、信頼度マップ生成部１７０９および信頼度マップ統合部１７１２が信頼度情報生成手段を構成する。

周波数帯域制限部１７０１は、Ａ像信号３０２およびＢ像信号３０３に対して周波数帯域を制限するバンドパスフィルタ処理を行い、周波数帯域制限後のＡ像信号１７０２およびＢ像信号１７０３を出力する。図１７には、バンドパスフィルタ処理におけるバンドパスフィルタ特性（振幅周波数特性）を示す。図１７において、破線は高周波数帯域を通過させる（サンプリングする）第１のバンドパスフィルタ処理のための第１のバンドパスフィルタ特性を示し、実線は低周波数帯域を通過させる第２のバンドパスフィルタ処理のための第２のバンドパスフィルタ特性を示す。なお、図１７に示した第１および第２のバンドパスフィルタ特性は例であり、他のバンドパスフィルタ特性を用いてもよい。周波数帯域制限部１７０１は、Ａ像およびＢ像信号１７０２，１７０３として、第１のバンドパスフィルタ処理後（高周波数帯域通過後）のＡ像およびＢ像信号と、第２のバンドパスフィルタ処理後（低周波数帯域通過後）のＡ像およびＢ像信号とを出力する。以下の説明において、第１のバンドパスフィルタ処理後のＡ像およびＢ像信号を高域Ａ像およびＢ像信号といい、第２のバンドパスフィルタ処理後のＡ像およびＢ像信号を低域Ａ像およびＢ像信号という。

距離マップ生成部１７０４は、高域Ａ像およびＢ像信号の位相差に基づいて被写体距離の分布を示す距離マップ（第１の距離情報：以下、高域距離マップという）１７０５を生成する。また、距離マップ生成部１７０４は、低域Ａ像およびＢ像信号の位相差に基づいて被写体距離の分布を示す距離マップ（第２の距離情報：以下、低域距離マップという）１７０６を生成する。さらに、距離マップ生成部１７０４は、微小ブロックごとの高域Ａ像およびＢ像信号の相関値のＳＬＯＰ（以下、高域ＳＬＯＰという）１７０７と低域Ａ像およびＢ像信号の相関値のＳＬＯＰ（以下、低域ＳＬＯＰという）１７０８とを出力する。

信頼度マップ生成部１７０９は、距離マップ生成部１７０４で生成された高域および低域距離マップ１７０５，１７０６に対する信頼度マップ１７１０，１７１１を生成する。具体的には、実施例４と同様の方法で、距離マップ生成部１７０４からの高域ＳＬＯＰ１７０７を用いて微小ブロックごとに被写体距離の信頼度を算出し、高域用の信頼度マップ（第１の信頼度情報：以下、高域信頼度マップという）１７１０を生成する。また、距離マップ生成部１７０４からの低域ＳＬＯＰ１７０８を用いて微小ブロックごとに被写体距離の信頼度を算出し、低域用の信頼度マップ（第２の信頼度情報：以下、低域信頼度マップという）１７１１を生成する。

信頼度マップ統合部１７１２は、信頼度マップ生成部１７０９で生成された高域信頼度マップ１７１０と低域信頼度マップ１７１１を統合することにより統合信頼度マップ（第３の信頼度情報）１７１６を生成する。この際、一部の場合には距離マップ生成部１７０４からの高域ＳＬＯＰ１７０７を用いる。

図１８に高域信頼度マップ１７１０と低域信頼度マップ１７１１の統合処理の例を示している。信頼度マップ統合部１７１２は、高域信頼度マップ１７１０と低域信頼度マップ１７１１における信頼度がいずれも予め設定した閾値より低い場合は、その領域では低域信頼度マップ１７１１の信頼度を出力信頼度として選択する。以下の説明において、高域信頼度マップ１７１０における信頼度を高域信頼度といい、低域信頼度マップ１７１１における信頼度を低域信頼度という。

また、同一領域において、低域信頼度が閾値よりも低く、高域信頼度が閾値以上である場合も、その領域では低域信頼度を出力信頼度として選択する。この領域では、低域では抽出されないような細かい繰り返し模様を高域で抽出している可能性があり、そのような領域では図１９に示すように相関値Ｃ（ｋ）に複数の極小値が存在するために、算出される被写体距離に極小値の変動によるばらつきが発生する。このため、高域信頼度が閾値以上であっても、その領域では低域信頼度を出力信頼度として採用する。

また、同一領域において、低域信頼度が閾値以上であり、高域信頼度が閾値より低い場合も、その領域では低域信頼度を出力信頼度として選択する。

そして、同一領域において、高域信頼度と低域信頼度がいずれも閾値以上である場合は、出力信頼度を以下の式（１３）を用いた重み付け加算により求める。

出力信頼度＝低域信頼度×（１．０−α）＋高域信頼度×α （１３）
ただし、αは重み係数である。

重み係数αは、距離マップ生成部１７０４からの高域ＳＬＯＰ１７０７を用いて、図２０に示すように設定される。高域ＳＬＯＰが第１の閾値Ｔｈ１より小さい場合は重み係数αを０とする。これにより、出力信頼度は低域信頼度となる。また、高域ＳＬＯＰが第２の閾値Ｔｈ２より大きい場合は、重み係数αを１とする。これにより、出力信頼度は高域信頼度となる。高域ＳＬＯＰが第１の閾値Ｔｈ１以上で第２の閾値Ｔｈ２以下の場合は、重み係数αは０から１の間の値となり、高域ＳＬＯＰが大きいほど１に近づく。これにより、出力信頼度は、高域ＳＬＯＰが大きいほど高域信頼度の重みが増加する信頼度となる。

なお、出力信頼度を重み付け加算により算出する際の重みαを決める指標として、低域ＳＬＯＰ１７０８を用いてもよい。この場合、出力信頼度の重み付け加算は以下の式（１４）により行う。
出力信頼度＝低域信頼度×α＋高域信頼度×（１．０−α） （１４）
また、信頼度マップの統合の仕方は図１８に示したものに限定されない。例えば、いずれの領域でも低域信頼度の重みを１．０とすることで、全ての領域の低域信頼度を出力信頼度とした統合信頼度マップを生成してもよい。

距離マップ統合部１７１７は、距離マップ生成部１７０４で生成された高域距離マップ１７０５と低域距離マップ１７０６とを統合することにより、統合距離マップ（第３の距離情報）１７２１を生成する。高域および低域距離マップ１７０５，１７０６の統合も、信頼度マップ統合部１７１２での高域および低域信頼度マップ１７１０，１７１１の統合処理と同様の処理で行われる。重み付け加算を行う場合に、距離マップ生成部１７０４からの高域ＳＬＯＰ１７０７（または低域ＳＬＯＰ１７０８）が用いられることについても同様である。また、高域距離マップ１７０５と低域距離マップ１７０６の統合割合を、高域信頼度マップ１７１０と低域信頼度マップ１７１１の統合割合と同じとすることが望ましい。

距離マップ補正部１７２２は、距離マップ統合部１７１７で生成された統合距離マップ１７２１を、信頼度マップ統合部１７１２で生成された統合信頼度マップを参照して補正して補正距離マップ１７２５を出力する。統合距離マップ１７２１の補正方法は、実施例１と同じである。

本実施例では、瞳分割型位相差検出方式において高域と低域のＡ像およびＢ像信号の位相差をそれぞれ算出し、これら位相差から生成した高域および低域距離マップと高域および低域信頼度マップをそれぞれ統合して統合距離マップと統合信頼度マップを生成する。これにより、Ａ，Ｂ像が小さな像ずれ量を有する主被写体の被写体距離とＡ，Ｂ像が大きな像ずれ量を有する背景被写体の被写体距離とがともに精度良く算出された距離マップと正確な信頼度マップとを得ることができる。そして、正確な信頼度マップを参照して距離マップを補正することで、より正確な補正距離マップを生成することができる。

なお、本実施例において、距離マップ生成部１７０４は、ＳＬＯＰに代わる相関度に関する評価値として、実施例３で説明した相関値Ｃ（ｘ）をコントラストδ（ｋ）で正規化した値を出力してもよい。また、信頼度マップ生成部１７０９は、実施例１から３にて説明した方法で信頼度マップを作成してもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ デジタルカメラ
１０４ 撮像光学系
１０５ 撮像部
１０７ 画像処理部

Claims (14)

1. 撮像範囲の撮像により得られた位相差検出用の一対の像信号の位相差に基づいて、前記撮像範囲内の被写体距離の分布を示す距離情報を生成する距離情報生成手段と、
   前記一対の像信号のうち少なくとも一方の像信号のエッジに関する評価値、前記少なくとも一方の像信号のコントラストに関する評価値および前記一対の像信号の相関度に関する評価値のうち少なくとも１つの評価値を用いて、前記距離情報に対する信頼度を示す信頼度情報を生成する信頼度情報生成手段とを有することを特徴とする距離情報生成装置。
2. 前記信頼度情報生成手段は、前記エッジまたは前記コントラストに関する評価値が第１の所定値より小さい場合に、該所定値より大きい場合に比べて前記信頼度を低くすることを特徴とする請求項１に記載の距離情報生成装置。
3. 前記信頼度情報生成手段は、前記一対の像信号のそれぞれの前記エッジまたは前記コントラストに関する評価値のうち小さい方の評価値が前記第１の所定値より小さい場合に、該第１の所定値より大きい場合に比べて前記信頼度を低くすることを特徴とする請求項２に記載の距離情報生成装置。
4. 前記信頼度情報生成手段は、
   前記相関度に関する評価値として、前記相関度が高いほど小さくなる相関値を用い、
   前記相関値が第２の所定値より大きい場合に、該第２の所定値より小さい場合に比べて前記信頼度を低くすることを特徴とする請求項１に記載の距離情報生成装置。
5. 前記信頼度情報生成手段は、
   前記相関度に関する評価値として、前記相関度が高いほど小さくなる相関値を用い、
   前記エッジまたは前記コントラストに関する評価値が第１の所定値より小さい場合または前記相関値が前記第２の所定値より大きい場合に、前記エッジまたは前記コントラストに関する評価値が前記第１の所定値より大きく、かつ前記相関値が前記第２の所定値より小さい場合に比べて前記信頼度を低くすることを特徴とする請求項１に記載の距離情報生成装置。
6. 前記信頼度情報生成手段は、
   前記相関度に関する評価値として、前記相関度の変化量が大きいほど大きくなる相関値傾きを用い、
   前記相関値傾きが第２の所定値より小さい場合に、該第２の所定値より大きい場合に比べて前記信頼度を低くすることを特徴とする請求項１に記載の距離情報生成装置。
7. 前記信頼度情報生成手段は、
   前記相関度に関する評価値として、前記相関度の変化量が大きいほど大きくなる相関値傾きを用い、
   前記エッジまたは前記コントラストに関する評価値が第１の所定値より小さい場合または前記相関値傾きが前記第２の所定値より小さい場合に、前記エッジまたは前記コントラストに関する評価値が前記第１の所定値より大きく、かつ前記相関値が前記第２の所定値より大きい場合に比べて前記信頼度を低くすることを特徴とする請求項１に記載の距離情報生成装置。
8. 前記信頼度に応じて前記距離情報を変更する補正手段を有することを特徴とする請求項１から７のいずれか一項に記載の距離情報生成装置。
9. 前記補正手段は、前記距離情報のうち前記信頼度が所定値より低い第１の領域の前記被写体距離を、
   前記距離情報のうち前記第１の領域の周辺において前記信頼度が前記所定値より高い第２の領域の前記距離情報、
   複数の前記第２の領域の前記被写体距離のうち前記第１の領域の前記被写体距離に最も近い被写体距離、および、
   複数の前記第２の領域の前記被写体距離の平均値のうちいずれかに置き換えることを特徴とする請求項８に記載の距離情報生成装置。
10. 前記一対の像信号に対して、第１のバンドパスフィルタ特性を用いた第１のバンドパスフィルタ処理と、前記第１のバンドパスフィルタ特性とは異なる第２のバンドパスフィルタ特性を用いた第２のバンドパスフィルタ処理とを行う処理手段を有し、
    前記距離情報生成手段は、前記第１のバンドパスフィルタ処理後の前記一対の像信号の前記位相差に基づいて生成した前記距離情報としての第１の距離情報と、前記第２のバンドパスフィルタ処理後の前記一対の像信号の前記位相差に基づいて生成した前記距離情報としての第２の距離情報とを統合して第３の距離情報を生成し、
    前記信頼度情報生成手段は、前記第１の距離情報に対する前記信頼度情報としての第１の信頼度情報と前記第２の距離情報に対する前記信頼度情報としての第２の信頼度情報とを生成し、該第１および第２の信頼度情報を統合して第３の信頼度情報を生成することを特徴とする請求項１から９のいずれか一項に記載の距離情報生成装置。
11. 前記距離情報生成手段は前記第１および第２の距離情報の重み加算により前記第３の距離情報を生成し、前記信頼度情報生成手段は前記第１および第２の信頼度情報の重み加算により前記第３の信頼度情報を生成し、
    前記距離情報および信頼度情報生成手段は、前記重み付け加算における重み係数を前記相関度に関する評価値に基づいて設定することを特徴とする請求項１０に記載の距離情報生成装置。
12. 撮像光学系により形成された被写体像を撮像する撮像素子と、
    請求項１から１１のいずれか一項に記載の距離情報生成装置とを有することを特徴とする撮像装置。
13. 撮像範囲の撮像により得られた位相差検出用の一対の像信号の位相差に基づいて、前記撮像範囲内の被写体距離の分布を示す距離情報を生成し、
    前記一対の像信号のうち少なくとも一方の像信号のエッジに関する評価値、前記少なくとも一方の像信号のコントラストに関する評価値および前記一対の像信号の相関度に関する評価値のうち少なくとも１つの評価値を用いて、前記距離情報に対する信頼度を示す信頼度情報を生成することを特徴とする距離情報生成方法。
14. コンピュータに処理を実行させるコンピュータプログラムであって、
    前記コンピュータに、
    撮像範囲の撮像により得られた位相差検出用の一対の像信号の位相差に基づいて、前記撮像範囲内の被写体距離の分布を示す距離情報を生成する処理と、
    前記一対の像信号のうち少なくとも一方の像信号のエッジに関する評価値、前記少なくとも一方の像信号のコントラストに関する評価値および前記一対の像信号の相関度に関する評価値のうち少なくとも１つの評価値を用いて、前記距離情報に対する信頼度を示す信頼度情報を生成する処理を実行させることを特徴とする距離情報生成プログラム。