JP2016014753A - 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム - Google Patents

Abstract

【課題】鏡面反射成分の影響を低減した高精度の焦点検出を行う。【解決手段】焦点検出装置は、物体からの光のうち光学系１０１の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子１０２からの出力を用いて生成された一対の像信号に対する相関演算を行って相関評価値を生成し、該相関評価値を用いて光学系のデフォーカス量を算出する演算手段１０５，１１５と、物体を撮像して得られた信号を用いて物体を照らす光源の色に関する情報を取得する光源色取得手段１０９と、光源の色に関する情報と一対の像信号とを用いて該一対の像信号における差分が物体からの鏡面反射光により生じたと判定することに応じて、相関評価値に対して鏡面反射光に関する補正を行う補正手段１０７とを有する。【選択図】図１

Description

本発明は、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に用いられる焦点検出装置に関し、特に位相差検出方式による焦点検出を行う装置に関する。

位相差検出方式による焦点検出では、撮像光学系の射出瞳のうち互いに異なる領域（以下、瞳領域という）からの光束により形成される一対の被写体像を光電変換して得られる一対の像信号の位相差を算出し、該位相差から撮像光学系のデフォーカス量を算出する。射出瞳からの光束を互いに異なる瞳領域からの光束（一対の被写体像）に分割して光電変換することを、瞳分割という。

このような瞳分割を行う位相差検出方式による焦点検出装置としては、例えば特許文献１にて開示されたものがある。この焦点検出装置では、受光素子（撮像素子）の焦点検出画素ごとにマイクロレンズ（以下、ＭＬいう）を設け、１つの焦点検出画素内にマイクロレンズの光軸に対してそれぞれ偏心した一対の光電変換部（以下、ＰＤという）を設けることで、瞳分割を可能としている。

ただし、従来の位相差検出方式では、表面に光沢のある被写体を撮像する際に、その表面にて反射した光のうち鏡面反射光の成分（以下、鏡面反射成分という）が焦点検出装置に入射することで、正確な焦点検出ができない場合がある。この問題に対して、特許文献２には、偏光フィルタにより鏡面反射成分を低減させた光束を用いた焦点検出を行うことで、鏡面反射成分による影響を受けにくい焦点検出装置が開示されている。

また、特許文献３には、撮像により得られた画像の画素値のうち平均より明るい画素値とこれより暗い画素値との差分の積分結果を鏡面反射成分とみなして光源色を推定し、該光源色を白色に近づけるようにホワイトバランスゲインを求める方法が開示されている。

特開２００７−１３３０８７号公報 特開２０１２−２４７３５６号公報 特開第２００７−０１３４１５号公報

しかしながら、特許文献２にて開示された焦点検出装置では、鏡面反射成分を低減させるために偏光フィルタという特別な光学素子を用意する必要がある。また、特許文献３にて開示された方法では、得られた差分値の積分結果を鏡面反射成分（光源色）として推定するに過ぎず、鏡面反射成分が存在する位置を特定するものではない。

本発明は、特別な光学素子を用いることなく、鏡面反射成分の影響を低減した高精度の焦点検出を行えるようにした焦点検出装置およびこれを備えた撮像装置、さらには焦点検出方法を提供する。

本発明の一側面としての焦点検出装置は、物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行って相関評価値を生成し、該相関評価値を用いて光学系のデフォーカス量を算出する演算手段と、物体を撮像して得られた信号を用いて物体を照らす光源の色に関する情報を取得する光源色取得手段と、光源の色に関する情報と一対の像信号とを用いて該一対の像信号における差分が物体からの鏡面反射光により生じたと判定することに応じて、相関評価値に対して鏡面反射光に関する補正を行う補正手段とを有することを特徴とする。

また、本発明の他の一側面としての焦点検出装置は、物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行って相関評価値を生成し、該相関評価値を用いて前記光学系のデフォーカス量を算出する演算手段と、光電変換素子を、それぞれ複数の画素を含む複数の画素ブロックに分割し、該画素ブロックごとに物体からの鏡面反射光による出力を検出する鏡面反射検出手段とを有し、演算手段は、複数の画素ブロックのうち鏡面反射光による出力が検出された第１の画素ブロックとは異なる第２の画素ブロックからの出力を用いてデフォーカス量を算出することを特徴とする。

なお、上記焦点検出装置を有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての焦点検出方法は、物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行って相関評価値を生成し、該相関評価値を用いて光学系のデフォーカス量を算出し、物体を撮像して得られた信号を用いて物体を照らす光源の色に関する情報を取得し、光源の色に関する情報と一対の像信号とを用いて該一対の像信号における差分が物体からの鏡面反射光により生じたと判定することに応じて、相関評価値に対して鏡面反射光に関する補正を行うことを特徴とする。

また、本発明の他の一側面としての焦点検出方法は、物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行って相関評価値を生成し、該相関評価値を用いて光学系のデフォーカス量を算出し、光電変換素子を、それぞれ複数の画素を含む複数の画素ブロックに分割し、該画素ブロックごとに物体からの鏡面反射光による出力を検出し、複数の画素ブロックのうち鏡面反射光による出力が検出された第１の画素ブロックとは異なる第２の画素ブロックからの出力を用いてデフォーカス量を算出することを特徴とする。

なお、上記焦点検出方法に相当する処理をコンピュータに実行させるコンピュータプログラムである焦点検出プログラムも、本発明の他の一側面を構成する。

本発明によれば、特別な光学素子を用いることなく、物体体からの鏡面反射光の影響を低減した高精度なデフォーカス量の算出を行うことができる。したがって、このデフォーカス量を用いることで高い合焦精度が得られ、高画質の撮影画像を得ることができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１にて用いられる撮像素子の単位画素セルの正面図。 実施例１における分割ＰＤの画素値を用いた焦点検出の原理を示す図。 実施例１において鏡面反射光を相関演算の差分から得る原理を示す図。 実施例１における画素ブロックの分割例を示す図。 実施例１におけるＳＡＤ値の例を示す図。 実施例１にて用いられる撮像素子を示す正面図。 実施例１におけるＡ，Ｂ像信号とこれらの差分を示す図。 実施例１における焦点検出処理を示すフローチャート。 本発明の実施例２である撮像装置の構成を示すブロック図。 実施例２における焦点検出領域の選択例を示す図。 実施例２における焦点検出処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である、デジタルビデオカメラやデジタルスチルカメラ等撮像装置１００の構成を示す。光学ユニット１０１は、焦点調節を行うためのフォーカスレンズを含む複数のレンズ、シャッタおよび絞りにより構成される撮像光学系と、該撮像光学系の動作を制御するレンズ制御部とを有する。駆動制御部１１２は、後述する焦点検出部１０８からの出力に応じて光学ユニット１０１に含まれるフォーカスレンズの駆動（オートフォーカス：ＡＦ）を制御する信号を出力する。

光電変換素子としての撮像素子１０２は、単位画素セルが２次元マトリクス状に配列されたＣＭＯＳセンサにより構成されている。光学ユニット１０１に含まれるシャッタによって撮像素子１０２の露光量が制御される。撮像光学系は、被写体（物体）からの光束に被写体像（物体像）を形成させる。この被写体像は撮像素子１０２により光電変換され、光電変換によって各単位画素セル内に構成された後述する一対の光電変換部に蓄積された電荷がアナログ信号としてＡ／Ｄ変換部１０３に出力される。

図２には、撮像素子１０２における１つの単位画素セル１を示している。単位画素セル１は、１つのマイクロレンズ（以下、ＭＬという）２と、このＭＬ２の光軸に対してそれぞれ反対側に偏心配置された一対の光電変換部（以下、分割ＰＤという）１ａ，１ｂとを有する。分割ＰＤ１ａ，１ｂは、共通のＭＬ２を通して撮像光学系の射出瞳における互いに異なる瞳領域を通過した光束を受光することで瞳分割を行う。言い換えれば、分割ＰＤ１ａ，１ｂは、ＭＬ２を介して視差をもって被写体を見る画素として機能する。撮像素子１０２には、このような単位画素セルが図７に示すように複数配列されている。

撮像素子１０２上の複数の単位画素セルは、ベイヤー配列された赤（Ｒ）、緑（Ｇ）および青（Ｂ）用のカラーフィルター付き単位画素セルをそれぞれ複数含んでいる。ベイヤー配列では、水平２個×垂直２個の単位画素セルのうち一方の対角位置に２つのＧ用単位画素セルが配置され、他方の対角位置に１つずつＲ用およびＢ用の単位画素セルが配置されている。

複数（ＲＧＢ）の単位画素セル１における分割ＰＤ１ａは位相差検出方式による焦点検出用の一対の被写体像のうちＡ像を光電変換するＡ像用画素群として用いられ、分割ＰＤ１ｂは一対の被写体像のうちＢ像を光電変換するＢ像用画素群として用いられる。このように撮像素子に設けられたＡ像用およびＢ像用画素群を用いて位相差検出方式の焦点検出を行うＡＦを、撮像面位相差ＡＦという。

なお、本実施例では、焦点検出用の光電変換素子として後述するように撮影画像の取得も可能な撮像素子１０２を用いるが、このような撮像素子とは別に設けられた焦点検出専用の光電変換素子（ＡＦセンサ等）を用いてもよい。

Ａ／Ｄ変換部１０３は、撮像素子１０２から出力されたアナログ信号をデジタル信号（画素信号）に変換してキャプチャー部１０４に出力する。Ａ／Ｄ変換部１０３は、ノイズを低減するＣＤＳ回路やデジタル信号への変換前のアナログ信号を増幅する非線形増幅回路等を含む。

キャプチャー部（撮像部）１０４は、Ａ／Ｄ変換部１０３から出力されたＲＧＢの色ごとのＡ像用画素群に対応する画素信号から該色ごとのＡ像信号を生成し、ＲＧＢの色ごとのＢ像用画素群に対応する画素信号から該色ごとのＢ像信号を生成する。キャプチャー部１０４は、これら色ごとのＡ像およびＢ像信号をＷＢ算出補正部１０９と焦点検出部１０８に出力する。Ａ像信号とＢ像信号は互いに視差を有する一対の視差画像ということもできる。以下の説明では、Ａ像信号とＢ像信号をまとめて一対のＡＦ像信号ともいう。

また、キャプチャー部１０４は、Ａ／Ｄ変換部１０３から出力されたＲＧＢのＡ像用およびＢ像用画素群からの画素信号の合成信号としての該色ごとの撮像画素信号を生成し、これら撮像画素信号をＷＢ算出補正部１０９に出力する。ＲＧＢの撮像画素信号は、撮影画像（ライブビュー画像および記録用画像）を生成するために用いられる。なお、撮像画素信号も上記一対のＡＦ像信号も、被写体を撮像（被写体像を光電変換）して得られた信号である。

光源色取得手段としてのＷＢ算出補正部１０９は、ＲＧＢの撮像画素信号または一対のＡＦ像信号のうち少なくとも一方から、後述するホワイトバランス評価値（以下、ＷＢ評価値という）を取得し、該ＷＢ評価値に基づいてホワイトバランスゲインを算出する。そして、ＷＢ評価値を焦点検出部１０８に出力する一方、ホワイトバランスゲインを用いた撮像画素信号の補正（以下、ＷＢ補正という）を行い、該ＷＢ補正後の撮像画素信号を同時化処理部１１０に出力する。

ここで、ＷＢ評価値について説明する。ＷＢ評価値は、様々な光源下で白色を正確に白く撮像できるように用いられる値であり、撮像時の光源下での白色被写体の色味を表す値である。一般的には、白色と推定される被写体を含む撮像領域を検出し、該撮像領域でのＲ，Ｇ，Ｂの値を積分してＷＢ評価値を算出する方法がある。また、特許文献３にて開示されているように撮像により得られた画像の画素値のうち平均より明るい画素値とこれより暗い画素値との差分の積分結果を鏡面反射成分とみなし、被写体を照らす光源の色を推定してＷＢ評価値を算出する方法もある。このうち本実施例では特許文献３にて開示された後者の方法を用いるが、他の方法でＷＢ評価値を算出してもよい。本実施例では、このＷＢ評価値を後述する焦点検出部１０８にて分割設定される画素ブロックごとに算出する。

焦点検出部１０８は、撮像光学系の焦点状態を示すデフォーカス量を検出（算出）する焦点検出処理を行う。具体的には、焦点検出部１０８は、キャプチャー部１０４から入力されたＡ像信号とＢ像信号に対してＳＡＤ（Sum of Absolute Difference）法等の相関演算を行って相関評価値を生成する。さらに、焦点検出部１０８は、相関評価値に対してＷＢ算出補正部１０９から入力されたＷＢ評価値を用いて、後述する補正を行う。なお、相関演算の方法は、ＳＳＤ（Sum of Squared Difference）法等、他の方法であってもよい。そして、該補正後の相関評価値を用いて撮像光学系のデフォーカス量を算出し、その結果を駆動制御部１１２に出力する。ＷＢ算出補正部１０９および焦点検出部１０８により焦点検出装置が構成される。

同時化処理部１１０は、ＷＢ算出補正部１０９から入力されたＷＢ補正後のＲＧＢの撮像画素信号に対して同時化処理（デモザイキング）を行ってカラー撮影画像を生成する。そして、同時化処理部１１０は、カラー撮影画像のデータを、ノイズリダクションやＪＰＥＧに代表される画像圧縮を行った後に外部記録装置１１１に出力する。

外部記録装置１１１は、同時化処理部１１０から出力されたカラー撮影画像をＳＤカード等に代表されるメモリカードに記録する。

次に、焦点検出部１０８が行う焦点検出処理について、図９のフローチャートを併せ用いて詳しく説明する。図１に示すように、焦点検出部１０８は、相関演算部１０５と、相関蓄積バッファ１０６と、鏡面反射補正部１０７と、デフォーカス量算出部１１５とを含む。相関演算部１０５およびデフォーカス量算出部１１５は演算手段を構成し、鏡面反射補正部１０７は補正手段を構成する。焦点検出部１０８は、コンピュータとして、コンピュータプログラムである焦点検出プログラムに従って、図９に示すステップＳ１１〜Ｓ１７の焦点検出処理を行う。

相関演算部１０５は、ステップＳ１１において、図５に示すように、撮像素子１０２上の全画素を複数（ここでは例として６４個）の画素ブロックに分割する。各画素ブロックは、複数の画素（単位画素セル）を含む。そして、相関演算部１０５は、ステップＳ１２において、キャプチャー部１０４から得られた画素ブロックごとのＡ像信号とＢ像信号に対して、１画素ずつの画素ずらしを行いながら相関演算を行う。このとき、相関演算部１０５は、ステップＳ１３において、１画素ずらしごとの相関演算結果を相関蓄積バッファ１０６に出力する。相関蓄積バッファ１０６は、これら１画素ずらし量ごとの相関評価値を記憶（蓄積）する。

図３を用いて、相関演算の内容および相関演算により得られる相関評価値と撮像光学系の焦点状態との関係について説明する。ここでは、相関演算を上述したＳＡＤ法で行う場合について説明し、ＳＡＤ法で行う相関演算をＳＡＤ演算といい、ＳＡＤ演算により得られた相関評価値をＳＡＤ評価値という。

図３には、撮像素子１０２のうち、それぞれ図２に示した一対の分割ＰＤ１ａ，１ｂを含む単位画素セルに相当する１３個の単位画素セルＰ１〜Ｐ１３を水平方向（垂直方向であってもよい）に一列に並べて示している。ここでは、これら１３個の単位画素セルＰ１〜Ｐ１３がＲＧＢの色ごとに設けられているものとする。各単位画素セルは、撮像光学系の射出瞳に対する瞳分割を行う。

前述したキャプチャー部１０４は、同色の単位画素セルＰ１〜Ｐ１３の分割ＰＤ１ａ，１ｂからの出力を用いて同色のＡ像信号とＢ像信号を生成する。つまり、ＲのＡ像信号とＢ像信号、ＧのＡ像信号とＢ像信号およびＢのＡ像信号とＢ像信号を生成する。相関演算部１０５は、これら色ごとのＡ像信号とＢ像信号における対応点（対応単位画素セル）間のＳＡＤ評価値Ｃを、次式（１）に示すＳＡＤ演算によって求める。
Ｃ＝Σ｜ＹＡｎ−ＹＢｍ｜ …（１）
ただし、ＹＡｎ，ＹＢｍはそれぞれ、Ａ像信号とＢ像信号の信号値のうちｎ，ｍ番目（ｎ，ｍ＝１〜１３）の単位画素セルから得られる信号値（画素値）である。ＹＡｎとＹＢｍとが互いにほぼ一致してＳＡＤ評価値Ｃが最小となる、すなわち相関度が最も高くなったときのＡ像信号とＢ像信号のずれ量（位相差）ｎ−ｍから撮像光学系のデフォーカス量（デフォーカス方向を含む）を算出することができる。

図３（ａ）に示すように、合焦状態では、撮影光学系からの光束によってＡ像およびＢ像がともに単位画素セルＰ５上に形成される。このため、単位画素セルＰ５（ｎ，ｍ＝５）のＡ像用およびＢ像用画素群（分割ＰＤ１ａ，１ｂ）からの出力より生成されるＡ像信号とＢ像信号がほぼ一致する。このとき、Ａ像信号とＢ像信号のずれ量、すなわちＡ像とＢ像の像ずれ量ｄ（ａ）は、ほぼ０（単位画素セルＰ５内の分割ＰＤ１ａ，１ｂの間隔である基線長に相当する値）になる。

撮像光学系が後ピンの状態では、撮像光学系の結像位置は、Ａ像については単位画素セルＰ５（ｎ＝５）上に、Ｂ像については単位画素セルＰ９（ｍ＝９）上に形成される。このとき、ＳＡＤ演算により求められる像ずれ量ｄ（ｂ）は、０ではない値（ｎ−ｍ＝−４）を持つ。さらに、撮像光学系が前ピンの状態では、Ａ像については単位画素セルＰ９（ｎ＝９）上に、Ｂ像については単位画素セルＰ５（ｍ＝５）上に形成される。このとき、ＳＡＤ演算により求められる像ずれ量ｄ（ｃ）は、像ずれ量ｄ（ｂ）と大きさは同じであるが符号が異なる（ｎ−ｍ＝４）。

これは、Ａ像用画素群およびＢ像用画素群は、合焦状態では同一の被写体を見ているが、後ピン状態および前ピン状態では像ずれ量ｄ（ｂ），ｄ（ｃ）だけずれた被写体を見ているためである。

ステップＳ１２，１３では、相関演算部１０５および相関蓄積バッファ１０６は、上記ＳＡＤ演算とＳＡＤ評価値の蓄積とをＲＧＢの色ごとに行う。そして、デフォーカス量算出部１１５は、後述するステップＳ１４〜Ｓ１６を経た後、最終的にはステップＳ１７において、色ごとのＳＡＤ評価値の合算値が最小となる像ずれ量ｄと上記基線長とを用いた公知の演算方法により撮像光学系のデフォーカス量を算出する。ここにいうデフォーカス量には、デフォーカスの方向も含む。その後、デフォーカス量算出部１１５は、算出したデフォーカス量を駆動制御部１１２に出力する。駆動制御部１１２は、該デフォーカス量からフォーカスレンズの移動量（移動方向を含む）を算出し、その算出結果に応じてフォーカスレンズを移動させる。これにより、合焦状態が得られる。

ＳＡＤ評価値について、図８（ａ）および図６を用いてさらに詳しく説明する。図８（ａ）には、Ａ像用画素群（およびＢ像用画素群）における一次元方向での画素値として得られるＡ像信号（およびＢ像信号）を示しており、横軸は画素位置を、縦位置は画素値を示す。Ａ像用およびＢ像用画素群は、理想的には同一の被写体像を見る。このため、これらの画素群が受光する光に鏡面反射光の成分（以下、鏡面反射成分という）が含まれていたり被写体像にオクリュージョン領域が存在したりしない理想状態では、Ａ像用およびＢ像用画素群上には画素位置がずれた同じＡ像とＢ像が形成される。

図６には、画素ずらし量（横軸）ごとに式（１）により算出され、相関蓄積バッファ１０６に蓄積されるＳＡＤ評価値（縦軸）を示している。実線は、鏡面反射成分が無い状態でのＡ像とＢ像の画素ずらし量ごとのＳＡＤ評価値を示している。この実線では、点Ａ（画素ずらし量８）でＳＡＤ評価値が最小となっている。このとき、デフォーカス量算出部１１５は、点Ａでの像ずれ量ｄに基づいてデフォーカス量を算出する。

鏡面反射補正部１０７は、ステップＳ１４において、色ごとのＡ像およびＢ像信号の差分値（以下、ＡＦ像差分値という）の色比を求める。そして、鏡面反射補正部１０７は、ステップＳ１５において、ＡＦ像差分値の色比がＷＢ算出補正部１０９から取得したＷＢ評価値の色比（光源の色に関する情報）と近いか否かを判定する。ＡＦ像差分値の色比がＷＢ評価値の色比と近い場合、鏡面反射補正部１０７は、ステップＳ１６において、色ごとのＳＡＤ評価値の合算値に対して鏡面反射成分に関する補正を行う。この補正は、ＳＡＤ評価値（合算値）から鏡面反射成分の影響を低減（望ましくは除去）するためのものであり、以下の説明では、鏡面反射補正という。ＡＦ像差分値の色比とＷＢ評価値の色比については、後に詳しく説明する。

ここで、ＳＡＤ評価値に対して鏡面反射補正を行うことが好ましい場合について、図８（ｂ）〜（ｄ）を用いて具体的に説明する。図８（ｂ）は、図８（ａ）とは対照的に、鏡面反射成分を含むＡ像を受光したＡ像用画素群から得られるＡ像信号を示し、図８（ｃ）は、同様に、鏡面反射成分を含むＢ像を受光したＢ像用画素群から得られるＢ像信号を示している。また、図８（ｄ）は、合焦状態において図８（ｂ），（ｃ）に示したＡ像およびＢ像信号（ただし、位置合わせした状態）における差分を示している。

本来、合焦状態では、Ａ像およびＢ像信号は互いに一致しているため、それらの差分は０となるはずである。しかし、Ａ像およびＢ像に鏡面反射成分が含まれているために、図８（ｄ）に示すように、Ａ像およびＢ像信号に差分が現れる。図８（ｂ），（ｃ）に示したＡ像およびＢ像信号に対してＳＡＤ評価値を算出すると、図６に破線で示すように、本来の合焦位置に対応する点ＡでのＳＡＤ評価値よりも点ＢでのＳＡＤ評価値の方が小さい。このため、焦点検出部１０８は、点Ｂに対する像ずれ量に基づいてデフォーカス量を算出する。つまり、デフォーカス量を誤算出する。

図８（ｄ）に示す差分は、詳しくは後述するが、鏡面反射成分を表しており、言い換えれば被写体を照らす光源の色（以下、光源色という）を表している。Ａ像信号とＢ像信号の差分を表す差分値をＲＧＢの色ごとに取得し、各色の差分値をＷＢ評価値に対応する光源色と比較することで、Ａ像およびＢ像信号における差分が鏡面反射成分により生じたのか焦点が合っていないために生じたのかを判別することが可能である。

次に、ＡＦ像差分値の色比およびＷＢ評価値の色比の算出方法と、これらの色比の比較方法について説明する。

まず、鏡面反射補正部１０７は、ステップＳ１４において、ＲとＢのＡＦ像差分値ΔＲ，ΔＢのＧのＡＦ像差分値ΔＧに対する比（色比）Ｒｒ１，Ｂｒ１を画素位置ごとに式（２），（３）により算出する。
Ｒｒ１＝ΔＲ／ΔＧ ・・・（２）
Ｂｒ１＝ΔＢ／ΔＧ ・・・（３）
また、鏡面反射補正部１０７は、同ステップにおいて、ＲとＢのＷＢ評価値ＷＢＲ，ＷＢＢのＧのＷＢ評価値ＷＢＧに対する色比Ｒｒ２，Ｂｒ２を画素位置ごとに式（４），（５）により算出する。
Ｒｒ２＝ＷＢＲ／ＷＢＧ ・・・（４）
Ｂｒ２＝ＷＢＢ／ＷＢＧ ・・・（５）
次に、鏡面反射補正部１０７は、同ステップにおいて、同じ各画素位置でのＲｒ１，Ｂｒ１とＲｒ２，Ｂｒ２から、式（６）により比較値を求める。
√｛（Ｒｒ１−Ｒｒ２）^２＋（Ｂｒ１−Ｂｒ２）^２｝ ・・・（６）
そして、鏡面反射補正部１０７は、ステップＳ１５において、この比較値が所定値以下であるときに、ＡＦ像差分値が光源色に近い、すなわち鏡面反射成分により生じたものである判定する。この場合、鏡面反射補正部１０７は、ステップＳ１６にて、比較値に応じてＳＡＤ評価値（合算値）に補正係数を乗ずることで、ＳＡＤ評価値における鏡面反射成分の影響を低減する鏡面反射補正を行う。

ここで、式（６）の値が小さいほどＳＡＤ評価値の信頼性が低いことを意味する。補正係数は、これをＳＡＤ評価値に乗じた結果を本来のＳＡＤ評価値よりも大きくするような値（１以上の値）を有する。式（６）の値に応じて１以上の補正係数を選択するテーブルを用意してもよい。

なお、上記比較値が所定値より大きいときは、ＡＦ像差分値は鏡面反射成分により生じたものではないとして、デフォーカス量算出部１１５が、ステップＳ１７にて、鏡面反射補正を行わないＳＡＤ評価値を用いてデフォーカス量を算出する。

このように、本実施例では、ＡＦ像差分値が鏡面反射成分により生じたものであるか否かをＷＢ評価値との比較によって判定し、鏡面反射成分により生じたとの判定に応じて、ＳＡＤ評価値に対して鏡面反射補正を行う。これにより、高い信頼性を有するＳＡＤ評価値を用いてデフォーカス量を算出することができる。言い換えれば、デフォーカス量の信頼性を高めることができる。

図６中の点線は、鏡面反射補正後のＳＡＤ評価値を示している。この補正後ＳＡＤ評価値では、本来の合焦位置に対応する点ＡでのＳＡＤ評価値が点ＢでのＳＡＤ評価値よりも小さくなっている。このため、デフォーカス量算出部１１５は、点Ａに対する像ずれ量に基づいてデフォーカス量を算出する。これにより、鏡面反射成分の影響によるデフォーカス量の誤算出が回避される。

次に、ＳＡＤ演算によって鏡面反射成分がＡＦ像差分値となって現れる原理について説明する。物体からの反射光には、反射方向性を持たず物体の色を反映する乱反射光（以下、乱反射成分という）と、反射方向性を有して物体の色を反映せずに光源色を反映する鏡面反射成分とが存在する。具体的には、図４に示すように、光源４００から被写体４０１に入射した光の一部は乱反射成分（図中の細実線および細点線で示す）として全方向に反射され、残りは鏡面反射成分（図中の太実線および太点線で示す）として主として正反射方向に反射される。

図４では、撮像装置４０２，４０３が互いに空間的に異なる位置から被写体４０１を撮像している。被写体４０１から撮像装置４０２の方向に反射される乱反射成分を細実線で、鏡面反射成分を太実線で示している。また、撮像装置４０３の方向に反射される乱反射成分４０６を細点線で、鏡面反射成分４０７を太点線で示している。

上述したように被写体の色を表す乱反射成分は全方向に進むので、この乱反射成分を互いに異なる位置に配置された撮像装置４０２，４０３から撮像しても差は生じない。一方、鏡面反射成分は、その反射角が光源４００からの入射角と等しい正反射方向において最も高い強度を有する。例えば、被写体４０１上の点４０４で反射した鏡面反射成分４０６は、撮像装置４０２に向かう正反射方向において最も高い強度を有し、点４０５で反射した鏡面反射成分４０７は、撮像装置４０３に向かう正反射方向において最も高い強度を有する。逆に、撮像装置４０３に対して点４０４からはほぼ乱反射成分しか入射せず、撮像装置４０２に対して点４０５からはほぼ乱反射成分しか入射しない。つまり、被写体上での光の反射位置に対する撮像装置の空間的な位置に応じて、該撮像装置により観測できる鏡面反射成分の強度（光量）が変化する。

ここで、撮像装置４０２，４０３によって点４０４からの反射光を観測したときの該反射光の強度をそれぞれＡ１，Ａ２とするとき、Ａ１，Ａ２はそれぞれ以下の式（７），（８）により表される。
Ａ１＝Ｉ１＋Ｄ ・・・（７）
Ａ２＝Ｉ２＋Ｄ ・・・（８）
ただし、Ｉ１は点４０４から撮像装置４０２に入射する鏡面反射成分、Ｉ２は点４０４から撮像装置４０３に入射する鏡面反射成分であり、Ｄは点４０４から撮像装置４０２，４０３に入射する乱反射成分である。被写体４０１上の同一点４０４からの乱反射成分Ｄは、撮像装置４０２，４０３の位置によらず同一とみなすことができる。

ここで、Ｉ１，Ｉ２をそれぞれ、フォングの反射モデルによって式（９），（１０）で表す。
Ｉ１＝ｉＷ（α）ｃｏｓθ１ ・・・（９）
Ｉ２＝ｉＷ（α）ｃｏｓθ２ ・・・（１０）
ただし、ｉは入射光の強度であり、Ｗ（α）は被写体の正反射方向への鏡面反射率であり、θ１およびθ２は正反射方向からの撮像装置４０２，４０３のずれ角である。式（９），（１０）において、入射光の強度ｉは光源４００から照射される同一光の強度であり、Ｗ（α）は被写体の同一点における反射率であるので、それぞれ撮像装置４０２，４０３の位置によらず同一である。一方、ずれ角θ１，θ２は撮像装置４０２，４０３の位置によって変化する。このため、ｃｏｓθ１，ｃｏｓθ２の値は撮像装置４０２，４０３からの撮像により得られた画像間において同じ点（対応点）であるにも関わらず変化する。

式（７）〜（１０）を用いてＡ１−Ａ２を計算すると、以下の式（１１）が得られる。
Ａ１−Ａ２＝ｉＷ（α）（ｃｏｓθ１−ｃｏｓθ２） ・・・（１１）
式（１１）より、空間的に位置が異なる撮像装置４０２，４０３により観測される点４０４からの反射光は、光源４００からの入射光の倍数となることが分かる。これはすなわち、Ａ１−Ａ２の値から光源４００からの入射光と同一の特性が得られることを表している。式（１１）の結果は色によらず同じであるため、撮像装置４０２，４０３をＲＧＢの色ごとのＡ像用およびＢ像用画素群に置き換えて色ごとのＡＦ像差分値を得ることで、光源４００からの入射光の色比（つまりは光源色）を得ることが可能となる。

以上説明したように、本実施例では、ＷＢ評価値を用いてＡＦ像差分値が鏡面反射成分により生じたものであると判定した上でＳＡＤ評価値に対して鏡面反射成分（光源色）の影響を低減する補正を行うことで、信頼性の高い補正後ＳＡＤ評価値を得ることができる。つまり、偏光フィルタ等の特別な光学素子を用いることなく、鏡面反射成分の影響が低減された補正後ＳＡＤ評価値を得ることができる。このため、該補正後ＳＡＤ評価値を用いてデフォーカス量を算出することで、デフォーカス量の算出精度、ひいてはＡＦの精度を高めることができる。

実施例１では、分割設定された全て（６４個）の画素ブロックでの相関演算の結果（ＳＡＤ評価値）に対して、ホワイトバランス（ＷＢ）評価値を用いて判定した鏡面反射成分の影響を低減する補正を行ってＳＡＤ評価値の精度を向上させる場合について説明した。これに対して、本発明の実施例２では、相関演算の対象として鏡面反射成分を受光している画素ブロックを除外することで、デフォーカス量の算出に用いられるＳＡＤ評価値の精度を高める場合について説明する。

図１０には、本実施例における撮像装置９００の構成を示している。図１０において、実施例１（図１）の構成要素と共通する構成要素には、実施例１と同符号を付してその説明を省略する。

撮像装置９００は、実施例１の撮像装置１００に対して、信頼性評価部９０１と、焦点検出領域判定部９０５とが追加されている。また、焦点検出部９０６は、実施例１の焦点検出部１０８とは後述する差異を有し、演算手段を構成する。

実施例１と同様に、撮像素子１０２から出力されたアナログ信号はＡ／Ｄ変換部１０３でデジタル信号に変換されてキャプチャー部１０４に入力される。キャプチャー部１０４は、Ａ／Ｄ変換部１０３から出力されたＲＧＢの色ごとのＡ像用画素群に対応する画素信号から該色ごとのＡ像信号を生成し、ＲＧＢの色ごとのＢ像用画素群に対応する画素信号から該色ごとのＢ像信号を生成する。キャプチャー部１０４は、これら色ごとのＡ像およびＢ像信号をＷＢ算出補正部１０９、信頼性評価部９０１および焦点検出部９０６に出力する。また、キャプチャー部１０４は、Ａ／Ｄ変換部１０３から出力されたＲＧＢの色ごとのＡ像用およびＢ像用画素群からの画素信号の合成信号としての該色ごとの撮像画素信号を生成し、これら撮像画素信号をＷＢ算出補正部１０９に出力する。

信頼性評価部９０１は、後述する焦点検出領域で得られる画素信号の信頼性を、ＷＢ算出補正部１０９の出力を用いて評価する。信頼性評価部９０１は、差分算出部９０２と、差分値比較部９０３と、鏡面反射カウント部９０４とを含む。差分算出部９０２と差分値比較部９０３とにより、鏡面反射検出手段が構成される。また、ＷＢ算出補正部１０９、信頼性評価部９０１および焦点検出部９０６により焦点検出装置が構成される。

次に、信頼性評価部９０１と焦点検出部９０６が行う焦点検出処理について、図１２のフローチャートを併せ用いて詳しく説明する。信頼性評価部９０１と焦点検出部９０６は、コンピュータとして、コンピュータプログラムである焦点検出プログラムに従って、図１２に示すステップＳ２１〜Ｓ３０の焦点検出処理を行う。

差分算出部９０２は、ステップＳ２１において、実施例１にて図５を用いて説明した複数（６４個）の画素ブロックのうちユーザにより任意に又は所定のアルゴリズムに従って自動的に選択された２以上の画素ブロックを含む焦点検出領域を設定する。そして、差分算出部９０２は、ステップＳ２２において、焦点検出領域内の画素ブロックのうち特定画素ブロックで得られるＲＧＢの画素信号を色ごとに積分する。また、差分算出部９０２は、同ステップにおいて、焦点検出領域内にて上記特定画素ブロックに隣接する画素ブロック（以下、隣接画素ブロックという）で得られるＲＧＢの画素信号を色ごとに積分する。

続いて、差分算出部９０２は、ステップＳ２３において、特定画素ブロックでの画素信号の積分値と隣接画素ブロックでの画素信号の積分値との色ごとの差分値を求め、該色ごとの差分値を差分値比較部９０３に出力する。以下の説明において、各画素ブロックでの画素信号の積分値を各画素ブロックの出力ともいい、特定画素ブロックの出力と隣接画素ブロックの出力との差分値を、ブロック出力差分値という。

差分値比較部９０３は、ステップＳ２４において、ブロック出力差分値の色比を算出し、さらに該ブロック出力差分値の色比とＷＢ算出補正部１０９から出力されたＷＢ評価値の色比との比較値を算出する。このときのＷＢ評価値は、ブロック出力差分値を算出した特定および隣接画素ブロックが属する焦点検出領域内の値を用いることが望ましい。差分値比較部９０３は、ステップＳ２５において、該比較値が第１の所定値を超えているか否かを判定する。所定値以下の場合には、特定画素ブロックは鏡面反射成分を受光していると判定する。このような鏡面反射成分の判定方法は、特許文献３にて開示されている。

ここで、差分値比較部９０３がステップＳ２４，Ｓ２５にて行う、ブロック出力差分値の色比およびＷＢ評価値の色比の算出と、これらの色比の比較の方法について説明する。

まず、差分値比較部９０３は、差分算出部９０２から出力されたＲとＢのブロック出力差分値のＧのブロック出力差分値に対する色比を、実施例１で示した式（２），（３）と同様に算出する。また、差分値比較部９０３は、ＲとＢのＷＢ評価値のＧのＷＢ評価値に対する色比を、式（４），（５）により算出する。そして、本実施例では、差分値比較部９０３は、ＲとＢのＷＢ評価値の色比をＲｒ１，Ｂｒ１とし、ＲとＢのブロック出力差分値の色比をＲｒ２，Ｂｒ２として、実施例１で示した式（６）を用いて比較値を算出する。差分値比較部９０３は、この比較値が第１の所定値以下であれば特定画素ブロックは鏡面反射成分を受光していると判定し、第１の所定値を上回っていれば鏡面反射成分を受光していないと判定する。前者の場合は、差分値比較部９０３は、ステップＳ２６において鏡面反射カウント部９０４に対してインクリメント出力を行う。後者の場合は、ブロック出力差分値は、被写体のテクスチャによる差分を示すと考えることができ、インクリメント出力は行わずに、ステップＳ２８に進む。

鏡面反射カウント部９０４は、ステップＳ２７において、差分値比較部９０３のインクリメント出力に応じて、鏡面反射成分を受光している画素ブロック（第１の画素ブロック：以下、鏡面反射画素ブロックという）の数を１つインクリメントする。そして、インクリメント後の鏡面反射画素ブロック数を焦点検出領域判定部９０５に出力する。

次に、焦点検出領域判定部９０５は、ステップＳ２８において、鏡面反射カウント部９０４から出力された鏡面反射画素ブロック数に基づいて、焦点検出領域がデフォーカス量の算出（焦点検出）に適しているか否かを判定する。そして、その判定結果を焦点検出部９０６に出力する。

図１１には、焦点検出領域の例を示している。この図では、６４個の画素ブロックのうち９個の画素ブロック１９，２０，２１，２７，２８，２９，３５，３６，３７を含む焦点検出領域を太線で囲んで示している。焦点検出領域内においてハッチングした３つの画素ブロック２１，２８，３７は、鏡面反射画素ブロックである。焦点検出領域判定部９０５は、この焦点検出領域での焦点検出の適否を、鏡面反射カウント部９０４から出力された鏡面反射画素ブロック数と第２の所定値との比較（第２の所定値以下か否か）で判定する。

焦点検出領域での焦点検出が「適」と判定された（例えば鏡面反射画素ブロック数が第２の所定値「６」以下であった）場合は、焦点検出部９０６は、ステップＳ２９の処理を行う。ステップＳ２９では、焦点検出部９０６は、該焦点検出領域の鏡面反射画素ブロック２１，２８，３７とは異なる画素ブロック（第２の画素ブロック）ごとに相関演算を行う。そして、焦点検出部９０６は、相関演算の結果（ＳＡＤ評価値の最小点）でのＡ像およびＢ像（信号）の像ずれ量を用いてデフォーカス量を算出し、その結果を駆動制御部１１２に出力する。

一方、焦点検出領域での焦点検出が「不適」と判定された場合（例えば鏡面反射画素ブロック数が第２の所定値「６」より多い場合）は、焦点検出部９０６は、ステップＳ３０において、その焦点検出領域での焦点検出が不可能との警告を表示または音声により行う。

以上説明したように、本実施例では、偏光フィルタ等の特別な光学素子を用いることなく、鏡面反射成分を受光している鏡面反射画素ブロックを検出して焦点検出に用いる画素ブロックから除外する。これにより、鏡面反射成分の影響によってデフォーカス量が誤算出され、ＡＦ精度が低下することを回避することができる。言い換えれば、デフォーカス量の算出精度およびＡＦ精度を高めることができる。しかも、ＷＢ評価値を用いて画素ブロックごとの出力が鏡面反射成分による出力であると判定した上で除外する鏡面反射画素ブロックを特定するので、鏡面反射画素ブロックの特性に対する信頼性を向上させることができる。

また、本実施例では、ユーザ等により選択された焦点検出領域内で鏡面反射画素ブロック数が第２の所定値より多い場合はその焦点検出領域での焦点検出を制限するので、デフォーカス量の算出精度およびＡＦ精度の低下を防止することができる。

なお、本実施例では、差分算出部９０２で得たブロック出力差分値ごとにＷＢ評価値との比較を行って焦点検出領域内の鏡面反射画素ブロックを特定し、該鏡面反射画素ブロック数によって焦点検出領域での焦点検出の適否を判定する場合について説明した。しかし、焦点検出領域内の全ての画素ブロックの出力を積分した値とＷＢ評価値とを比較した結果に応じて、その焦点検出領域での焦点検出の適否を判定してもよい。

また、本実施例では、鏡面反射画素ブロックを特定するために、画素ブロックごとの画素信号の積分値の差分値を用いる場合について説明したが、実施例１のように、位置合わせを行ったＡ像およびＢ像信号の差分値を用いてもよい。また、これら以外でも、鏡面反射画素ブロックを特定できる演算方法であればどのような方法を用いてもよい。

さらに、上記各実施例では、位相差検出方式による焦点検出結果（デフォーカス量）のみを用いてＡＦを行う場合について説明したが、コントラスト検出方式による焦点検出結果を合わせ用いてＡＦを行ってもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 光学ユニット
１ 単位画素セル
２ マイクロレンズ
１ａ，１ｂ 分割ＰＤ
１０８，９０６ 焦点検出部

Claims (12)

1. 物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行って相関評価値を生成し、該相関評価値を用いて前記光学系のデフォーカス量を算出する演算手段と、
   前記物体を撮像して得られた信号を用いて前記物体を照らす光源の色に関する情報を取得する光源色取得手段と、
   前記光源の色に関する情報と前記一対の像信号とを用いて該一対の像信号における差分が前記物体からの鏡面反射光により生じたと判定することに応じて、前記相関評価値に対して前記鏡面反射光に関する補正を行う補正手段とを有することを特徴とする焦点検出装置。
2. 前記補正手段は、前記光源の色に関する情報と前記一対の像信号における前記差分を示す値とを比較した結果から前記差分が前記鏡面反射光により生じたと判定することを特徴とする請求項１に記載の焦点検出装置。
3. 物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行って相関評価値を生成し、該相関評価値を用いて前記光学系のデフォーカス量を算出する演算手段と、
   前記光電変換素子を、それぞれ複数の画素を含む複数の画素ブロックに分割し、該画素ブロックごとに前記物体からの鏡面反射光による出力を検出する鏡面反射検出手段とを有し、
   前記演算手段は、前記複数の画素ブロックのうち前記鏡面反射光による出力が検出された第１の画素ブロックとは異なる第２の画素ブロックからの出力を用いて前記デフォーカス量を算出することを特徴とする焦点検出装置。
4. 前記物体を撮像して得られた信号を用いて前記物体を照らす光源の色に関する情報を取得する光源色取得手段を有し、
   前記鏡面反射検出手段は、前記画素ブロックごとの出力と前記光源の色に関する情報とを用いて、前記画素ブロックの出力が前記物体からの鏡面反射光による出力であることを判定することを特徴とする請求項２に記載の焦点検出装置。
5. 前記鏡面反射検出手段は、前記複数の画素ブロックのうち特定の画素ブロックおよび該特定の画素ブロックに隣接する画素ブロックの出力の差分を示す値または前記特定の画素ブロックからの出力を用いて生成された前記一対の像信号における差分を示す値と、前記光源の色に関する情報とを比較した結果から、前記特定の画素ブロックの出力が前記鏡面反射光による出力であることを判定することを特徴とする請求項４に記載の焦点検出装置。
6. 前記演算手段は、前記複数の画素ブロックのうち２以上の画素ブロックを含む焦点検出領域において、前記第１の画素ブロックの数が所定値以下である場合に、該焦点検出領域に含まれる前記第２の画素ブロックからの出力を用いて生成された前記一対の像信号に対する相関演算を行うことを特徴とする請求項３から５のいずれか一項に記載の焦点検出装置。
7. 前記演算手段は、前記焦点検出領域において、前記第１の画素ブロックの数が前記所定値より多い場合は、該焦点検出領域に含まれる前記第２の画素ブロックからの出力を用いた前記デフォーカス量の算出を制限することを特徴とする請求項６に記載の焦点検出装置。
8. 請求項１から７のいずれか一項に記載の焦点検出装置と、
   前記光電変換素子とを有することを特徴とする撮像装置。
9. 物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行って相関評価値を生成し、
   該相関評価値を用いて前記光学系のデフォーカス量を算出し、
   前記物体を撮像して得られた信号を用いて前記物体を照らす光源の色に関する情報を取得し、
   前記光源の色に関する情報と前記一対の像信号とを用いて該一対の像信号における差分が前記物体からの鏡面反射光により生じたと判定することに応じて、前記相関評価値に対して前記鏡面反射光に関する補正を行うことを特徴とする焦点検出方法。
10. 物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行って相関評価値を生成し、
    該相関評価値を用いて前記光学系のデフォーカス量を算出し、
    前記光電変換素子を、それぞれ複数の画素を含む複数の画素ブロックに分割し、該画素ブロックごとに前記物体からの鏡面反射光による出力を検出し、
    前記複数の画素ブロックのうち前記鏡面反射光による出力が検出された第１の画素ブロックとは異なる第２の画素ブロックからの出力を用いて前記デフォーカス量を算出することを特徴とする焦点検出方法。
11. コンピュータに、以下の処理を行わせるコンピュータプログラムであって、
    物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行わせて相関評価値を生成させ、
    該相関評価値を用いて前記光学系のデフォーカス量を算出させ、
    前記物体を撮像して得られた信号を用いて前記物体を照らす光源の色に関する情報を取得させ、
    前記光源の色に関する情報と前記一対の像信号とを用いて該一対の像信号における差分が前記物体からの鏡面反射光により生じたかを判定させ、
    該判定に応じて、前記相関評価値に対して前記鏡面反射光に関する補正を行わせることを特徴とする焦点検出プログラム。
12. コンピュータに、以下の処理を行わせるコンピュータプログラムであって、
    物体からの光のうち光学系の射出瞳における互いに異なる領域を通過した光束により形成された一対の物体像を光電変換する光電変換素子からの出力を用いて生成された一対の像信号に対する相関演算を行わせて相関評価値を生成させ、
    該相関評価値を用いて前記光学系のデフォーカス量を算出させ、
    前記光電変換素子を、それぞれ複数の画素を含む複数の画素ブロックに分割させて、該画素ブロックごとに前記物体からの鏡面反射光による出力を検出させ、
    前記複数の画素ブロックのうち前記鏡面反射光による出力が検出された第１の画素ブロックとは異なる第２の画素ブロックからの出力を用いて前記デフォーカス量を算出させることを特徴とする焦点検出プログラム。