JP2016009062A - 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】瞳分割型位相差検出方式による焦点検出を行う際に、被写体像によらず、より高精度にデフォーカス量を算出可能な撮像装置を提供する。
【解決手段】撮像装置は、光学系の瞳のうち互いに異なる領域から入射する光束を受光して第１の像信号および第２の像信号を出力する撮像手段と、所定の範囲に含まれる画素からの第１の像信号および第２の像信号を相対的にシフトさせながら評価値を算出し、デフォーカス量を算出する算出手段とを有し、算出手段は、第１の像信号および第２の像信号のシフト量に応じて着目画素の位置に関する視野範囲の中心が変動しないように、所定の範囲の大きさを変更する。
【選択図】図１

Description

本発明は、撮像素子を用いた位相差検出方式によりデフォーカス量を算出する撮像装置に関する。

従来から、撮像素子を用いた位相差検出方式（瞳分割型位相差検出方式）によりデフォーカス量（受光面とレンズの結像面との差）を算出する撮像装置が知られている。

特許文献１には、撮影光学系の瞳の異なる領域から入射する光束を受光するａセンサ列およびｂセンサ列を用いて、ａセンサ列およびｂセンサ列上に結像した被写体像を相対的にシフトさせながら相関関数を求める方法が開示されている。特許文献２には、３点内挿の手法を用いて、連続的な相関量に対する最小値を与えるシフト量を求める方法が開示されている。

特開平０７−３１８７９３号公報 特開２００８−１５７５４号公報

しかしながら、特許文献２の方法では、被写体像によっては（特に立体被写体像では）、３点内挿の手法を用いて正しいデフォーカス量を算出することができない場合がある。

そこで本発明は、瞳分割型位相差検出方式による焦点検出を行う際に、被写体像によらず、より高精度にデフォーカス量を算出可能な撮像装置、制御装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、光学系の瞳のうち互いに異なる領域から入射する光束を受光して第１の像信号および第２の像信号を出力する撮像手段と、所定の範囲に含まれる画素からの前記第１の像信号および前記第２の像信号を相対的にシフトさせながら評価値を算出し、デフォーカス量を算出する算出手段とを有し、前記算出手段は、前記第１の像信号および前記第２の像信号のシフト量に応じて着目画素の位置に関する視野範囲の中心が変動しないように、前記所定の範囲の大きさを変更する。

本発明の他の側面としての制御装置は、光学系の瞳のうち互いに異なる領域から入射する光束に基づいて撮像手段から出力された第１の像信号および第２の像信号を入力する入力手段と、所定の範囲に含まれる画素からの前記第１の像信号および前記第２の像信号を相対的にシフトさせながら評価値を算出し、デフォーカス量を算出する算出手段とを有し、前記算出手段は、前記第１の像信号および前記第２の像信号のシフト量に応じて着目画素の位置に関する視野範囲の中心が変動しないように、前記所定の範囲の大きさを変更する。

本発明の他の側面としての制御方法は、光学系の瞳のうち互いに異なる領域から入射する光束に基づいて撮像手段から出力された第１の像信号および第２の像信号を取得するステップと、所定の範囲に含まれる画素からの前記第１の像信号および前記第２の像信号を相対的にシフトさせながら評価値を算出し、デフォーカス量を算出するステップとを有し、前記デフォーカス量を算出するステップにおいて、前記第１の像信号および前記第２の像信号のシフト量に応じて着目画素の位置に関する視野範囲の中心が変動しないように、前記所定の範囲の大きさを変更する。

本発明の他の側面としてのプログラムは、光学系の瞳のうち互いに異なる領域から入射する光束に基づいて撮像手段から出力された第１の像信号および第２の像信号を取得するステップと、所定の範囲に含まれる画素からの前記第１の像信号および前記第２の像信号を相対的にシフトさせながら評価値を算出し、デフォーカス量を算出するステップと、をコンピュータに実行させるプログラムであって、前記デフォーカス量を算出するステップにおいて、前記第１の像信号および前記第２の像信号のシフト量に応じて着目画素の位置に関する視野範囲の中心が変動しないように、前記所定の範囲の大きさを変更する。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、瞳分割型位相差検出方式による焦点検出を行う際に、被写体像によらず、より高精度にデフォーカス量を算出可能な撮像装置、制御装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置のブロック図である。 実施例１における撮像部の画素配列図である。 実施例１における画像処理部のブロック図である。 実施例１におけるデフォーカス量算出部による相関関数の算出方法の説明図である。 実施例１におけるデフォーカス量算出部による相関関数の算出方法の説明図である。 実施例１におけるデフォーカス量算出部による相関関数の算出方法の説明図である。 実施例１におけるデフォーカス量算出部による相関関数の算出方法の説明図である。 実施例２における撮像部の画素配列図である。 実施例２における画像処理部のブロック図である。 実施例２におけるデフォーカス量算出部による相関関数の説明図である。 比較例としての相関関数の算出方法の説明図である。 比較例としての相関関数が最小となる相関量の算出方法の説明図である。 比較例としての相関関数が最小となる相関量の算出方法の説明図である。 本実施例における像生成部による像の再構成処理の説明図である。 比較例としての相関関数の算出方法の説明図である。 比較例としての相関関数の算出方法の説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００（デジタルカメラ）のブロック図である。

制御部１０１は、例えばＣＰＵであり、撮像装置１００の各ブロックの動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより、撮像装置１００の各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、撮像装置１００の各ブロックの動作プログラムに加えて、各ブロックの動作に必要なパラメータなどの各種情報を記憶している。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００の各ブロックの動作にて出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、レンズ群を備え、被写体像を撮像部１０５に結像させるための結像光学系（撮影光学系）である。なお本実施例において、光学系１０４は撮像装置１００（カメラ本体）に対して着脱可能な交換レンズとして設けられているが、これに限定されるものではない。光学系１０４が撮像装置１００（カメラ本体）と一体的に構成されている場合でも、本実施例は適用可能である。

撮像部１０５（撮像手段）は、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子を備え、光学系１０４を介して撮像素子に結像された被写体像（光学像）を光電変換し、アナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、撮像部１０５から入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、デジタル画像信号（画像データ）をＲＡＭ１０３に出力する。ＲＡＭ１０３は、Ａ／Ｄ変換部１０６から出力された画像データを記憶する。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリングなど、様々な画像処理を適用する。記録媒体１０８は、着脱可能なメモリカードなどであり、画像処理部１０７により処理されてＲＡＭ１０３に記憶されている画像データや、Ａ／Ｄ変換部１０６によりＡ／Ｄ変換された画像データなどを、記録画像として記録する。

続いて、図２を参照して、本実施例における撮像部１０５（撮像素子）の画素配列について説明する。図２は、撮像部１０５の画素配列図である。撮像部１０５は複数の画素２０２を有し、複数の画素２０２は二次元状に規則的に配列されている。画素２０２は、マイクロレンズ２０１、および、一対の光電変換部２０３、２０４を備えて構成される。以下、本実施例の説明において、光電変換部２０３により撮像される像をＡ像、光電変換部２０４で撮像される像をＢ像とする。

続いて、図３を参照して、画像処理部１０７における像生成処理およびデフォーカス量算出処理について説明する。図３は、画像処理部１０７のブロック図である。画像処理部１０７（制御装置）は、像生成部３０５（加算手段）およびデフォーカス量算出部３０１（算出手段）を有する。

像生成部３０５は、光学系１０４（撮影光学系）の瞳のうちの互いに異なる領域（瞳分割領域）を通過する光束に基づいて形成された複数の被写体像（光学像）を加算し、撮影光学系の瞳の全領域を通過する光束に基づいて形成された単一の被写体像を生成する。すなわち像生成部３０５は、入力部３０９（入力手段）を介して、光電変換部２０３から入力されたＡ像信号３０６（Ａ像）および光電変換部２０４から入力されたＢ像信号３０７（Ｂ像）を加算し、像信号３０８（加算信号）を出力する。また像生成部３０５は、撮像部１０５の撮像面（取得面）における被写体像だけでなく、それ以外の結像面における被写体像を再構成することができる。像の再構成処理については、特開２０１３−１６１０６５号公報に開示されている方法など公知の方法を適用すればよい。

図１４は、像生成部３０５による像の再構成処理の説明図であり、図１４（ａ）、（ｂ）、（ｃ）は、再構成面１、取得面、再構成面２における被写体像を再構成する場合をそれぞれ示している。撮像部１０５の取得面における被写体像を再構成する場合、図１４（ｂ）に示されるように、Ａ像とＢ像とを相対的にシフトさせることなく加算し、再構成像Ｓ_ｎ（ｎは整数）を得る。取得面以外の結像面における被写体像を再構成する場合、図１４（ａ）、（ｃ）に示されるように、Ａ像とＢ像とを相対的にシフトさせて加算し、再構成像Ｓ_ｎを得る。図１４（ａ）、（ｃ）に示されるように、シフト加算のシフト量が奇数である場合、再構成像Ｓ_ｎの重心は半画素分だけ左側にずれる。画像処理部１０７は、像生成部３０５から出力された再構成像に対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリングなどの各処理を施す。画像処理部１０７による処理後の画像は、設定に応じて圧縮・符号化等の処理も施され、保管、記録画像として記録媒体１０８に記録される。

図３において、デフォーカス量算出部３０１は、着目画素の位置におけるデフォーカス量を算出する。すなわちデフォーカス量算出部３０１は、入力部３１０（入力手段）を介して光電変換部２０３から入力されたＡ像信号３０２（Ａ像）および光電変換部２０４から入力されたＢ像信号３０３（Ｂ像）に基づいてデフォーカス量３０４を算出し、これを出力する。デフォーカス量算出部３０１は、相関関数（相関量または相関値）を算出することなどによりデフォーカス量を算出する。相関関数の算出処理については、追って詳述する。また、相関関数からデフォーカス量を算出する処理は、例えば特許文献２に開示されている手法を適用すればよい。

デフォーカス量算出部３０１は、着目画素の位置を１画素ずつずらしながら（シフトしながら）デフォーカス量を算出することにより、被写体のデフォーカス量分布を示すデフォーカスマップを生成することができる。また画像処理部１０７は、生成したデフォーカスマップを参照することにより、深度が深い記録画像に所望の大きさの背景ボケを画像処理によって付加することができる。デフォーカスマップを参照したボケ付加処理は、例えば特許文献２に開示されている手法を適用すればよい。また制御部１０１は、着目画素の位置を自動焦点検出すべき画素位置に指定してデフォーカス量を受け取ることにより、デフォーカス量に基づき光学系１０４が有するフォーカスレンズを駆動させて焦点調節を行う自動焦点調節機能に利用することができる。

次に、本実施例における相関関数Ｃ（Ｓ）について説明する。相関関数Ｃ（Ｓ）は、デフォーカス量算出部３０１がデフォーカス量を算出するために求められる。まず、図１１乃至図１３を参照して、本実施例の比較例について説明する。図１１は、比較例としての相関関数Ｃ（Ｓ）の算出方法の説明図であり、同様の内容が特許文献１に記載されている。

図１１において、上側にａセンサ列および下側にｂセンサ列が示されている。また、ａセンサ列およびｂセンサ列の被写体像は、それぞれＡ像およびＢ像として、着目画素（斜線部の画素）の位置を基準としたグレーセル（５画素幅）で示される。相関関数Ｃ（Ｓ）は、シフト量Ｓ（Ｓは整数であり、図１１では−４≦Ｓ≦４の範囲）に応じてＡ像とＢ像とを相対的にずらしながら（シフトしながら）算出される。

グレーセルおよび白セルを合わせた領域は、着目画素の位置に関する視野範囲であり、シフト量Ｓの絶対値が増えると視野範囲の幅も広がる。図１１において、例えばシフト量Ｓが±１の場合、視野範囲は６画素幅である。一方、シフト量Ｓが±４の場合、視野範囲は９画素幅となる。図１１中に示される矢印は、視野中心、すなわち視野範囲の中心を示している。視野中心における相関関数Ｃ（Ｓ）は、以下の式（１）により算出される。

Ｃ（Ｓ）＝Σ｜ａ（ｎ＋ｓ）−ｂ（ｎ）｜ … （１）
また、図１１に示されるように、シフト量Ｓが偶数の場合、視野中心と着目画素の位置とは互いに一致する。一方、シフト量Ｓが奇数の場合、視野中心が着目画素の位置に対して半画素分だけ左側にずれる（シフトする）。ここで相関関数Ｃ（Ｓ）は、シフト量Ｓが整数の場合について計算される。このため相関関数Ｃ（Ｓ）が最小となる相関量Ｓｍ（相関値、相対的変異量）は、内挿処理を用いてサブ画素精度で求める必要がある。そしてデフォーカス量は、相関量Ｓｍに基づいて算出される。

続いて、図１２を参照して、相関関数Ｃ（Ｓ）が最小となる相関量Ｓｍを３点内挿の手法により算出する方法について説明する。図１２は、相関量Ｓｍの算出方法の説明図であり、同様の内容が特許文献２に記載されている。図１２において、横軸はシフト量Ｓ、縦軸は相関関数Ｃ（Ｓ）を示している。また、図１２（ａ）はシフト量Ｓが−４≦Ｓ≦４の範囲、図１２（ｂ）はシフト量Ｓが０≦Ｓ≦４の範囲（図１２（ａ）の一部の拡大図）をそれぞれ示している。

図１２に示されるように、シフト量Ｓが２（整数精度が２）の場合において、相関値Ｃ（Ｓ）は最小となる。また、サブ画素精度の相関量Ｓｍは、Ｓ＝１、２、３より、特許文献２に記載されている式を用いて内挿され、Ｓｍ＝２．２９となる。この相関量Ｓｍを用いて、デフォーカス量を算出することができる。

続いて、図１３を参照して、３点内挿の手法を用いて正しい内挿計算ができない場合について説明する。図１３は、相関量Ｓｍの算出方法の説明図であり、正しい内挿計算ができない場合を示している。図１３において、横軸はシフト量Ｓ、縦軸は相関関数Ｃ（Ｓ）を示している。また、図１３（ａ）はシフト量Ｓが−４≦Ｓ≦４の範囲、図１３（ｂ）はシフト量Ｓが０≦Ｓ≦４の範囲（図１３（ａ）の一部の拡大図）をそれぞれ示している。

図１１に示されているように、シフト量Ｓが偶数の場合、着目画素の位置と視野中心の位置とが互いに一致する。このため、このときの相関関数Ｃ（Ｓ）は、着目画素の位置で計算される。一方、シフト量Ｓが奇数の場合、着目画素の位置に対して視野中心の位置が半画素分だけ左側にずれる。このため、このときの相関関数Ｃ（Ｓ）は、着目画素の位置から左側に半画素分だけずれた位置で計算される。

このように比較例としての相関関数の算出方法では、シフト量Ｓに応じて、すなわちシフト量Ｓが偶数または奇数のいずれであるかに応じて、着目画素に対する視野中心の位置が異なるため、相関関数Ｃ（Ｓ）にずれが生じる場合がある。相関関数Ｃ（Ｓ）は、式（１）のΣ積算で計算されるため、視野中心の半画素ずれの影響を受けるのは、式（１）のΣ積算の最初の積算値および最後の積算値である。

Ａ像およびＢ像の左右端画素の位置にテクスチャがない場合、式（１）のΣ積算の最初の積算値および最後の積算値は小さくなる。このため、シフト量Ｓが偶数または奇数のいずれであっても、相関関数Ｃ（Ｓ）にずれは生じない。その結果、図１２に示されるように、シフト量Ｓが偶数の場合の相関関数Ｃ（Ｓ）とシフト量Ｓが奇数の場合の相関関数Ｃ（Ｓ）は、同一曲線上に乗る。

一方、Ａ像およびＢ像の左右端画素の位置にテクスチャがある場合、式（１）式のΣ積算の最初の積算値および最後の積算値は大きくなる。このため、シフト量Ｓが偶数または奇数のいずれであるかに応じて、相関関数Ｃ（Ｓ）にずれが生じる。その結果、図１３に示されるように、シフト量Ｓが偶数の場合の相関関数Ｃ（Ｓ）とシフト量Ｓが奇数の場合の相関関数Ｃ（Ｓ）は、同一曲線上に乗らない。このため、図１３の場合では、３点内挿の計算を正しく行うことができず、相関量Ｓｍは、図１２に示される正解（Ｓｍ＝２．２９）からずれた値となり、誤った値（Ｓｍ＝２．５７）となる。そこで本実施例は、このような問題を解決するため、以下の手法により相関関数Ｃ（Ｓ）を算出する。

続いて、図４および図５を参照して、本実施例における相関関数Ｓ（ＣＳ）の算出方法について説明する。図４および図５は、本実施例における相関関数Ｃ（Ｓ）の説明図である。デフォーカス量算出部３０１は、式（１）のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いて相関関数Ｃ（Ｓ）を計算し、具体的にはＡ像とＢ像との差分絶対値を積算する。

図４および図５において、上側にａセンサ列および下側にｂセンサ列が示されている。また、ａセンサ列およびｂセンサ列の被写体像は、それぞれＡ像およびＢ像として、着目画素（斜線部の画素）の位置を基準としたグレーセル（５画素幅または６画素幅）で示される。図４および図５中に示される矢印は、視野中心、すなわち視野範囲の中心を示している。また、グレーセル中の数字は、Ａ像とＢ像の差分絶対値にかけられる重み係数である。本実施例において、デフォーカス量算出部３０１は、シフト量Ｓに応じてＡ像とＢ像とを相対的にずらしながら、１または０．５の重み係数がかけられた差分絶対値を積算し、相関関数Ｃ（Ｓ）を算出する。

まず、図４の相関関数Ｃ（Ｓ）について説明する。シフト量Ｓが偶数の場合、図１１と同様に相関関数Ｃ（Ｓ）が算出される。一方、シフト量Ｓが奇数の場合、図１１に対してＡ像およびＢ像の幅を右側に１画素増やして６画素とする。これにより、視野中心が図１１の場合（５画素）に対して右側に半画素分だけずれる。このため、シフト量Ｓが偶数である場合と同様に、着目画素の位置と視野中心の位置とが互いに一致する（すなわち、シフト量Ｓが偶数または奇数のいずれでも、着目画素の位置に対する視野中心の位置は一定となる）。その結果、シフト量Ｓが偶数の場合の相関関数Ｃ（Ｓ）とシフト量Ｓが奇数の場合の相関関数Ｃ（Ｓ）は、Ａ像およびＢ像の形状によらず同一曲線上に乗り、３点内挿の計算を正しく行うことができる。また、画素幅を１画素分だけ増やしても重み係数の和を一定に維持する（本実施例では、５画素分の重み係数１の和である５を維持する）ため、左右端の画素の重み係数を変化させる（本実施例では０．５に設定する）。

続いて、図５の相関関数Ｃ（Ｓ）について説明する。シフト量Ｓが奇数の場合、図１１と同様に相関関数Ｃ（Ｓ）が算出される。シフト量Ｓが偶数の場合、図１１に対してＡ像およびＢ像の幅を左側に１画素増やして６画素とする。これにより、視野中心が図１１の場合（５画素）に対して左側に半画素分だけずれる。このため、シフト量Ｓが奇数の場合と同様に、視野中心の位置は着目画素の位置に対して左側に半画素分だけずれている（すなわち、シフト量Ｓが偶数または奇数のいずれでも、着目画素の位置に対する視野中心の位置は一定となる）。その結果、図５の場合においても、３点内挿の計算を正しく行うことができる。本実施例において、図５の左右端の画素の重み係数は０．５に設定されている。

像生成部３０５にて生成される再構成像の重心（視野中心）が整数画素位置にある場合（例えば、図１４（ｂ）の再構成像Ｓ_ｎの場合）、デフォーカス量算出部３０１は、図４の相関関数Ｃ（Ｓ）を計算する。一方、像生成部３０５にて生成される再構成像の重心（視野中心）が半画素位置にある場合（例えば、図１４（ａ）、（ｃ）の再構成像Ｓ_ｎの場合）、デフォーカス量算出部３０１は、図５の相関関数Ｃ（Ｓ）を計算する。これにより、デフォーカス量算出部３０１は、デフォーカスマップを生成する際に、再構成像とデフォーカスマップとの重心を揃えることができる。

以上のように、図１１、図４および図５は、重み係数の和が５（奇数）の場合について説明しているが、これに限定されるものではない。続いて、図１５、図６および図７を参照して、重み係数の和が４（偶数）の場合における相関関数Ｓ（ＣＳ）の算出方法について説明する。

図１５は、比較例としての相関関数Ｃ（Ｓ）の説明図である。図１５は、図１１と同様に、シフト量Ｓに応じて、すなわちシフト量Ｓが偶数または奇数のいずれであるかに応じて、視野中心の位置が半画素分だけずれる。このため、シフト量Ｓが偶数の場合の相関関数Ｃ（Ｓ）とシフト量Ｓが奇数の場合の相関関数Ｃ（Ｓ）は、Ａ像およびＢ像の形状によっては同一曲線上に乗らず、３点内挿の計算を正しく行うことができない場合がある。

図６および図７は、本実施例における相関関数Ｃ（Ｓ）の説明図である。まず、図６の相関関数Ｃ（Ｓ）について説明する。シフト量Ｓが奇数の場合、図１５と同様に相関関数Ｃ（Ｓ）は算出される。一方、シフト量Ｓが偶数の場合、図１５に対してＡ像およびＢ像の幅を左側に１画素増やして５画素とする。このとき、視野中心の位置は、図１５の場合と比較して左側に半画素だけずれる。このため、シフト量Ｓが偶数の場合の視野中心は、シフト量Ｓが奇数の場合の視野中心と一致する。その結果、シフト量Ｓが偶数の場合の相関関数Ｃ（Ｓ）とシフト量Ｓが奇数の場合の相関関数Ｃ（Ｓ）は、Ａ像およびＢ像の形状によらず同一曲線上に乗るようになり、３点内挿の計算を正しく行うことができる。また、画素の幅を１画素分だけ増やしても重み係数の和を一定（本実施例では４）に維持するため、左右端の重み係数が０．５に設定される。

続いて、図７の相関関数Ｃ（Ｓ）について説明する。シフト量Ｓが偶数の場合、図１５と同様に相関関数Ｃ（Ｓ）は算出される。一方、シフト量Ｓが奇数の場合、図１５に対してＡ像およびＢ像の幅を右側に１画素増やして５画素とする。このとき、視野中心の位置は、図１５の場合と比較して右側に半画素ずれる。このため、シフト量Ｓが偶数の場合の視野中心は、シフト量Ｓが奇数の場合の視野中心と一致する。その結果、この場合でも３点内挿の計算を正しく行うことができる。また、左右端の重み係数は０．５に設定される。

像生成部３０５にて生成される再構成像の重心（視野中心）が整数画素位置にある場合（例えば、図１４（ｂ）の再構成像Ｓ_ｎの場合）、デフォーカス量算出部３０１は、図６の相関関数Ｃ（Ｓ）を計算する。一方、像生成部３０５にて生成される再構成像の重心（視野中心）が半画素位置にある場合（例えば、図１４（ａ）、（ｃ）の再構成像Ｓ_ｎの場合）、デフォーカス量算出部３０１は、図７の相関関数Ｃ（Ｓ）を計算する。これにより、デフォーカス量算出部３０１は、デフォーカスマップを生成する際に、再構成像とデフォーカスマップとの重心を揃えることができる。

本実施例において、相関関数Ｃ（Ｓ）は、式（１）のＳＡＤを用いて算出される。ただし本実施例はこれに限定されるものではなく、以下の式（２）、（３）で表されるＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を用いてもよい。

Ｃ（Ｓ）＝Σａ（ｎ＋ｓ）×ｂ（ｎ）／δ（Ｓ） … （２）
δ（Ｓ）＝（√Σａ（ｎ＋ｓ）^２）×（√Σｂ（ｎ）^２） … （３）
ＳＡＤは相関が高いほど値が小さくなるのに対して、ＮＣＣは相関が高いほど値が大きくなる。このため、３点内挿の手法をＮＣＣに適用する場合、相関関数Ｃ（Ｓ）の符号を予め反転させるなどして、相関が高いほど値が小さくなるようにする必要がある。また、ＳＡＤ、ＮＣＣ以外でも、一対の被写体像の一致度を計算することができれば、他の相関演算式を用いてもよい。

また本実施例において、相関関数Ｃ（Ｓ）を用いて相関量Ｓｍ（相対的変異量）を求めている。ただし、本実施例はこれに限定されるものではなく、特開２０１３−２３５０４７号公報にて開示されている像品質評価値などを用いて相関量Ｓｍを求めてもよい。特開２０１３−２３５０４７号公報にて開示されている像品質評価値は、以下の式（５）で表されるＰ（Ｓ）である。

Ｆ（ｎ，Ｓ）＝ａ（ｎ＋ｓ）＋ｂ（ｎ） … （４）
Ｐ（Ｓ）＝Σ｜−Ｆ（ｎ−１，Ｓ）＋２×Ｆ（ｎ，Ｓ）−Ｆ（ｎ＋１，Ｓ）｜ … （５）
式（４）において、Ｆ（ｎ，Ｓ）は、撮像部１０５の撮像面およびそれ以外の結像面における再構成像であり、Ａ像とＢ像をシフト量Ｓだけシフトさせて加算することにより得られる。像品質評価値Ｐ（Ｓ）は、式（５）のとおり、再構成像Ｆ（ｎ，Ｓ）に高域通過フィルタを適用させて振幅を積分した値であるため、再構成像Ｆ（ｎ，Ｓ）の合焦度の評価値に相当する。合焦度が最高となる結像面が光学系１０４の結像面であり、光学系１０４の結像面と撮像部１０５の撮像面（受光面）との差がデフォーカス量である。このためデフォーカス量算出部３０１は、像品質評価値Ｐ（Ｓ）が最高となる相関量Ｓｍを求めることにより、デフォーカス量を算出することができる。像品質評価値Ｐ（Ｓ）は、合焦度が高いほど値が大きくなる。このため、３点内挿の手法を像品質評価値に適用する場合、像品質評価値Ｐ（Ｓ）の符号を予め反転させるなどして、合焦度が高いほど値が小さくなるようにする必要がある。なお、像品質評価値以外でも、再構成像の合焦度を計算することができれば、他の合焦度演算式を用いてもよい。

本実施例によれば、水平２分割の瞳分割型位相差検出方式によりデフォーカス量を検出する際に、被写体像によらず正しく３点内挿計算を実行可能な撮像装置を提供することができる。

次に、本発明の実施例２における撮像装置について説明する。本実施例の撮像装置の基本構成は、図１を参照して説明した実施例１の撮像装置１００と同様である。

図８を参照して、本実施例における撮像部１０５ａ（撮像素子）の画素配列について説明する。図８は、撮像部１０５ａの画素配列図である。撮像部１０５ａは複数の画素８０６を有し、複数の画素８０６は二次元状に規則的に配列されている。画素８０６は、マイクロレンズ８０５、および、二対の光電変換部８０１、８０４と光電変換部８０２、８０３を備えて構成される。以下、本実施例の説明において、光電変換部８０１により撮像される像をＡ像、光電変換部８０２で撮像される像をＢ像、光電変換部８０３で撮像される像をＣ像、および、光電変換部８０４で撮像される像をＤ像とする。

続いて、図９を参照して、画像処理部１０７ａにおける像生成処理およびデフォーカス量算出処理について説明する。図９は、画像処理部１０７ａのブロック図である。画像処理部１０７ａ（制御装置）は、像生成部９０７（加算手段）およびデフォーカス量算出部９０１（算出手段）を有する。

像生成部９０７は、光学系１０４（撮影光学系）の瞳のうちの互いに異なる領域（瞳分割領域）を通過する光束に基づいて形成された複数の被写体像（光学像）を加算し、撮影光学系の瞳の全領域を通過する光束に基づいて形成された単一の被写体像を生成する。すなわち像生成部９０７は、入力部９１３（入力手段）を介して光電変換部８０１、８０２、８０３、８０４からそれぞれ入力されたＡ像信号９０８（Ａ像）、Ｂ像信号９０９（Ｂ像）、Ｃ像信号９１０（Ｃ像）、Ｄ像信号９１１（Ｄ像）を加算する。そして像生成部９０７は、各像信号を加算して生成された像信号９１２（加算信号）を出力する。また像生成部９０７は、撮像部１０５の撮像面（取得面）における被写体像を再構成する。画像処理部１０７ａは、像生成部９０７から出力された再構成像に対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリングなどの各処理を施す。画像処理部１０７ａによる処理後の画像は、記録画像として記録媒体１０８に記録される。

図９において、デフォーカス量算出部９０１は、着目画素の位置におけるデフォーカス量を算出する。すなわちデフォーカス量算出部９０１は、入力部９１４（入力手段）を介して光電変換部８０１、８０２、８０３、８０４からＡ像信号９０２（Ａ像）、Ｂ像信号９０３（Ｂ像）、Ｃ像信号９０４（Ｃ像）、Ｄ像信号９０５（Ｄ像）をそれぞれ入力する。そしてデフォーカス量算出部９０１は、入力した各像信号に基づいてデフォーカス量９０６を算出し、デフォーカス量９０６を出力する。デフォーカス量算出部９０１は、相関関数（相関量または相関値）を算出することなどによりデフォーカス量を算出する。

デフォーカス量算出部９０１は、着目画素の位置を１画素ずつずらしながら（シフトしながら）デフォーカス量を算出することにより、被写体のデフォーカス量分布を示すデフォーカスマップを生成することができる。またデフォーカス量算出部９０１は、生成したデフォーカスマップを参照することにより、深度が深い記録画像に所望の大きさの背景ボケを画像処理によって付加することができる。またデフォーカス量算出部９０１は、着目画素の位置を自動焦点検出すべき画素位置に指定してデフォーカス量を算出することにより、算出したデフォーカス量を自動焦点検出に利用することができる。

続いて、本実施例における相関関数Ｃ（Ｓ）について説明する。まず、図１６を参照して、本実施例の比較例について説明する。図１６は、比較例としての相関関数Ｃ（Ｓ）の算出方法の説明図である。

図１６において、左上にａセンサ群、右上にｂセンサ群、左下にｃセンサ群、および、右下にｄセンサ群がそれぞれ示されている。また、ａセンサ群、ｂセンサ群、ｃセンサ群、および、ｄセンサ群の被写体像はそれぞれ、Ａ像、Ｂ像、Ｃ像、Ｄ像として、着目画素（斜線部の画素）の位置を基準としたグレーセル（５×５画素）で示される。相関関数Ｃ（Ｓ）は、シフト量Ｓ（図１６ではＳ＝０、−１、−２）に応じて、Ａ像、Ｂ像、Ｃ像、Ｄ像を相対的にずらしながら（シフトしながら）算出される。

グレーセルおよび白セルを合わせた領域は、着目画素の位置における視野範囲であり、シフト量Ｓの絶対値が増えると視野範囲の幅も広がる。図１６中に示される矢印は、視野中心（水平視野中心および垂直視野中心）、すなわち視野範囲の中心を示している。視野中心における相関関数Ｃ（Ｓ）は、式（１）の相関関数Ｃ（Ｓ）を図８の撮像部１０５ａ（撮像素子）に適用することにより、以下の式（６）のように表される。

Ｃ（Ｓ）＝Σ｜ａ（ｎ＋ｓ，ｎ＋ｓ）−ｄ（ｎ，ｎ）｜＋
Σ｜ｂ（ｎ，ｎ＋ｓ）−ｃ（ｎ＋ｓ，ｎ）｜ … （６）
比較例としての図１６の算出方法では、シフト量Ｓが偶数の場合、視野中心は着目画素の位置と一致する。一方、シフト量Ｓが奇数の場合、視野中心は着目画素の位置に対して半画素分だけずれる。すなわち、図１１の場合と同様に、シフト量Ｓに応じて、すなわちシフト量Ｓが偶数または奇数のいずれであるかに応じて、視野中心が半画素ずれる。このため、シフト量Ｓが偶数の場合の相関関数Ｃ（Ｓ）とシフト量Ｓが奇数の場合の相関関数Ｃ（Ｓ）は、Ａ像、Ｂ像、Ｃ像およびＤ像の形状によっては同一曲線上に乗らず、３点内挿の計算を正しく行うことができない場合がある。

続いて、図１０を参照して、本実施例における相関関数Ｓ（ＣＳ）の算出方法について説明する。図１０は、本実施例における相関関数Ｃ（Ｓ）の説明図である。図１０（本実施例）において、シフト量Ｓが偶数の場合、図１６（比較例）と同様に相関関数Ｃ（Ｓ）が算出される。一方、シフト量Ｓが奇数の場合、図１６に対してＡ像、Ｂ像、Ｃ像およびＤ像のサイズ（幅）を下側および右側に１画素ずつ増やして６×６画素とする。これにより、視野中心が図１６の場合（５画素）に対して下側および右側に半画素分だけずれる。このため、シフト量Ｓが偶数である場合と同様に、着目画素の位置と視野中心の位置とが互いに一致する（すなわち、シフト量Ｓが偶数または奇数のいずれでも、着目画素の位置に対する視野中心の位置は一定となる）。その結果、シフト量Ｓが偶数の場合の相関関数Ｃ（Ｓ）とシフト量Ｓが奇数の場合の相関関数Ｃ（Ｓ）は、Ａ像、Ｂ像、Ｃ像およびＤ像の形状によらず同一曲線上に乗り、３点内挿の計算を正しく行うことができる。また、画素サイズ（画素幅）を下側および右側に１画素分だけ増やしても重み係数の和を一定に維持する（本実施例では、５×５画素の重み係数１の和である２５を維持する）ため、周辺画素の重み係数を変化させる。本実施例では、図１０に示されるように、四隅の画素の重み係数を０．２５、四隅を除く周辺画素の重み係数を０．５にそれぞれ設定する。

本実施例によれば、水平垂直４分割の瞳分割型位相差検出方式によりデフォーカス量を検出する際に、被写体像によらず、３点内挿計算を正しく実行可能な撮像装置を提供することができる。

このように各実施例において、撮像手段（撮像部１０５）は、光学系１０４の瞳のうち互いに異なる領域（分割瞳領域）から入射する光束を受光して第１の像信号（Ａ像信号）および第２の像信号（Ｂ像信号）を出力する。算出手段（画像処理部１０７のデフォーカス量算出部３０１、９０１）は、所定の範囲に含まれる画素からの第１の像信号および第２の像信号（像信号の位相）を相対的にシフトさせながら評価値（デフォーカス評価値）を算出し、デフォーカス量を算出する。そして算出手段は、第１の像信号および第２の像信号のシフト量に応じて着目画素の位置に関する視野範囲の中心（視野中心）が変動しないように、所定の範囲の大きさ（参照画素数）を変更する。すなわちいずれのシフト量でも視野中心の位置が一定となるように、所定の範囲の大きさを変更する。ここで所定の範囲とは、被写体像に対応する各センサ列の画素範囲であり、例えば、図４〜図７、図１０中のグレーセルとして示される範囲である。

好ましくは、視野範囲の中心は、着目画素の中心と一致しているか、または、着目画素の中心から半画素ずれている。また好ましくは、算出手段は、シフト量が第１のシフト量である場合、所定の範囲に含まれる画素の数を偶数に設定する。一方、シフト量が第２のシフト量である場合、所定の範囲に含まれる画素の数を奇数に設定する。

好ましくは、撮像装置１００は、第１の像信号および第２の像信号を加算する加算手段（像生成部３０５、９０７）を更に有する。より好ましくは、加算手段は、第１の像信号および第２の像信号を第３のシフト量だけシフトさせて加算する（再構成像を取得する）。そして算出手段は、第１の像信号および第２の像信号を第４のシフト量だけシフトして評価値を算出し、第３のシフト量（再構成像を取得する際のシフト量）および第４のシフト量（評価値を算出する際のシフト量）に応じて所定の範囲の大きさを変更する。

好ましくは、算出手段は、評価値として、所定の範囲における全ての画素に関して第１の重み係数（例えば１）を用いて算出された第１の評価値を算出可能である。また算出手段は、評価値として、所定の範囲の一部の画素（例えば、所定の範囲の端の画素）に関して第１の重み係数よりも小さい第２の重み係数（例えば０．５）を用いて算出された第２の評価値を算出可能である。そして算出手段は、所定の範囲の大きさに応じて、第１の評価値または第２の評価値のいずれを算出するかを決定する。

好ましくは、評価値は、第１の像信号および第２の像信号の一致度に関する情報（相関値など）である。また好ましくは、評価値は、第１の像信号および第２の像信号の合焦度に関する情報（コントラスト評価値など）である。また好ましくは、算出手段は、評価値に基づいて３点内挿計算を行うことによりデフォーカス量を算出する。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

各実施例によれば、瞳分割型位相差検出方式による焦点検出を行う際に、被写体像によらず、３点内挿の手法を用いてより高精度にデフォーカス量を算出可能な撮像装置、制御装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０５ 撮像部（撮像手段）
３０１、９０１ デフォーカス量算出部（算出手段）

Claims (14)

1. 光学系の瞳のうち互いに異なる領域から入射する光束を受光して第１の像信号および第２の像信号を出力する撮像手段と、
   所定の範囲に含まれる画素からの前記第１の像信号および前記第２の像信号を相対的にシフトさせながら評価値を算出し、デフォーカス量を算出する算出手段と、を有し、
   前記算出手段は、前記第１の像信号および前記第２の像信号のシフト量に応じて着目画素の位置に関する視野範囲の中心が変動しないように、前記所定の範囲の大きさを変更することを特徴とする撮像装置。
2. 前記視野範囲の中心は、前記着目画素の中心と一致していることを特徴とする請求項１に記載の撮像装置。
3. 前記視野範囲の中心は、前記着目画素の中心から半画素ずれていることを特徴とする請求項１に記載の撮像装置。
4. 前記算出手段は、
   前記シフト量が第１のシフト量である場合、前記所定の範囲に含まれる前記画素の数を偶数に設定し、
   前記シフト量が第２のシフト量である場合、前記所定の範囲に含まれる前記画素の数を奇数に設定する、ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１の像信号および前記第２の像信号を加算する加算手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記加算手段は、前記第１の像信号および前記第２の像信号を第３のシフト量だけシフトさせて加算し、
   前記算出手段は、
   前記第１の像信号および前記第２の像信号を第４のシフト量だけシフトして前記評価値を算出し、
   前記第３のシフト量および前記第４のシフト量に応じて、前記所定の範囲の大きさを変更する、ことを特徴とする請求項５に記載の撮像装置。
7. 前記算出手段は、
   前記評価値として、前記所定の範囲における全ての画素に関して第１の重み付け係数を用いて算出された第１の評価値、および、該所定の範囲の一部の画素に関して該第１の重み付け係数よりも小さい第２の重み付け係数を用いて算出された第２の評価値を算出可能であり、
   前記所定の範囲の大きさに応じて、前記第１の評価値または前記第２の評価値のいずれを算出するかを決定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記評価値は、前記第１の像信号および前記第２の像信号の一致度に関する情報であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記評価値は、前記第１の像信号および前記第２の像信号の合焦度に関する情報であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記算出手段は、前記評価値に基づいて３点内挿計算を行うことにより、前記デフォーカス量を算出することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 光学系の瞳のうち互いに異なる領域から入射する光束に基づいて撮像手段から出力された第１の像信号および第２の像信号を入力する入力手段と、
    所定の範囲に含まれる画素からの前記第１の像信号および前記第２の像信号を相対的にシフトさせながら評価値を算出し、デフォーカス量を算出する算出手段と、を有し、
    前記算出手段は、前記第１の像信号および前記第２の像信号のシフト量に応じて前記所定の範囲の大きさを変更する、ことを特徴とする制御装置。
12. 光学系の瞳のうち互いに異なる領域から入射する光束に基づいて撮像手段から出力された第１の像信号および第２の像信号を取得するステップと、
    所定の範囲に含まれる画素からの前記第１の像信号および前記第２の像信号を相対的にシフトさせながら評価値を算出し、デフォーカス量を算出するステップと、を有し、
    前記デフォーカス量を算出するステップにおいて、前記第１の像信号および前記第２の像信号のシフト量に応じて着目画素の位置に関する視野範囲の中心が変動しないように、前記所定の範囲の大きさを変更することを特徴とする制御方法。
13. 光学系の瞳のうち互いに異なる領域から入射する光束に基づいて撮像手段から出力された第１の像信号および第２の像信号を取得するステップと、
    所定の範囲に含まれる画素からの前記第１の像信号および前記第２の像信号を相対的にシフトさせながら評価値を算出し、デフォーカス量を算出するステップと、をコンピュータに実行させるプログラムであって、
    前記デフォーカス量を算出するステップにおいて、前記第１の像信号および前記第２の像信号のシフト量に応じて着目画素の位置に関する視野範囲の中心が変動しないように、前記所定の範囲の大きさを変更することを特徴とするプログラム。
14. 請求項１３に記載のプログラムを記憶していることを特徴とする記憶媒体。