JP2016066995A - 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 - Google Patents

Abstract

【課題】簡易な演算にて高精度に像ズレ量を算出する。
【解決手段】第１の結像光学系を通過した光束に基づく第１の画像と、第２の画像と、の間の相対的な位置ズレ量である像ズレ量を算出する像ズレ量算出装置であって、第１の画像を表す第１の画像データと第２の画像を表す第２の画像データのうちの所定の領域内のデータに基づいて像ズレ量を算出する算出手段と、前記領域の第１および第２の画像データに対する相対的な大きさを設定する設定手段と、を備え、前記算出手段が、あらかじめ設定された第１の大きさの前記領域内の第１の画像データおよび第２の画像データを用いて、第１の像ズレ量を算出し、前記設定手段が、前記第１の像ズレ量の大きさと前記第１の結像光学系の光学特性とに基づいて、前記領域の第２の大きさを設定し、前記算出手段が、前記第２の大きさの前記領域内の第１の画像データおよび第２の画像データを用いて、第２の像ズレ量を算出する。
【選択図】図６

Description

本発明は、画像間の像ズレ量を算出する技術に関する。

視点の異なる２つの画像（以下、Ａ画像およびＢ画像と称する）を用いて、２画像間の相対的な位置ずれ量である像ズレ量（視差ともいう）を算出して、距離を算出する測距装置が知られている。ここで、像ズレ量の算出には、テンプレートマッチングと呼ばれる領域ベースの対応点探索技術が多く用いられる。テンプレートマッチングでは、Ａ画像またはＢ画像のいずれかを基準画像に設定し、基準画像とは異なる他方の画像を参照画像に設定する。基準画像上に、注目点を中心とする基準領域（基準ウィンドウともいう）を設定すると共に、参照画像上にて注目点と対応する参照点に対しても参照領域（参照ウィンドウともいう）を設定する。なお、基準領域と参照領域を合わせて、マッチングウィンドウとも呼ばれる。参照点を順次移動させながら、基準領域内の画像と参照領域内の画像の類似度、すなわち相関が最も高くなる参照点を探索し、注目点と参照点の相対的な位置ズレ量を用いて像ズレ量の算出を行う。一般に、基準領域のサイズを小さくすると、局所演算に起因する像ズレ量の算出誤差が発生するため、比較的大きな領域サイズが用いられている。

この像ズレ量を、変換係数を介してデフォーカス量または被写体距離に変換することで、被写体までの距離を算出できる。これによると、距離を測定するためにレンズを動かす必要が無いため、高速高精度な測距が可能となる。

ここで、距離測定精度は、像ズレ量を正確に求めることで向上する。像ズレ量の誤差が発生する要因として、基準領域内の画素ごとの像ズレ量の変動と、画像データを取得する過程で生じるノイズを挙げることができる。基準領域内にて像ズレ量が変化する影響を小さくするためには、基準領域を小さくする必要がある。しかし、基準領域が小さい場合には、ノイズの影響や類似した画像パターンが存在することによる像ズレ量の誤算出が生じる可能性がある。

特許文献１では、走査線（例えば水平ライン）ごとに像ズレ量を算出し、算出済みの像ズレ量データに基づいて隣接する走査線での像ズレ量を算出する。この際、算出済みの像ズレ量が変動する境界を含まないように、画素毎に独立して基準領域を設定する方法が提案されている。

特許文献２では、基準領域のサイズを段階的に小さくするとともに、対応点を探索するための探索範囲を徐々に制限する方法が提案されている。

特開２０１１−０１３７０６号公報 特開平１０−２８３４７４号公報

しかしながら、特許文献１にて開示された像ズレ量の算出方法では、像ズレ量の算出に必要なメモリ量並びに演算量が大きいという課題がある。これは、基準領域のサイズを決定するために、空間的に隣接する像ズレ量を予め算出し、且つ評価していることに起因す
る。さらには、像ズレ量が連続的に変化する場合には像ズレ量が略同一の範囲内にて基準領域を設定しているために、基準領域が小さくなり、像ズレ量の誤算出が生じる恐れがある。すなわち、被写体距離変化の仕方によっては、距離を誤算出する恐れがある。

特許文献２にて開示された像ズレ量の算出方法では、各画素位置において複数の基準領域を設定し、相関度の評価を行うために、演算量が多いという課題がある。

そこで本発明は、簡易な演算にて高精度に像ズレ量を算出可能な技術を提供することを目的とする。

本発明の第一の態様は、第１の結像光学系を通過した光束に基づく第１の画像と、第２の画像と、の間の相対的な位置ズレ量である像ズレ量を算出する像ズレ量算出装置であって第１の画像を表す第１の画像データと第２の画像を表す第２の画像データのうちの所定の領域内のデータに基づいて像ズレ量を算出する算出手段と、前記領域の前記第１および第２の画像データに対する相対的な大きさを設定する設定手段と、を備え、前記算出手段が、あらかじめ設定された第１の大きさの前記領域内の前記第１の画像データおよび第２の画像データを用いて、第１の像ズレ量を算出し、前記設定手段が、前記第１の像ズレ量の大きさと前記第１の結像光学系の光学特性とに基づいて、前記領域の第２の大きさを設定し、前記算出手段が、前記第２の大きさの前記領域内の前記第１の画像データおよび第２の画像データを用いて、第２の像ズレ量を算出する、ことを特徴とする像ズレ量算出装置である。

本発明の第二の態様は、像ズレ量算出装置によって行われる、第１の結像光学系を通過した光束に基づく第１の画像と、第２の画像との間の相対的な位置ズレ量である像ズレ量を算出する像ズレ量算出方法であって第１の画像を表す第１の画像データと第２の画像を表す第２の画像データのうちのあらかじめ定められた第１の大きさの領域内のデータに基づいて第１の像ズレ量を算出する第１算出ステップと、前記第１の像ズレ量の大きさと前記第１の結像光学系の光学特性とに基づいて、前記領域の前記第１および第２の画像データに対する相対的な大きさを第２の大きさに設定する設定ステップと、前記第２の大きさの領域内の前記第１の画像データおよび第２の画像データを用いて、第２の像ズレ量を算出する第２算出ステップと、を含むことを特徴とする像ズレ量算出方法である。

本発明によれば、簡易な演算にて高精度に像ズレ量を算出することができる。

距離算出装置を備えるデジタルカメラの構成を示す図。 デジタルカメラが受光する光束を説明する図。 第１の実施形態における距離算出手順のフローチャート。 像ズレ量算出方法および像ズレ量誤差が発生する要因を説明する図。 基線長を説明する図。 第１の実施形態における距離算出部を説明する図。 第１の実施形態において像ズレ量を精度良く算出できる理由を説明する図。 変形例に係る距離算出部を説明する図。 デジタルカメラの全体的な動作のフローチャート。 変形例に係るデジタルカメラの構成を示す図。 第１の実施形態におけるズレ量算出手順例のフローチャート。

以下、図を参照しながら本発明の実施形態について詳細に説明する。以下の説明では、距離算出装置（像ズレ量算出装置）を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の像ズレ量算出装置はデジタル距離計測器に適用することができる。

尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

（第１の実施形態）
＜デジタルカメラの構成＞
図１（Ａ）は、距離算出装置を備えたデジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離算出部１０２、画像格納部１０４、画像生成部（不図示）、レンズ駆動制御部（不図示）、制御部（不図示）が、カメラ筐体１３０の内部に配置されて構成される。距離算出装置１１０は、結像光学系１２０、撮像素子１０１、距離算出部１０２、画像格納部１０４から構成される。距離算出部１０２は論理回路を用いて構成することができる。距離算出部１０２の別の形態として中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。距離算出部１０２は、本発明における像ズレ量算出装置に相当する。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を撮像面である撮像素子１０１に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）、絞り（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１０３を有する。なお、図１（Ａ）中の１４０は結像光学系１２０の光軸であり、本明細書中では光軸はｚ軸と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

ここで、このデジタルカメラ１００の動作例について図９を参照して説明する。ただし、以下は、あくまで一例でありデジタルカメラ１００の動作はこれに限られない。図９はデジタルカメラ１００のメイン電源が入り、シャッターボタン（不図示）が所謂半押しされた後の動作フローを説明する図である。まず、ステップ９０１にて制御部が結像光学系１２０の情報（焦点距離、絞り値など）を読み出し、メモリ部（不図示）に保存する。次に、ステップＳ９０２、Ｓ９０３、Ｓ９０４の処理を行い、焦点調節を行う。すなわち、ステップＳ９０２では、撮像素子１０１から出力される画像データに基づいて、距離算出部１０２が図３に示す距離算出手順を用いてデフォーカス量を算出する。距離算出手順の詳細は後述する。ステップＳ９０３では、算出したデフォーカス量に基づいて、結像光学系１２０が合焦状態かどうかを制御部が判別する。合焦していない場合は、ステップＳ９０４にて、制御部がレンズ駆動制御部を介してデフォーカス量に基づき結像光学系１２０を合焦位置へ駆動したのち、ステップＳ９０２へ戻る。ステップＳ９０３にて合焦していると判定された場合は、ステップＳ９０５にて、シャッターボタン（不図示）の操作によりシャッターがレリーズ（所謂全押し）されたか否かの判定を制御部が行う。レリーズされていないと判定された場合は、ステップＳ９０２へ戻り、上述の処理を繰り返す。ステップＳ９０５にてシャッターがレリーズされたと判定された場合には、撮像素子１０１から画像データを読み出し、画像格納部１０４に保存する。画像格納部１０４に保存された画像データに対して画像生成部において現像処理を施すことで、観賞用画像を生成することができる。また、画像格納部１０４に保存された画像データに、図３を用いて後述する距離算出手順を適用することで、観賞用画像と対応した被写体距離画像（被写体距離分布）を生成することができる。

＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から
構成される。被写体像は結像光学系１２０を介して撮像素子１０１上に結像され、撮像素子１０１は受光した光束を光電変換して、被写体像に基づく画像データを生成する。以下、本実施形態における撮像素子１０１について、図１（Ｂ）を用いてより詳細に説明する。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の画素群１５０が複数配列された構成を有する。各画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置されて構成されている。

＜距離計測の原理説明＞
本実施形態の画素群１５０を構成する各画素は、画素中の受光層（図２中の２０３）にｘｙ断面にて対称な断面形状を有する２つの光電変換部（第１の光電変換部１６１、第２の光電変換部１６２）が並置されている。撮像素子１０１内の第１の光電変換部１６１及び第２の光電変換部１６２が受光する光束について、図２を用いて説明する。

図２は、結像光学系１２０の射出瞳１０３と、撮像素子１０１中に配置される画素の代表例として緑画素１５０Ｇ１についてのみ示した概略図である。図２に示した画素１５０Ｇ１は、カラーフィルタ２０１、マイクロレンズ２０２、受光層２０３から構成され、受光層２０３内に第１の光電変換部１６１と第２の光電変換部１６２が含まれている。マイクロレンズ２０２は、射出瞳１０３と受光層２０３が共役関係になるように配置されている。その結果、図２に示すように、射出瞳内の第１の瞳領域（２６１）を通過した光束２１０は第１の光電変換部に入射し、第２の瞳領域（２６２）を通過した光束２２０は光電変換部１６２に入射する。

各画素に設けられる複数の第１の光電変換部１６１は、受光した光束を光電変換して第１の画像データを生成する。また同様に、各画素に設けられる複数の第２の光電変換部１６２は、受光した光束を光電変換して第２の画像データを生成する。第１の画像データから第１の瞳領域を主に通過した光束が撮像素子１０１上に形成する第１の画像（Ａ像）の強度分布を得ることができる。また、第２の画像データから第２の瞳領域を主に通過した光束が撮像素子１０１上に形成する第２の画像（Ｂ像）の強度分布を得ることができる。従って、第１の画像と第２画像の相対的な位置ズレ量は、Ａ像とＢ像の像ズレ量となる。この像ズレ量を後述の手法により算出し、変換係数を介して像ズレ量をデフォーカス量に変換することで、被写体までの距離を算出することができる。

＜距離算出手順の説明＞
以下、本実施形態の距離算出手順について、図３を参照しながら詳細に説明する。

ステップＳ１では、撮像素子１０１が第１の画像データ及び第２の画像データを取得し、距離算出部１０２に伝送する。

ステップＳ２では、第１の画像データと第２の画像データ間の光量バランスの崩れを補正する光量バランス補正処理を行う。光量バランスの補正方法については、公知の方法を用いることができる。例えば、予め均一な面光源をデジタルカメラ１００にて撮影して取得した画像に基づき、第１の画像データと第２の画像データの光量バランスを補正するための係数を算出すればよい。

ステップＳ３では、第１の画像データと第２の画像データに基づき、距離算出部１０２が像ズレ量の算出を行う。像ズレ量の算出方法については、図４（Ａ）−（Ｄ）並びに図６（Ａ）−（Ｆ）を用いて後述する。

ステップＳ４では、距離算出部１０２が所定の変換係数を介して像ズレ量を像側デフォーカス量に変換している。像側デフォーカス量は、結像光学系１２０の予定焦点位置（撮像素子面）から焦点位置までの距離である。

以下、像側デフォーカス量に変換する際に用いる変換係数の算出方法について図５（Ａ）（Ｂ）を用いて説明する。図５（Ａ）は、画素の受光感度入射角度特性を示している。横軸は画素へ入射する光の入射角度（ｘｚ面に射影した光線とｚ軸とが成す角度）、縦軸は受光感度を示している。実線５０１は、第１の光電変換部の受光感度を示し、破線５０２は、第２の光電変換部の受光感度を示している。この受光感度を、射出瞳１０３に投影し、射出瞳１０３上の受光感度分布として表現したのが図５（Ｂ）である。色が濃くなるほど受光感度が高いことを示している。図５（Ｂ）において、５１１は第１の光電変換部の受光感度分布の重心位置を示し、５１２は第２の光電変換部の受光感度分布の重心位置を示す。重心位置５１１と重心位置５１２間の距離５１３は基線長と呼ばれ、像ズレ量を像側デフォーカス量に変換するための変換係数として用いられる。像ズレ量をｒ、基線長をｗ、撮像素子１０１から射出瞳１０３までの瞳距離をＬとしたとき像側デフォーカス量ΔＬは以下の数式１を用いて像ズレ量を像側デフォーカス量に変換することができる。

なお、本実施形態では数式１を用いて像ズレ量を像側デフォーカス量に変換したが、他の方法によって像ズレ量を像側デフォーカス量に変換してもよい。例えば、数式１において基線長ｗが像ズレ量ｒに比べて十分大きいとの仮定に基づき、数式２に示すようにゲイン値Ｇａｉｎを算出し、数式３に基づき像ズレ量を像側デフォーカス量に変換してもよい。

数式３を用いることで像ズレ量から像側デフォーカス量への変換を容易に行うことができ、被写体距離の算出に係る演算量を削減することができる。また、像ズレ量から像側デフォーカス量への変換に、変換用のルックアップテーブルを用いてもよい。この場合にも、被写体距離の算出に係る演算量を削減することができる。

なお、図２において、第１の瞳領域はｘが正の領域とし、第２の瞳領域はｘが負の領域として説明した。しかしながら、実際には受光層２０３に到達する光は、光の回折現象により一定の拡がりを有するため、図５（Ｂ）に示す受光感度分布のように第１の瞳領域と第２の瞳領域は重複した領域を有することになる。本実施形態においては、便宜的に第１の瞳領域２６１と第２の瞳領域２６２を明確に区分した形で説明する。

ステップＳ５では、ステップＳ４にて算出した像側デフォーカス量を、結像光学系の結像関係に基づき被写体距離への変換を行う（被写体距離算出処理）。なお、被写体距離への変換は、他の手法によって行ってもよい。例えば、像側のデフォーカス量を物体側のデフォーカス量に変換し、物体側のデフォーカス量と結像光学系１２０の焦点距離に基づき
算出される物体側のピント位置との和を算出することで、被写体までの距離を算出しても構わない。物体側のデフォーカス量は、像側のデフォーカス量と結像光学系１２０の縦倍率を用いて算出できる。

本実施形態の距離算出手順では、ステップＳ４にて像ズレ量を像側のデフォーカス量に変換した後、ステップＳ５にて像側のデフォーカス量を被写体距離に変換している。しかしながら、像ズレ量を算出した後に行う処理は、上記以外の処理であってもよい。前述の通り、像側のデフォーカス量と物体側のデフォーカス量または像側のデフォーカス量と被写体距離は、結像光学系１２０の結像関係を用いて変換可能である。したがって、像ズレ量を像側デフォーカス量に変換することなく、像ズレ量を直接物体側デフォーカス量や被写体距離へ変換してもよい。いずれの場合においても、像ズレ量を正確に算出することで、精度良くデフォーカス量（像側及び／または物体側）や被写体距離を算出することができる。

なお、本実施形態中では、ステップＳ５により像側のデフォーカス量を被写体距離に変換しているが、必ずしもステップＳ５を行う必要は無く、ステップＳ４にて距離算出手順を終了しても構わない。すなわち、像側デフォーカス量を最終的な出力としてもよい。観賞用画像中の被写体のボケ量は像側のデフォーカス量に依存し、像側のデフォーカス量が大きい被写体ほど、よりボケた画像が撮影される。このような画像に対し、後工程の画像処理にてピント位置を調整するリフォーカス処理を実施するためには、像側のデフォーカス量があれば十分であり、被写体距離への変換を行う必要はない。上述のように、像側デフォーカス量は物体側デフォーカス量や像ズレ量と変換可能なので、物体側デフォーカス量や像ズレ量を最終的な出力としてもよい。

＜像ズレ量誤差が発生する要因＞
まず、図４（Ａ）−（Ｄ）を用いて像ズレ量の算出方法について説明する。図４（Ａ）は像ズレ量の算出方法を説明する図であり、第１の画像データ４０１、第２の画像データ４０２、撮影被写体４００を示している。第１の画像データ４０１に対して、注目点４１０を設定し、注目点４１０を中心に基準領域４２０を設定する。一方、第２の画像データ４０２に対して、注目点４１０と対応する位置に参照点４１１を設定し、参照点４１１を中心に参照領域４２１を設定する。基準領域４２０と参照領域４２１のサイズ（大きさ）は同じである。参照点４１１を所定の像ズレ量探索範囲内で順次移動させながら、基準領域４２０内の第１の画像データと参照領域４２１内の第２の画像データの相関値を算出し、最も高い相関値が得られる参照点４１１を注目点４１０の対応点とする。像ズレ量探索範囲は、距離算出を行いたい最大距離と最小距離から決めればよい。例えば最大距離は無限遠と設定し、最小距離は結像光学系１２０の最小撮影距離と設定し、最大距離と最小距離からそれぞれ求まる最大像ズレ量と最小像ズレ量の範囲を像ズレ量探索範囲とすればよい。注目点４１０と対応点間の相対的な位置シフト量が像ズレ量である。注目点４１０を順次移動させながら対応点の探索を行うことで、第１の画像データ内の各データ位置（各画素位置）における像ズレ量を算出することができる。相関値の算出方法は公知の手法を用いることができ、例えば、基準領域４２０内の各画素データ（各画素値）と参照領域４２１内の各画素データの差の２乗和を評価値とするＳＳＤと呼ばれる手法を用いることができる。

次に、像ズレ量誤差が発生する要因について説明する。図４（Ｂ）は横軸に位置シフト量、縦軸にＳＳＤによる相関度の評価値を示している。各位置シフト量に対する相関度の評価値を表す曲線を、以後、相関値曲線と呼ぶ。図４（Ｂ）中の実線は、被写体像のコントラストが高い場合の相関値曲線を示し、破線は被写体像のコントラストが低い場合の相関値曲線を示している。相関値曲線は極小値４３０をとる。相関度の評価値が極小値をとる位置シフト量が、最も相関の高い位置シフト量、すなわち像ズレ量として決定される。
相関値曲線が急峻に変化するほどノイズの影響を受けにくくなるため、算出される像ズレ量の誤差は小さくなる。したがって、被写体像のコントラストが高い場合には、像ズレ量を精度よく算出することができる。一方、被写体像のコントラストが低い場合には、相関値曲線の変化が緩慢になるため、像ズレ量の算出誤差が大きくなる。

結像光学系１２０のピント位置近傍では、コントラストの劣化が少ないために、コントラストの高い被写体像を得ることができる。被写体の位置が結像光学系１２０のピント位置からはずれるつれ（デフォーカスするにつれて）、コントラストは劣化し、得られる被写体像のコントラストは低くなる。したがって、図４（Ｃ）に示すように、横軸にデフォーカス量、縦軸に像ズレ量誤差をとると、デフォーカス量が大きくなるにつれて、像ズレ量誤差が大きくなる。

基準領域内にて像ズレ量が変動する場合には、図４（Ｄ）に相関値曲線を示すように、２つの極小値を有する双峰性の曲線となる。このような場合においては、２つの極小値のうち、値の小さい極小値に基づき像ズレ量が算出されるため、像ズレ量の誤算出が生じる恐れがある。

＜像ズレ量算出方法についての詳細説明＞
以降、本実施形態の距離算出部１０２、並びに像ズレ量算出手順Ｓ３について、図６（Ａ）−（Ｃ）を参照しながら、詳細に説明する。図６（Ａ）は、距離算出部１０２の詳細構成を説明する図であり、図６（Ｂ）は像ズレ量算出手順について説明する図である。

距離算出部１０２は、像ズレ量算出部６０２、基準領域設定部６０３、距離変換部６０４から構成される。像ズレ量算出部６０２は、あらかじめ定められたサイズの基準領域または基準領域設定部６０３によって設定されたサイズの基準領域を用いて、画像格納部１０４に格納されている第１の画像データおよび第２の画像データの像ズレ量を算出する。基準領域設定部６０３は、像ズレ量算出部６０２から像ズレ量（第１の像ズレ量）を受け取り、当該像ズレ量に対応する基準領域のサイズを像ズレ量算出部６０２に出力する。また、画像格納部１０４には、図３のステップＳ２を参照して説明した光量バランス補正済みの第１の画像データ及び第２の画像データが格納されている。

図６（Ｂ）のステップＳ３−１では、画像格納部１０４から取得した第１の画像データと第２の画像データに基づき、像ズレ量算出部６０２において第１の像ズレ量の算出を行う。具体的には、予め設定されたサイズ（第１の大きさ）の基準領域（第１の基準領域）を用い、図４（Ａ）−（Ｄ）を参照して説明した対応点の探索方法により第１の像ズレ量を算出する。

図６（Ｂ）のステップＳ３−２では、基準領域設定部６０３が、第１の像ズレ量に基づいて第２の基準領域のサイズ（第２の大きさ）を設定する。本実施形態では、像ズレ量算出部６０２より取得した第１の像ズレ量の絶対値が所定の閾値を超えた場合に、第１の基準領域よりも大きな領域サイズとなる第２の基準領域を設定する。第１の像ズレ量の絶対値と第２の基準領域のサイズの関係を図６（Ｃ）に示す。図６（Ｃ）は、横軸に第１の像ズレ量の絶対値、縦軸に第２の基準領域のサイズを示した図である。横軸と平行な破線６２０は、第１の基準領域の領域サイズ（第１の大きさ）を表している。第１の像ズレ量の絶対値が閾値６１０よりも大きい場合には、前記第１の基準領域の領域サイズ（第１の大きさ）よりも第２の基準領域のサイズ（第２の大きさ）が大きくなるように設定している。

図６（Ｂ）のステップＳ３−３では、像ズレ量算出部６０２にて、第２の基準領域を用いて対応点の探索を再度行い、第２の像ズレ量を算出する。本実施形態では、第１の像ズ
レ量の絶対値が所定の閾値以下であれば、像ズレ量算出部６０２による像ズレ量の再算出は行わず、第１の像ズレ量を第２の像ズレ量として扱う。

以上により像ズレ量算出手順Ｓ３が終了する。その後、距離変換部６０４は、図３のステップＳ４並びにＳ５にて説明した方法により、第２の像ズレ量を被写体距離へ変換し、被写体距離情報を出力する。

＜像ズレ量の変動とノイズの影響を低減可能な理由＞
本実施形態の距離算出部１０２が行う距離算出方法によって、基準領域内の像ズレ量変動と画像信号取得時に生じるノイズの影響を低減可能な理由について、図７（Ａ）−（Ｄ）を参照しながら説明する。

図７（Ａ）は、デジタルカメラ１００における、被写体７０１と被写体７０２の像の取得について説明する図である。被写体７０１は結像光学系１２０のピント位置に配置されており、撮像素子１０１上のボケサイズ７１１は小さいサイズとなる。一方、被写体７０２は結像光学系１２０のピント位置から外れた位置に配置されており、撮像素子１０１上のボケサイズ７１２は大きなサイズとなる。仮に被写体７０１並びに被写体７０２が、図７（Ｂ）に示す輝度分布を有する場合、被写体７０１の像は図７（Ｃ）、被写体７０２の像は図７（Ｄ）の様になる。

被写体７０２（図７（Ｄ））のように、デフォーカス量が大きい場合には、取得される像は大きくボケるために、像ズレ量は緩やかに変動する。また、取得される被写体像のコントラストは低下している。したがって、像ズレ量の誤差を低減するためには、基準領域を大きく設定することが望ましい。一方、被写体７０１（図７（Ｃ））のように、デフォーカス量が小さい場合には、取得される像のボケは小さいために、像ズレ量の変動が急峻になる場合がある。一方で、取得される被写体像は高いコントラストを有するため、像ズレ量の誤差を低減するためには、基準領域を小さく設定することが望ましい。

本実施形態の距離算出部１０２は、第１の像ズレ量の絶対値が大きい（すなわち、デフォーカス量が大きい）場合には、大きな基準領域（第２の基準領域）を設定し、再度像ズレ量の算出を行っている。すなわち、結像光学系１２０を介して取得される像のコントラストが低く、像ズレ量の変動が緩やかな場合には大きな基準領域が設定される。

本実施形態の距離算出部１０２は、第１の像ズレ量の絶対値が所定の閾値よりも大きい場合には、より大きな第２の基準領域を設定している。これにより、空間的に隣接する画素の像ズレ量を算出することなく、簡易な演算にて像ズレ量変動の影響低減と画像信号取得時に生じるノイズの影響低減を両立できる。また、結像光学系１２０の光学的特性に応じた基準領域を設定しているために、被写体距離の変動に対する依存性を低減することができ、精度よく被写体距離を算出することができる。

本実施形態の距離算出部１０２においては、図６（Ｃ）に示すように、第１の像ズレ量の絶対値が所定の閾値６１０よりも大きな場合に、より大きな領域サイズの第２の基準領域を設定したが、第２の基準領域のサイズをその他の方法によって決定してもよい。例えば、図６（Ｄ）に示すように第１の像ズレ量の絶対値の１次関数を用いて、第２の基準領域のサイズを決定しても構わない。あるいはより一般に、第１の像ズレ量の絶対値ではなく、第１の像ズレ量そのものに基づいて第２の基準領域のサイズを決定してもよい。また、被写体がピント位置よりもデジタルカメラ１００に近い場合と遠い場合を考慮し、図６（Ｅ）に示すように、第１の像ズレ量が０以上のとき（実線６３０）と第１の像ズレ量が０より小さいとき（破線６４０）とで、傾きを変えても構わない。また、図４（Ｃ）に示すデフォーカス量と像ズレ量誤差の関係から分かるように、デフォーカス量が大きくなる
と、２次関数的に像ズレ量の誤差が増加する。したがって、図６（Ｅ）に示すように、第１の像ズレ量の絶対値が所定の閾値６５０を超えた場合に限り、第２の領域サイズを増加関数で設定し、デフォーカス量の誤差を所定の目標値以内に収まるように設定しても構わない。いずれの場合においても、結像光学系１２０の光学的な特性を考慮し、第２の基準領域のサイズを設定することで、基準領域内の像ズレ量の変動と画像信号取得時に生じるノイズの影響を低減することができる。

本実施形態の距離算出部１０２においては、第１の画像データ内の全ての画素位置に注目点４１０を設定し、第１の像ズレ量を算出する必要はない。注目点４１０を所定の間隔で順次移動させながら、第１の像ズレ量を算出しても構わない。例えば、水平方向と垂直方向に１０画素の間隔をあけて第１の像ズレ量を算出し、第１の像ズレ量の２次元分布を、公知の拡大手法（例えば、バイリニア補間や最近傍補間）により拡大し、第２の基準領域を設定するために参照すればよい。第１の像ズレ量を算出するために設定する注目点の数を減らすことで、第１の像ズレ量を算出するために必要な演算量を減らすことができる。

本実施形態では、結像光学系１２０の光学的な特性を考慮して第２の基準領域サイズを設定することで、基準領域内の像ズレ量の変動と画像信号取得時に生じるノイズの影響を低減している。したがって、基準領域のサイズは、第１の画像データ内の基準領域に含まれる領域面積の割合が変更できればよい。基準領域のサイズを大きくして基準領域に含まれる画素数を多くした場合、画像信号取得時に生じるノイズの影響を低減することができる。また、基準領域に含まれる画素数は一定のまま（基準領域のサイズを保ったまま）画像データを縮小しても、画像信号取得時に生じるノイズの影響を低減することができる。基準領域内に含まれる画素数を多くした場合でも、基準領域に含まれる画素数は一定のままで画像データを縮小した場合でも、画像信号取得時に生じるノイズの影響を低減することができる。

基準領域に含まれる画素数を一定のまま画像データを縮小する場合には、図６（Ａ）に示す像ズレ量算出部６０２は、図１１に示す像ズレ量算出手順を用いる。ステップＳ３−６では、第２の基準領域のサイズに応じた画像の縮小倍率を用いて第１の画像と第２の画像のサイズ変更を行う。例えば、第２の基準領域のサイズが第１の基準領域のサイズと比べて２倍の大きさである場合（水平方向と垂直方向がそれぞれ２倍、面積にして４倍）には、縮小倍率として０．５倍（水平方向と垂直方向がそれぞれ０．５倍、画素数が１／４倍）を設定する。画像のサイズ変更では、公知の手法を用いることができ、例えばバイリニア法を用いることができる。ステップＳ３−３では、サイズ変更を行った第１の画像（第１の縮小画像）と第２の画像（第２の縮小画像）を用い、基準領域に含まれる画素数が第１の基準領域と同じである第２の基準領域を用いて第２の像ズレ量の算出を行う。なお、図１１では、第２の基準領域のサイズに応じて縮小倍率を設定しているが、基準領域設定部６０３が、像ズレ量算出部６０２から受け取った像ズレ量（第１の像ズレ量）に応じて、画像の縮小倍率を像ズレ量算出部６０２に出力しても構わない。

また、第２の像ズレ量を算出する際に、基準領域のサイズの変更と画像データのサイズの変更を両方行ってもよい。言い換えると、基準領域設定部６０３が行う処理は、第１の画像データおよび第２の画像データに対する基準領域の相対的なサイズを変更する処理であれば、任意の処理であってよい。第２の像ズレ量を算出する際の基準領域の第１および第２の画像データに対する相対的なサイズが、第１の像ズレ量を算出する際の相対的なサイズよりも大きければ、ノイズの影響を低減することができる。

＜距離算出部の変形例１＞
本実施形態の距離算出部１０２の変形例として、図８（Ａ）に示す構成を採用してもよ
い。図８（Ａ）の距離算出部１０２は、上述の構成に加えてＰＳＦサイズ格納部８０４を更に備えている。ＰＳＦサイズ格納部８０４には、結像光学系１２０の点像分布関数（以降、ＰＳＦと呼ぶ）のサイズが第１の像ズレ量と対応する形で格納されている。

本変形例の距離算出手順の全体の流れは上記と同様であるが、図６（Ｂ）のステップＳ３−２の第２の基準領域のサイズを設定する工程において、ＰＳＦサイズ格納部８０４から出力されるＰＳＦサイズに基づき第２の基準領域のサイズを設定する。具体的には、基準領域設定部６０３は、第１の像ズレ量を像ズレ量算出部６０２より取得する。続いて、第１の像ズレ量と対応するＰＳＦサイズをＰＳＦサイズ格納部８０４より取得する。基準領域設定部６０３では、ＰＳＦサイズ格納部８０４より取得したＰＳＦサイズに応じて、第２の基準領域のサイズを設定している。

図８（Ａ）に示す距離算出部１０２においては、結像光学系１２０のデフォーカスに伴うＰＳＦサイズに応じて第２の基準領域のサイズを設定することで、より適切に第２の基準領域の領域サイズを設定することができる。これにより、第２の基準領域の領域サイズを過大に（または、過小に）設定することが無くなり、演算量や像ズレ量誤差の増大を防ぐことができる。

結像光学系１２０のぼけサイズは、例えばＰＳＦの３σ（標準偏差σの３倍）によって表すことができる。そこで、ＰＳＦサイズ格納部８０４は、結像光学系１２０のＰＳＦの３σをＰＳＦのサイズとして出力する。ＰＳＦサイズ格納部８０４は、中心画角についてのみＰＳＦサイズを保有すればよいが、周辺画角における結像光学系１２０の収差が大きい場合には、周辺画角のＰＳＦサイズも合わせて保有することが望ましい。また、ＰＳＦサイズは、ＰＳＦサイズと像ズレ量の関係を表す関数形式で表し、係数をＰＳＦ格納部８０４に格納しても構わない。例えば、数式４のように、結像光学系の絞り値（Ｆ値）の逆数を係数とする１次関数にしたがって算出し、係数ｋ１とｋ２をＰＳＦサイズ格納部８０４に格納しても構わない。

ここで、ＰＳＦｓｉｚｅはＰＳＦサイズ、ｒは第１の像ズレ量、Ｆは結像光学系１２０のＦ値、ｋ１ならびにｋ２は所定の係数である。

また、図５（Ｂ）を参照して説明した基線長（距離５１３）と結像光学系１２０の射出瞳１０３の直径の比と、第１の像ズレ量の絶対値とＰＳＦサイズの比が略等しくなることを考慮し、数式５のようにＰＳＦサイズを与えても構わない。

ここで、ｗは基線長、Ｄは射出瞳の直径、ｋ１ならびにｋ２は所定の係数である。なお、ＰＳＦのサイズはデフォーカス量に対して略比例関係にある。さらに、数式３に示すようにデフォーカス量と像ズレ量が略比例関係にあることを考慮すると、数式４及び数式５における係数ｋ２は必ずしも用いる必要はない。

本変形例における基準領域設定部６０３は、ＰＳＦサイズ格納部８０４から取得したＰＳＦサイズに応じて、第２の基準領域のサイズを設定する。図８（Ｂ）は、横軸にＰＳＦサイズ、縦軸に第２の基準領域のサイズを示す図である。図８（Ｂ）中の実線で示すように、第２の基準領域とＰＳＦサイズを比例関係で設定することで、取得される像のボケに
応じた第２の基準領域のサイズを設定することができる。また、図８（Ｂ）中の破線で示すように、閾値８１０を超えた場合にＰＳＦサイズと第２の基準領域のサイズが比例関係になるように設定し、閾値８１０未満では第２の基準領域のサイズが一定の値となるにように設定しても構わない。

いずれの場合においても、結像光学系１２０のデフォーカスに伴うＰＳＦサイズの変化に応じて第２の基準領域を設定することで、より適切に第２の基準領域を設定している。これにより、第２の基準領域の領域サイズを過大に（または、過小に）設定することが無くなり、演算量や像ズレ量誤差の増大を防ぐことができる。

＜距離算出部の変形例２＞
本実施形態の別の変形例として、距離算出部１０２は、ＰＳＦサイズ格納部８０４の代わりに結像性能値格納部を備えていても構わない。結像性能値格納部からは、結像光学系１２０により形成される被写体像の結像性能を示す値が出力される。結像性能は、例えば、結像光学系１２０の結像性能を示す光学伝達関数（以降、ＭＴＦ）を用いて表すことができる。図８（Ｃ）には、横軸に第１の像ズレ量、縦軸に所定の空間周波数における結像光学系１２０のＭＴＦを示している。第１の像ズレ量の絶対値が小さいほど、デフォーカス量が小さいために、高いＭＴＦを得ることができる。図８（Ｄ）に示すように、基準領域設定部６０３は、結像性能値格納部より第１の像ズレ量と対応したＭＴＦを取得し、ＭＴＦが高いほど小さな第２の基準領域を設定しても構わない。結像光学系１２０のＭＴＦが高いほど、被写体像のコントラスト劣化は少なく、より鮮明な像を得ることができる。したがって、第１の像ズレ量と対応したＭＴＦに基づき第２の基準領域を設定することで、結像光学系１２０の光学的特性を考慮した基準領域を設定することができる。これにより、第２の基準領域を過大に（または、過小に）設定することが無くなり、演算量や像ズレ量誤差の増大を防ぐことができる。なお、ＰＳＦサイズ格納部８０４に格納されている情報は、本実施形態の変形例１や変形例２に示すＰＳＦのサイズを表す情報や、ＭＴＦを表す情報や、結像光学系１２０の光学特性を表す情報である必要はない。結像光学系１２０の光学特性を表す情報が格納されていればよい。結像光学系１２０の光学特性を表す情報と第１の像ズレ量とにより、結像光学系１２０のボケサイズに応じた第２の基準領域を設定することで、演算量や像ズレ量誤差の増大を防ぎ、より高精度に被写体までの距離を算出することができる。

＜距離算出部の変形例３＞
本実施形態の距離算出手順の別の変形例として、図８（Ｅ）に示す手順を採用してもよい。以下の説明では、距離算出部１０２が、図６（Ａ）に示す構成に加えて基準領域設定判定部を備えているとして説明する。

図８（Ｅ）においては、図６（Ｂ）の手順に加えて、ステップＳ３−４の基準領域設定判定工程、ならびにステップＳ３−５の第１の像ズレ量を第２の像ズレ量とする工程が追加されている。ステップＳ３−４においては、第１の像ズレ量の絶対値が所定の閾値よりも大きい場合には、ステップＳ３−２へ進み、そうでない場合にはステップＳ３−５へ進む判定処理を行う。ステップＳ３−５においては、第１の像ズレ量を第２の像ズレ量とする処理を行う。

図８（Ｅ）に示す手順では、デフォーカス量が大きいために像のコントラストが低下する場合に限り、第２の基準領域を第１の像ズレ量に基づき設定し、第２の像ズレ量を算出している。さらに、デフォーカス量が小さい場合は、第１の像ズレ量を第２の像ズレ量としている。以上の手順を用いることで、像ズレ量誤差を低減させつつも、像ズレ量の算出を２回行う画素を少なくすることで、演算量をより低減することができる。

なお、上記説明では、距離算出部１０２が図６（Ａ）に示す構成に加えて基準領域設定判定部を備えているとして説明したが、図８（Ａ）に示す構成に加えて基準領域設定判定部を備えていても構わない。この場合においても、像ズレ量の算出を２回行う画素が少なくなり、演算量をより低減することができる。

＜第１の画像データと第２の画像データ取得方法の別の形態＞
第１の実施形態では、１つの結像光学系の光束を分割して視点の異なる２つの画像データをしているが、２つの結像光学系を用いて２つの画像データを取得してもよい。例えば、図１０に示すステレオカメラ１０００を用いることもできる。ステレオカメラ１０００は、２つの結像光学系１０２０、１０２１）、２つの撮像素子１０１０、１０１１、距離算出部１０２、画像格納部１０４、画像生成部（不図示）、レンズ駆動制御部（不図示）を、カメラ筺体１３０の内部に有する。距離算出装置１１０は、結像光学系１０２０、１０２１、撮像素子１０１０、１０１１、距離算出部１０２、画像格納部１０４から構成される。

ステレオカメラの場合には、撮像素子１０１０にて生成された画像データを第１の画像データとし、撮像素子１０１１にて生成された画像データを第２の画像データとする。また結像光学系１０２０と結像光学系１０２１の光学的な特性は略同一であることが望ましい。距離算出部１０２にて、図３を参照して説明した距離算出手順により被写体までの距離を算出することができる。なお、ステレオカメラ１０００の場合の基線長は、結像光学系１０２０の射出瞳の中心位置と、結像光学系１０２１の射出瞳の中心位置間の距離を用いればよい。図６（Ｂ）を用いて説明した像ズレ量の算出手順により算出した第２の像ズレ量を被写体までの距離に変換する手法としては公知の手法を用いることができる。

本変形例においても、結像光学系１０２０、１０２１の光学的な特性を考慮し、第２の基準領域のサイズを設定することで、基準領域内の像ズレ量の変動と画像取得時に生じるノイズの影響を低減することができる。特に、ステレオカメラ１０００において、解像度が高い画像データを取得するためには、結像光学系１０２０、１０２１のＦ値を小さくする必要がある。このような場合においては、デフォーカスに伴うコントラストの低下が顕著になるため、本実施形態に係る距離算出部１０２を備えた距離算出装置はより好適に被写体までの距離を算出することができる。

上述した第１の実施形態における距離算出装置の具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。

また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。よって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１０２ 距離算出部
６０２ 像ズレ量算出部
６０３ 基準領域設定部

Claims (15)

1. 第１の結像光学系を通過した光束に基づく第１の画像と、第２の画像と、の間の相対的な位置ズレ量である像ズレ量を算出する像ズレ量算出装置であって
   第１の画像を表す第１の画像データと第２の画像を表す第２の画像データのうちの所定の領域内のデータに基づいて像ズレ量を算出する算出手段と、
   前記領域の前記第１および第２の画像データに対する相対的な大きさを設定する設定手段と、
   を備え、
   前記算出手段が、あらかじめ設定された第１の大きさの前記領域内の前記第１の画像データおよび第２の画像データを用いて、第１の像ズレ量を算出し、
   前記設定手段が、前記第１の像ズレ量の大きさと前記第１の結像光学系の光学特性とに基づいて、前記領域の第２の大きさを設定し、
   前記算出手段が、前記第２の大きさの前記領域内の前記第１の画像データおよび第２の画像データを用いて、第２の像ズレ量を算出する、
   ことを特徴とする像ズレ量算出装置。
2. 前記設定手段は、前記第１及び第２の画像の大きさを変更することにより、前記第２の大きさを設定する
   ことを特徴とする請求項１に記載の像ズレ量算出装置。
3. 前記設定手段は、前記第１の像ズレ量の絶対値が所定の閾値よりも大きいときに、前記第１の像ズレ量に絶対値が大きいほど、前記第２の大きさを大きく設定する、
   請求項１または２に記載の像ズレ量算出装置。
4. 前記第１の像ズレ量の絶対値が前記所定の閾値よりも大きい場合には、前記設定手段による前記第２の大きさの設定、および前記算出手段による前記第２の像ズレ量の算出を行い、
   前記第１の像ズレ量の絶対値が所定の閾値以下の場合には、前記第１の像ズレ量を前記第２の像ズレ量とする、
   請求項３に記載の像ズレ量算出装置。
5. 前記第１の画像は第１の結像光学系の射出瞳内の第１の瞳領域を通過した光束に基づく画像であり、
   前記第２の画像は前記第１の結像光学系の射出瞳内の前記第１の瞳領域とは異なる第２の瞳領域を通過した光束に基づく画像である、
   請求項１〜４のいずれか１項に記載の像ズレ量算出装置。
6. 前記第１の画像は第１の結像光学系を通過した光束に基づく画像であり、
   前記第２の画像は前記第１の結像光学系とは異なる第２の結像光学系を通過した光束に基づく画像である、
   請求項１〜４のいずれか１項に記載の像ズレ量算出装置。
7. 前記第１の結像光学系の点像分布関数のサイズであるＰＳＦサイズが格納された格納手段をさらに備え、
   前記設定手段は、前記第１の像ズレ量と対応した前記ＰＳＦサイズを前記格納手段から取得し、取得したＰＳＦサイズに基づいて前記第２の大きさを設定する、
   請求項５または６に記載に記載の像ズレ量算出装置。
8. 前記ＰＳＦサイズは、ｒを前記第１の像ズレ量、Ｆを前記第１の結像光学系の絞り、ｋ
   １およびｋ２を所定の係数として、下記の式で表される、
   請求項７に記載の像ズレ量算出装置。
   

   
9. 前記ＰＳＦサイズは、前記第１の像ズレ量と対応した前記点像分布関数の標準偏差の３倍である、
   請求項７に記載の像ズレ量算出装置。
10. 前記第１の結像光学系の点像分布関数のサイズであるＰＳＦサイズが格納された格納手段をさらに備え、
    前記設定手段は、前記第１の像ズレ量と対応した前記ＰＳＦサイズを前記格納手段から取得し、取得したＰＳＦサイズに基づいて前記第２の大きさを設定し、
    前記ＰＳＦサイズは、ｒを前記第１の像ズレ量、ｗを前記第１の瞳領域の重心位置と前記第２の瞳領域の重心位置の間の距離、Ｄを前記結像光学系の射出瞳の直径、ｋ１およびｋ２を所定の係数として、下記の式で表される、
    請求項５に記載の像ズレ量算出装置。
    

    
11. 前記第１の結像光学系の結像性能を表す評価値が格納された格納手段をさらに備え、
    前記設定手段は、前記第１の像ズレ量と対応した前記評価値を前記格納手段から取得し、取得した評価値に基づいて前記第２の大きさを設定する、
    請求項５に記載の像ズレ量算出装置。
12. 前記評価値は、所定の空間周波数における前記第１の結像光学系の光学伝達関数である、
    請求項１１に記載の像ズレ量算出装置。
13. 前記算出手段によって算出される前記第２の像ズレ量を、所定の変換係数に基づいて結像光学系の予定焦点位置から焦点位置までの距離であるデフォーカス量に変換する距離変換手段を更に備える、
    請求項１〜１２のいずれか１項に記載の像ズレ量算出装置。
14. 結像光学系と、
    前記結像光学系を通過した光束に基づく画像データを取得する撮像素子と、
    請求項１〜１３のいずれか１項に記載の像ズレ量算出装置と、
    を備える撮像装置。
15. 像ズレ量算出装置によって行われる、第１の結像光学系を通過した光束に基づく第１の画像と、第２の画像との間の相対的な位置ズレ量である像ズレ量を算出する像ズレ量算出方法であって
    第１の画像を表す第１の画像データと第２の画像を表す第２の画像データのうちのあらかじめ定められた第１の大きさの領域内のデータに基づいて第１の像ズレ量を算出する第１算出ステップと、
    前記第１の像ズレ量の大きさと前記第１の結像光学系の光学特性とに基づいて、前記領
    域の前記第１および第２の画像データに対する相対的な大きさを第２の大きさに設定する設定ステップと、
    前記第２の大きさの領域内の前記第１の画像データおよび第２の画像データを用いて、第２の像ズレ量を算出する第２算出ステップと、
    を含むことを特徴とする像ズレ量算出方法。

Images