JP2022112125A - 距離計測装置、コンピュータプログラム及び距離計測方法 - Google Patents

Abstract

【課題】防振機構を動作させつつ精度の良い距離測定が可能な距離計測装置を提供する。【解決手段】距離計測装置は、防振光学系を有する撮像光学系によって撮像された画像を取得する画像情報取得手段と、前記画像に基づいて被写体までの距離に関する距離情報を取得する距離情報取得手段と、前記防振光学系の駆動量に応じた収差情報に基づき前記距離情報を補正する距離補正手段と、を有する。【選択図】 図８

Description

本発明は、防振光学系を有する距離計測装置等に関する。

従来、デジタルスチルカメラやデジタルビデオカメラに適応可能な距離計測装置およびそれを用いた距離検出技術として、位相差方式による距離検出技術が知られている。この方式の一例は、例えば水平方向にずれた２つの瞳領域を通過した光束により形成される２つの光像（以下、それぞれＡ像、Ｂ像という）を取得する。このＡ像とＢ像の相対的な位置ズレ量である像ズレ量（視差、位相差）を算出し、レンズ瞳上での２つの瞳領域の距離をもとにした換算係数を介してデフォーカス量に変換することで、被写体までの距離を算出することができる。

また加えて近年、デジタルスチルカメラやデジタルビデオカメラに手ぶれなどで発生する像ブレを防ぐために防振機能が搭載されるようになっている。例えば特許文献１は、レンズ系の一部をシフトさせて像ブレを抑制する際に、レンズ系のシフトにより歪曲収差の状態が変化するため、像ぶれ補正光学系の位置情報に応じて表示用画像の歪曲収差の補正を行っている。

また、例えば特許文献２は、防振機能を有する撮像系を用いた撮像面での位相差距離計測方法が記載され、防振光学系の駆動によって生じる２像の平面内での位置ずれによる誤差を低減するように距離情報を補正することが記載されている。

特開２０１２－２３１２６２号公報 特許第６６２８６７８号公報

測距装置を備えた撮像装置（デジタルスチルカメラやデジタルビデオカメラ等）は、持ち運び可能なことが好ましく、カメラの持ち運びおよび適切な位置からの撮影により、意図した構図の距離マップが得られる。また、近くからの撮影により、高密度で高精度な距離マップが得られる。

しかしながら、特許文献１に記載されるような方法で、防振により変動する光量や像の歪曲に合わせた像補正を実施すると、像の明るさや歪等の変動は抑えることができるようになるが、距離情報が変動してしまう。すなわち、距離測定に誤差が生じてしまうという課題があった。
特許文献２では、防振による距離情報の補正を行っているものの、防振による像面湾曲の変動起因の補正については考慮されておらず、高精度な補正ができない問題があった。

本発明は上記の課題を考慮してなされたものであり、その目的は、防振機構を動作させつつ精度の良い距離測定が可能な距離計測装置を提供することである。

上記目的を達成するために、本発明の距離計測装置は、
防振光学系を有する撮像光学系によって撮像された画像を取得する画像情報取得手段と、
前記画像に基づいて被写体までの距離に関する距離情報を取得する距離情報取得手段と、
前記防振光学系の駆動量に応じた収差情報に基づき前記距離情報を補正する距離補正手段と、を有することを特徴とする。

本発明によれば、防振機構を動作させつつ精度の良い距離測定が可能な距離計測装置を提供することである。提供することができる。

本発明の実施例１におけるレンズの結像関係を示す図である。 実施例１における像面湾曲による距離計測誤差を説明する図である。 実施例１に係る防振群の駆動方向と視差検出方向の関係を示す図である。 実施例１のデジタルカメラ１１０の機能構成を示したブロック図である。 実施例１のデジタルカメラ１１０の撮像素子１１を説明するための図である。 実施例１の撮像面位相差距離計測方式の測距原理を説明するための図である。 実施例１のデフォーカス生成部１４１で実行されるデフォーカス画像生成処理を示したフローチャートである。 実施例１に係る距離計測関連の処理を示したフローチャートである。 本発明の実施例２に係る距離計測処理を示したフローチャートである。 本発明の実施例２のエッジ方向の例を示した図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
また、実施例においては、撮像装置としてデジタルカメラに適用した例について説明する。しかし、撮像装置はデジタルビデオカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ネットワークカメラなどの撮像機能を有する電子機器等を含む。

図１は、本発明の実施例１におけるレンズの結像関係を示す図である。
なお、実施例において、光軸と平行な方向をｚ方向またはデフォーカス方向とし、光軸と直交し、撮像面の水平方向と平行な方向をｘ方向、撮像面の垂直方向と平行な方向をｙ方向と定義する。
撮像面位相差距離計測法やＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）法など、撮像光学系を通して結像した画像から視差量を求め、視差量をデフォーカス量に変換することで距離計測を行う距離計測方法が知られている。

図１において、ＯＢＪは物体面、ＩＭＧは像面、Ｈは前側主点、Ｈ’は後側主点、Ｓは物体面から前側主点までの距離、Ｓ’は後側主点から像面までの距離を表す。また、ΔＳ’はデフォーカス量、ΔＳはデフォーカス量に応じた物体側の相対距離である。一点鎖線が光軸、点線が結像光束、破線がデフォーカス光束である。
レンズの結像では、以下の数１が成り立つことが知られている。なおｆはレンズの焦点距離である。

また、デフォーカス時は数１を変形した数２が成り立つ

撮影情報から読み出されるＳとｆは既知であるため、数１からＳ’が求められ、前述の撮像面位相差距離計測法やＤＦＤ法で求めたΔＳ’を用いて数２からΔＳが求められる。

上記のように、数１と数２を連立することで、撮影情報とデフォーカス量を用いて被写体距離情報を生成することができる。デフォーカス量は画面上一部の領域もしくは全域で求めることができるため、被写体距離情報もデフォーカス量が算出された領域に対応して得ることができる。
＜像面湾曲による距離計測誤差＞

図２は、実施例１における像面湾曲による距離計測誤差を説明する図である。
前述の撮像面位相差距離計測法やＤＦＤ法など、撮像光学系を通して結像した画像から距離計測を行う距離計測方法では、特に画面周辺付近においては撮像光学系の像面湾曲の影響を受ける。

図２（Ａ）は撮像光学系１０の像面湾曲を説明する概略図である。光軸１００上に存在する物点１０２から発せられた光は、理想的には撮像光学系１０１により像面ＩＭＧの一点に結像する。また、光軸１００に対して垂直な面に存在する物点１１３から発せられた光は、理想的には像面ＩＭＧの平面上の一点に結像する。

しかしながら、撮像光学系１０１には一般的には像面湾曲があり、物点１１３から発せられた光が結像する位置が光軸方向にずれ、デフォーカスが生じる。図２（Ａ）において、１０４は物点１０２から発せられた光束、１０５は物点１１３から発せられた光束を表している。Δｄは１０５に対応する像点の像面湾曲量である。ここで、図２（Ａ）はメリディオナル像面の像面湾曲を示しており、サジタル像面の像面湾曲は省略しているが、サジタル像面の像面湾曲は一般的にメリディオナル像面とは異なる値を持つ。

このように、撮像光学系の収差、特に画面周辺の像面湾曲によって像面上でのデフォーカス量が異なる。前述の距離計測方法はデフォーカス量に依存した計測であるため、同じ距離に位置する被写体であっても像面湾曲により算出される距離が異なってしまう。

通常、像面湾曲はズームやフォーカス、絞りの状態によってほぼ決まった値をとる。この像面湾曲を含むデフォーカス量のずれは撮像光学系の設計値、もしくは工場出荷時などに測定した工場測定値を用いてデフォーカス補正マップを算出し、校正することができ、これにより、距離計測誤差を除去することができる。
＜防振時の距離計測誤差＞

しかしながら、防振時においては、偏心収差により設計値や工場測定値から差異が発生し、非対称な像面湾曲が残存する場合は距離計測誤差が発生してしまう。図２（Ｂ）内で１０５、１０６は光軸を中心として対称位置の物点から発せられた光束を示している。図示のように、防振群（防振光学系）１１２を例えば光軸に垂直な方向に駆動することで、像側において片側では像面湾曲Δｄｐが発生し、対称な位置では像面湾曲Δｄｍが発生している。防振群を駆動する前の図２（Ａ）のΔｄに対して、各々デフォーカス量が増減することを示している。

ここで、図２では防振群の駆動を光軸と垂直方向断面における駆動で図示しているが、駆動の方式はこれに限られるものではない。例えばバリアングルプリズム（ＶＡＰ）のように、内部を液体で満たした平行平板の片面を傾けることで防振を行う方式であってもよい。また、防振群を傾けることで防振を行う方式であってもよい。
即ち、本実施例における防振光学系は上記のように、少なくとも１つの光学素子を光軸に対して垂直方向に駆動する動作、もしくは前記光軸に対して傾ける動作を行うことで防振を行うものであれば良い。

このように、撮像光学系内で屈折によって防振を行う場合、偏心収差の影響で画面中心に対して非対称な像面湾曲が発生し、デフォーカス量が変動することで、距離計測誤差の要因となる。

一般的な撮像光学系においては、防振によって発生する偏心収差の影響は画質に対して影響を及ぼさない、もしくは最小限の影響となるように設計されている。しかしながら、距離計測にデフォーカスを用いる距離計測方法の場合は、防振によって発生する偏心収差の像面湾曲成分によって、特に画面周辺部に大きな距離計測誤差が発生してしまう可能性がある。特に、防振群の駆動量が大きいほど偏心収差の発生量は大きくなる。
＜防振群駆動位相による補正マップの生成＞

例えば撮像面位相差距離計測法やＤＦＤ法などの技術を用いて視差量からデフォーカス量を求め、距離測定を行うものとする。また、前述の防振群は、振動を補正するために、光軸に対して垂直な平面上で任意の方向（位相）に任意の駆動量だけ駆動するものとする。その場合、視差を検出する方向は機構的もしくはアルゴリズム的に制限された所定の方向であるため、防振群の移動による像面湾曲成分が視差に与える影響は防振群の駆動量が同等だったとしても、防振群の位相によって変化する。つまり、同じ駆動量でも防振群の位相によって、防振によるデフォーカス補正マップは異なるものとなる。

そのため、本実施例においては、防振群の位相（駆動方向）によらないデフォーカス補正マップを複数保持する。これを複数の第１の補正量に対応する補正マップとする。更に、複数の第１の補正量を防振群の駆動量と位相とから決まる量で混合（例えば重みづけ加算）することでデフォーカス補正マップを生成することを可能とする。混合したデフォーカス補正マップは第２の補正量に対応する。第２の補正量を用いて距離情報を補正することにより、高精度な距離計測を行うことができる。

例えば、防振群によって発生するデフォーカス量のサジタル像面、メリディオナル像面の像面湾曲成分は駆動方向に垂直な方向に各々線対称である。従って、これら２つのデフォーカス補正マップを設け、防振群の位相を係数として混合することで位相ごとのデータを持たずに視差検出方向でのデフォーカス補正マップを生成することが可能となる。

図３は本発明の実施例１に係る防振群の駆動方向と視差検出方向の関係を示す図である。
視差検出方向が水平方向である場合、防振群の駆動方向と水平とのなす角を駆動位相θとする。駆動位相θを引数としてサジタル像面の像面湾曲成分とメリディオナル像面の像面湾曲成分を混合することで、視差検出方向に応じたデフォーカス補正マップを生成することが可能となる。なお、図３では防振群の駆動を光軸と垂直方向断面における駆動で図示しているが、駆動の方式はこれに限られるものではない。

例えば前述のバリアングルプリズムのように、内部を液体で満たした平行平板の片面を傾けることで防振を行う方式であってもよい。また、防振群のレンズ等の光学素子を傾けることで防振を行う方式であってもよい。異なる方式を用いた際には、例えば駆動量は傾き角、駆動位相は傾き方向、と数値を変換して補正処理を実施する。
＜撮像画像情報＞

本実施例において入力情報としての撮像画像情報は、一例としてはデジタルカメラを用いて撮像された画像にメタデータとして付随する情報である。
図４は、実施例１のデジタルカメラ１１０の機能構成を示すブロック図である。
撮像光学系１０は、デジタルカメラ１１０に内蔵された、或いは交換レンズタイプの撮影レンズであり、被写体の光学像を撮像素子１１上に形成する。

撮像光学系１０は、光軸１００上に並んだ複数のレンズで構成され、撮像素子１１から所定距離離れた位置に射出瞳１１１を有すると共に、防振群（防振光学系）１１２を有する。
なお、本実施例では撮像装置としてのデジタルカメラが距離計測装置として機能しているが、距離計測装置は例えばＰＣやタブレット等の画像処理装置において、画像を記録媒体から読み込んで処理して距離を計測する構成であっても良い。

撮像素子１１は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等である。撮像素子１１は、撮像光学系１０を介して撮像面に形成された被写体像を光電変換し、被写体像に対応した画像信号を出力する。撮像素子１１は被写体を撮像する撮像手段として機能している。
制御部１２は、例えばコンピュータとしてのＣＰＵやマイクロプロセッサ等を含む制御装置であり、メモリに記憶されたコンピュータプログラムに基づきデジタルカメラ１１０が備える各ブロックの動作を制御する制御手段として機能する。

制御部１２は、例えば、撮像時のオートフォーカス（ＡＦ：自動焦点合わせ）、フォーカス（合焦）位置の変更、Ｆ値（絞り）の変更、画像の取り込み、記憶部１５や入力部１６、表示部１７、通信部１８等のデジタルカメラ１１０内部の各部の制御を行う。

計測部１３は、合焦した被写体までの距離を算出する。図示されるように計測部１３は、レンズ駆動情報取得部１３０、防振群情報取得部１３１、補正情報取得部１３２、補正部１３３を有している。

画像処理部１４は、デジタルカメラ１１０における各種の画像処理を実現するブロックである。撮像素子１１から出力された画像信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。図示されるように画像処理部１４はデフォーカス生成部１４１を有しており、得られた２種類の画像信号（Ａ像信号、Ｂ像信号）からデフォーカス信号を生成する。

画像処理部１４から出力される画像データ（撮像画像）は不図示のメモリに蓄積され、表示部１７に表示される。また、出力された画像データは記憶部１５に保存される。なお、画像処理部１４は、論理回路を用いて構成しても良いし、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

次に記憶部１５は、撮像された画像データ、各ブロックの動作の過程で生成された中間データ、画像処理部１４やデジタルカメラ１１０の動作において参照されるパラメータ、収差情報に基づく補正テーブル等が記録される不揮発性の記録媒体である。記憶部１５は、高速に読み書きでき、かつ、大容量の記録媒体であればどのようなものであってもよく、例えば、フラッシュメモリなどが好ましい。

ここで、防振光学系の駆動量に応じた収差情報に基づく補正テーブルを少なくとも１つ記憶したメモリとして機能している。なお、計測部１３、画像処理部１４、記憶部１５等により、防振光学系の駆動量に応じた収差情報に基づき前記距離情報を補正する距離補正手段が構成されている。

入力部１６は、例えば、ダイヤル、ボタン、スイッチ、タッチパネル等の、デジタルカメラ１１０に対してなされた情報入力や設定変更の操作入力を検出するユーザインターフェイスである。入力部１６は、なされた操作入力を検出すると、対応する制御信号を制御部１２に出力する。

表示部１７は、例えば、液晶ディスプレイや有機ＥＬ等の表示装置である。表示部１７は、撮像画像をスルー表示することにより、撮影時の構図確認や、各種設定画面やメッセージ情報の表示に用いられる。また、タッチパネルを利用することで表示機能と入力機能を併せ持つことができる。
通信部１８は、外部との情報の送受信を行うための通信インタフェースであり、得られた撮像画像や撮影情報等を、他の装置に送出可能に構成されている。

センサ１９は、撮像装置の状態をモニタリングするセンサ類であり、例えば加速度センサ、ジャイロセンサ、温度センサなどが設置されている。撮像装置の防振のためには一般にジャイロセンサ、加速度センサが使用され、加速度センサ等で撮像装置の振れを検出し、前記振れに応じて防振光学系を駆動することによって画像の振れを打ち消す。

なお、本実施例における撮像画像情報は、デジタルカメラによって撮影された撮像画像に付随するものに限られない。例えば、３Ｄモデルと光線追跡を用いてシミュレーションを行った画像や動画に付随するものであっても良い。
＜撮像素子の構成例＞

図５は実施例１のデジタルカメラ１１０の撮像素子１１を説明するための図であり、撮像素子１１の詳細構成例について、図５を参照して説明する。
撮像素子１１は、図５（Ａ）に示されるように、異なるカラーフィルタが配置された２行×２列の画素群２１０が複数連結して配列されることで構成されている。拡大図示されるように、画素群２１０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置されており、各画素（光電変換素子）からは、Ｒ、Ｇ、Ｂのいずれかの色情報を示した画像信号が出力される。なお、カラーフィルタ配列パターンはこれに限られない。

図５（Ｂ）は１つの画素の断面構造の模式図であり、撮像面位相差距離計測方式の測距を行うために、１つの画素（光電変換素子）は、図５（Ａ）の水平方向のＩ－Ｉ’断面において、複数の光電変換部２１５，２１６が並んで配置される。即ち、図５（Ｂ）に示されるように、各画素は、マイクロレンズ２１１及びカラーフィルタ２１２を含む導光層２１３と、第１の光電変換部２１５及び第２の光電変換部２１６を含む受光層２１４と、で構成されている。

導光層２１３において、マイクロレンズ２１１は、画素へ入射した光束を第１の光電変換部２１５及び第２の光電変換部２１６に導くよう構成されている。それによって光電変換部２１５及び第２の光電変換部２１６は所定の方向にずれた異なる射出瞳領域を介した像の光を受光する。またカラーフィルタ２１２は、所定の波長帯域の光を通過させるものであり、上述したＲ、Ｇ、Ｂのいずれかの波長帯の光のみを通過させ、後段の第１の光電変換部２１５及び第２の光電変換部２１６に導く。

第１の光電変換部２１５と第２の光電変換部２１６は、受光した光をアナログ信号に変換し、これら２つの光電変換部から出力された２種類の信号が測距に用いられる。即ち、撮像素子１１の各画素は、水平方向に並んだ２つの光電変換部を有している。全画素のうちの第１の光電変換部２１５の群から出力された信号で構成された第１の画像信号Ｓ１（Ａ像信号）と、第２の光電変換部２１６の群から出力された信号で構成された第２の画像信号Ｓ２（Ｂ像信号）の相関距離に基づき測距が行われる。

即ち、第１の光電変換部２１５と第２の光電変換部２１６とは、画素に対してマイクロレンズ２１１を介して入光する光束の異なる部分を受光する。従って、最終的に得られる２種類の画像信号Ｓ１およびＳ２は、撮像光学系１０の射出瞳の異なる領域を通過した光束に係る瞳分割された画像となる。なお、各画素で第１の光電変換部２１５と第２の光電変換部２１６とが光電変換した画像信号を合成した信号は、表示用の画像信号として用いることができる。

このような構造を有することで、本実施例の撮像素子１１は、表示用の画像信号を得ることができるだけでなく、測距用画像信号（Ａ像信号とＢ像信号）を分離して出力することができる。ここで、撮像素子１１は、防振光学系を有する撮像光学系によって所定の露光期間だけ撮像された画像（Ａ像信号とＢ像信号）を撮像素子から読出して取得する画像情報取得手段として機能している。なお、画像情報取得手段は撮像素子に限定されず、例えば撮像素子によって撮像された画像（例えばＡ像信号とＢ像信号）を一旦記録媒体に記録し、その記録媒体から前記画像を読出して取得するものを含む。

なお、本実施例では、撮像素子１１の全ての画素が２つの光電変換部を備えているものとして説明するが、本実施例の実施はこれに限られるものではない。例えば、図５（Ｂ）に表される構造が水平方向のみならず垂直方向にも配置しても良い。すなわち各画素が４つの光電変換部を備え、水平方向の瞳分割のみでなく垂直方向の瞳分割が可能となる画素の構成としても良い。４分割構成とすることで、例えば水平方向や垂直方向の縞模様を有する被写体に対しても高精度な距離測定を行うことができる。
＜撮像面位相差距離計測方式の測距原理＞

図６は実施例１の撮像面位相差距離計測方式の測距原理を説明するための図であり、前述の瞳分割された画像群（Ａ像信号、Ｂ像信号）に基づいて、被写体距離を導出する原理について、図６を参照して説明する。
図６（Ａ）は、撮像光学系１０の射出瞳１１１と、撮像素子１１中の１つの画素の第１の光電変換部２１５に受光する光束を示した概略図である。図６（Ｂ）は同様に第２の光電変換部２１６に受光する光束を示した概略図である。

図６（Ａ）及び（Ｂ）に示したマイクロレンズ２１１は、射出瞳１１１と受光層２１４とが光学的に共役関係になるように配置されている。撮像光学系１０の射出瞳１１１を通過した光束は、マイクロレンズ２１１により集光されて第１の光電変換部２１５または第２の光電変換部２１６に導かれる。この際、第１の光電変換部２１５と第２の光電変換部２１６にはそれぞれ図６（Ａ）及び（Ｂ）に示される通り、例えば水平方向にずれた異なる瞳領域を通過した光束を主に受光する。即ち、第１の光電変換部２１５には第１の瞳領域５１０を通過した光束、第２の光電変換部２１６には第２の瞳領域５２０を通過した光束が入射する。

撮像素子１１が備える複数の第１の光電変換部２１５は、第１の瞳領域５１０を通過した光束を主に受光し、第１の画像信号Ｓ１（Ａ像信号）を出力する。また、同時に撮像素子１１が備える複数の第２の光電変換部２１６は、第２の瞳領域５２０を通過した光束を主に受光し、第２の画像信号Ｓ２（Ｂ像信号）を出力する。第１の画像信号Ｓ１から第１の瞳領域５１０を通過した光束が撮像素子１１上に形成する像の強度分布を得ることができる。また、第２の画像信号Ｓ２から第２の瞳領域５２０を通過した光束が、撮像素子１１上に形成する像の強度分布を得ることができる。

第１の画像信号Ｓ１と第２の画像信号Ｓ２間の相対的な位置ズレ量（所謂、視差量または位相差）は、デフォーカス量に応じた値となる。視差量とデフォーカス量との関係について、図６（Ｃ）、（Ｄ）、（Ｅ）を用いて説明する。図６（Ｃ）、（Ｄ）、（Ｅ）は撮像素子１１、撮像光学系１０について説明した概略図である。図中の符号５１１は、第１の瞳領域５１０を通過する第１の光束を示し、符号５２１は第２の瞳領域５２０を通過する第２の光束を示す。

図６（Ｃ）は合焦時の状態を示しており、第１の光束５１１と第２の光束５２１が撮像素子１１上で収束している。このとき、第１の光束５１１により形成される第１の画像信号Ｓ１と、第２の光束５２１により形成される第２の画像信号Ｓ２間との視差量は０となる。図５（Ｄ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号Ｓ１と第２の光束により形成される第２の画像信号Ｓ２との視差量は０とはならず、負の値を有する。

図６（Ｅ）は、像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号Ｓ１と第２の光束により形成される第２の画像信号Ｓ２との視差量は正の値を有する。図６（Ｄ）と図６（Ｅ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、撮像光学系の結像関係（幾何関係）に従って位置ズレが生じることが分かる。第１の画像信号Ｓ１と第２の画像信号Ｓ２との位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。
＜デフォーカス画像生成処理＞

画像処理部１４中のデフォーカス生成部１４１において、得られた２種類の画像信号からデフォーカス画像を生成する。
図７は実施例１のデフォーカス生成部１４１で実行されるデフォーカス画像生成処理を示したフローチャートであり、デフォーカス画像生成に係る処理について、図７のフローチャートを用いて説明する。

ステップＳ１４０１で、デフォーカス生成部１４１は、防振光学系を有する撮像光学系によって所定の露光期間だけ撮像された画像（第１の画像信号及び第２の画像信号Ｓ２）を撮像素子から読出して取得する。そして第１の画像信号及び第２の画像信号Ｓ２について、光量補正処理を行う。撮像光学系１０の周辺画角ではヴィネッティングにより、第１の瞳領域５１０と第２の瞳領域５２０の形状が異なることに起因し、第１の画像信号Ｓ１と第２の画像信号Ｓ２の間では、光量バランスが崩れている。従って、本ステップにおいて、デフォーカス生成部１４１は、例えばメモリとしての記憶部１５に予め格納されている光量補正値を用いて、第１の画像信号Ｓ１と第２の画像信号Ｓ２の光量補正を行う。

ステップＳ１４０２で、デフォーカス生成部１４１は、撮像素子１１における変換時に生じたノイズを低減する処理を行う。具体的にはデフォーカス生成部１４１は、第１の画像信号Ｓ１と第２の画像信号Ｓ２に対して、フィルタ処理を適用することで、ノイズ低減を実現する。一般に、空間周波数が高い高周波領域ほどＳＮ比が低くなり、相対的にノイズ成分が多くなる。

従って、デフォーカス生成部１４１は、空間周波数が高いほど通過率が低減するローパスフィルタを適用する処理を行う。なお、ステップＳ１４０１における光量補正は、撮像光学系１０の製造誤差等によっては補正しきれない場合があるので、ステップＳ１４０２では、直流成分を遮断し、かつ、高周波成分の通過率が低いバンドパスフィルタを適用することが望ましい。

ステップＳ１４０３で、デフォーカス生成部１４１は、第１の画像信号Ｓ１と第２の画像信号Ｓ２に基づいて、これらの画像間の視差量を導出する。具体的には、デフォーカス生成部１４１は、第１の画像信号Ｓ１内に、代表画素情報に対応した注目点と、該注目点を中心とする照合領域とを設定する。照合領域は、例えば、注目点を中心とした一辺が所定長さを有する正方領域等の矩形領域とする。次にデフォーカス生成部１４１は、第２の画像信号Ｓ２内に参照点を設定し、該参照点を中心とする参照領域を設定する。

参照領域は、上述した照合領域と同一の大きさおよび形状を有する。デフォーカス生成部１４１は、参照点を順次移動させながら、第１の画像信号Ｓ１の照合領域内に含まれる画像と、第２の画像信号Ｓ２の参照領域内に含まれる画像との相関度を導出する。そして、最も相関度が高い参照点を、第２の画像信号Ｓ２における、注目点に対応する対応点として特定する。このようにして算出された対応点と注目点との相対的な位置ズレ量が、注目点における視差量となる。

デフォーカス生成部１４１は、このように注目点を代表画素情報に従って順次変更しながら視差量を算出することで、該代表画素情報によって定められた複数の画素位置における視差量を導出する。本実施例では簡単のため、表示用画像と同一の解像度でデフォーカス情報を得るために、視差量を計算する画素位置の数（代表画素情報に含まれる画素群の数）は、表示用画像の画素数と同数になるように設定されている。なお、相関度の導出方法として、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の方法を用いてよい。

また、導出された視差量ｄは、所定の変換係数を用いることで、撮像素子１１から撮像光学系１０の焦点までの距離に関する距離情報であるデフォーカス量に変換することができる。ここで、ステップＳ１４０３の処理は画像に基づいて被写体までの距離に関する距離情報を取得する距離情報取得手段として機能している。
なお、所定の変換係数Ｋ、デフォーカス量をΔＬとすると、

によって、デフォーカス量に変換できる。

デフォーカス生成部１４１は、このように導出した画素毎のデフォーカス量を画素値とする２次元情報を構成し、デフォーカス画像として不図示のメモリに格納する。即ち、距離情報を２次元状の距離マップとして取得することができる。このようにして得られたデフォーカス画像が、デフォーカス量のマップとして被写体距離測定等に用いることができる。

図８は実施例１に係る距離計測関連の処理を示したフローチャートであり、図８を参照して、実施例１による距離計測のフローについて説明する。
図８（Ａ）が実施例１の距離計測のフローチャートであり、図４における計測部１３にて行われる処理である。

ステップＳ１０１の撮影情報読込処理では、例えば画像に例えばメタデータとして付加された焦点距離やフォーカス位置、絞り値、撮影倍率などのパラメータを読み込むとともに、防振群の位置情報や位相情報を読み込む処理を行う。各パラメータは後処理においてデフォーカス量から物体距離を算出する際などに用いるものであり、記憶領域に保存しておく。

なお、前記防振群の位置情報や位相情報は、前記画像を撮像した期間における防振光学系の駆動量や駆動方向とする。即ち、例えば撮像面位相差距離計測方式等で距離計測を行うために取得した画像の露光期間（撮像期間）における防振光学系の駆動量や駆動方向の平均値などを取得する。前記画像を撮像する期間をシャッタなどで制限している場合も同様である。
このように本実施例では、距離計測用の画像を撮像する期間における前記防振光学系の駆動量に応じた収差情報に基づき前記距離情報を補正している。

ステップＳ１０２の補正前距離情報生成処理では、防振群による像面湾曲の変動を含めた距離情報の生成を行う。前述の撮像面位相差距離計測方式等によってデフォーカス量を算出し、数１と数２、及びステップＳ１０１で得たパラメータを用いて補正前被写体距離情報を算出する。

ステップＳ１０３では距離補正量算出処理を行う。ステップＳ１０３の処理の内容を図８（Ｂ）のフローチャートに示す。
図８（Ｂ）に示すように、ステップＳ１０３１で防振群の位置情報抽出を行う。ここで、位置情報とは図３に示すように防振群の駆動量と位相、すなわち光軸からの離れ量と駆動方向に関する情報である。

ステップＳ１０３２で防振群の複数の補正テーブルのデータを例えば記憶部１５から読み込む。補正テーブルとは、本実施例においては、防振群の駆動量に応じた収差情報に基づくデータを含むとともに、焦点距離、フォーカス位置、絞り値、撮影倍率等の少なくとも１つのパラメータに応じた収差情報に基づくデータを含むテーブルである。また本実施例では補正テーブルのデータは防振群によって発生する像面湾曲（収差情報）に対応するデフォーカス量のデータである。

なお、各パラメータを細かく分割して補正テーブルを保持するとデータ量が増大するため、各パラメータを粗く分割して補正テーブルを保有し、パラメータ間は線形補間演算することによって細かな補正テーブルを算出する。なお、光軸を中心として像高方向を変数とした多項式によってデフォーカス量を表現してもよい。尚、メモリに記憶される補正テーブルの中身はデフォーカス量に限らず、収差情報等に関するデータであっても良い。

本実施例において補正テーブルは、各パラメータの組み合わせに対して予め複数設ける。即ち、メモリは、例えば、各パラメータの組み合わせに対してサジタル方向の収差に基づく補正テーブルとメリディオナル方向の収差に基づく補正テーブルをそれぞれ有する。これによって、補正テーブルのデータ量が削減され、データを保持するための記憶領域の肥大化を防ぐことができ、距離測定装置のコストを押さえることができる。

ステップＳ１０３３ではステップＳ１０３２で抽出した複数の補正テーブルのデータを混合する処理を行う。例えば、サジタル方向の補正テーブルのデータとメリディオナル方向の補正テーブルのデータを防振群の位相（駆動方向）に応じたパラメータに従って混合する処理を行う。

具体的には、図３のように視差検出方向と防振群の駆動方向とのなす角を駆動位相θとしたとき、サジタル、メリディオナルのテーブルにそれぞれｓｉｎθ、ｃｏｓθを掛け合わせて補正テーブルのデータを加算し、修正された補正テーブルを生成する。なお、本実施例ではデータ量を大幅に抑えるために上記のような工夫をしているが、メモリ容量が十分にあれば、上記の各パラメータに加えて防振群の位相（駆動方向）に対応した複数のテーブルを記憶しても良い。

ステップＳ１０３４では、ステップＳ１０３３で算出した修正された補正テーブルを距離に変換する処理を行う。この処理により、防振で発生した像面湾曲によって誤差を補正するための距離補正量を算出することができる。
ステップＳ１０４では距離情報の補正処理を行う。ステップＳ１０２で算出した補正前被写体距離情報に対して、ステップＳ１０３で算出された距離補正量を加算することで、防振群によって発生した像面湾曲成分を除去した、補正後被写体距離情報を算出することができる。即ち、本実施例では、防振光学系の駆動量に応じた収差情報と、防振光学系の駆動方向に基づき被写体距離情報を補正している。

ステップＳ１０５では、ステップＳ１０４で算出した補正後被写体距離情報の記憶領域への保存処理を行う。
以上説明したように、本実施例によれば、防振機構を動作させつつ撮影をする場合でも精度の良い距離測定が可能となる。

次に、図９は、本発明の実施例２に係る距離計測処理を示したフローチャートであり、図９を参照して、実施例２による距離計測装置のフローについて説明する。
図９（Ａ）が実施例２の距離計測のためのフローチャートであり、実施例１と同様に図４における計測部１３にて行われる。

図９に示す実施例２でのフローチャートは、実施例１に対して、コントラスト方向選択処理のフローチャートが追加されている。また、実施例２では、撮像素子の画素が４つの光電変換部を備え、水平方向の瞳分割のみでなく垂直方向の瞳分割が可能となる画素の構成とされている。４分割構成とすることで、水平垂直いずれの方向の被写体に対しても検出が可能となる。即ち、位相差検出に用いる２つの射出瞳領域の方向として、水平方向と垂直方向を切り替え可能である。

ステップＳ２０１とステップＳ２０２は、実施例１のステップＳ１０１とステップＳ１０２と同一の処理である。
ステップＳ２０３では、画像情報を参照してコントラスト方向を選択する。ステップＳ２０３の処理の内容を図９（Ｂ）のフローチャートに示す。

図９（Ｂ）に示すように、ステップＳ２０３１で画像を読み込む。ステップＳ２０３２で画像のエッジにおいて水平方向のコントラスト成分の寄与が大きいか、垂直方向のコントラスト成分の寄与が大きいかを画像から判定する。ステップＳ２０３３で画素ごとに水平測距（水平方向の測距）、垂直測距（垂直方向の測距）のいずれかを選択する。ステップＳ２０３４で測距方向を選択したマップを生成する。即ち、例えば被写体のコントラスト特性等に応じて測距方向として水平方向と垂直方向を切り替えることができると共に、水平方向、垂直方向の切り替えに応じて、距離情報を補正するための収差情報を変更している。

図１０は実施例２のエッジ方向の例を示した図である。図１０のようなエッジＡ、Ｂを持つ画像の場合、エッジＡは垂直成分が主となるため該当のエッジ部分は水平測距を選択し、エッジＢは水平成分が主となるため垂直測距が選択され、測距方向のマップが生成、保存される。

水平測距の画素は実施例１と同様に水平方向と防振群の駆動方向とのなす角を駆動位相θとして、サジタル、メリディオナルのテーブルにそれぞれｓｉｎθ、ｃｏｓθを掛け合わせてテーブルを加算し、補正テーブルとする。一方、垂直測距の画素は垂直方向と防振群の駆動方向とのなす角を位相φとして、サジタル、メリディオナルのテーブルにそれぞれｓｉｎφ、ｃｏｓφを掛け合わせてテーブルを加算し、補正テーブルとする。このように本実施例では、画像の中の被写体のコントラスト特性等に応じて、異なる前記収差情報に基づき前記距離情報を補正するので、精度の高い距離計測ができる。

ステップＳ２０３では、測距方向を画像から判定せず、画像情報として保持していた測距方向に関する情報を用いて測距方向を選択したマップを用いて判定してもよい。例えば画素ごとに垂直測距を行ったか水平測距を行ったかを測距時に判定し、二次元情報として保持する。この二次元情報に基づき垂直測距か水平測距の判定を行うことで、画像のコントラストを逐次算出する必要がなくなるため処理を高速化できる。

ステップＳ２０４からステップＳ２０６は、実施例１のステップＳ１０３からステップＳ１０５と各々同一の処理である。ステップＳ２０４の処理の内容を図９（Ｃ）のフローチャートに示す。図９（Ｃ）のフローチャートにおけるステップＳ２０４１～Ｓ２０４４は図８（Ｂ）のステップＳ１０３１～Ｓ１０３４と同じなので説明を省略する。
実施例２によれば、防振機構が有効な撮影の場合で、かつ任意のコントラスト方向の被写体においても精度の良い距離測定が可能となる
［その他の実施例］

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して距離計測装置等に供給するようにしてもよい。そしてその距離計測装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

Claims (17)

1. 防振光学系を有する撮像光学系によって撮像された画像を取得する画像情報取得手段と、
   前記画像に基づいて被写体までの距離に関する距離情報を取得する距離情報取得手段と、
   前記防振光学系の駆動量に応じた収差情報に基づき前記距離情報を補正する距離補正手段と、を有することを特徴とする距離計測装置。
2. 前記防振光学系は少なくとも１つの光学素子を光軸に対して垂直方向に駆動する動作、もしくは前記光軸に対して傾ける動作を行うことで防振を行うことを特徴とする請求項１に記載の距離計測装置。
3. 前記距離補正手段は、前記撮像光学系の焦点距離、フォーカス位置、絞り値、撮影倍率の少なくとも１つに応じた前記収差情報に基づき前記距離情報を補正することを特徴とする請求項１に記載の距離計測装置。
4. 前記距離補正手段は、前記画像を撮像する期間における前記防振光学系の前記駆動量に応じた前記収差情報に基づき前記距離情報を補正することを特徴とする請求項１に記載の距離計測装置。
5. 前記距離補正手段は、前記防振光学系の前記駆動量に応じた前記収差情報に基づく補正テーブルを少なくとも１つ記憶したメモリを含むことを特徴とする請求項１に記載の距離計測装置。
6. 前記距離補正手段は、前記防振光学系の前記駆動量に応じた前記収差情報と、前記防振光学系の駆動方向に基づき前記距離情報を補正することを特徴とする請求項１に記載の距離計測装置。
7. 前記補正テーブルは、サジタル方向の前記収差情報に基づく補正テーブルとメリディオナル方向の前記収差情報に基づく補正テーブルを含むことを特徴とする請求項５に記載の距離計測装置。
8. 前記距離補正手段は、前記サジタル方向の前記補正テーブルのデータと前記メリディオナル方向の前記補正テーブルのデータを混合したデータを用いて前記距離情報を補正することを特徴とする請求項７に記載の距離計測装置。
9. 前記距離補正手段は、被写体に応じて、異なる前記収差情報に基づき前記距離情報を補正することを特徴とする請求項１に記載の距離計測装置。
10. 前記距離情報取得手段は、所定の方向にずれた２つの射出瞳領域を介した像の位相差を算出することにより前記距離情報を取得することを特徴とする請求項１に記載の距離計測装置。
11. 前記距離情報取得手段は、前記所定の方向として水平方向と垂直方向を切り替え可能であることを特徴とする請求項１０に記載の距離計測装置。
12. 前記距離情報取得手段が前記所定の方向を切り替えた場合に、前記距離補正手段は、前記距離情報を補正するための前記収差情報を変更することを特徴とする請求項１１に記載の距離計測装置。
13. 前記距離情報取得手段は、被写体に応じて前記所定の方向として前記水平方向と前記垂直方向を切り替えることを特徴とする請求項１１に記載の距離計測装置。
14. 前記距離情報取得手段は、前記距離情報を２次元状の距離マップとして取得することを特徴とする請求項１に記載の距離計測装置。
15. 前記画像情報取得手段は、被写体を撮像する撮像手段を含むことを特徴とする請求項１に記載の距離計測装置。
16. 請求項１～１５のいずれか１項に記載の距離計測装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
17. 防振光学系を有する撮像光学系によって撮像された画像を取得する画像情報取得工程と、
    前記画像に基づいて被写体までの距離に関する距離情報を取得する距離情報取得工程と、
    前記防振光学系の駆動量に応じた収差情報に基づき前記距離情報を補正する距離補正工程と、を有することを特徴とする距離計測方法。
    
    
    
    

Images