JP2018017568A - 距離測定装置、撮像装置、および距離測定方法 - Google Patents

Abstract

【課題】複雑な処理や大規模な回路を必要とせずに、歪曲を含む撮影画像に対しても精度良く距離測定を可能とする距離測定装置を提供する。【解決手段】距離測定装置１０２は、結像光学系１０１の第一の瞳領域１３１ａを通過した光束１３２ａに対応する第一の信号からなる第一の像と、結像光学系の第一の瞳領域とは異なる第二の瞳領域１３１ｂを通過した光束１３２ｂに対応する第二の信号からなる第二の像と、のあいだの像ズレ量を取得する第一の取得手段と、像ズレ量に基づいて距離情報を取得する第二の取得手段と、を備え、第一の取得手段は、歪曲を含んだ第一の像および第二の像に基づいて像ズレ量を取得し、第二の取得手段は、第一の取得手段が取得した像ズレ量に対して、画素位置に応じた歪曲量に基づく像ズレ量補正を行い、補正後の像ズレ量に基づいて距離情報を取得する。【選択図】図１

Description

本発明は距離測定技術に関し、特にデジタルスチルカメラやデジタルビデオカメラに好適に適用可能な距離測定技術に関する。

デジタルスチルカメラやビデオカメラに適用可能な距離測定技術として、位相差方式による距離測定技術が知られている。この方式は異なる瞳領域を通過した光束により形成される光像(以下、それぞれ「A像」、「B像」という)を取得する。このA像とB像の相対的な位置ズレ量である像ズレ量（視差ともいう）が算出され、基線長をもとにした変換係数を介してデフォーカス量に変換される。デフォーカス量からさらに、被写体までの距離を算出できる（特許文献１）。

また、上記のようにして得られた距離画像を、RGBカラー画像とともに利用して（以下
該組み合わせをRGBD画像と呼ぶ）、物体の3Dモデルを取得する3Dモデリングや移動しながら空間の地図を取得する空間マッピングを実現する場合がある。この場合、例えば１つの視野に収まらないような大きな被写体を撮影したり、高精細な情報を得るために接写したりする状況では、複数の3次元モデルデータのつなぎ合わせが必要となる（特許文献２）
。そのためには、いわゆるピンホールモデルに従うような歪曲がないRGBD画像を3Dモデル化処理の入力としなければならない。

一方、A像、B像それぞれに対して適当な歪曲補正量を用いて異なる歪曲補正を行ってから像ズレ量探索を行うことを特許文献１は提案する。これにより、像ズレ量探索で問題となるエピポーラ線の湾曲を解消できる。

特許第５１９２０９６号公報 特開２０１４−１１００４３号公報 特開２０１６−０９９２４７号公報 特開２０１５−２０３７５６号公報

しかしながら、最終的に得たいRGBD画像は、A像、B像を混合して得られるRGB画像（全
開口すなわち瞳領域全体を透過した光束により形成される光像）と距離値のD画像とのセ
ットである場合が多い。だがこの全開口を利用したAB混合像に合わせてA像およびB像に歪曲補正を施しても、歪曲量が大きいとエピポーラ線を水平に改善することはできない。また、歪曲量がさらに大きい場合には、エピポーラ線が補正前よりも大きくずれてしまい、例えば上下方向にずれたり水平から大きく曲がったりすることもある。結果、例えば領域ベースの相関手法等によるずれ量の算出が複雑あるいは困難になる。

一方、A像、B像それぞれに対して歪曲補正を行って歪みのない座標系で像ズレ量を算出しようとすると、Ａ像、Ｂ像、ＡＢ混合像の歪曲補正処理やこれらのあいだの座標変換処理が必要となる。これらの処理は通常のカメラにおいて必要な処理とは異なるので、新たな処理が必要となりしたがって回路規模の増大や演算時間の長時間化につながる。また、適用した複数の変換処理における誤差が重なって精度が低下し、これを避けるためには必要な処理量や回路が一気に増大してシステムが複雑になってしまう。また撮像装置内での
処理を考えると、歪曲補正によるタイムラグが生じることや、歪曲を含んだファインダー像に距離画像を重畳する際には距離画像に歪曲を再度付加する必要が生じることが問題となる。

上記のような課題を考慮し、本発明は、複雑な処理や大規模な回路を必要とせずに、歪曲を含む撮影画像に対しても精度良く距離測定を可能とすることを目的とする。

本発明の第一の態様に係る距離測定装置は、
結像光学系の第一の瞳領域を通過した光束に対応する第一の信号からなる第一の像と、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号からなる第二の像と、のあいだの像ズレ量を取得する第一の取得手段と、
前記像ズレ量に基づいて距離情報を取得する第二の取得手段と、
を備え、
前記第一の取得手段は、歪曲を含んだ前記第一の像および前記第二の像に基づいて前記像ズレ量を取得し、
前記第二の取得手段は、前記第一の取得手段が取得した前記像ズレ量に対して、画素位置に応じた歪曲量に基づく像ズレ量補正を行い、補正後の像ズレ量に基づいて前記距離情報を取得する、
ことを特徴とする。

本発明の第二の態様に係る距離測定方法は、
距離測定装置における距離測定方法であって、
結像光学系の第一の瞳領域を通過した光束に対応する第一の信号からなる第一の像と、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号からなる第二の像と、のあいだの像ズレ量を取得する像ズレ量取得ステップと、
前記像ズレ量に基づいて距離情報を取得する距離情報取得ステップと、
を含み、
前記像ズレ量取得ステップでは、歪曲を含んだ前記第一の像および前記第二の像に基づいて前記像ズレ量を取得し、
前記距離情報取得ステップでは、画素位置に応じた歪曲量に基づく像ズレ量補正を行い、補正後の像ズレ量に基づいて前記距離情報を取得する、
ことを特徴とする。

本発明によれば、本発明は、複雑な処理や大規模な回路を必要とせずに、歪曲を含む撮影画像に対しても精度良く距離測定が可能となる。

実施形態１に係る撮像装置の概略構成図。 測距演算処理の基本的な流れを示すフローチャート。 歪曲収差による影響を説明する図。 実施形態１に係る測距演算処理のフローチャートおよびデータフロー図。 歪曲収差による像ズレ量への影響を説明する図。 像ズレ補正量テーブル作成のためのシミュレーションを説明する図。 像ズレ補正量テーブル作成処理のフローチャート。 像ズレ算出位置に幾何変換を説明する図。 歪曲補正の例を説明する図。 換算係数マップの幾何変形における線形補間を説明する図。 実施形態２に係る撮像装置の概略構成図。 実施形態２に係る測距演算処理のフローチャート。

以下、図を用いて本発明の実施形態を説明する。ただし、以下の実施形態の説明は本発明を例示的に説明するものであり、本発明を以下の構成に限定するものではない。

（実施形態１）
＜構成＞
図１（Ａ）は、本実施形態に係る距離測定装置１０２を備えた撮像装置１００を示す模式図である。撮像装置１００は、結像光学系１０１と、本実施形態に係る距離測定装置１０２を備えて構成されている。距離測定装置１０２は、撮像素子１０３と演算処理部１０４とメモリ１０５、幾何変形部１４０を有している。

撮像素子１０３は図１（Ｂ）に示すように、ｘｙ平面上に配列された多数の測距画素（以降、単に「画素」とも呼ぶ）１１０Ｒ、１１０Ｇ、１１０Ｂが並置されて構成されている。各測距画素は、図１（Ｃ）に示す断面図のようにマイクロレンズ１１１、カラーフィルタ１２２Ｒ、１２２Ｇ、１２２Ｂ、光電変換部１１０Ｒａ、１１０Ｒｂ、１１０Ｇａ、１１０Ｇｂ、１１０Ｂａ、１１０Ｂｂ、導波路１１３を含む。それぞれの画素は、カラーフィルタ１２２Ｒ、１２２Ｇ、１２２Ｂによって検出する波長帯域に応じた分光特性が与えられ、赤光、緑光、青光を取得する。画素は、図示しない公知の配色パターンによって撮像素子１０３に配置されている。基板１２４は、検出する波長帯域で吸収を有する材料、例えばＳｉであり、イオン打ち込みなどで、内部の少なくとも一部の領域に各光電変換部が形成される。各画素は、図示しない配線を備えている。

光電変換部１１０Ｒａ、１１０Ｇａ、１１０Ｂａは、射出瞳１３０の第１の瞳領域１３１ａを通過した光束１３２ａを受光し、第１の信号を出力する。光電変換部１１０Ｒｂ、１１０Ｇｂ、１１０Ｂｂは、射出瞳１３０の第２の瞳領域１３１ｂを通過した光束１３２ｂを受光し、第２の信号を出力する。Ａ像を形成する第１の信号を取得する光電変換部１１０Ｒａ、１１０Ｇａ、１１０ＢａをＡ画素と呼び、Ｂ像を形成する第２の信号を取得する光電変換部１１０Ｒｂ、１１０Ｇｂ、１１０ＢｂをＢ画素と呼ぶ。各光電変換部で取得された信号は、演算処理部１０４に伝送され測距演算処理が行われる。

演算処理部１０４は、Ａ像とＢ像のあいだの像ズレ量の算出、像ズレ量に基づく距離情報の算出を行う。ここで、演算処理部１０４は、像ズレ量の算出は歪曲を含むＡ像とＢ像を対象として行い、像ズレ量から距離情報を算出する際に歪曲による影響を補正する。ここでいう距離情報とは、撮像位置から被写体までの距離に換算可能な情報であれば任意の形式の情報であって構わない。距離情報は、例えば、フォーカス位置から被写体までの相対的な距離、または撮影時の撮像装置から被写体までの絶対距離であってもよい。なお、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間距離で表されてもよいし、デフォーカス量や視差量など実空間距離に換算できる量で表されていてもよい。以下では、距離情報から構成されるマップのことを距離マップと称する。

幾何変形部１４０では算出された距離マップに幾何変形演算を行う。演算処理部１０４および幾何変形部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）の
ような論理回路によって構成される。

以下の説明では、結像光学系１０１の光軸１０８方向をｚ方向とし、第１の瞳領域１３１ａの中心から第２の瞳領域１３１ｂの中心に向かう方向をｘ方向とする。

＜基本的な測距演算処理＞
図２は、基本的な測距演算処理を示すフローチャートである。この測距演算処理は、像ズレ量算出ステップＳ１０１、距離算出ステップＳ１０２、距離マップ歪曲補正ステップＳ１０３からなる。

像ズレ量算出ステップＳ１０１では、演算処理部１０４が、Ａ像（第１の信号の像）とＢ像（第２の信号の像）の間の相対的な位置ズレ量である像ズレ量を算出する。像ズレ量の算出は公知の手法を用いることができる。演算処理部１０４は、例えば次の（式１）を用いて、Ａ像とＢ像の像信号データＡ（ｉ）、Ｂ（ｉ）から相関値Ｓ（ｊ）を算出する。

（式１）において、Ｓ（ｊ）は像シフト量ｊにおける２つの像の間の相関度を示す相関値、ｉは画素番号、ｊは２つの像の相対的な像シフト量である。ｐ及びｑは、相関値Ｓ（ｊ）の算出に用いる対象画素範囲を示している。相関値Ｓ（ｊ）の極小値を与える像シフト量ｊが、Ａ像とＢ像のあいだの像ズレ量である。

なお、像ズレ量の算出方法は、本実施形態の方法に限定されるものではなく、他の公知の手法を用いてもよい。

距離算出ステップＳ１０２では、演算処理部１０４が、像ズレ量から距離情報（例えば、デフォーカス量）を算出する。被写体１０６の像は、結像光学系１０１を介して撮像素子１０３に結像される。図１（Ａ）では射出瞳１３０を通過した光束が結像面１０７で焦点を結び、焦点がデフォーカスした状態を示している。尚、デフォーカスとは結像面１０７と、撮像面（受光面）とが一致せず、光軸１０８方向にズレた状態のことをいう。デフォーカス量は、撮像素子１０３の撮像面と結像面１０７との間の距離を示す。本実施形態に係る距離測定装置では、このデフォーカス量に基づいて被写体１０６の距離が検出される。Ａ像とＢ像との相対的位置ズレを示す像ズレ量ｒと、デフォーカス量ΔＬとは、（式２）の関係を有している。

（式２）において、Ｗは基線長、Ｌは撮像素子（撮像面）１０３から、射出瞳１３０までの距離である。基線長Ｗは後述する画素の入射角に対する感度分布を射出瞳１３０面上に投影した瞳感度分布の重心間隔に相当する。

（式２）は、換算係数Ｋを用いて、（式３）のように簡略化して書くことができる。

像ズレ量をデフォーカス量に変換する係数を以下、「換算係数」と呼ぶ。換算係数は、例えば、前述の比例係数Ｋあるいは基線長Ｗのことを言う。基線長Ｗの補正は換算係数の補正と技術的に等価である。なお、デフォーカス量の算出方法は、本実施形態の方法に限定されるものではなく、他の公知の手法を用いてもよい。

座標変換ステップＳ１０３では、ステップＳ１０２において算出した距離マップの各算出座標を歪曲補正による座標変換で移動させて、歪曲ひずみのない距離マップを生成する。

上記で説明した基本的な方法においては、広角・短焦点側の光学系で大きくなる歪曲収差の影響を考慮していない。したがって、ステップＳ１０３の座標変換処理において、単なる座標変換によって歪曲歪みのない距離マップを生成しても、距離の値が正しくない距離マップが生成されてしまう。

また、ケラレを伴う実際の光学系においては、A像、B像は異なる歪曲収差の影響を受ける。このため、後述のように像ズレの方向は水平から傾いた方向になる。結果、Ａ像またはＢ像における該位置からＡ像とＢ像の混合像におけるデフォーカスによるボケも考慮した対応位置への座標変換は、単に水平方向にシフトさせるのではなく、画角歪曲の影響を想定して行わなければならない。

図３（Ｄ）は、歪曲収差による影響を説明する図である。図３（Ｄ）において、実線３５０は、格子状の被写体の理想像を示しており、破線３５１は、歪曲収差の影響を受けた被写体の像を示している。結像光学系１０１の歪曲収差により、被写体像３５１は樽型に歪曲し、像ズレ方向および像ズレ量が理想像３５０から変化する。

図３（Ａ）は、撮像素子１０３を上面から見た様子を模式的に示した図である。第１の位置３０１は、撮像素子１０３の中心画素の位置、すなわち、結像光学系１０１の光軸１０８と撮像素子１０３の交点を示す。第２の位置３０２は、撮像素子１０３の周辺像高の画素の位置を示す。

図３（Ｂ）は、第１の位置３０１から結像光学系１０１の射出瞳１３０を見た様子を示す図である。また、図３（Ｃ）は、第２の位置３０２から結像光学系１０１の射出瞳１３０を見た様子を示す図である。

ここでは、Ａ像を形成する光束が通過する瞳領域を領域３１０、Ｂ像を形成する光束が通過する瞳領域を領域３２０と称する。なお、図面では領域３１０と領域３２０が完全に分離しているように示しているが、これは説明の簡略化のためであり実際にはこれらの領域が一部重なっていてもよい。

第１の位置３０１から見た射出瞳１３０（図３（Ｂ））では、領域３１０の重心位置３１１から領域３２０の重心位置３２１に向かうベクトル３３０がｘ軸と平行になる。すなわち、第１の位置３０１においては、Ａ像およびＢ像における被写体１０６位置のズレ（像ズレ）の方向はｘ方向となる。

一方、歪曲収差が発生すると、周辺像高の第２の位置３０２に対する射出瞳１３０上の重心位置３１１を通過した光線は、撮像素子１０３上の−ｙ方向にシフトした位置に到達する。他方、重心位置３２１を通過した光線は、撮像素子１０３上の＋ｙ方向にシフトした位置に到達する。従って、周辺像高である第２の位置３０２では、歪曲収差によって像ズレ方向が斜めになる。ちなみに、周辺像高においては歪曲収差の他にコマ収差の影響によっても像ズレ方向が斜めになる。よって、第２の位置３０２に対する射出瞳１３０（図３（Ｃ））では、収差の影響により、重心位置３１１から重心位置３２１に向かうベクトル３４０は、ｘ成分とｙ成分を有するベクトルとなる。すなわち、合焦距離から外れた被写体の像に対する像ズレ方向は、第１の位置３０１とは異なり斜め方向になる。

特許文献１は、この斜め方向の像ズレを解消するために、Ａ像、Ｂ像それぞれに対して
異なる歪曲補正を行い、歪曲のないＡ像およびＢ像を生成することを提案している。しかし、像ズレ量探索のためだけにＡ像およびＢ像のそれぞれに特別な歪曲補正を行うので、演算回路等のリソース、電力、計算量やその演算時間等の面で大きな負荷となる。さらには最終出力のＡＢ混合像の座標空間への座標変換も必要となる。

＜本実施形態に係る測距演算処理＞
図４（Ａ）は、本実施形態に係る測距演算処理のフローチャートの一例を示す図である。図４（Ｂ）は、本実施形態に係る測距演算処理のデータフローを示す図である。本実施形態に係る測距演算処理は、像ズレ量算出ステップＳ２０１、歪曲収差による影響を考慮した距離算出ステップＳ２０２、距離マップ歪曲補正ステップＳ２０３からなる。歪曲収差による影響を考慮した距離算出ステップＳ２０２は、像ズレ量補正ステップＳ２０２１および距離算出ステップＳ２０２２からなる。

像ズレ量算出ステップＳ２０１では、演算処理部１０４が、第１の信号の像であるＡ像と第２の信号の像であるＢ像の間の相対的な位置ズレ量である像ズレ量の算出を行う。ここで処理対象とするＡ像およびＢ像は、歪曲補正を施していない状態の画像であり、したがって、歪曲収差の影響を受けた画像である。なお、像ズレ量算出ステップ（像ズレ量取得ステップ）Ｓ２０１を実行する演算処理部１０４が、本発明における第一の取得手段に相当する。

ステップＳ２０１における像ズレ算出の具体的な処理は、適宜選択することができる。例えば、（式４）のように２次元探索を行うことで、上下方向の像ズレも含めた算出が可能である。Ａ像とＢ像の像信号データＡ（ｉ）、Ｂ（ｉ）から相関値Ｓ（ｊ，ｌ）を算出する。

また、エピポーラ線を考慮して（式４）の探索側のA像の上下位置lを順次ずらして一次元探索を行っても良い。画像中の像ズレ探索座標位置に対するエピポーラ線は、光学系の設計値や光学的あるいは画像的な計測値から事前に算出可能である。

さらに、歪曲により生じる上下方向の像ズレ量がごく小さいとみなせる場合は、（式１）にしたがって水平方向のみのズレ量探索を行ってもよい。上下ズレの影響で相関スコアは悪化するが、近似的に上下方向の像ズレを無視した像ズレ量を算出可能である。

Ａ像とＢ像のあいだの像ズレ量を求める方法は、これら以外の方法であっても良い。たとえば、Ａ像、Ｂ像それぞれで上下方向に画素加算を行うことで、上下方向の像ズレを軽減できる。あるいは、特許文献３に示すように、像をシフトさせるフィルタを適用することで、上下方向の像ズレを軽減した相関演算が可能となる。さらに、特許文献５に示すように、A像、B像間の加減算によりA＋B像やA―B像を生成して上下方向の像ズレを軽減した相関演算を行うこともできる。

ここで、像ズレ量算出の具体的な手法を複数説明したが、ステップＳ２０１において使用する手法を、複数の手法の中から選択可能としても良い。すなわち、演算処理部１０４は、像ズレ量算出方法を選択する選択手段としての機能を有することも好ましい。この選択は、撮影時の撮影条件や画像中の被写体に応じて、演算処理部１０４が自動的に選択することが好ましい。

上述のように、Ａ像、Ｂ像間の歪曲収差によって生じる像ズレ方向が斜めになる影響には比較的簡単に対応可能であり、像ズレ量を精度良く求めることができる。しかしながらこれらの処理では、像面歪曲による像の拡大縮小の影響には対応できない。例えば収差が樽型の場合、周辺像高においては像の縮小が生じ、局所的な像ズレ量は、理想像面と比較して小さくなってしまう。このため、（式３）のような単純な変換式に則ってデフォーカス量や距離値を算出する場合には、相関演算により得られる像ズレ量を、測距画素の位置に応じた歪曲量に基づいて補正しなければならない。

図５（Ａ）は、歪曲収差がある撮像装置によって撮影された、同じ距離にある２つの同一サイズの被写体の像３５１を示す。同一サイズの被写体であっても、樽型の歪曲収差が発生している場合、像面上では周辺像高の被写体は縮小して撮影されてしまう。

図５（Ｂ）は、像３５１に歪曲補正を施して、歪曲収差の影響を除去した場合の像３５３を示す。周辺像高の被写体は歪曲補正により中心像高の被写体と同じサイズとなる。このように歪曲補正したＡ像およびＢ像を用いて像ズレ量、さらには距離情報（デフォーカス量または距離値）を算出すれば、（式３）に示す単純な変換式を用いても算出精度がよい。像中でのエピポーラ線を注目点と同じスキャンラインに設定できる上、歪曲収差に伴う像のサイズも補正されているからである。しかしながら、前述したように像ズレ算出のためにＡ像、Ｂ像それぞれの歪曲補正量を考慮した歪曲補正が必要となり、システムの複雑化を招いてしまう。さらに、像ズレ量算出用の入力画像に歪曲補正を実施してしまうと幾何補正の回路の性能や制約に基づく誤差により距離情報にその誤差が乗ってしまう可能性があるため、入力画像への歪曲補正はできるだけ避けたいという要請がある。

また、撮像装置においては、歪曲を含むＲＧＢ画像に対応する距離画像が必要とされる場合がある。たとえば、プレビュー画像として歪曲を含むＲＧＢ画像を表示する場合、これに重畳して表示する距離画像は歪曲が補正されていない方がよい。上述のようにＡ像、Ｂ像の歪曲補正をして距離画像を求めた場合には、その後さらに歪曲の影響を加えるという無駄な処理が生じる。

そこで、本実施形態のステップＳ２０２の距離算出処理においては、歪曲収差を含むA
像とB像間で算出された像ズレ量に対し、画角毎における像の縮小量に基づく像ズレ量の
補正を（式５）のように適用する。

ステップＳ２０２は歪曲収差の影響を考慮した距離算出ステップであり、ステップＳ２０２１の像ズレ量補正ステップとステップＳ２０２２の距離算出ステップからなる。なお、距離算出ステップ（距離情報取得ステップ）Ｓ２０２を実行する演算処理部１０４が、本発明における第二の取得手段に相当する。

Ｒ_ｎは、歪曲を含む画像上で算出した像ズレ量ｒ_ｄを、歪曲補正して歪曲がない画像上で算出した場合に得られべき像ズレ量ｒ_ｎに補正するための補正係数である。Ｒ_ｎ（ｘ_ｄ，ｙ_ｄ，ｒ_ｄ）は、当該補正係数の演算関数を表す。Ｒ_ｎは、像高位置（ｘ_ｄ，ｙ_ｄ）における歪曲収差による像の縮小拡大率に依存するので、像面内の位置に応じて異なる値をとる関数である。また、Ｒ_ｎは、歪曲を含む画像上での像ズレ量ｒ_ｄにも依存するので、像ズレ量ｒ_ｄに応じて異なる値をとる関数である。

また、Ｒ_ｎ（ｘ_ｄ，ｙ_ｄ，ｒ_ｄ）には、ステップＳ２０１の像ズレ算出で選択した手法
特有の誤差を補正する補正値の寄与を含んでも良い。上述したように、ステップＳ２０１における像ズレ算出の具体的な方法は複数あり、それぞれの手法に応じて算出される像ズレ量に誤差が含まれる。例えば、水平方向のみのズレ量探索を行ったり、A像、B像それぞれで上下方向に画素加算を行うことで上下方向の像ズレを軽減したりする手法を選択した場合には、無視した垂直方向の像ズレ量が誤差となる。また特許文献３に示すような像シフトフィルタを適用した場合、シフトで失われた垂直方向の像ズレ量が誤差となり、またフィルタのタップ数の制限等によっても誤差が生じる。したがって、Ｒ_ｎ（ｘ_ｄ，ｙ_ｄ，ｒ_ｄ）はこのような誤差を補正する補正値の寄与を含むことが好ましい。距離測定装置は、像ズレ算出手法に応じて複数のＲ_ｎを保持するように構成し、ステップＳ２０１において選択した手法に対応するＲ_ｎを用いてステップＳ２０２１において像ズレ量の補正を行うとよい。

このように、ステップＳ２０２の距離算出処理においては、歪曲収差による像の歪みで生じる像ズレ量の変動、および選択した算出手法により混入する誤差の影響を考慮した像ズレ量の補正が行われる。したがって、歪曲収差を含むA像とB像を用いて像ズレ量を算出しても、最終的に正しい距離値を得ることができる。像に含まれる歪曲量およびステップＳ２０１の像ズレ算出手法に応じて、像ズレ量補正を行う。

ステップＳ２０２２の距離値算出においては、距離算出処理ステップＳ１０２と同様に（式６）に基づき、換算係数ＫとＳ２０２１の像ズレ量補正後の像ズレ量ｒ_ｎからデフォーカス量を算出する。

＜補正値テーブルの作成方法＞
本実施形態では、各像高位置に対する補正係数Ｒ_ｎをあらかじめ求めておき、テーブルとして保持する。各像高位置に対する補正係数Ｒ_ｎは、例えば、ＣＧ画像上のシミュレーション探索により算出することができる。

図６（Ａ）−６（Ｄ）にＣＧシミュレーションによる補正値テーブル作成の概要を示す。図６（Ａ）は、Ａ像を形成するカメラとＢ像を形成するカメラをステレオ光学系で近似したモデルを示す。ここでは図６（Ａ）の左側をＡ像を形成する光学系６１、右側をＢ像を形成する光学系６２とする。図６（Ａ）に示すように、A像に射影される光線６３に沿
って被写体点の奥行きを変化させることで、Ａ像上での位置を変化させることなく、Ｂ像上の位置、およびＡ像とＢ像間のずれ量を任意に変化させることができる。歪のない光学系間のずれ量は、例えばフォーカスが無限遠の場合、平行配置のステレオカメラと近似的にみなすことができるため、以下の（式７）で表せる。

ここで、Ｗは基線長、ｆはカメラの焦点距離、ｄは被写体点のカメラからの奥行き距離、ｒ_ｎは無歪系における像のずれ量である。

図６（Ｂ）は歪曲収差のない理想的な光学系での無歪画像を示す。図６（Ｃ）は歪曲収差のある現実の光学系での歪曲画像を示す。光学系の歪曲量が既知であれば、無歪画像上での写像位置と、歪曲画像上での写像位置を相互に変換可能である。

例えば、歪曲量が次のような形式で表現できる。

このような歪曲量を既存の画像処理機能（例えば、ＯｐｅｎＣＶ）に適用することよって、歪曲の影響を受けた画像と歪曲の影響のない画像のあいだの可逆的な変換が可能となる。つまり、図６（Ｂ）で示した無歪像における写像位置と、図６（Ｃ）で示す歪曲を受けた像における写像位置を相互変換可能となる。

これにより、基準とする画像（例えばＡ像）の歪曲画像上の任意の位置（ｘ，ｙ）および任意の奥行距離ｄ（あるいは無歪画像上での像ズレ量ｒ_ｎ）により決定される位置に存在する被写体の、他方の画像（例えばＢ像）上での位置を求めることができる。具体的には、図６（Ｃ）の歪曲画像に位置（ｘ，ｙ）を設定し、図６（Ａ）に示すように被写体点の奥行距離ｄを任意に変化させて、歪曲のないＢ像での写像位置を求め、それを座標変換により歪曲のあるＢ像での写像位置に変換すればよい。

このようにして形成される歪曲のあるＡ像およびＢ像に対して、像ズレ算出ステップＳ２０１で行うのと同じ処理によって、像ズレ量ｒ_ｄを求める。これにより、歪曲画像の任意の位置（ｘ_ｄ，ｙ_ｄ）において得られる像ズレ量ｒ_ｄと、同じ被写体についての無歪画像上での像ズレ量ｒ_ｎとを対応付けることができる。

ここで、歪曲画像上での写像位置が既に求まっており、したがってこれに基づいて像ズレ量ｒ_ｄを決定できるにもかかわらず上記の処理を行うのは、像ズレ算出ステップＳ２０１において実際に算出される像ズレ量を求めるためである。言い換えると、像ズレ算出ステップにおいて算出される像ズレ量には含まれる誤差の影響を考慮するためである。したがって、像ズレ算出ステップＳ２０１において複数の像ズレ算出手法を選択可能とする場合には、各手法について像ズレ量ｒ_ｄを求めることが望ましい。

このようにして得られた（ｘ_ｄ，ｙ_ｄ，ｒ_ｄ）およびｒ_ｎから、（ｘ_ｄ，ｙ_ｄ，ｒ_ｄ）を引数として、ｒ_ｎを出力とするテーブルを形成することができる。図６（Ｅ）はある画素位置（ｘ_ｄ，ｙ_ｄ）におけるｒ_ｄとｒ_ｎの関係である。テーブルにおいては、（ｘ_ｄ，ｙ_ｄ，ｒ_ｄ）空間上の離散的な点についてｒ_ｎが定義されるので、テーブルにおいて定義されていない点については線形補間やスプライン補間のような多項式補間を用いてｒ_ｎを取得すればよい。

なお、像ズレ算出ステップＳ２０１における算出手法の選択には、探索が１次元か２次元か、相関値をどう定義するか、歪曲の影響に対する補正を行うか否か以外にも、ウィンドウサイズの値や探索範囲の広さなども含まれる。したがって、補正値テーブルを作成する際には、ウィンドウサイズや探索範囲の種々の値についてシミュレーションを実施すると良い。さらには、フォーカス位置や焦点距離やｆ値のような撮影パラメータによっても像ズレ量が変化するので、これらのパラメータをも変動させてシミュレーションを実施することが好ましい。このように、撮像装置における可変なパラメータのうち像ズレ量に対して影響を与えるものについては、パラメータを変動させてシミュレーションを実施することが望ましい。

このような手法によって、測距装置の動作に必要な補正量の変換テーブルを得ることができる。なお、（ｘ_ｄ，ｙ_ｄ）とｒ_ｄとの間の関係は、ステレオカメラの物理的なパラメータｆ，Ｗ，ｄや画素サイズに依存するが、（ｘ_ｄ，ｙ_ｄ，ｒ_ｄ）とｒ_ｎの関係は歪曲量のみに依存する。

図７は、上記で説明した像ズレ補正量テーブルの作成処理を示すフローチャートである。ここでは、像ズレ算出においてＡ像を基準としてＢ像内で探索を行うものとして説明する。まず、ステップＳ７１において、基準となる歪曲Ａ像上の画素位置（ｘ_ｄ，ｙ_ｄ）を選択する。ステップＳ７２において、この画素位置に対応する無歪曲Ａ像上の画素位置（ｘ_ｎ，ｙ_ｎ）を求める。ステップＳ７３において、被写体距離ｄを選択する。ステップＳ７４において、ＣＧシミュレーションによって、無歪曲Ｂ像上での当該被写体の像を計算する。ステップＳ７５では、無歪曲Ａ像と無歪曲Ｂ像のあいだで当該被写体の像ズレ量ｒ_ｎを求める。ステップＳ７６では、無歪曲Ｂ像を歪曲Ｂ像に変換する。ステップＳ７７では、像ズレ量算出ステップＳ２０１と同じ方法で、歪曲Ａ像の点（ｘ_ｄ，ｙ_ｄ）に対応する歪曲Ｂ像上の点を求め、その像ズレ量ｒ_ｄを算出する。なお、ステップＳ２０１において複数の手法が選択可能である場合には、それぞれの手法を用いて像ズレ量ｒ_ｄを算出するとよい。ステップＳ７８では、ステップＳ７７で求めた像ズレ量ｒ_ｄとステップＳ７５で求めた像ズレ量ｒ_ｎに基づいて、像ズレ補正量Ｒ_ｎ（ｘ，ｙ_ｄ，ｒ_ｄ）を決定する。ステップＳ７９では、算出対象の距離範囲について処理が完了したかを判定し、完了していなければステップＳ７３に戻り被写体距離ｄを変更して上記の処理を繰り返す。ステップＳ８０では、算出対象の画素全てについて処理が完了したかを判定し、完了していなければステップＳ７１に戻り対象画素（ｘ_ｄ，ｙ_ｄ）を変更して上記の処理を繰り返す。以上の処理により、像ズレ補正量テーブルＲ_ｎが作成できる。

図４（Ａ）のフローチャートの説明に戻る。ステップＳ２０３の距離マップ座標変換処理では、ステップＳ２０２において算出した距離情報マップにおける算出位置座標を、ＡＢ混合像における対応位置に変換する。ステップＳ２０２では、基準としたＡ像またはＢ像の各算出位置（画素）に対して距離情報が求められる。Ａ像とＢ像を混合することで被写体位置が移動するので、ステップＳ２０２において算出した距離情報マップとＡＢ混合像の位置がずれる。そこで、ステップＳ２０３において、演算処理部１０４は、このズレを解消するための座標変換処理を距離マップに対して施す。

ステップＳ２０３において、演算処理部１０４はさらに、３Ｄモデル算出等の後処理で矛盾なく使えるように距離情報マップに対し歪曲補正を行う。また、同一視点で撮影したＲＧＢ画像に同時に歪曲補正を施しても良い。

ステップＳ２０３は必須ではなく、実施の有無を任意に切り替え可能にしても良い。この場合、ＡＢ混合像の対応座標への座標変換と、マップへの歪曲補正とは、それぞれ個別に実施有無を切り替え可能にすると良い。

また、歪曲補正を行う前の距離情報マップを、中間データとして記憶・出力することも好ましい。歪曲補正前の距離情報マップは、歪曲ＲＧＢ画像への重畳表示に用いたり、歪曲ＲＧＢ像に直接適用される被写体セグメンテーションや被写体追跡処理の補助情報として用いたりすることができる。

以下、ステップＳ２０３の幾何歪曲補正処理の詳細を具体的に説明する。演算処理部１０４は、まず、基準としてＡ像またはＢ像とＡＢ混合像のあいだの位置のズレを補正するための座標変換処理を、ステップＳ２０２において算出した距離情報マップに対して施す。

図８（Ａ）〜８（Ｃ）はこの座標変換処理の概要を説明する図である。以下では、Ｓ２０２においてＡ像が基準とされたものとして説明する。Ａ像上の位置８１と当該位置に対応するＢ像上の位置８２は、像ズレ量ｒ_ｄだけずれている(図８（Ａ）および８（Ｂ）)。そして、ＡＢ混合像においては位置８１および位置８２の像ズレ方向（エピポーラ線）に沿った中央位置８２を、被写体の射影位置とみなすことができる。そこで、Ａ像上の位置８１とＢ像上の対応位置８２または像ズレ量ｒ_ｄに基づき、Ａ像上の位置８１をＡＢ混合像上の対応位置へと変換する幾何変換を施す。

単純には、瞳分割光学系の場合は基線長が短く像ズレ量もごく小さいため、エピポーラ線の湾曲を近似的に直線８４とみなしてもよい。この場合の座標変換処理は、Ａ像上の位置８１を、Ａ像上の位置８１とＢ像上の対応位置８２の中点座標８３に移動させる幾何変換となる。

厳密には、エピポーラ線は曲線となるので、ＡＢ混合像上の射影位置はこの曲線８６上での中間点として求める必要がある。エピポーラ線は非歪曲像では水平である（図６（Ｂ））が、歪曲像では図６（Ｄ）や図７（Ｃ）に示した歪曲像のように湾曲する。そこで、湾曲したエピポーラ線を多項式近似して表し、エピポーラ線上の中点８５を算出すればＡＢ混合像上の座標点をより厳密に算出することができる。

次に、歪曲補正処理について説明する。歪曲補正においては、演算処理部１０４は、距離情報マップの座標を、歪曲収差を除去した画像座標に変換する。距離情報マップの幾何変形は、各算出位置での値をなるべく変化させず、歪曲の影響を受けた算出位置のみを移動させる処理である。歪曲補正は放射歪や倍率色収差といった光学系の収差により生じる幾何学的な歪を補正する処理である。画像的には主に放射歪を補正する。歪曲の影響を受けた画像座標と歪曲のない画像座標の関係は例えば、（式８）で表される。

歪曲によるピクセルの移動量は連続的に変化するため、移動量がサブピクセル値となることがある。その際は補間を用いてサンプリング値を再作成しその位置のデフォーカス値または距離値を取得する。一例として、線形補間を利用する歪曲補正の方法を図９（Ａ）（Ｂ）に示す。図９（Ａ）は元画像９１、図９（Ｂ）は歪曲を補正した画像９２をそれぞれ示す。図中の一点鎖線９３は方形の被写体の像である。出力マップのデータに欠陥が生じないよう、バックワードマッピングによりマップの再作成を実現する。バックワードマッピングでは、入力マップ上の座標を基にサンプリングし、補間により出力マップのデータを生成する。補間手法に応じ、演算した入力マップ上のサンプリング座標の近傍の画素値を用いて補間処理をおこなう。補間処理には例えば４近傍を用い線形補間を行うバイリニア補間処理、１６近傍を用い３次補間をおこなうバイキュービック補間処理等の補間方法が想定される。また、歪曲収差の影響により像高に対し画素の移動量の変化は連続的であるが非線形に変化する。補間により生じる誤差をさらに効果的に低減するために、線形補間ではなくスプライン補間やLanczos-n補間、カイ自乗補間等を使っても良い。

図１０を用いて、典型的な例としてバイリニア補間の様子を説明する。出力マップ座標それぞれについて行われる後述の座標演算の結果、黒丸で示される入力マップ上のサンプリング座標を中心に周辺データ点がサンプリングされる。サンプリング座標は小数点以下の情報を持つサブピクセル座標で算出される。補間方法がバイリニア補間である場合には、サンプリング座標の４近傍画素を読みだすようにメモリからのマップ値の順次読み出し処理を実施する。図１０中の白丸は読みだされた近傍マップデータである。座標値に用いられている［・］は床関数であり、たとえば［ｘ］はｘの整数部分を表す。補間は、読みだされたこれら４近傍のデータ値を用いて、次式に示すように行われる。

ここで、Ｉ（ｘ，ｙ）が補間により生成したマップ値、ｆは入力マップ上のマップデータ値である。上記処理を各画素に対して順次行うことにより出力マップを再作成する。

ここまで述べたような処理の実施により、入力画像に対して直接歪曲補正を行うことなく、歪曲補正を適用して得られる歪曲のないＡ像およびＢ像から求められるデフォーカスマップまたは距離マップを作成することができる。本実施形態の処理により得られるデフォーカスマップまたは距離マップは、デフォーカスまたは距離の値も、当該値の算出位置も、歪曲のない画像から得られるマップと同等である。

本実施形態によれば、歪曲の影響のないピンホールカメラを想定したデフォーカスマップまたは距離値マップを出力できる。したがって、複数の３次元モデルデータのつなぎ合わせが必要となる巨大な被写体の３Ｄモデルを取得する３Ｄモデリングや接写によるモデリング、移動しながら空間の地図を取得する空間マッピングを高精度に実現できるようになる。

また、距離算出ステップＳ２０１後の中間出力を利用すると、歪曲ＲＧＢ像に対して処理を行う際に、余計な追加処理を必要とせず、使い勝手良く用いることができる。歪曲ＲＧＢ像に中間出力の距離マップを使う例として、距離マップの歪曲ＲＧＢ像への重畳表示や、距離マップを補助情報として利用する歪曲ＲＧＢ像上での被写体セグメンテーションや被写体追跡処理が挙げられる。

（実施形態２）
以下、図を用いて本実施形態における測距方法を説明する。図１１は、本実施形態に係る距離測定装置を備えた撮像装置２００を示す模式図である。撮像装置２００は撮像装置１００と同様に、結像光学系１０１と、距離測定装置１０２を備えて構成されている。距離測定装置１０２は、撮像素子１０３と演算処理部１０４とメモリ１０５を有している。本実施形態に係る距離測定装置１０２は、実施形態１における距離測定装置１０２から幾何変形部１４０を省略した構成となっており、演算処理部１０４で行う処理に変更が加えられている。以下では、実施形態１と同様の構成については説明を省略する。

図１２（Ａ）は、本実施形態に係る測距演算処理の処理フローの一例を示す図である。図１２（Ｂ）は、本実施形態に係る測距演算処理のデータフローを示す図である。本実施形態に係る測距演算処理は、像ズレ算出書霊ステップＳ３０１と、像ズレ量補正・距離算出ステップＳ３０２からなる。

像ズレ算出処理ステップＳ３０１においては、実施形態１の像ズレ算出処理ステップＳ２０１と同様に、歪曲の影響を含む入力像（Ａ像およびＢ像）から像ズレ量を算出する。

像ズレ量補正・距離算出ステップＳ３０２においては、像ズレ量の補正と距離算出の処理を同時に行う。本実施形態においては、換算係数Ｋも像高に応じて異なる値とする。撮影レンズがズームレンズの場合、ズームステートの変化により射出瞳位置とセンサ瞳位置が変化すると、射出瞳上の透過率分布形状も変化する。このため、瞳上での透過率分布の重心間隔である基線長Ｗの値およびこれに関連する換算係数Ｋも像高に応じて異なる値となる。また、換算係数Ｋは、被写体距離によっても異なる値となる。そこで、本実施形態ではこれらの変化にも対応する。

この場合、実施形態１における（式３）は次のように表し直される。

ここでＲ_ｎは、実施形態１と同様に、歪曲を含む画像上の位置（ｘ_ｄ，ｙ_ｄ）において算出された像ズレ量ｒ_ｄを、歪曲のない画像上での像ズレ量ｒ_ｎに補正する関数処理である。

ここで、（式８）の関係を用いて座標変換を行うことで、（式１０）は次のように表せる。

換算係数の補正処理（Ｋ’の算出）および像ズレ量の補正（Ｒ_ｎの算出）のいずれも、算出位置（ｘ_ｄ，ｙ_ｄ）および像ズレ量ｒ_ｄに依存する関数処理である。したがって、換算係数の補正と像ズレ量の補正をまとめて、次のように表現することができる。

Ｋ’’は歪曲画像上の座標（ｘ_ｄ，ｙ_ｄ）、および歪曲画像上で算出した像ズレ量ｒ_ｄにしたがって値が変化する係数マップである。係数Ｋ’’を記憶したテーブルを用いることで、実施形態１において像ズレ量補正ステップＳ２０２１と距離算出ステップＳ２０１の２つのステップに分けて行っていた処理を一括で行うことができる。すなわち、係数Ｋ’’は、歪曲収差に伴う像ズレ量の変動を補正するための像ズレ補正量と、像高に応じて変化する換算係数との積を、新たな補正量付き換算係数とみなせる。

またさらに、デフォーカス量がゼロになるべきベストピント位置であっても、センサ面の倒れや球面収差、軸上色収差などの影響を受けて像ズレ量がゼロとはならない。また、ベストピント位置は、色（Ｒ，Ｇ，Ｂ）によっても異なるし、像高によっても異なる。換算係数の補正する際には、この影響も考慮することが好ましい。この場合、次式のように係数Ｍを用いて換算係数を補正する。この係数Ｍも像高に応じて異なる値となる。

係数Ｍはベストポイント位置の補正を行うための２要素のベクトルパラメータとして画素位置に応じた２次元テーブルとしてメモリ１０５に記憶される。厳密には、像ズレ量（デフォーカス量）により変化する係数の影響まで考慮すると、画素位置（ｘ_ｄ，ｙ_ｄ）だけでなく像ズレ量ｒ_ｄにおうじた３次元テーブルに関連付けて補正係数をメモリ１０５に記憶することになる。

像ズレ量補正・距離算出処理ステップＳ３０２においては、（式１３）を用いて、歪曲の影響を含む像ズレ量ｒ_ｄを入力として歪曲の影響を補正したデフォーカス量を算出し、必要に応じてデフォーカス量を距離値に変換する。各画素位置に対して上記処理を行うことで、デフォーカスマップまたは距離マップを得ることができる。

＜テーブルの作成方法＞
換算係数は像光学系１０１の焦点距離や絞りなどの測距条件あるいは像高（撮像素子１０３上における測距する位置）に応じて変化する。また補正係数は、歪曲量や、像ズレ算出処理ステップＳ３０１で採用された探索手法（前処理含む）に応じて変化する。

換算係数算出処理における換算係数及び補正パラメータは、例えば以下のように決定する。ここでは、測定により換算係数と補正係数があらかじめ結合した係数マップを得る方法を説明する。焦点距離や絞りの所定の測距条件において、既知の距離にある様々な被写体を撮影する。各被写体から取得した信号より、各画像位置において像ズレ量と所定の算出式（例えば(式１４)）から換算係数およびオフセット係数を算出する。各被写体の実際の距離と、像ズレ量、換算係数、およびオフセット係数から求まる距離とが近くなるように、換算係数およびオフセット係数の調整を行う。あるいは、同様の手法を、結像光学系１０１や距離測定装置１０２の設計値を元にした数値シミュレーションや光学ＣＡＤ出力を用いたシミュレーションによって行ってもよい。換算係数およびオフセット係数の算出には、多次元変数に対するフィッティング処理を適用すればよい。

シミュレーション等により像高に応じた換算係数マップを非歪曲画像で算出した場合は、前記デフォーカスマップまたは距離マップへの歪曲補正の逆変換を換算係数マップに適用し、座標に歪曲画像座標を想定した換算係数マップを作製しても良い。この場合、所定の測距条件において、既知の距離にある被写体の撮影を行い、実際の処理と同様にしてデフォーカスマップまたは距離マップを算出し、その結果における正解距離とのズレを補正するように補正値のマップの係数を決定してもよい。あるいは実施形態１で示したＣＧシミュレーションにより、実際の測定の代わりに入力測定データと正解距離の教師データ（Ground Truth）を用意しても良い。

本実施形態に係る距離算出フローにおいて、焦点距離、絞り、フォーカス等のカメラパラメータに関係する測距条件に応じて異なる換算係数およびオフセット係数を用いてもよい。例えば、幾つかの測距条件における換算係数およびオフセット係数の数値データテーブルを予めメモリ１０５に保持しておき、測距時の条件に対応するテーブルから値を読み出して使用してもよい。あるいは、各係数を焦点距離や絞り、像高等といった測距条件を変数とする２次関数で近似し、当該２次関数の係数をメモリ１０５に格納しておき、測距時の条件での係数を読み出して、換算係数及び補正係数を算出してもよい。また、各測距条件において、補正換算係数の算出式より求まる補正換算係数値をメモリに保持しておき、補正パラメータの値に応じて、補正換算係数の値を適時読み出してもよい。

これらの手法により、測距時の条件に応じて、適切な算出式及び基準換算係数及び補正係数を用いることができ、より正確に換算係数を算出し、高精度な距離の算出が可能となる。

本実施形態において、算出した距離マップは、実施形態１と同様に、歪曲ＲＧＢ像への重畳表示に使われたり、歪曲入力ＲＧＢ像に直接適用される被写体セグメンテーションや被写体追跡処理の補助情報として用いたりすることができる。

また第１に実施形態と同様に、幾何変形部１４０を用いて、デフォーカスマップまたは距離マップの各画素位置をＡＢ混合像に合わせて座標変換したり、歪曲補正を行ってもよ
い。これらの処理により、ＲＧＢ像（ＡＢ混合像）とマップの対応が取れ、かつ、歪曲がなくなり３Ｄモデル算出唐の後処理で矛盾なくマップを利用できるようになる。また、同一視点で撮影したＲＧＢ画像を同時に歪曲補正しても良い。ＡＢ混合像に合わせる座標変換、および歪曲補正は、それぞれ個別に有効無効を切り替えられるようにしてもよい。

本実施形態は、以下の点で実施形態１と相違する。ただし、これらの変更は一括して採用する必要はなく、それぞれ個別に実施形態１に対して適用することも可能である。
・距離情報マップに対する歪曲補正（幾何変形処理）の省略
・像ズレ量の補正と距離算出を同時に実行
・位置および像ズレ量に応じた換算係数の補正
・距離情報算出におけるベストポイント位置の補正

（他の実施形態）
上記の実施形態における撮像素子においては、一つの測距画素が、第１の瞳領域を透過した光束を受光する第１の光電変換部と、第２の瞳領域を透過した光束を受光する第２の光電変換部とを備えるが、この構成は必須ではない。第１の瞳領域を透過した光束に基づく第１の像（Ａ像）と、第２の瞳領域を透過した光束に基づく第２の像（Ｂ像）を取得可能であれば、撮像素子の構成は適宜変更可能である。例えば、一部の画素は、第１の瞳領域を透過した光束を受光する第１の光電変換部を有し、他の一部の画素が、第２の瞳領域を透過した光束を受光する第２の光電変換部を有していてもよい。あるいは、一部の画素は、第１の瞳領域を透過した光束を受光する第１の光電変換部を有し、他の画素は、結像光学系の射出瞳の全体を透過した光束を受光する第３の光電変換部を有していても良い。この場合、第１の光電変換部はＡ像を取得し、第３の光電変換部がＡ＋Ｂ像を取得するので、差分を取ることでＢ像が得られる。

上記の実施形態では、ロジック回路を用いて各機能を実現しているが、汎用プロセッサとソフトウェアプログラムの組み合わせによって本発明を実施することもできる。すなわち、距離測定装置を、ＣＰＵやＭＰＵのような汎用プロセッサと、上記機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体から構成することができる。この場合、プロセッサが記憶媒体に格納されたプログラムコードを読み出して実行することによって、上記機能を実現する。記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラム、これを格納した記憶媒体は本発明を構成することになる。

また、読み出したプログラムコードをコンピュータが実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を実行する。その処理によって前述した実施形態の機能が実現される実施形態も本発明に含まれる。更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれてもよい。当該プログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される実施形態も本発明に含まれる。

本発明は、距離測定を専用に行う距離測定装置（一眼レフカメラ等で用いられる）として実現してもよいが、デジタルカメラなどの撮像装置への適用を考えると、撮像装置の撮像部の機能を用いて距離測定を行うことが好ましい。撮像装置の撮像部を用いて距離測定を行う手法は、撮像面測距と称される。本発明は、撮像面測距装置に好適に適用できる。

上述した様に、本発明の距離測定装置における演算部は、半導体素子を集積化した集積
回路を用いて構成することができ、ＩＣ、ＬＳＩ、システムＬＳＩ、マイクロ処理ユニット（ＭＰＵ）、中央演算装置（ＣＰＵ）等で構成することができる。演算部をマイクロ処理ユニットや中央演算装置（ＣＰＵ）等で構成する場合には、演算部は、コンピュータとして捉えることが可能である。本発明のプログラムは、所定の結像光学系と、所定の撮像部、コンピュータと、を備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離測定が可能なものとなすことができる。本発明のプログラムは、記録媒体の他、インターネットを通じて頒布することも可能である。

本発明により検出される距離を用いて、撮像装置にて得られる画像と対応する距離分布（距離マップ）を生成することができる。また、画像内の被写体のボケ量はデフォーカス量に依存するので、得られた画像に対して距離分布に基づく処理を行うことで、任意のボケ付加処理、撮影後のリフォーカス処理（任意の位置にピントを合わせる処理）等の画像処理などを適切に行うことができる。また、被写体のセグメンテーションや被写体追尾の補助情報として、有効に活用することが可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 距離測定装置
１０４ 演算処理部

Claims (12)

1. 結像光学系の第一の瞳領域を通過した光束に対応する第一の信号からなる第一の像と、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号からなる第二の像と、のあいだの像ズレ量を取得する第一の取得手段と、
   前記像ズレ量に基づいて距離情報を取得する第二の取得手段と、
   を備え、
   前記第一の取得手段は、歪曲を含んだ前記第一の像および前記第二の像に基づいて前記像ズレ量を取得し、
   前記第二の取得手段は、前記第一の取得手段が取得した前記像ズレ量に対して、画素位置に応じた歪曲量に基づく像ズレ量補正を行い、補正後の像ズレ量に基づいて前記距離情報を取得する、
   距離測定装置。
2. 前記第二の取得手段は、画素位置に応じて異なる値を保持する係数マップに基づいて、前記像ズレ量補正を行う、
   請求項１に記載の距離測定装置。
3. 前記係数マップは、前記第一の取得手段によって取得される像ズレ量に応じて異なる値を保持する、
   請求項２に記載の距離測定装置。
4. 前記係数マップは、前記第一の取得手段が像ズレ量の取得において利用する手法に応じて異なる値を保持する、
   請求項２または３に記載の距離測定装置。
5. 前記係数マップは、歪曲を含む前記第一および第二の像から得られる像ズレ量を、歪曲を補正した第一および第二の像から得られる像ズレ量に補正する像ズレ補正量を記憶し、
   前記第二の取得手段は、像ズレ量を距離情報に変換するための換算係数を記憶しており、
   前記第二の取得手段は、前記第一の取得手段が取得する前記像ズレ量と、前記換算係数と、前記係数マップに記憶される前記像ズレ補正量に基づいて、前記距離情報を計算し、歪曲を含む画像に対応する距離情報マップを出力する、
   請求項２から４のいずれか１項に記載の距離測定装置。
6. 前記係数マップは、歪曲を含む前記第一および第二の像から得られる像ズレ量を、歪曲を補正した第一および第二の像から得られる像ズレ量に補正する像ズレ補正量と、像ズレ量を距離情報に変換するための換算係数であって画素位置に応じて異なる値を有する換算係数との積を記憶しており、
   前記第二の取得手段は、前記第一の取得手段が取得する前記像ズレ量と、前記係数マップに記憶される前記像ズレ補正量と前記換算係数の積に基づいて、前記距離情報を計算し、歪曲を含む画像に対応する距離情報マップを出力する、
   請求項２から４のいずれか１項に記載の距離測定装置。
7. 前記第二の取得手段によって取得された距離情報のマップに対して、歪曲補正を施す幾何変形手段をさらに備える、
   請求項１から６のいずれか１項に記載の距離測定装置。
8. 前記第二の取得手段によって取得された距離情報のマップに対して、前記第一の取得手段が前記像ズレ量を取得する際に基準とされた第一の像または第二の像の画素位置を、前
   記第一の像および第二の像を混合して得られる混合像における対応位置に移動させる座標変換を施す幾何変形手段をさらに備える、
   請求項１から７のいずれか１項に記載の距離測定装置。
9. 前記幾何変形手段は、補間手法としてスプライン補間、Lanczos-n補間、またはカイ自
   乗補間を用いる、
   請求項７または８に記載の距離測定装置。
10. 結像光学系と、
    前記結像光学系の第一の瞳領域を通過した光束に対応する第一の信号および、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号とを取得する撮像素子と、
    請求項１から９のいずれか１項に記載の距離測定装置と、
    を備える撮像装置。
11. 距離測定装置における距離測定方法であって、
    結像光学系の第一の瞳領域を通過した光束に対応する第一の信号からなる第一の像と、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号からなる第二の像と、のあいだの像ズレ量を取得する像ズレ量取得ステップと、
    前記像ズレ量に基づいて距離情報を取得する距離情報取得ステップと、
    を含み、
    前記像ズレ量取得ステップでは、歪曲を含んだ前記第一の像および前記第二の像に基づいて前記像ズレ量を取得し、
    前記距離情報取得ステップでは、画素位置に応じた歪曲量に基づく像ズレ量補正を行い、補正後の像ズレ量に基づいて前記距離情報を取得する、
    距離測定方法。
12. 請求項１１に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images