JP2009133642A - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】像間の変位量計測において精度が足りず、結果として、例えば、被写体までの距離計測の精度が不十分となることがあった。
【解決手段】ある実施形態に係る画像処理装置は、重像画像に対して周波数変換処理を施す周波数変換部１０５と、該周波数変換部１０５により周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出する重像間変位取得部１０６とを備える。
【選択図】図１

Description

本発明は、撮影された被写体の像が多重になっている重像画像の重像間の変位を取得する画像処理装置、及びその画像処理装置を備える撮像装置、並びにコンピュータをそのような画像処理装置として機能させる画像処理プログラムに関する。

なお、本明細書中において、「重像画像」とは、被写体の像が多重になっている画像全般を表し、具体的には、撮像装置により被写体を多重に結像することで撮影された画像、または電気的、光学的な作用により被写体の像が多重となっているゴースト画像、フレア画像、または複数枚の画像の位置合わせを行い、その複数枚の画像の重ね合わせを行った際に、位置合わせ処理の失敗により被写体の像が多重になってしまった画像等を表す。また、「多重」とは、少なくとも一部が重なっている状態を意味する。

カメラなどの撮像装置で撮像を行う場合に、撮像装置内に被写体の像を多重に撮影する機構を具備し、被写体の像を多重像の形で撮影し、その重像画像に含まれる重像を形成する像間の変位量を計測することで、被写体までの距離を計測するなどの技術が提案されている。例えば、特許文献１では、透明板に映る２重像を用いて距離計測を行う手法を開示している。また、特許文献２では、複数開口を持つ絞りを利用することにより２重像を取得し、距離計測を行う手法を開示している。

上記２つの技術における、像間の変位量計測法では、ともに自己相関関数の計算を行い、その第２ピークを探索することにより、像間の変位量計測を行っている。

自己相関関数の計算式の例を以下に示す。

ここで、ｙ_１，ｙ_２はそれぞれτだけ位置がずれた重像画像、ｉは画像座標、Ωは計算範囲、

は、ｙ_１，ｙ_２の計算範囲内での平均値を表す。

図７に自己相関関数の例を示す。

このような自己相関数値を計算後、重像間の相関値を表す第２ピークを検出することで、重像間の変位量を計算している。

なお、ここでは１次元空間において自己相関関数の算出を行っている。例えば、重像画像の像間の変位の方向が既知である場合は、このように像間の変位の方向に沿った１次元探索により像間の変位量を探索することができる。例えば、上記特許文献１に記載されているような透明板に映る２重像を撮影するという構成であれば、光学的キャリブレーション手法により、像間の変位の方向を予め取得可能であるので、それを利用する。また、重像画像の像間変位の方向が未知である場合は、２次元空間における、自己相関関数値の探索を行い、第２ピークの検出を行えば良い。
特開２００６−３２９８９７号公報 特開平７−１３５５９７号公報

しかしながら、例えば上記特許文献１及び上記特許文献２のように、撮像装置において重像画像を撮影し、重像画像に含まれる重像を形成する像間の変位量を計測し、さらに、例えば、その結果に基づき被写体までの距離計測を行う場合、確かに、被写体までの距離計測を行うことは可能であるが、像間の変位量計測において精度が足りず、結果として、例えば、被写体までの距離計測の精度が不十分となることがあった。

本発明は、上記の点に鑑みてなされたもので、例えば上記特許文献１及び２のように撮像装置において重像画像を撮影し、重画像に含まれる重像を形成する像間の変位量を高精度に計測できる画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。

本発明の画像処理装置の一態様は、
被写体の像が多重になっている重像を含んだ重像画像を入力する画像入力部と、
上記入力された重像画像に対して周波数変換処理を施す周波数変換部と、
上記周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出する重像間変位算出部と、
を具備することを特徴とする。
この態様によれば、重像画像に対して周波数変換処理が施された周波数変換画像を用いて、重像を形成する像間の変位量を算出するので、高精度な変位量計測が行える。
また、本発明の撮像装置の一態様は、
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において被写体の像を多重に結像させる多重結像部と、
上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成する画像信号生成部と、
上記撮影光学系、多重結像部及び画像信号生成部によって生成された、少なくとも２つ以上の像が多重になった重像を含む重像画像に対して周波数変換処理を施す周波数変換部と、
上記周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出する重像間変位算出部と、
を具備することを特徴とする。
この態様によれば、重像画像に対して周波数変換処理が施された周波数変換画像を用いることで、その重像画像が本来有する特性、例えば、周波数のピーク値を顕著に検出できるようになる。この場合、例えば、その顕著に検出されたピーク値をもとに重像を形成する像間の変位量を算出することができ、その結果、変位量の計測結果の精度を高めることができる。
また、本発明の画像処理プログラムの一態様は、
被写体の像が多重になっている重像を含んだ重像画像を入力するステップと、
上記入力された重像画像に対して周波数変換処理を施すステップと、
上記周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出するステップと、
をコンピュータに発揮させることを特徴とする。
この態様によれば、コンピュータにより、重像画像に対して周波数変換処理が施された周波数変換画像を用いて、重像を形成する像間の変位量を算出するので、高精度な変位量計測が行える。

本発明によれば、重像を形成する像間の変位量を高精度に計測できる画像処理装置、撮像装置及び画像処理プログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。なお、同図において、実太線の矢印は映像信号の流れを、実細線の矢印は制御信号の流れを、破線の矢印はその他の信号の流れを、それぞれ示している。

本撮像装置は、多重結像部１０１を含む撮影光学系１００、撮像部１０２、記録部１０３、フィルタリング部１０４、周波数変換部１０５、重像間変位取得部１０６、合焦点制御部１０７、ＡＦモータ１０８、出力部１０９、制御部１１０、及び外部Ｉ／Ｆ部１１１から構成される。

撮影光学系１００は、被写体の光束を結像するものであり、多重結像部１０１は、上記撮影光学系１００内において被写体の像を光学的に多重に結像させるものである。この時の、多重結像部１０１の実際の構成は、例えば特許文献１に記載されているように透明板に映る２重像を撮影するという構成としても良い。撮像部１０２は、上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成するものであり、上記撮影光学系１００、多重結像部１０１及び撮像部１０２より、少なくとも２つ以上の像を多重に有する重像画像が生成される。記録部１０３は、この生成された重像画像を記録するものである。

フィルタリング部１０４は、上記記録部１０３に記録された重像画像にフィルタリング処理を行うものであり、周波数変換部１０５は、上記フィルタリング部１０４でフィルタリング処理された重像画像に周波数変換を行うものである。本明細書中において、このような周波数変換が行われた画像を「周波数変換画像」と称する。重像間変位取得部１０６は、上記周波数変換部１０５において周波数変換が行われた周波数変換画像を用いて、上記記録部１０３に記録された重像画像に含まれる重像を形成する像間の変位量を算出する。

合焦点制御部１０７は、上記重像間変位取得部１０６において算出された像間の変位量に基づいて、撮像位置から被写体までの被写体距離を特定し、上記撮影光学系１００が被写体に合焦するように、ＡＦモータ１０８を制御するものである。

出力部１０９は、上記記録部１０３に記録された画像や上記重像間変位取得部１０６において算出された像間の変位量を出力するものである。

制御部１１０は、外部Ｉ／Ｆ部１１１からの指示に応じて、上記記録部１０３、フィルタリング部１０４、周波数変換部１０５、重像間変位取得部１０６、合焦点制御部１０７を制御するものである。外部Ｉ／Ｆ部１１１は、レリーズスイッチや各種ボタン、スイッチ等の入力部材や、ＬＥＤ等の表示部材などのユーザインタフェースである。

以下、このような構成における各部の動作を詳細に説明する。

撮影光学系１００に含まれる多重結像部１０１により、被写体の像は光学的に多重に結像される。この多重結像部１０１により多重に結像された被写体の像は、撮像部１０２により撮像され、電気信号へと変換され、重像画像の画像信号が生成される。

この撮像部１０２において撮像された重像画像は、記録部１０３へと記録される。

以下、上記記録部１０３において記録された重像画像に含まれる重像を形成する像間の変位量の計測処理が行われる。

ここで、本発明の理解を助けるために、まず、はじめに、像間変位量計測の原理的説明を行う。ここでは、重像画像に含まれる重像の数を２つに限定し説明を行う。即ち、重像画像は図２に示すような２重像画像となる。ただし、重像画像が３つ以上の重像を含む場合も、以下の原理的説明の拡張により、容易に重像間変位計測可能である。

上記撮影光学系１００（多重結像部１０１）及び撮像部１０２において撮影された重像画像の画像生成モデルは、以下の（１）式のようになる。

ここで、ｙは重像画像、ｚは重像になる前の画像（復元したい画像）、ｈは重像画像を生成するシステム関数である。また、＊は畳み込み演算子を表す。上記（１）式により２重像を生成している。

上記（１）式の２重像を生成するシステム関数は、以下の（２）式のような形状をとる。

ここで、ｓは画像の透過率であり、０＜ｓ≦０．５とする。また、ｘ_０は重像間の変位の半分の値であり、２ｘ_０が重像間の変位量となる。また、δはデルタ関数であり、以下の（３）式で定義される。

このシステム関数のフーリエ変換は、以下の（４）式となる。

さらに、このフーリエ変換の絶対値をとると、以下の（５）式となる。

ここで、上記（１）式のフーリエ変換は以下の（６）式であり、その絶対値は以下の（７）式となる。

例えば、図３（Ａ）に示すような重像画像のフーリエ変換の絶対値を示したものが、図３（Ｂ）である。上記（７）式より、重像画像のフーリエ変換の絶対値｜Ｙ（ｕ）｜は、重像画像になる前の画像のフーリエ変換の絶対値｜Ｚ（ｕ）｜と重像画像を生成するシステム関数のフーリエ変換の絶対値｜Ｈ（ｕ）｜との積となる。

つまり、重像画像のフーリエ変換の絶対値｜Ｙ（ｕ）｜を計測することで、システム関数のフーリエ変換の絶対値｜Ｈ（ｕ）｜の特性を把握することが可能となり、結果として、システム関数のフーリエ変換の絶対値｜Ｈ（ｕ）｜内に含まれるパラメータｘ０を特定することにより、重像を形成する像間の変位量を計測することが可能となる。

上記重像画像のフーリエ変換の絶対値｜Ｙ（ｕ）｜の計測により、像間の変位量を検出する方法は、大きく分けて２つある。

１つは、上記重像画像のフーリエ変換の絶対値｜Ｙ（ｕ）｜について更に周波数変換を行い、システム関数のフーリエ変換の絶対値｜Ｈ（ｕ）｜に含まれる正弦波の特性を調べるというものである。該システム関数のフーリエ変換の絶対値｜Ｈ（ｕ）｜は、正弦波により特徴付けられる為、例えば重像画像のフーリエ変換の絶対値｜Ｙ（ｕ）｜に対し更にフーリエ変換を行えば、システム関数のフーリエ変換の絶対値｜Ｈ（ｕ）｜に含まれる正弦波の周波数が、ピーク値となって検出される。これを示したものが図３（Ｃ）であり、図３（Ｄ）はそのピーク部分の拡大図である。このピーク値を探索することにより、システム関数のフーリエ変換の絶対値｜Ｈ（ｕ）｜に含まれる正弦波の周波数が検出され、その結果、重像画像に含まれる重像を形成する像間の変位量の検出が可能となる。

もう１つは、上記重像画像のフーリエ変換の絶対値｜Ｙ（ｕ）｜に含まれる正弦波の周期構造を何らかの形で調べるという手法である。例えば、正弦波の周期構造を調べるために、極小値間の距離を計測する等の処理を行えば良い。例えば図３（Ｂ）に示すように重像画像のフーリエ変換の絶対値特有の縞模様が出た場合、この縞模様の極小値間の距離が、システム関数のフーリエ変換の絶対値｜Ｈ（ｕ）｜の周期構造の周期を表しているので、これを検出することにより、重像を形成する像間の変位量の検出が可能となる。

以下、図１に示す構成に沿って、重像を形成する像間の変位量の計測処理の説明を行う。

記録部１０３に記録・保持された重像画像は、フィルタリング部１０４に伝送され、フィルタリング処理が施される。このフィルタリング部１０４でのフィルタリング処理は、重像間の変位計測時のノイズの影響を低減させるためのローパスフィルタ処理、像間の変位量計測時の計測精度を向上させるためのハイパスフィルタ処理、またはその両方を組み合わせたバンドパスフィルタ処理を用いてもかまわない。ローパスフィル処理には、平滑化フィルタ、ガウシアンフィルタ等の処理を用い、ハイパスフィルタには、微分フィルタ、２次微分フィルタ、ラプラシアンフィルタ等を用いる。具体的には、一旦ローパスフィルタ処理の一つであるガウシアンフィルタリングを行った後、ハイパスフィルタ処理の一つであるラプラシアンフィルタリングを行う等の処理を行う。

なお、このフィルタリング部１０４でのフィルタリング処理は省略可能であり、フィルタリング処理を行わず重像画像をそのまま周波数変換部１０５へ伝送しても良いものとする。

フィルタリング部１０４においてフィルタリング処理が行われた重像画像は、周波数変換部１０５へと伝送される。この周波数変換部１０５において、重像画像は周波数変換が行われる。ここでは、例えば画像の２次元高速フーリエ変換（ＦＦＴ）処理が行われる。その他の方法としては、例えば、重像画像に含まれる重像を形成する像間の変位の方向が既知である場合は、その像間の変位の方向に沿った、１次元周波数変換処理であってもかまわない。具体的には、重像画像の像間変位の方向に沿って、１次元フーリエ変換を行っても良いものとする。例えば、上記特許文献１に記載されているような透明板に映る２重像を撮影するという構成で撮影された重像画像であれば、光学的キャリブレーション手法により、像間の変位の方向を予め取得可能であるので、それを例えば、重像画像のヘッダ情報に記載しておき、そのヘッダ情報を利用し、１次元的にフーリエ変換を行うという構成をとっても良い。また、重像画像の像間の変位の方向が未知である場合は、２次元空間におけるフーリエ変換（即ち２次元フーリエ変換）を行えば良い。

図３（Ａ）は、重像画像の例を示す図であり、図３（Ｂ）は、この重像画像の２次元フーリエ変換例を示す図である。なお、図３（Ｂ）は、２次元フーリエ変換値を絶対値表記で表現している。また、図３（Ａ）に示す重像は、水平方向に１０［pixel］、垂直方向に２０［pixel］ずれて、重像画像となっている。このとき、重像画像のフーリエ変換では、ベクトル［１０，２０］の方向に縞模様が現れることになる。１次元探索処理では、この方向に沿って１次元フーリエ変換を行い、フーリエ変換を行った軸と直交する軸における全てのフーリエ変換結果を加算し、結果を平均化して、最終的なフーリエ変換結果を得る。

ここで、図３（Ｂ）に見られるように、重像画像の周波数変換を行った場合の特有な現象として、被写体自体から派生する周波数成分は、概ね低周波成分領域（図３（Ｂ）中央）に集まる傾向がある。このような画像の特性に対し、重像画像を生成するシステム関数から派生する周波数成分は、周波数領域の全領域に存在することがわかる（図３（Ｂ）の画像全体に広がる縞模様）。この特性の違いに着目し、重像画像を生成するシステム関数から派生する周波数成分を優先的に評価するために、図３（Ｂ）の高周波成分をより強調して評価を行っても良い。例えば、図３（Ｂ）の低周波領域についてその値を低減し、高周波成分についてその値を増幅する、いわゆるハイパスフィルタリング処理を、周波数領域において行ってもかまわないものとする。また、この処理は、図３（Ｂ）を参考に２次元周波数領域で説明を行っているが、もちろん１次元周波数領域でも同様に、高周波成分を優先的に用いても良い。

以下、フーリエ変換を２次元に限定して説明を進める。１次元におけるフーリエ変換の場合でも、次元を縮小することで容易に実現可能である。

周波数変換部１０５において周波数変換が行われた重像画像は、重像間変位取得部１０６へと伝送され、この周波数変換が行われた周波数変換画像から、重像を形成する像間の変位量の算出が行なわれる。

重像間変位取得部１０６の構成としては、図４（Ａ）及び（Ｂ）に示すように、２通り考えられ、どちらを用いてもかまわないものとする。

即ち、重像間変位取得部１０６は、図４（Ａ）に示すように、パワースペクトル変換部１０６Ａ、周波数変換部１０６Ｂ及びピーク探索部１０６Ｃによって構成することができる。この場合、上記周波数変換部１０５より伝送された周波数変換画像は、パワースペクトル変換部１０６Ａに伝送され、パワースペクトル値の演算が行われる。このパワースペクトル値は、ルート演算を行うことで、絶対値へと変換しても良い。ここでは、パワースペクトル値を絶対値へと変換するものとする。パワースペクトル変換部１０６Ａにおいて絶対値演算が行われた処理結果は、周波数変換部１０６Ｂにおいて、再度、周波数変換が行われる。図３（Ｃ）は、周波数変換画像の絶対値を更に２次元フーリエ変換した処理結果を示す図である。この処理を行うことで、周波数変換後の画像には、第２ピークとして、重像画像特有の縞模様の周期構造のパラメータが現れていることがわかる。

周波数変換部１０６Ｂで再度の周波数変換が行われた周波数変換画像は、ピーク探索部１０６Ｃにおいてピーク探索が行われる。ここでは、ゼロ周波数の部分に現れる第１ピークの次のピークとなる第２ピークの探索を行う。この第２ピークの探索位置と、上記（５）式の重像画像生成のシステム関数との対応により、重像を形成する像間の変位量２ｘ_０を求める。すなわち、重像間変位算出部１０６は、第１のピーク値の発生位置と第２のピーク値の発生位置との間の距離を、像間の変位量に変換する機能を有する。具体的には、ピーク値の発生位置どうしの距離は、周波数領域空間で表現されるため、例えば、単位だけをピクセル数に変えて（値はそのままで）、像間の変位量とする。

また、重像間変位取得部１０６は、図４（Ｂ）に示すように、パワースペクトル変換部１０６Ａと周期計測部１０６Ｄとで構成することができる。この場合、上記周波数変換部１０５より伝送された周波数変換画像は、パワースペクトル変換部１０６Ａに伝送され、パワースペクトル値の演算が行われる。このパワースペクトル値は、ルート演算を行うことで、絶対値へと変換しても良い。ここでは、パワースペクトル値を絶対値へと変換するものとする。パワースペクトル変換部１０６Ａにおいて絶対値演算が行われた処理結果は、周期計測部１０６Ｄにおいて周期計測が行われる。ここでは、例えば図３（Ｂ）のように重像画像の周波数変換画像特有の縞模様が出てきた場合、この縞模様の極小値間の距離を計測することにより、縞模様の周期を計測する。この縞模様の周期値と、上記（５）式の重像画像生成のシステム関数との対応により、重像を形成する像間の変位量２ｘ_０を求める。すなわち、重像間変位算出部１０６は、周波数変換画像のパワースペクトルにより特定される波形、例えば、正弦波の１周期の長さを、像間の変位量に変換する機能を有する。具体的には、（５）式により求められる正弦波の周波数ｆの逆数である周期Ｔを像間の変位量とする。ここで、この周期Ｔが秒空間で表現されていれば、例えば、単位だけをピクセル数に変えて（値はそのままで）、像間の変位量とする。

このようにして重像間変位取得部１０６において算出された重像を形成する像間の変位量は、合焦点制御部１０７及び出力部１０９へと伝送される。

合焦点制御部１０７へ送られた像間の変位量は、該合焦点制御部１０７に保持されている像間の変位量と被写体距離との対応関係により、被写体距離量へと変換される。対応関係は、例えば、画像間変形量と被写体距離との間の関係をキャリブレーションにより求めておき、その関係を合焦点制御部１０７のルックアップテーブル上に記載しておく。求められた被写体距離量から、合焦点制御部１０７は、撮影光学系１００が被写体に合焦するように、ＡＦモータ１０８を制御する。

また、出力部１０９へ送られた重像を形成する像間の変位量は、該出力部１０９を介し外部へ出力されても良い。

なお、以上の説明は、重像間の変位を一つの変位として行ってきたが、実際は重像画像を部分毎の部分画像に分け、部分画像上で上記手法を行ってもかまわないものとする。重像画像を複数の部分画像に分け像間の変位量計測を行うと、像間が複雑な動きを持つ場合でも、良好に像間の変位量計測を行うことが可能となる。

このような重像画像を部分画像に分けた形で像間の変位量の計測処理を行う方法を説明する。この場合、上記重像間変位取得部１０６として、図４（Ａ）の構成を用いるか図４（Ｂ）の構成を用いるかにより、２種類の方法が考えられる。

図５（Ａ）は、図４（Ａ）の構成の重像間変位取得部１０６を用いる場合の像間の変位量の計測処理方法を説明するフローチャートを示す図である。

即ち、まず、フィルタリング部１０４は、記録部１０３に記録された重像画像を読み込む（ステップＳ１）。この時、重像画像のヘッダ情報に像間の変位方向情報等の記載があれば、以下のステップＳ３及びステップＳ４で利用するために、ヘッダ情報を読み込んでおく。

次に、フィルタリング部１０４は、上記ステップＳ１で読み込んだ重像画像の部分画像領域を指定する（ステップＳ２）。ここで、部分画像領域は、重像画像よりも小さい領域の任意の大きさをとって良い。ここでは、例えば１００×１００［pixel］の領域とする。

そして、フィルタリング部１０４は、上記ステップＳ２で指定された重像画像の部分領域に対してフィルタリング処理を施す（ステップＳ３）。このフィルタリング処理には、画像上のノイズの除去を目的としたローパスフィルタ処理、重像を形成する像間の変位の推定の高精度化を目的としたハイパスフィルタ処理、またその両方を併用して用いても良い。なお、このステップＳ３のフィルタリング処理は省略することが可能である。また、このフィルタリング処理は、２次元フィルタリングを行っても良いが、その他の方法として、重像画像のヘッダ情報に、像間の変位方向情報が含まれている場合、その方向に沿った１次元フィルタリング処理を行っても良いものとする。

次に、周波数変換部１０５は、上記フィルタリング処理された重像画像の部分領域の周波数変換を行う（ステップＳ４）。この周波数変換処理には、フーリエ変換処理を行っても良い。周波数変換処理は２次元周波数変換処理を行っても良いが、その他の方法として、重像画像のヘッダ情報に像間の変位方向情報が含まれている場合には、その方向に沿った１次元周波数変換を行っても良いものとする。１次元周波数変換処理を行った場合は、周波数変換を行った方向に直交する方向に対し、計算結果を加算することにより、一つの１次元周波数変換処理結果を得る。１次元周波数変換処理を行った後は、後述するステップＳ６においても１次元周波数変換処理を行う。

次に、重像間変位取得部１０６のパワースペクトル変換部１０６Ａは、上記ステップＳ４において周波数変換処理が行われた周波数変換画像に対してパワースペクトル変換を行う（ステップＳ５）。ここでのパワースペクトル変換処理は、更にルート演算を行い、絶対値への変換も同時に行って良いものとする。ここでは、絶対値への変換を行う。

その後、重像間変位取得部１０６の周波数変換部１０６Ｂは、上記ステップＳ５においてパワースペクトル（絶対値）変換が行われた演算結果に対し、更に周波数変換処理を行う（ステップＳ６）。ここでの周波数変換処理は、上記ステップＳ４における周波数変換処理が２次元周波数変換であった場合は、２次元周波数変換または１次元周波数変換を行う。図３（Ｃ）は、該ステップＳ６で２次元周波数変換を行った例を示す図である。該ステップＳ６において１次元周波数変換を行う場合は、上記ステップＳ４で２次元周波数変換を行った結果に対して、像間の変位方向に直交する方向で、演算結果を平均化して１次元化し、その１次元の周波数変換結果に対し、１次元周波数変換処理を行う。また、上記ステップＳ４における周波数変換処理が１次元周波数変換であった場合は、該ステップＳ６でも１次元周波数変換処理を行う。

そして、重像間変位取得部１０６のピーク探索部１０６Ｃは、上記ステップＳ６で周波数変換が行われた結果に対し、パワースペクトル変換を行った後、そのピークの探索を行う（ステップＳ７）。上記ステップＳ６で２次元周波数変換を行った場合は２次元探索、１次元周波数変換を行った場合は１次元探索処理をとる。ここでは、ゼロ周波数を除く部分においてピーク探索を行い、そのピーク値から、重像画像に含まれる特有の周波数ピーク値を特定し、その周波数より像間の変位量を特定する（上述した原理の説明、上記（５）式を参照）。

その後、フィルタリング部１０４は、重像画像の全領域において像間の変位量を特定したかの判定を行う（ステップＳ８）。ここで、全領域での変位の特定が終了していない場合には、部分画像の領域を変更して（ステップＳ９）、上記ステップＳ２へ戻る。

而して、全領域の変位の特定が終了したならば、重像間変位取得部１０６は、上記ステップＳ１乃至ステップＳ９で特定された部分画像毎の像間の変位量情報を全て合焦点制御部１０７や出力部１０９に出力して（ステップＳ１０）、処理を終了する。

図５（Ｂ）は、図４（Ｂ）の構成の重像間変位取得部１０６を用いる場合の像間の変位量の計測処理方法を説明するフローチャートを示す図である。

即ち、まず、フィルタリング部１０４は、記録部１０３に記録された重像画像を読み込む（ステップＳ１）。この時、重像画像のヘッダ情報に像間の変位方向情報等の記載があれば、以下のステップＳ３及びステップＳ４で利用するために、ヘッダ情報を読み込んでおく。

次に、フィルタリング部１０４は、上記ステップＳ１で読み込んだ重像画像の部分画像領域を指定する（ステップＳ２）。ここで、部分画像領域は、重像画像よりも小さい領域の任意の大きさをとって良い。ここでは、例えば１００×１００［pixel］の領域とする。

そして、フィルタリング部１０４は、上記ステップＳ２で指定された重像画像の部分領域に対してフィルタリング処理を施す（ステップＳ３）。このフィルタリング処理には、画像上のノイズの除去を目的としたローパスフィルタ処理、像間の変位の推定の高精度化を目的としたハイパスフィルタ処理、またその両方を併用して用いても良い。なお、このステップＳ３のフィルタリング処理は省略することが可能である。また、このフィルタリング処理は、２次元フィルタリングを行っても良いが、その他の方法として、重像画像のヘッダ情報に、像間の変位方向情報が含まれている場合、その方向に沿った１次元フィルタリング処理を行っても良いものとする。

次に、周波数変換部１０５は、上記フィルタリング処理された重像画像の部分領域の周波数変換を行う（ステップＳ４）。この周波数変換処理には、フーリエ変換処理を行っても良い。周波数変換処理は２次元周波数変換処理を行っても良いが、その他の方法として、重像画像のヘッダ情報に像間の変位方向情報が含まれている場合には、その方向に沿った１次元周波数変換を行っても良いものとする。１次元周波数変換処理を行った場合は、周波数変換を行った方向に直交する方向に対し、計算結果を加算することにより、一つの１次元周波数変換処理結果を得る。１次元周波数変換処理を行った後は、後述するステップＳ６においても１次元周波数変換処理を行う。

次に、重像間変位取得部１０６のパワースペクトル変換部１０６Ａは、上記ステップＳ４において周波数変換処理が行われた周波数変換画像に対してパワースペクトル変換を行う（ステップＳ５）。ここでのパワースペクトル変換処理は、更にルート演算を行い、絶対値への変換も同時に行って良いものとする。ここでは、絶対値への変換を行う。

その後、重像間変位取得部１０６の周期計測部１０６Ｄは、上記ステップＳ５においてパワースペクトル（絶対値）変換が行われた演算結果に対し、画像の微分処理を行う（ステップＳ１１）。この微分処理としては、２次元フィルタリングによる微分処理を行っても良いが、その他の方法として、重像画像のヘッダ情報に、像間の変位方向情報が含まれている場合には、その方向に沿った１次元フィルタリングによる微分処理を行っても良いものとする。１次元フィルタリングによる微分処理を行った場合は、微分処理を行った方向に直交する方向に対し、計算結果を加算することにより、一つの微分処理結果を得る。

そして、周期計測部１０６Ｄは、更に、上記ステップＳ６で微分処理を行った結果に対し、その微分処理が行われた処理結果のゼロ点間距離の計測を行う（ステップＳ１２）。実際にはノイズなどの影響でゼロ点とならない場合があり得るが、このような場合には極小値間の距離の探索としても良い。このゼロ点間距離が重像画像に特有に含まれる縞模様の周期となる。その周期から、重像画像に含まれる特有の周波数を特定し、その周波数により像間の変位量を特定する（上述した原理の説明、上記（５）式を参照）。

その後、フィルタリング部１０４は、重像画像の全領域において像間の変位量を特定したかの判定を行う（ステップＳ８）。ここで、全領域での変位量の特定が終了していない場合には、部分画像の領域を変更して（ステップＳ９）、上記ステップＳ２へ戻る。

而して、全領域の変位量の特定が終了したならば、重像間変位取得部１０６は、上記ステップＳ１乃至ステップＳ９で特定された部分画像毎の像間の変位量情報を全て合焦点制御部１０７や出力部１０９に出力して（ステップＳ１０）、処理を終了する。

以上のように、本第１実施形態によれば、例えば上記特許文献１及び上記特許文献２のように撮像装置において重像画像を撮影し、重像を形成する像間の変位量を計測して、その結果を用いて被写体までの距離計測を行う場合でも、周波数変換処理を用いた像間の変位計測を行うことで、高精度に像間の変位量計測を行うことができる。これは、周波数変換を用いることで、その重像画像が本来有する特性、例えば、周波数のピーク値を顕著に検出できるようになるためである。従って、結果として、被写体までの距離計測を高精度に行えるようになる。

［第２実施形態］
図６は、本発明の第２実施形態に係る画像処理装置の構成を示す図である。なお、同図において、実太線の矢印は映像信号の流れを、実細線の矢印は制御信号の流れを、破線の矢印はその他の信号の流れを、それぞれ示している。

本画像処理装置は、入力部２００、記録部２０１、フィルタリング部２０２、周波数変換部２０３、重像間変位取得部２０４、出力部２０５、制御部２０６、及び外部Ｉ／Ｆ部２０７から構成される。

入力部２００は、画像の入力処理を行うものである。記録部２０１は上記第１実施形態における記録部１０３に、フィルタリング部２０２は上記第１実施形態におけるフィルタリング部１０４に、周波数変換部２０３は上記第１実施形態における周波数変換部１０５に、重像間変位取得部２０４は上記第１実施形態における重像間変位取得部１０６に、出力部２０５は上記第１実施形態における出力部１０９に、制御部２０６は上記第１実施形態における制御部１１０に、外部Ｉ／Ｆ部２０７は上記第１実施形態における外部Ｉ／Ｆ部１１１に、それぞれ対応するものである。

以下、このような構成における各部の動作を詳細に説明する。

入力部２００において入力された重像画像は、記録部２０１へと記録される。この入力部２００において入力される画像は、任意の画像の入力が可能であるとし、重像画像に限定されない。重像画像でない場合でも、記録部２０１に記録が行われた後、出力部２０５において出力処理を行うことができる。重像画像である場合は、フィルタリング部２０２、周波数変換部２０３、重像間変位取得部２０４を介して重像画像に含まれる重像を形成する像間の変位量の計測が行われる。

ここで、重像画像とは、被写体の像が多重になっている画像全般を表し、具体的には、撮像装置により被写体を多重に結像することで撮影された画像、または電気的、光学的な作用により被写体の像が多重となっているゴースト画像、フレア画像、または複数枚の画像の位置合わせを行い、その複数枚の画像の重ね合わせを行った際に、位置合わせ処理の失敗により被写体の像が多重になってしまった画像等を表す。

重像画像の像間の変位利用計測の原理的仕組みは、第１実施形態において前述した通りである。

以下、図６に示す構成に沿って、像間の変位量計測処理の説明を行う。

記録部２０１に記録・保持された重像画像は、フィルタリング部２０２に伝送され、フィルタリング処理が施される。このフィルタリング部２０２でのフィルタリング処理は、像間の変位量計測時のノイズの影響を低減させるためのローパスフィルタ処理、像間の変位量計測時の計測精度を向上させるためのハイパスフィルタ処理、またはその両方を組み合わせたバンドパスフィルタ処理を用いてもかまわない。ローパスフィル処理には、平滑化フィルタ、ガウシアンフィルタ等の処理を用い、ハイパスフィルタには、微分フィルタ、２次微分フィルタ、ラプラシアンフィルタ等を用いる。具体的には、一旦ローパスフィルタ処理の一つであるガウシアンフィルタリングを行った後、ハイパスフィルタ処理の一つであるラプラシアンフィルタリングを行う等の処理を行う。

なお、このフィルタリング部２０２でのフィルタリング処理は省略可能であり、フィルタリング処理を行わず重像画像をそのまま周波数変換部２０３へ伝送しても良いものとする。

フィルタリング部２０２においてフィルタリング処理が行われた重像画像は、周波数変換部２０３へと伝送される。この周波数変換部２０３において、重像画像は周波数変換が行われる。ここでは、例えば画像の２次元ＦＦＴ処理が行われる。その他の方法としては、例えば、重像画像に含まれる重像を形成する像間の変位の方向が既知である場合は、その像間の変位の方向に沿った、１次元周波数変換処理であってもかまわない。具体的には、重像画像の像間変位の方向に沿って、１次元フーリエ変換を行っても良いものとする。例えば、上記特許文献１に記載されているような透明板に映る２重像を撮影するという構成で撮影された重像画像であれば、光学的キャリブレーション手法により、像間の変位の方向を予め取得可能であるので、それを例えば、重像画像のヘッダ情報に記載しておき、そのヘッダ情報を利用し、１次元的にフーリエ変換を行うという構成をとっても良い。また、重像画像の像間の変位の方向が未知である場合は、２次元空間におけるフーリエ変換（即ち２次元フーリエ変換）を行えば良い。

図３（Ａ）は、重像画像の例を示す図であり、図３（Ｂ）は、この重像画像の２次元フーリエ変換例を示す図である。なお、図３（Ｂ）は、２次元フーリエ変換値を絶対値表記で表現している。また、図３（Ａ）に示す重像は、水平方向に１０［pixel］、垂直方向に２０［pixel］ずれて、重像画像となっている。このとき、重像画像のフーリエ変換では、ベクトル［１０，２０］の方向に縞模様が現れることになる。１次元探索処理では、この方向に沿って１次元フーリエ変換を行い、フーリエ変換を行った軸と直行する軸における全てのフーリエ変換結果を加算し、結果を平均化して、最終的なフーリエ変換結果を得る。

ここで、図３（Ｂ）に見られるように、重像画像の周波数変換を行った場合の特有な現象として、被写体自体から派生する周波数成分は、概ね低周波成分領域（図３（Ｂ）中央）に集まる傾向がある。このような画像の特性に対し、重像画像を生成するシステム関数から派生する周波数成分は、周波数領域の全領域に存在することがわかる（図３（Ｂ）の画像全体に広がる縞模様）。この特性の違いに着目し、重像画像を生成するシステム関数から派生する周波数成分を優先的に評価するために、図３（Ｂ）の高周波成分をより強調して評価を行っても良い。例えば、図３（Ｂ）の低周波領域についてその値を低減し、高周波成分についてその値を増幅する、いわゆるハイパスフィルタリング処理を、周波数領域において行ってもかまわないものとする。また、この処理は、図３（Ｂ）を参考に２次元周波数領域で説明を行っているが、もちろん１次元周波数領域でも同様に、高周波成分を優先的に用いても良い。

以下、フーリエ変換を２次元に限定して説明を進める。１次元におけるフーリエ変換の場合でも、次元を縮小することで容易に実現可能である。

周波数変換部２０３において周波数変換が行われた重像画像は、重像間変位取得部２０４へと伝送され、この周波数変換が行われた周波数変換画像から、像間の変位量の取得が行なわれる。

重像間変位取得部２０４の構成としては、図４（Ａ）及び（Ｂ）に示すような２通りが考えられ、どちらを用いてもかまわないものとする。これら重像間変位取得部２０４の構成の詳細は、上記第１実施形態における重像間変位取得部１０６のそれと同様であるので、その説明は省略する。

重像間変位取得部２０４において取得された像間の変位量は、出力部２０５へと伝送される。この出力部２０５へ送られた像間の変位量は、該出力部２０５を介し外部へ出力されても良い。

なお、以上の説明は、重像を形成する像間の変位を一つの変位として行ってきたが、実際は重像画像を部分毎の部分画像に分け、部分画像上で上記手法を行ってもかまわないものとする。重像画像を複数の部分画像に分け像間の変位量計測を行うと、像間が複雑な動きを持つ場合でも、良好に像間の変位量計測を行うことが可能となる。

このような重像画像を部分画像に分けた形で像間の変位量の計測処理を行う方法を説明する。

まず、上記重像間変位取得部２０４として、図４（Ａ）の構成を用いた場合を、図５（Ａ）のフローチャートを参照して説明する。

即ち、まず、フィルタリング部２０２は、入力部２００から入力されて記録部２０１に記録・保持された重像画像を読み込む（ステップＳ１）。この時、重像画像のヘッダ情報に像間の変位方向情報等の記載があれば、以下のステップＳ３及びステップＳ４で利用するために、ヘッダ情報を読み込んでおく。

次に、フィルタリング部２０２は、上記ステップＳ１で読み込んだ重像画像の部分画像領域を指定する（ステップＳ２）。ここで、部分画像領域は、重像画像よりも小さい領域の任意の大きさをとって良い。ここでは、例えば１００×１００［pixel］の領域とする。

そして、フィルタリング部２０２は、上記ステップＳ２で指定された重像画像の部分領域に対してフィルタリング処理を施す（ステップＳ３）。このフィルタリング処理には、画像上のノイズの除去を目的としたローパスフィルタ処理、像間の変位量の推定の高精度化を目的としたハイパスフィルタ処理、またその両方を併用して用いても良い。なお、このステップＳ３のフィルタリング処理は省略することが可能である。また、このフィルタリング処理は、２次元フィルタリングを行っても良いが、その他の方法として、重像画像のヘッダ情報に、像間の変位方向情報が含まれている場合、その方向に沿った１次元フィルタリング処理を行っても良いものとする。

次に、周波数変換部２０３は、上記フィルタリング処理された重像画像の部分領域の周波数変換を行う（ステップＳ４）。この周波数変換処理には、フーリエ変換処理を行っても良い。周波数変換処理は２次元周波数変換処理を行っても良いが、その他の方法として、重像画像のヘッダ情報に像間の変位方向情報が含まれている場合には、その方向に沿った１次元周波数変換を行っても良いものとする。１次元周波数変換処理を行った場合は、周波数変換を行った方向に直交する方向に対し、計算結果を加算することにより、一つの１次元周波数変換処理結果を得る。１次元周波数変換処理を行った後は、後述するステップＳ６においても１次元周波数変換処理を行う。

次に、重像間変位取得部２０４は、上記ステップＳ４において周波数変換処理が行われた周波数変換画像に対してパワースペクトル変換を行う（ステップＳ５）。ここでのパワースペクトル変換処理は、更にルート演算を行い、絶対値への変換も同時に行って良いものとする。ここでは、絶対値への変換を行う。

その後、重像間変位取得部２０４は、上記ステップＳ５においてパワースペクトル（絶対値）変換が行われた演算結果に対し、更に周波数変換処理を行う（ステップＳ６）。ここでの周波数変換処理は、上記ステップＳ４における周波数変換処理が２次元周波数変換であった場合は、２次元周波数変換または１次元周波数変換を行う。図３（Ｃ）は、該ステップＳ６で２次元周波数変換を行った例を示す図である。該ステップＳ６において１次元周波数変換を行う場合は、上記ステップＳ４で２次元周波数変換を行った結果に対して、重像間の変位方向に直交する方向で、演算結果を平均化して１次元化し、その１次元の周波数変換結果に対し、１次元周波数変換処理を行う。また、上記ステップＳ４における周波数変換処理が１次元周波数変換であった場合は、該ステップＳ６でも１次元周波数変換処理を行う。

そして、重像間変位取得部２０４は、上記ステップＳ６で周波数変換が行われた結果に対し、パワースペクトル変換を行った後、そのピークの探索を行う（ステップＳ７）。上記ステップＳ６で２次元周波数変換を行った場合は２次元探索、１次元周波数変換を行った場合は１次元探索処理をとる。ここでは、ゼロ周波数を除く部分においてピーク探索を行い、そのピーク値から、重像画像に含まれる特有の周波数ピーク値を特定し、その周波数より像間の変位量を特定する（第１実施形態で上述した原理の説明、上記（５）式を参照）。

その後、フィルタリング部２０２は、重像画像の全領域において像間の変位量を特定したかの判定を行う（ステップＳ８）。ここで、全領域での変位量の特定が終了していない場合には、部分画像の領域を変更して（ステップＳ９）、上記ステップＳ２へ戻る。

而して、全領域の変位量の特定が終了したならば、重像間変位取得部２０４は、上記ステップＳ１乃至ステップＳ９で特定された部分画像毎の像間の変位量情報を全て出力部１０９に出力して（ステップＳ１０）、処理を終了する。

次に、上記重像間変位取得部２０４として、図４（Ｂ）の構成を用いた場合を、図５（Ｂ）のフローチャートを参照して説明する。

即ち、まず、フィルタリング部２０２は、入力部２００から入力されて記録部２０１に記録・保持された重像画像を読み込む（ステップＳ１）。この時、重像画像のヘッダ情報に像間の変位方向情報等の記載があれば、以下のステップＳ３及びステップＳ４で利用するために、ヘッダ情報を読み込んでおく。

次に、フィルタリング部２０２は、上記ステップＳ１で読み込んだ重像画像の部分画像領域を指定する（ステップＳ２）。ここで、部分画像領域は、重像画像よりも小さい領域の任意の大きさをとって良い。ここでは、例えば１００×１００［pixel］の領域とする。

そして、フィルタリング部２０２は、上記ステップＳ２で指定された重像画像の部分領域に対してフィルタリング処理を施す（ステップＳ３）。このフィルタリング処理には、画像上のノイズの除去を目的としたローパスフィルタ処理、像間の変位量の推定の高精度化を目的としたハイパスフィルタ処理、またその両方を併用して用いても良い。なお、このステップＳ３のフィルタリング処理は省略することが可能である。また、このフィルタリング処理は、２次元フィルタリングを行っても良いが、その他の方法として、重像画像のヘッダ情報に、像間の変位方向情報が含まれている場合、その方向に沿った１次元フィルタリング処理を行っても良いものとする。

次に、周波数変換部２０３は、上記フィルタリング処理された重像画像の部分領域の周波数変換を行う（ステップＳ４）。この周波数変換処理には、フーリエ変換処理を行っても良い。周波数変換処理は２次元周波数変換処理を行っても良いが、その他の方法として、重像画像のヘッダ情報に像間の変位方向情報が含まれている場合には、その方向に沿った１次元周波数変換を行っても良いものとする。１次元周波数変換処理を行った場合は、周波数変換を行った方向に直交する方向に対し、計算結果を加算することにより、一つの１次元周波数変換処理結果を得る。１次元周波数変換処理を行った後は、後述するステップＳ６においても１次元周波数変換処理を行う。

次に、重像間変位取得部２０４は、上記ステップＳ４において周波数変換処理が行われた周波数変換画像に対してパワースペクトル変換を行う（ステップＳ５）。ここでのパワースペクトル変換処理は、更にルート演算を行い、絶対値への変換も同時に行って良いものとする。ここでは、絶対値への変換を行う。

その後、重像間変位取得部２０４は、上記ステップＳ５においてパワースペクトル（絶対値）変換が行われた演算結果に対し、画像の微分処理を行う（ステップＳ１１）。この微分処理としては、２次元フィルタリングによる微分処理を行っても良いが、その他の方法として、重像画像のヘッダ情報に、像間の変位方向情報が含まれている場合には、その方向に沿った１次元フィルタリングによる微分処理を行っても良いものとする。１次元フィルタリングによる微分処理を行った場合は、微分処理を行った方向に直交する方向に対し、計算結果を加算することにより、一つの微分処理結果を得る。

そして、重像間変位取得部２０４は、更に、上記ステップＳ６で微分処理を行った結果に対し、その微分処理が行われた処理結果のゼロ点間距離の計測を行う（ステップＳ１２）。実際にはノイズなどの影響でゼロ点とならない場合があり得るが、このような場合には極小値間の距離の探索としても良い。このゼロ点間距離が重像画像に特有に含まれる縞模様の周期となる。その周期から、重像画像に含まれる特有の周波数を特定し、その周波数により像間の変位量を特定する（第１実施形態で上述した原理の説明、上記（５）式を参照）。

その後、フィルタリング部２０２は、重像画像の全領域において像間の変位量を特定したかの判定を行う（ステップＳ８）。ここで、全領域での変位量の特定が終了していない場合には、部分画像の領域を変更して（ステップＳ９）、上記ステップＳ２へ戻る。

而して、全領域の変位量の特定が終了したならば、重像間変位取得部２０４は、上記ステップＳ１乃至ステップＳ９で特定された部分画像毎の像間の変位量情報を全て出力部２０５に出力して（ステップＳ１０）、処理を終了する。

以上のように、上記第１実施形態のように撮影装置に組み込むのではなく、画像処理装置を単体として構成することで、該画像処理装置を持たない撮影装置で撮影された重像画像等、外部から入力される重像画像に含まれる重像を形成する像間の変位量を計測することができるようになる。

以上、第１及び第２実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

また、実施の形態では、重像間変位算出部により算出された重像を形成する像間の変位量に基づいて、撮像位置から被写体までの被写体距離を計測したが、変形例として、その変位量を用いて重像画像に含まれる重像を解消し、その結果、重像を含む重像画像を、重像を含まない復元画像に復元してもよい。具体的には、ゴースト画像、フレア画像や位置合わせが失敗した画像などに含まれる重像を形成する像間の変位量を、重像間変位算出部により算出された変位量を用いて補正することで、ゴーストやフレアなどを除去した復元画像を生成する。本変形例によれば、重像間の変位量を高精度に測定できるため、結果として、精度の高い復元画像を生成できる。

また、実施の形態では、パワースペクトルにより表現される正弦波の周期構造を計測したが、変形例として、パワースペクトルが正弦波以外の波形、例えば、矩形波や三角波を計測できるのであれば、その波形の周期構造を計測してもよい。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 被写体の像が多重になっている重像を含んだ重像画像を入力する画像入力部と、
上記入力された重像画像に対して周波数変換処理を施す周波数変換部と、
上記周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出する重像間変位算出部と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、一例として、撮影光学系１００，多重結像部１０１，撮像部１０２及び入力部２００が上記画像入力部に、周波数変換部１０５及び周波数変換部２０３が上記周波数変換部に、重像間変位取得部１０６及び重像間変位取得部２０４が上記重像間変位算出部に、それぞれ対応する。

（作用効果）
この（１）に記載の画像処理装置によれば、重像画像（ｙ）に対して周波数変換処理を施した周波数変換画像を用いて重像を形成する像間の変位量（２ｘ_０）を算出するので、例えば上記特許文献１及び上記特許文献２のように撮像装置において重像画像を撮影し、像間の変位量を計測して、その結果を用いて被写体までの距離計測を行う場合でも、高精度に像間の変位量計測を行うことができる。従って、結果として、被写体までの距離計測を高精度に行えるようになる。
また、撮影装置に組み込むのではなく、画像処理装置を単体として構成することで、該画像処理装置を持たない撮影装置で撮影された重像画像等、外部から入力される重像画像に含まれる重像を形成する像間の変位量を計測することができるようになる。

（２） 上記重像間変位算出部は、上記周波数変換画像のパワースペクトルに対して更なる周波数変換処理を施すとともに、その更なる周波数変換処理が施されたパワースペクトルにより検出される周波数のピーク値の発生位置を用いて、上記像間の変位量を算出することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（２）に記載の画像処理装置によれば、重像画像の周波数変換に対し更に周波数変換を行うことで、システム関数の周波数変換に含まれる正弦波の周波数がピーク値となって検出され、このピーク値を探索することにより、システム関数の周波数変換に含まれる正弦波の周波数が検出され、その結果、重像画像の重像間の変位の検出が可能となる。

（３） 上記重像間変位算出部は、第１のピーク値の発生位置と第２のピーク値の発生位置との間の距離を、上記像間の変位量に変換することを特徴とする（２）に記載の画像処理装置。

（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（３）に記載の画像処理装置によれば、容易に像間の変位量を算出することができる。

（４） 上記重像間変位算出部は、上記周波数変換画像のパワースペクトルにより特定される波形の１周期の長さを、上記像間の変位量に変換することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（４）に記載の画像処理装置によれば、容易に像間の変位量を算出することができる。

（５） 上記重像間変位算出部は、上記パワースペクトルにより表現される正弦波の周期構造を計測して、その計測した周期構造により特定される正弦波の１周期の長さを、上記像間の変位量に変換することを特徴とする（４）に記載の画像処理装置。

（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（５）に記載の画像処理装置によれば、重像画像の周波数変換特有の縞模様の極小値間の距離がシステム関数の周波数変換の周期構造の周期を表しているので、これを検出することにより、重像間の変位の検出が可能となる。

（６） 上記周波数変換部は、上記周波数変換処理として、予め取得した上記重像画像に含まれる重像を形成する像間の変位方向を利用した周波数変換処理を施すことを特徴とする（１）乃至（５）の何れかに記載の画像処理装置。

（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（６）に記載の画像処理装置によれば、高速且つ正確な重像画像の重像間変位を取得できる。

（７） 上記周波数変換部は、上記変位方向を利用した周波数変換処理として、上記予め取得した像間の変位方向に沿った１次元の周波数変換処理を施すことを特徴とする（６）に記載の画像処理装置。

（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（７）に記載の画像処理装置によれば、処理が簡単であるので、高速に処理が行える。

（８） 上記重像間変位算出部は、上記周波数変換処理が施された周波数変換画像の高周波成分を増幅して、上記像間の変位量を算出することを特徴とする（１）乃至（７）の何れかに記載の画像処理装置。

（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（８）に記載の画像処理装置によれば、重像画像の周波数変換を行った場合の特有な現象として、被写体自体から派生する周波数成分は、概ね低周波成分領域に集まる傾向があり、また、重像画像を生成するシステム関数から派生する周波数成分は、周波数領域の全領域に存在するので、高周波成分を増幅して用いることで、重像画像を生成するシステム関数から派生する周波数成分に重点を置いて評価することが可能となる。

（９） 上記周波数変換処理は、ＦＦＴ処理であることを特徴とする（１）乃至（８）の何れかに記載の画像処理装置。

（対応する実施形態）
この（９）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（９）に記載の画像処理装置によれば、高速且つ簡単に周波数変換が行える。

（１０） 上記算出された像間の変位量に基づいて、撮像位置から被写体までの被写体距離を特定する合焦点制御部をさらに備えることを特徴とする（１）乃至（９）の何れかに記載の画像処理装置。

（対応する実施形態）
この（１０）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。その実施形態において、一例として、合焦点制御部１０７が上記合焦点制御部に対応する。

（作用効果）
この（１０）に記載の画像処理装置によれば、被写体距離を求めることができるので、該画像処理装置をＡＦに利用することができる。

（１１） 上記合焦点制御部は、重像を形成する像間の変位量と、撮像位置から被写体までの距離との対応関係を示す対応関係情報を予め保持しており、上記算出された像間の変位量と上記対応関係情報に基づいて、上記被写体距離を特定することを特徴とする（１０）に記載の画像処理装置。

（対応する実施形態）
この（１１）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（１１）に記載の画像処理装置によれば、予め保持した対応関係情報を用いるので、容易且つ高速に被写体距離を特定できる。

（１２） 上記入力された重像画像に対してフィルタリング処理を施すフィルタリング部をさらに具備し、
上記フィルタリング部は、上記周波数変換部による周波数変換処理に先立って、上記フィルタリング処理を施すことを特徴とする（１）乃至（１１）の何れかに記載の画像処理装置。

（対応する実施形態）
この（１２）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、一例として、フィルタリング部１０４及びフィルタリング部２０２が上記フィルタリング部に対応する。

（作用効果）
この（１２）に記載の画像処理装置によれば、重像間の変位計測時のノイズの影響を低減させたり、重像間の変位計測時の計測精度を向上させることができる。

（１３） 上記フィルタリング処理の際に用いられるフィルタは、ハイパスフィルタであることを特徴とする（１２）に記載の画像処理装置。

（対応する実施形態）
この（１３）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（１３）に記載の画像処理装置によれば、重像間の変位計測時の計測精度を向上させることができる。

（１４） 被写体の光束を結像する撮影光学系と、
上記撮影光学系内において被写体の像を多重に結像させる多重結像部と、
上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成する画像信号生成部と、
上記撮影光学系、多重結像部及び画像信号生成部によって生成された、少なくとも２つ以上の像が多重になった重像を含む重像画像に対して周波数変換処理を施す周波数変換部と、
上記周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出する重像間変位算出部と、
を具備することを特徴とする撮像装置。

（対応する実施形態）
この（１４）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。その実施形態において、一例として、撮影光学系１００が上記撮影光学系に、多重結像部１０１が上記多重結像部に、撮像部１０２が上記画像信号生成部に、周波数変換部１０５が上記周波数変換部に、重像間変位取得部１０６が上記重像間変位算出部に、それぞれ対応する。

（作用効果）
この（１４）に記載の撮像装置によれば、重像画像（ｙ）に対して周波数変換処理を施した周波数変換画像を用いて重像を形成する像間の変位量（２ｘ_０）を算出するので、例えば上記特許文献１及び上記特許文献２のように撮像装置において重像画像を撮影し、像間の変位量を計測して、その結果を用いて被写体までの距離計測を行う場合でも、高精度に像間の変位量計測を行うことができる。従って、結果として、被写体までの距離計測を高精度に行えるようになる。

（１５） 被写体の像が多重になっている重像を含んだ重像画像を入力するステップと、
上記入力された重像画像に対して周波数変換処理を施すステップと、
上記周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。

（対応する実施形態）
この（１５）に記載の画像処理プログラムに関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（１５）に記載の像処理プログラムによれば、コンピュータにより、重像画像（ｙ）に対して周波数変換処理を施した周波数変換画像を用いて重像を形成する像間の変位量（２ｘ_０）を算出するので、例えば上記特許文献１及び上記特許文献２のように撮像装置において重像画像を撮影し、像間の変位量を計測して、その結果を用いて被写体までの距離計測を行う場合でも、高精度に重像間の変位量計測を行うことができる。従って、結果として、被写体までの距離計測を高精度に行えるようになる。

図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。 図２は、２重像画像の例を示す図である。 図３（Ａ）は、重像画像の例を示す図であり、図３（Ｂ）は、図３（Ａ）の重像画像を２次元フーリエ変換した周波数変換画像の絶対値を示す図であり、図３（Ｃ）は、図３（Ｂ）の周波数変換画像の絶対値を更に２次元フーリエ変換した処理結果を示す図であり、図３（Ｄ）は、図３（Ｃ）のピーク部分の拡大図である。 図４（Ａ）及び（Ｂ）は、それぞれ、図１中の重像間変位取得部の構成例を示す図である。 図５（Ａ）は、図４（Ａ）の構成を用いた場合の第１実施形態において重像画像を部分画像に分けた形で像間の変位量の計測処理を行う方法を説明するためのフローチャートを示す図であり、図５（Ｂ）は、図４（Ｂ）の構成を用いた場合の第１実施形態において重像画像を部分画像に分けた形で像間の変位量の計測処理を行う方法を説明するためのフローチャートを示す図である。 図６は、本発明の第２実施形態に係る画像処理装置の構成を示す図である。 図７は、自己相関関数の例を示す図である。

符号の説明

１００…撮影光学系、 １０１…多重結像部、 １０２…撮像部、 １０３，２０１…記録部、 １０４，２０２…フィルタリング部、 １０５，１０６Ｂ，２０３…周波数変換部、 １０６，２０４…重像間変位取得部、 １０６Ａ…パワースペクトル変換部、 １０６Ｃ…ピーク探索部、 １０６Ｄ…周期計測部、 １０７…合焦点制御部、 １０８…ＡＦモータ、 １０９，２０５…出力部、 １１０，２０６…制御部、 １１１，２０７…外部Ｉ／Ｆ部、 ２００…入力部。

Claims (15)

1. 被写体の像が多重になっている重像を含んだ重像画像を入力する画像入力部と、
   上記入力された重像画像に対して周波数変換処理を施す周波数変換部と、
   上記周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出する重像間変位算出部と、
   を具備することを特徴とする画像処理装置。
2. 上記重像間変位算出部は、上記周波数変換画像のパワースペクトルに対して更なる周波数変換処理を施すとともに、その更なる周波数変換処理が施されたパワースペクトルにより検出される周波数のピーク値の発生位置を用いて、上記像間の変位量を算出することを特徴とする請求項１に記載の画像処理装置。
3. 上記重像間変位算出部は、第１のピーク値の発生位置と第２のピーク値の発生位置との間の距離を、上記像間の変位量に変換することを特徴とする請求項２に記載の画像処理装置。
4. 上記重像間変位算出部は、上記周波数変換画像のパワースペクトルにより特定される波形の１周期の長さを、上記像間の変位量に変換することを特徴とする請求項１に記載の画像処理装置。
5. 上記重像間変位算出部は、上記パワースペクトルにより表現される正弦波の周期構造を計測して、その計測した周期構造により特定される正弦波の１周期の長さを、上記像間の変位量に変換することを特徴とする請求項４に記載の画像処理装置。
6. 上記周波数変換部は、上記周波数変換処理として、予め取得した上記重像画像に含まれる重像を形成する像間の変位方向を利用した周波数変換処理を施すことを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
7. 上記周波数変換部は、上記変位方向を利用した周波数変換処理として、上記予め取得した像間の変位方向に沿った１次元の周波数変換処理を施すことを特徴とする請求項６に記載の画像処理装置。
8. 上記重像間変位算出部は、上記周波数変換処理が施された周波数変換画像の高周波成分を増幅して、上記像間の変位量を算出することを特徴とする請求項１乃至７の何れかに記載の画像処理装置。
9. 上記周波数変換処理は、ＦＦＴ処理であることを特徴とする請求項１乃至８の何れかに記載の画像処理装置。
10. 上記算出された像間の変位量に基づいて、撮像位置から被写体までの被写体距離を特定する合焦点制御部をさらに備えることを特徴とする請求項１乃至９に記載の画像処理装置。
11. 上記合焦点制御部は、重像を形成する像間の変位量と、撮像位置から被写体までの距離との対応関係を示す対応関係情報を予め保持しており、上記算出された像間の変位量と上記対応関係情報に基づいて、上記被写体距離を特定することを特徴とする請求項１０に記載の画像処理装置。
12. 上記入力された重像画像に対してフィルタリング処理を施すフィルタリング部をさらに具備し、
    上記フィルタリング部は、上記周波数変換部による周波数変換処理に先立って、上記フィルタリング処理を施すことを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。
13. 上記フィルタリング処理の際に用いられるフィルタは、ハイパスフィルタであることを特徴とする請求項１２に記載の画像処理装置。
14. 被写体の光束を結像する撮影光学系と、
    上記撮影光学系内において被写体の像を多重に結像させる多重結像部と、
    上記撮影光学系からの光を電気信号に変換し、該変換した電気信号から画像信号を生成する画像信号生成部と、
    上記撮影光学系、多重結像部及び画像信号生成部によって生成された、少なくとも２つ以上の像が多重になった重像を含む重像画像に対して周波数変換処理を施す周波数変換部と、
    上記周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出する重像間変位算出部と、
    を具備することを特徴とする撮像装置。
15. 被写体の像が多重になっている重像を含んだ重像画像を入力するステップと、
    上記入力された重像画像に対して周波数変換処理を施すステップと、
    上記周波数変換処理が施された周波数変換画像を用いて、上記入力された重像画像に含まれる重像を形成する像間の変位量を算出するステップと、
    をコンピュータに発揮させることを特徴とする画像処理プログラム。

Images