JP2007074079A - 画像入力装置 - Google Patents

Abstract

【課題】 薄型化と解像力の確保とを両立することができる画像入力装置を提供する。
【解決手段】 画像入力装置において、２個以上のレンズから構成されたレンズアレイと、レンズアレイによる像を撮像するための撮像素子と、レンズアレイを構成するレンズ間での光線のクロストークを防止するための遮光部材と、撮像素子により撮像された複眼像から単一像を再構成するための第１の演算器と、被写体までの距離を検出するための被写体距離検出手段と、被写体距離検出手段により検出した被写体距離に基づき、被写体距離に応じた波面収差を算出し、波面収差による再構成像の品質劣化を除去するための第２の演算器と、を有する。
【選択図】 図１

Description

本発明は、光学系と撮像素子とを用いる画像入力装置に関する。

従来技術例として、単一平面の受光素子アレイを微小レンズアレイの各微小レンズに対応させた領域に分割し、各領域には複数の受光素子が含まれるようにして、更に各微小レンズからの光信号が互いに混信しないように隔壁層による隔壁を設けることにより、簡単な構成で、従来よりも小型、高精細を実現する「画像入力装置」がある（例えば、特許文献１参照）。
また、マイクロレンズアレイによって受光素子上に結像される複数の低解像度な物体縮小像から単一の物体像を回復する画像再構成法において、物体とマイクロレンズとの距離や、マイクロレンズアレイ及び受光素子におけるアライメント誤差に関係なく、高解像な物体像を形成可能な「画像再構成法及び画像再構成装置」がある（例えば、特許文献２参照）。
また、拡大された焦点深度の全領域にわたって合焦解像度を与えることにより、非点収差や球面収差などの収差に起因する焦点ぼけを補償するのに有用な「拡大された被写界深度を有する光学システム」がある（例えば、特許文献３参照）。
特開２００１−０６１１０９号公報 特開２００３−１４１５２９号公報 特許第３２７５０１０号公報

本発明は画像入力装置の薄型化と解像力確保の両立を図ることを目的とする。
従来の薄型化を図った画像入力装置としては特開２００１−０６１１０９（特許文献１）や特開２００３−１４１５２９（特許文献２）があるが、これらの発明はレンズアレイが固定されているため、焦点調節ができない。被写体が遠方にある場合など、パンフォーカスでの撮影においてはレンズを焦点調節しなくてもほぼ焦点があった像が得られるが、被写体が近くにある場合、被写体距離に伴ってデフォーカス収差が発生し、ピンぼけして解像力が低下した画像が収録されてしまう。撮影系の被写界深度を拡大するために、レンズ径を小さくしてもよいが、レンズ径を小さくすると、個眼像（１つのレンズにより撮像される画像）あたりの解像力が低下する。複眼画像の視差を利用した解像力向上は，個眼像の構成画素の少なさに伴う解像力の低さを補償するように作用するため，レンズ径の小ささによる個眼像の光学的な解像力の低下を補償する効果はない。

デフォーカスなどの波面収差を除去する方法の従来例としては、特許第３２７５０１０（特許文献３）があるが、この発明は位相マスクを構成に加える必要があるため、それにより装置の厚みが増してしまうという問題がある。

本発明は、上記課題を鑑みてなされたものであり、被写体距離検出手段により検出した被写体距離から、被写体距離に起因する波面収差を求め、前記波面収差による再構成像の品質低下を演算により除去することにより、画像入力装置において装置の薄型化と解像力確保の両立を図ることを目的とする。

かかる目的を達成するために、請求項１記載の発明は、２個以上のレンズから構成されたレンズアレイと、レンズアレイによる像を撮像するための撮像素子と、レンズアレイを構成するレンズ間での光線のクロストークを防止するための遮光部材と、撮像素子により撮像された複眼像から単一像を再構成するための第１の演算器と、を有する画像入力装置において、被写体までの距離を検出するための被写体距離検出手段と、被写体距離検出手段により検出した被写体距離に基づき、被写体距離に応じた波面収差を算出し、波面収差による再構成像の品質劣化を除去するための第２の演算器と、を有することを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、被写体距離検出手段は、複眼像の視差情報に基づき被写体までの距離を求める第３の演算器であることを特徴とする。

請求項３記載の発明は、請求項２記載の発明において、第３の演算器によって複眼像の視差を算出するための演算は、複眼像の相互相関演算であることを特徴とする。

請求項４記載の発明は、請求項１記載の発明において、レンズの光軸とほぼ垂直な平面内における被写体の位置である、被写体の面内位置を求める面内位置検出手段と、被写体距離及び被写体の面内位置に基づき、被写体の三次元的な位置に応じた波面収差を算出し、波面収差による再構成像の品質劣化を除去するための第４の演算器と、をさらに有することを特徴とする。

請求項５記載の発明は、請求項４記載の発明において、面内位置検出手段は、レンズアレイによる個眼像内で、あらかじめ用意した被写体のテンプレート画像を用いたパターンマッチング演算により被写体を特定し、個眼像内における被写体の位置情報から被写体の面内位置を求める第５の演算器であることを特徴とする。

請求項６記載の発明は、請求項１又は４記載の発明において、第２の演算器による演算は、波面収差における位相分布の近似Zernike多項式の係数から作製したフィルタによる逆フィルタリング演算であることを特徴とする。

請求項７記載の発明は、請求項６記載の発明において、あらかじめ算出した被写体の三次元的な位置と近似Zernike多項式の係数との関係を格納した記憶装置を備えることを特徴とする。

請求項８記載の発明は、請求項１又は４記載の発明において、複眼像の相互相関演算の前処理として、レンズアレイによる個眼像内から、被写体のみを抽出することを特徴とする。

本発明によれば、画像入力装置において、薄型化と解像力の確保とを両立することができる。

以下、本発明を実施するための最良の形態について添付図面を参照して詳細に説明する。

本発明の実施例１である画像入力装置について説明する。なお、本実施例の画像入力装置において、本実施例以外の構成及び作用の詳細は、上記特許文献１及び特許文献２に基づくものとする。

本実施例は、被写体距離検出手段により検出した被写体距離から、被写体距離に起因する波面収差を求め、前記波面収差による再構成像の品質低下を演算により除去することにより、画像入力装置において装置の薄型化と解像力確保との両立を図ることを目的とする。

また、本実施例は、画像入力装置における被写体距離検出手段を、複眼像の視差情報に基づき三角測量の原理により被写体距離を求める演算器とする。すなわち、収録した画像のみから被写体距離を求めるため、余分な構成部品を必要とせず、装置構成が簡略化される。よって、本実施例では、被写体距離検出のための簡略な構成を提供することを目的とする。

また、本実施例は、複眼像の視差を求める演算を、複眼像の相互相関演算としたもので、複眼像を構成する個眼像を２つ抜出し、相互相関関数を求めそのピーク座標から視差の量と方向を知る。よって、本実施例は、複眼像の相互相関演算により、レンズアレイによる複眼像における視差の検出を正確かつ容易に行うことを目的とする。

また、本実施例は、画像入力装置において、波面収差を除去する演算を、波面収差における位相分布の近似Zernike多項式の係数から作製したフィルタを用いた逆フィルタリング演算とする。よって、本実施例は、上記画像入力装置において、波面収差による再構成像の劣化を除去するための構成を提供することを目的とする。

また、本実施例は、画像入力装置において、被写体の三次元的な位置と近似Zernike多項式の係数との関係を格納した記憶装置を具備する。すなわち、あらかじめシミュレーションで求めたZernike多項式の係数を記憶させておくことで迅速かつ自動的に除去すべき波面収差を決定することができる。よって、本実施例では、除去すべき波面収差の決定を正確かつ容易に行うことを目的とする。

図１を用いて、画像入力装置の構成を述べる。１は略平面上に並べられた２個以上のレンズから構成されたレンズアレイ、２はレンズの略結像位置に設置した撮像素子、３はレンズアレイを構成するレンズアレイ間での光線のクロストークを防止するための遮光部材、４ａは複眼像の視差情報を検出する演算器、４ｂは視差情報を利用して画像入力装置から被写体までの距離を検出する演算器、４ｃは被写体の位置に対応する波面収差を除去する演算器、４ｄは前記複眼像から単一像を再構成する演算器である。

被写体の一部５ａはレンズ１ａにより結像され、撮像素子２ａにより撮像される。レンズアレイのうちひとつのレンズにより結像され、撮像素子により撮像された像を個眼像と呼ぶ。レンズ１ａに隣接するレンズ１ｂにより被写体の一部である５ｂが結像され、２ａに隣接する撮像素子２ｂにより撮像される。遮光部材３により、レンズ１ａとレンズ１ｂを通過する光線の撮像素子位置におけるクロストークが抑制される。異なるレンズで結像した個眼像は、レンズと被写体との位置関係に起因した視差が存在するため、レンズアレイによるそれぞれの個眼像は、少しずつシフトした画像となる。本明細書内で用いる「視差」とは、収録した複眼像の中で、基準とする個眼像に対する各個眼像の画像のシフト量（単位は長さ）を表すこととする。個眼像のみを画像入力装置による収録像として用いると、個眼像における１つの画素より小さい被写体の構造を撮像することはできないが、個眼像間での視差を利用すると、個眼像における１つの画素に埋もれた被写体の構造を再現することができる。すなわち、視差を伴う複眼画像から単一画像を再構成することにより、個眼像に対して解像力を向上させた再構成像を得ることができる（特許文献１及び２参照）。

演算器４ａは、収録した複眼像における各個眼像間の視差を求めるためのもので、上述のように、複眼像から単一画像の再構成の際に個眼像に対して解像力を上げるために作用すると同時に、以下に示すように、視差から被写体までの距離を求めるためにも作用する。複眼像から各個眼像の視差を求めるために、複眼像の中からふたつの個眼像を抜出し、それらの相互相関関数を求める。相互相関関数の例を図３に示す。この相互相関関数は２変数関数であり、ある座標においてピークを示す。視差がゼロの場合、ピーク座標位置は中央になり、視差が大きくなるにつれてピーク座標は中央から離れていく。このピーク座標と中央との距離および方向を用いて、ふたつの個眼像の相対的位置すなわち視差情報を定量的に検出することができる。

複眼像の一例を、図６に示す。複眼像を構成する個眼像のうち、基準となる基準個眼像（例えば、図６の１０）を設定し、この基準個眼像と他の個眼像の相互相関関数を求め、基準個眼像以外の全個眼像に対して、基準個眼像との相互相関をとることで、基準個眼像に対する全ての個眼像の画像シフト量を撮像素子の画素を単位として求めることができ、画像シフト量（単位ピクセル）に撮像素子１画素あたりの長さを乗じることにより視差を算出できる。

演算器４ｂは、視差情報を利用して画像入力装置から被写体までの距離を検出するためのものである。被写体距離を求める方法として、例えば三角測量の原理を用いることができる。図４を用いて三角測量による被写体距離の求め方について述べる。レンズ１ａの光軸と被写体５の交わる点Ｐから発した光のうち、レンズ１ａを通過した光はレンズ１ａの光軸と撮像素子２の交わる点Ｏａに結像する。一方レンズ１ｂを通過した光は撮像素子上の点Ｐ'に結像する。レンズ１ｂの光軸と撮像素子２の交わる点をObとすると視差はＰ'Ｏｂである。光学系設計時に既知となるレンズ直径ｄとレンズアレイ−撮像素子間距離ｆ、並びに演算器４ｂにより求めた視差Ｐ'Ｏｂにより、被写体距離Lは次式から求めることができる。

画像入力装置の近傍から無限遠まですべての被写体距離において、波面収差を最小限に抑えられるようにレンズを設計することは困難であるため、被写体距離に応じて主にデフォーカス収差が変化し、波面収差が増減する。波面収差が大きくなると、各レンズで結像させた個眼像における被写体の像がぼけて、再構成像の性能を劣化させる原因になる。
そこで、演算器４ｃは、演算器４ｂで求めた被写体距離をもとに、被写体距離に起因する波面収差を求め、そのような波面収差に伴う再構成像の劣化を除去するために作用するものである。波面収差を除去する手法として、波面収差における位相分布を多項式近似した結果得られるZernike多項式の係数から作製したフィルタを用いた逆フィルタリング演算を用いることができる。Zernike多項式は、光学系（ここではレンズアレイにおける１個のレンズ）の入射瞳面上での波面収差の位相分布を多項式に近似して、多項式の係数の大きさにより光学系の各収差成分の大きさを表現したものである。以下の（２）式に入射瞳関数を表す。
（２） ρ(x,y)＝A(x，y)*exp[i*φ(x，y)]

（２）式において、ρは入射瞳関数、x、yは入射瞳平面での位置を表す座標、A、φはそれぞれ光波の振幅、位相を表す。光学系の波面収差は位相項に生じ、波面収差による位相分布をZernike多項式に近似して表現して（２）式に代入する。

Zernike多項式の次数を選択して、近似計算を行うことで、例えば被写体距離に伴うデフォーカス収差など、波面収差の種類を選択して定量表現することができる。

被写体距離に伴って変化する波面収差の大きさは、レンズの設計データを用いて光線追跡シミュレーションにより推定できる。そのため、被写体距離ごとで、シミュレーションによりあらかじめ波面収差を推定し、波面収差における位相分布の位相近似Zernike多項式の係数をルックアップテーブルとして記憶しておけば、検出した被写体距離において、Zernike係数を用いて（３）式から波面収差の位相分布を求め、それを（２）式に代入して入射瞳関数を求めることができる。入射瞳関数から光学系の伝達関数（OTF）を求められるため、収録画像を伝達関数で周波数フィルタリングすることにより、波面収差による像性能の低下を除去した個眼像を得ることができる。取得された個眼像を用いて前述の複眼像から単一像への再構成処理を行うことにより、波面収差による像性能の低下を除去した再構成像を得ることができる。

被写体距離とZernike係数との関係について、係数の大きさを、被写体距離Lを引数とした関数f_n(L)（nはZernike係数の次数を表す）に数式化しておいて、検出した被写体距離Lをf_n(L)に代入することにより、係数の大きさを求めてもよい。

上述した本実施例の処理フローを図７に示す。
まず、複眼画像を取得し（ステップＳ１）、基準個眼像を設定する（ステップＳ２）。この基準個眼像に対する各個眼像の視差を検出し（ステップＳ３）、検出した視差を用いて被写体距離を算出する（ステップＳ４）。Zernike多項式の係数を決定し（ステップＳ５）、波面収差を算出する（ステップＳ６）。入射瞳関数を決定し（ステップＳ７）、ＯＴＦを算出する（ステップＳ８）。各個眼像の周波数フィルタリングを行い（ステップＳ９）、視差を用いた複眼再構成を行った後（ステップＳ１０）、再構成像を出力する（ステップＳ１１）。

波面収差が除去された複眼像から再構成された単一像は、波面収差が除去されない個眼像から再構成された単一像に比べて鮮鋭化される。再構成シミュレーションの結果を図５に示す。図５（ａ）は波面収差の除去を行わない複眼像から再構成した再構成像であり、（ｂ）は波面収差の除去を行った複眼像から再構成した再構成像である。

以上説明したように、本実施例によれば、被写体距離検出手段により検出した被写体距離から、被写体距離に起因する波面収差を求め、この波面収差による再構成像の品質低下を演算により除去する。それにより、レンズアレイを用い、焦点調節機能を持たない薄型の画像入力装置であっても、被写体距離に起因した波面収差の再構成像への影響を除去できるため、画像入力装置の薄型化と解像力確保の両立を図ることができる。

また、本実施例によれば、収録した画像のみから被写体距離を求めるため、余分な構成部品を必要とせず、装置構成が簡略化される。それにより、簡略な構成で画像入力装置を提供することができる。

また、本実施例によれば、上記複眼像の視差を求める演算を、複眼像の相互相関演算としたもので、複眼像を構成する個眼像をふたつ抜出し、相互相関関数を求めそのピーク座標から視差の量と方向を知る。それにより複眼像の視差検出を正確かつ容易に行える画像入力装置を提供することができる。

また、本実施例によれば、上記画像入力装置において、波面収差を除去する演算を、波面収差における位相分布の近似Zernike多項式の係数から作製したフィルタを用いた逆フィルタリング演算とすることにより、上記画像入力装置において、波面収差による再構成像の劣化を除去するための構成を提供することができる。

また、本実施例によれば、あらかじめシミュレーションで求めたZernike多項式の係数を記憶させておくことで迅速かつ自動的に除去すべき波面収差を決定することができる。

本発明の実施例２である画像入力装置について説明する。

一般的に、装置の薄型化を図るために、レンズの焦点距離を短くした場合、レンズ光軸と垂直な平面内における被写体の位置に起因したコマ収差などの波面収差が発生しやすくなり、それにより再構成画像の解像力が低下する。
よって、本実施例では、レンズアレイにより撮像した個眼像における被写体の面内位置と、被写体距離検出手段により検出した被写体距離とから、被写体の三次元的な位置に応じて発生する波面収差を求め、波面収差による再構成像の品質低下を演算により除去する。これにより、画像入力装置において装置の薄型化と解像力確保の両立を図ることを目的とする。

また、本実施例は、上記面内位置検出手段を、収録したレンズアレイによる個眼像内で、あらかじめ用意した被写体のテンプレート画像を用いたパターンマッチング演算により被写体を特定し、個眼像内における被写体の位置情報から被写体の面内位置を求める演算器とする。すなわち、収録した画像を用いるため、余分な構成部品が必要なく、装置構成が簡略化される。よって、本実施例では、被写体の面内位置検出のための簡略な構成を提供することを目的とする。

本実施例の画像入力装置の構成について説明する。本実施例の画像入力装置は、上記実施例１の画像入力装置の構成（図１参照）に、被写体の面内位置（レンズの光軸とほぼ垂直な平面内における被写体の位置）を検出するための演算器を加えた構成である。

被写体の面内位置を検出する方法について図８を参照して説明する。図８から分かるようにD=dL/fが成り立つ。さらに個眼像の画素数をuとすると、個眼像の１画素は、D/uの範囲を取得していることになる。例えば、パターンマッチング演算を用いて、個眼像において被写体が撮影されている領域を求め、その領域と個眼像の中央とが何画素離れているかを知ることで、その被写体距離における被写体の面内位置を知ることができる。被写体距離のみではなく、面内位置も含めた三次元的な位置を求めることで、デフォーカス収差や非点収差、コマ収差など、より複雑な波面収差を推定でき、それらの再構成像への影響を除去することができる。

本実施例の処理フローを図９に示す。
まず、複眼画像を取得し（ステップＳ２１）、基準個眼像を設定する（ステップＳ２２）。この基準個眼像に対する各個眼像の視差を検出し（ステップＳ２３）、検出した視差を用いて被写体距離を算出する（ステップＳ２４）。そして、本実施例では、被写体の面内位置を算出する（ステップＳ２５）。なお、ステップＳ２６以降の処理は、実施例１のステップＳ５以降の処理（図７参照）と同様であるので、ここでの説明は省略する。

以上説明したように、本実施例によれば、面内位置検出手段により検出した、レンズアレイにより撮像した個眼像における被写体の面内位置と、被写体距離検出手段により検出した被写体距離とから、被写体の三次元的な位置に応じて発生する波面収差を求め、波面収差による再構成像の品質低下を演算により除去する。それにより、レンズ光軸と垂直な平面内における被写体の位置に起因したコマ収差などの波面収差の再構成像への影響を除去できるため、画像入力装置の薄型化と解像力確保の両立を図ることができる。

また、本実施例によれば、上記面内位置検出手段を、収録したレンズアレイによる個眼像内で、あらかじめ用意した被写体のテンプレート画像を用いたパターンマッチング演算により被写体を特定し、個眼像内における被写体の位置情報から被写体の面内位置を求める演算器とすることにより、余分な構成部品を必要とせず、簡略な構成で画像入力装置を提供することができる。

本発明の実施例３である画像入力装置について説明する。

上述した実施例１及び２の画像入力装置は、複画像の相互相関演算を行う前処理として、レンズアレイによる個眼像内から被写体を特定、抽出を行うための前処理を行う演算器を構成に加えたものである。しかしながら、被写体距離の異なる複数の被写体が撮像されている場合、被写体距離により視差が異なってくるため、特定の被写体の視差を検出する演算において正確な視差を検出できない恐れがある。
よって、本実施例では、上述した実施例１及び２の画像入力装置において、前処理により特定した被写体に対して相互相関演算を行うことにより、正確な視差の検出を行い、高品質な再構成像を得ることを目的とする。

本実施例の画像入力装置の構成について説明する。本実施例は、実施例１の画像入力装置の構成（図１参照）に、被写体の面内位置を検出するための演算器と、波面収差の影響を除去して再構成する被写体を特定する前処理を行うための演算器を加えた構成である。例えば画像入力装置の視野内に複数の物体があり、その中から特定の物体をより鮮明に再構成したい場合や、人物認証において背景の中にある目の虹彩や人間の顔を鮮明に再構成したい場合に、収録した個眼像の中から特定の物体や目の虹彩、人間の顔のみを抽出するために前処理を行う。

個眼像に複数の被写体が撮影されている場合、特に被写体距離の異なる被写体が複数撮影されている場合は、前処理を行うことが好ましい。なぜならば視差は被写体距離により異なるため、演算器４aで視差を検出する際、適切な値を検出できない恐れがあるためである。被写体距離がおおきくなると視差が小さくなる様子を、図２に示す。

図２において、レンズ１ａの光軸と被写体５が交わる点Ｐから発した光のうちレンズ１aを通過する光はレンズ１ａの光軸と撮像素子面が交わる点Ｏａに結像する。一方レンズ１bを通過する光は点Ｐ'に結像する。以上より、被写体５の被写体距離における視差はＯｂＰ'であることがわかる。

同様のことを被写体５よりも離れた位置にある被写体６についても考える。被写体６の被写体距離における視差はＯｂＱ'となり、図からわかるようにＯｂＰ'>ＯｂＱ'である。また、演算器４ｄにより波面収差を除去する際にも、適切な波面収差の除去ができない恐れがあるので、被写体距離距離の異なる複数の被写体が撮像されている場合は、被写体の特定を行うのがよい。

被写体の特定は、例えば上記実施例２で述べたようなパターンマッチング演算を利用すればよい。図１０を用いて、パターンマッチング演算による被写体の特定について説明する。画像１４から被写体１４ｃを特定する場合、あらかじめ１４ｃの形状と特徴を共有するテンプレート１５を用意しておき、画像１４の範囲でテンプレートを移動させ、類似性の高い位置を検出して被写体１４ｃを特定する。類似性を定量的に評価するには相関係数を用いることができる。画像における被写体の大きさとテンプレート画像の大きさが異なる場合でも、画像１４あるいはテンプレート１５を拡大縮小することで被写体の特定を行うことが可能である。特定した被写体１４ｃのみを抽出し、ほかの画素値をゼロとすることで画像１６を得ることができる。上述した処理を各個眼像に適用することで、被写体距離の異なる複数の被写体が撮影されている場合でも、鮮明に再構成したい被写体の視差を正確に視差を検出し、適切な波面収差除去を行うことができる。

上述した本実施例の処理フローを図１１に示す。
まず、複眼画像を取得し（ステップＳ４１）、基準個眼像内での被写体の特定を行う（ステップＳ４２）。なお、ステップＳ４３以降の処理は、上記実施例２のステップＳ２２以降の処理と同様であるので、ここでの説明は省略する。

以上説明したように、本実施例によれば、前処理により特定した被写体に対して相互相関演算を行うことにより、正確な視差検出を行い、高品質な再構成像を得ることができる。

以上、本発明の実施例１〜３について説明したが、上記実施例１〜３の記載に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。
また、上記実施例ではレンズアレイに屈折型のレンズを用いたものを説明したが、フレネルレンズのような回折型のレンズアレイを用いても、同等の効果を得ることができる。

本発明は、画像読取装置、虹彩認証や顔認証などの画像認識装置、デジタルカメラ、監視カメラなどに適用できる。

本発明の画像入力装置の一実施形態を模式的に示した図である。 被写体距離により視差が異なることを説明する図である。 視差情報を検出するために利用する相互相関関数の一例を示した図である。 視差と被写体距離の関係を説明する図である。 （ａ）は波面収差を除去しない複眼像から再構成した単一像（シミュレーション）を示す図であり、（ｂ）は波面収差を除去した複眼像から再構成した単一像（シミュレーション）を示す図である。 複眼像および基準個眼像の一例を示した図である。 本発明の画像入力装置における処理を示すフローチャートである。 被写体距離と画像のサイズの関係を示す図である。 被写体の三次元的な位置を利用した波面収差除去を行う場合の処理を示すフローチャートである。 パターンマッチング演算による被写体抽出を説明する図である。 波面収差の影響を除去して再構成する被写体を特定する前処理を行う場合の処理を示すフローチャートである。

符号の説明

１ レンズアレイ
１ａ、１ｂ レンズ
２、２ａ、２ｂ 撮像素子
３ 遮光部材
４ａ 複眼像の視差情報を検出する演算器
４ｂ 視差情報を利用して画像入力装置から被写体までの距離を検出する演算器
４ｃ 被写体の位置に対応する波面収差を除去する演算器
４ｄ 複眼像から単一像を再構成する演算器
５、６、１４ａ、１４ｂ、１４ｃ 被写体
５ａ、５ｂ 被写体の一部
１０ 基準個眼像
１４、１６ 画像
１５ テンプレート

Claims (8)

1. ２個以上のレンズから構成されたレンズアレイと、該レンズアレイによる像を撮像するための撮像素子と、前記レンズアレイを構成するレンズ間での光線のクロストークを防止するための遮光部材と、前記撮像素子により撮像された複眼像から単一像を再構成するための第１の演算器と、を有する画像入力装置において、
   被写体までの距離を検出するための被写体距離検出手段と、
   該被写体距離検出手段により検出した被写体距離に基づき、該被写体距離に応じた波面収差を算出し、該波面収差による再構成像の品質劣化を除去するための第２の演算器と、
   を有することを特徴とする画像入力装置。
2. 前記被写体距離検出手段は、前記複眼像の視差情報に基づき被写体までの距離を求める第３の演算器であることを特徴とする請求項１記載の画像入力装置。
3. 前記第３の演算器によって前記複眼像の視差を算出するための演算は、複眼像の相互相関演算であることを特徴とする請求項２記載の画像入力装置。
4. 前記レンズの光軸とほぼ垂直な平面内における被写体の位置である、被写体の面内位置を求める面内位置検出手段と、
   前記被写体距離及び前記被写体の面内位置に基づき、前記被写体の三次元的な位置に応じた波面収差を算出し、前記波面収差による再構成像の品質劣化を除去するための第４の演算器と、
   をさらに有することを特徴とする請求項１記載の画像入力装置。
5. 前記面内位置検出手段は、前記レンズアレイによる個眼像内で、あらかじめ用意した被写体のテンプレート画像を用いたパターンマッチング演算により被写体を特定し、前記個眼像内における被写体の位置情報から前記被写体の面内位置を求める第５の演算器であることを特徴とする請求項４記載の画像入力装置。
6. 前記第２の演算器による演算は、波面収差における位相分布の近似Zernike多項式の係数から作製したフィルタによる逆フィルタリング演算であることを特徴とする請求項１又は４記載の画像入力装置。
7. あらかじめ算出した被写体の三次元的な位置と近似Zernike多項式の係数との関係を格納した記憶装置を備えることを特徴とする請求項６記載の画像入力装置。
8. 前記複眼像の相互相関演算の前処理として、前記レンズアレイによる個眼像内から、前記被写体のみを抽出することを特徴とする請求項１又は４記載の画像入力装置。
   像入力装置。

Images