JP2009087329A - 画像入力装置及び個人認証装置 - Google Patents

Abstract

【課題】指の血管パターンを利用する個人認識装置における血管パターン像入力手段として好適な画像入力装置を提供する。
【解決手段】レンズアレイ３を構成する複数のレンズにより、透明平板１０の表面に接触させて位置が規定された指１の血管２（被写体）の縮小された像（個眼像）の集合である複眼像が撮像素子６の撮像面に結像されて撮像される。透明平板１０とレンズアレイ３の間に空気層１１が設けられる。単一画像再構成処理部１０４において、撮像された血管パターンの複眼像は、その個眼像間の視差を利用して単一画像に再構成される。
【選択図】図１

Description

本発明は、生体内部の被写体の情報を利用して個人認証を行う個人認証装置、及び、この種の個人認証装置の被写体画像入力手段として好適な画像入力装置に関する。

近年、携帯電話やノートパソコンなど、さまざまな情報機器に個人認識装置が搭載されるようになっている。そして、情報機器の小型軽量化が進む中、それに搭載される個人認証装置も一層の小型化が求められている。

例えば、特許文献１，２に指の静脈パターンを利用する個人認証装置が記載されている。これら個人認証装置は、単眼の光学系を用いており、光学結像関係に基づいて被写体距離や撮像距離が制限されるため、小型薄型化には限界がある。

また、特許文献３に、微小レンズアレイ、カラーフィルタ、受光素子アレイ等を組み合わせた画像入力装置が記載されている。

特開２００４−２７２８２１号公報 特開２００５−０９２３７５号公報 特許第３７０５７６６号公報 特許第３７７３５６３号公報

指の静脈パターンのような指内部の被写体の情報を利用する個人認識装置の場合、指を装置の画像入力部に密着させる必要がある。個人認証装置に用いられる画像入力装置においては、このように非常に接近した被写体を撮像するという特殊性がある。

また、指指紋を利用する場合には指の狭い領域の撮像によって必要な指紋パターン情報を取得することができるが、指静脈を利用する場合、必要な静脈パターン情報を取得するためには、指のかなり広い領域を撮像する必要がある。非常に接近した状態で被写体の像を観察するためには、マイクロレンズアレイによる等倍結像が一般に用いられるが、等倍結像で広い領域を撮像しようとすると、撮像面積の大きな撮像素子が必要となり装置コストの増加を招く。汎用の安価なＣＭＯＳ撮像素子やＣＣＤ撮像素子の撮像面積は限られているため、大きな撮像面積を持つ撮像素子を入手するには特別に製造する必要があるからである。したがって、安価な汎用の撮像素子を利用できることが望ましい。

本発明は、以上の点に鑑みてなされたものであり、その目的は、安価な汎用の撮像素子を用いて、非常に接近した被写体の比較的広い領域の像を入力することができる、個人認証装置の画像入力手段として好適な薄型小型の画像入力装置を提供すること、及び、そのような画像入力装置を用いた個人認証装置を提供することにある。

請求項１記載の発明は、
複数のレンズがアレイ配列されてなるレンズアレイと、
前記レンズアレイの各レンズを通過する光線の像面上でのクロストークを防ぐための遮光部材と、
生体と接触して前記レンズアレイのレンズ光軸方向における該生体の位置を規定する平板部材と、
撮像面を持ち、該撮像面に前記レンズアレイの複数のレンズにより略結像される、前記平板部材によって位置が規定された生体の内部の被写体の縮小像の集合である複眼像を撮像する撮像手段と、
前記撮像手段により撮像された複眼像から単一画像を再構成する処理手段とを有し、
前記処理手段により再構成された単一画像を被写体画像として入力することを特徴とする画像入力装置である。

請求項２記載の発明は、請求項１記載の発明に係る画像入力装置において、前記平板部材と前記レンズアレイとの間に気体又は液体の層を介在させたことを特徴とする。

請求項３記載の発明は、請求項２記載の発明に係る画像入力装置において、前記層が空気の層であることを特徴とする。

請求項４記載の発明は、請求項１記載の発明に係る画像入力装置において、前記平板部材と前記レンズレンズアレイとの間に真空層を介在させたことを特徴とする。

請求項５記載の発明は、請求項１乃至４のいずれか１項記載の発明に係る画像入力装置において、
前記遮光部材は、前記レンズアレイと前記撮像面との間に配置されるとともに前記レンズアレイの各レンズに対応した矩形孔を有し、
前記矩形孔のサイズをg×h（ただし、gとhは前記レンズアレイのレンズ光軸と略直交する面内における矩形孔断面の各辺の長さ）、前記レンズアレイの各レンズの略主平面から前記被写体までの距離をa、前記レンズアレイの各レンズの略主平面から前記撮像面までの距離をb、前記撮像面のサイズをx×y（ただし、xとyは矩形である前記撮像面の各辺の長さ）、前記被写体の位置における視野のサイズをu×v（ただし、uとvは矩形である視野の各辺の長さ）としたとき、
g×a／b＋x≧u、かつ、h×a／b＋y≧v の関係
又は
h×a／b＋y≧uで、かつ、g×a／b＋x≧v の関係
を満たしていることを特徴とする。

請求項６記載の発明は、請求項５記載の発明に係る画像入力装置において、前記遮光部材のレンズ光軸方向の高さを前記距離ｂと略一致させたことを特徴とする。

請求項７記載の発明は、請求項１乃至６のいずれか１項記載の発明に係る画像入力装置において、前記レンズアレイは前記被写体に対向する面及び前記撮像面に対向する面とで対をなすようにレンズが形成されたものであり、前記被写体に対向する面に形成されたレンズ及び前記撮像面に対向する面に形成されたレンズはそれぞれ前記被写体の方向に負のパワーを有することを特徴とする。

請求項８記載の発明は、請求項１乃至７のいずれか１項記載の発明に係る画像入力装置において、前記平板部材に接触する生体へ光を照射するための光源をさらに有し、前記平板部材は前記光源により照射される光に対して透過率を有することを特徴とする。

請求項９記載の発明は、
前記請求項１乃至８のいずれか１項に記載の画像入力装置と、
前記画像入力装置により入力される被写体画像を用いて認証処理を行う認証処理手段と、
を有することを特徴とする個人認証装置である。

請求項１乃至８に記載の発明に係る画像入力装置は、薄型の光学系を用いて、非常に近接した被写体に対し、撮像手段の撮像面より大きな被写体領域を撮像し、その画像を入力することができるため、例えば個人認証のための指静脈パターン像を入力する用途においても、撮像面サイズのそれほど大きくない安価な汎用の撮像素子を撮像手段として用いることができ、その分、装置コストを削減できる。

請求項２乃至４に記載の発明に係る画像入力装置においては、レンズアレイと透明平板との間に設ける空気等の気体もしくは液体の層又は真空層を設けることにより、それら層に相当する空間を平板部材やレンズアレイで充填する場合に比べ、平板部材やレンズアレイの体積を減らし、それらの材料コストを削減できるとともに、それら層とレンズアレイ、平板部材との境界での屈折により視野範囲を広げることができる。

請求項６記載の発明に係る画像入力装置においては、遮光部材のレンズ光軸方向の高さによって、像面距離ｂ（レンズアレイの各レンズの略主平面から撮像面までの距離）を規定することができ、また、撮像面と平行な方向の面内での光線のクロストークを防止することができる。

請求項１乃至６記載の発明に係る画像入力装置において、レンズのバックフォーカスを短くすると光学倍率の低下により広い視野を撮像可能となるが、レンズに強いパワーが求められ、強いパワーをもつ面は急峻で加工が困難である。請求項７記載の発明に係る画像入力装置においては、レンズアレイのレンズのパワーを２つに分散するため、１つのレンズ面のパワーを低減でき、樹脂成形などにおいて比較的加工が容易なレンズ形状で、広い視野を確保することができる。また、両面に被写体方向に負のパワーをもたせることにより、光線がレンズに入射する角度に伴う結像位置や広がりの差異を抑えることができるため、視野を拡げた場合でも像の歪みを抑制した画像を入力することができる。

請求項８記載の発明に係る画像入力装置は、生体に近赤外光等の光を照射した状態で被写体を撮像することにより、使用環境にかかわらず、よりコントラストが良く、Ｓ／Ｎ比が高い被写体像を入力することができる。

請求項９記載の発明によれば、指等の血管パターン像を利用して高精度な個人認証を行う安価で薄型小型の個人認証装置を実現できる。

以上の通り、本発明によれば、個人認証装置の画像入力手段として好適な薄型小型の画像入力装置を安価に実現することができ、また、このような画像入力装置を用い認証精度の高い薄型小型な個人認証装置を安価に実現することができる等の効果を得られる。

図面を参照し、本発明の実施形態について説明する。本発明の画像入力装置は生体内部の被写体の画像を入力する目的に好適であるが、ここでは、被写体として指の内部の血管を撮像するものとし、入力した画像を個人認証に利用するものとして説明する。

図１は本発明の実施形態を説明するための装置構成図である。図１において、１は人の指であり、指先方向から見た様子が模式的に示されている。２は指１の内部に存在する血管を模式的に表し、これが被写体となる。

３は被写体像を結像させるためのレンズアレイで、複数の非球面単レンズがその光軸と略直交する平面内に二次元的にアレイ配置されたものである。なお、レンズアレイ３を構成する各レンズとして、片面又は両面が球面のレンズや両面とも非球面のレンズを用いてもよく、またフレネルレンズのような回折型のレンズを用いることもできる。４は、レンズアレイ３の各レンズを通過する光線の像面上でのクロストークを防止し、ゴーストやフレアなどのノイズ光を抑制するための遮光部材である。

２aはレンズアレイ３を構成する１個のレンズによる観察領域を表しており、２bは観察領域内で隣接するレンズが共有する観察領域を表している（観察領域及び共有領域については後述する）。

図２は、レンズアレイ３と遮光部材４からなる撮像光学系を、上から、すなわち被写体側から観察した図である。図２に見られるように、遮光部材４は平板に矩形の孔をあけたもので、矩形孔の一辺の長さは、レンズアレイ３の個々のレンズの有効径と略一致するか、レンズの直径より大きくなっている。矩形孔は撮像面まで伸びており、矩形孔のサイズが１個のレンズによる像（個眼像）のサイズとなる。

レンズアレイ３を構成する各レンズは円形であるので、被写体からの光がレンズの有効範囲と矩形孔との隙間から撮像面に入射することを防止するために、レンズアレイ３の撮像側の面におけるレンズ有効径以外の部分に、被写体側から入射する光を反射するための膜５が形成されている．この膜５は金属薄膜（例えばクロム薄膜）をレンズアレイに蒸着したり、不透明な樹脂をレンズアレイに印刷したりして形成すことができる。遮光部材４と膜５とで、隣接レンズ間でのクロストークなどによるフレア光を除去する。

レンズアレイ３は、透明の樹脂やガラスを材料として、リフロー法や面積階調マスク法、研磨法などの加工法、あるいは、それらの加工法で作製した型を用いた成形加工法などで作製することができる。

遮光部材４は、樹脂、ガラス、金属などを材料とした平板に、エッチングやドリル加工、レーザ加工等で孔をあけることにより作られる。エッチングやレーザ加工を用いると、遮光部材４のレンズ光軸方向への高さに制約がある場合があるが、その場合は薄く製作した遮光部材をレンズ光軸方向に重ねて接着することにより高さを確保すればよい。遮光部材４の材料に不透明なものを用いたり、透明材料にコーティングを施したりすることこより、光の透過や反射を抑制できる。

６はレンズアレイ３により結像される被写体の複眼像を撮像するための撮像素子であり、画素６aが二次元的にアレイ配置されたものである。ここでは、撮像素子６として一般的なＣＭＯＳ撮像素子が用いられるものとする。ただし、撮像素子６としてＣＣＤ撮像素子等を用いることもできる。

ＣＭＯＳ撮像素子等には撮像面を保護するためのカバーガラスが設置されているものがあるが、ここでは撮像素子６にカバーガラスが設けられていないものとする。カバーガラスが設けられた撮像素子を用いてもよいが、その場合は、カバーガラスによる光の屈折の影響を考慮して、レンズアレイ３の形状・位置を設計する必要がある。また、エイリアジング防止のための光学的ローパスフィルタが撮像面付近に設けられ撮像素子もあるが、ここでは後述の超解像処理のためにローパスフィルタは設けていないものとする。

遮光部材４との接触による撮像面の損傷を防止するため、遮光部材４は撮像面から僅かに浮かせた状態でレンズアレイ３とともに筐体７で保持されている。ただし、カバーガラスで撮像面が保護されている場合は、遮光部材４をカバーガラス面に接触させて配置してもよい。

図１の構成では、撮像素子６の撮像面が存在する空間は、レンズアレイ３と筐体７により密閉されるため、外部からゴミ等が混入して撮像面に付着することはない。遮光部材４が撮像面から僅かに浮いているため、遮光部材底面と撮像面との間の空間を光が通過して光線のクロストークが生じないように、撮像面と平行な方向の面内でのレンズアレイ３のレンズのピッチが設定されている。

コントラストの高い鮮明な被写体像を撮像できるようにするため、指１に光を照射するためのＬＥＤ８が設けられている。このＬＥＤ８としては、生体に対する吸収率が低い近赤外帯の波長の光（あるいは赤色帯など生体組織に透過率を有する波長の光）を発するものが用いられている。ここでは、図２に見られるように、レンズアレイの周囲を取り囲むように複数のＬＥＤ８が設置されている。

９はＬＥＤ８の駆動部である。装置の電源のＯＮ／ＯＦＦに連動させて駆動部９でＬＥＤ８の発光／消光を行わせるようにしてもよいが、装置電源がＯＮしている時に常にＬＥＤ８を発光させるのは安全上望ましくない。したがって、指１を検知するステッチを設け、このスイッチにより指が検知されている期間のみ駆動部９でＬＥＤ８を発光させるような構成にするのが望ましい。

１０は指１を接触させて、そのレンズ光軸方向における位置を規定するための平板である。ここでは、平板１０は透明な樹脂材料からなる透明部材であるが、これに限られるものではない。平板１０は、少なくとも指に照射される近赤外光等に対して透過率を有するガラスや樹脂などの材料からなる平板部材であればよい。平板１０の下面つまり撮像面に対向する側の面には、指１に照射される光の波長近傍の光を通過させるバンドパスフィルターとして作用する光学薄膜が蒸着されている。かかる構成により、指内部を通過した光のみを用いて被写体像を撮像し、コントラストの高い高品質な画像を取得することができる。

ここでは、平板１０とレンズアレイ３との間に空気層１１を介在させている。この空気層１１を、他の気体もしくは液体を充填した層としたり、真空層としたりしてもよい。また、空気層１１を介在させず、平板１０とレンズアレイ３とを密着させることもできる。平板１０とレンズアレイ３との間に空気層１１を設ける場合、透明平板１０の厚み、空気層１１の厚み、並びにレンズアレイ３の厚みによって、レンズアレイ３を構成する個々のレンズの主平面から被写体までの距離すなわち被写体距離が規定される。平板１０とレンズアレイ３を密着させる場合、平板１０の厚みとレンズアレイ３の厚みとで被写体距離が規定される。平板１０にレンズアレイ３と同じ材料を用いても良い。

図１のように、レンズアレイ３を構成する個々のレンズの略主平面から被写体までの距離をａ（被写体距離）とし、レンズアレイ３を構成する個々のレンズの略主平面から撮像面までの距離をｂ（像面距離）とすると、aとbの比でレンズの光学倍率が決まる。

認証を受けようとする人又は個人データを登録しようとする人は、指１を平板１０及び筐体７に接触させる。この指１にＬＥＤ８の発した近赤外光が照射される。照射された近赤外光は生体内部で透過散乱するが、近赤外光は生体に対して透過率を有するが血液中の還元ヘモグロビンで吸収を受けることが知られている。したがって、血管の部分が暗い血管パターン像がレンズアレイ３により複眼像として撮像素子６の撮像面に結像される。

なお、図１では、ＬＥＤ８の発した光は真上方向へ出射されるが、適正なコントラストの血管パターン像を得られるように、指１の中心へ向けて、あるいは、指１の側面へ向けて斜め上方へ出射させるようにしてもよい。ＬＥＤ８の発した光を効率的に指１に照射するため、指１とＬＥＤ８との間の光路に図１に示すようにレンズを設けてもよい。

また、装置の使用環境によっては、照明用光源としてのＬＥＤ８を設けず、外部の光源を利用して撮像することも全く不可能というわけではない。ただし、ＬＥＤ８により近赤外光を照射するようにすると、使用環境にかかわらず、コントラストの高い鮮明な血管パターン像を撮像することができるため、ＬＥＤ８を設けるのが望ましい。

図３により、撮像面に結像される複眼像の態様を説明する。ここでは便宜的に被写体として（ａ）に示すようなポートレート画像を用いる。この被写体については（ｂ）に示すような複眼像が撮像面に結像される。（ｂ）において、１２はレンズアレイ３を構成する個々のレンズによる像すなわち個眼像であり、レンズ数と同じ数の個眼像の集合したものが複眼像である。１３は遮光部材４による影であり、この領域は複眼像から単一画像への再構成には寄与しない無効な領域である。

さて、レンズアレイ３の各レンズの観察領域２ａは相互にずれている。また、隣接したレンズの観察領域が重なりあう共有領域２ｂが生じる。レンズアレイ３の個々のレンズによる観察領域のサイズｓ、隣接するレンズ間の観察領域のずれ（視差）Δ、及び、共有領域のサイズｗは、レンズ直径ｄ、レンズエッジから遮光壁までの距離ｅ、レンズピッチｐから次の（１）〜（３）式により決まる。
ｓ＝ａ・（ｄ＋２・ｅ）／ｂ （１）
Δ＝ａ・ｐ／ｂ （２）
ｗ＝ｓ−（ｐ＋２・ｅ） （３）

ここで、撮像すべき被写体サイズをu、遮光部材４の矩形孔のサイズをｇ（レンズ光軸と略直交する面内における矩形孔断面の一辺の長さ）、撮像素子６の撮像面のサイズをxとすると、レンズアレイ３を構成する複数のレンズのうち、撮像面の最外部分に対応するレンズの視野と撮像面サイズｘとの和（図１でレンズアレイの最も左に位置するレンズの視野の半分と最も右に位置するレンズの視野の半分と撮像面サイズｘとの和）が、被写体サイズｕより大きければ、サイズｕより小サイズの撮像面を持つ撮像素子６を用いてサイズｕまでの被写体を撮像可能となる。したがって，以下の（４）式の関係を満たすように，遮光部材の矩形孔サイズgと像面距離bを決めることにより、要求される被写体サイズや装置厚みを確保する。
ｇ×ａ／ｂ＋ｘ≧ｕ （４）

ここでは、遮光部材４のレンズ光軸方向の高さにより像面距離bを略規定している（該高さをｂと略一致させている）。この場合、レンズの結像関係は必ずしも成立する必要はなく、レンズのカットオフ周波数が、要求される被写体の周波数を下回らない範囲で、上記（４）式に基づき、指の位置を規定できるように平板１０の位置（距離ａ）及び遮光部材４のレンズ光軸方向の高さを決定する。結像関係が必ずしも成り立たないため、波面収差の増大により撮像される像のコントラストが低下するが、後述するように、レンズの点像関数（ＰＳＦ）や光学伝達関数（ＯＴＦ）を用いたフィルタリングで補償できる。

なお、被写体となる血管とレンズアレイとの間に指の皮膚が介在し、皮膚の厚みには個人差があるため、レンズアレイ３から被写体までの距離すなわち被写体距離が変化する。前記（４）の関係は、被写体がレンズアレイに最も近づいて光学倍率が高くなった場合を想定して考慮すればよい。

以上は、図１における横方向（指１の幅方向）のみに関するものであるが、奥行き方向つまり指１の長さ方向についても考慮するならば次の通りである。遮光部材４の矩形孔サイズをg×h（ｇ，h：レンズ光軸と略直交する面内における矩形孔断面の各辺の長さ）、撮像素子６の撮像面サイズをｘ×y、撮像すべき被写体のサイズ（画像入力装置の被写体位置における視野サイズ）をｕ×ｖとする場合、
ｇ×ａ／ｂ＋ｘ≧ｕ、かつ、ｈ×ａ／ｂ＋ｙ≧ｖ （５）
あるいは
ｈ×ａ／ｂ＋ｙ≧ｕ、かつ、ｇ×ａ／ｂ＋ｘ≧ｖ （６）
を満足するように、平板１０の位置、矩形孔サイズｇ×ｈ、像面距離ｂを設定すればよい。

さて、図１に示すように、平板１０とレンズアレイ３との間に空気層１１を設けた場合、空気層を設けない場合よりレンズの視野が拡大される。これについて図４で説明する。

図４において、（ａ）は空気層がなくレンズから被写体までの空間がレンズ材質で充填されている場合の光線の様子を示している。（ｂ）は空気層１１がある場合の光線の様子を示している（実線）。空気層での屈折の効果により、（ａ）で観察されるレンズの視野ｓ’に対し、（ｂ）で観察される視野ｓが大きくなっていることがわかる。このように、空気層１１を設けると、撮像面の最外部分に対応するレンズの視野と撮像面サイズｘとの和で決定される撮像可能な被写体サイズを拡大することができる。また、同じ視野を確保するためのレンズの略主平面から被写体までの距離ａを短くすることができ、その分だけ画像入力装置の薄くすることができる。また、被写体距離aを一定にした場合、レンズアレイの各レンズの視野角を減じることができるため、その分だけ像品質の低下を抑制できる。

次に、撮像素子６により撮像された複眼像の処理系について説明する。本実施形態においては、画像入力に関連する要素として画像入力部１００、前処理部１０１、視差検出処理部１０１、単一画像再構成部１０４、補正処理部１０５及びＰＳＦパターン記憶部１０６を備え、さらに、個人認証に直接関連する要素として登録処理部１０７、登録データ記憶部１０８及び認証処理部１０９を備える。

画像入力部１００は、撮像素子６より撮像された複眼像のデータを取り込む。なお、以下において複眼像又は個眼像のデータを単に複眼像又は個眼像と記す。

前処理部１０１において、取り込まれた複眼像中の遮光部材４の影に相当する領域を検出し、その領域を無効領域として除去する処理を行う。遮光部材の影領域は最も暗く、また、その領域形状も格子状であるため、複眼像を適当な閾値を用いて２値化することにより影領域を容易に検出することができる。なお、同様の前処理を視差検出処理部１０３の処理の際に行うようにしてもよい。

指の皮膚の厚さは個人差があるため、被写体距離は変動する。また、同一人の指であっても、指を平板１０に強く押し付けた場合と軽く押し付けた場合とでは被写体と平板１０との距離は変化するため、被写体距離は変動する。このような被写体距離の変動により観察領域及び共有領域のサイズも変化する。観察領域及び共有領域のサイズは、複眼像における隣接した個眼像間（又は近傍個眼像間）での相対視差として求めることができる。

視差検出処理部１０３は、このような視差を検出する処理を行う手段である。視差検出処理部１０３においては、まず、遮光部材の影の領域が除去された複眼像から、視差推定に用いるための、血管パターンが含まれる２つの個眼像を抽出する。血管パターンは暗いため、個眼像を２値化することにより血管パターンを容易に抽出することができる。遮光部材の影の部分の明るさと血管パターンの明るさは異なることが多いため、血管パターン抽出のための２値化には、遮光部材影領域を除去するための２値化の閾値と異なった閾値を用いてよい。また、個眼像毎に明るさが異なる場合があるため、個眼像毎に平均輝度値を求め、平均輝度値そのもの、又は、平均輝度値に比例した値を２値化用閾値として用いるようにしてもよい。視差推定のための２つの個眼像は、場所が離れると共有する領域が全くなくなる恐れがあるため、なるべく隣接するレンズによる２つの個眼像を抽出したほうがよいが、複眼像内でのどこにも血管パターンを含む隣接した２つの個眼像が見つからない場合には、隣接しない２つの個眼像を抽出してもよい。

視差検出処理部１０３において、次に抽出した個眼像を用いて視差推定を行う。視差推定は、例えば、一方の個眼像をｘ，ｙ方向にシフトしたものと、もう一方（基準側）の個眼像との間の輝度偏差をとり、その二乗和を求める演算を、シフト量を徐々に変化させながら繰り返し、輝度偏差の二乗和が最小となったｘ，ｙ方向のシフト量をｘ，ｙ方向の視差とするような方法を用いることができる。また例えば、特許文献４の段落（００８７）乃至（００９３）に記載されているような推定処理を視差推定に適用することもできる。

レンズアレイ３のレンズピッチの誤差が、推定される視差に対して十分小さければ、推定演算により２つの個眼像から求めた視差と、レンズアレイのレンズピッチで規定される個眼像の位置関係に基づき、複眼像を構成する全個眼像についての相対視差を算出することができる。レンズアレイ３の加工にエッチングやそれに類する加工法を用いる場合、エッチングに用いるマスク作製時のステージ送り誤差がレンズアレイのレンズピッチ誤差につながるが、レンズアレイの有効レンズ領域は撮像素子６の撮像面積と同程度であり、ステージ送り誤差の影響を受けるほど大きくないため、レンズアレイのレンズピッチ誤差は十分小さいとみなせるため、２つの個眼像間で推定した視差に基づき全個眼像の視差を推定しても問題は生じない。プラスチック成形における膨張や収縮など、レンズアレイ加工時に比較的大きいピッチ誤差要因がある場合は、基準となる１つの個眼像を抽出し、この基準個眼像と血管パターンが含まれる全ての個眼像との間で上述の視差推定演算を行い、また、血管パターンが含まれない個眼像については近い領域にある個眼像の視差と位置関係に基づき視差を算出することにより、全個眼像の相対視差を求める。言うまでもなく、視差推定演算の回数が少ないほど視差検出のための処理時間は短くてすむ。

単一画像再構成処理部１０４は、視差検出処理部１０３により求められた個眼像間の視差を利用し、複眼像から単一画像を再構成する処理を行う。複眼像からの単一画像の再構成には、公知の様々な方法を利用することができる。例を挙げるならば、メモリ上に再構成画像空間を用意し、個眼像の画素輝度を再構成画像空間上の個眼像の位置及び視差に応じて決まる位置に再配置する操作を、全個眼像の全画素について繰り返すことにより、再構成画像空間に単一画像を再構成する方法を用いることができる。また、例えば、特許文献４の段落（００９４）乃至（０１２８）に記載されているような超解像度処理を用いることもできる（ただし、個眼像を低解像度画像、複眼像から再構成した単一画像を高解像度画像と読み替えて適用する）。このような超解像処理は、複数の低解像度画像とそれらの相対視差を利用して、低解像度画像における撮像素子のナイキスト周波数を超える周波数成分を復元するため、レンズアレイによる複眼化、つまり光学系薄型化に伴う光学倍率の縮小により、解像度が低くなった個眼像に対して解像力を向上させた単一画像を再構成できる。

なお、特許文献４の方法では、単眼の光学系により取得した複数枚の画像において、光学系と直交する面内での被写体とカメラとの相対位置ずれを検出し、それを利用して再構成しているが、本発明に適用する場合には、レンズアレイを用いた複眼像を構成する複数の個眼像をそれぞれ画像として扱うことになる。レンズアレイの各レンズによる個眼像は、被写体との位置関係が異なり、相対的なずれがあるため、特許文献４の方法において複数枚取得した画像と同様に扱うことができる。また、特許文献４では、視差が撮像素子の1画素より小さくなる場合を説明しているが、本発明では被写体が撮像光学系に近接して存在するため、隣接個眼像間の視差が1画素より大きくなる、すなわち隣接個眼像間で被写体像を共有しない画素が生じる場合がある。特許文献４の処理は複数枚の画像の全画素が被写体像を共有することを前提としており、被写体像を共有しない画素ではノイズを生じさせるため、推定した視差を利用し被写体像を共有しない画素を求めておき、共有しない画素に対しては広帯域補間や重み積算は行わないようにする必要がある。

視差が大きくなり、個眼像間で被写体像を共有する領域が小さくなる場合は、超解像効果を見込まず、個眼像のつなぎ合わせ処理（下記）を行い、あるいは、推定した視差の大きさに応じて超解像処理とつなぎあわせ処理を選択するようにしてもよい。これにより、中解像処理を全面的に適用する場合に比べ、処理のためのメモリの削減や演算時間の短縮を図ることができる。

個眼像のつなぎ合わせ処理とは、図５に模式的に示すように、隣接する個眼像を共有する領域を重ねてつなぎあわせていく処理である。図５の上段に複眼像を示し、中段に複眼像から抜出し、上下・左右反転した２つの個眼像（１）（２）を示す。個眼像（１）（２）の四角で囲んだ領域が共有領域を表しており、この共有領域がほぼ重なるように個眼像（１）と個眼像（２）をつなぎ合わせる。下段に、つなぎ合わせ後の画像を示す。

より具体的には、被写体距離に応じて隣接する個眼像間で共有する領域が変化するため、検出した視差により、あるいは視差から算出した被写体距離により、隣接する個眼像間での共有領域を算出する。隣接する２つの個眼像のうち、一方の個眼像における共有領域は有効とし、他方の個眼像における共有領域は無効として、有効な領域をつなぎあわせていく。全ての個眼像の有効領域をつなぎ合わせると被写体の単一像が再構成される。

超解像処理の効果を見込むには、撮像素子に取り付けられたローパスフィルタやレンズアレイ３を構成する各レンズのカットオフ周波数などの帯域制限を取り除く必要があるため、前述したように撮像素子６としてローパスフィルタが設けられないものを用いる。また、装置で狙いとする空間周波数（撮像素子のナイキスト周波数より高い周波数）に対してカットオフ周波数が高くなるように、光学系を設計しておく必要がある。超解像効果を見込まない場合はそのような考慮は必要としない。

レンズアレイを用いて薄型化した光学系は、焦点距離が短く、また面数が少ないことから設計の自由度が低い。さらに、個人認証のための指の血管パターンを撮像する用途に適用される本実施形態のように、被写体距離が短く、かつ変動する場合、個眼像全体にわたって歪みやデフォーカスを抑えた画像を得ることは一般に難しい。歪み等を有する個眼像から単一像を再構成すると、不連続な部分が生じるなど画像品質の面で支障をきたすおそれがある。

像歪みとレンズへの光線の入射角に伴うＭＴＦの差異を抑え、該差異抑制に伴うMTFの低下を補正するためには、光学系の設計段階で、あるいは光学系の製造誤差を考慮し装置製造後の評価や検査の段階で、予め求めたＰＳＦパターンを記憶しておき、このＰＳＦパターンを用いたデコンボリューション演算を再構成前の各個眼像又は再構成した単一画像に対し実行するとよく、個眼像あるいは再構成した単一画像全体にわたって歪みやデフォーカスを抑えることができる。ＭＴＦの差異を抑制しきれない場合は、被写体距離もしくは視差ごとに、あるいは光線入射角ごとにPSFパターンを求めて記憶しておき、被写体距離もしくは視差あるいは光線入射角に応じたＰＳＦパターンを用いてデコンボリューション演算を実行するようにするとよい。デコンボリューション演算は再構成する前の各個眼画像に対して実行しても再構成後の単一画像に対して実行してもよい。各個眼画像に対してデコンボリューション演算を実行する場合は、撮像素子のナイキスト周波数で適正に帯域制限したＰＳＦパターンを用いる。再構成画像に対してコンボリューション演算を実行する場合は、超解像処理により広げた帯域に対して適正に帯域制限したＰＳＦパターンを用いる。

補正処理部１０５は上に述べたコンボリューション演算による補正を行う手段であり、補正にはＰＳＦパターン記憶部１０６に記憶されているＰＳＦパターンが用いられる。本実施形態では、異なった視差に対応した複数のＰＳＦパターンがＰＳＦパターン記憶部１０６に格納されており、視差検出処理部１０３で検出された視差に対応するＰＳＦパターンがＰＳＦパターン記憶部１０６より読み出されて補正処理部１０５で用いられる。

なお、要求される被写体サイズや装置厚みによっては、複眼像を構成する各個眼像について、歪曲が大きくなったり、個眼像周辺の光量が低下したりして、再構成像の像品質を低下させる場合があるが、歪曲や周辺光量の低下は光学設計の段階で推定できるため、推定値を用いてそれらの補正が可能である。その場合、複眼像の段階で、各個眼像の歪曲及び周辺光量低下を補正した略正常な個眼像からなる複眼像を生成し、該複眼像から単一画像を再構成すればよい。仮に通常の単眼光学系を用いて、装置を薄型化しつつ被写体の広い視野を観察しようとした場合においても、上記の歪曲と周辺光量の低下が問題となり、上記の手法で補正が可能であるともいえるが、単眼光学系とレンズアレイを構成する１個のレンズで同じ大きさの歪曲や周辺光量低下を補正しようとする場合、本発明による装置は、単眼光学系を用いる場合に対してより装置の薄型化を図ることができる。

本実施形態においては、動作モードとして、個人認証のための個人データを登録するモードと個人認証を実行するモードとを選択することができる。

個人データを登録するモードが選択された場合、個人データを登録しようとする人は指を平板１０に接触させる。指の血管パターンが撮像され、その複眼像が画像入力部１００に取り込まれ、前述したような処理を経て、補正処理部１０５より歪みが補正された血管パターンの単一画像が出力される。登録処理部１０７は、この単一画像をそのまま個人データとして登録データ記憶部１０８に記憶させるか、あるいは、単一画像から血管走行の分岐点座標等の特徴情報を抽出し、この特徴情報を個人データとして登録データ記憶部１０８に記憶させる。

個人認証モードが選択された場合、認証を受けようとする人は指を平板１０に接触させる。指の血管パターンが撮像され、その複眼像が画像入力部１００に取り込まれ、前述したような処理を経て、補正処理部１０５より歪みが補正された血管パターンの単一画像が出力される。認証処理部１０９は、その単一画像と登録データ記憶部１０８に記憶されている個人データとを照合する。個人データが被写体の単一画像そのものである場合には、パターンマッチング演算により照合を行っても、入力された単一画像及び個人データとしての単一画像から血管走行の分岐点座標等の特徴情報を抽出し、それら特徴情報の比較により照合を行ってもよい。個人データとして分岐点座標等の特徴情報が登録されている場合には、入力された単一画像から同様の特徴情報を抽出し、特徴情報の比較により照合を行うことになる。そして、認証処理部１０９は、登録データ記憶部１０８に記憶されている個人データとの照合で一致したと判定した場合には認証成功の旨を出力し、登録データ記憶部１０８に記憶されているどの個人データとの照合でも一致しないと判定した場合には認証不成功の旨を出力する。なお、認証処理において血管走行の分岐点座標等の特徴情報を利用する場合には、特徴抽出処理手段が必要になるが、登録データ記憶部１０８に記憶させるデータ量が少なくて済むメリットがある。

さて、被写体の解像力は、撮像素子のナイキスト周波数と被写体位置での光学倍率との積になる。本実施形態におけるように、皮膚厚みの個人差等により被写体距離が変動する場合、被写体距離が長くなるにつれ光学倍率が低下し、その分解像力が低下していく。解像力の低下に伴い認証に利用し得る血管パターンが少なくなるため、認証精度が低下し、認証のしやすさの個人差が生じる。これに関しては、被写体距離が長くなるにつれて小さくなった（サンプリングが高密度化した）個眼像間での相対視差を用いた上述の超解像処理により補償することで、被写体距離に伴う解像力変動を抑制でき、認証精度の低下、認証のしやすさの個人差を抑えることができる。

レンズアレイ３を構成するレンズについて、図６を参照して説明する。図１に示したレンズアレイの場合、図６（ａ）に示すように片側のみレンズ面をもつ構成である。

本発明の一態様によれば、レンズアレイ３は、図６（ｂ）に示すように、被写体側面に形成されたレンズと撮像側面に形成されたレンズとが対になっており、いずれの面のレンズも被写体側に負のパワーを有する構成とされる。薄型化したいレンズでは、レンズに大きなパワーが要請され、その分、サグ量が大きくなる。サグ量が大きい面や急峻な面は加工が困難である。図６（ｂ）の構成の場合、レンズ面のパワーを２つに分散でき、レンズ面の曲率を小さくできるので、レンズのサグ量ｚを、図６（ａ）の構成のレンズのサグ量ｚ’より小さくすることができるため加工が容易になり、型を用いる成形プロセス等で有利である。

なお、前処理部１０１、視差検出処理部１０３、単一画像再構成処理部１０４、補正処理部１０５、登録処理部１０７、認証処理部１０９は、高速性の面ではハードウェアで実現するのが有利であるが、ノートパソコンや、マイクロコンピュータが内蔵された情報機器に搭載される個人認証装置の場合には、それら処理部の全部又は一部をソフトウェアにより実現するほうがコスト的に有利であろう。

本発明の実施形態に係る装置構成の説明図である。 平板の上から観察した図である。 被写体の複眼像を説明するための図である。 平板とレンズアレイの間の空気層により視野が拡大される様子を説明する図である。 個眼像のつなぎ合わせ処理の説明図である。 レンズ面に強いパワーを持たせることなく広い視野を確保するためのレンズアレイの構成を説明する図である。

符号の説明

１ 指（生体）
２ 血管（生体内被写体）
３ レンズアレイ
４ 遮光部材
６ 撮像素子
８ ＬＥＤ
１０ 平板
１００ 画像入力部
１０１ 前処理部
１０２ 視差検出処理部
１０３ 単一画像再構成処理部
１０５ 補正処理部
１０６ ＰＳＦパターン記憶部
１０７ 登録処理部
１０８ 登録データ記憶部
１０９ 認証処理部

Claims (9)

1. 複数のレンズがアレイ配列されてなるレンズアレイと、
   前記レンズアレイの各レンズを通過する光線の像面上でのクロストークを防ぐための遮光部材と、
   生体と接触して前記レンズアレイのレンズ光軸方向における該生体の位置を規定する平板部材と、
   撮像面を持ち、該撮像面に前記レンズアレイの複数のレンズにより略結像される、前記平板部材によって位置が規定された生体の内部の被写体の縮小像の集合である複眼像を撮像する撮像手段と、
   前記撮像手段により撮像された複眼像から単一画像を再構成する処理手段とを有し、
   前記処理手段により再構成された単一画像を被写体画像として入力することを特徴とする画像入力装置。
2. 前記平板部材と前記レンズアレイとの間に気体又は液体の層を介在させたことを特徴とする請求項１に記載の画像入力装置。
3. 前記層は空気の層であることを特徴とする請求項２に記載の画像入力装置。
4. 前記平板部材と前記レンズレンズアレイとの間に真空層を介在させたことを特徴とする請求項１に記載の画像入力装置。
5. 前記遮光部材は、前記レンズアレイと前記撮像面との間に配置されるとともに前記レンズアレイの各レンズに対応した矩形孔を有し、
   前記矩形孔のサイズをg×h（ただし、gとhは前記レンズアレイのレンズ光軸と略直交する面内における矩形孔断面の各辺の長さ）、前記レンズアレイの各レンズの略主平面から前記被写体までの距離をa、前記レンズアレイの各レンズの略主平面から前記撮像面までの距離をb、前記撮像面のサイズをx×y（ただし、xとyは矩形である前記撮像面の各辺の長さ）、前記被写体の位置における視野のサイズをu×v（ただし、uとvは矩形である視野の各辺の長さ）としたとき、
   g×a／b＋x≧u、かつ、h×a／b＋y≧v の関係
   又は
   h×a／b＋y≧uで、かつ、g×a／b＋x≧v の関係
   を満たしていることを特徴とする請求項１乃至４のいずれか１項に記載の画像入力装置。
6. 前記遮光部材のレンズ光軸方向の高さを前記距離ｂと略一致させたことを特徴とする請求項５に記載の画像入力装置。
7. 前記レンズアレイは前記被写体に対向する面及び前記撮像面に対向する面とで対をなすようにレンズが形成されたものであり、前記被写体に対向する面に形成されたレンズ及び前記撮像面に対向する面に形成されたレンズはそれぞれ前記被写体の方向に負のパワーを有することを特徴とする請求項１乃至６のいずれか１項に記載の画像入力装置。
8. 前記平板部材に接触する生体へ光を照射するための光源をさらに有し、前記平板部材は前記光源により照射される光に対して透過率を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像入力装置。
9. 前記請求項１乃至８のいずれか１項に記載の画像入力装置と、
   前記画像入力装置により入力される被写体画像を用いて認証処理を行う認証処理手段と、
   を有することを特徴とする個人認証装置。

Images