JP2008225671A - 画像入力装置及び個人認証装置 - Google Patents

Abstract

【課題】指の静脈パターンを利用する個人認証装置を薄型化するとともに、指の皮膚厚のばらつき等による被写体距離の変動に対応できるようにする。
【解決手段】レンズアレイ３を通して指１の静脈２を複眼画像として撮像する。撮像した複眼画像中の個眼画像間の視差を視差検出部１０２で検出する。再構成方法選択部１０６は、視差が閾値ＴＨを超えるときには、再構成処理部１０３の繋ぎ合わせ処理部１０４Ａで繋ぎ合わせ法による再構成処理を実行させ、視差が閾値ＴＨ以下のときには、再構成処理部１０３の画素再配置処理部１０４Ｂで画素再配置法による再構成処理を実行させる。
【選択図】図１

Description

本発明は、生体内部の被写体を撮像した画像を利用して個人認証を行う個人認証装置と、そのような個人認証装置の被写体画像入力手段として好適な画像入力装置に関する。

人の指を赤外光又は近赤外光で照明した状態で、単眼光学系を通して指内部の静脈パターンを撮像し、その静脈パターンから個人認証を行う個人認証装置が特許文献１，２，３に記載されている。

また、複眼光学系を用いた薄型の画像入力装置が特許文献４，５及び非特許文献１に記載されている。非特許文献１には、指紋認証システムへの適用を目的とした指紋入力への応用例も記載されている。

特開２００４−２７２８１号公報 特開２００５−９２３７５号公報 特開平７−２１３７３号公報 特許第３７０５７６６号公報 特開２００１−６１１０９号公報 生源寺類ほか，「複眼光学系を用いた薄型画像入力装置の開発」，映像情報メディア学会誌 Vol.57，No.9, pp.1135−1141（2003）

指の静脈パターン等を利用して個人認証を行う個人認証装置を携帯電話やノートパソコン等の小型電子機器に搭載する場合、個人認証装置の小型化、特に薄型化が強く求められる。

しかし、特許文献１，２，３に記載されているような個人認証装置は、静脈パターンを、単眼光学系を通して撮像する構成であるため、光学結像関係から被写体距離や撮像距離が制限され、装置の薄型化に限界がある。

個人認証装置の薄型化のためには、指の静脈等の生体内部の被写体の像を入力するための画像入力装置の薄型化が最も重要である。画像入力装置の薄型化には、特許文献４，５や非特許文献１に記載されているような複眼光学系を応用すると一般に有利であろう。しかし、個人認証装置の被写体画像入力手段としての画像入力装置は、単に薄型化できればよいという訳ではなく、被写体像を品質の良い画像として入力できるものでなければならない。

また、個人認証装置のための画像入力装置では、被写体距離の変動に対応できなければならない。例えば指の内部の静脈を被写体として撮像する場合、指の皮膚厚等の個人差により被写体距離はかなりの幅で変動するからである。そして、複眼光学系を用いる画像入力装置の場合、被写体像は複眼画像として撮像されるため、その複眼画像から単一の画像を再構成して入力する必要があるが、被写体距離が変動しても品質のよい画像を再構成することができなけばならない。

以上の点に鑑み、本発明は、薄型化が容易な構成であって、かつ、被写体距離が変動しても品質の良い被写体画像を入力することができる、個人認証装置の被写体画像入力手段として好適な画像入力装置を提供することを目的とする。本発明のもう１つの目的は、薄型化が容易であって、かつ、被写体距離の変動に強い個人認証装置を提供することにある。

請求項１記載の発明に係る画像入力装置は、
複数の単レンズがアレイ配列されたレンズアレイを通して生体の内部の被写体を複眼画像として撮像する撮像光学系と、
前記撮像光学系により撮像された複眼画像（以下、単に複眼画像と記す）中の個眼画像間の視差を検出する視差検出手段と、
前記視差検出手段により検出された視差を利用し、前記複眼画像中の複数の個眼画像を繋ぎ合わせる第１の再構成方法によって、前記複眼画像中の複数の個眼画像から単一の画像を再構成する繋ぎ合わせ処理手段、及び、前記視差検出手段により検出された視差を利用し、前記複眼画像中の複数の個眼画像の画素輝度を再配置する第２の再構成方法によって、前記複眼画像中の複数の個眼画像から単一の画像を再構成する画素再配置処理手段を含む再構成処理手段と、
前記再構成処理手段における再構成方法として前記第１と第２の再構成方法のいずれか一方を選択する再構成方法選択手段とを有し、
前記再構成処理手段は、前記再構成方法選択手段により前記第１の再構成方法が選択されたときに前記繋ぎ合わせ処理手段により再構成した画像を出力し、前記再構成方法選択手段により前記第２の再構成方法が選択されたときに前記画素再配置処理手段により再構成した画像を出力することを特徴とする。

請求項２記載の発明の特徴は、請求項１記載の発明に係る画像入力装置において、前記再構成方法選択手段が、前記視差検出手段により検出された視差の大きさに応じて前記再構成処理手段における再構成方法を選択することにある。

請求項３記載の発明の特徴は、請求項１記載の発明に係る画像入力装置において、前記再構成方法選択手段に対し選択する再構成方法を任意に指定可能であることである。

請求項４記載の発明の特徴は、請求項１，２又は３記載の発明に係る画像入力装置において、前記再構成処理手段が、前記繋ぎ合わせ処理手段又は前記画素再配置処理手段により再構成された画像のサイズを正規化するサイズ正規化処理手段を含み、該サイズ正規化処理手段により正規化後の画像を出力することにある。

請求項５記載の発明の特徴は、請求項１記載の発明に係る画像入力装置において、前記撮像光学系が前記生体を照明する光源を含むことにある。

請求項６記載の発明に係る個人認証装置は、
請求項１乃至５のいずれか１項記載の発明に係る画像入力装置と、
前記画像入力装置の再構成処理手段より出力された画像又はその特徴と、登録情報記憶手段に登録者情報として記憶されている画像又はその特徴とのマッチング演算により個人認証を行う認証処理手段とを有することを特徴とする。

請求項７記載の発明の特徴は、請求項６記載の発明に係る個人認証装置の構成に加え、前記再構成処理手段より出力された画像又はその特徴を登録者情報として前記登録情報記憶手段に記憶させる手段を有することにある。

本発明（請求項１乃至５）の画像入力装置は、以下のような利点を有し、個人認証装置の被写体画像入力手段として好適である。
・撮像光学系はレンズアレイを用いる複眼光学系であるので容易に薄型化することができ、したがって装置全体の薄型化が容易である。
・再構成処理手段は２種類の再構成方法（繋ぎ合わせ法と画素再配置法）による再構成処理が可能な構成であり、再構成方法選択手段により選択された再構成方法により再構成した画像を入力することができる。視差の大きさに応じて自動的に再構成方法を選択させることも（請求項２）、任意に指定した再構成方法を選択させることもできる（請求項３）。したがって、被写体距離が大きい（視差が小さい）場合から被写体距離が小さい（視差が大きい）場合まで、それに適した再構成方法により再構成した品質の安定した被写体画像を入力させることができる（詳細については図４に関連した説明を参照）。
・再構成処理手段はサイズ正規化処理手段を含むため（請求項４）、いずれの再構成方法が選択されてもサイズが一定した被写体画像を入力することができる。このことは、被写体画像を利用して個人認証を行う側で画像サイズの変動の影響を受けやすい場合に重要である。
・撮像光学系に生体を照明するための光源を含むため（請求項５）、自然光や室内照明等の光量が不足する環境においてもコントラストの良好な複眼画像を撮像し、コントラストの良好な被写体画像を再構成して入力することができる。

本発明（請求項６，７）の個人認証装置は、被写体画像の入力手段として本発明（請求項１乃至５）の画像入力装置を用いるため、装置全体を容易に薄型化することができ、また、被写体距離が変動しても精度の良い個人認証が可能である等々の利点を有する。

以下、図面を参照し本発明の実施の形態について詳細に説明する。ここでは、生体として人の指を想定し、指内部の静脈を被写体として撮像して静脈パターンの画像を入力する画像入力装置と、この画像入力装置を含み、それにより入力された静脈パターン画像又はその特徴を個人認証に利用する個人認証装置について説明する。

図１は、本発明の一実施形態に係る画像入力装置及び個人認証装置の構成説明図である。図１において、１は横方向から観察した指を模式的に表している。２は指内部の被写体である静脈を模式的に示している。

１０は、指１の内部の静脈２を複眼画像として撮像するための撮像光学系である。この撮像光学系１０において、３は被写体像を結像させるためのレンズアレイであり、複数の非球面の単レンズがレンズ光軸に直交する平面内に２次元アレイ配列された構造である。ただし、レンズアレイ３の単レンズは片面球面レンズや両面球面レンズとしてもよい。４は遮光壁であり、レンズアレイ３の各単レンズを通過した光線の像面上でのクロストークを防止し、ゴーストやフレアなどのノイズ光を抑制する。

レンズアレイ３は、透明の樹脂やガラスを材料として、リフロー法や面積階調マスク法、研磨法などの加工法により、あるいは、それらの加工法で作製した型を用いた成形加工法等により作製することができる。遮光壁４は、樹脂、ガラス、金属などを材料とした平板に、エッチングや研磨、レーザ加工等で穴あけすることにより作製することができる。遮光壁４は、不透明材料を用いたり、透明材料にコーティングを施したりして、光の透過や反射を抑制できるようにすることが望ましい。

撮像光学系１０において、５はレンズアレイ３により結像される像を撮像するための撮像素子であり、受光素子５aが２次元アレイ配置されている。この撮像素子５としては、一般的なＣＣＤ撮像素子やＣＭＯＳ撮像素子を用いることができる。なお、撮像素子５の撮像面に撮像される画像は、レンズアレイ３上の個々の単レンズにより結像される像（個眼画像）の集まりである複眼画像であるが、個々の個眼画像を必要な画素数の画像として撮像できる密度で受光素子５ａが配列されている。また、撮像素子５は、受光素子５ａによる光電変換信号のゲインを調整したりアナログ信号からデジタル信号へ変換したりする回路を内蔵し、撮像画像をデジタル画像データとして出力する構成のものである。６は撮像素子５の撮像面を保護するための透明ガラス板である。

７は生体による吸収率が低い近赤外帯の波長の光を指１に照射するための光源である。この光源６としては、発光ダイオード（ＬＥＤ）やレーザダイオード（ＬＤ）、あるいは、そのアレイ光源を用いることができる。８は光源７の発光波長近傍の光のみを通過させる光学的バンドバスフィルターである。光源７により指１に照射された近赤外光は指内部の静脈（被写体）２内の還元ヘモグロビンに吸収されるが、静脈以外の組織には殆ど吸収されないため、静脈２を暗いパターンとして透視可能である。したがって、レンズアレイ３により、静脈パターンが暗く、それ以外の部分が明るい静脈パターン像が撮像素子５の撮像面上に結像される。

なお、図１では光源７が１個だけ示されているが、指１の所定範囲を照明できるように光源７を複数個設けてもよい。また、図１では指１を挟んでレンズアレイ３と反対側の方向から照明するように光源７が配置されているが、照明光は指１の内部であらゆる方向に拡散されるため、レンズアレイ３側や指１の側面側から照明するように光源７を配置してもよい。また、太陽光などの自然光にも近赤外線は含まれるため、自然光あるいは室内照明で十分なコントラストの画像を撮像できるような環境を前提とする場合には、光源７を省くことも可能である。ただし、光源７を設ければ、環境に影響されることなく、コントラストの良好な複眼画像を撮像できる。なお、近赤外光以外のノイズ光の影響を考慮する必要がない場合には、光学的バンドパスフィルター８を省くことも可能である。

以上に説明した撮像光学系１０は、レンズアレイ３を通して被写体を複眼画像として撮像する複眼光学系であるので、容易に全体の厚みを小さくすることができ、したがって携帯情報端末やノートパソコンのような小型電子機器に搭載する場合に有利である。

図５に、撮像素子５の撮像面に結像される複眼画像を模式的に示す。ここでは人間の顔を被写体とした場合の複眼画像が便宜上示されているが、実際には静脈パターンの複眼画像である。図示した複眼画像中の格子状の暗い部分は遮光壁４の影である。この影の部分で区切られた方形領域が各単レンズに対応した個眼画像である。図１において、２ａは各単レンズの視野を示しており、２ｂは隣接した単レンズの視野が共有する領域である。したがって、結像される複眼画像中の隣接した個眼画像は、そのような共有領域を有する。単レンズの視野２ａの、隣接単レンズの視野と共有しない領域が両単レンズ間の「視差」に相当する。複眼画像中の隣接した個眼画像は視差の分だけｘ，ｙ方向に相対的にシフトした画像となる。

図１を参照する。画像入力部１００は撮像素子５より出力される複眼画像データ（以下、単に複眼画像と記す）を取り込む手段である。個眼像抽出部１０１は取り込まれた複眼画像中の個眼画像を抽出する手段である。視差検出部１０２は複眼画像中の個眼画像間の視差を検出する手段である。

再構成処理部１０３は複眼画像中の多数の個眼画像から単一の画像を再構成する手段である。再構成処理部１０３は、繋ぎ合わせ法（第１の再構成方法）による再構成処理のための繋ぎ合わせ処理部１０４Ａ、画素再配置法（第２の再構成方法）による再構成処理のための画素再配置処理部１０４Ｂ、及び、繋ぎ合わせ処理部１０４Ａ又は画素再配置処理部１０４Ｂによる再構成画像のサイズを正規化する処理を行うサイズ正規化処理部１０５から構成される。

再構成方法選択部１０６は、再構成処理１０３における再構成方法の選択（すなわち繋ぎ合わせ処理部１０４と画素再配置処理部１０４Ｂのいずれを利用するかの選択）を行う手段である。再構成方法選択部１０６は、視差の大きさに応じて自動的に再構成方法を選択する機能と、不図示の操作部等からの指定に従って一方の再構成方法を選択する機能とを有する。ここまで説明した要素は画像入力装置の構成要素である。

認証処理部１０７は、再構成処理部１０３よる再構成画像又はその特徴（例えば再構成画像中の静脈パターンの分岐位置や分岐数）と、登録情報記憶部１１０に登録者情報として記憶されている同様の画像又はその特徴とのマッチング演算により、指１の持ち主が登録者本人である否かの個人認証を行う処理手段である。認証処理部１０７は、特徴抽出部１０８とマッチング演算部１０９とから構成されている。登録処理部１１１は、再構成処理部１０３による再構成画像（静脈パターン画像）又は特徴抽出部１０８により抽出された特徴を登録情報記憶部１１０に登録者情報として記憶させる手段である。

図２は、本実施形態に係る画像入力装置及び個人認証装置の動作説明のためのフローチャートである。以下、このフローチャートに示す処理の流れに沿って、各部の動作を詳細に説明する。

まず、撮像素子５により撮像された静脈パターンの複眼画像が画像入力部１００によって取り込まれ、不図示のメモリ上に記憶される（ステップＳ１００）。

次に個眼画像抽出部１０１によって、メモリ上の複眼画像中の各個眼画像の領域が抽出される（ステップＳ１０１）。図５に模式的に示したように、複眼画像中の個々の個眼画像は遮光壁の影部によって区切られてあるが、遮光壁影部は最も暗いため、複眼画像の輝度を適当な閾値と比較することにより遮光壁影部を検出することにより、遮光壁影部に囲まれた方形領域である個眼画像の領域を容易に認識することができる。このようにして遮光壁影部を除いた個眼画像の集合を、再構成処理部１０１及び視差検出部１０２よりアクセスすることができる。

次に、視差検出部１０２により個眼画像間の視差が検出される（ステップＳ１０２）。この視差検出処理においては、まずレンズアレイ３上の単レンズと同じ個数の個眼画像の中から、視差検出のための個眼画像のペアを選び出す。視差を検出するためには、静脈パターンが含まれている個眼画像を用いる必要がある。個眼像に静脈パターンが含まれているか否かの判定は、例えば、画像の横，縦（x，y）方向について隣接画素間の輝度の差を求め、その輝度差が所定の閾値以上であるか調べる方法によって行うことができる。

次に、選び出した個眼画像のペアの輝度分布を、ブロックマッチング演算の（１）式に代入することにより、ｘ，ｙ方向における視差を求める。

上記（１）式において、Ｉ_Bは基準側の個眼画像で、Ｉ_mはもう一方の個眼画像である。Ｐｘ，Ｐｙを徐々に変化させながら、個眼画像を構成する全画素について両個眼画像の輝度偏差の二乗和Ｅを計算し、その値が最小となるときのＰｘ，Ｐｙがｘ，ｙ方向における両個眼像間の視差となる。図３はｘ軸にＰｘ、y軸にＰｙ、ｚ軸にＥをとり、Ｐｘ，Ｐｙを変化させたときのＥの変化を示す鳥瞰図である。このように、一方の個眼画像に対する、もう一方の個眼画像のｘ，ｙ方向のシフト量（単位は長さ）を視差として求めている。検出された視差は再構成処理部１０３及び再構成処理方法選択部１０６へ入力される。なお、輝度偏差の二乗和を最小化する方法に代えて、個眼画像間の相互相関を最大化する方法を用いて視差を求めることもできる。

当該個人認証装置の備える不図示の操作部、あるいは当該個人認証装置が搭載された電子機器等の操作部を操作することにより、制御信号２００を通じて再構成方法選択部１０６に対し、再構成方法の自動選択と、任意の再構成方法の選択を指定可能である。

再構成方法の自動選択が指定されている場合（ステップＳ１０３，Ｙｅｓ）、再構成方法選択部１０６は、視差検出部１０２により検出された視差と所定の閾値ＴＨとの比較判定を行う（ステップＳ１０４）。そして、視差が閾値ＴＨより大きいと判定したときには（ステップＳ１０４，Ｙｅｓ）、繋ぎ合わせ法を選択して繋ぎ合わせ処理部１０４Ａを作動させ（ステップＳ１０５）、視差が閾値ＴＨ以下であると判定したときには（ステップＳ１０４，Ｎｏ）、画素再配置法を選択して画素再配置処理部１０４Ｂを作動させる（ステップＳ１０６）。

再構成方法の自動選択ではなく、繋ぎ合わせ法が指定されている場合（ステップＳ１０３，Ｎｏ，ステップＳ１０７，Ｙｅｓ）、再構成方法選択部１０６は繋ぎ合わせ法を選択して繋ぎ合わせ処理部１０４Ａを作動させる（ステップＳ１０５）。再構成方法の自動選択ではなく画素再配置法が指定されている場合（ステップＳ１０３，Ｎｏ，ステップＳ１０７，Ｎｏ）、再構成方法選択部１０６は画素再配置法を選択して画素再配置処理部１０４Ｂを作動させる（ステップＳ１０６）。

ここで、被写体距離・視差と再構成方法との関係について図４により説明する。指の皮膚厚さ等の個人差から、被写体距離はかなりばらつきがある。図４（ａ）のように、被写体である静脈２がレンズアレイ３から遠い位置にあると、隣接した単レンズの視野の共有領域２ｂが大きくなり、したがって、両単レンズにより結像される個眼画像間の視差は小さくなる。図４（ｂ）のように、被写体である静脈２がレンズアレイ３に近づくと、隣接した単レンズの視野の共有領域２ｂは極めて小さくなり、したがって、両単レンズにより結像される個眼画像間の視差はほぼ最大となる。

本発明においては、複眼画像中の複数の個眼画像から単一画像を再構成する方法として、繋ぎ合わせ法と画素再配置法を選択可能である。繋ぎ合わせ法は、隣接した個眼画像を上下左右に反転させてから、その共有領域が重なるように単純に繋ぎ合わせる方法であり、画素再配置法に比べ処理負担が軽く高速処理が可能である。しかし、繋ぎ合わせ法では、隣接した個眼画像の一方の共通領域は無効とされるため、図４（ａ）のように視差が小さく、したがって隣接個眼画像間の共有領域が大きい場合、無効とされる領域が増え、その分だけ再構成画像の画素数（サイズ）が減少し解像力が低下する。これに対し、画素再配置法は、視差を利用し、個眼画像の画素輝度を再配置することによって、複数の個眼画像から単一の画像を再構成する方法であるため、図４（ａ）のように視差が小さく個眼画像間の共有領域が大きくなっても、解像力の高い再構成画像の生成が可能である。

一方、図４（ｂ）のように、隣接単レンズの視野の共有領域が極めて小さく、視差が大きくなった場合、視差の検出精度が悪くなるため画素再配置法では再構成画像の品質が悪化する恐れがある。この場合、繋ぎ合わせ法で、個眼画像を上下左右に反転したものを単純に繋ぎ合わせても、それなりの品質の再構成画像が得られるため、画像品質の安定性の面で繋ぎ合わせ法が有利である。

なお、撮像距離を被写体距離に比べ充分に短くできるならば、図４（ｂ）のような状況を回避できる。しかし、通常、撮像面の前面に保護のための透明ガラス板６を設けるので、レンズアレイ３と撮像面との間にその分の距離を空ける必要があるため、撮像距離の短縮には限界がある。また、皮膚厚等の個人差から被写体距離のばらつき幅がかなり大きい。したがって、現実的には図４（ｂ）のような状況を考慮しなければならない。

本発明では以上の事情を考慮し、前述のように視差の大きさに応じて再構成方法を自動的に選択できるようにしている。すなわち、視差の判定閾値ＴＨを適切に選ぶことにより、繋ぎ合わせ法が有利な視差範囲では再構成方法として繋ぎ合わせ法を選択し、画素再配置法が有利な視差の範囲では再構成方法として画素再配置法を選択する。このようにすることにより、図４に示したような視差の小さい場合から視差の小さな場合まで、所要品質の単一画像の再構成が可能となる。

また、子供の場合、一般に成人の場合に比べ被写体距離が小さい。成人でも、男性に比べ女性のほうが、一般に被写体距離が小さい傾向がある。したがって、認証対象者の属性等に基づいて再構成方法を指定したい場合もあり得る。この点を考慮し、本実施形態においては、不図示の操作部等の操作に応じて、制御信号２００により、繋ぎ合わせ法又は画素再配置法を任意に指定できるようにしている。

次に、再構成処理部１０３において、再構成方法選択部１０６により選択された再構成方法により複眼画像中の複数の個眼画像から単一画像を再構成する処理が繋ぎ合わせ処理部１０４Ａ又は画素再配置処理部１０４Ｂで実行される（ステップＳ１０８又はＳ１０９）。再構成画像のサイズは、その再構成方法によって、また視差によって変化するため、再構成処理部１０３のサイズ正規化処理部１０５で、再構成画像を所定サイズに正規化する処理を行う（ステップＳ１１０）。ただし、認証処理部１０７側で画像サイズのばらつきが問題にならない場合には、このサイズ正規化処理を省くこともできる。

繋ぎ合わせ処理部１０４は、繋ぎ合わせ法による再構成処理を行う。この処理は、図５の下部分に模式的に示すように、隣接した個眼画像（１）と個眼画像（２）を左右上下の反転を元に戻した後、その共有領域を重なるように繋ぎ合わせる処理である。個眼画像間のｘ，ｙ方向の視差を均等とみなすことができる場合の繋ぎ合わせ法による再構成処理の例を図６を用いて説明する。ここでは、図５に示す複眼画像の最上段の行（１行目）の個眼画像を左から（０，０），（０，１），（０，２），．．の座標で表し、その下の２行目の個眼画像を左から（１，０），（１，１），（１，２），．．．の座標で表すものとする。

図６（ａ）に示すように、１行目の個眼画像を、上下左右を反転してから、共有領域を重ねるように繋ぎ合わせる。すなわち、メモリ上に、上下左右反転後の個眼画像（０，０）を書き込み、次に上下左右反転後の個眼画像（０，１）を、ｘ方向の視差の分だけシフトした位置に書き込む。１行目ではｘ方向の視差のみ考慮すればよい。斜線領域は個眼画像（０，０）と個眼画像（０，１）の共有領域で、この領域は個眼画像（０，１）により上書きされる形になる。同様の書き込みを繰り返し、１行目の個眼画像を繋ぎ合わせた画像が得られる。

次に、図６（ｂ）に示すように、２行目の個眼画像（１，０），（１，１），（１，２），．．．を上下左右に反転したものを、ｘ，ｙ方向の視差の分だけシフトした位置に順次書き込む。斜線領域は、個眼画像（１，０）と１行目の個眼画像（０，０）の共有領域である。これで２行目までの個眼画像の繋ぎ合わせた画像が得られる。３行目以降の個眼画像についても同様の繋ぎ合わせ処理を行うことにより、全個眼画像を繋ぎ合わせた再構成画像を得ることができる。なお、各行について、図６（ａ）のような繋ぎ合わせ処理を行って行画像を生成し、隣接した行画像を繋ぎ合わせる処理を行うような処理方法をとることも可能である。

画素再配置処理部１０４は、画素再配置法による再構成処理を行う。この処理は、図７に模式的に示すように、複眼画像９中の各個眼画像９ａから画素輝度を取り出し、メモリ上の再構成画像空間８の該個眼画像の位置及び視差に応じて決まる位置に、取り出した画素輝度を再配置する操作を、各個眼画像の全画素について繰り返すことにより、再構成画像空間８に単一画像を再構成する処理である。なお、再構成画像に輝度が欠失した画素が生じるときは、その隣接画素の輝度を参照して補間する。視差が画素サイズより小さい場合には、視差の大きさが画素サイズ又はその整数倍になるように再構成画像を拡大し、すなわち再構成画像の構成画素数を増やし、同様の画素輝度の再配置を行えばよい。

ここまでの説明から理解されるように、個眼画像抽出部１０１は、視差検出部１０２及び再構成処理部１０３の前処理部として位置づけられるものである。したがって、視差検出部１０２及び／又は再構成処理部１０３に個眼画像抽出部１０１の機能を持たせるならば、独立した個眼画像抽出部１０１を設ける必要はない。以上、画像入力装置としての動作を説明した。

さて、再構成処理部１０３より再構成画像が出力されると、認証処理部１０７による認証処理（ステップＳ１１２）又は登録処理部１１１による登録処理（ステップＳ１１３）が実行される。いずれの処理を行うかは、不図示の操作部の操作に応じた制御信号２０１，２０２に基づいて決定される（ステップＳ１１１）。

認証処理（ステップＳ１１２）について説明する。認証処理部１０７においては、画像マッチングによる認証処理と特徴マッチングによる認証処理とが可能であり、いずれの認証処理を選択するかは制御信号２０１により指定される。

特徴マッチングによる認証処理が指定された場合、再構成処理部１０３より出力された画像中の静脈パターンの特徴、例えば分岐点位置や分岐点数等が特徴抽出部１０８により抽出される。マッチング演算部１０９では、その抽出された特徴と、登録情報記憶部１１０より読み込んだ登録者の同様の特徴とのマッチング演算を行い、所定以上の類似度が得られたときに指１の持ち主を登録者本人と認証する。

画像マッチングによる認証処理が指定された場合、特徴抽出部１０８による特徴抽出は行われない。マッチング演算部１０９では、再構成処理部１０３より出力された画像と、登録情報記憶部１１０より読み込んだ登録者の同様の画像とのマッチング演算を行い、所定以上の類似度が得られたときに登録者本人と認証する。

登録処理（ステップＳ１１３）について説明する。登録処理部１０７においては、登録者情報として画像を登録する処理と特徴を登録する処理とが可能であり、いずれの認証処理を選択するかは、不図示の操作部等の操作に応じた制御信号２０２により指定される。特徴を登録する処理が指定される場合には、制御信号２０１により特徴抽出部１０８が作動させられる。

画像を登録する処理が指定された場合、登録処理部１１１により、再構成処理部１０３より出力された画像が登録情報記憶部１１０に書き込まれる。特徴を登録する処理が指定された場合、特徴抽出１０８により画像中の静脈パターンの特徴が抽出され、この特徴が登録処理部１１１により登録者情報として登録情報記憶部１１０に書き込まれる。

再構成方法の違いにより、再構成された画像又はそれから抽出される特徴に多少の違いが生じる可能性がある。しかし、同じ登録者については、登録時及び認証時の両方で同じ再構成方法が選択される確率が極めて高いため、そのような再構成方法の違いによる影響を受けにくい。なお、登録処理部１１１に、特徴抽出部１０７と同様の特徴抽出手段を設けることも可能である。ただし、同様の手段を認証処理部１０７と登録処理部１１１に重複して設けることはコスト的には不利である。

本発明の他の実施形態によれば、登録処理において、再構成処理部１０３による再構成画像に代え、個眼画像抽出部１０１により抽出された個眼画像の集合である複眼画像（遮光壁の影を除去した複眼画像）を登録情報記憶部１１１に記憶させることも可能である。この場合、視差検出部１０２により検出された視差を複眼画像と組にして登録情報記憶部１１０に記憶させるのが好ましい。解像力が低く像の上下左右が反転した多数の単眼画像の集まりである複眼画像は、その再構成画像に比べ、内容を認識しにくく秘匿性が高い。したがって、複眼画像を登録する方が、再構成画像を登録する場合に比べ個人情報の保護の面で有利である。

登録情報記憶部１１０に登録された複眼画像を利用する個人認証処理は次の通りである。登録情報記憶部１１０より登録者の複眼画像及び視差が読み出され、その複眼画像及び視差は再構成処理部１０３に入力され、また、その視差は再構成方法選択部１０６へ入力される。再構成方法選択部１０６で視差に基づいて再構成方法が選択され、選択された再構成方法による再構成処理が再構成処理部１０３で実行され、その再構成画像が認証処理部１０９へ入力される。認証処理部１０７には、画像入力部１００より取り込んだ複眼画像に基づき生成された再構成画像も入力される。認証処理部１０９においては、その２つの再構成画像についての画像マッチング演算がマッチング演算部１０９で実行され、あるいは、特徴抽出部１０８により両再構成画像から抽出された特徴についての特徴マッチング演算がマッチング演算部１０９で実行される。

なお、再構成処理部１０３に個眼像抽出部１０１の機能を持たせる場合には、画像入力部１００により取り込まれた複眼画像そのものを登録者情報として登録情報記憶部１１０に記憶させることも可能である。この場合、再構成処理部１０３において、登録者情報としての複眼画像より遮光壁の影部分を除いた個眼画像を抽出し、その単一画像への再構成処理を行うことになる。

本発明の一実施形態に係る画像入力装置と個人認証装置の構成説明図である。 個人認証装置の動作説明のためのフローチャートである。 個眼画像間のｘ，ｙ方向の視差をｘ，ｙ軸に、個眼画像間の画素輝度の偏差の二乗和Ｅをｚ軸にとったときの、視差の変化に伴うＥの変化を表した図である。 被写体距離と、各単レンズの視野及び隣接単レンズ間で共有する視野との関係を示した模式図である。 複眼画像と、個眼画像の繋ぎ合わせ処理を説明するための模式図である。 個眼画像間の視差が均等な場合の繋ぎ合わせ法による再構成処理の一例を説明するための模式図である。 画素再配置法による再構成処理を説明するための模式図である。

符号の説明

１ 指（生体）
２ 静脈（被写体）
２ａ 単レンズの視野
２ｂ 隣接した単レンズの視野の共通領域
３ レンズアレイ
４ 遮光壁
５ 撮像素子
６ 透明ガラス板
７ 光源
８ 光学的バンドパスフィルター
１０ 撮像光学系
１００ 画像入力部
１０１ 個眼画像抽出部
１０２ 視差検出部
１０３ 再構成処理部
１０４Ａ 繋ぎ合わせ処理部
１０４Ｂ 画素再配置処理部
１０５ サイズ正規化処理部
１０６ 再構成方法選択部
１０７ 認証処理部
１０８ 特徴抽出部
１０９ マッチング演算部
１１０ 登録情報記憶部
１１１ 登録処理部

Claims (7)

1. 複数の単レンズがアレイ配列されたレンズアレイを通して生体の内部の被写体を複眼画像として撮像する撮像光学系と、
   前記撮像光学系により撮像された複眼画像（以下、単に複眼画像と記す）中の個眼画像間の視差を検出する視差検出手段と、
   前記視差検出手段により検出された視差を利用し、前記複眼画像中の複数の個眼画像を繋ぎ合わせる第１の再構成方法によって、前記複眼画像中の複数の個眼画像から単一の画像を再構成する繋ぎ合わせ処理手段、及び、前記視差検出手段により検出された視差を利用し、前記複眼画像中の複数の個眼画像の画素輝度を再配置する第２の再構成方法によって、前記複眼画像中の複数の個眼画像から単一の画像を再構成する画素再配置処理手段を含む再構成処理手段と、
   前記再構成処理手段における再構成方法として前記第１と第２の再構成方法のいずれか一方を選択する再構成方法選択手段とを有し、
   前記再構成処理手段は、前記再構成方法選択手段により前記第１の再構成方法が選択されたときに前記繋ぎ合わせ処理手段により再構成した画像を出力し、前記再構成方法選択手段により前記第２の再構成方法が選択されたときに前記画素再配置処理手段により再構成した画像を出力することを特徴とする画像入力装置。
2. 前記再構成方法選択手段は、前記視差検出手段により検出された視差の大きさに応じて前記再構成処理手段における再構成方法を選択することを特徴とする請求項１記載の画像入力装置。
3. 前記再構成方法選択手段に対し、選択する再構成方法を任意に指定可能であることを特徴とする請求項１記載の画像入力装置。
4. 前記再構成処理手段は、前記繋ぎ合わせ処理手段又は前記画素再配置処理手段により再構成された画像のサイズを正規化するサイズ正規化処理手段を含み、該サイズ正規化処理手段により正規化後の画像を出力することを特徴とする請求項１，２又は３記載の画像入力装置。
5. 前記撮像光学系は、前記生体を照明する光源を含むことを特徴とする請求項１記載の画像入力装置。
6. 請求項１乃至５のいずれか１項記載の画像入力装置と、
   前記画像入力装置の再構成処理手段より出力された画像又はその特徴と、登録情報記憶手段に登録者情報として記憶されている画像又はその特徴とのマッチング演算により個人認証を行う認証処理手段とを有することを特徴とする個人認証装置。
7. 前記再構成処理手段より出力された画像又はその特徴を登録者情報として前記登録情報記憶手段に記憶させる手段を有することを特徴とする請求項６記載の個人認証装置。

Images