JP2004213689A - 画像入力装置及び指紋認識装置 - Google Patents

Abstract

【課題】 小型の光センサを用いて認証に適した静止画像に近い画像を得る。
【解決手段】 被写体がセンサ１０に対して移動することにより、各々の画像の一部が重複するように分割して被写体の画像を取得する画像入力装置であって、被写体に光を照射するＬＥＤ１（光照射手段）と、ＬＥＤ１の点灯と消灯を繰り返し行うように駆動する駆動手段とを有する。センサ内に２次元状に配列された複数の画素を、一括して露光するように駆動制御する駆動手段を有する。駆動手段は、ＬＥＤによって照射する光照射期間が、２次元状に配列された複数の画素の露光期間と一致するように、又は、光照射期間が、露光期間内に存在するように、駆動制御する。
【選択図】 図６

Description

本発明は原稿やバーコード、指紋など文字や画像などを認識する画像入力装置及び指紋認識装置に関する。

従来、原稿やバーコードなどの文字や画像などを認識する画像入力装置には、原稿等の上を手送りでハンドスキャナなどを移動させ、画像読み取りを行う構成のものがある。この構成は装置の小型化、携帯化が可能であるが、ハンドスキャナの手の送り速度が変化し画像が歪む場合があった。

また、２次元上の半導体センサ（静電容量型や光学読み取り型など）に指を直接接触させて指紋を読み取り、指紋認証を行う画像入力装置がある。近年、このような指紋センサは企業あるいは個人のセキュリティの強化面で注目されており、さらに、携帯電話や携帯機器を利用したイー・コマースなどで、指紋センサが小型、軽量、低コストになれば飛躍的な市場の拡大が期待される。しかし、現状の指紋センサは指の大きさと同じサイズでセンサを構成させるために、センササイズが大型にならざるをえない。

半導体はウエハ収量で値段が一義的に決まるため、サイズが大きいことは高価格につながり携帯電話に搭載させるにはコスト的に問題がある。また小型の携帯機器に大型の指紋センサは不向きである。このような事から、センサを小型にすればコスト的にも、形状的にも有利である。解決策として、光学読み取り型を採用し、光センサをラインセンサで構成すればセンサを小型化できる。しかし、この場合、指紋を読み取るにはラインセンサと指とを相対的に動かす必要があるので、ハンドスキャナによる画像読み取りと同様に、読み取った指紋画像が歪み、認証精度が著しく低下してしまうことになる。

そこで、この欠点を改善する従来の公知例として、特許文献１がある。これは原稿の文字読み取り時の手送り速度を判断し、その判断結果をタイミング発生手段にフィードバックさせて画像歪みを補正しようとするものである。
特許第３１９８８１０号公報

上記特許文献１に開示された技術では、原稿読み取りで注意深くゆっくりと原稿あるいは手を送る場合は低解像度で画像の認証を行うことができるかも知れない。ただ高解像度が必要で、高認証精度が要求される指紋センサのような用途には使うことができない。

本発明の目的は比較的少画素行のエリアセンサで読み取り画像の高再現性を達成する画像入力装置を提供するものである。

本発明の画像認識装置は、被写体がセンサに対して移動することにより、各々の画像の一部が重複するように分割して前記被写体の画像を取得する画像入力装置であって、
前記被写体に光を照射する光照射手段と、
前記光照射手段の点灯と消灯を繰り返し行うように駆動する駆動手段とを有することを特徴とする。なお、ここでいうセンサとは、被認識体からの光、圧力、熱、容量等の情報を電気信号に変換して画像情報として認識するための手段である。

本発明は、移動速度が未定、不安定な原稿、指あるいは手などの画像情報を、被認識体又は被写体を分割して撮影できる程度の少画素行のセンサで複数撮像し、複数の画像の重複部において一つの画像を残し他の重複部の画像をなくすように補正して複数の画像を合成するものである。本発明ではラインセンサよりも画素行の多いセンサを用いることで、画像毎の走査速度の違いにより画像が歪むのを抑制し、各複数の画像を合成することで認証に適した静止画像に近い画像を得ることができるようにしたものである。

本発明によれば、小さいセンサを使うので低コストであり、小型化が可能になる。また、消費電力を低減でき、高精度の認証が可能となり、携帯機器にも使えるようになる。

以下、本発明の実施形態について図面を用いて説明する。以下の説明では、主として、特に高精度の画像再生が必要な指紋読み取りを例にとって説明するが、本発明はかかる例に限定されず、原稿読み取りやバーコードなどにも適用できることは勿論である。また、センサに対して被写体となる指を動かしているが、被写体に対してセンサを移動させてもよい。

図２（ａ）はセンサと指の移動を模式的に表わしたものである。図２（ｂ）は光学式による指紋読み取り装置の概略的構成を示す図である。本実施形態では水平画素数５４０画素、垂直画素数２０画素のセンサ１０を用いる。例えば、指紋認証を行う場合、通常垂直画素数は５００画素程度のものを用いるので、それに比べて本実施形態で用いるセンササイズは非常に小さい。なお、本実施形態ではセンサにより全体画像を読み取るのではなく、その一部の画像が読み取れればよいので、垂直画素数も一部の画像を読み取るに充分な画素数であればよい。センサ１０上に（必要に応じてセンサ１０上に薄板ガラスやファイバープレート等の保護部材を配置する）、指を配置し、本実施形態では図２に示すように、センサ１０の長さ方向に対して垂直方向に指を移動させ（図２中矢印で示す）、画像を順次読み取る。

図２（ｂ）に示すように、指の側部側（上方向、上斜め方向、下方向、下斜め方向でもよいが装置の小型化を図る上では側部側からが好ましい。）から光照射手段となるＬＥＤ１により光を照射して、指内で光散乱・透過させ、その光を指からセンサ１０に入射して指紋画像を得る。

図１は本発明の画像入力装置の一実施形態のシステム図である。センサ１０は指の一部の撮像画像を順次出力する。センサ１０によりそれぞれ読み取られる指の一部の画像は、重複する部分が存在する。指の移動速度が遅くなるに従い重複する部分の割合が多くなる。センサ１０は、不図示の駆動回路によって駆動制御される。

センサ１０からの画像信号は、メモリ１２に一時蓄積後、あるいは直接、特徴点抽出部１１に入力され、指の一部の画像の特徴点抽出が行われる。特徴点抽出に関しては別途後述する。特徴点は一フレーム毎に任意の画素行毎にメモリ１３に蓄積される。例えば一フレーム目はメモリ領域１、二フレーム目はメモリ領域２、・・・、ｎフレーム目はメモリ領域ｎに書き込まれる。フレーム毎の特徴点は特徴点比較部１４で比較され、特徴点が一致した画素行の位置で指の移動速度あるいは速度変化が速度判定部１６で計算される。また、同時にフレーム間での画像の重なり、即ち画像のオーバラップ領域がオーバラップ判定部１５で決定され、画像修正部（画像合成部）１７で画像のオーバラップが無いように修正（補正）され、表示部１８で表示される。その画像は登録時はデータ保存部２０に保存され、認証時は認証部１９で保存されているデータと比較され、指紋の一致、不一致の示す認証結果が修正された指の画像とともに表示部１８に表示され、不一致の場合は再度の指移動を、一致の場合はその機器の目的に進む（例えば携帯電話の使用を許可し、通話を可能とする）ことになる。

特徴点抽出法に関しては次の３つの方法が一般的である。指紋画像から隆線の構造など指紋の特徴（端点や分岐点）を抽出する方法と（例えばマーシャルリレーション法）、画像の類似度を評価する画像（パターン）マッチング法、指紋画像を横方向（指の長さ方向と垂直な方向）に細かく分解し、それぞれの画像の隆線の濃淡の違いを周波数解析する周波数解析法がある。

図３は比較的形状の認識が簡単な「Ｍ」形状の字が被写体像の場合の画像データを示す模式図である。データＡはある時刻ｔ１の被写体像の画像データ、データＢは時刻ｔ２（＞ｔ１）での被写体像の画像データ、データＣは重なった部分の画像データを示す。データＡの画像データとデータＢの画像データとを比較することで、画像の重なり部分のデータＣを認識し、「Ｍ」形状の被写体像の画像データに修正する。

図３の模式図に示すように、比較的形状の認識が簡単な被写体像の場合には、データＡとデータＢの特徴を比較する方法としては画像の類似度を評価する画像マッチング法が望ましい。指紋のように複雑で、一部の指紋を比較するのであれば周波数解析法は処理が比較的簡単である。マーシャルリレーション法は隆線の端点や分岐点を検知するために、多少センサ面積が大きい方が望ましい。

図４及び図５はセンサ１０の一構成例を示す図であり、図４はセンサの回路ブロックを示す図、図５はセンサ画素部を示す図である。

図４において、３０が画像を読み取る光電変換部、３１は光電変換部３０の走査行を選択する垂直走査回路（Ｖ・ＳＲ）、３２は光電変換部３０からの信号を一時的に蓄積する一時蓄積メモリ、３３は一時蓄積メモリ３２からの信号を後段の差動アンプとゲイン可変アンプ（ＰＧＡ）３４に転送制御する水平走査回路（Ｈ・ＳＲ）である。ＰＧＡ３４からの信号はアナログデジタル変換器（ＡＤ変換器）３６でデジタル信号に変換され後段の図１に示した特徴抽出部１１に導かれる。垂直走査回路３１，一時蓄積メモリ３２，水平走査回路３３，ＰＧＡ３４，ＡＤ変換器３６はタイミング発生器（ＴＧ）３５からの制御信号で制御される。

次に図４に示した光電変換部３０及び一時蓄積メモリ３２の構成を図５を用いて説明する。ここで用いる光電変換部はＣＭＯＳセンサと呼ばれる画素アンプ形式で構成している。各画素は６個の素子から形成される。すなわち、一画素は、ホトダイオードＰＤ、ホトダイオードＰＤの残留電荷を除去するリセットスイッチＭ_Ｖ、ホトダイオードＰＤの信号電荷を後段のアンプに転送するための転送スイッチＭ_ＴＸ、アンプ（バッファトランジスタ）のゲート部の残留電荷を除去するためのリセットスイッチＭ_ＲＥＳ、ゲート部の信号電圧をバッファするアンプとなるバッファトランジスタＭ_ＳＦ、バッファトランジスタＭ_ＳＦの信号を垂直信号線に出力制御するスイッチＭ_ＳＥＬからなる。Ｍ_１とＭ_２は垂直信号線からの信号を一時蓄積用の容量Ｃ_Ｓ，Ｃ_Ｎに転送するためのスイッチである。Ｍ_３，Ｍ_４は容量Ｃ_Ｓ，Ｃ_Ｎからの信号Ｓ_１とノイズＮ_１をそれぞれ水平出力線を介して、次の差動アンプ（不図示）に転送するためのスイッチである。全画素一括露光手段は一括リセットを行うためのリセットスイッチＭ_Ｖ、Ｍ_ＲＥＳ及び一括転送を行うための転送スイッチＭ_ＴＸが該当する。全画素一括露光期間は全画素がリセットされてから転送スイッチＭ_ＴＸによる信号転送が終了するまでの期間であり、この間にＬＥＤ１を点灯させることで指の指紋画像を得ることができる。

ホトダイオードＰＤの信号は容量Ｃ_Ｓに転送され、画素アンプ（バッファトランジスタＭ_ＳＦ）のリセットノイズは容量Ｃ_Ｎに転送される。

センサの動作のタイミングについて図６を用いて説明する。

図６の基本的駆動タイミングは、センサの全画素が全面一括クリアされた後、図２（ｂ）に示したＬＥＤ１が点灯され指紋の一部が読みとられる。その信号は全面一括で各画素のアンプゲート部（バッファトランジスタＭ_ＳＦのゲート部）に一括転送される。ゲート部の信号は各行毎に容量Ｃ_Ｓに転送され蓄積される。その後ゲート部はリセットされ、そのノイズが容量Ｃ_Ｎに蓄積される。信号とノイズは同時に後段の差動アンプへ転送され、信号からノイズが除去される。この動さが各行毎に繰り返される。

上記動作を図６を用いてより詳細に説明する。まず、センサ１０上の指が検知されると、Ｔ１期間にセンサの動作がスタートし、タイミング発生部３５から制御信号φstartが出力される。制御信号φstartを受けた垂直走査回路３１は、Ｔ２期間にまず信号φ_Ｃ１，φ_{Ｃ２（ｎ）}，φ_{Ｃ２（ｎ＋１）}，・・・をＨレベルとして、スイッチＭ_Ｖ，Ｍ_ＲＥＳをＯＮしホトダイオードＰＤとアンプのゲート部（バッファトランジスタＭ_ＳＦのゲート部）を全画素でクリアする。次に信号φ_Ｐを全画素同時にＨレベルとして、転送スイッチＭ_ＴＸをＯＮし、このときＬＥＤ１が点灯されて（φ_ＬＥＤがＨレベル）、移動する指に照射され、指からの反射光が各画素のホトダイオードＰＤで光電変換され、アンプのゲート部（バッファトランジスタＭ_ＳＦのゲート部）にホトダイオードＰＤからの信号が転送される。こうして指紋画像が２０行分読み取られる。なお、転送スイッチＭ_ＴＸをＯＦＦとした状態で期間Ｔ_３の間ＬＥＤ１を点灯し、その後転送スイッチＭ_ＴＸをＯＮして信号を転送してもよい。ＬＥＤ１の点灯期間（光照射期間）は、全画素一括露光手段による露光期間と一致するように又は該露光期間内にあるように制御することで、消費電力を低減することができる。アンプの出力信号は信号φ_{ｓｅｌ（ｎ）}とφ_ＳをＨレベルとしてスイッチＭ_ＳＥＬとＭ_１をＯＮすることで、容量Ｃ_Ｓに蓄積される。

次に信号φ_{Ｃ２（ｎ）}をＨレベルとして、スイッチＭ_ＲＥＳをＯＮとしアンプゲード部（バッファトランジスタＭ_ＳＦのゲート部）がリセットされ、その後φ_{ｓｅｌ（ｎ）}とφ_ＮをＨレベルとしてスイッチＭ_ＳＥＬとＭ_２をＯＮすることで、リセットノイズが容量Ｃ_Ｎに転送される。この時、ホトダイオードＰＤは外光などにより電荷過剰による電荷のゲート部への漏れを防ぐため、信号φ_Ｃ１をＨレベルとしてスイッチＭ_ＶをＯＮとし固定電位に制御される。容量Ｃ_Ｓ，Ｃ_Ｎに蓄積された信号とノイズは順次後段に転送処理される。こうしてｎ行目の画素の信号とノイズが列ごとに順次読み出されると、次のｎ＋１行目の画素のアンプの出力信号を容量Ｃ_Ｓ、リセットノイズを容量Ｃ_Ｎに転送し、後段に転送処理する読み出し動作が行われる。このように各画素行の読み出しが行われる。期間Ｔ４が全画素信号を後段に読み出す期間である。センサ１０上に指がないことが検知されると、タイミング発生部３５から信号φendが出力され、センサの動作を停止する。

ここで全画素を読み出す時間の設定方法は重要である。すなわち指の移動の最高速度を予想して、あるいは想定設定して、センサのフレーム速度を決める必要がある。フレーム速度が遅いと指の移動により指紋がボケてしまう、あるいは、フレーム速度を早くし過ぎると指の移動が遅い場合画像メモリを多く準備する必要がある。

本実施形態では画素サイズを３０μｍ角、指の最高移動速度を１ｃｍ／０．１ｓｅｃと設定した。その時、ＬＥＤ点灯時間を２８μｓｅｃにすればその期間の指の移動は２．８μｍとなり、画像のボケ分あるいは、フレーム間のサンプリング誤差はｍａｘ画素サイズの１／１０以下となる。フレームレートは画像のオーバラップをミニマム５画素分とすると、１５０μｍで約１．４ｍｓｅｃ繰り返しとなり、約７１４フレーム／秒である。φｒｅａｄ期間は約１．４ｍｓｅｃあるので信号出力周波数は約８ＭＨｚとなる。ＬＥＤ点灯期間をさらに短い時間にすると画像のサンプリング誤差は小さくでき、画像合成後の指紋再現性が高いので認証精度が向上できる。

これを前提にセンサを駆動し後述の画像合成が出来れば、特徴点抽出方法が周波数解析法、画像マッチング法、リレーション法でも満足が出来る認証が出来た。ただ、目的に応じて（必要とされる認証精度）特徴点抽出法あるいはフレーム速度を設定すればよい。

なお、指紋検出の方法としては、指に光を照射して、その反射光又は透過光（又は散乱・透過光）を光センサで指紋を検出する光学式の他に、指を圧電素子，静電容量検出素子，温度検出素子等の半導体センサに載せて、圧力，容量，温度を検出することで指紋を検出する半導体センサ方式があるが、本発明ではどのような検出方法を用いてもよい。ただし、本発明では動画像の一部が重複するように画像を撮影するので、センサ１０の読み取り速度が指の移動速度に比べて速いセンサであることを要する。

原稿やバーコード、指紋など文字や画像などを認識する画像入力装置及び指紋認識装置に用いられるものであり、比較的少画素行のエリアセンサで読み取り画像の高再現性を達成する画像入力装置及び指紋認識装置に好適に用いられるものである。

本発明の画像入力装置の一実施形態のシステム図である。 （ａ）はセンサと指の移動を模式的に表わした図、（ｂ）は光学式による指紋読み取り装置の概略的構成を示す図である。 比較的形状の認識が簡単な「Ｍ」形状の字が被写体像の場合の画像データを示す模式図である。 センサの回路ブロックを示す図である。 センサ画素部を示す図である。 センサの動作のタイミングを示すタイミングチャートである。

符号の説明

１０ センサ
１１ 特徴点抽出部
１２ メモリ
１３ メモリ
１４ 特徴点比較部
１５ オーバラップ判定部
１６ 速度判定部
１７ 画像修正部（画像合成部）
１８ 表示部
１９ 認証部
２０ データ保存部

Claims (5)

1. 被写体がセンサに対して移動することにより、各々の画像の一部が重複するように分割して前記被写体の画像を取得する画像入力装置であって、
   前記被写体に光を照射する光照射手段と、
   前記光照射手段の点灯と消灯を繰り返し行うように駆動する駆動手段とを有することを特徴とする画像入力装置。
2. 前記センサ内に２次元状に配列された複数の画素を、一括して露光するように駆動制御する駆動手段を有することを特徴とする請求項１に記載の画像入力装置。
3. 前記駆動手段は、前記光照射手段によって照射する光照射期間が、前記２次元状に配列された複数の画素の露光期間と一致するように、又は、前記光照射期間が、前記露光期間内に存在するように、駆動制御することを特徴とする請求項２に記載の画像入力装置。
4. 前記駆動手段は、前記露光期間に光電変換された光信号を読み出した後に、前記画素のノイズ信号を読み出すように駆動制御することを特徴とする請求項２又は３に記載の画像入力装置。
5. 請求項１〜４のいずれかに記載の画像入力装置を用いた指紋認証装置であって、前記被写体は指であり、前記複数の画像は指紋画像であることを特徴とする指紋認証装置。