JP2008517352A - 非接触光学手段および3d指紋認識方法 - Google Patents

非接触光学手段および3d指紋認識方法 Download PDF

Info

Publication number
JP2008517352A
JP2008517352A JP2007525449A JP2007525449A JP2008517352A JP 2008517352 A JP2008517352 A JP 2008517352A JP 2007525449 A JP2007525449 A JP 2007525449A JP 2007525449 A JP2007525449 A JP 2007525449A JP 2008517352 A JP2008517352 A JP 2008517352A
Authority
JP
Japan
Prior art keywords
image
fingerprint
blur
optical
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007525449A
Other languages
English (en)
Inventor
ペレズ,アシャー
コーヘン,ラミ
Original Assignee
クラシフアイ・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラシフアイ・リミテッド filed Critical クラシフアイ・リミテッド
Publication of JP2008517352A publication Critical patent/JP2008517352A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1312Sensors therefor direct reading, e.g. contactless acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • G06V40/1353Extracting features related to minutiae or pores

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】本発明は、非接触光学手段によって、3D指紋を認識する方法を開示する。
【解決手段】新規な方法は、とりわけ、指紋を取り込み、マニューシャ、分岐点、端点、またはその任意の組み合わせから成る群から選択した3D光学画像を得る光学非接触手段を設けるステップと、複数の指紋を得るステップであって、前記指紋の画像解像度が、カメラと前記分析対象の指との間の距離に依存しない、ステップと、得られた画像を誤焦点およびぼけの復元によって補正するステップと、登録フェーズにおいて複数の画像、好ましくは6ないし9枚の画像を、種々の視野および角度の下で得るステップと、前記画像の被写体深度の質および画素当たりの強度を系統的に改良するステップと、追加の光学センサが必要とならないように、メモリ消費から高解像度化を切り離すステップとを備えている。
【選択図】図1

Description

本発明は、一般的には、非接触光学手段、および3D指紋認識方法に関する。
指紋のパターンおよび幾何学的形状は個人毎に異なっており、身体が成長しても、また時間が経過しても変化しない。指紋の分類は、通常、ループまたは渦巻きというようなある種の特徴に基づく。最も差が出る特徴は、隆線において見られるマニューシャ(minutiae)、分岐点、または端点、および隆線の流れ全体の形状である。
種々の特許が指紋認識方法を示している。例えば、Muellerの米国特許出願第2004/234111号は、指紋を検査し、その参照データを携帯データ・キャリアに格納する方法を開示する。
指紋は、変更不可能な物理的属性を拠り所とするので、非常に精度が高い識別子となるが、それらが唯一であることを認識するためには、特殊な入力デバイスが必要となる。これらのデバイスは、必ずしも標準的な電気通信および計算機器と互換性がある訳ではない。更に、これらのデバイスに関わるコストのために、大規模市場への受入に関して限界がある。
したがって、非接触光学手段を用いた価格効率的な3D指紋認識方法の必要性が長い間感じられていた。これは、今日まで市販されることはなかった。
したがって、本発明の目的は、非接触光学手段、および3D指紋認識方法を提供することである。
前記方法は、非限定的に、次のステップ、即ち、マニューシャ、分岐点、端点、またはその任意の組み合わせから成る群から選択した、3D光学画像を供給するように、指紋を取り込む光学的非接触手段を設けるステップと、複数の指紋を得るステップであって、前記指紋の画像解像度が、カメラと前記分析する指との間の距離に依存しない、ステップと、前記得た画像を、誤焦点およびぼけの復元によって補正するステップと、登録フェーズにおいて、好ましくは6ないし9枚の複数の画像を、種々の視野および角度の下で得るステップと、前記画像の品質および被写体深度、ならびに画素毎の強度を系統的に改良するステップと、 追加の光学センサが不要となるようにするため、メモリ消費から高解像度化を切り離すステップと、
を備えている。
本発明の範囲においては、少なくとも1つのCMOSカメラを利用する方法を提供し、前記方法がソフトウェアに基づくパッケージによって強化され、このパッケージが、近接場照明およびコントラストで画像を取り込むステップと、誤焦点およびぼけの復元を行うステップと、固定角度および距離不変性を維持することにより、前記画像を復元するステップと、前記画像の数学的モデルの登録フェーズおよび相互格納を得るステップとを備えている。
また、本発明の範囲においては、前記初期画像を複数の領域にセグメント化し、DCTまたはフーリエ変換を実行することにより、指紋領域の少なくとも一部の周波数マッピングを取得し、指の外輪郭を抽出し、周波数ドメインにおいて少なくとも1回局部ヒストグラムを実行することにより、局部ぼけ劣化を評価し、疑似非空間位相焦点外れ強度画像から生ずるぼけを増大させ、前記ぼけの影響、および異なる領域における焦点外れ錯乱円(COC)の度合いに対するその関係を推定し、焦点距離に隣接する画像の光線追跡を行い、光学的精密度差(OPD)に基づいて、品質判断基準を生成し、点拡散関数(PSF)およびCOCの局部相対的位置を、指のトポロジ形状と相関付けてモデル化し、好ましくは離散デコンボリューションを用いて、前記得られた3D画像を再現し、逆フィルタリング手段および/または統計的フィルタリング手段のいずれかを伴う方法を提供する。
更に、本発明の範囲において、ニュートン・コンパクト・ボディ(Newtonian compact body)の生物弾性モデルを適用し、大域的凹修復モデルを適用し、マッチング手段による立体視再構築を適用する方法を提供する。
更にまた、本発明の範囲において、2つの特徴集合の近接行列を構築し、各要素がガウス加重距離であり、前記相関付けした近接行列の特異値分解を実行する方法を提供する。
本発明の別の目的は、認識のときに取り込んだ指画像と、それよりも前に取り込んだ画像との間で区別する方法を提供し、前記画像の反射率を、周囲光状態の関数として比較するステップを更に備えており、登録の間に、各カラー・チャネルにある映像を取り込み、選択した領域をマッピングするステップと、チャネル毎に、小領域上で局部ヒストグラムを実行するステップと、異なるカラー・チャネルおよび前記カメラ・デバイスの感度にしたがって、指紋毎に外部照明変更を用いて、応答プロファイルを設定するステップと、候補の受入または拒絶を得て、本物の指紋のスペクトル応答を偽造したものと比較するステップとを備えている。
本発明の範囲において、光線追跡手段を設け、OPDに基づいて出立判断基準を生成し、検出器の幾何学的形状に関係する画素OTFを取得し、サンプリングしたOTFおよびPSFを計算し、サンプリングしたPSF集合に基づいて、選択した処理アルゴリズムのためにディジタル・フィルタ係数を計算し、レート演算子を計算し、ディジタル・パラメータを処理し、レート・メリット・オペランドを光学オペランドと組み合わせ、光学表面を修正する方法を提供する。
また、本発明の範囲において、画像の光線追跡特質および画素冗長性を改善する方法を提供し、とりわけ、冗長性デコンボリューション再現を行うステップと、ぼけ歪みをモデル化するのに適合する数値非球面レンズを決定するステップとを備えている。
更に、本発明の範囲において、指紋の識別システムを提供し、近接場照明を用いて画像を取り込む手段と、合焦外れおよびぼけの復元のための手段と、得られた画像をマッピングおよび投影する手段と、登録フェーズを取得し、前記画像の数学的モデルの相互格納を得る手段とを備えている。
本発明を理解するために、そして実際にどのようにすれば実施できるのか確認するために、添付図面を参照しながら、非限定的な一例に過ぎないものとして、好適な実施形態についてこれより説明する。
以下の説明は、本発明の全ての章(chapter)と共に、前記発明を利用することを当業者に可能にするために、そして発明者が想定する、本発明を実施する最良の態様を明記するために提示する。しかしながら、本発明の包括的な原理を具体的に規定し、非接触光学手段によって3D指紋を認識する方法を提示しているので、種々の変更が当業者には明白である。
本方法論は、複数のステップを含むが、これらのみに限定されるのではない。
最初のステップは、「画像取得」即ち画像取り込みである。本プロセスのこの部分では、ユーザは彼の指をカメラ・デバイスの近くに置く。指の画像が取り込まれ、画像の分析を処理することができる。
この画像を取得する方法は、従来の指紋デバイスとは異なる。何故なら、指の指紋は、物理的な接触を全く伴わずに、取り込まれるからである。代替技術では、透明ガラス板または、スキャナとも呼ばれるいずれかの感応面と指を物理的に接触させる。
この技術を用いることによって、選択した画像は、発光、コントラスト、ぼけの定義というような基本的な要件を検証しなければならない。中心点が観察できる画像のみを選択すればよい。
本技術は、指のいずれの領域とカメラ・コンポーネントとの間に存在する距離にも関係なく、広範囲の指紋画像を得ることを可能とする。3D本体として、指の曲率を考慮しなければならない。
光学的制約や、指の位置ずれ、レンズの焦点距離、環境光条件を考慮して、本技術は、誤焦点(mis-focal)やぼけによる画質低下のある画像を補正することができる。
この第2ステップは、短距離で取り込み、焦点外れ(de-focusing)によって生ずるぼけによる画質低下を呈する画像の再現に専ら取り込む。光学的精密度を調節するための画像の倍率調整、即ち、単位面積当たりの画素数の調整も実現する。
画像再現の具体的な手順については、後に詳細に説明する。
指紋認識にとって最も重要なステップの1つは、数学的モデルの抽出、生のマニューシャの決定による画像のスケルトン化(skeletonized)ワイヤ表現(wired representation)である。優れた再現可能数学的モデルを得るために、指の自由度の数をできるだけ制限しなければならない。自由度の数は、一般に6と仮定されている。
接触技術では、自由度の殆どが固定されているのが当然であり、並進および回転移動のみが残るのとは対照的に、本技術は、ハード・トポロジ収差(hard topological aberration)が現れる、更に複雑化した画像を専門に考慮する。一例示として、勾配が急な領域における隆線は、実際にそうであるよりも近くに見えるので、倍率調整し直さなければならないことを指摘しておく。
その結果、自然な3D画像による非接触画像は、角度不変性および距離スケーラビリティを維持しない。この状況は、数学的モデルのあらゆる再現性を複雑化する虞れがある。
このレベルでは、本技術は、角度および距離不変性を維持する投影3D画像を復元する。これらの新しい画像は、従来の接触スキャナが用いていたものと同等である。
この種のトポロジ投影(topological projectiotn)を可能にする一連の手順およびアルゴリズムを提案する。個々のアルゴリズムの詳細については以下で説明する。
取り込みフェーズは、指認識の様々なステップにおいて行われる。即ち、登録、検証、および識別のステップである。
検証または識別フェーズにおいて画像のマッチングを改善するために、所与の指の指紋認識を行って副データベースを設けなければならない。一般に、登録フェーズにおいて、同じ指紋の異なる画像を3枚、数学的モデルの復元(restitution)によって処理し、相関重みを決めてこれらを互いに連携する。ここで、非接触画像の場合、登録フェーズは、異なる視野および角度における数枚の画像、典型的に6ないし9枚の画像から成る。相互連携類似物アルゴリズムを処理して、画像の立体像を復元する。
更に、トポロジ3D再現画像を用いて、異なる画像を指形状上に投影する。画像の副データベース全体、およびそれらの数学的モデル・テンプレートをそのようにして獲得し、次の認識のために用いる。
検証手順のみがあればよい用途、「1:1技術」では、登録フェーズは、非接触リーダにおいて用いられているものと同様の品質の接触リーダを用いることによって取り込んだ少なくとも1枚の真の2D画像指紋を含む。このように、基準2次元は、被写体深度、スキャナの分解能、角度許容度、および隆線対谷線の周期性というような、基礎的パラメータを復元する。
本発明の別の実施形態によれば、この技術は、指紋乳頭状線の最適な抽出のために、局所的なコントラスト、発光、飽和というような、カメラ・センサのパラメータを局所的に較正する。
指紋は、マニューシャ、隆線、および対というようなトポロジ的詳細から成り、指紋上で見られるループ、アーク、渦巻きの基礎を形成する。
本発明は、本発明の一実施形態による、マニューシャの取り込みおよび隆線の取得方法を開示する。この方法は、指紋構造の遠視野回折表現(far field diffractive representation)またはフーリエ変換に、特に有用である。
とりわけ、本手順は次のステップを備えている。
1.画像における指の範囲を抽出する。
一連の画像処理フィルタを適用して、指の形態を抽出する。
a.RGBチャネル・アルゴリズム
b.赤のヒストグラム
c.中間調デシメーション
d.白色ノイズ・フィルタおよび低帯域
e.マスク照明
f.ROIアルゴリズム
g.局部周期性
2.画像の受入または拒絶
3.中点判定アルゴリズム
4.中点を中心とする小半径における画像の抽出。このステップは、一連の画像処理から成る。
5.マルチ・ゾーニング(multi-zoning)およびローカル・モメンタム・アルゴリズム(local momentum algorithm)
6.縁取り抽出(edging extraction)
7.ローカル・フーリエ・ブロック分析
本発明の更に別の実施形態によれば、実行中画像分析における主要な要件の1つは、画像の異なる領域において発生するぼけ収差(blurring aberration)をできるだけ最少化するために、ぴったり焦点があった画像を得る信頼性である。
この目標を達成するために、入力画像の品質を推定し、必要であれば、画像の焦点外れから得られる包括的補正を行うことによって品質を向上させるための一連の手順を提案する。
本発明は、画像の被写体深度の品質、および画素毎の強度を系統的に改良する包括的手順を提供する方法を開示する。
この課題を遂行するために、実空間および周波数フーリエ表現双方にいてインディケータを用いて、処理実行中に画像の焦点外れを推定する。この低下を推定するためのキー・ポイントは、点拡散機能(PSF:point spread function)を正しく理解することである。
小距離、更に具体的には、焦点距離の範囲においてCMOSまたはCCDカメラ・センサによって撮影したいずれの画像についても、指のトポロジにおける強い局部差のために、画像には単に焦点外れの領域があり、局部的なぼけが生ずる。
トポロジ的には、画像は、画質が異なるいくつかの層状孤丘(island)から成るように見える。焦点がぴったり合っている指紋の画像では、画像における局部的な模様は大域的に類似しており、言い換えると、隆線と谷線の連続であり、局部的にトポロジ的不連続があり、その周波数特性は正しく規定されている。
逆に、焦点が合っていない領域では、ぼけはロー・パス・フィルタおよび均一拡散模様領域(uniform diffusive textured region)を生成する。
画像におけるいずれの副画像であっても、明確に規定された模様および空間周波数の区画(panel)全体で分離することができると直ぐに、対象領域(ROI)全体を補正することが可能となる。ROIの大部分がぼけていても、局部フェーズ焦点外れ(local phase de-focusing)の基本的な想定が、補正を可能にする。
この作業を遂行するために、実空間および周波数フーリエ表現双方においてインディケータを用いて、画像の焦点外れの処置を、処理実行中に行う。この低下を推定するためのキー・ポイントは、PSFのロバストな包括的モデルを規定することである。
本方法論の主要なステップの詳細は、次の通りである。
1.波長範囲、画像の被写体深度、局部コントラストというような、指定動作条件したにおいて、所与の光学表面から開始する。
2.各領域の周波数マッピングを得るための、数領域における初期画像のセグメント化およびDCTまたはフーリエ変換の実行。
JPEG画像のパラメータを用いて、局部パラメータおよび局部グラニュロメトリを抽出する。
3.指形状の抽出および輪郭形成。周波数ドメインにおける局部ヒストグラムを実行し、局部ぼけ劣化を評価する。
4.ぼけは、疑似非空間位相焦点外れ強度画像から生ずる。異なる領域では、ぼけの影響、およびその焦点外れ錯乱円(COC)(defocusing Circle of Confusion)の度合いとの関係は、推定である。
5.焦点距離付近で光線追跡アルゴリズムを動作させ、光学的精密度差(OPD)に基づく品質判断基準を生成する。PSFおよび指のトポロジ的形状と相関のあるCOCの局部相対的位置をモデル化する。
6.離散デコンボリューション(discrete deconvolution)を用いて、最終的な3D画像の再生を進めることができる。
焦点外れが大きい画像に対して、光線追跡特性および画素冗長性の処置を考慮したいくつかの改善が提案されている。
焦点外れ画像は、多少位相が局部的にぼける。局部的構造、例えば、マニューシャ、隆線および谷線を抽出するために必要な精密度は、通例、低集積画素センサ(low integrated pixel sensor)によって得ることができる。
このそして更に別の低価格CMOSまたはCCDカメラ・センサを、大規模集積画素マトリクス、例えば、メガ画素以上と共に用いると、デコンボリューションに基づく再生アルゴリズムを高感度に改善することができる。オーバーサンプリング・アルゴリズムを用いれば、予測PSFを精巧化できることを主張する。
局部光線追跡アルゴリズムを用いると、画素毎に収集した光強度から、PSFおよび光学転送機能(OTF)に関するより良い情報を得ることが可能になる。各画素の主にを精巧化し、適したPSFを得るために、この局部情報の冗長性を用いることを提案する。
焦点外れ画像は、オーバーサンプリングした情報および光線追跡アルゴリズムを用い、非球面レンズ(optics)の数値フィルタによって改善することができる。
PSFおよびCOCのモデルは、多種多様な指紋源画像に対して正しく定義されている。非常に良く焦点が合っている画像では、指紋情報は、通例、100K画素以下で済む。基本的に、メガ画素センサでは、この追加情報を用いると、局部光線追跡をモデル化し、ぼけを生ずるPSFおよび収差を推定することができる。
これらの収差は、ぼけ歪みをモデル化する数値非球面レンズ(numerical aspheric lens)の判定に至る可能性がある。デコンボリューション再生を用いると、非常に良く焦点が合っている画像を再生(retrieve)することができる。
本手順は、以下のように、明快に述べることができる。
1.波長範囲、画像の被写体深度、または局部コントラストというような、指定動作条件したにおいて、所与の光学表面から開始する。
2.光線追跡アルゴリズムを動作させ、次いで光学精密度差(OPD)に基づいて出立判断基準(exit criterion)を生成する。
3.OTFを計算する。
4.検出器の幾何学的形状に関係する画素OTFを含ませる。
5.サンプルしたOTFおよびPSFを計算する。
6.サンプルしたPSF集合に基づいて、選択した処理アルゴリズムのために、ディジタル・フィルタ係数を計算する。
7.合焦、被写体角度、中間調、エリアシングによる、サンプルしたPSFおよびMTFの最少変化に基づくレート演算子を形成する。
8.処理量、処理に関する画像ノイズのような、ディジタル処理パラメータ。
9.レート・メリット・オペランド(rate merit operand)を、ザイデル型収差、RMS誤差のような従前からの光学オペランドと組み合わせて、最適化ルーチンとし、光学表面を修正する。
本発明の更に別の実施形態によれば、角度および距離不変性を維持し、トポロジ的歪みに対してロバストであり続ける疑似2D画像の作成に至るアルゴリズム手順を構築するために、本質的に以下の方法を提案する。
1.指の生物弾性モデル硬質体(bio-elastical model-rigid body)。
硬質体モデルは、指の3D方位を決定するために用いられる。
2.視覚面への3D投影アルゴリズム。
a.透視投影マトリクスを構築し、指紋画像を決定するために用いる。
b.弾性膜モデルから計算した変位場(displacement field)を用いて、画像を補正する。
c.非制約非線形シンプレックス・モデルを用いて、凸型3D自由パラメータ指モデル上に投影を行う。
3.2つの立体画のマッチングアルゴリズムによって、指の抽出を形成する。指紋の2つの連続する画像間に生ずる小さな変位を利用して、第3トポロジ次元を再現する。
人が彼の指を光学デバイス上に位置付けようとするとき、一連のデータ(capture)を取り込む。指の調節、中心点の位置付け、正しい距離における焦点内呼び処理の間、システムは2つ以上の画像を連続的に取り込む。この手順により、トポロジ情報を得ることができ、画像の3Dメッシュを精密に決定することができる。指の凸形状を用いて、立体画像をマッピングし、隆線間の正しい距離を再現する。
2つの画像の特徴を制限して格納した、近接行列の特異値分解に基づいたアルゴリズム的手順の使用を提案する。
iおよびjを2つの画像とし、それぞれ、m個およびn個の特徴を有し、1対1の対応関係に置く。
アルゴリズムは、3段階から成る。
1.2つの特徴集合の近接行列Gを構築する。各要素は、ガウス加重距離のものである。
2.相関付けた近接G行列の特異値分解を実行する。これらは直交行列であり、対角行列は、その対角線要素に沿って数値の降順に正の特異値を収容する。m<nの場合、最初のm列だけが何らかの意味を有する。
3.この新たな行列は、近接行列と同じ形状を有し、相応しいペアリング(pairings)を「増幅」し、不適当なものを「減衰」するという興味深い特質を有する。
本発明の更に別の実施形態によれば、本方法論は、認識の時点で取り込んだ指画像と、異なる場合に取り込んだ指画像との間で区別する。
生物的認識に内在する問題の1つは、現在の画像が指なのか、またはディジタル画像なのか検証することである。画像の反射率を、周囲の光状態の関数として比較することにより、画像が実際に指であり、偽りでないことを検証することができる。
登録の間、指の反射率を収集し、指のスペクトル・プロファイルを格納する。偽の指紋は、ラテックスまたは他のいずれの人工材料で再現しても、特定的なスペクトル痕跡によって検出することができるという事実を用いて、指紋が疑わしいか否か判別することができる。これを達成するために、以下の方法論を提案する。
1.登録の間、取り込んだ映像を、各カラー・チャネルに沿って、選択した領域で分析する。チャネル毎の局部ヒストグラムを、小領域に対して実行する。
2.外部照明変更、例えば、フラッシュを用いて、カメラの内部パラメータ、ガンマ係数、およびホワイト・バランスの変化、応答プロファアイルを、指紋毎に、異なるカラー・チャネルおよびカメラ・デバイスの感度にしたがって設定する。
3.実際の指紋および疑わしい指紋の画像またはラテックス外被のスペクトル応答を比較して、候補の受入または拒絶を行う。
本発明の更に別の実施形態によれば、指紋の数学的モデルを作成するための別の内在的問題は、CPUおよびメモリ資源が限られている環境において、JPG圧縮に対処することである。典型的な方法は、画像をJPGから、TIFF、BMP、または認識に用いることができるその他の任意のフォーマットに変換することである。しかしながら、画像の解像度が高くなるに連れて、この手順は増々メモリを消費するようになる。本方法は、高解像度化とメモリ消費との間のしがらみを断ち切る、資源効率的な手順を提案する。
間引きアルゴリズムの最終段階により、指紋の二進スケルトン化画像を得ることが可能となる。低CPU要件に合った二進画像を更に小型化して得るために、副領域の局部挙動を考慮に入れて、二進画像全体をそれよりも小さいトポロジ的実体に関して格納することを提案する。ベクター化した上のトポロジ的伸張(topological stretching)に関する以前のステップから得られる、選択した隆線のパラメータ化を利用して、指紋のマッピング全体を実現することができる。この手順は、局部セグメント、マニューシャ、隆線、およびマッチング・ステップのために格納する局部周期性の階層を構築することを可能にする。
これより図1を参照して、セルラ構成の概略的な説明を行う。このセルラ構成は下記から成る。
1.セルラ・カメラ−インターネットおよび/またはセルラ・ネットワークあるいはアクセサリを通じて、移動デバイスに音声およびデータを通信することができる移動デバイスの一部であるカメラ。
2.画像処理アルゴリズム−セルラ移動デバイスの標準パーツとして配信されるソフトウェア・アルゴリズム。このコンポーネントは、通例、大域的な方法で画像を扱う。例えば、画像全体に関連がある変更を行う。これらのアルゴリズムは、通例、セルラ・カメラまたは移動デバイスに設けられている。
3.高画質化アルゴリズム−このパーツは、ディジタル・カメラが取り込んだ画像の画質を高める。高画質化は、局部的である、即ち、画像の特定区域に関する。
4.画像補正アルゴリズム−このパーツは、指紋認識の必要性に合わせて画像を補正する。補正は、標準的な認識アルゴリズムによって用いることができるように行われる。
5.第三者認識アルゴリズム−市販の指紋認識アルゴリズム
6.データベース−データベースは、移動デバイスまたは離れた場所に位置する。データベースは、以前に登録した人に関する指紋を収容する。
これより、図2を参照し、PC構成の概略的説明を行う。PC構成は、下記から成る。
1.ディジタル・カメラ−PCに接続されているカメラ。
2.画像処理アルゴリズム−セルラ移動デバイスの標準パーツとして配信される、および/またはインターネットを通じて後にダウンロードされるソフトウェア・アルゴリズム。このコンポーネントは、通例、大域的な方法で画像を扱う。例えば、画像全体に関連がある変更を行う。これらのアルゴリズムは、通例、セルラ・カメラまたは移動デバイスに設けられている。
3.高画質化アルゴリズム−このパーツは、ディジタル・カメラが取り込んだ画像の画質を高める。高画質化は、局部的である、即ち、画像の特定区域に関する。
4.画像補正アルゴリズム−このパーツは、指紋認識の必要性に合わせて画像を補正する。補正は、標準的な認識アルゴリズムによって用いることができるように行われる。
5.第三者認識アルゴリズム−市販の指紋認識アルゴリズム
6.データベース−データベースは、PCまたは離れた場所に位置する。データベースは、以前に登録した人に関する指紋を収容する。
これより図3を参照して、フローチャートの概略的な説明を行う。指紋認識プロセスは、通例、2段階で構成されている。
1.登録−新たな実体をデータベースに追加する初期時点。
以下の手順を1回以上実行する。
2.スケーリング
図4に示すように、識別または認証では、人がデータベースに接近し、彼の指を用いて認証を得る。識別は、人が指だけを提示し、通例1対多数と定義される状況を示すが、一方認証は、人が彼の指および名前を提示し、通例1対1で定義される状況を示す。
図1は、本発明の簡略化した一実施形態によるブロック構成の概略的記述を、概略的に示す。 図2は、本発明の別の実施形態によるPC構成の記述を模式的に示す。 図3は、本発明の別の実施形態によるフローチャートの記述を更に模式的に示す。 図4は、本発明の更に別の実施形態による識別フェーズを模式的に示す。

Claims (9)

  1. 非接触光学手段によって3D指紋を認識する方法であって、
    a.マニューシャ、分岐点、端点、またはその任意の組み合わせから成る群から選択した、3D光学画像を供給するように、指紋を取り込む光学的非接触手段を設けるステップと、
    b.複数の指紋を得るステップであって、前記指紋の画像解像度が、カメラと前記分析する指との間の距離に依存しない、ステップと、
    c.前記得た画像を、誤焦点およびぼけの復元によって補正するステップと、
    d.登録フェーズにおいて、好ましくは6ないし9枚の複数の画像を、種々の視野および角度の下で得るステップと、
    e.前記画像の品質および被写体深度、ならびに画素毎の強度を系統的に改良するステップと、
    f.追加の光学センサが不要となるようにするため、メモリ消費から高解像度化を切り離すステップと、
    を備えている、方法。
  2. 請求項1記載の方法において、少なくとも1つのCMOSカメラを利用し、前記方法は、ソフトウェアに基づくパッケージによって強化され、該パッケージが、
    a.近接場照明およびコントラストで画像を取り込むステップと、
    b.誤焦点およびぼけの復元を行うステップと、
    c.固定角度および距離不変性を維持することにより、前記画像を再現するステップと、
    d.前記画像の数学的モデルの登録フェーズおよび相互格納を得るステップと、
    を備えている、方法。
  3. 請求項2記載の方法であって、更に、
    a.前記初期画像を複数の領域にセグメント化し、DCTまたはフーリエ変換を実行することにより、指紋領域の少なくとも一部の周波数マッピングを取得するステップと、
    b.指の外輪郭を抽出するステップと、
    c.周波数ドメインにおいて少なくとも1回局部ヒストグラムを実行することにより、局部ぼけ劣化を評価するステップと、
    d.疑似非空間位相焦点外れ強度画像から生ずるぼけを増大させるステップと、
    e.前記ぼけの影響、および異なる領域における焦点外れ錯乱円(COC)の度合いに対するその関係を推定するステップと、
    f.焦点距離に隣接する画像の光線追跡を行い、光学的精密度差(OPD)に基づいて、品質判断基準を生成するステップと、
    g.点拡散関数(PSF)およびCOCの局部相対位置を、指のトポロジ形状と相関付けてモデル化するステップと、
    h.好ましくは離散デコンボリューションを用いて、前記得られた3D画像を再現するステップであって、逆フィルタリング手段および/または統計的フィルタリング手段のいずれかを伴う、ステップと、
    を備えている、方法。
  4. 請求項2記載の方法であって、
    a.ニュートン・コンパクト・ボディの生物弾性モデルを適用するステップと、
    b.大域的凹修復モデルを適用するステップと、
    c.マッチング手段による立体視再構築を適用するステップと、
    を備えている、方法。
  5. 請求項3記載の方法であって、
    a.2つの特徴集合の近接行列を構築するステップであって、各要素がガウス加重距離のものである、ステップと、
    b.前記相関付けした近接G行列の特異値分解を実行するステップと、
    を備えている、方法。
  6. 認識のときに取り込んだ指画像と、それよりも前に取り込んだ画像との間で区別する方法であって、前記画像の反射率を、周囲光状態の関数として比較するステップを更に含み、
    a.登録の間、各カラー・チャネルにある映像を取り込み、選択した領域をマッピングするステップと、
    b.チャネル毎に、小領域上で局部ヒストグラムを実行するステップと、
    c.異なるカラー・チャネルおよび前記カメラ・デバイスの感度にしたがって、指紋毎に外部照明変更を用いて、応答プロファイルを設定するステップと、
    d.候補の受入または拒絶を定め、本物の指紋のスペクトル応答を偽造したものと比較するステップと、
    を備えている、方法。
  7. 請求項6記載の方法であって、とりわけ、
    a.光線追跡手段を設けるステップと、
    b.OPDに基づいて出立判断基準を生成するステップと、
    c.検出器の幾何学的形状に関係する画素OTFを取得するステップと、
    d.サンプリングしたOTFおよびPSFを計算するステップと、
    e.サンプリングしたPSF集合に基づいて、選択した処理アルゴリズムのためにディジタル・フィルタ係数を計算するステップと、
    f.レート演算子を計算するステップと、
    g.ディジタル・パラメータを処理するステップと、
    h.レート・メリット・オペランドを光学オペランドと組み合わせるステップと、
    i.光学表面を修正するステップと、
    を備えている、方法。
  8. 画像の光線追跡特質および画素冗長性を改善する方法であって、
    a.冗長性デコンボリューション再現を行うステップと、
    b.ぼけ歪みをモデル化するのに適合する数値非球面レンズを決定するステップと、
    を備えている、方法。
  9. 指紋の識別システムであって、
    a.近接場照明を用いて画像を取り込む手段と、
    b.合焦外れおよびぼけの復元のための手段と、
    c.得られた画像をマッピングおよび投影する手段と、
    d.登録フェーズを取得し、前記画像の数学的モデルの相互格納を得る手段と、
    を備えている、システム。
JP2007525449A 2004-08-09 2005-08-09 非接触光学手段および3d指紋認識方法 Pending JP2008517352A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US59955704P 2004-08-09 2004-08-09
PCT/IL2005/000856 WO2006016359A2 (en) 2004-08-09 2005-08-09 Non-contact optical means and method for 3d fingerprint recognition

Publications (1)

Publication Number Publication Date
JP2008517352A true JP2008517352A (ja) 2008-05-22

Family

ID=35839656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007525449A Pending JP2008517352A (ja) 2004-08-09 2005-08-09 非接触光学手段および3d指紋認識方法

Country Status (7)

Country Link
US (1) US20080101664A1 (ja)
EP (1) EP1779064A4 (ja)
JP (1) JP2008517352A (ja)
KR (1) KR20070107655A (ja)
CN (1) CN101432593A (ja)
CA (1) CA2576528A1 (ja)
WO (1) WO2006016359A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428364B1 (ko) 2013-02-18 2014-08-18 한양대학교 산학협력단 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치
KR102396516B1 (ko) * 2021-04-23 2022-05-12 고려대학교 산학협력단 훼손된 지문 복원 방법, 이를 수행하기 위한 기록 매체 및 장치

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120118964A1 (en) * 2008-10-22 2012-05-17 Timothy Paul James Kindberg Altering an imaging parameter to read a symbol
US8406487B2 (en) * 2009-09-16 2013-03-26 General Electric Company Method and system for contactless fingerprint detection and verification
US8325993B2 (en) * 2009-12-23 2012-12-04 Lockheed Martin Corporation Standoff and mobile fingerprint collection
CN102782724A (zh) * 2010-03-04 2012-11-14 日本电气株式会社 异物判定装置、异物判定方法及异物判定程序
KR101633397B1 (ko) * 2010-03-12 2016-06-27 삼성전자주식회사 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템
US8600123B2 (en) 2010-09-24 2013-12-03 General Electric Company System and method for contactless multi-fingerprint collection
US8971588B2 (en) * 2011-03-30 2015-03-03 General Electric Company Apparatus and method for contactless high resolution handprint capture
US8965069B2 (en) * 2011-09-30 2015-02-24 University Of Louisville Research Foundation, Inc. Three dimensional minutiae extraction in three dimensional scans
US8340456B1 (en) * 2011-10-13 2012-12-25 General Electric Company System and method for depth from defocus imaging
US8953854B2 (en) 2012-08-08 2015-02-10 The Hong Kong Polytechnic University Contactless 3D biometric feature identification system and method thereof
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
US9892812B2 (en) 2012-10-30 2018-02-13 California Institute Of Technology Fourier ptychographic x-ray imaging systems, devices, and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US9251396B2 (en) 2013-01-29 2016-02-02 Diamond Fortress Technologies, Inc. Touchless fingerprinting acquisition and processing application for mobile devices
CN110262026B (zh) 2013-07-31 2022-04-01 加州理工学院 孔径扫描傅立叶重叠关联成像
JP2016530567A (ja) 2013-08-22 2016-09-29 カリフォルニア インスティチュート オブ テクノロジー 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法
CN104751103A (zh) * 2013-12-26 2015-07-01 齐发光电股份有限公司 手指指纹读取系统及指纹读取方法
US9773151B2 (en) 2014-02-06 2017-09-26 University Of Massachusetts System and methods for contactless biometrics-based identification
US11468557B2 (en) * 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
US9734165B2 (en) * 2014-08-02 2017-08-15 The Hong Kong Polytechnic University Method and device for contactless biometrics identification
FR3024791B1 (fr) * 2014-08-06 2017-11-10 Morpho Procede de determination, dans une image, d’au moins une zone succeptible de representer au moins un doigt d’un individu
US9734381B2 (en) 2014-12-17 2017-08-15 Northrop Grumman Systems Corporation System and method for extracting two-dimensional fingerprints from high resolution three-dimensional surface data obtained from contactless, stand-off sensors
SE1451598A1 (en) * 2014-12-19 2016-06-20 Fingerprint Cards Ab Improved guided fingerprint enrollment
CA2966926A1 (en) 2014-12-22 2016-06-30 California Institute Of Technology Epi-illumination fourier ptychographic imaging for thick samples
WO2016118761A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
AU2016211635A1 (en) 2015-01-26 2017-06-29 California Institute Of Technology Multi-well fourier ptychographic and fluorescence imaging
CN107407799B (zh) 2015-03-13 2020-09-18 加州理工学院 使用傅里叶叠层成像技术校正不相干成像系统中的像差
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
WO2016187591A1 (en) 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
US10291899B2 (en) * 2015-11-30 2019-05-14 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
JP7269874B2 (ja) * 2016-08-12 2023-05-09 スリーエム イノベイティブ プロパティズ カンパニー 複数の対象とする領域を独立的に処理する方法
US11450140B2 (en) 2016-08-12 2022-09-20 3M Innovative Properties Company Independently processing plurality of regions of interest
US10552662B2 (en) * 2016-12-30 2020-02-04 Beyond Time Investments Limited Optical identification method
JP7056052B2 (ja) 2017-09-22 2022-04-19 富士通株式会社 画像処理プログラム、画像処理方法、及び画像処理装置
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems
KR102491855B1 (ko) 2017-12-11 2023-01-26 삼성전자주식회사 3d 지문센서 소자 및 이를 포함하는 전자 장치
US10546870B2 (en) 2018-01-18 2020-01-28 Sandisk Technologies Llc Three-dimensional memory device containing offset column stairs and method of making the same
CN108388835A (zh) * 2018-01-24 2018-08-10 杭州电子科技大学 一种非接触式指纹图像采集装置
US10804284B2 (en) 2018-04-11 2020-10-13 Sandisk Technologies Llc Three-dimensional memory device containing bidirectional taper staircases and methods of making the same
CN110008892A (zh) * 2019-03-29 2019-07-12 北京海鑫科金高科技股份有限公司 一种基于四连指指纹图像采集的指纹核验方法及装置
US11139237B2 (en) 2019-08-22 2021-10-05 Sandisk Technologies Llc Three-dimensional memory device containing horizontal and vertical word line interconnections and methods of forming the same
US11114459B2 (en) 2019-11-06 2021-09-07 Sandisk Technologies Llc Three-dimensional memory device containing width-modulated connection strips and methods of forming the same
US11133252B2 (en) 2020-02-05 2021-09-28 Sandisk Technologies Llc Three-dimensional memory device containing horizontal and vertical word line interconnections and methods of forming the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04277874A (ja) * 1991-03-06 1992-10-02 Sharp Corp 指紋入力装置
JP2000040146A (ja) * 1998-07-23 2000-02-08 Hitachi Ltd 画像処理方法、画像処理装置および指掌紋画像入力装置
JP2000215308A (ja) * 1999-01-27 2000-08-04 Toshiba Corp 生体情報認証装置およびその方法
JP2002269565A (ja) * 2001-03-06 2002-09-20 Evermedia Co Ltd 回転画像の補正による非接触式アイリス認識方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3424955A1 (de) * 1984-07-06 1986-01-16 Siemens Ag Anordnung zum erfassen von fingerpapillaren
US6498861B1 (en) * 1996-12-04 2002-12-24 Activcard Ireland Limited Biometric security encryption system
US6075876A (en) * 1997-05-07 2000-06-13 Draganoff; Georgi Hristoff Sliding yardsticks fingerprint enrollment and verification system and method
US6289113B1 (en) * 1998-11-25 2001-09-11 Iridian Technologies, Inc. Handheld iris imaging apparatus and method
EP1139286A1 (en) * 1999-05-18 2001-10-04 Sanyo Electric Co., Ltd. Dynamic image processing method and device and medium
JP2002092616A (ja) * 2000-09-20 2002-03-29 Hitachi Ltd 個人認証装置
DE10123561A1 (de) * 2001-05-15 2001-10-18 Thales Comm Gmbh Verfahren zur Personenidentifikation mittels dreidimensionaler Fingerkuppenanalyse
DE10126369A1 (de) * 2001-05-30 2002-12-05 Giesecke & Devrient Gmbh Verfahren zum Prüfen eines Fingerabdrucks
DE10153808B4 (de) * 2001-11-05 2010-04-15 Tst Biometrics Holding Ag Verfahren zur berührungslosen, optischen Erzeugung von abgerollten Fingerabdrücken sowie Vorrichtung zur Durchführung des Verfahrens
US7221805B1 (en) * 2001-12-21 2007-05-22 Cognex Technology And Investment Corporation Method for generating a focused image of an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04277874A (ja) * 1991-03-06 1992-10-02 Sharp Corp 指紋入力装置
JP2000040146A (ja) * 1998-07-23 2000-02-08 Hitachi Ltd 画像処理方法、画像処理装置および指掌紋画像入力装置
JP2000215308A (ja) * 1999-01-27 2000-08-04 Toshiba Corp 生体情報認証装置およびその方法
JP2002269565A (ja) * 2001-03-06 2002-09-20 Evermedia Co Ltd 回転画像の補正による非接触式アイリス認識方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428364B1 (ko) 2013-02-18 2014-08-18 한양대학교 산학협력단 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치
KR102396516B1 (ko) * 2021-04-23 2022-05-12 고려대학교 산학협력단 훼손된 지문 복원 방법, 이를 수행하기 위한 기록 매체 및 장치

Also Published As

Publication number Publication date
WO2006016359A2 (en) 2006-02-16
EP1779064A2 (en) 2007-05-02
US20080101664A1 (en) 2008-05-01
CN101432593A (zh) 2009-05-13
EP1779064A4 (en) 2009-11-04
CA2576528A1 (en) 2006-02-16
WO2006016359A3 (en) 2009-05-07
KR20070107655A (ko) 2007-11-07

Similar Documents

Publication Publication Date Title
JP2008517352A (ja) 非接触光学手段および3d指紋認識方法
Lin et al. Recent advances in passive digital image security forensics: A brief review
JP4712487B2 (ja) 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
US8538095B2 (en) Method and apparatus for processing biometric images
US9042606B2 (en) Hand-based biometric analysis
JP4719809B2 (ja) 人物識別方法および撮影装置
JP3753722B2 (ja) 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置
JP4604439B2 (ja) 画像処理装置及び画像処理方法、並びに記録媒体
JP4246154B2 (ja) バイオメトリックな認証方法
Raghavendra et al. Exploring the usefulness of light field cameras for biometrics: An empirical study on face and iris recognition
CN104680128B (zh) 一种基于四维分析的生物特征识别方法和系统
KR20090129357A (ko) 화상 처리 장치 및 화상 처리 방법
Diwakar et al. An extraction and recognition of tongue-print images for biometrics authentication system
JP2021089730A (ja) 畳み込みニューラルネットワークによって、入力画像内で可視である少なくとも1つの対象要素を検出する方法
CN110275291A (zh) 延伸景深生物识别系统
CN111814564B (zh) 基于多光谱图像的活体检测方法、装置、设备和存储介质
US8295605B2 (en) Method for identifying dimensions of shot subject
JPH10143663A (ja) 指紋情報処理装置
Shin et al. Super-resolution method based on multiple multi-layer perceptrons for iris recognition
Noh et al. Empirical study on touchless fingerprint recognition using a phone camera
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム
CA2397576C (en) Pattern-based interchange format
JP4789526B2 (ja) 画像処理装置、画像処理方法
JP2004171551A (ja) 指紋照合装置及び指紋画像評価方法
JP6955147B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080403

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100805