JP2004288156A - 眼の虹彩イメージの定義の評価 - Google Patents
眼の虹彩イメージの定義の評価 Download PDFInfo
- Publication number
- JP2004288156A JP2004288156A JP2003388905A JP2003388905A JP2004288156A JP 2004288156 A JP2004288156 A JP 2004288156A JP 2003388905 A JP2003388905 A JP 2003388905A JP 2003388905 A JP2003388905 A JP 2003388905A JP 2004288156 A JP2004288156 A JP 2004288156A
- Authority
- JP
- Japan
- Prior art keywords
- image
- brightness
- definition
- score
- pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000011156 evaluation Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims abstract description 56
- 210000001747 pupil Anatomy 0.000 claims abstract description 31
- 238000009825 accumulation Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 16
- 230000004807 localization Effects 0.000 claims description 15
- 238000007689 inspection Methods 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000010187 selection method Methods 0.000 claims description 3
- 240000008881 Oenanthe javanica Species 0.000 claims description 2
- 210000000554 iris Anatomy 0.000 description 39
- 102100034274 Diamine acetyltransferase 1 Human genes 0.000 description 11
- 101000641077 Homo sapiens Diamine acetyltransferase 1 Proteins 0.000 description 11
- 101000713305 Homo sapiens Sodium-coupled neutral amino acid transporter 1 Proteins 0.000 description 11
- 238000001914 filtration Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000000720 eyelash Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 101000640813 Homo sapiens Sodium-coupled neutral amino acid transporter 2 Proteins 0.000 description 5
- 101000716973 Homo sapiens Thialysine N-epsilon-acetyltransferase Proteins 0.000 description 5
- 102100020926 Thialysine N-epsilon-acetyltransferase Human genes 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
【課題】 眼の虹彩又はその種のものの定義を評価する方法を提供する。
【解決手段】 眼の虹彩又はその種のもののイメージを定義する方法及びシステムは、イメージの瞳孔を概算で局在化すること、瞳孔のおおよその位置から、この位置に芯出しされた検査ウィンドウを定義すること、及び傾斜累積演算を検査ウィンドウの画素の輝度値に適用することから成り、ランニング合計はイメージの定義スコアに比例する。
【選択図】 図2
【解決手段】 眼の虹彩又はその種のもののイメージを定義する方法及びシステムは、イメージの瞳孔を概算で局在化すること、瞳孔のおおよその位置から、この位置に芯出しされた検査ウィンドウを定義すること、及び傾斜累積演算を検査ウィンドウの画素の輝度値に適用することから成り、ランニング合計はイメージの定義スコアに比例する。
【選択図】 図2
Description
本発明は、デジタルイメージ処理の分野及び、さらに詳細には、眼のデジタルイメージに基づく識別又は認証の方法に関する。
分析及び識別方法が適用されるイメージが利用できるイメージであるならば、虹彩認識は十分に検査されたバイオメトリック識別技術である。特に、認識アルゴリズムの実行は識別される虹彩のイメージの定義に大いに左右される。
現在、多くのアプリケーションにおいて、及び具体的にはオンボードアプリケーション(例えば電話又はラップトップ型コンピュータのアクセス制御、電子鍵など)において、使用されるカメラ(デジタルセンサ及びレンズ)は距離に応じて(本当の又は模擬の)焦点距離を調節する自動焦点システムを有さない。
さらに、眼の小さい表面領域を占めるにすぎない虹彩の優れた解像度を得るために、イメージは比較的短い距離(一般に10cmから30cmの桁)で撮られる。これにより小さい焦点深度(イメージが明瞭であるカメラと眼の間の距離範囲)をもたらす。眼が球形であるという事実が加わったこの小さい焦点深度は同一の眼のイメージの領域間の定義差異さえ作り出す。
従って実際の虹彩認識に先立つ処理は十分に明瞭なイメージを選択することから成る。
一般に、撮影装置が5から50の間の範囲の数のイメージを撮り、予備的処理システムが実際の認識アルゴリズムに提示されるイメージを選択する。
定義評価とは、各イメージにその定義のスコア特徴を割り当てることを意味する。これにより所定の閾値に対して十分明瞭なイメージを選択すること、又は一組のイメージの間で最も明瞭なイメージを選択することができる。慣例により、イメージに割り当てられるスコアが高ければ高いほど、イメージは明瞭である。
本発明はさらに詳細には、各イメージの定義のスコア特徴を決定する、及び好ましい側面によれば、最も明瞭なイメージの定義のスコア特徴を選択するために同一の眼のイメージに適用される予備的処理に関する。
デジタルイメージの定義を評価するためのさまざまな技術はすでに提供されており、それらはフィルタリング、ウェーブレット変換(WO-A-00/36551)、又は周波数解析(WO-A-00/30525)に基づいている。
これらすべての技術は具体的には処理能力が限定されている(例えば、電子鍵)小型製品で実行される場合に低速であるという共通の不利益を有する。「低速」とは、それらの技術が10イメージ/秒以上の率で撮られるイメージの実時間処理と完全に互換しないことを意味する。オンボードアプリケーションにおける速さの必要性は、虹彩の明瞭なイメージの選択が先行工程である虹彩によるユーザーの識別又は認証の速さの必要性に結びつく。
別の不利益は、定義評価アルゴリズムを実行するために必要なプログラムのサイズという点での複雑性である。
別の課題は、時間と方法の複雑性を省くために、定義の際に検査される領域を限定することである。特に、眼が球体であるという事実とまつげのような要素がイメージに含まれるという事実と関連づけられる小さい焦点深度により、虹彩の定義を評価するために及び他のイメージ領域を評価しないために、この領域の局在化が重要となる。
虹彩イメージの定義決定、又はさらに詳細には小さい焦点深度で撮られる及び短い距離で取得されるイメージの特定領域の定義決定に対して提起される別の課題は、評価される領域の外側領域(例えば、まつげ)の存在と関連し、その外側領域は、虹彩が明瞭でないのに対し明瞭である。この課題は特に光度傾斜を考慮する演算子又はアルゴリズムに存在し、実際の領域の光度傾斜より外形の光度傾斜を考慮することを意味する。特に、これはFSWM演算子として既知の従来の演算子又はアルゴリズムの不利益であり、この演算子は受け入れ可能な結果を提供する演算子としてもさらに知られる。
短い距離で及び小さい焦点深度で撮られるイメージ領域の定義評価に提起される別の課題は、撮られた被写体に必要な照明に関連する。眼のイメージセンサに対しては、必要な照明は一般に発光ダイオードである。この光源が定義評価を汚染する鏡面反射スポットを作る。特に、上述したFSWN演算子は鏡面反射スポットの存在によりだまされる。鏡面反射スポットは、スポットからくるかなり重要な傾斜を伴う虹彩からの光度傾斜を隠す傾向にあるからである。
本発明は、既知の方法の不利益の1つ又はいくつかを克服するデジタルイメージ処理方法及びシステムを提供する。
さらに具体的には、その実施形態は眼の虹彩又はその種のものの定義を評価する。
本発明はまた、一組の眼のイメージ又はその種のものから最も明瞭なものを選択する。
本発明はまた、単純で計算資源をほとんど消費しない眼のデジタルイメージのうちの虹彩又はその種のものを局在化する単純な方法を提供する。
本発明は、単純で、速い方法で計算資源をほとんど消費しないデジタルイメージの瞳孔又はその種のものがおおよそ局在化できる。
本発明は、鏡面反射スポットを含むデジタルイメージ領域の定義のスコア特徴を決定する。
本発明はまた、評価された定義を有する領域の寄生外形の存在に対して反応しない輝度傾斜解析演算子を提供する。
これら及び他の目的を達成するために、本発明は一組のイメージのそれぞれに対して、
前記イメージ画素の明るさの単一の方向における傾斜の累積を基礎として第1の近似の特徴的定義スコアを計算し、
前記サブセットのスコアが所定の閾値より大きいイメージのサブセットを選択し、
前記一部のイメージのそれぞれに対して、以下の連続する工程を含む評価方法によりイメージ定義の第2のスコア特徴を計算することを有し、
前記評価方法が、
前記イメージの瞳孔のおおよその位置決めをすること、
前記瞳孔のおおよその位置から、この位置上で芯出しされた検査ウィンドウを定義すること、及び
傾斜累積演算を前記検査ウィンドウの画素の明るさに適用させ、
ランニング合計が前記イメージの定義スコアに比例する連続工程を含むことを特徴とする、前記定義に基づいた一組のデジタルイメージから眼のイメージを選択する方法を提供する。
前記イメージ画素の明るさの単一の方向における傾斜の累積を基礎として第1の近似の特徴的定義スコアを計算し、
前記サブセットのスコアが所定の閾値より大きいイメージのサブセットを選択し、
前記一部のイメージのそれぞれに対して、以下の連続する工程を含む評価方法によりイメージ定義の第2のスコア特徴を計算することを有し、
前記評価方法が、
前記イメージの瞳孔のおおよその位置決めをすること、
前記瞳孔のおおよその位置から、この位置上で芯出しされた検査ウィンドウを定義すること、及び
傾斜累積演算を前記検査ウィンドウの画素の明るさに適用させ、
ランニング合計が前記イメージの定義スコアに比例する連続工程を含むことを特徴とする、前記定義に基づいた一組のデジタルイメージから眼のイメージを選択する方法を提供する。
本発明の実施形態によると、検査ウィンドウは細長い形状、好ましくは長方形を有する。
本発明の実施形態によると、前記検査ウィンドウの最も小さい径が瞳孔の期待される平均径におおよそ対応する。
本発明の実施形態によると、前記検査ウィンドウの最も大きい寸法が虹彩の期待される平均径におおよそ対応する。
本発明の実施形態によると、前記おおよその局在化が、
前記イメージを同一の寸法のブロックに分け、その寸法が局在化される前記瞳孔のおおよその期待される寸法に従って選択され、
各ブロックに対して、平均の明るさを計算し、及び
最も小さい明るさを有するブロックのイメージを検索し、前記画像の瞳孔のおおよその位置が、最小の明るさのブロックの位置に対応する工程を含む。
前記イメージを同一の寸法のブロックに分け、その寸法が局在化される前記瞳孔のおおよその期待される寸法に従って選択され、
各ブロックに対して、平均の明るさを計算し、及び
最も小さい明るさを有するブロックのイメージを検索し、前記画像の瞳孔のおおよその位置が、最小の明るさのブロックの位置に対応する工程を含む。
本発明の実施形態によると、ブロックが重なり合い、2つの隣接するブロック間の二方向のピッチがブロックの寸法の10分の1と4分の3の間の範囲である。
本発明の実施形態によると、分割が前記デジタルイメージのサブサンプルされたイメージ上で行われ、2つの隣接するブロック間のピッチが前記イメージサブサンプルの比率に依存する。
本発明の実施形態によると、局在化が、所定の幅の2つの側部のストリップを取り除くことにより元のイメージに対して寸法を縮小されたデジタルイメージに適用される。
本発明の実施形態によると、前記演算子がイメージ画素の明るさの水平及び垂直傾斜の二次基準を累積し、前記画素が少なくとも関連する方向の他の画素の第1の最大の明るさの閾値に応じて選択される。
本発明の実施形態によると、前記スコアがランニング合計を前記累積二次基準の数で割ることにより得られる。
本発明の実施形態によると、現在の画素を取り囲む2つの画素が、現在の画素から垂直及び水平方向の所定の間隔だけ離れて、前記2つの画素の明るさが前記第1の輝度閾値より小さい場合に限り、合計に考慮される垂直及び水平傾斜を有する前記現在の画素を選択し、前記第1の閾値が、考慮されないことが望まれる鏡面反射スポットの期待される明るさに応じて選択され、及び前記間隔が前記鏡面反射スポットの期待される寸法に応じて選択される。
本発明の実施形態によると、傾斜の二次基準が、その値が所定の傾斜閾値より小さい場合に限り考慮に入れられ、前記イメージのコントラストに応じて選択される。
本発明の実施形態によると、現在の画素が、その明るさが第2の明るさの閾値より小さい場合に限り合計に考慮されるように選択され、該閾値は前記イメージの虹彩の期待される明るさより大きくなるように選択される。
本発明の実施形態によると、各イメージに割り当てられる前記第2のスコアが前記セットから最も明瞭なイメージを選択するために使用される。
本発明はまた、デジタルイメージ処理システムも提供する。
本発明の前述した目的、特徴及び利点は、添付の図面に関連し、以下の具体的な実施形態の非限定的な記述で詳細に論じられる。
明確にするために、本発明の理解に必要な要素及び工程のみが図面に示され及び今後記載される。特に、虹彩認識システムの構造は詳述されない。本発明は、従来システムが本発明を実行するようにプログラム制御できるという条件で、前記システムに基づいて実行可能だからである。
本発明は一組のイメージのうち最も明瞭な虹彩イメージの選択に関連してこの後記載される。しかし、本発明はさらに一般的に、虹彩イメージと同一の特徴を示すデジタルイメージ又はイメージ部分の定義の決定及び、具体的には、定義が決定されることが望まれるイメージの第1の平面がバックグラウンドから異なる距離であるイメージの定義の決定に適用する。さらに、本発明は定義決定方法の完全な例示に関して述べているが、この方法のいくつかの段階は独立して実行される及び単独で特徴的である。
図1は本発明による選択方法を実行できる虹彩認識システムの例を非常に概略的に示している。
こうしたシステムは眼のイメージを有効に使って虹彩認識による識別又は認証を行うことを意図している。例えば、デジタルセンサ1は被写体の眼Oの一組のイメージを撮る。撮られたイメージの数は通常、識別を行うことができ、最も明瞭なイメージの選択後に、一方で被写体に新しい一連の撮影を提供することを要求するリスクを最小限にすることができるように少なくとも数十のイメージの数である。代替案として、解析されるイメージは離れたソースで発生して前もって記録される。
センサ1は、CPU2と接続する。CPU2は特に、メモリ3に保存された一組のイメージから、認識方法に提示される最も明瞭なイメージINを選択した(ブロックIS)後に実際の虹彩認識(ブロックIR)を実行する機能を有する。選択方法は、一組のイメージの各イメージに対する、その定義のスコア特徴の決定に基づいている。この決定は、本発明によると、好ましい実施形態が図2に関連して記載される方法により行われる。CPU2はまたすべてのシステム構成要素及び、特に、センサ1及びメモリ3を制御するためにも使用される。
図2はブロック図形式で本発明による定義決定方法の好ましい実施形態を概略的に示している。
図2の方法は3つの独立した特徴的な工程を含み、一組のイメージのうちのすべてが、好ましくは連続的に、この方法によって処理されることを知って、それらの工程は評価される一組のイメージのうちの1つのイメージの処理に関連して引き続き記載される。最も高いスコアが割り当てられたイメージの選択は、例えば、それ自体従来型の最大スコア検索工程を用いて、割り当てられた定義スコアの単純な比較により行われる。
第1の予備的処理段階(ブロック4、プレフォーカス)は、虹彩認識に対し明らかに不適当な非常に不鮮明なイメージ(さらに具体的には、ゼロ定義スコアが割り当てられるイメージ)を取り除くことを目的とする。本発明によると、この段階は水平方向の強い輝度傾斜(まぶたの一般的な方向に任意に対応する)を検索する。こうした傾斜はまつげの存在、瞳孔と虹彩の間、虹彩と白目の間、白目とまぶたの縁の間などの急な中間調の移行の存在と結びつく。移行が急であればあるほど、イメージは明瞭である。ここでは大まかな予備的処理が行われるので、傾斜検索は好ましくはおおよそのイメージ、つまりサブサンプルされたイメージに対して行われる。
図3は、ブロック図形式で予備的処理段階4の実施形態を概略的に示している。
元のイメージIは二方向に、好ましくは同一の要素により始めにサブサンプルされる(ブロック41、二方向サンプリング)。例えば、サブサンプリング率は二方向で4であり、それは16の要素を有するイメージで近似することを意味する。
工程41の結果として生じたイメージSEIはその後、好ましくは主要イメージラインの方向に対応するために水平な、単一方向のフィルタリング(ブロック42,水平ソーベルフィルタリング)に提供される。フィルタリングは各画素での水平傾斜を計算すること、従って垂直外形を検出することを目的とする。
例えば、それは「ソーベル」フィルタリングとして知られる一方向のフィルタリングである。こうしたフィルタリング演算子は、例えば、1995年にMasson(ISBN2-225-84923-4)より発行されたJ-P.Cocquerez 及びS.Phillipによる「Analyse d’images:filtrage et segmentation」という著作物に記載されている。
フィルタリングの結果生じたイメージはその後、おおよその定義スコアAFを計算する演算子(ブロック43、AF計算)に提供される。単純な手法では、この演算子はフィルタリングされたイメージの画素の明るさ合計を計算するだけである。AFスコアが高ければ高いほど、イメージは明瞭になる。
ブロック4で計算されたスコアAFは所定の定義閾値THと比較される(ブロック44、図2、AF>TH)。得られたスコアが閾値より大きい場合、定義決定処理はこの後図4に関連して述べられる第2の虹彩芯出し段階を続行する。そうでない場合は、イメージが十分に明瞭でないために拒絶される(ブロック45、スコア=0)。
第2の段階5(瞳孔の局在化)は解析されるイメージの瞳孔(及び従って虹彩)を芯出してイメージのうちの眼の瞳孔を位置決めすることから成る。この局在化はいくつかの目的を遂行する。第1の目的は、定義評価を重要な領域に実質上集中させることである。第2の目的は強い傾斜(具体的にはまつげ)を有し、虹彩と同一平面になく、定義評価に考慮されるとこの評価を改悪するイメージの領域を避けることである。
いくつかの局在化方法が可能である。例えば、2002年5月にCalgary Conference VI’02で発行されたC.Tisse、L.Martin、L.Torres及びM.Robertによる「Person Identification Technique Using Human Iris Recognition」という論文に記載された積分及び微分演算子に関連するハフ変換に基づく方法が高性能を提供する。
しかし、それは高い資源消費を有する及びその実行時間は従って必ずしも実時間処理と適合するとは限らない。さらに、定義の評価に対しては、おおよその局在化だけが必要とされる。
図4はブロック図形式で本発明による瞳孔局在化段階の好ましい実施形態を概略的に示している。
元のイメージIから始まり、側部のストリップがこのイメージから最初に取り除かれる(ブロック51、垂直カット)。この除去は、その側面上のイメージの(イメージI上の線Tで区切られた)暗い縁を実質上考慮に入れないことを目的とする。眼が適切にイメージの中心にある場合、これらのストリップは縁の明暗が少なくなる原因となる眼の湾曲から生まれる。除去されたストリップの寸法(幅)は解像度及び元のイメージの寸法に左右される。各ストリップは、例えば、イメージの幅の12分の1及び5分の1の間の範囲の幅である。
その後得られた減じられたイメージRIは随意的に二方向のサブサンプリング(ブロック52、二方向サンプリング)に提供される。例えば、サブサンプリングは図3に関連して記述された予備的処理段階と同一の比率で行われる。
サブサンプル化された減じられたイメージSERIのブロックの平均輝度がその後計算され(ブロック53、平均輝度ブロック)、ブロックの寸法は評価されたイメージの瞳孔の見込み寸法におおよそ対応する。処理されたイメージは通常、センサと眼の間の所定の距離範囲を順守している間に撮られるので、この寸法は完全に決定できる。
計算は、ブロックの寸法より小さいピッチを有する計算ウィンドウを移動することにより行われる。ブロックは重なり合い、2つの隣接するブロック間の二方向のピッチは、好ましくはブロックの寸法の10分の1及び4分の3の間の範囲である。
例えば、瞳孔がおよそ50*50画素とおよそ70*70画素の間の表面に適合する644*484画素のイメージに対し、輝度は15*15画素(各方向に4のサブサンプリング要素を有する)のブロックに対し、各回2画素から5画素の計算ウィンドウが移動するイメージを走査することにより計算される。従って異なるブロック輝度値のイメージLIが得られる。
このイメージで、最小の輝度を有するブロックが検索される(ブロック54、最小輝度検索)。このブロックは瞳孔(又は瞳孔のほとんど)を含むブロックにおおよそ対応する。実際、瞳孔は最も暗い範囲である。
サブサンプリングが省略される場合、平均輝度が計算されねばならないブロックの数はより高くなる。しかし計算ウィンドウの移動ピッチは減少する(例えば、毎8画素から20画素)。
一旦瞳孔がイメージ(ブロック55、図2)内でそのデカルド座標(X、Y)によりほぼ局在化されると、元のイメージIに戻って、そこから(ブロック56、抽出)細長いイメージEIを抽出する。イメージEIは、瞳孔のおよその位置に芯出しされた横方向のストリップの形状及び評価されたイメージの大きさで瞳孔の平均見込み径に対応する高さ形状を有する。虹彩全体がこのイメージ部分に再現されるわけではないという事実はここでは支障をきたさない。実際、これは虹彩認識のための虹彩の解析ではなく、その定義の評価のみである。この定義は瞳孔の周囲全体にわたり少なくともほぼ同一であり、瞳孔の1つの側面に虹彩を含む減じられたストリップの解析で十分である。
選択されたストリップの細長い形状により、眼が撮影の際にしばしば幾分閉じるという事実を考慮することができる。これにより関連性のない外形(まつげ、まぶた)を最小限にできる。
定義検査ウィンドウを形成する細長い長方形のイメージが好ましい実施形態であるが、楕円の、又は正方形さえ、又は丸い検査ウィンドウを提供することは排除されない。正方形の又は丸い検査ウィンドウの場合、瞳孔の周りの、定義評価のための十分な虹彩領域を含むように寸法を確実にする。しかし例えば、眼がイメージ撮影の際大きく開いていることを確実にすることにより、この領域はまぶたのような外形を、もたなければならない。
次に定義のスコア特徴をイメージに割り当てることが、第3の段階(ブロック6、FSWM)で、先行する工程により生じた細長いイメージEIを基に行われる。
本発明の1つの実施形態によると、改良されたFSWM型の演算子は鏡面反射スポットを含むようなイメージを処理するために実行される。
実際、FSWM演算子はすべてのイメージ画素(ここでは細長いイメージEI)に対して、輝度値平均の水平及び垂直傾斜の二次基準の総計を計算する。これは以下の公式
及び
gradV(i,j)=Med[Lum(i,j),Lum(i+1,j),Lum(i+2,j)]
-Med[Lum(i,j),Lum(i-1,j),Lum(i-2,j)]
と
gradH(i,j)=Med[Lum(i,j),Lum(i,j+1),Lum(i,j+2)]
-Med[Lum(i,j),Lum(i,j-1),Lum(i,j-2)]
を適用することを意味する。ここで、Lum(i,j)はn*m寸法のイメージEIにおける座標(i,j)の画素の光の強さを表し、Medは平均関数を表す、つまり、その結果が関数が適用されるセットの画素の輝度の中間値に対応する。
gradV(i,j)=Med[Lum(i,j),Lum(i+1,j),Lum(i+2,j)]
-Med[Lum(i,j),Lum(i-1,j),Lum(i-2,j)]
と
gradH(i,j)=Med[Lum(i,j),Lum(i,j+1),Lum(i,j+2)]
-Med[Lum(i,j),Lum(i,j-1),Lum(i,j-2)]
を適用することを意味する。ここで、Lum(i,j)はn*m寸法のイメージEIにおける座標(i,j)の画素の光の強さを表し、Medは平均関数を表す、つまり、その結果が関数が適用されるセットの画素の輝度の中間値に対応する。
上述したFSWM演算子は、例えば、1999年8月にIEEE Trans. On Consumers Electronicsの45巻3号で発行された、K.S.Choi、J.S.Lee及びS.J.Koによる「New autofocusing technique using the frequency selective weighted median filter for video cameras」という論文で論じられている。
本発明の1つの実施形態によると、総計はすべてのイメージ画素にわたり計算されるわけではなく、以下の特徴的な方法で選択されたいくつかの画素に限定される。
定義スコアを提供する総計に織り込まれるイメージ画素の平均の傾斜の二次基準に対して、傾斜が計算される画素から所定の距離にある画素のそれぞれの光の強さは本発明によると、少なくとも第1の所定の輝度閾値より小さい。これは、Lum(i,j+k)>SAT1、又はLum(i,j-k)>SAT1である座標(i,j)の画素の垂直傾斜、及びLum(i+k,j)>SAT1、又はLum(i-k,j)>SAT1である画素の水平傾斜を考慮に入れない(FSWM演算子の加算方程式に累算しない)ことを意味する。数k(例えば、2と10の間)がイメージ解像度に応じて選択され、鏡面反射スポットと虹彩間の移行の平均寸法に対応する。閾値SAT1はイメージが飽和すると考えられる中間調に対応するように選択される。
上記条件により、イメージEIに存在する鏡面反射スポットと眼の残りの部分の間の移行部に属する画素を取り除くことができる。従って関係のない傾斜をもたらす画素は定義スコアの決定の際の考慮に入らない。
好ましくは、更なる条件では水平又は垂直傾斜が、絶対値で、傾斜閾値GTHより小さい。虹彩では、傾斜は比較的小さい。しかし、これにより具体的にはまつげに起因する傾斜を考慮に入れないことができる。閾値GTHの決定はイメージコントラストに左右される及びまつげに見込まれる傾斜の平均より小さい。
好ましくは、画素の光の強さは第2の所定の輝度閾値SAT2より小さい。閾値SAT2は、(具体的には白目と比較して)通常比較的暗い虹彩に対して見込まれる光の強さより大きくなるように選択される。
代替案として、傾斜の二次基準は閾値GTHと直接比較される(その後それに従って選択される)。しかし、傾斜を演算する前に傾斜上でテストを行うことにより、取り除かれるすべての傾斜に対する計算時間を節約することができる。
上記条件すべてを順守することは以下のアルゴリズム内容で表すことができる好ましい実施形態に対応する。
Sc=0, NbPix=0
Sc=0, NbPix=0
例えば、ライン走査(1からnの各iに対して、1からmのj)で走査される再芯出しされた細長いイメージEIの画素すべてに対して、
[Lum(i,j+k)<SAT1 及び Lum(i,j-k)<SAT1 及び Lum(i,j)<SAT2 及び |GradV(i,j)|<GTH]である場合、Sc=Sc+(GradV(i,j))2 及び NbPix=NbPix+1であり、
[Lum(i+k,j)<SAT1 及び Lum(i-k,j)<SAT1 及び Lum(i,j)<SAT2 及び |GradH(i,j)|<GTH]である場合、Sc=Sc+(GradH(i,j))2 及び NbPix=NbPix+1である。
next j;
next i,
である。
[Lum(i,j+k)<SAT1 及び Lum(i,j-k)<SAT1 及び Lum(i,j)<SAT2 及び |GradV(i,j)|<GTH]である場合、Sc=Sc+(GradV(i,j))2 及び NbPix=NbPix+1であり、
[Lum(i+k,j)<SAT1 及び Lum(i-k,j)<SAT1 及び Lum(i,j)<SAT2 及び |GradH(i,j)|<GTH]である場合、Sc=Sc+(GradH(i,j))2 及び NbPix=NbPix+1である。
next j;
next i,
である。
一旦すべての画素が処理されると、イメージに割り当てられる定義スコアは、
Score=Sc/NbPix
として計算される。
Score=Sc/NbPix
として計算される。
この重み付けにより次に互いに比較される異なるイメージの指標を作ることができる。
好ましくは、上記演算子のアプリケーションでは、垂直及び水平傾斜は、閾値GTHに関する状況テストの際でさえ、光度に対する第1の3つの条件(Lum(i+k,j)<SAT1 及び Lum(i-k,j)<SAT1 及び Lum(i,j)<SAT2)が立証される場合に優先的に計算されるだけである。
従って、多くの傾斜がスコアを提供する総計に考慮されないこと、及び計算さえされないことが分かる。この利点はイメージ定義スコアの決定に際してのかなりの時間利得である。
別の利点は、鏡面反射スポットがイメージ定義評価をもはや汚染しないことである。
さらに一般的には、この方法は、定義が決定されることが望まれるイメージの画素上で行われる計算の数を最小化する。
別の利点は、従来の定義計算方法を実行する同等のツールと比較して、この方法はイメージセットの定義のスコア特徴を決定するのに高速である。
別の利点は、イメージに適用されるデジタル処理を簡略化する及び高速にする一方で、定義評価に関しては既知の方法よりさらに信頼性がある。
本発明は、眼の一組のデジタルイメージのうち虹彩が最も明瞭であるイメージの選択に関し記述してきたが、さらに一般的には形状及び/又は特徴が似ているイメージに適用できることがわかる。さらに、論じられた方法に特有のいくつかの段階により一般的な処理に含まれないアプリケーションが見つかる及び他の処理で生じる可能性のある特有の課題が解決される。
特に、眼のイメージの瞳孔の局在化は特有の利点を有し、単独で、他の方法で及び具体的には実際の識別及び認証方法で使用される他の局在化処理の課題及び不利益を解決することができる。アプリケーションの別の例は動画イメージの人物の眼の動きを検出することに関する(凝視追跡)。ここで再び、その方法がおよその局在化をできる速さは動画イメージの実時間の処理と適合する。
さらに、既知のFSWM演算子を簡略化する実際の定義スコアの決定の段階により、同様の課題が課され、具体的には非常に明るい反射が考慮されないことを望まれるときの様々な構成の解析の方法における他のアプリケーションが見つかる。こうしたアプリケーションでは、イメージの定義のスコア特徴を決定する方法は、アプリケーションの例のように、現在の記述に記載されている他の段階から独立した特徴を示す。
もちろん、本発明は当業者が容易に思いつく様々な代替案、変更及び改良を有する。特に、既知のツールを使用してソフトウェア方式での実行は上記で与えられた機能上の指示に基づき、当業者の能力の範囲内である。さらに、閾値、ブロック寸法、減少又はサブサンプリング要素などはアプリケーションに応じて及び定義が決定されることが望まれるイメージの型に応じて選択され、その決定は当業者の能力の範囲内である。
こうした代替案、変更及び改良は、この明細の一部であり、及び本発明の精神及び範囲内にあることを意図している。従って、前述の記述は例示にすぎず、限定するものではない。本発明は特許請求の範囲及びその均等範囲によってのみ限定される。
1 デジタルセンサ
2 CPU
3 メモリ
4 予備的処理段階
41 二方向サンプリング
42 水平ソーベルフィルタリング
43 AF計算
5 瞳孔の局在化
51 垂直カット
52 二方向サンプリング
53 平均輝度ブロック
54 最小輝度検索
56 抽出
2 CPU
3 メモリ
4 予備的処理段階
41 二方向サンプリング
42 水平ソーベルフィルタリング
43 AF計算
5 瞳孔の局在化
51 垂直カット
52 二方向サンプリング
53 平均輝度ブロック
54 最小輝度検索
56 抽出
Claims (15)
- 一組のイメージのそれぞれに対する定義が、
前記イメージ画素の明るさの単一の方向における傾斜の累積を基礎として第1の近似の特徴的定義スコア(AF)を計算(4)し、
前記第1のスコアが所定の閾値より大きいイメージのサブセットを選択し、
前記サブセットのイメージのそれぞれに対して、以下の連続する工程を含む評価方法によりイメージ定義の第2のスコア特徴を計算することを有し、
前記評価方法が、
前記イメージの瞳孔のおおよその位置決めをし(5)、
前記瞳孔のおおよその位置から、この位置上で芯出しされる検査ウィンドウ(EI)を定義し(56)、及び
傾斜累積演算を前記検査ウィンドウの画素の明るさに適用させ(6)、
ランニング合計が前記イメージの前記定義スコアに比例するという連続工程を含むことを特徴とする、前記定義に基づいた一組のデジタルイメージから眼のイメージを選択する方法。 - 前記検査ウィンドウ(EI)が細長い形状、好ましくは長方形を有することを特徴とする、請求項1に記載の方法。
- 前記検査ウィンドウ(EI)の最も小さい寸法が、瞳孔の期待される平均径におおよそ対応することを特徴とする、請求項2に記載の方法。
- 前記検査ウィンドウの最も大きい寸法が、虹彩の期待される平均径におおよそ対応することを特徴とする、請求項1に記載の方法。
- 前記おおよその局在化が、
前記イメージを同一の寸法のブロックに分け、その寸法が局在化される前記瞳孔のおおよその期待される寸法に従って選択され、
各ブロックに対して、平均の明るさを計算し(53)、及び
最も小さい明るさを有するブロックのイメージを検索し(54)、前記イメージの瞳孔のおおよその位置が、最小の明るさのブロックの位置に対応するという工程を含むことを特徴とする、請求項1に記載の方法。 - 前記ブロックが重なり合い、2つの隣接するブロック間の二方向のピッチがブロックの寸法の10分の1と4分の3の間の範囲であることを特徴とする、請求項5に記載の方法。
- 前記分割が前記デジタルイメージ(RI)のサブサンプルされたイメージ(SERI)上で行われ、2つの隣接するブロック間のピッチが前記イメージのサブサンプルの比率に依存することを特徴とする、請求項5に記載の方法。
- 前記局在化が、所定の幅の2つの側部のストリップを取り除くことにより元のイメージ(I)に対して寸法を縮小されたデジタルイメージ(RI)に適用されることを特徴とする、請求項5に記載の方法。
- 前記演算子がイメージ画素の明るさの水平及び垂直傾斜の二次基準を累積し、前記画素が少なくとも関連する方向の他の画素の第1の最大の明るさの閾値に応じて選択されることを特徴とする、請求項1に記載の方法。
- 前記スコアが前記ランニング合計を前記累積二次基準の数で割ることにより得られることを特徴とする、請求項9に記載の方法。
- 現在の画素を取り囲む2つの画素が、現在の画素から垂直及び水平方向の所定の間隔だけ離れて、前記2つの画素の明るさが前記第1の輝度閾値より小さい場合に限り、合計に考慮される垂直及び水平傾斜を有する前記現在の画素を選択し、前記第1の閾値が、考慮されないことが望まれる鏡面反射スポットの期待される明るさに応じて選択され、及び前記間隔が前記鏡面反射スポットの期待される寸法に応じて選択されることを特徴とする、請求項9に記載の方法。
- 傾斜の前記二次基準が、その値が所定の傾斜閾値より小さい場合に限り考慮に入れられ、前記傾斜閾値が前記イメージのコントラストに応じて選択されることを特徴とする、請求項9に記載の方法。
- 現在の画素が、その明るさが第2の明るさの閾値より小さい場合に限り合計に入れられるように選択され、前記第2の明るさの閾値が前記イメージの虹彩の期待される明るさより大きくなるように選択されることを特徴とする、請求項9に記載の方法。
- 各イメージに割り当てられる前記第2のスコアが前記セットから最も明瞭なイメージを選択するために使用されることを特徴とする、請求項1に記載の方法。
- 請求項1から請求項14のいずれかに記載の選択方法を実行する手段を含むことを特徴とするデジタルイメージ処理システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0214546 | 2002-11-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004288156A true JP2004288156A (ja) | 2004-10-14 |
Family
ID=32319953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003388905A Withdrawn JP2004288156A (ja) | 2002-11-20 | 2003-11-19 | 眼の虹彩イメージの定義の評価 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7382902B2 (ja) |
EP (1) | EP1431907B1 (ja) |
JP (1) | JP2004288156A (ja) |
DE (1) | DE60307583T2 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPS140502A0 (en) * | 2002-03-27 | 2002-05-09 | Seeing Machines Pty Ltd | Method for automatic detection of facial features |
GB2412431B (en) * | 2004-03-25 | 2007-11-07 | Hewlett Packard Development Co | Self-calibration for an eye tracker |
FR2890215B1 (fr) * | 2005-08-31 | 2007-11-09 | St Microelectronics Sa | Traitement numerique d'une image d'iris |
GB0603411D0 (en) * | 2006-02-21 | 2006-03-29 | Xvista Ltd | Method of processing an image of an eye |
FR2900482B1 (fr) * | 2006-04-28 | 2008-06-20 | Sagem Defense Securite | Procede d'identification d'une personne par analyse des cara cteristiques de ses cils |
FR2906387A1 (fr) * | 2006-09-21 | 2008-03-28 | St Microelectronics Sa | Procede et dispositif de selection d'images dans une sequence d'images d'iris recue en flux continu |
WO2010118292A1 (en) | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
TWI464690B (zh) * | 2010-10-28 | 2014-12-11 | Univ Nat Chiao Tung | 利用非軸向光源經角膜反射之像散現象估算虹膜影像清晰度之系統 |
US9887983B2 (en) | 2013-10-29 | 2018-02-06 | Nok Nok Labs, Inc. | Apparatus and method for implementing composite authenticators |
US9396320B2 (en) | 2013-03-22 | 2016-07-19 | Nok Nok Labs, Inc. | System and method for non-intrusive, privacy-preserving authentication |
US10270748B2 (en) * | 2013-03-22 | 2019-04-23 | Nok Nok Labs, Inc. | Advanced authentication techniques and applications |
US9961077B2 (en) | 2013-05-30 | 2018-05-01 | Nok Nok Labs, Inc. | System and method for biometric authentication with device attestation |
US9654469B1 (en) | 2014-05-02 | 2017-05-16 | Nok Nok Labs, Inc. | Web-based user authentication techniques and applications |
US9413533B1 (en) | 2014-05-02 | 2016-08-09 | Nok Nok Labs, Inc. | System and method for authorizing a new authenticator |
US9577999B1 (en) | 2014-05-02 | 2017-02-21 | Nok Nok Labs, Inc. | Enhanced security for registration of authentication devices |
US9282237B2 (en) | 2014-07-17 | 2016-03-08 | Schlage Lock Company Llc | Multifocal iris recognition device |
US9749131B2 (en) | 2014-07-31 | 2017-08-29 | Nok Nok Labs, Inc. | System and method for implementing a one-time-password using asymmetric cryptography |
US9455979B2 (en) | 2014-07-31 | 2016-09-27 | Nok Nok Labs, Inc. | System and method for establishing trust using secure transmission protocols |
US9875347B2 (en) | 2014-07-31 | 2018-01-23 | Nok Nok Labs, Inc. | System and method for performing authentication using data analytics |
US10148630B2 (en) | 2014-07-31 | 2018-12-04 | Nok Nok Labs, Inc. | System and method for implementing a hosted authentication service |
US9736154B2 (en) | 2014-09-16 | 2017-08-15 | Nok Nok Labs, Inc. | System and method for integrating an authentication service within a network architecture |
CN104537374B (zh) * | 2015-01-21 | 2017-10-17 | 杭州电子科技大学 | 一种使用全局与局部强度距离衡量的头脸部区域提取方法 |
CN105488494B (zh) * | 2015-12-29 | 2019-01-08 | 浙江工商大学 | 一种虹膜内边缘的快速精确的定位方法 |
US10769635B2 (en) | 2016-08-05 | 2020-09-08 | Nok Nok Labs, Inc. | Authentication techniques including speech and/or lip movement analysis |
US10637853B2 (en) | 2016-08-05 | 2020-04-28 | Nok Nok Labs, Inc. | Authentication techniques including speech and/or lip movement analysis |
CN106326922A (zh) * | 2016-08-22 | 2017-01-11 | 苏州华兴源创电子科技有限公司 | 一种证件信息远程实时认证方法及系统 |
US10237070B2 (en) | 2016-12-31 | 2019-03-19 | Nok Nok Labs, Inc. | System and method for sharing keys across authenticators |
US10091195B2 (en) | 2016-12-31 | 2018-10-02 | Nok Nok Labs, Inc. | System and method for bootstrapping a user binding |
CN106886386B (zh) * | 2017-01-23 | 2019-06-04 | 苏州科达科技股份有限公司 | 从低动态图像生成高动态图像的方法 |
DE102017205458A1 (de) * | 2017-03-30 | 2018-10-04 | Robert Bosch Gmbh | System und ein Verfahren zur Erkennung von Augen und Händen, insbesondere für ein Kraftfahrzeug |
US11868995B2 (en) | 2017-11-27 | 2024-01-09 | Nok Nok Labs, Inc. | Extending a secure key storage for transaction confirmation and cryptocurrency |
US11831409B2 (en) | 2018-01-12 | 2023-11-28 | Nok Nok Labs, Inc. | System and method for binding verifiable claims |
US12041039B2 (en) | 2019-02-28 | 2024-07-16 | Nok Nok Labs, Inc. | System and method for endorsing a new authenticator |
US11792024B2 (en) | 2019-03-29 | 2023-10-17 | Nok Nok Labs, Inc. | System and method for efficient challenge-response authentication |
US12126613B2 (en) | 2021-09-17 | 2024-10-22 | Nok Nok Labs, Inc. | System and method for pre-registration of FIDO authenticators |
CN114155223A (zh) * | 2021-11-18 | 2022-03-08 | 重庆大学 | 基于有向距离的图像清晰度筛选方法及系统 |
CN117714866A (zh) * | 2024-02-06 | 2024-03-15 | 国网上海市电力公司 | 一种可自适应调焦的电缆通道三光成像方法和系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5040228A (en) * | 1989-08-28 | 1991-08-13 | At&T Bell Laboratories | Method and apparatus for automatically focusing an image-acquisition device |
US6215891B1 (en) * | 1997-03-26 | 2001-04-10 | Oki Electric Industry Co., Ltd. | Eye image recognition method eye image selection method and system therefor |
US5953440A (en) * | 1997-12-02 | 1999-09-14 | Sensar, Inc. | Method of measuring the focus of close-up images of eyes |
US5978494A (en) * | 1998-03-04 | 1999-11-02 | Sensar, Inc. | Method of selecting the best enroll image for personal identification |
-
2003
- 2003-11-19 JP JP2003388905A patent/JP2004288156A/ja not_active Withdrawn
- 2003-11-19 DE DE60307583T patent/DE60307583T2/de not_active Expired - Lifetime
- 2003-11-19 EP EP03300220A patent/EP1431907B1/fr not_active Expired - Lifetime
- 2003-11-20 US US10/717,804 patent/US7382902B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
DE60307583D1 (de) | 2006-09-28 |
EP1431907A1 (fr) | 2004-06-23 |
DE60307583T2 (de) | 2007-10-04 |
US7382902B2 (en) | 2008-06-03 |
EP1431907B1 (fr) | 2006-08-16 |
US20040101170A1 (en) | 2004-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004288156A (ja) | 眼の虹彩イメージの定義の評価 | |
US8331619B2 (en) | Image processing apparatus and image processing method | |
US9684966B2 (en) | Foreground / background separation in digital images | |
KR100617390B1 (ko) | 얼굴 식별 장치, 얼굴 식별 방법 및 기록매체 | |
US8442339B2 (en) | Method and device for selecting images in a sequence of iris images received in a stream | |
US8233661B2 (en) | Object tracking apparatus and object tracking method | |
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
KR101870853B1 (ko) | 초점이 벗어난 상태들 하에서 객체 검출 및 인식 | |
KR100839772B1 (ko) | 대상 결정 장치 및 촬상 장치 | |
US8000526B2 (en) | Detecting redeye defects in digital images | |
US20140253785A1 (en) | Auto Focus Based on Analysis of State or State Change of Image Content | |
KR101413413B1 (ko) | 이물 판정 장치, 이물 판정 방법 및 이물 판정 프로그램 | |
US20090095880A1 (en) | Autofocus control circuit, autofocus control method and image pickup apparatus | |
US20030099044A1 (en) | Autofocusing apparatus | |
KR20070118015A (ko) | 안면 특징 검출 방법 및 장치 | |
US9412039B2 (en) | Blur detection system for night scene images | |
US20240231485A1 (en) | Eyeball tracking method and virtual reality device | |
JPH05137047A (ja) | 焦点検出方法及び焦点検出装置 | |
JP2004288157A (ja) | デジタルイメージの定義スコアの決定 | |
KR101025568B1 (ko) | 영상의 엔트로피를 이용한 초점위치 결정장치 및 방법 | |
JP2010146159A (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
CN112004019B (zh) | 跟踪对焦方法及计算机可读存储介质 | |
WO2022059064A1 (ja) | フォーカス判定装置、虹彩認証装置、フォーカス判定方法、及び、記録媒体 | |
JP6044234B2 (ja) | 画像処理装置及び画像処理方法 | |
CN117296083A (zh) | 用于拍摄用于识别宠物的客体的方法以及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070206 |