JP2016528627A - Ｒｇｂ−ｎｉｒカメラ対を使用した特徴識別 - Google Patents

Ｒｇｂ−ｎｉｒカメラ対を使用した特徴識別 Download PDF

Info

Publication number
JP2016528627A
JP2016528627A JP2016531622A JP2016531622A JP2016528627A JP 2016528627 A JP2016528627 A JP 2016528627A JP 2016531622 A JP2016531622 A JP 2016531622A JP 2016531622 A JP2016531622 A JP 2016531622A JP 2016528627 A JP2016528627 A JP 2016528627A
Authority
JP
Japan
Prior art keywords
hand
value
image data
determined
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2016531622A
Other languages
English (en)
Other versions
JP2016528627A5 (ja
Inventor
アン・エム・チェン
シジア・パン
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016528627A publication Critical patent/JP2016528627A/ja
Publication of JP2016528627A5 publication Critical patent/JP2016528627A5/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

開示されるのは、人物の手のRGB画像を捕捉するステップと、その手の近赤外(NIR)画像を捕捉するステップと、捕捉されたRGB画像およびNIR画像に基づいて、その手の幾何学的特徴を決定するステップとを含む方法を含む、システム、装置、デバイス、方法、コンピュータプログラム媒体およびコンピュータプログラム製品、ならびに他の実装形態である。いくつかの実施形態では、幾何学的特徴を決定するステップは、その手に関する抽出された画像データから、たとえば、その手に関する抽出された画像データ内の2本の指の第1の対の間の角度、および/あるいはその手に関する抽出された画像データ内の指の第2の対に関する相対的な距離または長さのうちの1つもしくは複数など、その手に関する相対的な空間特徴を表す1つまたは複数の値を決定するステップを含み得る。いくつかの実施形態では、本方法は、その手の決定された幾何学的特徴に基づいて、その人物の識別を決定するステップをさらに含み得る。

Description

本発明は、ＲＧＢ−ＮＩＲカメラ対を使用した特徴識別に関する。
無許可のアクセスからコンピューティングデバイス(たとえば、モバイルデバイスなどのハンドヘルドデバイス)を保護するための解決策は、4桁のピンを入力するように、またはスワイプパターンを実行するようにユーザに催促することを含む。これらの解決策は、デバイスにアクセスするためのユーザの許可を決定するためにバイオメトリックデータを使用しないため、これらの解決策は何らかの脆弱性を有する。別の解決策では、デバイスに指紋読取装置を備え付けて、アクセスを得ることを試みるユーザの指紋が所定の指紋のセットと一致することが確認されるとアクセスを許可することができる。しかしながら、この手法は、高価なハードウェアをさらに必要とし、デバイス上の利用可能なスペースの比較的大きな部分を占有し、進行中の使用ベースを消耗しやすい。
いくつかの変形形態では、方法が開示される。本方法は、人物の手のRGB画像を捕捉するステップと、その手の近赤外(NIR)画像を捕捉するステップと、捕捉されたRGB画像およびNIR画像に基づいて、その手の幾何学的特徴を決定するステップとを含む。
本方法の実施形態は、以下の特徴のうちの1つまたは複数を含めて、本開示で説明する特徴のうちの少なくともいくつかを含み得る。
本方法は、捕捉されたRGB画像を捕捉されたNIR画像と整合させるステップをさらに含み得る。
手の幾何学的特徴を決定するステップは、捕捉されたRGB画像からのRGB画像データと、捕捉されたNIR画像からのNIR画像データとに基づいて、その手に関する画像データを抽出するステップを含み得る。
手に関する画像データを抽出するステップは、捕捉されたRGB画像の少なくとも1つのピクセルに関するそれぞれのRGBピクセル値と、捕捉されたNIR画像の対応するピクセルに関するそれぞれのNIRピクセル値とに基づいて、その少なくとも1つのピクセルの各々に関する第1の値および第2の値を計算するステップと、捕捉されたRGB画像の少なくとも1つのピクセルからの特定のピクセルに関する第1の値が第1の所定の値範囲内にあり、第2の値が第2の所定の値範囲内にあるとき、その特定のピクセルがその手に対応すると決定するステップとを含み得る。第1の値r1および第2の値r2は、
Figure 2016528627
に従って計算された特定のピクセルに関する皮膚色インジケータであり得、式中、ρは反射率を示し、λは波長を示す。
幾何学的特徴を決定するステップは、その手に関する抽出された画像データから、その手に関する相対的な空間特徴を表す1つまたは複数の値を決定するステップを含み得る。
相対的な空間特徴は、たとえば、その手に関する抽出された画像データ内の2本の指の第1の対の間の角度、および/あるいはその手に関する抽出された画像データ内の指の第2の対に関する相対的な距離または長さのうちの1つもしくは複数を含み得る。
本方法は、その手の決定された幾何学的特徴に基づいて、その人物の識別を決定するステップをさらに含み得る。
その手の決定された幾何学的特徴に基づいて、その人物の識別を決定するステップは、その手の決定された幾何学的特徴を表す値を記憶された記録内の値と比較するステップであって、各記録が、前に獲得された手画像のそれぞれの手画像に関する画像データから決定された幾何学的特徴を表す、それぞれの対応する記録値を含む、比較するステップを含み得る。
その手の決定された幾何学的特徴を表す値を記憶された記録内の値と比較するステップは、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する標準偏差を計算するステップと、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する平均値を計算するステップと、所定の標準偏差しきい値に対する計算された標準偏差の第1の比較に基づいて、かつ、所定の平均しきい値に対する計算された平均値の第2の比較に基づいて、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値の対応する少なくともいくつかとの間に一致が存在するかどうかを決定するステップとを含み得る。
その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間に一致が存在するかどうかを決定するステップは、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する計算された標準偏差が標準偏差しきい値未満であり、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する計算された平均値が平均しきい値未満であるとき、または、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する計算された標準偏差が標準偏差しきい値以上であり、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する計算された平均値が平均しきい値より小さい第2の平均しきい値未満であるとき、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかが、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかと一致すると決定するステップを含み得る。
本方法は、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間に一致が存在すると決定することに応答して、その人物がコンピューティングデバイスにアクセスするのを可能にするステップをさらに含み得る。
いくつかの変形形態では、RGB画像捕捉ユニットと、近赤外(NIR)画像捕捉ユニットと、1つまたは複数のプロセッサと、コンピュータ命令を備えた記憶媒体とを含むデバイスが開示される。コンピュータ命令は、1つまたは複数のプロセッサ上で実行されるとき、RGB画像捕捉ユニットを用いて、人物の手のRGB画像を捕捉することと、NIR画像捕捉ユニットを用いて、その手のNIR画像を捕捉することと、捕捉されたRGB画像およびNIR画像に基づいて、その手の幾何学的特徴を決定することとを含む動作を引き起こす。
本デバイスの実施形態は、本方法に関して上で説明した特徴のうちの少なくともいくつかを含めて、本開示で説明する特徴のうちの少なくともいくつかを含み得る。
いくつかの変形形態では、装置は、人物の手のRGB画像を捕捉するための手段と、その手の近赤外(NIR)画像を捕捉するための手段と、捕捉されたRGB画像およびNIR画像に基づいて、その手の幾何学的特徴を決定するための手段とを含むことを開示される。
本装置の実施形態は、本方法および本デバイスに関して上で説明した特徴のうちの少なくともいくつか、ならびに以下の特徴のうちの1つまたは複数を含めて、本開示で説明する特徴のうちの少なくともいくつかを含み得る。
その手の幾何学的特徴を決定するための手段は、捕捉されたRGB画像の少なくとも1つのピクセルに関するそれぞれのRGBピクセル値と、捕捉されたNIR画像の対応するピクセルに関するそれぞれのNIRピクセル値とに基づいて、その少なくとも1つのピクセルの各々に関する第1の値および第2の値を計算するための手段と、捕捉されたRGB画像の少なくとも1つのピクセルからの特定のピクセルに関する第1の値が第1の所定の値範囲内にあり、第2の値が第2の所定の値範囲内にあるとき、その特定のピクセルがその手に対応すると決定するための手段とを含む、捕捉されたRGB画像からのRGB画像データと、捕捉されたNIR画像からのNIR画像データとに基づいて、その手に関する画像データを抽出するための手段を含み得る。
幾何学的特徴を決定するための手段は、その手に関する抽出された画像データから、その手に関する相対的な空間特徴を表す1つもしくは複数の値を決定するための手段であって、相対的な空間特徴が、たとえば、その手に関する抽出された画像データ内の2本の指の第1の対の間の角度、および/あるいはその手に関する抽出された画像データ内の指の第2の対に関する相対的な距離または長さのうちの1つもしくは複数を含む、決定するための手段を含み得る。
本装置は、その手の決定された幾何学的特徴を表す値を記憶された記録内の値と比較するための手段であって、各記録が、前に獲得された手画像のそれぞれの手画像に関する画像データから決定された幾何学的特徴を表す、それぞれの対応する記録値を含む、比較するための手段を含む、その手の決定された幾何学的特徴に基づいて、その人物の識別を決定するステップをさらに含み得る。
その手の決定された幾何学的特徴を表す値を記憶された記録内の値と比較するための手段は、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応するいくつかとの間の差分に関する標準偏差を計算するための手段と、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する平均値を計算するための手段と、所定の標準偏差しきい値に対する計算された標準偏差の第1の比較に基づいて、かつ、所定の平均しきい値に対する計算された平均値の第2の比較に基づいて、その手の決定された幾何学的特徴を表す値のうちの少なくともいくつかと、前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間に一致が存在するかどうかを決定するための手段とを含み得る。
いくつかの変形形態では、プロセッサ上で実行可能なコンピュータ命令を用いてプログラムされた非一時的プロセッサ可読媒体が開示される。本コンピュータ命令は、実行されるとき、人物の手のRGB画像を捕捉することと、その手の近赤外(NIR)画像を捕捉することと、捕捉されたRGB画像およびNIR画像に基づいて、その手の幾何学的特徴を決定することとを含む動作を引き起こす。
本プロセッサ可読媒体の実施形態は、本方法、本デバイス、および本装置に関して上で説明した特徴のうちの少なくともいくつかを含めて、本開示で説明する特徴のうちの少なくともいくつかを含み得る。
別段の規定がない限り、本明細書で使用するすべての技術的および科学的用語は、一般にまたは従来理解されるのと同じ意味を有する。本明細書で使用する「a」および「an」という冠詞は、その冠詞の1つまたは1つを超える(すなわち、少なくとも1つの)文法的な対象物を指す。例として、「ある要素(an element)」は、1つの要素、または1つを超える要素を意味する。本明細書で使用する「約」および/または「およそ」は、量、持続時間、など、測定可能値を指すとき、指定された値からの±20%もしくは±10%、±5%、または+0.1%のばらつきを包含するが、これは、そのようなばらつきは、本明細書で説明するシステム、デバイス、回路、方法、および他の実装形態の文脈で適切であるためである。本明細書で使用する「実質的に」は、量、持続時間、(周波数などの)物理的属性など、測定可能値を指すとき、指定された値からの±20%もしくは±10%、±5%、または+0.1%のばらつきをやはり包含するが、これは、そのようなばらつきは、本明細書で説明するシステム、デバイス、回路、方法、および他の実装形態の文脈で適切であるためである。
特許請求の範囲を含めて、本明細書で使用する場合、「のうちの少なくとも1つ(at least one of)」または「のうちの1つまたは複数(one or more of)」によって始まる項目のリスト内で使用される「または(or)」もしくは「および(and)」は、列挙された項目の任意の組合せが使用され得ることを示す。たとえば、「A、B、またはCのうちの少なくとも1つ」のリストは、AまたはBまたはCまたはABまたはACまたはBCおよび/またはABC(すなわち、AおよびBおよびC)の組合せのうちのいずれかを含む。さらに、項目A、B、またはCの1つを超える発生または使用が可能である限り、A、B、および/またはCの複数の使用は、企図される組合せの一部を形成し得る。たとえば、「A、B、またはCのうちの少なくとも1つ」(あるいは、「A、B、またはCのうちの1つまたは複数」)のリストは、A、AA、AAB、AAA、BB、BCCなどをやはり含み得る。
特許請求の範囲を含めて、本明細書で使用する場合、特に明記しない限り、機能、動作、または特徴が項目および/または条件「に基づく(based on)」という文言は、機能、動作、または特徴が述べられた項目および/または条件に基づくこと、また、その述べられた項目および/または条件に加えて1つもしくは複数の項目および/または条件に基づき得ることを意味する。
本開示の他のおよびさらなる目的、特徴、態様、ならびに利点は、添付の図面の以下の詳細な説明により、より良好に理解されよう。
RGB-NIRカメラ対を使用して幾何学的特徴の決定および解析を実行するための例示的なシステムの概略図である。 ユーザの手に関する幾何学的特徴を決定するための例示的な手順の流れ図である。 特定のユーザの手に関する幾何学的特徴を抽出するための様々な処理動作を示す例示的なスクリーンショットである。 現在の画像から抽出された特徴セットがベースライン特徴セットに一致するかどうかを決定するための例示的な決定木手順の図である。 モバイルデバイスに関する例示的な動作環境の概略図である。 例示的なモバイルデバイスのブロック図である。 例示的なコンピューティングシステムの概略図である。
本明細書で説明するのは、RGB-NIRカメラの対を使用して、身体部分(たとえば、手)に関する幾何学的特徴を決定し、ユーザ識別プロセスを実行する実装形態である。多くのハンドヘルドデバイス、たとえば、スマートフォンは、概して、RGBカメラを備えており、かなりの物理的空間要件またはかなりのコスト増大を加えることなく、近赤外(NIR)カメラを装着することができる。NIRカメラは、種々のコントラスト、光、および色を有する、ノイズの多い背景から皮膚領域を検出することができる。加えて、NIRカメラは、撮影された皮膚に対して実際の皮膚を検出することができ、したがって、無許可のユーザが、知られている許可を得たユーザに関連付けられた写真(たとえば、その知られている許可を得たユーザの手または何らかの他の身体部分の写真)を使用する試みから保護する識別プロセスの実装形態を可能にする。本明細書で説明する実装形態はまた、RGBカメラおよびNIRカメラによって獲得された画像に基づいて、(たとえば、手など、ユーザの身体部分の)幾何学的特徴解析を実行するステップと、アクセスを求めるユーザの識別を決定または確認するためのバイオメトリックデータとして、それらの画像から決定された幾何学的特徴を使用するステップとを含む。たとえば、いくつかの実施形態では、手など、ユーザの身体部分に対応するRGB画像のエリアを決定し、その身体部分に対応する画像データを使用して、幾何学的特徴解析を実行するために、NIRカメラからの画像データがRGBカメラからの画像データとともに使用される。本明細書で説明する手順およびプロセスに行われるテストは、指紋識別手順/プロセスよりも高い手順/プロセス精度を示している。
したがって、本明細書で説明するのは、人物の手のRGB画像を捕捉するステップと、その手の近赤外(NIR)画像を捕捉するステップと、捕捉されたRGB画像およびNIR画像に基づいて、その手の幾何学的特徴を決定するステップとを含む方法を含む、システム、装置、デバイス、方法、コンピュータプログラム製品、媒体、および他の実装形態である。いくつかの実施形態では、本方法は、その人物の手(または、何らかの他の身体部分)の決定された幾何学的特徴に基づいて、その人物の識別を決定するステップをさらに含む。いくつかの実施形態では、手の幾何学的特徴を決定するステップは、捕捉されたRGB画像からのRGB画像データと、捕捉されたNIR画像からのNIR画像データとに基づいて、その手に関する画像データを抽出するステップを含み、抽出された画像データから、その手(または、何らかの他の身体部分)に関する相対的な空間特徴あるいは空間特性を表す1つもしくは複数の値を決定するステップも含み得る。たとえば、相対的な空間特徴は、たとえば、その手に関する抽出された画像データ内の指(または、何らかの他の身体部分の特徴)の第1の対の間の角度、その手に関する抽出された画像データ内の指の第2の対に関する相対的な距離、または任意の2本の指の長さの間の長さ比のうちの1つもしくは複数などを含み得る。
図1を参照すると、(たとえば、ユーザ識別プロセスを実行するための)幾何学的特徴の決定および解析を実行するための例示的なシステム100の概略図を示す。この概略図は、情報感知処理段階/モジュール110と、幾何学的解析処理段階/モジュール120と、アプリケーション処理段階/モジュール130とを含む、システム100を構成する様々な処理段階/モジュールを示す。情報感知処理段階110は、たとえば、ハンドヘルドデバイス上に提供される(たとえば、図6に示す)RGB画像捕捉ユニットおよびNIR画像捕捉ユニットを使用して、生画像データを捕捉し、RGB画像112およびNIR画像114を領域検出ユニット116に提供するように構成される。いくつかの実施形態では、それらのカメラからのある距離および/または配向に自らの手を配置するようにユーザに催促することができる。具体的には、ユーザの手をカメラに対して適切な位置に配置することを必要とする何らかの所定の配向に、互いに近接するようにRGBカメラおよびNIRカメラを配置することができる。それらのカメラの所定の配向に基づいて、ユーザは、それらのカメラが、本明細書で説明する幾何学的特徴の決定手順および解析手順を可能にするために、ユーザの手の十分な詳細を捕捉することができるように、その手を配置するようにユーザに催促することができる。いくつかの実施形態では、(たとえば、指がすべて互いに接触する状態で、指を大きく開いて延ばした状態で、など)複数の考えられる手プロファイルから(たとえば、ランダムに、または疑似ランダムに)選択され得る、何らかの特定の所定のプロファイルにおいて手を提示するようにユーザに催促することができる。いくつかの考えられる手プロファイルを使用することは、ユーザが(たとえば、それらのプロファイルに関して決定された対応する幾何学的特徴によって表される)いくつかの手プロファイルを事前登録し、それにより、(たとえば、テスターの手画像が獲得される時点で、同じユーザに関するいくつかのプロファイルのうちの1つがランダム/疑似ランダムに選択される可能性があり、不正ユーザはすべての異なる手プロファイルに関するセキュリティ特徴を回避することができない可能性があるため)不正ユーザがセキュリティの侵害を試みるのをより困難にする別のセキュリティ特徴を提供することができる。
引き続き図1を参照すると、領域検出ユニット116は、幾何学的特徴解析が実行されることになる、(たとえば、不正ユーザがデバイスに対する無許可のアクセスを得るために使用を試み得る可能性がある手の写真ではなく)ユーザの実際の手に対応するRGB捕捉画像のエリアを決定するように構成される。幾何学的特徴の決定および解析に使用されることになるRGB画像のエリアの決定は、NIR画像データおよびRGB画像データに基づく。たとえば、いくつかの実装形態では、112および114の画像から4つ(4)のチャネルが抽出され、その対応するピクセルが皮膚組織に対応するかどうかを決定するために、各チャネル内の各相関するピクセルの値が使用される。ピクセルが皮膚に対応するか否かの決定を使用して、2値画像を生み出すことができ、この場合、「1」の値を有するピクセルは皮膚領域を表すことができ、「0」は非皮膚領域を表すことができる(または、その逆)。
解析されるべきユーザの手(または、何らかの他の身体部分)に対応すると決定された画像データの部分は幾何学的解析処理段階120に提供され、ここで、画像処理を実行して、処理段階110によって提供された画像データの部分から決定され得る識別可能特徴から特徴点または特徴セットを取得する。これらの特徴セットは、幾何学的解析処理段階を使用して抽出または導出された特徴がシステム100を実装するデバイス(たとえば、モバイルデバイスなど、ハンドヘルドデバイス)上に(または、何らかの遠隔デバイスにおいて)記憶され得る複数のプロファイルのうちの1つの中の対応する幾何学的特徴に一致するかどうかを決定するために、アプリケーション処理段階130の識別アプリケーション132によって使用され得る。いくつかの実施形態では、段階120および130によって実行される動作のうちの1つまたは複数は、遠隔デバイス/システム(たとえば、RGBカメラとNIRカメラとを含むハンドヘルドデバイスと通信する遠隔サーバ)において実行され得る。
示すように、アプリケーション処理段階130はまた、幾何学的解析処理段階120によって決定された、識別された特徴点または特徴セットから幾何学的特徴プロファイルを生成するように構成されたエンロールメント(enrollment)アプリケーション134を含む。たとえば、エンロールメントアプリケーション134は、エンロールされる(enrolled)/登録されることになるユーザに関して取得された画像(たとえば、RGB画像およびNIR画像)から決定された識別可能な特徴の対に対応する距離/長さ比、ならびに角度など、相対的な空間特徴を含む記録を生成して記憶するように構成され得る。生成された幾何学的プロファイルは、1つもしくは複数のローカルストレージデバイス(たとえば、不揮発性メモリ)上のローカルデバイスにおいて、または(本明細書で説明する動作のうちのいくつかが遠隔デバイス/システムの支援によって実行される実施形態では)遠隔デバイスにおいて記憶され得る。いくつかの実施形態では、登録されたユーザに関する幾何学的特徴プロファイルは、データベース実装形態を使用して記憶および管理され得る。述べたように、いくつかの実施形態では、セキュリティを改善するために、ユーザは、いくつかの異なる手のジェスチャまたは配向に関する特徴プロファイルを登録することができ、識別段階の間、そのエンロールメント段階の間にユーザに関して登録された考えられるジェスチャ/配向のうちの1つにおいて自らの手(または、識別に使用される異なる身体部分)を提示するようにテスターに尋ねることができる。その後、識別アプリケーション132は、現在のテスターの手(もしくは、他の身体部分)の幾何学的特徴に対応するか、またはそれらを表す値が記憶されたプロファイルのうちの1つに一致するかどうかを決定する。
次に図2を参照すると、人物の手(または、何らかの他の身体部分)に関する幾何学的特徴を決定するための例示的な手順200の流れ図を示す。手順200は、(ハンドヘルド/ポータブルデバイスなど)デバイスのRGB画像捕捉ユニット(たとえば、CCDカメラなどのカメラ)によって人物の手(または、何らかの他の身体部分)のRGB画像を捕捉するステップ210を含む。RGB画像を捕捉するステップは、画像捕捉ユニットを活性化することができる、ハンドヘルドデバイスを持っているユーザの判断で実行され得る。代替的に、および/または追加として、画像を捕捉するステップは、何らかの所定の条件がかなえられたか、または満たされたと決定することに応答して、自動的に開始され得る。たとえば、画像捕捉ユニットは、a)(たとえば、慣性センサーを使用して)デバイスが、その人物/ユーザが自らの手の画像を撮影しようとしていることを示すように移動していることを検出することに応答して、b)何らかの所定の時点で、c)ハンドヘルドデバイスによって受信された視覚情報または音声情報に基づいて、撮像されるべきオブジェクトを認識することに応答して、など、活性化され得る。いくつかの実施形態では、(図6に示すデバイス600のディスプレイ662など)スクリーンディスプレイは、ユーザが所望のターゲットオブジェクトにカメラを適切に向けることを可能にするように、デバイスのカメラを用いて撮影された画像を提示することができる。述べたように、いくつかの実施形態では、複数の考えられる手のプロファイル、ジェスチャ、または配向からランダムもしくは疑似ランダムに選択され得る何らかの特定の所定のプロファイル、ジェスチャ、あるいは配向において手を提示するようにユーザに催促することができる。
手順200は、RGB画像が捕捉された手の近赤外(NIR)画像を捕捉するステップ220をさらに含む。NIR画像を捕捉するステップは、RGB画像の捕捉を引き起こした同じ活性化シーケンスまたはトリガに応答して行われ得るが、ただし、いくつかの実装形態では、NIR画像はRGB画像の捕捉より若干後にまたは前に捕捉され得る。
いくつかの実施形態では、RGBカメラおよびNIRカメラは、互いから独立してよく、かつ/または画像を実質的に同時に捕捉するように構成され得る。2つのカメラから取得された画像は、カメラを収納するデバイス上のその位置の差分によるオフセット距離を有し得る。述べたように、いくつかの実施形態では、画像は、自動的に、またはユーザによる活性化に応答して、捕捉され得る。画像がユーザ活性化に応答して獲得されるとき、ユーザは、RGBカメラとNIRカメラの両方から写真を撮影するために、アクティブ化ボタンを一度押下する必要があり得る。しかしながら、いくつかの実施形態では、RGBカメラからの画像が捕捉される時間とNIRカメラからの画像が捕捉される時間との間に小さな時間差が依然として存在する可能性がある。時間差が非常に小さいものであるとしても、何らかのわずかな手の移動は2つの画像間のオフセットを引き起こすことになる。したがって、そのような実施形態では、捕捉された画像に関して処理を開始する前に、2つのカメラからの画像を整合させる必要があり得る。
概して、RGBカメラおよびNIRカメラが互いから1cm未満離れて配置され、それらのカメラと手(または、他の身体部分)との間の距離が少なくとも20cmであるとき、2つの画像の角度差はかなりの見通し(perspective)変化を引き起こすほど大きくはない。いくつかの実施形態では、サンプル画像の対を整合させるために、(たとえば、その内容の全体が参照により本明細書に組み込まれている、International Journal of Computer Vision, 60(2):91-110頁、2004年で公開された、D. G. Loweによる「Distinctive image features from scale-invariant keypoints」においてより詳細に説明されるように)画像上のスケール不変特徴点を追跡することができる。追跡されると、その内容の全体が参照により本明細書に組み込まれている、Communications of the ACM、24(6):381-395頁、1981年で公開された、M. A. FischlerおよびR. C. Bollesによる「Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography」においてより詳細に説明されるように、2つの特徴点セットの間の相関点が決定される。使用され得るランダムサンプルコンセンサス(RANSAC)モードは「アファイン」であるが、これは、これらの2つのカメラは大きな見通し角度差を有さないためである。
引き続き図2を参照すると、手のRGB画像およびNIR画像が捕捉されると、捕捉されたRGB画像およびNIR画像に基づいて、その手の幾何学的特徴を決定する230。ユーザの手に実行される幾何学的特徴決定は、ユーザの手(または、他の身体部分)領域に対応する画像データを抽出して、画像データの抽出された部分に対応する幾何学的特徴(たとえば、画像データから決定された指の長さまたは幅をピクセルで)決定するプロセスを含む。いくつかの実施形態では、ユーザの手(または、何らかの他の身体部分)に関連付けられた相対的な空間特徴/特性(たとえば、いずれの2本の指の間の長さ比)を計算することができ、それらの計算された値を使用して、(前に登録された/エンロールされたユーザに関して)前に計算された幾何学的特徴の記憶された記録との一致が存在するかどうかを決定することができる。
(そこから幾何学的特徴が決定される)捕捉された画像から関連する画像データを抽出するために対処する必要がある課題は、捕捉された画像は、多くの場合、環境的な光の不安定性によって引き起こされる不安定な画像および色の変化を含むことである。画像内の皮膚ベースのオブジェクトを捕捉するために、旧来のYCrCb色しきい値処理技法は広いしきい値を使用するが、これは、そのプロセスで、(すなわち、皮膚ベースのオブジェクトだけではなく)他のオブジェクトからの色特徴も検出させる。他方で、NIRカメラは、RGB画像とNIR画像の両方を使用してピクセル色の精彩さを解析することによって、他のオブジェクトに対応するピクセルから、または背景から皮膚ピクセルを区別することができる。NIR画像の使用はまた、画像オブジェクトが、そのようなオブジェクトのカラー写真ではなく、実際の人間の組織に対応するかどうかを決定することを可能にする。
捕捉された画像から皮膚領域検出を達成するために、NIR画像を用いたスペクトル反射の変換および皮膚検出を使用することができる。NIRスペクトル範囲内に低光吸収特性を有するメラニンを含む人間の皮膚はNIR放射の反射を引き起こす。したがって、人間の皮膚に対応する画像データの部分を決定するためには、たとえば、以下に従って、RGB画像およびNIR画像内のピクセルのうちの少なくとも一部(概して、すべて)に関する皮膚色インジケータ値r1およびr2がまず計算される。
Figure 2016528627
式中、ρは(特定のピクセルに関する)反射率を示し、λは特定のピクセルに関する波長を示す。皮膚色インジケータを導出するために他の公式を使用することもできる。
次いで、LowerBoundNIR,G、UpperBoundNIR,G、LowerBoundG,R、およびUpperBoundG,Rのいくつかの所定の値に関して、
LowerBoundNIR,G<r1<UpperBoundNIR,G、および
LowerBoundG,R<r2<UpperBoundG,R
であるとき、ピクセルiは皮膚領域に対応すると決定される(いくつかの実施形態では、しきい値は、照明のスペクトル組成、およびセンサーの量子効率に少なくとも部分的に基づいて決定され得る)。
実際の身体部分に対応する(たとえば、RGB画像の)画像データの部分/エリアを決定すると、次いで、その画像データのその部分が(たとえば、図1に示した幾何学的解析処理段階120を使用して)解析される。ハンドヘルドデバイスのカメラによって捕捉された画像からの幾何学的特徴決定に関する1つの課題は、エンロール段階で使用される画像と識別段階の間に使用される画像とが異なる画像スケールを有し得ることである。抽出されたデータから相対的な空間特徴/特性を決定すること、たとえば、ユーザを識別するために、(長さ比などの)特徴の計算された絶対的な物理的寸法を決定して使用するのではなく、そのような特徴の物理的寸法に対応する比率を計算することによって、この「スケール変化」問題を解決することができる。
身体部分の幾何学的の特徴の決定および解析は、いくつかの実施形態では、輪郭検出から始まる。輪郭検出は、手の領域の輪郭を与えるだけでなく、ある種の突出点の位置を示す、輪郭の外線(hulls)(たとえば、解析される身体部分が手であるとき、指先)も提供する。ユーザの手の例では、隣り合ったあらゆる2つの指先の間の谷間を示す、輪郭の凹面を検出することもできる。これらに加えて、たとえば、指の幅の始点および終点を決定するために、他の特徴点を計算することができる。
図3は、特定のユーザの手に関する幾何学的特徴を抽出するための様々な処理動作を示す例示的なスクリーンショット300である。図3の手画像「(a)」では、ユーザの手の輪郭310が検出され、輪郭310から外線312(すなわち、輪郭310を囲む多角形)が決定される。凹面線314は、ユーザの手の2本の指によって画定される谷間を示す。手画像「(b)」では、手の特徴点、たとえば、(手画像(a)に示された)前に決定された外線312から指先320および322が検出され、前に決定された凹面から2つの谷間点324が検出される。加えて、(拡張線328などの)拡張線と手の輪郭との間の交差点に対応する拡張点326を指先、谷間、および輪郭から導出することができる(たとえば、識別された指先、谷間、および輪郭を使用して、拡張線を決定または画定することができる)。手画像「(a)」および「(b)」で示された、識別された/導出された特徴点を使用して、たとえば、指の幅(図示せず)、(指の長さ330など)指の長さ、(手のひらの幅332など)手のひらの幅、(谷間角度334など)谷間角度などの空間特徴、および他のタイプの空間特徴が導出される。
いくつかの実施形態では、図2にさらに示すように、手順200は、その手の決定された幾何学的特徴に基づいて、その人物/ユーザの識別を決定するステップ240をさらに含み得る。述べたように、手の捕捉された画像から識別された(図3に示した特徴など)空間特徴は、概して、ピクセルベースの寸法の点で提供される(たとえば、指の幅は、指の幅を構成する、画像から決定された、いくつかのピクセルとして表現される)。しかしながら、ユーザが自らの手の画像を撮影するときはいつでも、手とカメラの見通しの間の距離、およびその画像上の手の位置は必ずしも同じであるとは限らない。したがって、特徴点は、それらの特徴に基づいてユーザを識別するために必ずしも信頼性があるとは限らない。したがって、ユーザ識別を可能にするために特徴点を直接使用する代わりに、解析された身体部分に対応する相対的な空間特徴を計算して、識別処理を実行するためにこれを使用することができる。たとえば、相対的な長さ(たとえば、比率長さ/距離)および様々な識別された特徴点の間の角度を識別のために利用することができる。いくつかの実施形態では、以下を含めて、相対的な空間特徴を決定するときに使用され得る4つの特徴カテゴリが存在する:すなわち、1)指の長さ、2)指の幅、3)手のひらの幅、および4)指の間の谷間角度、である。いくつかの実施形態では、様々な識別可能な特徴の見掛けの(apparent)(たとえば、ピクセルで測定された)大きさをその画像データ内に出現するいくつかの特定の指定された特徴の見掛けの大きさで除算することによって、相対的な長さ特徴を計算することができる。たとえば、(たとえば、様々な指に関する指の長さ、様々な指に関する指の幅、手のひらの幅など)そのような様々な識別可能な特徴に関する(たとえば、ピクセルでの)見掛けの大きさをすべて薬指の幅(および/または、何らかの他の選択された特徴)の画像データ内の見掛けの大きさによって除算して、相対的な空間特徴を導出することができる。次いで、これらの導出された空間特徴を、登録されたユーザの同様に導出された、記憶された特徴と比較することができる。
したがって、相対的な空間特徴は、たとえば、その手に関して抽出された画像データ内の2本の指の第1の対の間の角度、および/あるいはその手に関して抽出された画像データ内の指の第2の対に関する相対的な距離または長さのうちの1つもしくは複数を含み得る。たとえば、計算された相対的な空間特徴は、1本の指およびもう1本の指の長さの(たとえば、指のピクセルでの長さの係数として計算された)比率、ならびに手の識別された空間特徴間の別の比率を含み得る。谷間角度の場合、指の間の角度はユーザが自らの手を伸ばす範囲に応じて異なり得るため、この特徴カテゴリを使用するとき、自らの手を何らかの特定の形で伸ばすか、または曲げるようにユーザに要求することができる。導出されると、幾何学的特徴は識別処理のための入力の働きをする。
識別目的で幾何学的特徴を使用するために、いくつかの実装形態では、現在のユーザの幾何学的特徴がエンロールされたユーザの特徴と一致するかどうか(したがって、現在のユーザがそのデバイスまたは何らかの他のコンピューティングデバイスに対するアクセスを得ることが許可されるかどうか)を後で決定するために、許可を得たユーザの幾何学的特徴(たとえば、解析された身体部分の実際に識別された特徴、および/もしくはそれらの実際の特徴に対応する相対的な空間特徴に関連付けられたデータ)を(たとえば、図1のアプリケーション処理段階130など、モジュールによって)使用して、許可を得たユーザをまずエンロールする。(たとえば、エンロールメントアプリケーション134によって、たとえば、実装される)エンロールメント段階で、将来の識別処理使用のために、許可を得たユーザのベースライン手特徴セット(または、ユーザの別の身体部分に関する特徴セット)が登録される。たとえば、図1に示した識別アプリケーション132によって実装される識別段階は、その後、現在のテスターの手特徴セット値を前に登録されたベースラインプロファイルと比較して、それらが前に登録されたベースラインプロファイルのうちの1つと一致するかどうかを決定することになる。
このようにして、ユーザが自らのデバイスをロック解除すること、または個人情報にアクセスするためにある種のアプリケーションを使用することを望むとき、識別アプリケーションがトリガされる。当初、カメラを自らの(たとえば)手に向けて、手の画像を撮影するようにユーザに催促することになる(手、または他の身体部分の画像はRGBカメラとNIRカメラの両方によって捕捉されることになる)。次いで、生のRGB画像およびNIR画像を使用して抽出された手画像から手の幾何学的特徴を表す値を有する特徴セットが導出される。その後、いくつかの実施形態では、下でより詳細に説明するように、特徴セットに決定木を適用して、そのユーザがそのデバイスにアクセスすることが許可されるべきか否かを決定する。現在のテスターに関して導出された特徴セットがベースラインプロファイル特徴セットのうちの1つと一致する場合、現在のテスターは前に登録されたユーザと同じであると決定される。
ユーザ識別を実行するとき、以下を含めて、いくつかの問題が生じる可能性がある:すなわち、1)有用な特徴点を抽出するために使用することができない無効画像を取得すること、2)不安定な検出環境によって、特徴セットを不完全に抽出させること、3)身体部分とデバイスのカメラとの間の小さな見通し変化により、特徴が一致しないものになること、である。無効画像特徴点抽出が取得された状況に対処するために、特徴点位置決め規則によって、抽出された特徴点をチェックすることができる。たとえば、撮像された手の5つの指先および4つの谷間は、左から右への画像ピクセル座標の観点から、その正確な空間順序にあるべきである。
不完全に抽出された特徴セットの問題に対処するために、共有される特徴だけを識別のために抽出することができる。たとえば、いくつかの状況では、(たとえば、モバイルデバイスの使用の不安定性により)テスターの手の画像からすべての特徴を抽出することができるとは限らない。したがって、ベースライン登録特徴セットから欠けていないテスターの特徴セットから欠けている特徴が存在し得る。それらの状況で、両方の特徴セット内に含まれた特徴を備える特徴サブセットを共有特徴セットとして選択することができ、その共有特徴セットにさらなる処理を加えることになる。たとえば、F0iは登録されたユーザの特徴セットであり、F1iは、テスターの特徴セットを示すと仮定し、この場合、調査されるべき4つの特徴カテゴリまたは特徴グループに関して、i∈[1…4]である(より多くのもしくはより少ない特徴カテゴリまたは特徴グループを決定および/あるいは使用することができる)。各特徴セット内の欠けている値は無効と見なされ、したがって、F0i、F1i内の有効特徴を表すデータを含むセットF0Vi、F1Viが結果として生成される。FSiは、F0ViおよびF1Viに関する共有有効特徴を表すデータを含むセットに対応する。
テスターの身体部分とデバイスのカメラとの間の小さな見通し角度によって導入されるアーティファクトを除去するために、特徴セット内の比率距離間の差分(すなわち、現在の画像データから計算された特徴と登録されたユーザのうちの1に関する、対応する記憶された特徴との間の差分)に関して計算された標準偏差および平均値を使用することができる。具体的には、その差分が異なるユーザの手に関する形状差分によって引き起こされるとき、平均値と標準偏差は両方とも高くなることが予想される。対照的に、その差分が(すなわち、特定のユーザに関する)同じ手の位置差分の結果として生じるとき、計算された標準偏差が高い(1つの不良測定によって生じた可能性がある)場合ですら、計算された平均値は、概して、高くならず、したがって、潜在的な画像アーティファクトの存在を示す。
このようにして、様々なカテゴリまたはグループ内の特徴(たとえば、指の長さ、指の幅、手のひらの幅、および指の間の角度)を現在のユーザの手(または、何らかの他の身体部分)の画像から計算して、エンロールされた/登録されたユーザに関して前に取得された、対応する特徴と比較する。登録された特徴セットに対して現在のユーザの特徴セットを比較することから生じる結果を使用して、識別結果を決定する(このようにして、現在のユーザが許可を得たユーザであるかどうかを決定する)。
具体的には、現在のユーザの手を用いた識別処理に関する要求が受信されるとき、登録されたユーザの手のベースライン特徴セットと現在のユーザの手に関する特徴セットとの間のstd(Δ)値およびavg(Δ)値は次のように計算される:
std(Δi)=std(F0i'[1...N F]-F1i'[1...N F])(3)
avg(Δi)=avg(F0i'[1...N F]-F1i'[...N F])(4)
式中、F0i'およびF1i'(特徴セット内の有効特徴)は次のように決定される:
F0i'={dindex∈F0i,index∈FSi}
F1i'={dindex∈F1i,index∈FSi}
次いで、std(Δi)およびavg(Δi)の計算された値に適用される処理を使用して、現在のユーザ(すなわち、テスター)に関する手画像からの手特徴が特定の登録された(エンロールされた)ユーザに関する特定のベースライン特徴セットと一致するかどうかを決定することができる。たとえば、いくつかの実施形態では、現在のユーザに関して取得された手画像からの特徴が特定の登録されたユーザに関する身体部分の特徴と一致するかどうかを決定するために、計算されたstd(Δi)およびavg(Δi)の値を使用して決定木手順が実行される。図4は、現在のユーザ(テスター)の手画像から抽出された特徴セットが記憶された1つまたは複数のベースライン特徴セットのうちの特定の1つと一致するかどうかを決定するために実行され得る例示的な決定木手順400の図である。示すように、現在の画像に関する特徴値と特定の登録されたユーザに関する対応する特徴値(たとえば、テスターの手の特徴セットと共有される有効特徴)との間の差分に関して(たとえば、式3に従って導出された)計算された標準偏差が所定のしきい値(threshold_std)未満であるかどうかがまず決定される410。そうである(すなわち、現在の画像に関して計算された特徴値と特定の登録されたユーザに関する、対応する特徴値との間の差分に関して計算された標準偏差が所定のしきい値未満である)場合、現在の画像に関する特徴値と特定の登録されたユーザに関する、対応する特徴値との間の(たとえば、式4に従って導出された)平均差分が何らかの所定のしきい値threshold_avg未満であるかどうかが決定される420。そうである場合、(現在のユーザに関する)現在の画像の特徴セットおよび特定の登録されたユーザに関する特徴セットは一致すると決定される430。しかしながら、420で行われた決定が、現在の画像に関する特徴値と特定の登録されたユーザに関する、対応する特徴値との間の平均差分がしきい値threshold_avg未満でないというものである場合、「決定なし」決定が行われる440。
(410で)現在の画像に関して導出された特徴値と特定の登録されたユーザに関する、対応する値との間の差分に関する標準偏差がthreshold_std以上であると決定された場合、以下の2つのシナリオが生じ得る:すなわち、1)現在のユーザ(テスター)は導出された特徴セット内に1つの不正確な特徴示度を有するが、それでもなお、そのテスターは登録されたユーザである、または2)テスターは登録されたユーザではない、である。第1の場合、「一致」決定を行うためには、(すなわち、不正確な示度が存在した特徴を除いた)残りの特徴とベースライン特徴との間に良好な一致が存在するはずである。いくつかの実施形態では、現在の画像に関する残りの特徴に関する値と、使用されるベースラインプロファイルの対応する特徴の値との間の差分から導出された低平均差分値が存在する(すなわち、2つのセットが厳密に一致する)場合、現在のテスターに関する残りの特徴は、特定の登録されたユーザの特定のベースライン特徴セットに関する、対応する残りの特徴に対して良好な一致を構成すると見なされる。したがって、手順400は、そのような実施形態では、現在の画像から導出された特徴値と特定の登録されたユーザに関する、対応する値との間の平均差分がthreshold_avg×rate_2nd_chanceとして計算された何らかの他の所定のしきい値未満であるかどうかを決定するステップ450を含み得る(この場合、rate_2nd_chance値は所定の値である)。平均差分計算が第2のしきい値未満(すなわち、threshold_avg×rate_2nd_chance未満)になると決定された場合、「一致」の決定が行われる460。現在の特徴が(考慮されるベースライン特徴セットに関する)記録された特徴値と一致するという決定について、現在の幾何学的特徴と所定の記録された特徴との間により小さな差分が要求されることを反映するために、第2のしきい値は、概して、threshold_avgしきい値より小さい。さもなければ、「不一致」の決定が行われる470。
いくつかの実施形態では、図4の例示的な決定木手順400などの決定木が特徴セットの各単一カテゴリに適用される。したがって、1つの特徴カテゴリが、たとえば、見通し角度の変化により一致し得ない場合、決定を行うのを可能にする他のカテゴリが依然として存在する。たとえば、いくつかの実施形態では、各特徴カテゴリ/グループを次のようにスコアリングすることができる:
Figure 2016528627
決定木から結果として生じるスコアがセット内の特徴グループ(たとえば、4つ以上の特徴グループ)に関して取得されるとき、結果が合計される。いくつかの実施形態では、スコア合計がカテゴリ/グループの数の半分に対応する値を超える(たとえば、4つのカテゴリが存在するとき2を超える)場合、それらの状況下で、現在のテスターの撮像された手(または、何らかの他の身体部分)に関して決定された特徴セットは登録されたユーザに関する特徴セットプロファイルと一致するという決定が行われる。
次に図5を参照すると、モバイルデバイス508など、ハンドヘルドデバイスに関する例示的な動作環境500の概略図を示す。(ワイヤレスデバイスまたは移動局と呼ばれる場合もある)モバイルデバイス508は、図1に示したシステム100を実装するために使用されるデバイスと同様であり得、屋内通信用のWLANなどのローカルエリアネットワークデバイス(または、ローカルエリアネットワークノード)、フェムトセル、Bluetooth(登録商標)ワイヤレス技術ベースの送受信機、他のタイプの屋内通信ネットワークノード、広域ワイヤレスネットワークノード、衛星通信システムなどを含む、複数のタイプの他の通信システム/デバイスを用いて動作し、かつ、それらと対話するように構成され得、したがって、モバイルデバイス508は様々なタイプの通信システムと通信するための1つもしくは複数のインターフェースを含み得る。本明細書で使用する場合、それを用いてモバイルデバイス508が通信することができる通信システム/デバイスはまた、アクセスポイント(AP)と呼ばれる。モバイルデバイス508はまた、RGB画像捕捉ユニットおよびNIR画像捕捉ユニットを使用して捕捉された画像に基づいて、ユーザの身体部分(たとえば、手)に関する幾何学的特徴を決定または導出し、決定された幾何学的特徴に基づいて、そのユーザが、モバイルデバイス508を使用する(または、そのユーザがアクセスを得ることを求めている何らかの他のデバイスもしくはシステムを使用する)ことが許可されるかどうかを決定するように構成され得る。いくつかの実施形態では、(たとえば、捕捉されたRGB画像およびNIR画像上に出現する身体部分に関する幾何学的特徴を決定すること、決定された幾何学的特徴に基づいて、ユーザがそのデバイスを使用することが許可されるかどうかを決定すること、など)処理のうちの少なくともいくつかは、デバイス508が(たとえば、下でより詳細に説明する、図5に示す通信ノードのうちの1つもしくは複数を介して)通信リンクを確立することができる遠隔サーバ(たとえば、図5に示すサーバ510)において実行され得る。
述べたように、動作環境500は、1つもしくは複数の異なるタイプのワイヤレス通信システムまたはワイヤレス通信ノードを含み得る。ワイヤレスアクセスポイント(または、WAP)とも呼ばれる、そのようなノードは、たとえば、WiFi基地局、フェムトセル送受信機、Bluetooth(登録商標)ワイヤレス技術送受信機、セルラ基地局、WiMax送受信機などを含めて、LANおよび/またはWANワイヤレス送受信機を含み得る。したがって、たとえば、引き続き図5を参照すると、動作環境500は、モバイルデバイス508とのワイヤレス音声および/またはデータ通信のために使用することができるローカルエリアネットワークワイヤレスアクセスポイント(LAN-WAP)506a〜eを含み得る。LAN-WAP506a〜eはまた、いくつかの実施形態では、たとえば、到達時間技法にたとえば基づく三辺測量ベースの手順の実装形態を介した位置データの独立したソースとして利用され得る。LAN-WAP506a〜eは、建物内で動作し、WWANより狭い地理領域にわたって通信を実行することができる、ワイヤレスローカルエリアネットワーク(WLAN)の一部であり得る。加えて、いくつかの実施形態では、LAN-WAP506a〜eはまた、WWANネットワークの一部であるピコセルまたはフェムトセルであり得る。いくつかの実施形態では、LAN-WAP506a〜eは、たとえば、WiFiネットワーク(802.11x)、セルラピコネットおよび/またはフェムトセル、Bluetooth(登録商標)ワイヤレス技術ネットワークなどの一部であり得る。LAN-WAP506a〜eはまた、屋内測位システムの一部を構成し得る。図5には5(5)つのLAN-WAPアクセスポイントを示すが、任意の数のそのようなLAN-WAPを使用することが可能であり、いくつかの実施形態では、動作環境500は、LAN-WAPアクセスポイントをまったく含まない場合があるか、または単一のLAN-WAPアクセスポイントを含む場合がある。さらに、図5に示すLAN-WAP506a〜eの各々は、移動可能ノードであってよく、または、再配置されることが可能であり得る。
図5にさらに示すように、動作環境500はまた、いくつかの実施形態では、ワイヤレス音声および/またはデータ通信のために使用することができ、それを介してモバイルデバイス508がその位置/ロケーションを決定することができる独立した情報の別のソースの働きをすることもできる、複数の1つもしくは複数のタイプの広域ネットワークワイヤレスアクセスポイント(WAN-WAP)504a〜cを含み得る。WAN-WAP504a〜cは、セルラ基地局、および/または、たとえば、WiMAX(たとえば、802.16)、フェムトセル送受信機など、他の広域ワイヤレスシステムを含み得る広域ワイヤレスネットワーク(WWAN)の一部であり得る。WWANは、図5には示さないが、他の既知のネットワーク構成要素を含み得る。通常、WWAN内の各WAN-WAP504a〜504cは、固定位置から動作し、大都市および/または地方エリアにわたるネットワークカバレージを提供することができる。図5には3つ(3)のWAN-WAPを示すが、任意の数のそのようなWAN-WAPを使用することが可能である。いくつかの実施形態では、動作環境500は、WAN-WAPをまったく含まない場合があるか、または単一のWAN-WAPを含む場合がある。さらに、図5に示すWAN-WAP504a〜cの各々は、移動可能ノードであってよく、または、再配置されることが可能であり得る。
(データを交換し、デバイス508の位置決定を可能にするためなどの)モバイルデバイス508との間の通信は、したがって、いくつかの実施形態では、広域ワイヤレスネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)など、様々なワイヤレス通信ネットワークを使用して実装されることも可能である。「ネットワーク」および「システム」という用語は、交換可能に使用され得る。WWANは、符号分割多重接続(CDMA)ネットワーク、時分割多重接続(TDMA)ネットワーク、周波数分割多重接続(FDMA)ネットワーク、直交周波数分割多重接続(OFDMA)ネットワーク、単一キャリア周波数分割多重接続(SC-FDMA)ネットワーク、WiMax(IEEE802.16)などであってよい。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95規格、IS-2000規格、および/またはIS-856規格を含む。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)、または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記載されている。3GPP文書および3GPP2文書は、公的に入手可能である。WLANはまたIEEE802.11xネットワークであり得、またWPANはBluetooth(登録商標)ワイヤレス技術ネットワーク、IEEE802.15x、または何らかの他のタイプのネットワークであり得る。本明細書で説明する技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せのために使用され得る。
WWANノードを使用して位置を導出するとき、モバイルデバイス508は、(図5のサーバ510と同じサーバまたは異なるサーバ上で実装され得る)測位サーバおよびネットワーク512の支援を随意に用いて、到達時間技術を利用することができる。したがって、モバイルデバイス508は、(たとえば、セルラ基地局、WiMax基地局など)異なるタイプのWAPを含み得るWAN-WAP504a〜cを使用して、位置情報を決定するように構成され得る。そのような動作環境において、モバイルデバイス508は、異なるタイプのWAN-WAPからの信号を使用して、精度を上げることができ得る。測位サーバは、ネットワーク512を介してモバイルデバイス508と通信することができる。
いくつかの実施形態では、図5にさらに示すように、モバイルデバイス508はまた、モバイルデバイス508に関する位置情報の独立したソースとして使用され得る衛星測位システム(SPS)502a〜bから情報を少なくとも受信するように構成され得る。モバイルデバイス508は、したがって、SPS衛星からジオロケーション情報を導出するための信号を受信するように特に設計された1つまたは複数の専用SPS受信機を含み得る。したがって、いくつかの実施形態では、モバイルデバイス508は、SPS衛星502a〜b、WAN-WAP504a〜c、および/またはLAN-WAP506a〜eのうちの任意の1つもしくは組合せと通信することができる。いくつかの実施形態では、前述のシステムの各々は、異なる技法を使用して、モバイルデバイス508に関する位置の独立した情報推定を提供し得る。いくつかの実施形態では、モバイルデバイスは、異なるタイプのアクセスポイントの各々から導出された解を組み合わせて、位置データの精度を上げることができる。
モバイルデバイス508が衛星信号を受信することができる実施形態では、モバイルデバイスは、SPS衛星502a〜bによって送信された複数の信号から位置データを抽出するためにSPSとともに使用するために特に実装される受信機(たとえば、GNSS受信機)を利用することができる。送信された衛星信号は、たとえば、設定された数のチップの疑似ランダム雑音(PN)コードを繰り返すことによって標示された信号を含むことが可能であり、地上ベースの制御局、ユーザ機器、および/または宇宙ビークル上に配置され得る。本明細書で提供する技法は、たとえば、全地球測位システム(GPS)、ガリレオ、グロナス、コンパス、日本の準天頂衛星システム(QZSS)、インドのインド地域航法衛星システム(IRNSS)、中国の北斗などのような様々なシステム、ならびに/あるいは、1つもしくは複数の全地球および/または地域航法衛星システムと関連し得る、または場合によっては、これらとともに使用することが可能にされ得る、様々な補強システム(たとえば、静止衛星型衛星航法補強システム(SBAS))に対して適用されてもよく、もしくはそれらのシステムにおいて使用することが可能にされてもよい。限定ではなく例として、SBASは、たとえば、Wide Area Augmentation System(WAAS)、European Geostationary Navigation Overlay Service(EGNOS)、Multi-functional Satellite Augmentation System(MSAS)、GPS Aided Geo Augmented Navigation、またはGPS and Geo Augmented Navigationシステム(GAGAN)などのような、インテグリティ情報、差分修正などを提供する補強システムを含み得る。したがって、本明細書で使用する場合、SPSは1つもしくは複数の全地球および/または地域航法衛星システムならびに/あるいは補強システムの任意の組合せを含むことがあり、またSPS信号はSPS信号、SPS様信号、および/またはそのような1つもしくは複数のSPSに関連する他の信号を含んでよい。
本明細書で使用する場合、モバイルデバイスまたは移動局(MS)は、セルラワイヤレス通信デバイスもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、パーソナル情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、あるいはワイヤレス通信信号および/またはナビゲーション位置特定信号などのナビゲーション信号を受信できる他の適切なモバイルデバイスなどのデバイスを指す。「移動局」(または「モバイルデバイス」もしくは「ワイヤレスデバイス」)という用語は、デバイスもしくはパーソナルナビゲーションデバイス(PND)において衛星信号受信、支援データ受信、および/または位置関連処理が行われるかどうかにかかわらず、短距離ワイヤレス、赤外線、有線接続、またはその他の接続などの、PNDと通信するデバイスを含むことも目的とする。また、「移動局」は、インターネット、WiFi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットデバイスなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/もしくは位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらずに含むことを目的とする。上記の任意の動作可能な組合せも、「移動局」と考えられる。いくつかの実施形態では、デバイスの動き/移動を決定するため、決定されたデバイスの動きなどに少なくとも部分的に基づいて、1つもしくは複数の捕捉された画像内に出現するオブジェクトの特徴内のばらつきを検出するためなどの手順を含めて、本明細書で説明する手順は、ワイヤレス機能(たとえば、他の遠隔デバイスとワイヤレスで通信するための機能)を有さないデバイスによって実行され得る。
次に図6を参照すると、図1のシステム100を実装するために使用されるデバイス、または図5に関して説明したデバイス508と同様であり得るモバイルデバイス600のブロック図を示す。図6に示すように、モバイルデバイス600は、たとえば、磁力計、加速度計(たとえば、3D加速度計)、ジャイロスコープなどであり得る、少なくとも1つの(空間センサーまたは慣性センサーとも呼ばれる)配向センサー620を含み得る。1つの配向センサーだけを示すが、デバイス600内に追加のセンサーを含めることが可能である。モバイルデバイスは、ディスプレイもしくはスクリーンなど、ユーザインターフェースデバイス上に表示され得る静止画像または動画(たとえば、ビデオシーケンス)を生み出すことができる(たとえば、電荷結合デバイス(CCD)タイプのカメラ、CMOSタイプのカメラなどの)カメラ630など、RGB画像捕捉ユニットをさらに含む。モバイルデバイスは、その画像がRGBカメラ630によっても捕捉されるオブジェクトの静止NIR画像または動画NIR画像を捕捉するための、NIRカメラ632など、近赤外(NIR)画像捕捉ユニットも含む。
モバイルデバイス600は、アンテナ644を介して(図5の衛星502a〜bなど)SPS衛星から信号を受信する衛星測位システム(SPS)受信機など、受信機640を含み得る。モバイルデバイス600はまた、(図5のLAN-WAP506a〜eおよび/またはWAN-WAP504a〜cのいずれかなど)1つもしくは複数のワイヤレスアクセスポイントとの間で通信を送り、受信するように構成されるか、あるいはワイヤレス/セルラ通信用に構成された任意の他のタイプのネットワークノードを備えた、たとえば、セルラモデムまたはワイヤレスネットワーク無線受信機/送信機などであり得るワイヤレス送受信機635を含み得る。ワイヤレス送受信機との間の通信は、専用アンテナ636を介して、アンテナ644を介して、または何らかの他のアンテナを介して可能にされ得る。いくつかの実施形態では、モバイルデバイス600は、セルラモデムおよびワイヤレスネットワーク無線受信機/送信機の働きをする別個の送受信機を含み得る。
少なくとも1つの配向センサー620、カメラ630および632、SPS受信機640、ならびにワイヤレス送受信機635は、モバイルデバイスコントローラ650に接続され、これと通信する。コントローラ650は、たとえば、少なくとも1つの配向センサー620、カメラ630および632、SPS受信機640、ならびに/またはワイヤレス送受信機635からデータを受け付けて処理し、デバイス600の様々なオンボードユニット/モジュールの動作、ならびにモバイルデバイス600の一般的な動作を制御するように構成される。たとえば、コントローラ650は、カメラ630および632によって捕捉された1つもしくは複数の画像を処理し、捕捉されたRGB画像およびNIR画像に基づいて、ユーザの手(または、何らの他の身体部分)に対応する領域を識別し、幾何学的特徴を決定し(たとえば、手の指など、識別可能な特徴の見掛けの寸法を決定し)、かつ/あるいは、その手の識別可能な特徴に関する相対的な空間特徴または空間特性を決定するように構成される。コントローラは、いくつかの実施形態では、決定された幾何学的特徴が前に登録された(たとえば、エンロールされた)ユーザの事前に記録された特徴と一致するかどうかを決定するように構成され、したがって、現在のユーザが、モバイルデバイス(または、何らかの遠隔デバイス)に対するアクセスを付与され得る、許可を得たユーザであるかどうかを決定するように構成されることも可能である。
コントローラ650は、いくつかの実装形態では、プロセッサ652および関連メモリ654と、クロック653と、ハードウェア656と、ソフトウェア658と、ファームウェア657とを含み得る。モバイルデバイスコントローラ650は、いくつかの実施形態では、明快のために、プロセッサ652とは別に示されるが、プロセッサ652の一部を構成し得る専用画像処理エンジン655をさらに含み得る。画像処理エンジン655は、画像を処理し、かつ/または本明細書で説明する手順の動作のうちの少なくともいくつかを実行するように構成される。
図7を参照すると、例示的なコンピューティングシステム700の概略図を示す。本明細書で説明するデバイス、サーバ、および/またはシステムのうちの1つもしくは複数(たとえば、図1および図5に示すデバイス、アクセスポイント、またはサーバのうちのいずれか)は、少なくとも部分的に、例示的なコンピューティングシステム700と同様であり得るコンピューティングシステムの一部またはすべてを使用して実現され得る。
コンピューティングシステム700は、通常、中央処理装置712を含む、パーソナルコンピュータ、専用コンピューティングデバイスなど、プロセッサベースのデバイス710を含む。CPU712に加えて、システム700は、メインメモリと、キャッシュメモリと、バスインターフェース回路(図示せず)とを含む。プロセッサベースのデバイス710は、コンピュータシステムに関連付けられたハードドライブおよび/またはフラッシュドライブなど、大容量ストレージデバイス714を含み得る。コンピューティングシステム700は、キーボード716、またはキーパッド、およびユーザがそれらにアクセスすることができる場所(たとえば、モバイルデバイスのスクリーン)に配置され得るモニター720、たとえば、CRT(陰極線管)モニターもしくはLCD(液晶ディスプレイ)モニターをさらに含み得る。
プロセッサベースのデバイス710は、たとえば、本明細書で説明する手順の実装形態を円滑にするように構成される(いくつかの実施形態では、手順の動作のうちのいくつかは、RGBカメラとNIRカメラとを含むモバイルデバイスなど、第1のデバイスにおいて実行されるが、手順の他の動作は、モバイルデバイスと通信するシステムにおいて実行され得る)。大容量ストレージデバイス714は、したがって、プロセッサベースのデバイス710上で実行するとき、プロセッサベースのデバイスに、本明細書で説明する手順の実装形態を円滑にするための動作を実行させるコンピュータプログラム製品を含み得る。プロセッサベースのデバイスは、入出力機能を可能にするための周辺デバイスをさらに含み得る。そのような周辺デバイスは、たとえば、CD-ROMドライブおよび/もしくはフラッシュドライブ、または関連コンテンツを接続されたシステムにダウンロードするためのネットワーク接続を含み得る。そのような周辺デバイスは、それぞれのシステム/デバイスの一般的な動作を可能にするためのコンピュータ命令を含むソフトウェアをダウンロードするために使用されることも可能である。代替的に、および/または加えて、いくつかの実施形態では、コンピューティングシステム700の実装形態において、専用論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)、DSPプロセッサ、またはASIC(特定用途向け集積回路)を使用することができる。プロセッサベースのデバイス710ともに含まれ得る他のモジュールは、スピーカ、サウンドカード、それによってユーザがコンピューティングシステム700に入力を提供することができるポインティングデバイス、たとえば、マウスまたはトラックボールである。プロセッサベースのデバイス710はオペレーティングシステムを含み得る。
(プログラム、ソフトウェア、ソフトウェアプリケーションまたはソフトウェアコードとしても知られる)コンピュータプログラムは、プログラマブルプロセッサ用の機械命令を含み、ハイレベル手続き型および/もしくはオブジェクト指向プログラミング言語で、ならびに/またはアセンブリ/機械言語で実装され得る。本明細書で使用する「機械可読媒体」という用語は、機械可読信号として機械命令を受信する非一時的機械可読媒体を含めて、機械命令および/もしくはデータをプログラマブルプロセッサに提供するために使用される任意の非一時的コンピュータプログラム製品、装置、および/またはデバイス(たとえば、磁気ディスク(disc)、光ディスク(disk)、メモリ、プログラマブル論理デバイス(PLD))を指す。
メモリは、処理ユニット内で実装されるかあるいは処理ユニットの外部で実装され得る。本明細書で用いられる「メモリ」という用語は、任意の種類の長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリを指し、いずれかの特定のタイプのメモリもしくはいずれかの特定のメモリ数に限定すべきではなく、または、メモリが記憶される媒体としていずれかの特定のタイプの媒体に限定すべきではない。
ファームウェアおよび/またはソフトウェアとして実装される場合、これらの機能は、コンピュータ可読媒体上の1つもしくは複数の命令またはコードとして記憶され得る。例は、データ構造で符号化されたコンピュータ可読媒体と、コンピュータプログラムを用いて符号化されたコンピュータ可読媒体とを含む。コンピュータ可読媒体は物理的コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であってよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク(disk)ストレージ、磁気ディスク(disk)ストレージ、半導体ストレージ、または他のストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を含み得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。前述の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
コンピュータ可読媒体におけるストレージに加えて、命令および/またはデータは、通信装置内に含まれる伝送媒体における信号として提供することができる。たとえば、通信装置は、命令およびデータを示す信号を有する送信機を含み得る。命令およびデータは、1つまたは複数の処理ユニットに、特許請求の範囲で概説する機能を実装させるように構成される。すなわち、通信装置は、開示する機能を実行するための情報を示す信号を持つ伝送媒体を含む。第1の時間において、通信装置内に含まれる伝送媒体は、開示される機能を実行するための情報の第1の部分を含んでよく、一方、第2の時間において、通信装置中に含まれる伝送媒体は、開示される機能を実行するための情報の第2の部分を含んでよい。
本明細書で説明する主題のうちのいくつかまたはすべては、(たとえば、データサーバとして)バックエンド構成要素を含む、もしくは(たとえば、アプリケーションサーバなど)ミドルウェア構成要素を含む、またはフロントエンド構成要素(たとえば、それを介してユーザが本明細書で説明する主題の実施形態と対話することができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ)、あるいはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを含むコンピューティングシステム内で実装され得る。本システムの構成要素は、任意の形態または媒体のデジタルデータ通信、たとえば、通信ネットワークによって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、広域ネットワーク(「WAN」)、およびインターネットを含む。
コンピューティングシステムは、クライアントとサーバとを含み得る。クライアントおよびサーバは、概して、互いから離れており、一般に、通信ネットワークを介して対話する。クライアントおよびサーバの関係は、概して、それぞれのコンピュータ上で実行し、互いに対してクライアント・サーバ関係を有するコンピュータプログラムにより生じる。
特定の実施形態が本明細書で詳細に論じられてきたが、これは、例示のためだけに、例として行われ、以下の添付の請求項の範囲に関して限定することを意図しない。具体的には、特許請求の範囲によって定義される本発明の趣旨および範囲から逸脱せずに、様々な置換、改変、および修正を行うことが可能であることが企図される。他の態様、利点、および修正は、以下の請求項の範囲内であると見なされる。提示される請求項は、本明細書で開示した実施形態および態様を表す。他の特許請求されていない実施形態および特徴も企図される。したがって、他の実装形態も以下の特許請求の範囲内である。
100 システム
110 情報感知処理段階/モジュール、処理段階
112 RGB画像
114 NIR画像
116 領域検出ユニット
120 幾何学的解析処理段階/モジュール、段階
130 アプリケーション処理段階/モジュール、段階
132 識別アプリケーション
134 エンロールメントアプリケーション
200 手順
300 スクリーンショット
310 輪郭
312 外線
314 凹面線
320 指先
322 指先
324 谷間点
326 拡張点
328 拡張線
330 指の長さ
332 手のひらの幅
334 谷間角度
400 決定木手順
500 動作環境
504a〜c 広域ネットワークワイヤレスアクセスポイント(WAN-WAP)
502a〜b 衛星測位システム(SPS)、SPS衛星
506a〜e ローカルエリアネットワークワイヤレスアクセスポイント(LAN-WAP)
508 モバイルデバイス
510 サーバ
512 ネットワーク
600 デバイス、モバイルデバイス
620 配向センサー
630 カメラ、RGBカメラ
632 NIRカメラ、カメラ
635 ワイヤレス送受信機
636 専用アンテナ
640 SPS受信機、受信機
644 アンテナ
650 モバイルデバイスコントローラ、コントローラ
652 プロセッサ
653 クロック
654 関連メモリ
655 専用画像処理エンジン、画像処理エンジン
656 ハードウェア
657 ファームウェア
658 ソフトウェア
662 ディスプレイ
700 コンピューティングシステム
710 プロセッサベースのデバイス
712 中央処理装置、CPU
714 大容量ストレージデバイス
716 キーボード
720 モニター

Claims (30)

  1. 人物の手のRGB画像を捕捉するステップと、
    前記手の近赤外(NIR)画像を捕捉するステップと、
    前記捕捉されたRGB画像およびNIR画像に基づいて、前記手の幾何学的特徴を決定するステップと
    を含む方法。
  2. 前記捕捉されたRGB画像を前記捕捉されたNIR画像と整合させるステップ
    をさらに含む、請求項1に記載の方法。
  3. 前記手の前記幾何学的特徴を決定するステップが、
    前記捕捉されたRGB画像からのRGB画像データと、前記捕捉されたNIR画像からのNIR画像データとに基づいて、前記手に関する画像データを抽出するステップ
    を含む、請求項1に記載の方法。
  4. 前記手の前記画像データを抽出するステップが、
    前記捕捉されたRGB画像の少なくとも1つのピクセルに関するそれぞれのRGBピクセル値と、前記捕捉されたNIR画像の対応するピクセルに関するそれぞれのNIRピクセル値とに基づいて、前記少なくとも1つのピクセルの各々に関する第1の値および第2の値を計算するステップと、
    前記捕捉されたRGB画像の前記少なくとも1つのピクセルからの特定のピクセルに関する前記第1の値が第1の所定の値範囲内にあり、前記第2の値が第2の所定値範囲内にあるとき、前記特定のピクセルが前記手に対応すると決定するステップと
    を含む、請求項3に記載の方法。
  5. 前記第1の値r1および前記第2の値r2が、
    Figure 2016528627
     に従って計算された前記特定のピクセルに関する皮膚色インジケータであり、式中、ρが反射率を示し、λが波長を示す、請求項4に記載の方法。
  6. 前記幾何学的特徴を決定するステップが、
    前記手に関する前記抽出された画像データから、前記手に関する相対的な空間特徴を表す1つまたは複数の値を決定するステップ
    を含む、請求項3に記載の方法。
  7. 前記相対的な空間特徴が、前記手に関する前記抽出された画像データ内の2本の指の第1の対の間の角度、あるいは前記手に関する前記抽出された画像データ内の指の第2の対に関する相対的な距離または長さのうちの1つもしくは複数を含む、請求項6に記載の方法。
  8. 前記手の前記決定された幾何学的特徴に基づいて、前記人物の識別を決定するステップ
    をさらに含む、請求項1に記載の方法。
  9. 前記手の前記決定された幾何学的特徴に基づいて、前記人物の前記識別を決定するステップが、
    前記手の前記決定された幾何学的特徴を表す値を記憶された記録内の値と比較するステップであって、各記録が、前に獲得された手画像のそれぞれの手画像に関する画像データから決定された幾何学的特徴を表す、それぞれの対応する記録値を含む、比較するステップ
    を含む、請求項8に記載の方法。
  10. 前記手の前記決定された幾何学的特徴を表す前記値を前記記憶された記録内の前記値と比較するステップが、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの少なくともいくつかと、前記前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する標準偏差を計算するステップと、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間の前記差分に関する平均値を計算するステップと、
    所定の標準偏差しきい値に対する前記計算された標準偏差の第1の比較に基づいて、かつ、所定の平均しきい値に対する前記計算された平均値の第2の比較に基づいて、前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間に一致が存在するかどうかを決定するステップと
    を含む、請求項9に記載の方法。
  11. 前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間に一致が存在するかどうかを決定するステップが、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間の前記差分に関する前記計算された標準偏差が前記標準偏差しきい値未満であり、前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間の前記差分に関する前記計算された平均値が前記平均しきい値未満であるとき、または、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間の前記差分に関する前記計算された標準偏差が前記標準偏差しきい値以上であり、前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間の前記差分に関する前記計算された平均値が前記平均しきい値よりも小さい第2の平均しきい値未満であるとき、前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかが、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかと一致すると決定するステップを含む、請求項10に記載の方法。
  12. 前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間に前記一致が存在すると決定することに応答して、前記人物がコンピューティングデバイスにアクセスするのを可能にするステップ
    をさらに含む、請求項10に記載の方法。
  13. RGB画像捕捉ユニットと、
    近赤外(NIR)画像捕捉ユニットと、
    1つまたは複数のプロセッサと、
    コンピュータ命令を備えた記憶媒体と
    を含むデバイスであって、前記コンピュータ命令が、前記1つまたは複数のプロセッサ上で実行されるとき、
    前記RGB画像捕捉ユニットを用いて、人物の手のRGB画像を捕捉することと、
    前記NIR画像捕捉ユニットを用いて、前記手のNIR画像を捕捉することと、
    前記捕捉されたRGB画像およびNIR画像に基づいて、前記手の幾何学的特徴を決定することと
    を含む動作を引き起こす
    デバイス。
  14. 前記手の前記幾何学的特徴を決定することが、
    前記捕捉されたRGB画像の少なくとも1つのピクセルに関するそれぞれのRGBピクセル値と、前記捕捉されたNIR画像の対応するピクセルに関するそれぞれのNIRピクセル値とに基づいて、前記少なくとも1つのピクセルの各々に関する第1の値および第2の値を計算することと、
    前記捕捉されたRGB画像の前記少なくとも1つのピクセルからの特定のピクセルに関する前記第1の値が第1の所定の値範囲内にあり、前記第2の値が第2の所定値範囲内にあるとき、前記特定のピクセルが前記手に対応すると決定することと
    を含む、前記捕捉されたRGB画像からのRGB画像データと、前記捕捉されたNIR画像からのNIR画像データとに基づいて、前記手に関する画像データを抽出すること
    を含む、請求項13に記載のデバイス。
  15. 前記第1の値r1および前記第2の値r2が、
    Figure 2016528627
     に従って計算された前記特定のピクセルに関する皮膚色インジケータであり、式中、ρが反射率を示し、λが波長を示す、請求項14に記載のデバイス。
  16. 前記幾何学的特徴を決定することが、
    前記手に関する前記抽出された画像データから、前記手に関する相対的な空間特徴を表す1つもしくは複数の値を決定することであって、前記相対的な空間特徴が、前記手に関する前記抽出された画像データ内の2本の指の第1の対の間の角度、あるいは前記手に関する前記抽出された画像データ内の指の第2の対に関する相対的な距離または長さのうちの1つもしくは複数を含む、決定すること
    を含む、請求項14に記載のデバイス。
  17. 前記手の前記決定された幾何学的特徴を表す値を記憶された記録内の値と比較することであって、各記録が、前に獲得された手画像のそれぞれの手画像に関する画像データから決定された幾何学的特徴を表す、それぞれの対応する記録値を含む、比較することを含む、前記手の前記決定された幾何学的特徴に基づいて、前記人物の識別を決定すること
    をさらに含む、請求項13に記載のデバイス。
  18. 前記手の前記決定された幾何学的特徴を表す前記値を前記記憶された記録内の前記値と比較することが、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの少なくともいくつかと、前記前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する標準偏差を計算することと、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間の前記差分に関する平均値を計算することと、
    所定の標準偏差しきい値に対する前記計算された標準偏差の第1の比較に基づいて、かつ、所定の平均しきい値に対する前記計算された平均値の第2の比較に基づいて、前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間に一致が存在するかどうかを決定することと
    を含む、請求項17に記載のデバイス。
  19. 人物の手のRGB画像を捕捉するための手段と、
    前記手の近赤外(NIR)画像を捕捉するための手段と、
    前記捕捉されたRGB画像およびNIR画像に基づいて、前記手の幾何学的特徴を決定するための手段と
    を含む装置。
  20. 前記手の前記幾何学的特徴を決定するための前記手段が、
    前記捕捉されたRGB画像の少なくとも1つのピクセルに関するそれぞれのRGBピクセル値と、前記捕捉されたNIR画像の対応するピクセルに関するそれぞれのNIRピクセル値とに基づいて、前記少なくとも1つのピクセルの各々に関する第1の値および第2の値を計算するための手段と、
    前記捕捉されたRGB画像の前記少なくとも1つのピクセルからの特定のピクセルに関する前記第1の値が第1の所定の値範囲内にあり、前記第2の値が第2の所定値範囲内にあるとき、前記特定のピクセルが前記手に対応すると決定するための手段と
    を含む、前記捕捉されたRGB画像からのRGB画像データと、前記捕捉されたNIR画像からのNIR画像データとに基づいて、前記手に関する画像データを抽出するための手段
    を含む、請求項19に記載の装置。
  21. 前記第1の値r1および前記第2の値r2が、
    Figure 2016528627
     に従って計算された前記特定のピクセルに関する皮膚色インジケータであり、式中、ρが反射率を示し、λが波長を示す、請求項20に記載の装置。
  22. 前記幾何学的特徴を決定するための前記手段が、
    前記手に関する前記抽出された画像データから、前記手に関する相対的な空間特徴を表す1つもしくは複数の値を決定するための手段であって、前記相対的な空間特徴が、前記手に関する前記抽出された画像データ内の2本の指の第1の対の間の角度、あるいは前記手に関する前記抽出された画像データ内の指の第2の対に関する相対的な距離または長さのうちの1つもしくは複数を含む、決定するための手段
    を含む、請求項20に記載の装置。
  23. 前記手の前記決定された幾何学的特徴を表す値を記憶された記録内の値と比較するための手段であって、各記録が、前に獲得された手画像のそれぞれの手画像に関する画像データから決定された幾何学的特徴を表す、それぞれの対応する記録値を含む、比較するための手段を含む、前記手の前記決定された幾何学的特徴に基づいて、前記人物の識別を決定するための手段
    をさらに含む、請求項19に記載の装置。
  24. 前記手の前記決定された幾何学的特徴を表す前記値を前記記憶された記録内の前記値と比較するための前記手段が、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの少なくともいくつかと、前記前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する標準偏差を計算するための手段と、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間の前記差分に関する平均値を計算するための手段と、
    所定の標準偏差しきい値に対する前記計算された標準偏差の第1の比較に基づいて、かつ、所定の平均しきい値に対する前記計算された平均値の第2の比較に基づいて、前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間に一致が存在するかどうかを決定するための手段と
    を含む、請求項23に記載の装置。
  25. プロセッサ上で実行可能なコンピュータ命令を用いてプログラムされた非一時的プロセッサ可読媒体であって、前記コンピュータ命令が、実行されるとき、
    人物の手のRGB画像を捕捉することと、
    前記手の近赤外(NIR)画像を捕捉することと、
    前記捕捉されたRGB画像およびNIR画像に基づいて、前記手の幾何学的特徴を決定することと
    を含む動作を引き起こす
    非一時的プロセッサ可読媒体。
  26. 前記手の前記幾何学的特徴を決定することが、
    前記捕捉されたRGB画像の少なくとも1つのピクセルに関するそれぞれのRGBピクセル値と、前記捕捉されたNIR画像の対応するピクセルに関するそれぞれのNIRピクセル値とに基づいて、前記少なくとも1つのピクセルの各々に関する第1の値および第2の値を計算することと、
    前記捕捉されたRGB画像の前記少なくとも1つのピクセルからの特定のピクセルに関する前記第1の値が第1の所定の値範囲内にあり、前記第2の値が第2の所定値範囲内にあるとき、前記特定のピクセルが前記手に対応すると決定することと
    を含む、前記捕捉されたRGB画像からのRGB画像データと、前記捕捉されたNIR画像からのNIR画像データとに基づいて、前記手に関する画像データを抽出すること
    を含む、請求項25に記載のプロセッサ可読媒体。
  27. 前記第1の値r1および前記第2の値r2が、
    Figure 2016528627
     に従って計算された前記特定のピクセルに関する皮膚色インジケータであり、式中、ρが反射率を示し、λが波長を示す、請求項26に記載のプロセッサ可読媒体。
  28. 前記幾何学的特徴を決定することが、
    前記手に関する前記抽出された画像データから、前記手に関する相対的な空間特徴を表す1つもしくは複数の値を決定することであって、前記相対的な空間特徴が、前記手に関する前記抽出された画像データ内の2本の指の第1の対の間の角度、あるいは前記手に関する前記抽出された画像データ内の指の第2の対に関する相対的な距離または長さのうちの1つもしくは複数を含む、決定すること
    を含む、請求項26に記載のプロセッサ可読媒体。
  29. 前記コンピュータ命令が、実行されるとき、
    前記手の前記決定された幾何学的特徴を表す値を記憶された記録内の値と比較することであって、各記録が、前に獲得された手画像のそれぞれの手画像に関する画像データから決定された幾何学的特徴を表す、それぞれの対応する記録値を含む、比較することを含む、前記手の前記決定された幾何学的特徴に基づいて、前記人物の識別を決定すること
    を含むさらなる動作を引き起こすさらなる命令を含む、請求項25に記載のプロセッサ可読媒体。
  30. 前記手の前記決定された幾何学的特徴を表す前記値を前記記憶された記録内の前記値と比較することが、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの少なくともいくつかと、前記前に獲得された手画像のうちの1つに関する画像データから決定された幾何学的特徴を表す記録値のうちの対応する少なくともいくつかとの間の差分に関する標準偏差を計算することと、
    前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間の前記差分に関する平均値を計算することと、
    所定の標準偏差しきい値に対する前記計算された標準偏差の第1の比較に基づいて、かつ、所定の平均しきい値に対する前記計算された平均値の第2の比較に基づいて、前記手の前記決定された幾何学的特徴を表す前記値のうちの前記少なくともいくつかと、前記前に獲得された手画像のうちの前記1つに関する前記画像データから決定された前記幾何学的特徴を表す前記記録値のうちの前記対応する少なくともいくつかとの間に一致が存在するかどうかを決定することと
    を含む、請求項29に記載のプロセッサ可読媒体。
JP2016531622A 2013-08-02 2014-07-10 Ｒｇｂ−ｎｉｒカメラ対を使用した特徴識別 Ceased JP2016528627A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361861915P 2013-08-02 2013-08-02
US61/861,915 2013-08-02
US14/168,267 US9996726B2 (en) 2013-08-02 2014-01-30 Feature identification using an RGB-NIR camera pair
US14/168,267 2014-01-30
PCT/US2014/046071 WO2015017099A1 (en) 2013-08-02 2014-07-10 Feature identification using an rgb-nir camera pair

Publications (2)

Publication Number Publication Date
JP2016528627A true JP2016528627A (ja) 2016-09-15
JP2016528627A5 JP2016528627A5 (ja) 2017-08-03

Family

ID=52427305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016531622A Ceased JP2016528627A (ja) 2013-08-02 2014-07-10 Ｒｇｂ−ｎｉｒカメラ対を使用した特徴識別

Country Status (6)

Country Link
US (1) US9996726B2 (ja)
EP (1) EP3028217A1 (ja)
JP (1) JP2016528627A (ja)
KR (1) KR20160040230A (ja)
CN (1) CN105393262B (ja)
WO (1) WO2015017099A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452894B2 (en) 2012-06-26 2019-10-22 Qualcomm Incorporated Systems and method for facial verification
JP6160148B2 (ja) * 2013-03-19 2017-07-12 富士通株式会社 生体情報入力装置、生体情報入力プログラム、生体情報入力方法
JP6241230B2 (ja) * 2013-11-28 2017-12-06 富士通株式会社 生体情報判定装置及びプログラム
CA2966635C (en) 2014-11-21 2023-06-20 Christopher M. Mutti Imaging system for object recognition and assessment
DE102015202922A1 (de) * 2015-02-18 2016-08-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum kamerabasierten Berechnen eines Längenverhältnisses von Fingern einer Hand
US10649536B2 (en) * 2015-11-24 2020-05-12 Intel Corporation Determination of hand dimensions for hand and gesture recognition with a computing interface
US9958951B1 (en) * 2016-09-12 2018-05-01 Meta Company System and method for providing views of virtual content in an augmented reality environment
CN106572289B (zh) * 2016-10-21 2019-08-20 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN106657726B (zh) * 2016-10-21 2019-10-18 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN106572290B (zh) * 2016-10-21 2019-08-20 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN106657725B (zh) * 2016-10-21 2019-10-18 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN111033521A (zh) * 2017-05-16 2020-04-17 雅腾帝卡(私人)有限公司 用于文化制品的分析的数字数据细节处理
KR102466997B1 (ko) * 2018-01-22 2022-11-14 삼성전자주식회사 라이브니스 검사 방법 및 장치
TWI658411B (zh) * 2018-02-26 2019-05-01 關鍵禾芯科技股份有限公司 無方向性之手指掌紋辨識方法及無方向性之手指掌紋資料建立方法
US10769406B2 (en) * 2018-03-18 2020-09-08 Keycore Technology Corp. Non-directional fingerprint and palmprint identification method and non-directional fingerprint and palmprint data creation method
WO2020024603A1 (zh) * 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111611977B (zh) * 2020-06-05 2021-10-15 吉林求是光谱数据科技有限公司 基于光谱与多波段融合的人脸识别监控系统及识别方法
CN112530133B (zh) * 2020-11-22 2022-08-09 李绪明 一种用于识别注射器的装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063256A (ja) * 2003-08-18 2005-03-10 Kddi Corp 個人認証装置及び方法並びに携帯通信端末
JP2010541046A (ja) * 2007-09-24 2010-12-24 アップル インコーポレイテッド 電子デバイスに組み込まれた認証システム

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2823564B2 (ja) 1988-05-27 1998-11-11 日本電信電話株式会社 生物体検知装置
US6496594B1 (en) 1998-10-22 2002-12-17 Francine J. Prokoski Method and apparatus for aligning and comparing images of the face and body from different imagers
US6424727B1 (en) 1998-11-25 2002-07-23 Iridian Technologies, Inc. System and method of animal identification and animal transaction authorization using iris patterns
US6820979B1 (en) 1999-04-23 2004-11-23 Neuroptics, Inc. Pupilometer with pupil irregularity detection, pupil tracking, and pupil response detection capability, glaucoma screening capability, intracranial pressure detection capability, and ocular aberration measurement capability
US6920236B2 (en) 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
US7027619B2 (en) 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US7469160B2 (en) * 2003-04-18 2008-12-23 Banks Perry S Methods and apparatus for evaluating image focus
JP4387643B2 (ja) 2002-07-31 2009-12-16 富士通株式会社 個人認識機能付き処理装置
US8190239B2 (en) 2002-09-03 2012-05-29 Fujitsu Limited Individual identification device
US7460696B2 (en) 2004-06-01 2008-12-02 Lumidigm, Inc. Multispectral imaging biometrics
GB0316631D0 (en) 2003-07-16 2003-08-20 Omniperception Ltd Facial liveness assessment system
CN100375121C (zh) 2003-07-17 2008-03-12 松下电器产业株式会社 虹彩码生成方法、个人认证方法、虹彩码注册装置、个人认证装置
JP4470434B2 (ja) 2003-10-06 2010-06-02 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
FR2864290B1 (fr) 2003-12-18 2006-05-26 Sagem Procede et dispositif de reconnaissance d'iris
KR100682898B1 (ko) 2004-11-09 2007-02-15 삼성전자주식회사 적외선을 이용한 영상 장치 및 그의 영상 식별 방법
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US7469060B2 (en) 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
CA2590227A1 (en) 2004-12-07 2006-06-07 Clean Earth Technologies, Llc Method and apparatus for standoff detection of liveness
CN101119679A (zh) 2005-02-16 2008-02-06 松下电器产业株式会社 生物识别装置与认证装置以及生物识别方法
JP4696610B2 (ja) 2005-03-15 2011-06-08 オムロン株式会社 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US20070248330A1 (en) 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
CN101506826A (zh) * 2006-07-19 2009-08-12 光谱辨识公司 多重生物测定多谱成像器
US7801339B2 (en) 2006-07-31 2010-09-21 Lumidigm, Inc. Biometrics with spatiospectral spoof detection
WO2008036897A1 (en) 2006-09-22 2008-03-27 Global Rainmakers, Inc. Compact biometric acquisition system and method
US8953849B2 (en) 2007-04-19 2015-02-10 Eyelock, Inc. Method and system for biometric recognition
US20090060286A1 (en) 2007-09-04 2009-03-05 General Electric Company Identification system and method utilizing iris imaging
US8411910B2 (en) 2008-04-17 2013-04-02 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
US8345936B2 (en) 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
FR2931979B1 (fr) * 2008-06-02 2014-02-28 Advanced Track & Trace Procede et dispositif d'identification d'une plaque d'impression d'un document
CN101404060B (zh) 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
JP4702441B2 (ja) 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
US8374404B2 (en) 2009-02-13 2013-02-12 Raytheon Company Iris recognition using hyper-spectral signatures
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
JP2011243862A (ja) 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
US8408821B2 (en) 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
CN101964056B (zh) 2010-10-26 2012-06-27 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
US8897522B2 (en) * 2012-05-30 2014-11-25 Xerox Corporation Processing a video for vascular pattern detection and cardiac function analysis
US8411909B1 (en) 2012-06-26 2013-04-02 Google Inc. Facial recognition
US10452894B2 (en) 2012-06-26 2019-10-22 Qualcomm Incorporated Systems and method for facial verification
WO2014028911A2 (en) 2012-08-16 2014-02-20 Potter Darrel V Structure formed from panels joined with universal clamping brackets
US20160019421A1 (en) 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US20160019420A1 (en) 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US20170091550A1 (en) 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063256A (ja) * 2003-08-18 2005-03-10 Kddi Corp 個人認証装置及び方法並びに携帯通信端末
JP2010541046A (ja) * 2007-09-24 2010-12-24 アップル インコーポレイテッド 電子デバイスに組み込まれた認証システム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ABEL S. NUNEZ: "A PHYSICAL MODEL OF HUMAN SKIN AND ITS APPLICATION FOR SEARCH AND RESCUE", A PHYSICAL MODEL OF HUMAN SKIN AND ITS APPLICATION FOR SEARCH AND RESCUE, DISSERTATION, AIR FORCE IN, JPN7018002278, December 2009 (2009-12-01), pages 84 - 95, ISSN: 0003831771 *
BAHAREH. AGHILI, HAMED. SADJEDI: "Personal Identification/Verification by Using Four Fingers", 2010 3RD INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING(CISP2010), JPN6018025494, 2010, pages 2619 - 2623, XP031810437, ISSN: 0003831772 *
M.A. FERRER ET AL.: "Wide band spectroscopic skin detection for contactless hand biometrics", IET COMPUTER VISION, vol. Vol. 6 Iss. 5, JPN7018002279, 2012, pages 415 - 424, ISSN: 0003831773 *
MIGUEL A. FERRER, AYTHAMI MORALES: "Hand-Shape Biometrics Combining the Visible and Short-Wave Infraed Bands", IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, vol. 6, no. 4, JPN6018025489, December 2011 (2011-12-01), pages 1305 - 1314, XP011371317, ISSN: 0003831770, DOI: 10.1109/TIFS.2011.2162948 *

Also Published As

Publication number Publication date
EP3028217A1 (en) 2016-06-08
WO2015017099A1 (en) 2015-02-05
CN105393262A (zh) 2016-03-09
US9996726B2 (en) 2018-06-12
US20150035961A1 (en) 2015-02-05
CN105393262B (zh) 2018-11-13
KR20160040230A (ko) 2016-04-12

Similar Documents

Publication Publication Date Title
US9996726B2 (en) Feature identification using an RGB-NIR camera pair
US9819677B2 (en) Supplementing biometric identification with device identification
US11263475B2 (en) Incremental learning for dynamic feature database management in an object recognition system
US10599687B2 (en) Information processing device, map update method, program, and information processing system
JP6290331B2 (ja) クラウド支援型拡張現実のための適応可能なフレームワーク
US9690998B2 (en) Facial spoofing detection in image based biometrics
US9077890B2 (en) Auto-focus tracking
US20140307074A1 (en) Portable Biometric Identification Device Using A Dorsal Hand Vein Pattern
JP6588413B2 (ja) 監視装置および監視方法
US20200273200A1 (en) Camera localization based on skeletal tracking
Shangguan et al. Towards accurate object localization with smartphones
JP6216353B2 (ja) 情報特定システム、情報特定方法及び、そのプログラム
US9870514B2 (en) Hypotheses line mapping and verification for 3D maps
US9684831B2 (en) Adaptive edge-like feature selection during object detection
KR20120081448A (ko) 근거리 통신에 기반한 스마트 태깅 장치 및 이를 이용한 위치 인지 방법
JP2016066901A (ja) 撮像部特定システム、方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190128

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20190527