JP2021527872A - 非接触生体認証システム - Google Patents

Abstract

非接触生体認証システムは、ユーザの掌の画像を生成するハンドスキャナを含む。掌内のひだなどの表面特性を示す画像は、第１の時間に第１の偏光の光を使用して取得され、静脈などのより深い特性を示す画像は、第２の時間に第２の偏光の光を使用して取得される。画像内で、掌が識別され、部分画像に細分化される。部分画像はその後、各々の部分画像に存在する特徴ベクトルを判定するよう処理される。最新の署名は、特徴ベクトルを使用して判定される。ユーザは、ユーザ識別子と関連付けられた前に記憶された参照署名との最新の署名の比較に基づいて識別されてもよい。
【選択図】図１

Description

優先権
本出願は、２０１８年６月２１日に出願され、「ＮＯＮ−ＣＯＮＴＡＣＴ ＢＩＯＭＥＴＲＩＣ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願１６／０１４，８４３号に対する優先権を主張する。この前に出願された特許出願の全体は、参照によって以下に組み込まれる。

店舗、図書館、病院、及びオフィスなどの施設は、施設内のユーザを識別する能力を必要とすることがある。

添付図面を参照して、詳細な説明が説明される、図面では、参照符号の最も左の桁（複数可）は、参照符号が最初に表れる図を識別する。異なる図における同一の参照符号の使用は、同様または同一の項目または特徴を示す。図面は必ずしも、同一縮尺で描かれず、いくつかの図では、特定の態様の理解を促進するために、比率または他の態様が誇張されてもよい。

いくつかの実施態様に従った、施設においてユーザを識別するシステムを示す。 いくつかの実施態様に従った、ユーザの手の未処理画像データを取得するために使用されるスキャナの実施態様を示す。 いくつかの実施態様に従った、第１の偏光を有する光を使用して取得された処理済み第１のモダリティ画像及び第２の偏光を有する光を使用して取得された処理済み第２のモダリティ画像を示す。 いくつかの実施態様に従った、認証システムのブロック図である。 いくつかの実施態様に従った、第１のモダリティ画像及び第２のモダリティ画像と関連付けられた信頼値、並びに特定の部分画像位置と関連付けられたモダリティ重みの使用を含む比較データを示す。 いくつかの実施態様に従った、スキャナによって取得された画像に基づいてユーザ識別子を判定する処理のフローチャートを示す。 いくつかの実施態様に従った、第２のモダリティ画像及び第１のモダリティ画像の部分画像の信頼値のランク付けに基づいて、特定の候補ユーザ識別子をランク付け及び選択する処理のフローチャートを示す。 いくつかの実施態様に従った、部分画像のランク付けに基づいて、特定の候補ユーザ識別子をランク付け及び選択する処理のフローチャートを示す。 いくつかの実施態様に従った、最新の署名を１つ以上の参照署名と比較することによって、特定の候補ユーザ識別子をランク付け及び選択する処理のフローチャートを示す。 いくつかの実施態様に従った、システムを使用した材料取扱施設（ｆａｃｉｌｉｔｙ）を示すブロック図である。 いくつかの実施態様に従った、施設の追加の詳細を示すブロック図である。 いくつかの実施態様に従った、施設の運営をサポートするサーバのブロック図である。

実施態様が例として本明細書で説明されるが、当業者は、実施態様が説明される実施例または図面に限定されないことを認識するであろう。図面及びそれらに対する詳細な説明は、実施態様を開示される特定の形式に限定することを意図しておらず、それどころか、発明は、添付の請求項によって定義されるような精神及び範囲に収まる全ての修正、同等物、及び代替物を網羅することになることが理解されるべきである。本明細書で使用される見出しは、構成のみを目的としており、説明及び請求項の範囲を限定するために使用されることを意味しない。本出願の全体を通じて使用されるように、用語「ｍａｙ」は、必須という意味ではなく（すなわち、必要であることを意味する）、許容的な意味（すなわち、〜する見込みを有することを意味する）において使用される。同様に、用語「ｉｎｃｌｕｄｅ」、「ｉｎｃｌｕｄｉｎｇ」、及び「ｉｎｃｌｕｄｅｓ」は、限定しないが、〜を含むことを意味する。

ユーザの正確且つ高速な認証は、様々な方式において使用することができる有用な情報を提供する。例えば、材料取扱施設（ｆａｃｉｌｉｔｙ）、オフィス、輸送施設、または他の位置への入場は、ユーザアイデンティティに基づいて制御されることがある。別の実施例では、ユーザのアイデンティティに関する情報も、その特定のユーザによって行われた特定のアクションを関連するアカウントと関連付けるために使用されることがある。

施設は、施設管理システムを含んでもよく、または施設管理システムへのアクセスを有してもよい。施設管理システムは、１つ以上のセンサによって取得されたセンサデータに少なくとも部分的に基づいて、施設のアイテム、ユーザ、及び状態などに関する情報を維持するように構成されてもよい。施設管理システムは、対話データを判定するために、センサデータを使用してもよい。対話データは、対話に伴うアイテムのタイプ、対話に伴う回数、対話が選定または配置であったかどうか、及び誰が対話を行ったかなどに関する情報を含んでもよい。対話は、ユーザが、在庫位置からアイテムを選定すること、在庫位置にアイテムを配置すること、在庫位置においてアイテムに接触すること、及び在庫位置においてアイテムを捜索することなどを含んでもよい。例えば、施設管理システムは、ユーザが棚上の特定のレーンからどのアイテムを選定したかを示す対話データを生成してもよく、次いで、そのレーンに収容された在庫の総数を調節するために、この対話データを使用してもよい。

ユーザが施設に入場すると、ユーザは、本明細書で説明されるデバイス及び技術を使用して識別されてもよい。識別されると、ユーザは、施設内にいる間に位置していることがある。施設内で重量センサ及びカメラなどの他のセンサによって取得された情報は、対話データを判定するために使用されてもよい。この対話データは次いで、前に識別された特定のユーザと関連付けられてもよく、その後、料金請求または他の目的のために使用されてもよい。例えば、対話データ及び認証データは、選定されたアイテムに対して識別されたユーザと関連付けられたアカウントに料金を請求するために使用されてもよい。

ユーザを識別する従来のシステムは、不正、速度、精度、及び動作制約の影響を受けやすいことなどのいくつかの重大な欠点に悩んでいる。例えば、認証カードなどのトークンを提示することによってユーザを識別する従来のシステムは、権限を有するユーザ以外の誰かによって使用されることがある。結果として、「Ｓｏｍｅｔｈｉｎｇ ｙｏｕ ｈａｖｅ」の使用のみを伴うシステムは、悪用に対して脆弱である。生体認証システムは、複製することまたは転送されることが困難または不可能である、特定の個人の特性を使用ことによってこのことに対処する。しかしながら、従来の生体認証システムの動作は、動作的な問題をもたらし、多用する環境では深刻な待ち時間を示すこともある。例えば、従来の掌に基づく生体認証システムは、ユーザの手と走査デバイスとの間の物理的な接触を必要とする。この物理的な接触は、非衛生と見なされることがあり、一部のユーザにとって達成することが困難であることがある。既存のシステムも、情報を収集及び処理するのに相対的に低速である。それらの因子及び他の因子は、ユーザトラフィックのフローを著しく妨げることなくユーザの早急な認証が求められる状況での使用のために既存のシステムが適切でないことをもたらす。例えば、既存のシステムによってもたらされる遅延は、或る日に何万人のユーザにサービスする施設に入場するとき、遅延などの深刻な悪影響を生じさせる。

本開示において説明されるのは、ユーザの非接触生体認証をもたらすシステムである。スキャナデバイスは、スキャナの視角内にあるユーザの掌の未処理画像を取得するために使用される。スキャナは、第１の偏光を有する赤外線光を使用する１つ以上の未処理画像の第１のセット及び第２の偏光を有する赤外線光を使用する１つ以上の未処理画像の第２のセットを取得する。画像の第１のセットは、ユーザの掌内の線及びしわなどの外部特性を表し、画像の第２のセットは、静脈、骨、軟組織、または皮膚の表皮の下にある他の構造などの内部解剖学的構造を表す。

未処理画像は、第１の偏光及び第２の偏光を使用して取得された手を包含する画像のセットを提供するよう初期処理を受け、画像は、良好に照明され、焦点を合わされ、特定の方位にある手を示し、特定の標準的な姿勢にある手を示し、修正され、及びどの手が提示されているか（左手または右手）を示す、などである。この画像のセットにおける画像は次いで、部分画像または「パッチ」に分割される。例えば、外部特性を表す画像は、１５×１５の部分画像のセットに分割されてもよい。いくつかの実施態様では、各々の部分画像は、隣接した部分画像と重なってもよく、他の実施態様では、部分画像は、重なりを示さなくてもよい。実施例を続けると、第２のモダリティ特徴を表す画像は、７×７の部分画像のセットに分割されてもよく、各々の部分画像は、隣接した部分画像と重なる。いくつかの実施態様では、追加の画像処理が使用されてもよい。例えば、湾曲面を平面として表現するよう、その湾曲面を表す部分画像に画像変換が適用されてもよい。部分画像は次いで、その部分画像に存在する画像特徴を表現する特徴ベクトルを判定するよう処理される。

特徴ベクトルを判定するためにニューラルネットワークが使用されてもよい。例えば、ニューラルネットワークは、部分画像内の特徴を認識するよう訓練されてもよい。訓練されると、ニューラルネットワークは、部分画像を入力として受け付けてもよく、部分画像に存在する１つ以上の特徴を特徴付ける特徴ベクトルを出力として生成してもよい。いくつかの実施態様では、第２のモダリティ画像の部分画像及び第１のモダリティ画像の部分画像に対してそれぞれの特徴ベクトルを生成するために異なるニューラルネットワークが使用されてもよい。異なるモダリティからの部分画像内の特徴を表す結果として生じる特徴ベクトルは次いで、ユーザが提示した手の少なくとも一部の特徴を示す最新の署名を生成するために使用されてもよい。例えば、異なるモダリティから取得された特徴ベクトルは、最新の署名として使用される線形ベクトルを生成するよう連結されてもよく、または別のニューラルネットワークは、特徴ベクトルに入力としてアクセスしてもよく、最新の署名を生成してもよい。別の実施態様では、同一のモダリティの複数の画像からの特徴ベクトルは、平均化されてもよく、結果として生じる平均特徴ベクトルは次いで、署名を判定するために使用されてもよい。この平均化は、特徴ベクトルの値と関連付けられた雑音の影響を低下させる。

別の実施態様では、第１の次元を有する特徴ベクトルは、第１の次元よりも少ない第２の次元を有する出力特徴ベクトルを生成するようニューラルネットワークにより処理されてもよい。出力特徴ベクトルは次いで、署名を生成するために使用されてもよい。

スキャナに手を提示したユーザの認証は、登録処理の間に取得された画像の特徴ベクトルから生成された参照署名など、前に記憶されたデータとの１回以上の比較を伴ってもよい。例えば、最新の署名は、前に記憶された参照署名と比較されてもよい。参照署名は、ユーザ識別子と関連付けられる。１つの実施態様では、アイデンティティは、最新の署名にベクトル空間内で最も近い参照署名に基づいて判定されてもよい。別の実施態様では、アイデンティティは、経時的に未処理画像データを処理することによって判定されてもよい。例えば、いくつかの異なるユーザ識別子と関連付けられた信頼値が判定されてもよく、連続して未処理画像データが処理されるにつれて、閾値を上回る信頼値が、特定のユーザ識別子に対して投票を記録するために使用されてもよい。特定のユーザ識別子が投票の閾値数に到達するとき、そのユーザ識別子と関連付けられたアイデンティティは、ユーザのアイデンティティであると見なされてもよい。

登録処理は、上記説明されたようなユーザの未処理画像を取得及び処理すること、並びに署名を判定することを含んでもよい。署名は次いで、特定のアイデンティティと関連付けられた参照署名として記憶されてもよい。例えば、登録処理の間に取得された未処理画像は、部分画像に対する特徴ベクトルを判定するよう、１つ以上のニューラルネットワークを使用して処理されてもよい。それらの特徴ベクトルは次いで、掌を表す参照署名を判定するために使用されてもよい。例えば、左手の参照署名及び右手の参照署名は、各々の手に対する特徴ベクトルに基づいて判定されてもよく、各々のユーザに対して記憶されてもよい。上記説明されたスキャナを利用することによって、第１のモダリティ特徴及び第２のモダリティ特徴の両方の未処理画像を即時且つ容易に取得することができる。それらの未処理画像は、相互に近接して位置合わせされる。例えば、スキャナは、３０フレーム／秒において動作する１つ以上のカメラを利用してもよく、画像は、第１のモダリティ画像と第２のモダリティ画像との間で交互になる。それらの近接して位置合わせされた画像は、追加の位置合わせ処理を削減または除去することによって、画像の処理を促進する。それらの第１のモダリティ画像及び第２のモダリティ画像の取得は、認証の精度を改善する特徴の豊富なセットを提供する。

画像を部分画像に分割し、各々に対するそれぞれの特徴ベクトルを判定することによって、システムは、画像データを更に即時に処理し、変動を許容することが可能である。例えば、部分画像の使用は、計算的により単純であり、より高速で特徴ベクトルを生成することを実行する、より小規模なニューラルネットワークが使用されることを可能にする。部分画像はまた、並列して処理されてもよく、システムの速度を更に増大させる。

それぞれの部分画像の特徴ベクトルと、前に記憶されたデータとの間の一致と関連付けられた信頼値を使用することによって、システムは、特徴における局所的な変動を更に許容する。例えば、ユーザの掌上に、新たな硬いまたはできたばかりのあざを有する場合、その特徴を含む部分画像に対する信頼値を低下させることがある。しかしながら、他の部分画像における信頼値は、アイデンティティをアサートするのに十分であることがある。

従来のシステムは、ユーザの手の姿勢、位置、及び距離における変化を相対的に許容しない。結果として、それらのシステムは典型的には、ユーザが手を置く必要があるガイドまたは面の使用を必要とする。本明細書で説明されるスキャナ設計及び部分画像の使用は、ユーザの手がセンサプラットフォームまたはガイドと接触するようになる必要性を除去する。例えば、部分画像の使用と組み合わせた第２のモダリティ特徴及び第１のモダリティ特徴を有する未処理画像データの迅速な取得は、更なる未処理画像データが取得されることを可能にする。実施例を続けると、多くの画像を取得することができ、所望の方位及び姿勢にある手または所望の方位及び姿勢の近くにある手を含む第２のモダリティ画像及び第１のモダリティ画像を取得する機会を増大させる。

部分画像の使用は、特徴ベクトルの生成を促進するために、更に局所化され、標的にされ、及び計算的により単純である変換が適用されることを可能にする。これは、ユーザの手の様々な方位及び姿勢から有意義な特徴を抽出する能力を改善する。例えば、手の姿勢によって、掌の一部が曲がりまたはそうでなければ関節接合されるようになる場合、その特定の部分を表す部分画像を再配置し、及び「平坦にする」ために、その部分の部分画像に特定の変換が適用されてもよい。この「平坦にされた」部分画像は次いで、ニューラルネットワークへの入力として使用されてもよく、後続の特徴ベクトルは、部分画像に対して生成される。結果として、その部分画像に対する特徴ベクトルは、ユーザの認証に貢献するために使用されてもよく、システムの全体的な精度を改善する。

スキャナは、施設への入口、施設からの出口、または施設内の設計された領域のうちの１つ以上に配置されてもよい。認証システムによって生成された認証データを使用することによって、施設管理システムは、特定の時間に特定のスキャナにおいて特定のユーザの存在を判定することが可能である。そのような情報は、識別されたユーザによる後続の対話をそのユーザのアカウントと関連付けるために使用されてもよい。例えば、ユーザが在庫位置からアイテムを選定し、施設を離れる場合、ユーザのアカウントは、そのアイテムに対して料金を請求されることがある。

施設管理システムの全体的な動作は、本明細書で説明される技術を使用することによって改善される。例えば、本明細書で説明される認証システムは、他のシステムよりも減少した待ち時間、及び少ない計算リソースにより、ユーザの認証がより正確に実行されることを可能にする。

例示的なシステム
図１は、いくつかの実施態様に従った、施設においてユーザ１０２を識別するシステム１００を示す。

施設は、ゲート１０４を含んでもよい。いくつかの実施態様では、ゲート１０４は、ユーザ１０２の移動を制御する可動境界を含んでもよい。例えば、ゲート１０４は、ユーザ１０２の通過を妨げるよう閉鎖することができ、またはユーザ１０２の通過を許可するよう開放することができるコンピュータ制御パネルを含んでもよい。ゲート１０４は、１つ以上のスキャナ１０６を含んでもよい。ユーザ１０２は、ゲート１０４に近づくことができ、スキャナ１０６に手１０８を置くことができる。

スキャナ１０６は、未処理画像データ１１０を生成してもよい。スキャナ１０６は、異なる照明パターンを有する、２つ以上の特定の偏光などを有する赤外線光を使用して照明される手１０８の画像を取得するように構成される。スキャナ１０６は、図２に関して以下で更に詳細に説明される。スキャナ１０６は、未処理画像データ１１０を生成してもよい。例えば、動作の間、ユーザ１０２は、スキャナ１０６に面した掌または手のひらの領域と共に手１０８を提示することができる。結果として、未処理画像データ１１０は、手１０８の前方部分の未処理画像データ１１０である。他の実施態様では、未処理画像データ１１０は、手１０８の背面を含んでもよい。

使用される偏光に応じて、スキャナ１０６によって生成された画像は、第１のモダリティ特徴または第２のモダリティ特徴の画像であってもよい。第１のモダリティは、手１０８が第１の偏光を有する光により照明され、それもまた第１の偏光を有する光をカメラに通す偏光子を有するカメラによって取得された画像を利用してもよい。第１のモダリティ特徴は、ユーザ１０２の手１０８の面に近くにある特徴またはユーザ１０２の手１０８の面の上にある特徴を含んでもよい。例えば、第１のモダリティ特徴は、手１０８の少なくとも表皮内でしわ、ひだ、傷、及び真皮乳頭部畝などを含んでもよい。

第２のモダリティ特徴は、表皮の下にある特徴を含む。第２のモダリティは、手１０８が第２の偏光を有する光により照明され、第１の偏光を有する光をカメラに通す偏光子を有するカメラによって取得された画像を利用してもよい。例えば、第２のモダリティ特徴は、静脈、骨、及び軟組織などの解剖学的構造を含んでもよい。いくつかの特徴は、第１のモダリティ画像及び第２のモダリティ画像の両方に視認可能であってもよい。例えば、掌内のしわは、面上の第１のモダリティ特徴と共に、掌内のより深い第２のモダリティ特徴を含んでもよい。

未処理画像データ１１０は、以下のタイプの画像のうちの１つ以上を含んでもよい。未処理第１のモダリティ画像１１２（１）は、手１０８が赤外線光の第１の偏光を有する赤外線光によって第１の時間に照明される間に、赤外線光の第１の偏光を通す偏光子を有するカメラによって取得される。未処理第２のモダリティ画像１１４（１）は、手１０８が第２の偏光を有する赤外線光によって第２の時間に照明される間に、赤外線光の第１の偏光を通す偏光子を有するカメラによって取得される。スキャナ１０６は、複数の画像を生成するよう動作してもよい。例えば、スキャナ１０６は、連続した時間の間に取得される画像のストリームを生成してもよい。この例示では、未処理画像データ１１０は、第３の時間に赤外線光の第１の偏光を使用して取得された別の未処理第１のモダリティ画像１１２（２）を含む。未処理画像データ１１０はまた、第２の偏光を使用して第４の時間に取得された別の未処理第２のモダリティ画像１１４（２）を含む。追加の未処理第１のモダリティ画像１１２及び未処理第２のモダリティ画像１１４は、スキャナ１０６の動作の間に取得されてもよい。

認証システム１２０は、未処理画像データ１１０を入力として使用する。初期処理モジュール１２２は、更なる処理のために未処理画像データ１１０を作成する。例えば、初期処理モジュール１２２は、特定の未処理画像が人間の掌を含むかどうかを判定してもよく、未処理画像が焦点を合わされているかどうかを判定してもよく、未処理画像が適切に照明されているかどうかを判定してもよく、未処理画像内の掌が予め定められた様式において方向付けられ、姿勢を取っているかどうかを判定してもよい、などである。初期処理モジュール１２２は、処理済み画像データを生成する。

部分画像モジュール１２４は、処理済み画像データを入力として使用し、それぞれの画像を部分画像に分割する。部分画像は、画像の一部を含む。例えば、部分は、画像内の矩形領域として表現されてもよい。それらの相互に対する相対位置、部分画像のサイズ、及び隣接した部分画像との重なり（ある場合）などの部分画像の特性は、変動してもよい。例えば、第１のモダリティ画像の処理済み画像データは、４００個の部分画像のセットに分割されてもよく、その各々は、２５６×２５６の画素のサイズを有し、第２のモダリティ画像の処理済み画像データは、１６個の部分画像に分割されてもよく、その各々は、１２８×１２８の画素のサイズを有する。

部分画像モジュール１２４は、処理済み画像データの少なくとも一部の部分画像のうちの１つ以上に対する部分画像特徴データ１２６を生成する。１つの実施態様では、ニューラルネットワークは、入力画像に存在する１つ以上の特徴を表す特徴ベクトルを生成するよう訓練されてもよい。部分画像は、それぞれの部分画像に対する特徴ベクトルを生成するよう、１つ以上のニューラルネットワークによって処理されてもよい。いくつかの実施態様では、第２のモダリティ画像及び第１のモダリティ画像に対して異なるニューラルネットワークが使用されてもよい。上記実施例を続けると、第１のモダリティ画像の部分画像に対する特徴ベクトルを生成するために使用される第１のニューラルネットワークは、２５６×２５６の画素のサイズを有する入力画像を処理するよう訓練されてもよい。同様に、第２のモダリティ画像の部分画像に対する特徴ベクトルを生成するために使用される第２のニューラルネットワークは、１２８×１２８の画素のサイズを有する入力画像を処理するよう訓練されてもよい。他の実施態様では、他の画像サイズが使用されてもよい。例えば、第１のモダリティ及び第２のモダリティに対する入力画像は、同一のサイズのモダリティであってもよく、第１のモダリティ画像は、第２のモダリティ画像よりも小さいサイズを有してもよい、などである。

比較モジュール１２８は、それらの手１０８の画像に存在する特徴に基づいてユーザ１０２のアイデンティティを判定するために、部分画像特徴データ１２６及び前に記憶されたユーザ特徴データ１３０を使用する。記憶されたユーザ特徴データ１３０は、システム１００へのユーザ１０２の登録の間に生成されてもよい。１つの実施態様では、登録処理は、ユーザ１０２の手１０８の未処理画像データ１１０を取得及び処理することを含んでもよい。部分画像特徴データ１２６は次いで、本明細書で説明されるように生成されてもよく、記憶されたユーザ特徴データ１３０を生成するために使用されてもよい。例えば、未処理画像データ１１０は、部分画像モジュール１２４における１つ以上のニューラルネットワークを使用して処理されてもよい。１つの実施態様では、登録されるユーザ１０２を表す参照署名は、複数の画像を使用して判定されてもよい。例えば、平均特徴ベクトルは、未処理画像データ１１０における異なる画像から取得された同一のモダリティの部分画像の特徴ベクトルの要素ごとの平均化に基づいて計算されてもよい。別の実施態様では、署名は、部分画像内の特徴を表す特徴ベクトルなどの部分画像特徴データ１２６を単一の線形ベクトルに連結することによって生成されてもよい。更なる別の実施態様では、署名は、第１のニューラルネットワーク及び第２のニューラルネットワークの組み合わせを使用して、及び第３のニューラルネットワークによって、などで判定されてもよい。例えば、第３のニューラルネットワークは、未処理画像データ１１０の入力に基づいて署名を生成するように構成されてもよい。

比較モジュール１２８は、部分画像特徴データ１２６における特徴ベクトルに基づいた最新の署名を、記憶されたユーザ特徴データ１３０における参照署名と比較してもよい。最新の署名と参照署名との間の類似性を示す信頼値が判定されてもよい。例えば、信頼値は、最新の署名と参照署名との間のベクトル空間内のユークリッド距離に基づいて判定されてもよい。別の実施例では、ニューラルネットワークは、部分画像特徴データ１２６の特徴ベクトルまたは最新の署名を入力として受け付けてもよく、記憶されたユーザ特徴データ１３０における参照署名との一致における信頼値を示すデータを生成してもよい。

比較モジュール１２８はまた、ユーザ１０２のアイデンティティを判定するために、投票に基づくアプローチを利用してもよい。登録された各々のユーザ１０２は、１つ以上の特徴ベクトルまたはそれら特徴ベクトルに基づいた参照署名を含むユーザ特徴データ１３０を記憶していてもよい。未処理画像データ１１０の進行中の取得に基づいて、いくつかの最新の署名が判定されてもよく、参照署名と比較されてもよい。特定の最新の署名が、ベクトル空間内の閾値距離内など、閾値内の参照署名に対応する場合、その参照署名と関連付けられた投票が生成される。いくつかの最新の署名が判定及び検査されることが続くにつれて、異なる参照署名と関連付けられた投票の数が変化することがある。投票に関する１つ以上の閾値に到達するとき、参照署名の１つと関連付けられたユーザアイデンティティがアサートしてもよい。

最も類似した参照署名と関連付けられたユーザ識別子は、ユーザ１０２のアイデンティティであると判定されてもよい。比較モジュール１２８は、認証データ１３２を生成してもよい。例えば、参照署名と関連付けられたユーザ識別子は、ユーザ１０２と関連付けられてもよい。

認証データ１３２は、ユーザ１０２と関連付けられたユーザ識別子、ゲート１０４またはスキャナ１０６の１つ以上の位置または認証、並びに走査が取得された日付及び時間を示すデータなどのうちの１つ以上などの情報を提供することができる。いくつかの実施態様では、認証データ１３２はその後、様々なアクションを実行するために使用されてもよい。例えば、ユーザ１０２が施設にアクセスすることを許可された場合、認証システム１２０は、ゲート１０４に対して開放するコマンドを発行してもよい。別の実施例では、認証データ１３２は、施設管理システム１３４に渡されてもよい。

施設管理システム１３４は、アイデンティティを、施設の周りで移動するときのユーザ１０２と関連付けるために認証データ１３２を使用してもよい。例えば、施設管理システム１３４は、ユーザ１０２の位置を判定するために、環境内のカメラ、スマートフロアタイル、または他のセンサからのデータを使用してもよい。ゲート１０４からのユーザ１０２の既知の経路を仮定すると、認証データ１３２において示されたユーザアイデンティティは、施設を使用するときのユーザ１０２と関連付けられてもよい。

図２は、いくつかの実施態様に従った、ユーザ１０２の手１０８の未処理画像データ１１０を取得するために使用されるスキャナ１０６の実施態様２００を示す。第１の実施態様２０２及び第２の実施態様２０４が表される。しかしながら、他の実施態様も可能であることが理解されよう。

第１の実施態様２０２は、スキャナ１０６上に位置付けられたユーザ１０２の手１０８を表す。スキャナ１０６は、１つ以上の赤外線（ＩＲ）光源を含んでもよい。例えば、ＩＲ発光ダイオード（ＬＥＤ）の第１のセット２０６（１）、ＩＲ ＬＥＤの第２のセット２０６（２）、及びＩＲ ＬＥＤの第３のセット２０６（３）が示される。他の実施態様では、赤外線光を生成するために他のデバイスが使用されてもよい。いくつかの実施態様では、ＩＲ光２１０の波長は、８５０ナノメートル（ｎｍ）であってもよい。

ＩＲ ＬＥＤ２０６（１）は、ＩＲ ＬＥＤ２０６（１）によって生成されたＩＲ光２１０が第１の偏光子２０８（１）を通過するように、第１の偏光子２０８（１）に隣接して配列される。第１の偏光子２０８（１）を通過するＩＲ光２１０（１）は、第１の偏光を実質的に示す。同様に、ＩＲ ＬＥＤ２０６（３）は、第１の偏光子２０８（１）に隣接して配列される。スキャナ１０６は、カメラ２１２によって捕捉された赤外線光が第１の偏光を実質的に示すように、それもまた第１の偏光子２０８（１）を有してもよいカメラ２１２を含む。１つの実施態様では、第１の偏光を示す第１の偏光子２０８（１）を有するＩＲ ＬＥＤ２０６（１）からの光によって手１０８が照明されるとき、第１の偏光子２０８（１）を有するカメラ２１２は、未処理第１のモダリティ画像１１２を生成してもよい。

いくつかの実施態様では、それぞれの偏光子２０８を有する複数のＩＲ ＬＥＤ２０６は、カメラ２１２に対してスキャナ１０６内の異なる位置において配列されてもよい。例えば、第１の偏光子２０８（１）を有する４つのＩＲ ＬＥＤ２０６は、カメラ２１２上で中心にされた正方形の各々の隅において１つのＩＲ ＬＥＤ２０６と共に配列されてもよい。別の実施態様では、ＩＲ ＬＥＤ２０６及び偏光子２０８は、カメラ２１２の周りでリングを形成してもよい。動作の間、コンピューティングデバイス２２０またはスキャナ１０６のコントローラは、異なる時間に均一でありまたは特定の方向からのいずれかである照明を作成するよう、個々にまたはグループでＩＲ ＬＥＤ２０６を動作させてもよい。例えば、未処理第１のモダリティ画像１１２の取得の間、ＩＲ ＬＥＤ２０６は、第１の時間における１つの画像の取得の間に全てがオンであるように制御されてもよい。第２の時間に、正方形の特定の隅にあるＬＥＤなどの選択されたＩＲ ＬＥＤ２０６は、第２の時間における別の画像の取得の間にオンであるように制御されてもよい。手１０８を選択的に照明することによって、シャドーまたは他のエフェクトに起因して、畝またはしわなど、手１０８の外部特性を強化することができる。例えば、スキャナ１０６のコントローラは、第１の偏光を有する全てのＩＲ ＬＥＤ２０６を使用して１つの画像を取得し、次いで、カメラ２１２に対して異なる位置において４つのＩＲ ＬＥＤ２０６の各々の１つを使用して４つの画像の各々を取得し、それに続いて、第２の偏光を有するＩＲ光２１０を生成するＩＲ ＬＥＤ２０６により画像を取得するように構成されてもよい。

スキャナ１０６は、ＩＲ ＬＥＤ２０６（２）によって生成されたＩＲ光２１０が、第２の偏光を実質的に示す第２の偏光子２０８（２）を通過するように、第２の偏光子２０８（２）に隣接して配列された第２のＩＲ ＬＥＤ２０６（２）を含む。１つの実施態様では、手１０８が第２の偏光を示すＩＲ ＬＥＤ２０６（２）からの光によって照明されるとき、カメラ２１２は、未処理第２のモダリティ画像１１４を生成してもよい。視角（ＦＯＶ）２１４は、ＩＲ ＬＥＤ２０６によって照明される領域、及びカメラ２１２からの画像をそこから取得することができる領域を示す。複数のカメラ２１２を伴う実施態様では、ＦＯＶ２１４は、カメラ２１２の各々の個々のＦＯＶを含む。例えば、カメラ２１２の各々のＦＯＶは重なる。

動作の間、コンピューティングデバイス２２０またはスキャナ１０６のコントローラは、光の異なる偏光によって照明されるように手１０８の画像を取得するよう、異なる偏光を有するＩＲ光２１０を生成するＩＲ ＬＥＤ２０６及びカメラ２１２を動作させてもよい。例えば、第１の時間に、ＩＲ ＬＥＤ２０６（１）は、活性であってもよく、カメラ２１２は、未処理画像データ１１０を取得する。実施例を続けると、第２の時間に、ＩＲ ＬＥＤ２０６（１）は、非活性であってもよく、ＩＲ ＬＥＤ２０６（２）は、活性であってもよく、カメラ２１２は、未処理画像データ１１０を取得する。結果として生じる未処理画像データ１１０は次いで、未処理第１のモダリティ画像１１２（１）、未処理第２のモダリティ画像１１４（１）、未処理第１のモダリティ画像１１２（２）、及び未処理第２のモダリティ画像１１４（２）などのストリームを含んでもよい。

カメラ２１２は、少なくとも使用されるＩＲ光２１０に反応する検出器を含む。カメラ２１２は、様々なフレームレートにおいて画像を生成することが可能であってもよい。例えば、カメラ２１２は、１／２０秒ごとにまたはそれよりも高速に、２０フレーム／秒（ＦＰＳ）のフレームレートを有する画像を生成することが可能であってもよい。カメラ２１２の積分時間（または、露光時間）は、単一の画像を生成するよう光子が検出器によって測定される時間量を指定する。積分時間が減少するにつれて、システムは、手１０８の動きに起因してぼやける傾向が低いことがある。

いくつかの実施態様では、偏光された光源が使用されてもよく、光源に隣接した偏光子２０８が省略されてもよい。例えば、量子ドットは、特定の偏光を有するＩＲ光を放出することができる。同様に、いくつかの実施態様では、カメラ２１２は、捕捉された光の偏光及び省略される偏光子２０８に対して感度が高く、または捕捉された光の偏光及び省略される偏光子２０８を示す情報を提供する検出器を含んでもよい。

偏光子２０８は、特定の偏光の光に対して実質的に透過であり、別の偏光を有する光を実質的に吸収または反射するフィルタを含んでもよい。偏光は、線形または環状のうちの１つ以上であってもよい。例えば、第１の偏光は、線形であってもよく、第２の偏光は、環状であってもよい。別の実施例では、第１の偏光は、第１の角度を有する線形であってもよく、第２の偏光は、第２の角度を有する線形であってもよい。線形偏光が使用されるとき、第１の偏光及び第２の偏光は、相互に直角であってもよい。例えば、第１の偏光は、特定の参照点に対して０度の第１の角度を示してもよく、第２の偏光は、９０度の第２の角度を示す。

偏光子２０８は、線形偏光を有する光を通す二色性材料または構造を含んでもよい。例えば、偏光子は、位置合わせされたポリフッ化ビニリデンチェーン及びガラスなどの透明基板に埋め込まれた銀ナノ粒子などを含んでもよい。他の実施態様では、それらに限定されないが、ワイヤグリッド偏光子、ビーム分離偏光子、四分の一波長板、液晶、及び光弾性変調器などを含む他の偏光デバイスが使用されてもよい。例えば、光弾性変調器は、石英ガラスなどの半波共鳴バーを振動させるよう圧電性トランスデューサを駆動する電気信号によって制御されるデバイスを含んでもよい。信号の周波数を変化させることによって、トランスデューサによって生じる振動の周波数が変化し、共鳴バーを通る光の偏光が選択されてもよい。

第２の実施態様２０４は、１つ以上のＩＲ ＬＥＤ２０６などの光源及びカメラ２１２を使用するスキャナ１０６を示す。ホイールは、偏光ウインドウ２１６を有する２つ以上のセグメントを含む。例えば、ホイールは、第１の極性を有する光を通す第１の偏光子２０８（１）を有する第１の偏光ウインドウ２１６（１）を有する第１のセグメント、並びに第１の極性を有する光を通す第１の偏光子２０８である部分及び第２の極性を有する光を通す第２の偏光子２０８（２）を有する第２の偏光ウインドウ２１６（２）を有する第２のセグメントを含んでもよい。電気モータ２１８は、特定の時間にＩＲ ＬＥＤ２０６及びカメラ２１２の前方に特定のセグメントを配置するようホイールを回転させる。例えば、ホイールの回転は、第１の時間に、ＩＲ ＬＥＤ２０６からのＩＲ光２１０が第１の偏光ウインドウ２１６（１）を通過し、第１の偏光を有するＩＲ光２１０をもたらすように、カメラ２１２のフレームレートと同期されてもよい。その光は、手１０８などの物体と相互作用し、第１の偏光ウインドウ２１６（１）を通じたＦＯＶを有するカメラ２１２は、第１の偏光ウインドウ２１６（１）を通過する光を検出し、未処理第１のモダリティ画像１１２を生成する。よって、第１のモダリティは、赤外線光２１０及びカメラ１１２に対して同一の偏光を使用することを伴ってもよい。第２の時間（図示せず）に、第２のセグメントは、カメラ１１２の前方に第１の偏光ウインドウ２１６（１）を配置し、ＩＲ ＬＥＤ２０６の前方に第２の偏光ウインドウ２１６（２）を配置し、カメラ２１２は、未処理第２のモダリティ画像１１４を生成する。よって、第２のモダリティは、赤外線光２１０がカメラ１１２とは異なる偏光を使用することを伴ってもよい。

別の実施態様では（ここでは表されない）、特定の偏光を有する光を通すために電子制御デバイスが使用されてもよい。例えば、ホイールの代わりに、電子制御偏光子２０８は、特定の時間に特定の偏光を選択するために使用されてもよい。例えば、光のどの偏光が特定の時間にカメラ２１２の検出器に到達するかを制御するために、第１の偏光２０８（１）を有する偏光されたフィルムは、ＩＲ ＬＥＤ２０６の前方に配置されてもよく、電子制御デバイスは、カメラ２１２の前方に配置されてもよい。

いくつかの実施態様では、異なる偏光の代わりにまたは異なる偏光に加えて、異なる波長の光が使用されてもよい。例えば、ＩＲ ＬＥＤ２０６は、７４０ｎｍ〜１０００ｎｍの波長による照明をもたらすことができる。いくつかの実施態様では、異なる波長は、異なる時間に手１０８を照明するために使用されてもよい。

スキャナ１０６は、１つ以上のコントローラまたはコンピューティングデバイス２２０を含んでもよい。コンピューティングデバイス２２０は、ハードウェアプロセッサ及びメモリなどを含んでもよい。例えば、コンピューティングデバイス２２０は、マイクロコントローラ、システムオンチップ（ＳｏＣ）、及びシングルボードコンピュータなどを含んでもよい。コンピューティングデバイス２２０は、スキャナ１０６のデバイスを動作させるように構成されてもよい。例えば、コンピューティングデバイス２２０は、ＩＲ ＬＥＤ２０６、偏光子２０８（電子制御の場合）、カメラ２１２、及び偏光子ホイールを駆動するモータ２１８などを動作させてもよい。例えば、コンピューティングデバイス２２０は、ＩＲ光２１０の第１の偏光を使用して第１の時間に取得された未処理第１のモダリティ画像１１２及びＩＲ光２１０の第２の偏光を使用して第２の時間に取得された未処理第２のモダリティ画像１１４を含む未処理画像データ１１０が生成されるようにスキャナ１０６を制御してもよい。

いくつかの実施態様では、認証システム１２０の機能のうちの１つ以上は、１つ以上のコンピューティングデバイス２２０によって実行されてもよい。例えば、スキャナ１０６は、初期処理モジュール１２２を実装するために、１つ以上のコンピューティングデバイス２２０を使用してもよい。この実施態様では、スキャナ１０６は、認証システム１２０に処理済み画像データを送信してもよい。

他の実施態様では、手１０８及びスキャナ１０６の相対的配列は、変化してもよい。例えば、スキャナ１０６は、ＦＯＶ２１４が下方に指し示されるように方向付けられてもよい。使用の間、ユーザ１０２は、上方に開いた掌と共にＦＯＶ２１４内で、スキャナ１０６の下に手１０８を置いてもよい。

スキャナ１０６が手１０８の掌の画像を取得するために使用されるとして説明されたが、スキャナ１０６は、手１０８の背面及び顔など、ユーザ１０２の他の部分の画像を取得するために使用されてもよい。例えば、スキャナ１０６は、ユーザ１０２がゲート１０４に近づくにつれて、顔の未処理第１のモダリティ画像１１２及び顔の未処理第２のモダリティ画像１１４を含む顔の未処理画像データ１１０が取得されるように、ＦＯＶ２１４と共に配列されてもよい。

図３は、いくつかの実施態様に従った、第１の偏光を有する光を使用して取得された処理済み第１のモダリティ画像３０２及び第２の偏光を有する光を使用して取得された処理済み第２のモダリティ画像３０４の３００を示す。処理済み画像は、初期処理モジュール１２２によって判定されてもよい。初期処理モジュール１２２の動作は、図４に関して以下で更に詳細に議論される。

処理済み第１のモダリティ画像３０２は、掌の皮膚内のしわ及び褶曲など、様々な第１のモダリティ特徴３０６を表す。境界ボックス３０８（１）が表される。例えば、初期処理モジュール１２２は、手１０８の掌が存在すると見なされる画像内の領域を指定する境界ボックス３０８を生成してもよい。部分画像モジュール１２４は、境界ボックス３０８（１）内にある処理済み第１のモダリティ画像３０２の領域を複数の部分画像３１０またはパッチに分割してもよい。ここで表される実施態様では、部分画像３１０は、隣接した部分画像３１０と重なる（３１２）。他の実施態様では、部分画像３１０は、解体されてもよく、重なること（３１２）を示さなくてもよい。ここで表されるように、部分画像モジュール１２４によって判定された部分画像３１０のサイズは、同一であってもよい。例えば、各々の部分画像３１０は、画素の２５６個の行及び２５６個の列である領域を表してもよい。しかしながら、他の実施態様では、異なる部分画像３１０は、異なるサイズを有してもよい。例えば、１つの部分画像３１０は、２５６×２５６の画素であってもよく、別の部分画像３１０は、１２８×１２８の画素であってもよい。

処理済み第２のモダリティ画像３０４は、皮膚の表面下の静脈などの様々な第２のモダリティ特徴３１４を表す。いくつかの実施態様では、処理済み第２のモダリティ画像３０４はまた、しわなどのいくつかの第１のモダリティ特徴３０６を表してもよい。手１０８の掌が存在すると見なされる画像内の領域を指定する境界ボックス３０８（２）が示される。境界ボックス３０８（２）内で、処理済み第２のモダリティ画像３０４は、部分画像３１０に分割される。他の実施態様では、境界ボックス３０８は、手１０８の全体、または指などのそれらの別の部分を含んでもよい。

いくつかの実施態様では、処理済み第１のモダリティ画像３０２または処理済み第２のモダリティ画像３０４のいずれかに対して判定された境界ボックス３０８の座標は、他の画像に対して使用されてもよく、境界ボックス３０８を２回判定する必要性を除去する。例えば、処理済み第１のモダリティ画像３０２及び処理済み第２のモダリティ画像３０４が、相互に閾値時間内である第１の時間及び第２の時間に取得されると仮定して、画像の間の画像データにおける手１０８の移動量は、小さいことがある。別の実施例では、処理済み第１のモダリティ画像３０２及び処理済み第２のモダリティ画像３０４が他に相互に位置合わせされる場合、１つの画像に対して判定された境界ボックス３０８は、その他の画像に対して再使用されてもよく、システム１００によって使用される計算リソースを削減する。

第１のモダリティ画像が分割される部分画像３１０の数は、第２のモダリティ画像が分割される部分画像３１０の数とは異なってもよい。例えば、処理済み第１のモダリティ画像３０２は、３６個の部分画像に分割されてもよく、処理済み第２のモダリティ画像３０４は、１６個の部分画像に分割されてもよい。

第２のモダリティまたは第１のモダリティなど、特定のタイプの画像に対する部分画像３１０は、ｍ個の行及びｎ個の列のアレイを含んでもよく、ｍ及びｎは、ゼロでない整数である。行の数は、列の数とは異なってもよい。例えば、未処理第１のモダリティ画像１１２は、１０個の列及び２０個の行に分割されてもよい。

第１のモダリティ特徴３０６及び第２のモダリティ特徴を分解するために使用される分解能は、変化してもよい。例えば、第１のモダリティ特徴３０６は、掌内のしわの鮮明なエッジなど、高頻度成分を示すことがある。それに引き換え、静脈などの第２のモダリティ特徴３１４は、介在組織によってＩＲ光２１０の分散に起因してぼやけることがある。この相違は、コンピュータリソースの消費を減少させ、また、データを処理する間の待ち時間を減少させるために使用されてもよい。１つの実施態様では、処理済み第１のモダリティ画像３０２は、処理済み第２のモダリティ画像３０４よりも大きな総分解能を有してもよい。初期処理モジュール１２２は、処理済み第２のモダリティ画像３０４を生成するよう、未処理第２のモダリティ画像１１４をダウンサンプルしてもよい。例えば、線形ダウンサンプリング関数またはバイキュービックダウンサンプリング関数は、処理済み第２のモダリティ画像３０４を生成するために使用されてもよい。結果として、処理済み第２のモダリティ画像３０４の分解能は、処理済み第１のモダリティ画像３０２の分解能よりも小さくてもよい。

また、表されるのは、処理済み第１のモダリティ画像３０２内の手１０８及び処理済み第２のモダリティ画像３０４内の手１０８の両方が標準的な方位に位置合わせされるように、未処理画像データ１１０が処理されたことである。例えば、手１０８の画像は、掌の長軸が画像の中心線に沿って延在する特定の方位まで回転している。

示されるように、処理済み第１のモダリティ画像３０２または処理済み第２のモダリティ画像３０４のうちの１つ以上は、手首から指先までなど、手１０８の全体を表してもよい。この情報は、以下で説明されるように使用されてもよい。例えば、手の全体の画像は、手１０８の全体的な姿勢及び方位など、手１０８の幾何学形状に関する情報を判定するために使用されてもよい。いくつかの実施態様では、手の全体は、以下で説明されるように処理されてもよく、人差し指及び親指上に存在する特徴が判定及び比較されてもよい。例えば、指を含むユーザの手の面の全体は、部分画像３１０に細分化されてもよい。ユーザ１０２を識別するために、掌の特徴の代わりにまたは掌の特徴と共に人差し指及び親指の外部特性及び内部特性が使用されてもよい。

図４は、いくつかの実施態様に従った、認証システム１２０のブロック図４００である。上記説明されたように、スキャナ１０６によって取得された未処理画像データ１１０は、認証システム１２０に提供される。未処理画像データ１１０は、第１の偏光を有する光を使用して取得された１つ以上の未処理第１のモダリティ画像１１２及び第２の偏光を有する光を使用して取得された１つ以上の未処理第２のモダリティ画像１１４を含む。

初期処理モジュール１２２は、掌検出モジュール４０２、画像選択モジュール４０４、または画像変換モジュール４０６などの１つ以上のモジュールを含んでもよい。初期処理モジュール１２２は、処理済み画像データ４０８を出力として生成する。

掌検出モジュール４０２は、掌が未処理画像データ１１０の画像に存在するかどうかを判定するように構成されてもよい。掌が存在すると判定される場合、モジュールは、境界ボックス３０８を判定してもよい。１つの実施態様では、掌検出モジュール４０２は、掌を検出するよう訓練された画像分類器を含んでもよい。別の実施態様では、掌検出モジュール４０２は、人工ニューラルネットワークを含んでもよい。いくつかの実施態様では、初期処理モジュール１２２は、掌の代わりにまたは掌に加えて、手１０８の存在を判定してもよい。掌検出モジュール４０２はまた、ユーザ１０２がどの手１０８を提示したかを示すデータを作成してもよい。例えば、掌検出モジュール４０２は、左手または右手が表されるかどうかを判定してもよい。１つの実施態様では、掌検出モジュール４０２は、左手または右手が表されるかどうかを判定するために、分類器を利用してもよい。別の実施態様では、掌検出モジュール４０２は、左手または右手が表されるかどうかを判定するために、ニューラルネットワークを利用してもよい。

画像選択モジュール４０４は、掌検出モジュール４０２によって、掌を含むと判定された未処理画像を処理してもよい。画像選択モジュール４０４は、掌を含む未処理画像のどれが更なる処理のために適切であるかを判定するように構成されてもよい。画像は、掌の特定の方位を示し、掌の特定の姿勢を示し、第１の閾値を上回る総輝度を示し、及び第２の閾値を下回る総不明瞭度を示す、などの場合、更なる処理のために適切であると見なされてもよい。例えば、掌の好ましい標準的な方位は、掌の長軸が画像に対して閾値角度内にあることであってもよい。適切であると見なされる掌の好ましい標準的な姿勢は、掌が実質的に平坦であり、指が掌を不鮮明にしない姿勢を含んでもよい。

画像の平均輝度は、過飽和または不飽和である境界ボックス３０８内の領域の割合を判定するために計算及び使用されてもよい。平均輝度が第１の閾値を上回る場合、画像は十分に明るいと見なされてもよい。

画像の総不明瞭度は、１つ以上の技術を使用して判定されてもよい。１つの実施態様では、境界ボックス３０８内の領域は、より小さなパッチまたは部分画像３１０に分割されてもよい。パッチのうちの１つ以上における画素強度値の正規化された平均値及びコントラストが計算されてもよい。１つ以上のパッチ内の画素の強度値を使用して、フーリエ変換が計算されてもよい。フーリエ変換からのデータを使用して、周波数の指定された範囲内の強度を表すエネルギーが計算されてもよい。エネルギーが閾値よりも小さい場合、パッチは、不明瞭であり、または焦点が外れていると見なされてもよい。掌にわたる複数のパッチに対するこのエネルギー測定の空間分布を使用することによって、システムは、掌の平坦度を測定することもできる。例えば、パッチに対するエネルギー値が相互の閾値内である場合、手１０８の姿勢は、平坦にされた掌の姿勢であると見なされてもよい。他の実施態様では、焦点を判定するために他の技術が使用されてもよい。例えば、エッジ検出モジュールは、パッチ内の１つ以上のエッジの存在を判定し、隣接した画素の強度がどのように急速に変化するかを表すエッジスコアを判定するために使用されてもよい。エッジスコアが閾値を上回る場合、パッチは、焦点が合わされていると見なされてもよい。閾値数のパッチが、焦点が合わされていると見なされる場合、全体画像が、焦点が合わされていると見なされてもよい。

他の実施態様では、初期処理モジュール１２２は、未処理画像データ１１０を更にフィルタリングまたは処理する他のモジュールを含んでもよい。初期処理モジュール１２２はまた、ディスプレイ、ライト、及びスピーカなどの１つ以上の出力デバイスを介して、ユーザ１０２に提示される出力を提供することができる。初期処理モジュール１２２は、スキャナ１０６に対して特定の方位、姿勢、または位置のうちの１つ以上において手１０８を置くようユーザ１０２を命令するために、この出力を使用してもよい。例えば、ゲート１０４におけるディスプレイデバイスは、特定の様式において手１０８を置くための視覚的キューをユーザ１０２に提供することができる。

画像変換モジュール４０６は、上記説明されたような更なる処理のために適切であると判定された未処理画像データ１１０におけるそれらの画像を処理してもよい。画像変換モジュール４０６は、画像に１つ以上の変換を適用してもよく、処理済み画像データ４０８を生成してもよい。それらの変換は、それらに限定されないが、修正、転換、回転、ワーピング、及びフィルタなどを含んでもよい。例えば、画像変換モジュール４０６は、未処理画像内の１つの位置から処理済み画像内の異なる位置に１つ以上の画素をマッピングする、修正変換を適用してもよい。修正の結果として、手１０８の掌の平面は、処理済み画像の平面内にあるように現れてもよい。別の実施例では、画像変換モジュール４０６は、手１０８の画像を特定の標準的な方位に再方向付ける、回転機能を適用してもよい。実施例を続けると、標準的な方位は、掌の長軸が再方向付けられた画像に対して特定の角度に向けられるように方向付けられた手を含んでもよい。

いくつかの実施態様では、画像変換モジュール４０６は、第１のモダリティ画像及び第２のモダリティ画像を記録してもよく、または第１のモダリティ画像及び第２のモダリティ画像を１つ以上の共通点に位置合わせしてもよい。例えば、カメラ２１２による未処理画像の取得の間の手１０８の移動を理由に、手１０８の視位置は、第１のモダリティ画像及び第２のモダリティ画像のペアの間でわずかに移動することがある。画像変換モジュール４０６は、それぞれの画像内の画素を共通点に転換またはそうでなければマッピングしてもよく、相互に位置合わせまたは登録された画像のペアを生成する。

よって、処理済み画像データ４０８は、更なる処理のために、それぞれの画像が掌のピクチャを含み、特定の方向に方向付けられ、特定の標準的な姿勢を示し、十分に明るく、十分に焦点が合わされている、処理済み第１のモダリティ画像３０２及び処理済み第２のモダリティ画像３０４を包含してもよい。

１つの実施態様では、初期処理モジュール１２２は、処理済み画像データ４０８を生成するよう、未処理画像データ１１０を徐々にフィルタリング及び処理してもよい。例えば、第２のモダリティ及び第１のモダリティ未処理画像データ１１０に対し、初期処理モジュール１２２は、人間の掌を表す未処理画像データ１１０から画像の第１のセットを判定してもよい。画像の第１のセットから、人間の掌の特定の方位を表す画像の第２のセットが判定されてもよい。画像の第２のセットから、人間の掌の特定の姿勢を表す画像の第３のセットが判定されてもよい。処理済み画像データ４０８を生成するために、１つ以上の変換が画像の第３のセットにおける画像に適用されてもよい。

いくつかの実施態様では、初期処理モジュール１２２は、手１０８のモデルを判定してもよい。例えば、モデルは、スキャナ１０６に対する手１０８の方位、姿勢、または位置のうちの１つ以上を表してもよい。いくつかの実施態様では、モデルは、掌及び１つ以上の指の関節の接合を表してもよい。例えば、手１０８のモデルは、掌を表してもよく、遠位の指の関節を考慮から外してもよい。いくつかの実施態様では、理想な平面から掌の歪みは、区分的アフィンアルゴリズムによって表されてもよい。モデルからの情報は、認証システム１２０の他の部分によって使用されてもよい。例えば、掌上の特定の領域の湾曲に関するモデル情報は、以下で説明される部分画像変換モジュール４１６によって使用されてもよい。

部分画像モジュール１２４は、処理済み画像データ４０８を入力として受け付ける。部分画像モジュール１２４は、部分画像配列データ４１２を入力として使用する部分画像指名子モジュール４１０を含む。部分画像配列データ４１２は、第２のモダリティまたは第１のモダリティなどの特定のタイプの画像に対し、そのタイプの画像の部分画像３１０に対するサイズ及び位置を指定してもよい。例えば、部分画像配列データ４１２は、第１のモダリティ画像に対する境界ボックス３０８内の領域が４００個の部分画像３１０に分割されることになり、第２のモダリティ画像に対する境界ボックス３０８内の領域が１００個の部分画像３１０に分割されることになると指定してもよい。別の実施例では、部分画像配列データ４１２は、掌及び指を含む手１０８の全体に対して部分画像３１０を指定してもよい。部分画像の第１のセット４１４は、処理済み第１のモダリティ画像３０２の部分画像３１０及び処理済み第２のモダリティ画像３０４の部分画像３１０を含んでもよい。

部分画像変換モジュール４１６は、部分画像の第２のセット４１８を生成するよう、１つ以上の変換を部分画像３１０に適用するために使用されてもよい。それらの変換は、それらに限定されないが、修正、転換、回転、ワーピング、及びフィルタなどを含んでもよい。例えば、手１０８のモデルによって示されるような掌の面内の湾曲に起因して、部分画像変換モジュール４１６は、特定の部分画像３１０を「平らにする」ように１つの位置から別の位置に画素を再マッピングすることによって、その部分画像を修正してもよい。１つ以上の変換を特定の部分画像３１０に適用することによって、部分画像変換モジュール４１６は、認証システム１２０の精度を改善する。例えば、特定の部分画像３１０を修正するために変換を適用することによって、システムは、その部分画像３１０に存在する特徴に関する情報をより良好に判定及び利用することが可能である。部分画像変換モジュール４１６は、回転及び転換などの他の変換を適用してもよい。いくつかの実施態様では、部分画像変換モジュール４１６は、特定の方位及び姿勢などにある「参照の手」または手１０８の標準的なモデルに部分画像３１０をワープまたは変換してもよい。いくつかの実施態様では、部分画像変換モジュール４１６が省略されてもよい。例えば、畳み込みニューラルネットワークは、別個の変換の適用を不要にする部分画像３１０に対して動作してもよい。

部分画像の第２のセット４１８は、第１のモダリティ画像及び第２のモダリティ画像の部分画像３１０を含む。特徴抽出モジュール４２０は、部分画像の第２のセット４１８を処理し、部分画像特徴データ１２６を生成する。部分画像特徴データ１２６は、部分画像３１０に存在する特徴を表す特徴ベクトルを含む。

１つ以上のニューラルネットワークは、部分画像３１０を処理し、特徴ベクトルを出力として生成するために使用されてもよい。ニューラルネットワークは、部分画像３１０内の不変の特徴を検出するよう訓練されてもよい。部分画像３１０は、ｋ次元の特徴ベクトルまたは埋め込みベクトルを生成するようニューラルネットワークによって処理され、ｋは、ゼロでない整数である。いくつかの実施態様では、ニューラルネットワークの構成は、ｋの値を定義してもよい。

いくつかの実施態様では、訓練の間、ニューラルネットワークは、訓練のためにトリプレット損失関数を実装してもよい。トリプレット損失関数は、ネットワークが同一のユーザ１０２の画像の間のベクトル空間内の距離を抑制することをもたらすと共に、また、異なるユーザ１０２からの画像の間のベクトル空間内の距離を増大させることをもたらす。例えば、ニューラルネットワークは、訓練の間にトリプレット損失関数を実装する１８個の層を有する残余ネットワーク（ｒｅｓｎｅｔ）を実装してもよい。訓練されると、ニューラルネットワークはその後、部分画像３１０を処理し、特徴ベクトルを生成するために使用されてもよい。

異なるニューラルネットワークは、第２のモダリティ画像及び第１のモダリティ画像を処理するために使用されてもよい。それらのニューラルネットワークの各々は、特定のサイズを有する部分画像３１０などの入力を使用して動作するよう訓練及び構成されてもよい。例えば、第１のモダリティ画像の部分画像３１０は、第２のモダリティ画像の部分画像３１０よりも高い分解能を有してもよい。異なるニューラルネットワークの使用は、特定のモダリティに特有の特徴をより良好に判定することによって全体性能を改善することができ、動作の間の待ち時間を減少させることができる。例えば、特定の分解能の部分画像３１０及びモダリティを処理するよう構成及び訓練されたニューラルネットワークは、複数の分解能及び複数のモダリティを処理するように構成及び訓練されたニューラルネットワークよりも、出力を生成するために計算リソースを必要としないことができ、時間を必要としないことができる。

第１のモダリティ画像ニューラルネットワークモジュール４２２は、第１のモダリティ画像に基づいた部分画像の第２のセット４１８における部分画像３１０を処理するために使用されてもよい。例えば、第１のモダリティ画像ニューラルネットワークモジュール４２２は、第１のモダリティ画像からの部分画像３１０を使用して訓練されてもよい。訓練された第１のモダリティ画像ニューラルネットワークモジュール４２２からの出力は、ｎ次元空間内で表現される特徴ベクトルを含んでもよく、ｎは、ゼロでない整数値である。

第２のモダリティ画像ニューラルネットワークモジュール４２４は、第２のモダリティ画像に基づいた部分画像の第２のセット４１８における部分画像３１０を処理するために使用されてもよい。例えば、第２のモダリティ画像ニューラルネットワークモジュール４２４は、第２のモダリティ画像からの部分画像３１０を使用して訓練されてもよい。訓練された第１のモダリティ画像ニューラルネットワークモジュール４２２からの出力は、ｐ次元空間内で表現される特徴ベクトルを含んでもよく、ｐは、ゼロでない整数値である。いくつかの実施態様では、ｐは、ｎよりも少なくてもよい。

いくつかの実施態様では、部分画像の第２のセット４１８における部分画像３１０は、異なる分解能において使用されてもよい。例えば、第１の分解能（微細な）における第１のモダリティの部分画像３１０及び第１の分解能未満である第２の分解能（粗い）における第１のモダリティの部分画像３１０が処理されてもよい。いくつかの実施態様では、それらの異なる分解能は、その分解能において動作するよう訓練されたそれぞれのニューラルネットワークによって処理されてもよい。実施例を続けると、微細な第１のモダリティ画像ニューラルネットワークモジュールは、第１の分解能において部分画像３１０を処理してもよく、粗い第１のモダリティ画像ニューラルネットワークモジュールは、第２の分解能において部分画像３１０を処理してもよい。

部分画像特徴データ１２６は、特定のタイプの部分画像３１０と関連付けられた特徴ベクトルを含み、部分画像３１０の相対位置を示してもよい。例えば、部分画像特徴データ１２６は、特定の第１のモダリティ画像の特定の部分画像３１０（０１）に対する特徴ベクトル値を示してもよい。実施例を続けると、特徴ベクトルは、処理済み画像データ４０８における特定の画像と関連付けられた部分画像３１０のうちの１つ以上に対して生成されてもよい。

比較モジュール１２８は、部分画像特徴データ１２６及び記憶されたユーザ特徴データ１３０の少なくとも一部を入力として受け付ける。１つの実施態様では、部分画像特徴データ１２６における特徴ベクトルを前に記憶されたユーザ特徴データ１３０と比較する比較データ４２６が生成されてもよい。別の実施態様では、比較モジュール１２８は、特徴ベクトルに基づいて、最新の署名４２８を生成してもよい。最新の署名４２８は次いで、比較データ４２６を生成するよう、記憶されたユーザ特徴データ１３０における１つ以上の前に記憶された参照署名４３０と比較されてもよい。各々の参照署名４３０は、ユーザ識別子４３２と関連付けられてもよい。

比較モジュール１２８は、最新の署名４２８を生成するために、部分画像特徴データ１２６を使用してもよい。最新の署名４２８は、１つ以上の画像から取得された特徴ベクトルを使用して生成されてもよい。例えば、未処理第１のモダリティ画像１１２（１）を処理することから結果として生じる特徴ベクトルが判定されてもよく、未処理第２のモダリティ画像１１４（１）を処理することから結果として生じる特徴ベクトルが判定されてもよい。それらの特徴ベクトルは次いで、画像のペアに基づいた最新の署名４２８を形成するよう組み合わされてもよい。１つの実施態様では、最新の署名４２８は、線形ベクトルを形成するよう、部分画像特徴データ１２６における１つ以上の特徴ベクトルを連結することによって生成されてもよい。別の実施態様では、畳み込みニューラルネットワークは、特徴ベクトルを入力として受け付けてもよく、最新の署名４２８を出力として生成してもよい。

動作の間、比較モジュール１２８は、スキャナ１０６によって取得されることを続ける未処理画像データ１１０の処理に基づいた複数の最新の署名４２８を生成してもよい。例えば、部分画像特徴データ１２６は、未処理第１のモダリティ画像１１２及び未処理第２のモダリティ画像１１４の２０個のペアからの特徴ベクトルを含んでもよい。各々のペアは、最新の署名４２８を生成するために使用されてもよい。それらの２０個の最新の署名４２８の各々は、１つ以上の参照署名４３０と比較されてもよい。１つの実施態様では、投票システムは、ユーザアイデンティティが投票の最大数と関連付けられたユーザ識別子４３２であると見なされるように利用されてもよい。例えば、最新の署名４２８がベクトル空間内の閾値距離内など、閾値内の参照署名４３０に対応する場合、その参照署名４３０と関連付けられた投票が生成される。実施例を続けると、「Ａｌｉｃｅ」のユーザ識別子４３２に対して１５個の投票、及び「Ｇｒｅｇ」のユーザ識別子４３２に対して５個の投票が存在する場合、認証データ１３２は次いで、「Ａｌｉｃｅ」のユーザ識別子４３２を示す。

比較モジュール１２８は、最新の署名４２８が候補ユーザ識別子４３２と関連付けられた記憶されたユーザ特徴データ１３０における参照署名４３０にどの程度近くで対応するかを示す信頼値を含む比較データ４２６を生成してもよい。１つの実施態様では、信頼値は、最新の署名４２８と参照署名４３０との間のベクトル空間内のユークリッド距離に基づいて判定されてもよい。信頼値は、より高い信頼値がより短い距離を示し、より低い信頼値がより長い距離を示すように、距離に比例してもよい。

いくつかの実施態様では、サーチスペース削減データは、部分画像特徴データ１２６から生成された最新の署名４２８と比較される、記憶されたユーザ特徴データ１３０における参照署名４３０のセットを削減するために使用されてもよい。サーチスペース削減データは、ユーザ１０２のモバイルデバイス上で実行するアプリケーションによって提供される地理的データなどの情報を含んでもよい。例えば、ユーザ１０２は、アプリケーションをスマートフォンにインストールさしていることがある。スマートフォンが施設の近くの予め定められた地理的境界（ジオフェンスなど）を通るにつれて、ユーザ１０２と関連付けられたユーザ識別子４３２は、サーチスペース削減データに記憶されとしてゲート１０４において予測することができる候補ユーザ識別子のリストに追加されてもよい。ユーザ１０２が離れて移動するにつれて、それらは、サーチスペース削減データにおける候補ユーザ識別子のリストから除去されてもよい。サーチスペース削減データは、位置、日付、及び時間などに基づいた履歴出席データなどの他の情報をも含んでもよい。例えば、サーチスペース削減データは、時間ウインドウの間の各曜日に、特定のユーザ識別子４３２が特定の施設に存在することを示すことができる。

比較モジュール１２８は、最新の署名４２８を、サーチスペース削減データにおいてリスト化されたそれらのユーザ識別子４３２の参照署名４３０と最初に比較してもよい。サーチスペース削減データと関連付けられた参照署名４３０を使用して比較を実行することによって、システムの全体精度を改善することができる。サーチスペース削減データの使用は、アイデンティティを判定するために必要な時間及び計算リソースを削減することもできる。適切な一致が発見されない場合、システムは、残りの記憶されたユーザ特徴データ１３０を検索してもよい。

比較モジュール１２８は、認証データ１３２を生成するために、比較データ４２６を使用する。例えば、参照署名４３０と、第１のモダリティ画像及び第２のモダリティ画像の両方からの最新の署名４２８との間の一致に対して最高にランク付けされた信頼値を示す比較データ４２６を有する候補ユーザ識別子は、スキャナ１０６にそれらの手１０８を提示した、ゲート１０４におけるユーザ１０２と関連付けられたユーザ識別子４３２として指定されてもよい。ユーザ１０２と関連付けられたユーザ識別子４３２を判定するための他の技術は、図６〜８に関して以下で議論される。

例示として、及び必ずしも限定ではなく、認証システム１２０は、上記説明された様々なモジュール及び機能を実装するとして表される。いくつかの実施態様では、認証システム１２０の処理の少なくともいくつかは、スキャナ１０６のコンピューティングデバイス２２０によって実行されてもよい。例えば、コンピューティングデバイス２２０は、初期処理モジュール１２２の機能を実行し、認証システム１２０に処理済み画像データ４０８を送信するように構成されてもよい。別の実施例では、コンピューティングデバイス２２０は、部分画像モジュール１２４の機能を実行し、認証システム１２０に部分画像特徴データ１２６を提供するように構成されてもよい。

いくつかの実施態様では、特定のタイプの画像に対する特定の位置における部分画像３１０は、異なる重みを割り当てられてもよい。例えば、特定の第１のモダリティ部分画像３１０は、認証に対して重要な特徴を包含すると見なされてもよく、この第１のモダリティ部分画像は、特定の第１のモダリティ重み値と関連付けられてもよい。信頼値及びそれぞれの第１のモダリティ重み値を乗算することによって、特定の第１のモダリティ画像に対して第１のモダリティスコアが判定されてもよい。同様に、特定の第２のモダリティ画像に対して第２のモダリティスコアが判定されてもよい。第１のモダリティ画像及び第２のモダリティ画像は、相互の閾値時間の間に取得された画像であってもよい。例えば、第１のモダリティスコアは、第１の時間に取得された未処理第１のモダリティ画像１１２（１）からの第１のモダリティ部分画像３１０に基づいてもよく、第２のモダリティスコアは、第２の時間に取得された未処理第２のモダリティ画像１１４（１）からの第２のモダリティ部分画像３１０に基づいてもよい。総スコアは、第１のモダリティスコア及び第２のモダリティスコアに基づいて判定されてもよい。この重み付けは、図５に関して更に詳細に議論される。

説明されるようなシステムは、なりすましまたは偽造に耐性を有する。第１のモダリティ及び第２のモダリティにおいて取得された画像の使用、画像の進行中の取得、並びに閉鎖時間における異なるモダリティを有するそれらの画像の取得は、詐欺が成功する尤度を著しく減少させる。例えば、ユーザ１０２の手１０８のピクチャは、静脈などの内部特性を省略する。加えて、画像の間の変動が予測及び検査されてもよい。連続した画像が非常に小さい場合、認証の信頼度が減少することがある。実施例を続けると、ピクチャの提示は、非常に類似した特徴ベクトルまたは同一の特徴ベクトルをもたらす。それに引き換え、実存の手１０８の提示は、移動などに起因したいくつかの可変のものを含む。同一のモダリティの連続した画像から判定された特徴値の間の変動の最小閾値が検査されてもよい。不十分な変動性は、後続の認証の信頼値における減少をもたらすことがある。

図５は、いくつかの実施態様に従った、第１のモダリティ画像及び第２のモダリティ画像と関連付けられた信頼値、並びに特定の部分画像位置と関連付けられたモダリティ重みの使用を含む比較データ４２６の５００を示す。

上記説明されたように、いくつかの部分画像３１０は、ユーザアイデンティティを判定するときのより大きいまたはより小さい関心の特徴と関連付けられてもよい。例えば、第１のモダリティ画像内の特定の部分画像３１０は、多数のユーザに類似することがあり、その部分画像３１０内の特徴を、１人のユーザを別のユーザと区別する際にあまり使用しないようにする。別の実施例では、第２のモダリティ画像内の特定の部分画像３１０は、異なるユーザ１０２の間で高度に区別できる特徴と関連付けられてもよい。

上記表されたように、比較モジュール１２８は、未処理画像データ１１０から生成された特定の部分画像３１０の特徴ベクトルと、前に記憶されたユーザ特徴データ１３０における候補ユーザ識別子と関連付けられた特徴ベクトルとの間の類似性を示す信頼値を生成してもよい。例えば、信頼値は、比較される特徴ベクトルの間のベクトル空間内のユークリッド距離に基づいて判定されてもよい。信頼値は、より高い信頼値がより短い距離を示し、より低い信頼値がより長い距離を示すように、距離に比例してもよい。

よって、信頼値のアレイは、第１のモダリティ画像及び第２のモダリティ画像の両方に対して判定されてもよい。この例示では、特定の第１のモダリティ画像に対する第１のモダリティ信頼値５０２が示される。特定の部分画像３１０と関連付けられたそれぞれの重みを示す、前に定義された第１のモダリティ重み値５０４も示される。第１のモダリティスコア５０６が示される。１つの実施態様では、第１のモダリティスコア５０６は、第１のモダリティ信頼値５０２及び対応する第１のモダリティ重み値５０４の積の合計として計算されてもよい。他の実施態様では、他の計算が使用されてもよい。

また、示されるのは、第２のモダリティ信頼値５０８及び対応する第２のモダリティ重み値５１０である。第２のモダリティスコア５１２が示される。１つの実施態様では、第２のモダリティスコア５１２は、第２のモダリティ信頼値５０８及び対応する第２のモダリティ重み値５１０の積の合計として計算されてもよい。他の実施態様では、他の計算が使用されてもよい。

総スコア５１４が計算されてもよい。例えば、総スコア５１４は、第１のモダリティスコア５０６及び第２のモダリティスコア５１２の合計を含んでもよい。他の実施態様では、総スコア５１４を判定するために他の計算が使用されてもよい。

１つの実施態様では、最大の総スコア５１４と関連付けられた候補ユーザ識別子は、認証データ１３２を生成するために選択及び使用されてもよい。例えば、第１の候補ユーザ識別子が１２３．６の総スコアを有し、第２の候補ユーザ識別子が１０１．３の総スコアを有する場合、第１の候補ユーザ識別子が選択されてもよい。認証データ１３２は次いで、ユーザ１０２が第１の候補ユーザ識別子であると示す。

第１のモダリティ信頼値５０２及び第２のモダリティ信頼値５０８の単一のセットが表されるが、第１のモダリティまたは第２のモダリティのうちの１つ以上に対する信頼値の追加の例が使用されてもよい。例えば、未処理画像データ１１０に基づいて、５個の別個の未処理の第１のモダリティ画像１１２が取得されてもよく、５個の別個の未処理の第２のモダリティ画像１１４が取得されてもよい。各々の部分画像３１０に対する信頼値が判定されてもよく、個々のモダリティスコアが総スコア５１４を生成するために使用される。

図６は、いくつかの実施態様に従った、スキャナ１０６によって取得された画像に基づいて、ユーザ識別子４３２を判定する処理のフローチャート６００を示す。処理は、認証システム１２０において少なくとも部分的に実装されてもよい。

６０２において、スキャナ１０６を使用して、第１の未処理画像データ１１０（１）は、第１の時間に取得される。第１の未処理画像データ１１０（１）は、第１の偏光を有する光を使用して取得された画像を含む。

６０４において、第１の処理済み画像データ４０８（１）は、第１の未処理画像データ１１０から生成される。例えば、初期処理モジュール１２２は、第１の未処理画像データ１１０（１）を処理してもよく、処理済み画像データ４０８を生成してもよい。

６０６において、スキャナ１０６を使用して、第２の未処理画像データ１１０（２）は、第２の時間に取得される。第２の未処理画像データ１１０（２）は、第２の偏光を有する光を使用して取得された画像を含む。

６０８において、第２の処理済み画像データ４０８（２）は、第２の未処理画像データ１１０（２）から生成される。例えば、初期処理モジュール１２２は、第２の未処理画像データ１１０（２）を処理してもよく、処理済み画像データ４０８（２）を生成してもよい。

６１０において、部分画像の第１のセット４１４が判定される。部分画像３１０の個々の１つは、第１の処理済み画像データ４０８（１）の１つ以上の画像内の特定の領域に対応する。例えば、部分画像指名子モジュール４１０は、処理済み画像を部分画像３１０に分割するために、部分画像配列データ４１２を使用してもよい。部分画像３１０は、第１のモダリティ画像の部分画像３１０を含んでもよい。

６１２において、特徴ベクトルの第１のセットは、部分画像の第１のセット４１４内の部分画像３１０のうちの１つ以上に対して判定される。１つの実施態様では、特徴抽出モジュール４２０は、特徴ベクトルの第１のセットを判定するために、第１のニューラルネットワークを使用してもよい。例えば、第１のモダリティ画像ニューラルネットワークモジュール４２２は、特徴ベクトルの第１のセットを生成するために使用されてもよい。

６１４において、部分画像の第２のセット４１８が判定される。部分画像３１０の個々の１つは、第２の処理済み画像データ４０８（２）の１つ以上の画像内の特定の領域に対応する。例えば、部分画像指名子モジュール４１０は、処理済み画像を部分画像３１０に分割するために、部分画像配列データ４１２を使用してもよい。部分画像３１０は、第２のモダリティ画像の部分画像３１０を含んでもよい。

６１６において、特徴ベクトルの第２のセットは、部分画像の第２のセット４１８内の部分画像３１０のうちの１つ以上に対して判定される。１つの実施態様では、特徴抽出モジュール４２０は、特徴ベクトルの第２のセットを判定するために、第２のニューラルネットワークを使用してもよい。例えば、第２のモダリティ画像ニューラルネットワークモジュール４２４は、特徴ベクトルの第２のセットを生成するために使用されてもよい。

６１８において、最新の署名４２８は、特徴ベクトルの第１のセットのうちの１つ以上の及び特徴ベクトルの第２のセットのうちの１つ以上に基づいて判定されてもよい。最新の署名４２８は、ゲート１０４におけるユーザ１０２によって提示される特徴を表す。例えば、特徴ベクトルの第１のセット及び特徴ベクトルの第２のセットは、単一の線形ベクトルに連結されてもよい。別の実施例では、特徴ベクトルの第１のセット及び特徴ベクトルの第２のセットは、最新の署名４２８を生成するニューラルネットワークへの入力として提供されてもよい。実施例を続けると、畳み込みニューラルネットワークは、特徴ベクトルの第１のセットの少なくとも一部及び特徴ベクトルの第２のセットの少なくとも一部を入力として受け付けてもよく、最新の署名４２８を生成してもよい。いくつかの実施態様では、最新の署名４２８は、特徴ベクトルよりも低い次元を有してもよい。

６２０において、参照署名４３０を含む前に記憶されたユーザ特徴データ１３０に基づいて、ユーザ識別子４３２が判定される。１つの実施態様では、比較モジュール１２８は、最新の署名４２８と、記憶されたユーザ特徴データ１３０にある参照署名４３０との間の類似性を示す信頼値を判定してもよい。別の実施態様では、比較モジュール１２８は、未処理画像データ１１０から取得された特徴ベクトルと、記憶されたユーザ特徴データ１３０における特徴ベクトルとの間の類似性を示す信頼値を判定してもよい。信頼値は、署名及び特徴ベクトルなどの間のベクトル空間内のユークリッド距離に基づいて判定されてもよい。信頼値は、より高い信頼値がより短い距離を示し、より低い信頼値がより長い距離を示すように、距離に比例してもよい。

図７は、いくつかの実施態様に従った、第２のモダリティ画像及び第１のモダリティ画像の部分画像の信頼値のランク付けに基づいて、特定の候補ユーザ識別子をランク付け及び選択する処理のフローチャート７００を示す。処理は、認証システム１２０によって少なくとも部分的に実装されてもよい。

７０２において、処理済み画像データ４０８に基づいた特徴ベクトルの第１のセットの少なくとも一部は、記憶されたユーザ特徴データ１３０における前に記憶された特徴ベクトルの少なくとも一部と比較される。前に記憶された特徴ベクトルは、候補ユーザ識別子と関連付けられる。例えば、未処理第２のモダリティ画像１１４に基づいた特徴ベクトルは、ユーザ１０２の登録の間に取得された未処理第２のモダリティ画像１１４に基づいて、記憶された特徴ベクトルと比較されてもよい。

７０４において、比較に基づいて、特徴ベクトルの第１のセットの少なくとも一部と、前に記憶された特徴ベクトルの少なくとも一部との間の対応関係を示す第１の信頼値が判定される。例えば、第１のセットにおける特徴ベクトルと前に記憶された特徴ベクトルとの間のベクトル空間内のユークリッド距離が判定されてもよい。他の実施態様では、他の技術が使用されてもよい。

７０６において、第１の信頼値に基づいて、候補ユーザ識別子の第１のランク付けが判定される。例えば、ランク付けは、降順ソートを含んでもよい。

７０８において、処理済み画像データ４０８に基づいた特徴ベクトルの第２のセットの少なくとも一部は、記憶されたユーザ特徴データ１３０における前に記憶された特徴ベクトルの少なくとも一部と比較される。前に記憶された特徴ベクトルは、候補ユーザ識別子と関連付けられる。例えば、未処理第１のモダリティ画像１１２に基づいた特徴ベクトルは、ユーザ１０２の登録の間に取得された未処理第１のモダリティ画像１１２に基づいて、記憶された特徴ベクトルと比較されてもよい。

７１０において、比較に基づいて、特徴ベクトルの第２のセットの少なくとも一部と、前に記憶された特徴ベクトルの少なくとも一部との間の対応関係を示す第２の信頼値が判定される。例えば、第２のセットにおける特徴ベクトルと前に記憶された特徴ベクトルとの間のベクトル空間内のユークリッド距離が判定されてもよい。

７１２において、第２の信頼値に基づいて、候補ユーザ識別子の第２のランク付けが判定される。例えば、ランク付けは、降順ソートを含んでもよい。

７１４において、第１のランク付け及び第２のランク付けに基づいて、候補ユーザ識別子の総ランク付けが判定される。例えば、特定の候補ユーザ識別子が第１のランク付け及び第２のランク付けにおける最高にランク付けされた位置と関連付けられる場合、その特定の候補ユーザ識別子は、最高の総ランク付けを有する。

７１６において、総ランク付けにおける候補ユーザ識別子の最高にランク付けされた１つは、スキャナ１０６のユーザ１０２と関連付けられたユーザ識別子４３２として指定される。

図８は、いくつかの実施態様に従った、部分画像３１０のランク付けに基づいて、特定の候補ユーザ識別子をランク付け及び選択する処理のフローチャート８００を示す。処理は、認証システム１２０によって少なくとも部分的に実装されてもよい。

８０２において、処理済み画像データ４０８から取得された特徴ベクトルの第１のセットの少なくとも一部と、記憶されたユーザ特徴データ１３０における前に記憶された特徴ベクトルの少なくとも一部との間の対応関係を示す信頼値の第１のセットが判定される。例えば、スキャナ１０６によって取得された第１のモダリティ画像と関連付けられた特徴ベクトルは、記憶されたユーザ特徴データ１３０における前に記憶された第１のモダリティ画像と比較される。前に記憶された特徴ベクトルは、候補ユーザ識別子と関連付けられる。

８０４において、処理済み画像データ４０８から取得された特徴ベクトルの第２のセットの少なくとも一部と、記憶されたユーザ特徴データ１３０における前に記憶された特徴ベクトルの少なくとも一部との間の対応関係を示す信頼値の第２のセットが判定される。例えば、スキャナ１０６によって取得された第２のモダリティ画像と関連付けられた特徴ベクトルは、記憶されたユーザ特徴データ１３０における前に記憶された第２のモダリティ画像と比較される。前に記憶された特徴ベクトルは、候補ユーザ識別子と関連付けられる。

８０６において、信頼値の第１のセットにおける最大信頼値及び信頼値の第２のセットにおける最大信頼値と関連付けられた候補ユーザ識別子の特定の１つに基づいて、ユーザ１０２のユーザ識別子４３２が判定される。いくつかの実施態様では、信頼値の第１のセットまたは信頼値の第２のセットのうちの１つ以上に予め定められた重みが適用されてもよい。

８０８において、未処理画像データ１１０が取得されたときのスキャナ１０６におけるユーザ識別子４３２と関連付けられたユーザ１０２の存在を示す認証データ１３２が判定される。

図９は、いくつかの実施態様に従った、最新の署名４２８及び参照署名４３０を使用して、特定の候補ユーザ識別子をランク付け及び選択する処理のフローチャート９００を示す。処理は、認証システム１２０によって少なくとも部分的に実装されてもよい。

９０２において、処理済み画像データ４０８に基づいた特徴ベクトルの第１のセットの少なくとも一部及び処理済み画像データ４０８に基づいた特徴ベクトルの第２のセットの少なくとも一部のうちの１つ以上に基づいて、最新の署名４２８が判定される。例えば、特徴ベクトルの第１のセット及び特徴ベクトルの第２のセットは、最新の署名４２８を生成するよう、共通ベクトル空間に組み合わされてもよい。

１つの実施態様では、最新の署名４２８は、ニューラルネットワークを使用して判定されてもよい。例えば、特徴ベクトルの第１のセット及び特徴ベクトルの第２のセットは、掌を表す統合された埋め込みベクトルを含む最新の署名４２８を生成するよう前に訓練された畳み込みニューラルネットワークに入力として提供されてもよい。結果として生じる最新の署名４２８は、個々の特徴ベクトルと比較して、減少した全体次元を有する。いくつかの実施態様では、統合された埋め込みベクトルはその後、候補ユーザ識別子を判定するよう、以下で説明される参照署名４３０などの前に記憶されたデータと比較されてもよい。

９０４において、最新の署名４２８と、記憶されたユーザ特徴データ１３０における前に記憶された参照署名４３０の少なくとも一部との間の対応関係を示す信頼値の第１のセットが判定される。例えば、信頼値は、最新の署名４２８と、共通ベクトル空間内の特定の参照署名４３０との間のユークリッド距離に基づいてもよい。上記説明されたように、前に記憶された参照署名４３０は、候補ユーザ識別子と関連付けられる。

９０６において、信頼値の第１のセットにおける最大信頼値と関連付けられた候補ユーザ識別子の特定の１つに基づいて、ユーザ識別子４３２が判定される。いくつかの実施態様では、追加の判定が行われてもよい。例えば、最上位にランク付けされた候補ユーザ識別子の信頼値と、２番目に上位にランク付けされた候補ユーザ識別子の信頼値との間の差が閾値よりも小さい場合、アイデンティティが判定されなくてもよい。別の実施例では、最上位にランク付けされた候補ユーザ識別子の信頼値が閾値よりも小さい場合、アイデンティティが判定されなくてもよい。同様に、ユーザ識別子４３２の判定は、前の閾値のいずれかまたは両方を満たす信頼値に基づいてもよい。

９０８において、スキャナ１０６におけるユーザ識別子４３２と関連付けられたユーザ１０２の存在を示すデータが判定される。

図１０は、いくつかの実施態様に従った、システム１００を使用した材料取扱施設（ｆａｃｉｌｉｔｙ）を示すブロック図１０００である。施設１００２は、その中で１つ以上のアイテム１０１６（１）、１０１６（２）、…、１０１６（Ｑ）を保持することができる１つ以上の物理構造または領域を含む。アイテム１０１６は、本、薬剤、修理部品、及び電子ギアなどの物理的な物品を含んでもよい。

施設１００２は、在庫の取り扱いに関して異なる機能に対して設計された１つ以上の領域を含んでもよい。この例示では、施設１００２は、受取領域１００４、保管領域１００６、及び転移領域１００８を含む。

受取領域１００４は、施設１００２への取入れのために、供給者などからアイテム１０１６を受け付けるように構成されてもよい。例えば、受取領域１００４は、トラックまたは他の貨物運送がアイテム１０１６を降ろす搬出口を含んでもよい。いくつかの実施態様では、アイテム１０１６は、アイテムデータの少なくとも一部を生成するよう、受取領域１００４において処理されてもよい。例えば、アイテム１０１６は、受取領域１００４においてアイテム１０１６の参照画像または表現を発展させるよう、重み付けされてもよく、撮像されてもよく、またはそうでなければ走査されてもよい。

保管領域１００６は、アイテム１０１６を保管するように構成される。保管領域１００６は、様々な物理構成において配列されてもよい。１つの実施態様では、保管領域１００６は、１つ以上の通路１０１０を含んでもよい。通路１０１０は、通路１０１０の片側または両側上の在庫位置１０１８により構成されてもよく、または在庫位置１０１８によって定義されてもよい。在庫位置１０１８は、プラットフォーム、ラック、ケース、キャビネット、ビン、フロア位置、またはアイテム１０１６を保持、支持、もしくは保管するための他の適切な保管機構のうちの１つ以上を含んでもよい。例えば、在庫位置１０１８は、そこで設計されたレーンなどの領域を有する棚を含んでもよい。在庫位置１０１８は、フロアまたは施設１００２の構造の別の部分に取り付けられてもよい。在庫位置１０１８はまた、通路１０１０の配列が再構成可能であることができるように移動可能であってもよい。いくつかの実施態様では、在庫位置１０１８は、外部オペレータとは独立して移動するように構成されてもよい。例えば、在庫位置１０１８は、ラックが施設１００２内の１つの位置から別の位置に移動することを可能にするよう、コンピューティングデバイスによって操作される電源及びモータを有するラックを含んでもよい。

１人以上のユーザ１０２（１）、１０２（２）、…、１０２（Ｕ）、及びカート１０１２（１）、１０１２（２）、…、１０１２（Ｔ）、または他の材料取扱装置は、施設１００２内で移動してもよい。例えば、ユーザ１０２は、様々な在庫位置１０１８内のアイテム１０１６を選定し、または様々な在庫位置１０１８にアイテム１０１６を配置するよう、施設１００２内で周りを移動してもよく、輸送を容易にするために、それらをカート１０１２に配置する。カート１０１２は、１つ以上のアイテム１０１６を搬送またはそうでなければ輸送するように構成される。例えば、カート１０１２は、バスケット、カート、バッグ、及びビンなどを含んでもよい。他の実施態様では、ロボット、フォークリフト、クレーン、及び空中ドローンなどの他の材料取扱装置は、施設１００２の周りを移動してもよく、アイテム１０１６を選定し、配置し、またはそうでなければ移動させる。例えば、ロボットは、第１の在庫位置１０１８（１）からアイテム１０１６を選定してもよく、第２の在庫位置１０１８（２）にアイテム１０１６を移動させてもよい。

保管領域１００６が１つ以上の通路１０１０、アイテム１０１６を保管する在庫位置１０１８、及びセンサ１０１４などを有するとして表されるが、受取領域１００４、転移領域１００８、または施設１００２の他の領域も同様に備えられてもよいことが理解されよう。更に、施設１００２内の様々な領域の配列が概略的ではなく機能的に表される。例えば、いくつかの実施態様では、複数の異なる受取領域１００４、保管領域１００６、及び転移領域１００８は、施設１００２内で分離されるのではなく、散在してもよい。

施設１００２は、上記説明された施設管理システム１３４を含んでもよく、または施設管理システム１３４に結合されてもよい。施設管理システム１３４は、受取領域１００４、保管領域１００６、または転移領域１００８のうちの１つ以上内で、ユーザ１０２、またはセンサ１０１４、ロボット、材料取扱機器、及びコンピューティングデバイスなどのデバイスと対話するように構成される。

施設１００２の操作の間、重量センサ１０１４（１６）及び他のセンサ１０１４は、施設管理システム１３４に、センサデータ、またはセンサデータに基づいた情報を提供するように構成されてもよい。重量センサ１０１４（１６）から取得されたデータに加えて、センサデータは、画像データ及び非画像データなどを含んでもよい。センサ１０１４は、それらに限定されないが、重量センサ１０１４（１６）及びカメラ１０１４（１）などを含んでもよい。センサ１０１４は、施設１００２に対して静止してもよく、または移動してもよい。例えば、施設１００２は、施設１００２内でユーザ１０２または他の物体の画像を取得するカメラ１０１４（１）を含んでもよい。別の実施例では、在庫位置１０１８は、そこに収容されたアイテム１０１６の重量センサデータを取得する重量センサ１０１４（１６）、及び棚上のアイテム１０１６の選定または配置の画像を取得するカメラ１０１４（１）などを包含してもよい。センサ１０１４は、図１１に関して以下で更に詳細に説明される。

施設管理システム１３４または他のシステムは、施設１００２内の物体の位置、物体の移動を追跡し、または他の機能性を提供するために、センサデータを使用してもよい。物体は、それらに限定されないが、アイテム１０１６、ユーザ１０２、及びカート１０１２などを含んでもよい。例えば、カメラ１０１４（１）によって取得された一連の画像は、在庫位置１０１８における特定の位置からのアイテム１０１６のユーザ１０２による除去、及びカート１０１２上または少なくとも部分的にカート１０１２内でのアイテム１０１６の配置を示すことができる。

施設１００２は、様々な供給者から異なる種類のアイテム１０１６を受け取り、顧客がアイテム１０１６のうちの１つ以上を注文し、または取り出すまでそれらを保管するように構成されてもよい。施設１００２を通じたアイテム１０１６の全体的な流れは、図１０の矢印によって示される。特に、この実施例において示されるように、アイテム１０１６は、受取領域１００４において、製造者、配給業者、及び卸売業者などの１つ以上の供給者から受け取られてもよい。様々な実施態様では、アイテム１０１６は、施設１００２を操作する企業の性質に応じて、商品、日用品、生鮮品、またはいずれかの適切なタイプのアイテム１０１６を含んでもよい。

受取領域１００４において供給者から受け取られると、保管領域１００６に保管するためのアイテム１０１６が用意されてもよい。例えば、いくつかの実施態様では、アイテム１０１６は、荷ほどきされてもよく、またはそうでなければ再配列されてもよい。施設管理システム１３４は、在庫管理機能を提供するようコンピュータシステム上で実行する１つ以上のソフトウェアアプリケーションを含んでもよい。それらの在庫管理機能は、アイテム１０１６に関するタイプ、量、状態、コスト、位置、重量、またはいずれかの他の適切なパラメータを示す情報を維持することを含んでもよい。アイテム１０１６は、パッケージ、カートン、クレート、パレット、または他の適切な集合体など、可算単位、個々の単位、または複数の単位の観点で蓄積、管理、または分配されてもよい。代わりに、バルク製品及び日用品などのいくつかのアイテム１０１６は、加算単位に本質的に整理されないことがある連続したまたは任意の分割可能な量において保管されてもよい。そのようなアイテム１０１６は、長さ、領域、ボリューム、重量、時間、期間、または測定の単位によって特徴付けられる他の次元性の単位などの測定可能な量の観点で管理されてもよい。一般的に言えば、アイテム１０１６の量は、必要に応じて、アイテム１０１６の個々の単位もしくは集合の単位の加算可能数、またはアイテム１０１６の測定可能な量のいずれかを指してもよい。

受取領域１００４を通じて到達した後、アイテム１０１６は、保管領域１００６内に保管されてもよい。いくつかの実施態様では、同様のアイテム１０１６は、ビン内、棚上、及びペグボードから吊るされるなど、在庫位置１０１８内で共に保管または表示されてもよい。この実施態様では、所与の種類の全てのアイテム１０１６は、１つの在庫位置１０１８に保管される。他の実施態様では、同様のアイテム１０１６は、異なる在庫位置１０１８に保管されてもよい。例えば、大規模物理施設１００２内で頻繁な回転率を有する特定のアイテム１０１６の取り出しを最適化するために、それらのアイテム１０１６は、単一の在庫位置１０１８において発生することがある混雑を削減するよう、いくつかの異なる在庫位置１０１８に保管されてもよい。

１つ以上のアイテム１０１６を指定する顧客注文が受け取られるとき、またはユーザ１０２が施設１００２に進行するにつれて、対応するアイテム１０１６は、それらのアイテム１０１６を包含する在庫位置１０１８から選択または「選定」されてもよい。様々な実施態様では、アイテムの選定は、手動から完全に自動化された選定に及んでもよい。例えば、１つの実施態様では、ユーザ１０２は、ユーザが要望するアイテム１０１６のリストを有してもよく、施設１００２に進行して、保管領域１００６内で在庫位置１０１８からアイテム１０１６を選定し、それらのアイテム１０１６をカート１０１２に配置してもよい。他の実施態様では、施設１００２の従業員は、顧客注文から導出された手書きの選定リストまたは電子的な選定リストを使用して、アイテム１０１６を選定してもよい。それらの選定されたアイテム１０１６は、従業員が施設１００２に進行するにつれてカート１０１２に配置されてもよい。

アイテム１０１６が選定された後、アイテム１０１６は、転移領域１００８において処理されてもよい。転移領域１００８は、アイテム１０１６が１つの位置から別の位置に、または１つのエンティティから別のエンティティに転移する、施設１００２内のいずれかの指定された領域であってもよい。例えば、転移領域１００８は、施設１００２内のパッキングステーションであってもよい。アイテム１０１６が転移領域１００８に到達するとき、アイテム１０１６は、保管領域１００６からパッキングステーションに転移してもよい。転移に関する情報は、施設管理システム１３４によって維持されてもよい。

別の実施例では、アイテム１０１６が施設１００２を離れる場合、アイテム１０１６のリストは、アイテム１０１６に対する責任またはアイテム１０１６の保管を施設１００２から別のエンティティに転移させるために施設管理システム１３４によって取得及び使用されてもよい。例えば、運搬人は、リストにおいて示されるアイテム１０１６に対する責任を受け付けるその運搬人による輸送に対してアイテム１０１６を受け付けてもよい。別の実施例では、ユーザ１０２は、アイテム１０１６を購入または賃貸してもよく、施設１００２からアイテム１０１６を除去してもよい。施設１００２の使用の間、ユーザ１０２は、在庫位置１０１８内でアイテム１０１６を選定または配置することなどの様々なタスクを実行するよう、施設１００２の周りを移動してもよい。

施設１００２の操作を促進するために、施設管理システム１３４は、対話データを生成するために、認証データ１３２、センサデータ、並びにアイテムデータ及び物理レイアウトデータなどの他の情報を使用するように構成される。

対話データは、在庫位置１０１８からのアイテム１０１６の選定、在庫位置１０１８へのアイテム１０１６の配置、在庫位置１０１８におけるアイテム１０１６に対してなされた接触、及び在庫位置１０１８におけるアイテム１０１６と関連付けられたジェスチャなどの対話に関する情報を提供することができる。対話データは、対話のタイプ、対話が行われた在庫位置１０１８からの場所を示す対話位置識別子、アイテム識別子、アイテム１０１６に対する量の変更、及びユーザ識別子４３２などのうちの１つ以上を含んでもよい。対話データは次いで、アイテムデータを更に更新するために使用されてもよい。例えば、プラットフォーム上の特定のレーンにおける手の上のアイテム１０１６の量は、１つ以上のアイテム１０１６を選定または配置する対話に基づいて変更されてもよい。

上記説明されたように、施設管理システム１３４は、他の操作、再蓄積する在庫を判定すること、及びユーザ料金請求データを判定することなどを実行してもよい。

図１１は、いくつかの実施態様に従った、施設１００２の追加の詳細を示すブロック図１１００である。施設１００２は、１つ以上のネットワーク１１０２に接続されてもよく、１つ以上のネットワーク１１０２は次いで、サーバ１１０４などの１つ以上のコンピューティングデバイスに接続する。ネットワーク１１０２は、組織イントラネットもしくは個人イントラネットなどのプライベートネットワーク、インターネットなどのパブリックネットワーク、またはそれらの組み合わせを含んでもよい。ネットワーク１１０２は、有線技術（例えば、ワイヤ及び光ファイバケーブルなど）、無線技術（例えば、無線周波数、赤外線、音響、及び光など）、または他の接続技術を利用してもよい。ネットワーク１１０２は、データネットワークまたは音声ネットワークのうちの１つ以上を含む、いずれかのタイプの通信ネットワークを表す。ネットワーク１１０２は、有線インフラストラクチャ（例えば、銅ケーブル及び光ファイバケーブルなど）、無線インフラストラクチャ（例えば、セルラ、マイクロ波、及びサテライトなど）、または他の接続技術を使用して実装されてもよい。

サーバ１１０４は、施設管理システム１３４または他のシステムと関連付けられた１つ以上のモジュールまたはソフトウェアアプリケーションを実行するように構成されてもよい。サーバ１１０４が施設１００２の外側の位置にあるとして示されるが、他の実施態様では、サーバ１１０４の少なくとも一部は、施設１００２に位置してもよい。サーバ１１０４は、図１２に関して以下で更に詳細に議論される。

施設１００２内のユーザ１０２、カート１０１２、アイテム１０１６、または他の物体は、１つ以上のタグ１１０６を備えてもよい。タグ１１０６は、信号１１０８を放出するように構成されてもよい。１つの実施態様では、タグ１１０６は、第１のモダリティ信号によって活性化されると、ＲＦ信号１１０８を放出するように構成された無線周波数認証（ＲＦＩＤ）タグ１１０６であってもよい。例えば、第１のモダリティ信号は、無線周波数信号、またはＲＦＩＤタグ１１０６を励磁もしくは活性化するように構成された磁場を含んでもよい。別の実施態様では、タグ１１０６は、送信機、及び送信機に電力を供給するように構成された電源を含んでもよい。例えば、タグ１１０６は、Ｂｌｕｅｔｏｏｔｈ低エネルギー（ＢＬＥ）送信機及びバッテリを含んでもよい。他の実施態様では、タグ１１０６は、タグ１１０６の存在を示すために他の技術を使用してもよい。例えば、音響タグ１１０６は、対応する音響受信機によって検出される、超音波信号１１０８を生成するように構成されてもよい。更なる別の実施態様では、タグ１１０６は、光信号１１０８を放出するように構成されてもよい。

施設管理システム１３４は、物体の認証及び物体の位置の判定などのうちの１つ以上に対してタグ１１０６を使用するように構成されてもよい。例えば、ユーザ１０２は、タグ１１０６を身に着けてもよく、カート１０１２は、取り付けられたタグ１１０６を有してもよく、アイテム１０１６は、それらのパッケージに取り付けられたタグ１１０６を有してもよい、などであり、タグ１１０６は、読み取ることができ、信号強度に少なくとも部分的に基づいて、アイデンティティまたは位置のうちの１つ以上を判定するために使用されてもよい。

概して、施設管理システム１３４または施設１００２と関連付けられた他のシステムは、いずれかの数の入力構成要素、出力構成要素、及びサーバ１１０４、並びにそれらの組み合わせを含んでもよい。

施設１００２内の１つ以上の位置に１つ以上のセンサ１０１４が配列されてもよい。例えば、センサ１０１４は、フロア上にもしくはフロア内に、壁に、天井に、在庫位置１０１８に、カート１０１２上に据え付けられてもよく、またはユーザ１０２によって持ち運べるか、身に着けられてもよい、などである。

センサ１０１４は、１つ以上のカメラ１０１４（１）または他の撮像センサを含んでもよい。１つ以上のカメラ１０１４（１）は、シーンの画像を取得するように構成された撮像センサを含んでもよい。カメラ１０１４（１）は、それらに限定されないが、テラヘルツ、赤外線、可視光、及び紫外線などを含む１つ以上の波長において光を検出するように構成される。カメラ１０１４（１）は、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）デバイス、及びマイクロボロメータなどを含んでもよい。施設管理システム１３４は、施設１００２の操作の間にカメラ１０１４（１）によって取得された画像データを使用してもよい。例えば、施設管理システム１３４は、カメラ１０１４（１）によって取得された画像データ内のそれらの外観に少なくとも部分的に基づいて、アイテム１０１６、ユーザ１０２、及びカート１０１２などを識別してもよい。カメラ１０１４（１）は、施設１００２内の様々な位置に据え付けられてもよい。例えば、カメラ１０１４（１）は、頭上に、在庫位置１０１８上に据え付けられてもよく、ユーザ１０２によって身に着けられてもよく、またはユーザ１０２によって持ち運ばれてもよく、カート１０１２に取り付けられてもよい、などである。

センサ１０１４は、スマートフロア１０１４（２）を含んでもよい。スマートフロア１０１４（２）は、ユーザ１０２及びカート１０１２などの物体の位置に関する情報を提供することが可能である。この情報は、物体を識別すること、物体の位置を判定すること、及び物体を追跡することなどを含んでもよい。スマートフロア１０１４（２）は、フロアに位置し、またはフロアの下に位置するアンテナから電磁気信号１１０８を放射または送信機または受信機のうちの１つ以上を含むスマートフロアデバイスを利用してもよい。どのアンテナが信号１１０８を放射しており、どのアンテナが信号１１０８を取得したかに関する情報に基づいて、フロア上またはフロアの上側の物体に関する情報が判定されてもよい。例えば、スマートフロア１０１４（２）は、検知素子またはセグメントを含んでもよい。各々のセグメントは、送信機または受信機のうちの１つ以上に結合されたアンテナを含んでもよい。動作の間、セグメントは、アンテナによって放射された電磁気信号１１０８を送信してもよく、アンテナによって取得された電磁気信号１１０８を受信してもよく、またはその両方を行ってもよい。いくつかの実施態様では、スマートフロア１０１４（２）は、フロアレベルに展開された物理的に大型のタッチセンサとして動作してもよい。電磁気信号１１０８は、そこの物体の存在に関する情報を提供する。例えば、セグメントは、接近した物体に電磁気的に結合してもよく、フロアと接触しまたはフロアの上側にあるかのいずれである物体の検出を可能にする。いくつかの実施態様では、物体の視覚的な追跡の代わりにまたはそれに加えて、スマートフロア１０１４（２）は、物体表現移動データを提供するために使用されてもよい。例えば、特定の時間ウインドウの間に取得されたセグメントからの出力は、画像データと類似の様式において処理されてもよい。

１つ以上の無線受信機１０１４（３）もセンサ１０１４として含まれてもよい。いくつかの実施態様では、無線受信機１０１４（３）は、送受信機アセンブリの一部であってもよい。無線受信機１０１４（３）は、ＲＦＩＤ、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、２Ｇ、３Ｇ、４Ｇ、ＬＴＥ、または他の無線データ送信技術と関連付けられたＲＦ信号１１０８を取得するように構成されてもよい。無線受信機１０１４（３）は、無線周波数を介して送信されたデータ及びＲＦ信号１１０８の信号強度などと関連付けられた情報を提供することができる。例えば、無線受信機１０１４（３）からの情報は、ユーザ１０２によって持ち運ばれる送信機、カート１０１２上の送信機、及びアイテム１０１６上のタグ１１０６などのＲＦソースの位置を判定するために施設管理システム１３４によって使用されてもよい。

１つ以上の深度センサ１０１４（４）もセンサ１０１４に含まれてもよい。深度センサ１０１４（４）は、視角（ＦＯＶ）内の物体に関する深度情報など、空間的データまたは三次元（３Ｄ）データを取得するように構成される。深度センサ１０１４（４）は、距離カメラ、測距システム、ソナーシステム、レーダシステム、構造化光システム、ステレオビジョンシステム、及び光学干渉法システムなどを含んでもよい。施設管理システム１３４は、物体を識別し、３Ｄ実空間内の物体の位置を判定し、ユーザ１０２を識別するなどのために、深度センサ１０１４（４）によって取得された３Ｄデータを使用してもよい。

１つ以上のボタン１０１４（５）は、ユーザ１０２からの入力を受け付けるように構成されてもよい。ボタン１０１４（５）は、機械機構、容量性機構、光学機構、または他の機構を含んでもよい。例えば、ボタン１０１４（５）は、入力信号を生成するようユーザ１０２のタッチからの加えられた力を受け付けるように構成された機械スイッチを含んでもよい。施設管理システム１３４は、ユーザ１０２から情報を受信するために、ボタン１０１４（５）からのデータを使用してもよい。例えば、カート１０１２は、ユーザ１０２からの入力を受け付け、入力を示す情報を施設管理システム１３４に送信するボタン１０１４（５）により構成されてもよい。

センサ１０１４は、１つ以上のタッチセンサ１０１４（６）を含んでもよい。タッチセンサ１０１４（６）は、タッチまたはタッチに近いものの位置を判定するために、抵抗性、容量性、表面容量、投影容量、相互容量、光学、補間力感知抵抗（ＩＦＳＲ）、または他の機構を使用してもよい。例えば、ＩＦＳＲは、加えられた力に反応する電気抵抗を変化させるように構成された材料を含んでもよい。電気抵抗におけるその変化の材料内の位置は、タッチの位置を示すことができる。施設管理システム１３４は、ユーザ１０２から情報を受信するために、タッチセンサ１０１４（６）からのデータを使用してもよい。例えば、タッチセンサ１０１４（６）は、それによりユーザ１０２がメニューから選定する１つ以上の特定のアイテム１０１６を選択することができ、在庫位置１０１８におけるアイテム１０１６の手動の総数を入力することができるなどのタッチスクリーンを設けるよう、カート１０１２と統合されてもよい。

１つ以上のマイクロフォン１０１４（７）は、環境に存在するサウンドを示す情報を取得するように構成されてもよい。いくつかの実施態様では、マイクロフォン１０１４（７）のアレイが使用されてもよい。それらのアレイは、利得の方向性をもたらすために、ビームフォーミング技術を実装してもよい。施設管理システム１３４は、音響タグ１１０６からの情報を取得し、従業員からの音声入力を受け付けるなどのために、１つ以上のマイクロフォン１０１４（７）を使用してもよい。例えば、可聴命令が１つ以上のスピーカによって従業員に提示されてもよく、従業員は次いで、口頭で応答することができる。マイクロフォン１０１４（７）から取得された音声は、従業員の応答を判定するよう処理されてもよい。

センサ１０１４は、計装自動対向ユニット（ＩＡＦＵ）１０１４（８）を含んでもよい。ＩＡＦＵ１０１４（８）は、プッシャの変位を示すデータを提供するように構成された位置センサを含んでもよい。アイテム１０１６がＩＡＦＵ１０１４（８）から除去されるにつれて、プッシャは、バネの影響の下などで移動し、ＩＡＦＵ１０１４（８）内の残りのアイテム１０１６を在庫位置１０１８の前方に推し進める。位置センサからのデータを使用することによって、及び個々のアイテム１０１６の深度などのアイテムデータを仮定して、位置データにおける変化に基づいて、総数が判定されてもよい。例えば、各々のアイテム１０１６が１インチの深さであり、位置データが１１インチの変化を示す場合、ＩＡＦＵ１０１４（８）によって保持された量は、１１個のアイテム１０１６だけ変化していることがある。この総数情報は、重量センサ１０１４（１６）からのセンサデータの分析などの他の手段によって取得された総数に対するクロスチェックを確認または提供するために使用されてもよい。

センサ１０１４は、１つ以上の光学センサ１０１４（９）を含んでもよい。光学センサ１０１４（９）は、その上に作用する光の色または強度のうちの１つ以上を示すデータを提供するように構成されてもよい。例えば、光学センサ１０１４（９）は、光子の入射放射束を示す信号１１０８またはデータを生成するように構成されたフォトダイオード及び関連する回路を含んでもよい。以下で説明されるように、光学センサアレイ１０１４（１４）は、複数の光学センサ１０１４（９）を含んでもよい。光学センサ１０１４（９）は、フォトダイオード、フォトレジスタ、太陽電池セル、量子ドット光電導体、ボロメータ、及び焦電赤外線検出器などを含んでもよい。例えば、光学センサ１０１４（９）は、赤外線光を検出するために、ゲルマニウムフォトダイオードを使用してもよい。

１つ以上の無線周波数認証（ＲＦＩＤ）リーダ１０１４（１０）及び近接場通信（ＮＦＣ）システムなどがセンサ１０１４として含まれてもよい。例えば、ＲＦＩＤリーダ１０１４（１０）は、ＲＦタグ１１０６を読み出すように構成されてもよい。ＲＦＩＤリーダ１０１４（１０）によって取得された情報は、アイテム１０１６、ユーザ１０２、及びカート１０１２など、ＲＦタグ１１０６と関連付けられた物体を識別するために、施設管理システム１３４によって使用されてもよい。例えば、特定の在庫位置におけるＲＦタグ１１０６を検出するＲＦＩＤリーダ１０１４（１０）からの情報に基づいて、配置または選定されるアイテム１０１６が判定されてもよい。

センサ１０１４は、ユーザ１０２によって身に着けられてもよく、または持ち運ばれてもよく、カート１０１２に据え付けられてもよいなどの、１つ以上の加速度計１０１４（１１）を含んでもよい。加速度計１０１４（１１）は、掛けられた加速の方向及び大きさなどの情報を提供することができる。加速の比率、方向における変化の判定、及び速度などのデータは、加速度計１０１４（１１）を使用して判定されてもよい。

ジャイロスコープ１０１４（１２）は、それに取り付けられた物体の回転を示す情報を提供することができる。例えば、カート１０１２または他の物体は、物体の方位における変化を示すデータを提供するジャイロスコープ１０１４（１２）が備えられてもよい。

磁気計１０１４（１３）は、地磁界などの周囲磁界を測定することによって、方位を判定するために使用されてもよい。磁気計１０１４（１３）は、ユーザ１０２によって身に着けられてもよく、または持ち運ばれてもよく、カート１０１２に据え付けられてもよい、などである。例えば、カート１０１２に据え付けられた磁気計１０１４（１３）は、コンパスとしての役割を果たしてもよく、カート１０１２がどの方向に方向付けられているかを示す情報を提供することができる。

光学センサアレイ１０１４（１４）は、１つ以上の光学センサ１０１４（９）を含んでもよい。光学センサ１０１４（９）は、格子などの規則的な二次元配列、繰り返しの二次元配列、または周期的な二次元配列において配列されてもよい。光学センサアレイ１０１４（１４）は、画像データを生成してもよい。例えば、光学センサアレイ１０１４（１４）は、在庫位置１０１８内または在庫位置１０１８の下に配列されてもよく、アイテム１０１６の写し及びユーザ１０２の手１０８などに関する情報を取得してもよい。

センサ１０１４は、ユーザ１０２及びカート１０１２などの物体の存在を判定するために使用される近接センサ１０１４（１５）を含んでもよい。近接センサ１０１４（１５）は、物体の存在を判定するために、光学、電子、超音波、電磁気、または他の技術を使用してもよい。いくつかの実施態様では、近接センサ１０１４（１５）は、近接性を判定するために、光エミッタ及び光検出器を使用してもよい。例えば、光エミッタは、光を放出することができ、光の一部は次いで、物体が近接センサ１０１４（１５）に近接したことのインジケーションを提供するよう、物体によって光検出器に再度反射されてもよい。他の実施態様では、近接センサ１０１４（１５）は、電界をもたらし、電界内の存在又は不存在に起因した電気容量における変化を判定するように構成された容量性近接センサ１０１４（１５）を含んでもよい。

近接センサ１０１４（１５）は、物体の存在もしくは不存在、物体への距離、または物体の特性のうちの１つ以上を示すセンサデータを提供するように構成されてもよい。光近接センサ１０１４（１５）は、距離データを生成するために、タイムオブフライト（ＴｏＦ）、構造化ライト、干渉法、または他の技術を使用してもよい。例えば、ＴｏＦは、光検出器に反射されまたはそうでなければ戻る、光エミッタまたは発光体からの放出された光のパルスの伝播時間（または、「ラウンドトリップ」時間）を判定する。伝播時間を半分に除算し、結果を空気内の光の速度と乗算することによって、物体への距離が判定されてもよい。別の実施態様では、構造化光パターンは、光エミッタによって設けられてもよい。構造化光パターンの一部は次いで、カメラ１０１４（１）などのセンサ１０１４を使用して物体上で検出されてもよい。構造化光パターンの特徴の間の視距離に基づいて、物体への距離が計算されてもよい。物体への距離を判定するために他の技術も使用されてもよい。別の実施例では、皮膚、衣服、及びカート１０１２などの物体を特徴付けるために、反射された光の色が使用されてもよい。

１つ以上の重量センサ１０１４（１６）は、アイテム１０１６、カート１０１２、または他の物体など、負荷の重量を測定するように構成される。重量センサ１０１４（１６）は、在庫位置１０１８、カート１０１２、及び施設１００２のフロアなどのうちの１つ以上における負荷の重量を測定するように構成されてもよい。例えば、在庫位置１０１８のプラットフォームは、複数の重量センサ１０１４（１６）を含んでもよい。重量センサ１０１４（１６）は、負荷の重量を判定する１つ以上の検知機構を含んでもよい。それらの検知機構は、圧電抵抗デバイス、圧電性デバイス、容量性デバイス、電磁気デバイス、光学デバイス、電位差測定デバイス、及び微小電気機械デバイスなどを含んでもよい。重量センサ１０１４（１６）の検知機構は、重力に起因した負荷の力などの加えられた力に基づいて、１つ以上の信号を生成するトランスデューサとして動作してもよい。例えば、重量センサ１０１４（１６）は、歪みゲージ及び重量が加えられるときにわずかに変形する構造的部材を有するロードセルを含んでもよい。容量または抵抗など、歪みゲージの電気特性における変化を測定することによって、重量が判定されてもよい。別の実施例では、重量センサ１０１４（１６）は、力感知レジスタ（ＦＳＲ）を含んでもよい。ＦＳＲは、圧迫されるときに１つ以上の電気特性を変化させる弾性材料を含んでもよい。例えば、ＦＳＲの特定の部分の電気抵抗は、特定の部分が圧迫されるにつれて減少することがある。施設管理システム１３４は、物体を識別し、物体の量における変化を判定し、物体の位置を判定し、出荷記録を維持するなどのために、重量センサ１０１４（１６）によって取得されたデータを使用してもよい。

センサ１０１４は、他のセンサ１０１４（複数可）をも含んでもよい。例えば、他のセンサ１０１４（複数可）は、光カーテン、超音波距離計、温度計、気圧センサ、及び湿度計などを含んでもよい。

いくつかの実施態様では、センサ１０１４は、ハードウェアプロセッサ、メモリ、及び様々な機能を実行するように構成された他の要素を含んでもよい。例えば、カメラ１０１４（１）は、画像データを生成し、画像データをサーバ１１０４などの別のデバイスに送信するなどのように構成されてもよい。

施設１００２は、１つ以上の無線ネットワークを確立するように構成された１つ以上のアクセスポイント１１１０を含んでもよい。アクセスポイント１１１０は、デバイスとネットワーク１１０２との間で無線通信を確立するために、Ｗｉ−Ｆｉ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ、または他の技術を使用してもよい。無線ネットワークは、デバイスがセンサ１０１４、施設管理システム１３４、タグ１１０６、カート１０１２の通信デバイス、または他のデバイスのうちの１つ以上と通信することを可能にする。

出力デバイス１１１２も施設１００２内に設けられてもよい。出力デバイス１１１２は、信号１１０８を生成するように構成され、信号１１０８は、ユーザ１０２によって感知されてもよく、またはセンサ１０１４によって検出されてもよい。いくつかの実施態様では、出力デバイス１１１２は、光学センサアレイ１０１４（１４）の照明をもたらすために使用されてもよい。

触覚出力デバイス１１１２（１）は、ユーザ１０２に触知感覚をもたらす信号１１０８を提供するように構成される。触覚出力デバイス１１１２（１）は、信号１１０８を提供するために、電気刺激または機械的変位などの１つ以上の機構を使用してもよい。例えば、触覚出力デバイス１１１２（１）は、変調電気信号１１０８を生成するように構成されてもよく、変調電気信号１１０８は、ユーザ１０２の１つ以上の指において明白な触知感覚を生じさせる。別の実施例では、触覚出力デバイス１１１２（１）は、ユーザ１０２によって感じることができる振動をもたらすように構成された圧電性デバイスまたは回転モータデバイスを含んでもよい。

１つ以上の音声出力デバイス１１１２（２）は、音響出力を提供するように構成されてもよい。音響出力は、超低周波音、可聴音、または超音波のうちの１つ以上を含む。音声出力デバイス１１１２（２）は、音響出力を生成する１つ以上の機構を使用してもよい。それらの機構は、それらに限定されないが、ボイスコイル、圧電性素子、磁歪素子、及び静電素子などを含んでもよい。例えば、音響出力を提供するために、圧電性ブザーまたはスピーカが使用されてもよい。

ディスプレイデバイス１１１２（３）は、ユーザ１０２によって見ることができ、またはカメラ１０１４（１）もしくは光学センサ１０１４（９）などの感光性センサによって検出することができる出力を提供するように構成されてもよい。いくつかの実施態様では、ディスプレイデバイス１１１２（３）は、赤外線光、可視光、または紫外線光のうちの１つ以上において出力を生成するように構成されてもよい。出力は、モノクロまたはカラーであってもよい。ディスプレイデバイス１１１２（３）は、放出、反射、及びマイクロ電気機械などのうちの１つ以上であってもよい。ＬＥＤを使用するなどの放出ディスプレイデバイス１１１２（３）は、動作の間に光を放出するように構成される。それに引き換え、電気泳動素子を使用するなどの反射ディスプレイデバイス１１１２（３）は、画像を提示するために周囲光に依存する。非放出ディスプレイデバイス１１１２（３）を照明して、周囲光レベルが低い条件において出力の視認性をもたらすために、バックライトまたはフロントライトが使用されてもよい。

ディスプレイデバイス１１１２（３）は、施設１００２内の様々なポイントに位置してもよい。例えば、アドレス指定可能ディスプレイは、在庫位置１０１８上、カート１０１２、及び施設１００２のフロア上などに位置してもよい。

他の出力デバイス１１１２（Ｐ）も存在してもよい。例えば、他の出力デバイス１１１２（Ｐ）は、嗅覚／臭気ディスペンサ、ドキュメントプリンタ、及び３Ｄプリンタまたは組立機器などを含んでもよい。

図１２は、いくつかの実施態様に従った、施設１００２の操作を支持するように構成されたサーバ１１０４のブロック図１２００を示す。サーバ１１０４は、施設１００２に物理的に存在してもよく、ネットワーク１１０２によってアクセス可能であってもよく、またはその両方の組み合わせであってもよい。サーバ１１０４は、サービスを配信するシステムの物理位置及び構成のエンドユーザの知識を必要としない。サーバ１１０４と関連付けられた共通の表現は、「オンデマンドコンピューティング」、「ソフトウェアアズアサービス（ＳａａＳ）」、「プラットフォームコンピューティング」、「ネットワークアクセス可能プラットフォーム」、「クラウドサービス」、及び「データセンタ」などを含んでもよい。サーバ１１０４によって提供されるサービスは、１つ以上の物理または仮想デバイスにわたって分散されてもよい。

１つ以上の電力供給装置１２０２は、サーバ１１０４内の構成要素を動作させるのに適切な電力を提供するように構成されてもよい。１つ以上の電力供給装置１２０２は、バッテリ、キャパシタ、燃料電池、太陽電池セル、無線電力受信機、及び電力会社によって提供されるなどの第１のモダリティ電源に取り付けるのに適切な導電結合などを含んでもよい。サーバ１１０４は、１つ以上の記憶された命令を実行するように構成された１つ以上のハードウェアプロセッサ１２０４（プロセッサ）を含んでもよい。プロセッサ１２０４は、１つ以上のコアを含んでもよい。１つ以上のクロック１２０６は、日付、時間、及び瞬間などを示す情報を提供することができる。例えば、プロセッサ１２０４は、特定の対話を特定の時間点と関連付けるために、クロック１２０６からのデータを使用してもよい。

サーバ１１０４は、入力／出力（Ｉ／Ｏ）インタフェース１２１０及びネットワークインタフェース１２１２などの１つ以上の通信インタフェース１２０８を含んでもよい。通信インタフェース１２０８は、サーバ１１０４またはその構成要素が、他のデバイスまたは構成要素と通信することを可能にする。通信インタフェース１２０８は、１つ以上のＩ／Ｏインタフェース１２１０を含んでもよい。Ｉ／Ｏインタフェース１２１０は、集積回路（Ｉ２Ｃ）、シリアルペリフェラルインタフェースバス（ＳＰＩ）、及びユニバーサルシリアルバス（ＵＳＢ）Ｉｍｐｌｅｍｅｎｔｅｒｓ Ｆｏｒｕｍ、ＲＳ−２３２によって公布されるようなＵＳＢなどを含んでもよい。

Ｉ／Ｏインタフェース（複数可）１２１０は、１つ以上のＩ／Ｏデバイス１２１４に結合してもよい。Ｉ／Ｏデバイス１２１４は、センサ１０１４、キーボード、マウス、及びスキャナなどのうちの１つ以上などの入力デバイスを含んでもよい。Ｉ／Ｏデバイス１２１４はまた、ディスプレイデバイス１１１２（３）、プリンタ、及び音声スピーカなどのうちの１つ以上などの出力デバイスを含んでもよい。いくつかの実施形態では、Ｉ／Ｏデバイス１２１４は、サーバ１１０４と物理的に組み込まれてもよく、または外部に置かれてもよい。

ネットワークインタフェース１２１２は、サーバ１１０４と、カート１０１２、ルータ、及びアクセスポイント１１１０などの他のデバイスとの間の通信をもたらすように構成されてもよい。ネットワークインタフェース１２１２は、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、及びワイドエリアネットワーク（ＷＡＮ）などに結合するように構成されたデバイスを含んでもよい。例えば、ネットワークインタフェース１２１２は、イーサネット、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、及びＺｉｇＢｅｅなどと互換性を有するデバイスを含んでもよい。

サーバ１１０４は、サーバ１１０４の様々なモジュールと構成要素との間でのデータの転送を可能にする、１つ以上のバス、または他の内部通信ハードウェアもしくはソフトウェアをも含んでもよい。

図１２に示されるように、サーバ１１０４は、１つ以上のメモリ１２１６を含む。メモリ１２１６は、１つ以上の非一時的コンピュータ可読記憶媒体（ＣＲＳＭ）を含んでもよい。ＣＲＳＭは、電子記憶媒体、磁気記憶媒体、光学記憶媒体、量子記憶媒体、及び機械コンピュータ記憶媒体などのうちのいずれか１つ以上であってもよい。メモリ１２１６は、サーバ１１０４の動作のために、コンピュータ可読命令、データ構造、プログラムモジュール、及び他のデータの記憶をもたらす。いくつかの実施例の機能的モジュールがメモリ１２１６に記憶されるが、代わりに、同一の機能性は、ハードウェアにおいて、ファームウェアにおいて、またはシステムオンチップ（ＳｏＣ）として実装されてもよい。

メモリ１２１６は、少なくとも１つのオペレーティングシステム（ＯＳ）モジュール１２１８を含んでもよい。ＯＳモジュール１２１８は、Ｉ／Ｏインタフェース１２１０、Ｉ／Ｏデバイス１２１４、通信インタフェース１２０８などのハードウェアリソースデバイスを管理し、プロセッサ１２０４上で実行するアプリケーションまたはモジュールに様々なサービスを提供するように構成される。ＯＳモジュール１２１８は、ＦｒｅｅＢＳＤ Ｐｒｏｊｅｃｔによって公布されるようなＦｒｅｅＢＳＤオペレーティングシステムの変形、他のＵＮＩＸまたはＵＮＩＸのような変形、Ｌｉｎｕｓ Ｔｏｒｖａｌｄｓによって公布されるようなＬｉｎｕｘオペレーティングシステムの変形、及びＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ｒｅｄｍｏｎｄ、Ｗａｓｈｉｎｇｔｏｎ、ＵＳＡからのＷｉｎｄｏｗｓオペレーティングシステムなどを実装してもよい。

また、メモリ１２１６に記憶されるのは、データストア１２２０及び以下のモジュールのうちの１つ以上であってもよい。それらのモジュールは、フォアグラウンドアプリケーション、バックグラウンドタスク、及びデーモンなどとして実行されてもよい。データストア１２２０は、フラットファイル、データベース、リンク付けされたリスト、ツリー、実行可能コード、スクリプト、または情報を記憶するための他のデータ構造を使用してもよい。いくつかの実施態様では、データストア１２２０またはデータストア１２２０の一部は、サーバ１１０４及びネットワークアタッチドストレージデバイスなどを含む１つ以上の他のデバイスにわたって分散されてもよい。

通信モジュール１２２２は、カート１０１２、センサ１０１４、ディスプレイデバイス１１１２（３）、他のサーバ１１０４、または他のデバイスのうちの１つ以上と通信するように構成されてもよい。通信は、認証または暗号化などがされてもよい。

メモリ１２１６は、施設管理モジュール１２２４を記憶してもよい。施設管理モジュール１２２４は、施設管理システム１３４に関して本明細書で説明されるような在庫機能を提供するように構成される。例えば、施設管理モジュール１２２４は、カート１０１２へ及びカート１０１２からの異なる在庫位置１０１８の間でアイテム１０１６を追跡してもよく、再蓄積注文を生成してもよく、施設内でロボットの動作を命令してもよく、特定のユーザアイデンティティを施設１００２内のユーザ１０２と関連付けるために認証データ１３２を使用してもよい、などである。動作の間、施設管理モジュール１２２４は、カメラ１０１４（１）からの画像データ及び重量センサ１０１４（１６）からの重量データなどのうちの１つ以上などのセンサデータ１２３０にアクセスしてもよい。

施設管理モジュール１２２４によって使用される情報は、データストア１２２０に記憶されてもよい。例えば、データストア１２２０は、物理レイアウトデータ１２２８、センサデータ１２３０、記憶されたユーザ特徴データ１３０、認証データ１３２、ユーザ位置データ１２３２、及び対話データ１２３４などを記憶するために使用されてもよい。センサデータ１２３０は、施設１００２内のセンサ１０１４または施設１００２と関連付けられたセンサ１０１４のうちの１つ以上から取得された情報を含んでもよい。

物理レイアウトデータ１２２８は、スキャナ１０６、カメラ１３１４（１）、重量センサ１０１４（１６）、無線受信機１０１４（３）に対するアンテナ、及び在庫位置１０１８などが相互に施設１００２内にある場所を示す情報を提供することができる。例えば、物理レイアウトデータ１２２８は、スキャナ１０６及び在庫位置１０１８とのゲート１０４の相対的位置と共に、施設１００２のマップまたはフロアプランを表す情報を含んでもよい。

施設管理モジュール１２２４は、施設１００２内のユーザ１０２の位置を示すユーザ位置データ１２３２を生成してもよい。例えば、施設管理モジュール１２２４は、ユーザ１０２の位置を判定するために、カメラ１０１４（１）によって取得された画像データを使用してもよい。他の実施態様では、ユーザ位置データ１２３２を判定するための他の技術が使用されてもよい。例えば、スマートフロア１０１２（２）からのデータは、ユーザ１０２の位置を判定するために使用されてもよい。

ユーザアイデンティティは、認証データ１３２に基づいて、追跡データと関連付けられてもよい。例えば、ユーザ１０２は、施設１００２に入場し、掌を走査しており、ユーザの入場の時間、入場したゲート１０４、及びユーザ識別子４３２を示す認証データ１３２を生成する。追跡データは、入場の時間にゲート１０４において開始したユーザ１０２の追跡を示す追跡データは、認証データ１３２におけるユーザ識別子４３２と関連付けられてもよい。

ユーザ位置データ１２３２及び対話データ１２３４に基づいて、特定の対話は、特定のユーザ１０２のアカウントと関連付けられてもよい。例えば、ユーザ位置データ１２３２が、１７：４７：２０の時間に在庫位置１０１８（４９２）の前方にユーザ１０２が存在することを示し、対話データ１２３４が、１７：４７：２７に在庫位置１０１８（４９２）上の領域からの１つのアイテム１０１６（Ｄ）の量の選定を示す場合、ユーザ１０２は、その選定に対して料金を請求されてもよい。

施設管理モジュール１２２４は、対話データ１２３４を生成するために、センサデータ１２３０を使用してもよい。対話データ１２３４は、伴うアイテムのタイプ、伴う数、及び対話が選定または配置であったかどうかになど関する情報を含んでもよい。対話は、ユーザ１０２が在庫位置１０１８からアイテム１０１６を選定すること、在庫位置１０１８にアイテム１０１６を配置すること、在庫位置１０１８においてアイテム１０１６に接触すること、及び在庫位置１０１８においてアイテム１０１６を捜索することなどを含んでもよい。例えば、施設管理モジュール１２２４は、ユーザ１０２が棚上の特定のレーンからどのアイテム１０１６を選定したかを示す対話データ１２３４を生成してもよく、次いで、そのレーンに収容された在庫の総数を調節するために、この対話データ１２３４を使用してもよい。対話データ１２３４は次いで、アイテム１０１６を選定したユーザ１０２と関連付けられたユーザ識別子４３２と関連付けられたアカウントに料金を請求するために使用されてもよい。

施設管理モジュール１２２４は、センサデータ１２３０を処理してもよく、出力データを生成してもよい。例えば、対話データ１２３４に基づいて、特定の在庫位置１０１８におけるタイプのアイテム１０１６の量は、閾値の再蓄積レベルを下回って下がることがある。システムは、在庫位置１０１８、領域、及び予め定められたレベルに蓄積を補充するために必要な量を示す再蓄積注文を含む出力データを生成してもよい。再蓄積注文は次いで、その在庫位置１０１８を再蓄積するようロボットに指示するために使用されてもよい。

メモリ１２１６はまた、認証モジュール１２２６を記憶してもよい。認証モジュール１２２６は、認証システム１２０に関して上記説明された機能のうちの１つ以上を実行してもよい。

他のモジュール１２３６も、メモリ１２１６と共にデータストア１２２０内の他のデータ１２３８に存在してもよい。例えば、料金請求モジュールは、特定のユーザ１０２と関連付けられたアカウントに料金を請求するために、対話データ１２３４及び認証データ１３２を使用してもよい。

本開示において説明されたデバイス及び技術が様々な他の設定において使用されてもよい。例えば、システムは、ポイントオブセール（ＰＯＳ）デバイスと共に使用されてもよい。ユーザ１０２は、認証データ１３２と関連付けられたアカウントにより支払う意図及び承認のインジケーションを提供するよう、手１０８をスキャナ１０６に提示することができる。別の実施例では、ロボットは、スキャナ１０６を組み込んでもよい。ロボットは、ユーザ１０２に小包を配送するかどうかを判定するために、及び認証データ１３２に基づいて、どの小包を配送するかを判定するために、認証データ１３２を使用してもよい。

本明細書で議論された処理は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装されてもよい。ソフトウェアのコンテキストでは、説明された動作は、１つ以上のプロセッサによって実行されるとき、記述された動作を実行する、１つ以上の非一時的コンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実行し、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、及びデータ構造を含む。当業者は、上記図に表された特定のステップまたは動作が除去されてもよく、組み合わされてもよく、または代替的な順序において実行されてもよいことを容易に認識するであろう。いずれのステップまたは動作も、直列または並列で実行されてもよい。更に、動作が説明される順序は、限定として解釈されることを意図していない。

実施形態は、本明細書で説明される処理または方法を実行するようコンピュータ（または、他の電子デバイス）をプログラムするために使用することができる、命令を記憶した（圧縮または非圧縮の形式において）非一時的コンピュータ可読記憶媒体を含むソフトウェアプログラムまたはコンピュータプログラム製品として提供されてもよい。コンピュータ可読記憶媒体は、電子記憶媒体、磁気記憶媒体、光学記憶媒体、及び量子記憶媒体などのうちの１つ以上であってもよい。例えば、コンピュータ可読記憶媒体は、それらに限定されないが、ハードドライブ、フロッピディスケット、光学ディスク、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電子的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気もしくは光学カード、ソリッドステートメモリデバイス、または電子命令を記憶するのに適切な他のタイプの物理媒体を含んでもよい。更に、実施形態はまた、一時的機械可読信号（圧縮または非圧縮の形式において）を含むコンピュータプログラム製品として提供されてもよい。一時的機械可読信号の例は、キャリアを使用して変調されているかまたは変調されていないかに関わらず、それらに限定されないが、１つ以上のネットワークによって転送される信号を含む、コンピュータプログラムをホストもしくは実行するコンピュータシステムまたは機械がアクセスするように構成することができる信号を含む。例えば、一時的機械可読信号は、インターネットによるソフトウェアの送信を含んでもよい。

それらのプログラムの別個のインスタンスは、いずれかの数の別個のコンピュータシステム上で実行されてもよく、または任意の数の別個のコンピュータシステムにまたがって分散されてもよい。よって、特定のステップが特定のデバイス、ソフトウェアプログラム、プロセス、またはエンティティによって実行されるとして説明されてきたが、このことが当てはまる必要はなく、様々な代替的な実施態様が当業者によって理解されるであろう。

加えて、当業者は、上記説明された技術が様々なデバイス、環境、及び状況において利用されてもよいことを容易に認識するであろう。主題が構造的特徴または方法論的行為に特有の言語において説明されてきたが、添付の特許請求の範囲において定義される主題は、説明される特定の特徴または行為に必ずしも限定されないことが理解されよう。むしろ、特定の特徴及び行為は、特許請求の範囲を実装する例示的な形式として開示される。
条項
条項１．
スキャナであって、
第１の偏光を有する偏光子を有する第１の赤外線光源であって、前記第１の赤外線光源は、第１の時間に前記第１の偏光を有する光を生成する、前記第１の赤外線光源と、
第２の偏光を有する偏光子を有する第２の赤外線光源であって、前記第２の赤外線光源は、第２の時間に前記第２の偏光を有する光を生成する、前記第２の赤外線光源と、
前記第１の偏光を有する偏光子を有する第１のカメラであって、前記第１のカメラは、
前記第１の時間に第１の未処理画像を取得し、
前記第２の時間に第２の未処理画像を取得する、前記第１のカメラと、を含む、前記スキャナと、
コンピューティングデバイスであって、
第１のコンピュータ実行可能命令を記憶したメモリと、
ハードウェアプロセッサと、を含み、前記ハードウェアプロセッサは、
前記第１の未処理画像から第１の処理済み画像を生成し、前記第１の処理済み画像は、標準的な方位及び標準的な姿勢にある人間の掌を表し、前記人間の掌の表面を示し、
前記第２の未処理画像から第２の処理済み画像を生成し、前記第２の処理済み画像は、前記標準的な方位及び前記標準的な姿勢にある前記人間の掌を表し、前記人間の掌の静脈パターンを示し、
部分画像の第１のセットを判定し、部分画像の前記第１のセット内の部分画像は、前記第１の処理済み画像内の特定の領域に対応し、
第１のニューラルネットワークを使用して、部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第１のセットを判定し、
部分画像の第２のセットを判定し、部分画像の前記第２のセット内の部分画像は、前記第２の処理済み画像内の特定の領域に対応し、
第２のニューラルネットワークを使用して、部分画像の前記第２のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第２のセットを判定し、
特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットを使用して、第３のニューラルネットワークへの入力として最新の署名を判定し、
前記最新の署名が、共通ベクトル空間内の参照署名の閾値距離内にあると判定し、
前記参照署名と関連付けられたユーザ識別子を判定する、ように前記第１のコンピュータ実行可能命令を実行する、
前記コンピューティングデバイスと、を備えたシステム。
条項２．
前記第２の処理済み画像の生成は、前記第２の未処理画像をダウンサンプルする命令を含み、
特徴ベクトルの前記第１のセットは、ｋ次元空間内で表され、特徴ベクトルの前記第２のセットは、ｐ次元空間内で表され、ｋは、ｐよりも大きい、
条項１に記載のシステム。
条項３．
赤外線光源と、
カメラと、
コントローラであって、
第１の時間に、第１の偏光を示す第１の赤外線光によりシーンを照明することと、
前記第１の偏光を示す入射光を使用して、前記第１の時間に第１の画像データを取得するよう前記カメラを動作させることと、
第２の時間に、第２の偏光を示す第２の赤外線光によりシーンを照明することと、
前記第１の偏光を示す入射光を使用して、前記第２の時間に第２の画像データを取得するよう前記カメラを動作させることと、
を行う、前記コントローラと、
コンピューティングデバイスであって、
第１のコンピュータ実行可能命令を記憶したメモリと、
前記第１のコンピュータ実行可能命令を実行するハードウェアプロセッサと、
を含む、前記コンピューティングデバイスと、
を備える、システムであって、
前記第１のコンピュータ実行可能命令は、
部分画像の第１のセットを判定することであって、部分画像の前記第１のセット内の各々の部分画像は、前記第１の画像データ内の特定の領域に対応する、前記判定することと、
部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第１のセットを判定し、
部分画像の第２のセットを判定することであって、部分画像の前記第２のセット内の各々の部分画像は、前記第２の画像データ内の特定の領域に対応する、前記判定することと、
部分画像の前記第２のセットの前記部分画像のうちの１つ以上に対して特徴ベクトルの第２のセットを判定することと、
特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットに基づいて、１つ以上の最新の署名を判定することと、
１つ以上の参照署名と、前記１つ以上の最新の署名の少なくとも一部との比較に基づいて、ユーザ識別子を判定することと、
のためのものである、
前記システム。
条項４．
前記赤外線光源であって、
第１の偏光を有する第１の偏光子を通過する光出力を有する第１の赤外線光源と、
第２の偏光を有する第２の偏光子を通過する光出力を有する第２の赤外線光源と、を含む、前記赤外線光源と、
前記第１の偏光を有する第３の偏光子を含む前記カメラと、
を更に備えた、条項３に記載のシステム。
条項５．
光を選択的にフィルタリングする前記コントローラからの入力に応答した偏光子を更に備え、前記偏光子は、
電気モータにより駆動されるホイールであって、
前記第１の偏光を有する光を通す第１の偏光ウインドウを有する第１のセグメントと、
前記第２の偏光を有する光を通す第２の偏光ウインドウを有する第２のセグメントと、を含む、前記ホイール、
液晶、または
光弾性変調器、のうちの１つ以上を含む、
条項３または４のいずれかに記載のシステム。
条項６．
前記ハードウェアプロセッサは更に、
部分画像の前記第１のセットを判定する前記命令の前に、
人間の掌を表す前記第１の画像データから画像の第３のセットを判定することと、
画像の前記第３のセットから、前記人間の掌の特定の方位を表す画像の第４のセットを判定することと、
画像の前記第４のセットから、前記人間の掌の特定の姿勢を表す画像の第５のセットを判定することであって、前記第１の画像データは、画像の前記第５のセットの少なくとも一部を含む、前記判定することと、
を行う命令により、前記第１の画像データを処理することと、
部分画像の前記第２のセットを判定する前記命令の前に、
前記人間の掌を表す前記第２の画像データから画像の第６のセットを判定することと、
画像の前記第６のセットから、前記人間の掌の前記特定の方位を表す画像の第７のセットを判定することと、
画像の前記第７のセットから、前記人間の掌の前記特定の姿勢を表す画像の第８のセットを判定することであって、前記第２の画像データは、画像の前記第８のセットの少なくとも一部を含む、前記判定することと、
を行う命令により、前記第２の画像データを処理することと、
を行うように、前記第１のコンピュータ実行可能命令を実行する、
条項３、４、または５のいずれかに記載のシステム。
条項７．
前記１つ以上の最新の署名を判定する前記命令は更に、
前記１つ以上の最新の署名を生成するよう、ニューラルネットワークにより特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットのうちの少なくとも一部を処理する、命令を含む、条項３、４、５、または６のいずれかに記載のシステム。
条項８．
前記１つ以上の最新の署名を判定する前記命令は更に、
前記１つ以上の最新の署名を生成するよう、特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットの少なくとも一部を連結させる命令を含む、条項３に記載のシステム。
条項９．
特徴ベクトルの前記第１のセットを判定する前記命令は更に、
人間の掌の表面の画像を特徴付けるよう訓練された第１のニューラルネットワークにより部分画像の前記第１のセット内の前記部分画像のうちの前記１つ以上を処理する命令を含み、前記第１のニューラルネットワークからの出力は、ｎ次元空間内で表現される第１の特徴ベクトルであり、
特徴ベクトルの前記第２のセットを判定する前記命令は更に、
前記人間の掌の内部解剖学的構造の画像を特徴付けるよう訓練された第２のニューラルネットワークにより部分画像の第２のセット内の前記部分画像のうちの前記１つ以上を処理する命令を含み、前記第２のニューラルネットワークからの出力は、ｐ次元空間内で表現される第２の特徴ベクトルであり、ｐはｎよりも小さい、
条項３に記載のシステム。
条項１０．
前記ユーザ識別子を判定する前記命令は更に、
前記最新の署名の少なくとも一部と、１つ以上の前に記憶された参照署名の少なくとも一部との間の対応関係を示す信頼値の第１のセットを判定することであって、前記前に記憶された参照署名は、候補ユーザ識別子と関連付けられる、前記判定することと、
信頼値の前記第１のセットの最大信頼値と関連付けられた前記候補ユーザ識別子の特定の１つに基づいて、前記ユーザ識別子を判定することと、
のための命令を含む、
条項３に記載のシステム。
条項１１．
部分画像の前記第１のセットは、第１の分解能を含み、
部分画像の前記第２のセットが前記第１の分解能よりも低い第２の分解能を有するように、前記第２の画像データをダウンサンプルする命令を更に含む、
条項３、４、５、６、７、８、９、または１０のいずれかに記載のシステム。
条項１２．
第１の偏光を有する赤外線光を使用して、カメラによって取得された第１の画像データにアクセスすることと、
第２の偏光を有する赤外線光を使用して、前記第１の偏光を有する偏光子及び照明により、前記カメラによって取得された第２の画像データにアクセスすることと、
部分画像の第１のセットを判定することであって、部分画像は、前記第１の画像データ内の特定の領域に対応する、前記判定することと、
部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第１のセットを判定することと、
部分画像の第２のセットを判定することであって、部分画像は、前記第２の画像データ内の特定の領域に対応する、前記判定することと、
部分画像の前記第２のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第２のセットを判定することと、
特徴ベクトルの前記第１のセットまたは特徴ベクトルの前記第２のセットのうちの１つ以上に基づいて、１つ以上の最新の署名を判定することと、
前記１つ以上の最新の署名及び１つ以上の前に記憶された参照署名に基づいて、ユーザ識別子を判定することと、
を備えた、方法。
条項１３．
前記第１の画像データは、人間の掌の表面の少なくとも一部を表し、前記第２の画像データは、前記人間の掌の内部解剖学的構造の少なくとも一部を表す、条項１２に記載の方法。
条項１４．
前記１つ以上の最新の署名を判定することは、
特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットの少なくとも一部を連結させて、前記１つ以上の最新の署名を生成することを含む、条項１２または１３のいずれかに記載の方法。
条項１５．
特徴ベクトルの前記第１のセットを判定することは、
人間の掌の表面の画像を特徴付けるよう訓練された第１のニューラルネットワークにより部分画像の前記第１のセットの前記部分画像のうちの前記１つ以上を処理することであって、前記第１のニューラルネットワークからの出力は、ｎ次元空間内で表現される第１の特徴ベクトルである、前記処理すること、
を含み、
特徴ベクトルの前記第２のセットを判定することは、
前記人間の掌の内部解剖学的構造の画像を特徴付けるよう訓練された第２のニューラルネットワークにより部分画像の前記第２のセットの前記部分画像のうちの前記１つ以上を処理することであって、前記第２のニューラルネットワークからの出力は、ｐ次元空間内で表現される第２の特徴ベクトルであり、ｐはｎよりも小さい、前記処理すること、
を含む、
条項１２、１３、または１４のいずれかに記載の方法。
条項１６．
前記ユーザ識別子を前記判定することは、
前記１つ以上の最新の署名と前記前に記憶された参照署名との間のベクトル空間内の距離の第１のセットを判定することであって、前記前に記憶された参照署名は、候補ユーザ識別子と関連付けられる、前記判定することと、
前記ベクトル空間内の距離の前記第１のセットに基づいて、前記ベクトル空間内の前記１つ以上の最新の署名に最も近い前記１つ以上の前に記憶された参照署名の１つを判定することと、
前記１つ以上の前に記憶された参照署名の前記最も近い１つと関連付けられた前記候補ユーザ識別子の特定の１つに基づいて、前記ユーザ識別子を判定することと、
を含む、条項１２、１３、１４、または１５のいずれかに記載の方法。
条項１７．
部分画像の前記第１のセットを判定する前に、
前記第１の偏光を有する前記赤外線光を使用して、前記カメラによって取得された第１の未処理画像データにアクセスすることと、
前記第１の未処理画像データから前記第１の画像データを生成することであって、前記第１の画像データは、
人間の掌を表し、
前記人間の掌の特定の方位を示し、
前記人間の掌の特定の姿勢を示し、
第１の閾値を上回る総輝度を示し、
第２の閾値を下回る総不明瞭度を示し、
修正される、１つ以上の画像を含む、前記生成することと、
部分画像の前記第２のセットを判定する前に、
前記第２の偏光を有する前記赤外線光を使用して、前記カメラによって取得された第２の未処理画像データにアクセスすることと、
前記第２の未処理画像データから前記第２の画像データを生成することであって、前記第２の画像データは、
前記人間の掌を表し、
前記人間の掌の前記特定の方位を示し、
前記人間の掌の前記特定の姿勢を示し、
第２の閾値を上回る総輝度を示し、
第２の閾値を下回る総不明瞭度を示し、
修正される、１つ以上の画像を含む、前記生成することと、
を更に備えた、条項１２、１３、１４、１５、または１６のいずれかに記載の方法。
条項１８．
部分画像の前記第１のセットは、第１の分解能を有し、
部分画像の前記第２のセットが前記第１の分解能よりも低い第２の分解能を有するように、前記第２の画像データをダウンサンプルすることによって、部分画像の前記第２のセットを生成することを更に備えた、
条項１２、１３、１４、１５、１６、または１７のいずれかに記載の方法。
条項１９．
部分画像の前記第１のセットの前記部分画像は、前記カメラの視角内の第１の領域を表し、部分画像の前記第２のセットの前記部分画像は、前記カメラの前記視角内の第２の領域を表し、更に、
前記視角内の前記第２の領域は、前記視角内の前記第１の領域よりも大きい、条項１２、１３、１４、１５、１６、１７、または１８のいずれかに記載の方法。
条項２０．
部分画像の前記第１のセットを前記判定することは更に、
部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に画像変換を適用することを含み、
部分画像の前記第２のセットを前記判定することは更に、
部分画像の前記第２のセット内の前記部分画像のうちの１つ以上に画像変換を適用することを含む、
条項１２、１３、１４、１５、１６、１７、１８、または１９のいずれかに記載の方法。

加えて、当業者は、上記説明された技術が様々なデバイス、環境、及び状況において利用されてもよいことを容易に認識するであろう。主題が構造的特徴または方法論的行為に特有の言語において説明されてきたが、添付の特許請求の範囲において定義される主題は、説明される特定の特徴または行為に必ずしも限定されないことが理解されよう。むしろ、特定の特徴及び行為は、特許請求の範囲を実装する例示的な形式として開示される。
条項
条項１．
スキャナであって、
第１の偏光を有する偏光子を有する第１の赤外線光源であって、前記第１の赤外線光源は、第１の時間に前記第１の偏光を有する光を生成する、前記第１の赤外線光源と、
第２の偏光を有する偏光子を有する第２の赤外線光源であって、前記第２の赤外線光源は、第２の時間に前記第２の偏光を有する光を生成する、前記第２の赤外線光源と、
前記第１の偏光を有する偏光子を有する第１のカメラであって、前記第１のカメラは、
前記第１の時間に第１の未処理画像を取得し、
前記第２の時間に第２の未処理画像を取得する、前記第１のカメラと、を含む、前記スキャナと、
コンピューティングデバイスであって、
第１のコンピュータ実行可能命令を記憶したメモリと、
ハードウェアプロセッサと、を含み、前記ハードウェアプロセッサは、
前記第１の未処理画像から第１の処理済み画像を生成し、前記第１の処理済み画像は、標準的な方位及び標準的な姿勢にある人間の掌を表し、前記人間の掌の表面を示し、
前記第２の未処理画像から第２の処理済み画像を生成し、前記第２の処理済み画像は、前記標準的な方位及び前記標準的な姿勢にある前記人間の掌を表し、前記人間の掌の静脈パターンを示し、
部分画像の第１のセットを判定し、部分画像の前記第１のセット内の部分画像は、前記第１の処理済み画像内の特定の領域に対応し、
第１のニューラルネットワークを使用して、部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第１のセットを判定し、
部分画像の第２のセットを判定し、部分画像の前記第２のセット内の部分画像は、前記第２の処理済み画像内の特定の領域に対応し、
第２のニューラルネットワークを使用して、部分画像の前記第２のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第２のセットを判定し、
特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットを使用して、第３のニューラルネットワークへの入力として最新の署名を判定し、
前記最新の署名が、共通ベクトル空間内の参照署名の閾値距離内にあると判定し、
前記参照署名と関連付けられたユーザ識別子を判定する、ように前記第１のコンピュータ実行可能命令を実行する、
前記コンピューティングデバイスと、を備えたシステム。
条項２．
前記第２の処理済み画像の生成は、前記第２の未処理画像をダウンサンプルする命令を含み、
特徴ベクトルの前記第１のセットは、ｋ次元空間内で表され、特徴ベクトルの前記第２のセットは、ｐ次元空間内で表され、ｋは、ｐよりも大きい、
条項１に記載のシステム。
条項３．
赤外線光源と、
カメラと、
コントローラであって、
第１の時間に、第１の偏光を示す第１の赤外線光によりシーンを照明することと、
前記第１の偏光を示す入射光を使用して、前記第１の時間に第１の画像データを取得するよう前記カメラを動作させることと、
第２の時間に、第２の偏光を示す第２の赤外線光によりシーンを照明することと、
前記第１の偏光を示す入射光を使用して、前記第２の時間に第２の画像データを取得するよう前記カメラを動作させることと、
を行う、前記コントローラと、
コンピューティングデバイスであって、
第１のコンピュータ実行可能命令を記憶したメモリと、
前記第１のコンピュータ実行可能命令を実行するハードウェアプロセッサと、
を含む、前記コンピューティングデバイスと、
を備える、システムであって、
前記第１のコンピュータ実行可能命令は、
部分画像の第１のセットを判定することであって、部分画像の前記第１のセット内の各々の部分画像は、前記第１の画像データ内の特定の領域に対応する、前記判定することと、
部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第１のセットを判定し、
部分画像の第２のセットを判定することであって、部分画像の前記第２のセット内の各々の部分画像は、前記第２の画像データ内の特定の領域に対応する、前記判定することと、
部分画像の前記第２のセットの前記部分画像のうちの１つ以上に対して特徴ベクトルの第２のセットを判定することと、
特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットに基づいて、１つ以上の最新の署名を判定することと、
１つ以上の参照署名と、前記１つ以上の最新の署名の少なくとも一部との比較に基づいて、ユーザ識別子を判定することと、
のためのものである、
前記システム。
条項４．
前記赤外線光源であって、
第１の偏光を有する第１の偏光子を通過する光出力を有する第１の赤外線光源と、
第２の偏光を有する第２の偏光子を通過する光出力を有する第２の赤外線光源と、を含む、前記赤外線光源と、
前記第１の偏光を有する第３の偏光子を含む前記カメラと、
を更に備えた、条項３に記載のシステム。
条項５．
光を選択的にフィルタリングする前記コントローラからの入力に応答した偏光子を更に備え、前記偏光子は、
電気モータにより駆動されるホイールであって、
前記第１の偏光を有する光を通す第１の偏光ウインドウを有する第１のセグメントと、
前記第２の偏光を有する光を通す第２の偏光ウインドウを有する第２のセグメントと、を含む、前記ホイール、
液晶、または
光弾性変調器、のうちの１つ以上を含む、
条項３または４のいずれかに記載のシステム。
条項６．
前記ハードウェアプロセッサは更に、
部分画像の前記第１のセットを判定する前記命令の前に、
人間の掌を表す前記第１の画像データから画像の第３のセットを判定することと、
画像の前記第３のセットから、前記人間の掌の特定の方位を表す画像の第４のセットを判定することと、
画像の前記第４のセットから、前記人間の掌の特定の姿勢を表す画像の第５のセットを判定することであって、前記第１の画像データは、画像の前記第５のセットの少なくとも一部を含む、前記判定することと、
を行う命令により、前記第１の画像データを処理することと、
部分画像の前記第２のセットを判定する前記命令の前に、
前記人間の掌を表す前記第２の画像データから画像の第６のセットを判定することと、
画像の前記第６のセットから、前記人間の掌の前記特定の方位を表す画像の第７のセットを判定することと、
画像の前記第７のセットから、前記人間の掌の前記特定の姿勢を表す画像の第８のセットを判定することであって、前記第２の画像データは、画像の前記第８のセットの少なくとも一部を含む、前記判定することと、
を行う命令により、前記第２の画像データを処理することと、
を行うように、前記第１のコンピュータ実行可能命令を実行する、
条項３、４、または５のいずれかに記載のシステム。
条項７．
前記１つ以上の最新の署名を判定する前記命令は更に、
前記１つ以上の最新の署名を生成するよう、ニューラルネットワークにより特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットのうちの少なくとも一部を処理する、命令を含む、条項３、４、５、または６のいずれかに記載のシステム。
条項８．
前記１つ以上の最新の署名を判定する前記命令は更に、
前記１つ以上の最新の署名を生成するよう、特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットの少なくとも一部を連結させる命令を含む、条項３に記載のシステム。
条項９．
特徴ベクトルの前記第１のセットを判定する前記命令は更に、
人間の掌の表面の画像を特徴付けるよう訓練された第１のニューラルネットワークにより部分画像の前記第１のセット内の前記部分画像のうちの前記１つ以上を処理する命令を含み、前記第１のニューラルネットワークからの出力は、ｎ次元空間内で表現される第１の特徴ベクトルであり、
特徴ベクトルの前記第２のセットを判定する前記命令は更に、
前記人間の掌の内部解剖学的構造の画像を特徴付けるよう訓練された第２のニューラルネットワークにより部分画像の第２のセット内の前記部分画像のうちの前記１つ以上を処理する命令を含み、前記第２のニューラルネットワークからの出力は、ｐ次元空間内で表現される第２の特徴ベクトルであり、ｐはｎよりも小さい、
条項３に記載のシステム。
条項１０．
前記ユーザ識別子を判定する前記命令は更に、
前記最新の署名の少なくとも一部と、１つ以上の前に記憶された参照署名の少なくとも一部との間の対応関係を示す信頼値の第１のセットを判定することであって、前記前に記憶された参照署名は、候補ユーザ識別子と関連付けられる、前記判定することと、
信頼値の前記第１のセットの最大信頼値と関連付けられた前記候補ユーザ識別子の特定の１つに基づいて、前記ユーザ識別子を判定することと、
のための命令を含む、
条項３に記載のシステム。
条項１１．
部分画像の前記第１のセットは、第１の分解能を含み、
部分画像の前記第２のセットが前記第１の分解能よりも低い第２の分解能を有するように、前記第２の画像データをダウンサンプルする命令を更に含む、
条項３、４、５、６、７、８、９、または１０のいずれかに記載のシステム。
条項１２．
第１の偏光を有する赤外線光を使用して、カメラによって取得された第１の画像データにアクセスすることと、
第２の偏光を有する赤外線光を使用して、前記第１の偏光を有する偏光子及び照明により、前記カメラによって取得された第２の画像データにアクセスすることと、
部分画像の第１のセットを判定することであって、部分画像は、前記第１の画像データ内の特定の領域に対応する、前記判定することと、
部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第１のセットを判定することと、
部分画像の第２のセットを判定することであって、部分画像は、前記第２の画像データ内の特定の領域に対応する、前記判定することと、
部分画像の前記第２のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第２のセットを判定することと、
特徴ベクトルの前記第１のセットまたは特徴ベクトルの前記第２のセットのうちの１つ以上に基づいて、１つ以上の最新の署名を判定することと、
前記１つ以上の最新の署名及び１つ以上の前に記憶された参照署名に基づいて、ユーザ識別子を判定することと、
を備えた、方法。
条項１３．
前記第１の画像データは、人間の掌の表面の少なくとも一部を表し、前記第２の画像データは、前記人間の掌の内部解剖学的構造の少なくとも一部を表す、条項１２に記載の方法。
条項１４．
前記１つ以上の最新の署名を判定することは、
特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットの少なくとも一部を連結させて、前記１つ以上の最新の署名を生成することを含む、条項１２または１３のいずれかに記載の方法。
条項１５．
特徴ベクトルの前記第１のセットを判定することは、
人間の掌の表面の画像を特徴付けるよう訓練された第１のニューラルネットワークにより部分画像の前記第１のセットの前記部分画像のうちの前記１つ以上を処理することであって、前記第１のニューラルネットワークからの出力は、ｎ次元空間内で表現される第１の特徴ベクトルである、前記処理すること、
を含み、
特徴ベクトルの前記第２のセットを判定することは、
前記人間の掌の内部解剖学的構造の画像を特徴付けるよう訓練された第２のニューラルネットワークにより部分画像の前記第２のセットの前記部分画像のうちの前記１つ以上を処理することであって、前記第２のニューラルネットワークからの出力は、ｐ次元空間内で表現される第２の特徴ベクトルであり、ｐはｎよりも小さい、前記処理すること、
を含む、
条項１２、１３、または１４のいずれかに記載の方法。
条項１６．
前記ユーザ識別子を前記判定することは、
前記１つ以上の最新の署名と前記前に記憶された参照署名との間のベクトル空間内の距離の第１のセットを判定することであって、前記前に記憶された参照署名は、候補ユーザ識別子と関連付けられる、前記判定することと、
前記ベクトル空間内の距離の前記第１のセットに基づいて、前記ベクトル空間内の前記１つ以上の最新の署名に最も近い前記１つ以上の前に記憶された参照署名の１つを判定することと、
前記１つ以上の前に記憶された参照署名の前記最も近い１つと関連付けられた前記候補ユーザ識別子の特定の１つに基づいて、前記ユーザ識別子を判定することと、
を含む、条項１２、１３、１４、または１５のいずれかに記載の方法。
条項１７．
部分画像の前記第１のセットを判定する前に、
前記第１の偏光を有する前記赤外線光を使用して、前記カメラによって取得された第１の未処理画像データにアクセスすることと、
前記第１の未処理画像データから前記第１の画像データを生成することであって、前記第１の画像データは、
人間の掌を表し、
前記人間の掌の特定の方位を示し、
前記人間の掌の特定の姿勢を示し、
第１の閾値を上回る総輝度を示し、
第２の閾値を下回る総不明瞭度を示し、
修正される、１つ以上の画像を含む、前記生成することと、
部分画像の前記第２のセットを判定する前に、
前記第２の偏光を有する前記赤外線光を使用して、前記カメラによって取得された第２の未処理画像データにアクセスすることと、
前記第２の未処理画像データから前記第２の画像データを生成することであって、前記第２の画像データは、
前記人間の掌を表し、
前記人間の掌の前記特定の方位を示し、
前記人間の掌の前記特定の姿勢を示し、
第１の閾値を上回る総輝度を示し、
第２の閾値を下回る総不明瞭度を示し、
修正される、１つ以上の画像を含む、前記生成することと、
を更に備えた、条項１２、１３、１４、１５、または１６のいずれかに記載の方法。
条項１８．
部分画像の前記第１のセットは、第１の分解能を有し、
部分画像の前記第２のセットが前記第１の分解能よりも低い第２の分解能を有するように、前記第２の画像データをダウンサンプルすることによって、部分画像の前記第２のセットを生成することを更に備えた、
条項１２、１３、１４、１５、１６、または１７のいずれかに記載の方法。
条項１９．
部分画像の前記第１のセットの前記部分画像は、前記カメラの視角内の第１の領域を表し、部分画像の前記第２のセットの前記部分画像は、前記カメラの前記視角内の第２の領域を表し、更に、
前記視角内の前記第２の領域は、前記視角内の前記第１の領域よりも大きい、条項１２、１３、１４、１５、１６、１７、または１８のいずれかに記載の方法。
条項２０．
部分画像の前記第１のセットを前記判定することは更に、
部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に画像変換を適用することを含み、
部分画像の前記第２のセットを前記判定することは更に、
部分画像の前記第２のセット内の前記部分画像のうちの１つ以上に画像変換を適用することを含む、
条項１２、１３、１４、１５、１６、１７、１８、または１９のいずれかに記載の方法。

Claims (15)

1. 赤外線光源と、
   カメラと、
   コントローラであって、
   第１の時間に、第１の偏光を示す第１の赤外線光によりシーンを照明することと、
   前記第１の偏光を示す入射光を使用して、前記第１の時間に第１の画像データを取得するよう前記カメラを動作させることと、
   第２の時間に、第２の偏光を示す第２の赤外線光によりシーンを照明することと、
   前記第１の偏光を示す入射光を使用して、前記第２の時間に第２の画像データを取得するよう前記カメラを動作させることと、
   を行う、前記コントローラと、
   コンピューティングデバイスであって、
   第１のコンピュータ実行可能命令を記憶したメモリと、
   前記第１のコンピュータ実行可能命令を実行するハードウェアプロセッサと、
   を含む、前記コンピューティングデバイスと、
   を備える、システムであって、
   前記第１のコンピュータ実行可能命令は、
   部分画像の第１のセットを判定することであって、部分画像の前記第１のセット内の各々の部分画像は、前記第１の画像データ内の特定の領域に対応する、前記判定することと、
   部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第１のセットを判定し、
   部分画像の第２のセットを判定することであって、部分画像の前記第２のセット内の各々の部分画像は、前記第２の画像データ内の特定の領域に対応する、前記判定することと、
   部分画像の前記第２のセットの前記部分画像のうちの１つ以上に対して特徴ベクトルの第２のセットを判定することと、
   特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットに基づいて、１つ以上の最新の署名を判定することと、
   １つ以上の参照署名と、前記１つ以上の最新の署名の少なくとも一部との比較に基づいて、ユーザ識別子を判定することと、
   のためのものである、
   前記システム。
2. 前記赤外線光源であって、
   第１の偏光を有する第１の偏光子を通過する光出力を有する第１の赤外線光源と、
   第２の偏光を有する第２の偏光子を通過する光出力を有する第２の赤外線光源と、を含む、前記赤外線光源と、
   前記第１の偏光を有する第３の偏光子を含む前記カメラと、
   を更に備えた、請求項１に記載のシステム。
3. 光を選択的にフィルタリングする前記コントローラからの入力に応答した偏光子を更に備え、前記偏光子は、
   電気モータにより駆動されるホイールであって、
   前記第１の偏光を有する光を通す第１の偏光ウインドウを有する第１のセグメントと、
   前記第２の偏光を有する光を通す第２の偏光ウインドウを有する第２のセグメントと、
   を含む、前記ホイール、
   液晶、または
   光弾性変調器、
   のうちの１つ以上を含む、請求項１または２のいずれか一項に記載のシステム。
4. 前記ハードウェアプロセッサは更に、
   部分画像の前記第１のセットを判定する前記命令の前に、
   人間の掌を表す前記第１の画像データから画像の第３のセットを判定することと、
   画像の前記第３のセットから、前記人間の掌の特定の方位を表す画像の第４のセットを判定することと、
   画像の前記第４のセットから、前記人間の掌の特定の姿勢を表す画像の第５のセットを判定することであって、前記第１の画像データは、画像の前記第５のセットの少なくとも一部を含む、前記判定することと、
   を行う命令により、前記第１の画像データを処理することと、
   部分画像の前記第２のセットを判定する前記命令の前に、
   前記人間の掌を表す前記第２の画像データから画像の第６のセットを判定することと、
   画像の前記第６のセットから、前記人間の掌の前記特定の方位を表す画像の第７のセットを判定することと、
   画像の前記第７のセットから、前記人間の掌の前記特定の姿勢を表す画像の第８のセットを判定することであって、前記第２の画像データは、画像の前記第８のセットの少なくとも一部を含む、前記判定することと、
   を行う命令により、前記第２の画像データを処理することと、
   を行うように、前記第１のコンピュータ実行可能命令を実行する、
   請求項１、２、または３のいずれか一項に記載のシステム。
5. 前記１つ以上の最新の署名を判定する前記命令は更に、
   前記１つ以上の最新の署名を生成するよう、ニューラルネットワークにより特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットのうちの少なくとも一部を処理する、命令を含む、請求項１、２、３、または４のいずれか一項に記載のシステム。
6. 前記ユーザ識別子を判定する前記命令は更に、
   前記最新の署名の少なくとも一部と、１つ以上の前に記憶された参照署名の少なくとも一部との間の対応関係を示す信頼値の第１のセットを判定することであって、前記前に記憶された参照署名は、候補ユーザ識別子と関連付けられる、前記判定することと、
   信頼値の前記第１のセットの最大信頼値と関連付けられた前記候補ユーザ識別子の特定の１つに基づいて、前記ユーザ識別子を判定することと、
   のための命令を含む、
   請求項１、２、３、４、または５のいずれか一項に記載のシステム。
7. 第１の偏光を有する赤外線光を使用して、カメラによって取得された第１の画像データにアクセスすることと、
   第２の偏光を有する赤外線光を使用して、前記第１の偏光を有する偏光子及び照明により、前記カメラによって取得された第２の画像データにアクセスすることと、
   部分画像の第１のセットを判定することであって、部分画像は、前記第１の画像データ内の特定の領域に対応する、前記判定することと、
   部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第１のセットを判定することと、
   部分画像の第２のセットを判定することであって、部分画像は、前記第２の画像データ内の特定の領域に対応する、前記判定することと、
   部分画像の前記第２のセット内の前記部分画像のうちの１つ以上に対して特徴ベクトルの第２のセットを判定することと、
   特徴ベクトルの前記第１のセットまたは特徴ベクトルの前記第２のセットのうちの１つ以上に基づいて、１つ以上の最新の署名を判定することと、
   前記１つ以上の最新の署名及び１つ以上の前に記憶された参照署名に基づいて、ユーザ識別子を判定することと、
   を備えた、方法。
8. 前記第１の画像データは、人間の掌の表面の少なくとも一部を表し、
   前記第２の画像データは、前記人間の掌の内部解剖学的構造の少なくとも一部を表す、
   請求項７に記載の方法。
9. 前記１つ以上の最新の署名を判定することは、
   特徴ベクトルの前記第１のセット及び特徴ベクトルの前記第２のセットの少なくとも一部を連結させて、前記１つ以上の最新の署名を生成することを含む、請求項７または８のいずれか一項に記載の方法。
10. 特徴ベクトルの前記第１のセットを判定することは、
    人間の掌の表面の画像を特徴付けるよう訓練された第１のニューラルネットワークにより部分画像の前記第１のセットの前記部分画像のうちの前記１つ以上を処理することであって、前記第１のニューラルネットワークからの出力は、ｎ次元空間内で表現される第１の特徴ベクトルである、前記処理すること、
    を含み、
    特徴ベクトルの前記第２のセットを判定することは、
    前記人間の掌の内部解剖学的構造の画像を特徴付けるよう訓練された第２のニューラルネットワークにより部分画像の前記第２のセットの前記部分画像のうちの前記１つ以上を処理することであって、前記第２のニューラルネットワークからの出力は、ｐ次元空間内で表現される第２の特徴ベクトルであり、ｐはｎよりも小さい、前記処理すること、
    を含む、請求項７、８、または９のいずれか一項に記載の方法。
11. 前記ユーザ識別子を前記判定することは、
    前記１つ以上の最新の署名と、前記前に記憶された参照署名との間のベクトル空間内の距離の第１のセットを判定することであって、前記前に記憶された参照署名は、候補ユーザ識別子と関連付けられる、前記判定することと、
    前記ベクトル空間内の距離の前記第１のセットに基づいて、前記ベクトル空間内の前記１つ以上の最新の署名に最も近い前記１つ以上の前に記憶された参照署名の１つを判定することと、
    前記１つ以上の前に記憶された参照署名の前記最も近い１つと関連付けられた前記候補ユーザ識別子の特定の１つに基づいて、前記ユーザ識別子を判定することと、
    を含む、請求項７、８、９、または１０のいずれか一項に記載の方法。
12. 部分画像の前記第１のセットを判定する前に、
    前記第１の偏光を有する前記赤外線光を使用して、前記カメラによって取得された第１の未処理画像データにアクセスすることと、
    前記第１の未処理画像データから前記第１の画像データを生成することであって、前記第１の画像データは、
    人間の掌を表し、
    前記人間の掌の特定の方位を示し、
    前記人間の掌の特定の姿勢を示し、
    第１の閾値を上回る総輝度を示し、
    第２の閾値を下回る総不明瞭度を示し、
    修正される、１つ以上の画像を含む、
    前記生成することと、
    部分画像の前記第２のセットを判定する前に、
    前記第２の偏光を有する前記赤外線光を使用して、前記カメラによって取得された第２の未処理画像データにアクセスすることと、
    前記第２の未処理画像データから前記第２の画像データを生成することであって、前記第２の画像データは、
    前記人間の掌を表し、
    前記人間の掌の前記特定の方位を示し、
    前記人間の掌の前記特定の姿勢を示し、
    第２の閾値を上回る総輝度を示し、
    第２の閾値を下回る総不明瞭度を示し、
    修正される、１つ以上の画像を含む、
    前記生成することと、
    を更に備えた、請求項７、８、９、１０、または１１のいずれか一項に記載の方法。
13. 部分画像の前記第１のセットは、第１の分解能を有し、
    部分画像の前記第２のセットが前記第１の分解能よりも低い第２の分解能を有するように、前記第２の画像データをダウンサンプルすることによって、部分画像の前記第２のセットを生成することを更に備えた、
    請求項７、８、９、１０、１１、または１２のいずれか一項に記載の方法。
14. 部分画像の前記第１のセットの前記部分画像は、前記カメラの視角内の第１の領域を表し、
    部分画像の前記第２のセットの前記部分画像は、前記カメラの前記視角内の第２の領域を表し、更に、
    前記視角内の前記第２の領域は、前記視角内の前記第１の領域よりも大きい、請求項７、８、９、１０、１１、１２、または１３のいずれか一項に記載の方法。
15. 部分画像の前記第１のセットを前記判定することは更に、
    部分画像の前記第１のセット内の前記部分画像のうちの１つ以上に画像変換を適用することを含み、
    部分画像の前記第２のセットを前記判定することは更に、
    部分画像の前記第２のセットの前記部分画像のうちの１つ以上に画像変換を適用することを含む、
    請求項７、８、９、１０、１１、１２、１３、または１４のいずれか一項に記載の方法。

Images