JP2021531521A - 信頼されたモバイルコンピューティングデバイスに関連してビークル内カメラを使用するシームレスな運転者の認証 - Google Patents

信頼されたモバイルコンピューティングデバイスに関連してビークル内カメラを使用するシームレスな運転者の認証 Download PDF

Info

Publication number
JP2021531521A
JP2021531521A JP2020529580A JP2020529580A JP2021531521A JP 2021531521 A JP2021531521 A JP 2021531521A JP 2020529580 A JP2020529580 A JP 2020529580A JP 2020529580 A JP2020529580 A JP 2020529580A JP 2021531521 A JP2021531521 A JP 2021531521A
Authority
JP
Japan
Prior art keywords
user
vehicle
image
feature data
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020529580A
Other languages
English (en)
Other versions
JP7049453B2 (ja
Inventor
シン，ハヌマント・プラサド・アール
クラガ，ピオトル
チュー，ウェン−シェン
セングプタ，クンタル
ジョンソン，ジョセフ・エドウィン，ジュニア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2021531521A publication Critical patent/JP2021531521A/ja
Application granted granted Critical
Publication of JP7049453B2 publication Critical patent/JP7049453B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2027—Means to switch the anti-theft system on or off with data signals passing through the human body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identity check
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/69—Identity-dependent
    • H04W12/72—Subscriber identity

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

例示的な方法は、モバイルコンピューティングデバイスが、ビークルのビークルコンピューティングシステムとの接続を確立することと、ビークルコンピューティングシステムから、ビークルのユーザの顔の少なくとも１つの画像に関連付けられる特徴データを受け取ることとを含み、顔の少なくとも１つの画像は、ビークルに含まれる画像キャプチャデバイスによってキャプチャされ、さらに、ユーザの顔の少なくとも１つの画像に関連付けられる特徴データと、以前に登録されたユーザの顔の少なくとも１つの画像の特徴データとの間の比較に基づいて、ビークルのユーザと以前に登録されたユーザとの間のマッチを決定することと、マッチに基づいて、ビークルのユーザを認証することと、ビークルのユーザについての認証データをビークルコンピューティングシステムに送信することとを含み、認証データは、マッチを示す。

Description

背景
自動車、モータサイクル、航空機およびウォータークラフトのようなビークルは、機能を実行し、ビークルの乗員に情報、娯楽、支援および／または環境制御を提供するための１つ以上のコンピューティングシステムを含み得る。たとえば、自動車は、音楽、ビデオもしくは他のコンテンツを再生するためのエンターテインメントシステム、情報およびナビゲーション支援を提供するためのナビゲーションシステム、ビークル内キャビンを暖房もしくは冷房するための温度制御システム、サンルーフもしくはウィンドウシェードのような車のさまざまなコンポーネントもしくは機能を調節するための制御システム、または、これらの上記機能のうちのいくつかもしくはすべてを行なう「インフォテインメントシステム（infotainment system）」を含み得る。現代のビークルは、ディスプレイデバイス（たとえば存在感知ディスプレイ）と、オペレーティングシステムおよび１つ以上のアプリケーションを実行するように構成される計算エンジンとを有するインフォテインメントヘッドユニット（ＩＨＵ： infotainment head unit）を備えている。
概要
一般に、本願は、ビークル内カメラと、ビークルに通信可能に結合される信頼されたモバイルコンピューティングデバイスとを用いる、ビークルの運転者のシームレスな認証を行なうための技術を記載する。信頼されたモバイルコンピューティングデバイスは最初に、さまざまな異なるポーズの既知のユーザの顔のデータ（たとえばキャプチャされた画像に関連付けられる顔の特徴データ）をキャプチャするために登録プロセスを行い得る。信頼されたデバイスは、ポーズバケット（pose bucket）のグループのうちのそれぞれのポーズバケットに、当該既知のユーザのデータの各グループを割り当て得る。信頼されたデバイスは、既知のユーザについてのユーザアカウントに既知のユーザのデータを関連付けることにより、データを登録する。その後、信頼されたデバイスは、ビークル内部に位置している未知のユーザの認証データ（たとえば、計算された顔特徴情報のような計算されたテストデータ）を受け取り得、ビークルのビークル内カメラを使用して認証画像がキャプチャされ、計算されたデータ（たとえば特徴データ）が画像から取得され、信頼されたデバイスによって使用される。信頼されたデバイスは、未知のユーザについての認証特徴データを既知のユーザの登録された特徴データと比較することにより、未知のユーザを認証し得る。比較に基づいて、信頼されたデバイスは、認証プロセスの結果をビークルに送り、ビークルは、次いでビークルのインフォテインメントヘッドユニットにおいて、（たとえば、そのユーザのプロファイルおよび／またはアカウント情報に基づいて）認証されたユーザのためにカスタマイズされるログイン動作を行ない得る。結果として、さまざまな記載される技術によって、このユーザデータのセキュリティを保護するために、信頼されたデバイス上にのみ承認されたユーザの登録特徴データを格納しつつ、ビークルの運転者のシームレスかつ信頼性のある認証が可能になる。いくつかの場合、信頼されたモバイルコンピューティングデバイスは、登録された特徴データをビークルコンピューティングシステムに送信し得る。ビークルコンピューティングシステムは、次いで、未知のユーザについての認証特徴データを既知のユーザの受け取られた登録された特徴データと比較することにより、ビークルにおいて未知のユーザの認証を行なうように構成され得る。
一例において、方法は、モバイルコンピューティングデバイスが、ビークルのビークルコンピューティングシステムとの接続を確立することと、接続を確立した後、モバイルコンピューティングデバイスが、ビークルのユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データをビークルコンピューティングシステムから受け取ることとを含み、ビークルのユーザの顔の少なくとも１つの画像は、ビークルの少なくとも部分に接続される画像キャプチャデバイスによってキャプチャされる。当該例示的な方法はさらに、モバイルコンピューティングデバイスが、第１の特徴データと、モバイルコンピューティングデバイスの以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、ビークルのユーザと以前に登録されたユーザとの間のマッチを決定することと、モバイルコンピューティングデバイスが、マッチに基づいてビークルのユーザを認証することと、モバイルコンピューティングデバイスが、ビークルのユーザについての認証データをビークルコンピューティングシステムに送信することとを含み、認証データは、マッチを示す。
別の例において、コンピュータ読取可能記憶媒体は、命令を格納しており、命令は、実行されると、少なくとも１つのプロセッサに、ビークルのビークルコンピューティングシステムとの接続を確立することと、接続を確立した後、ビークルのユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データをビークルコンピューティングシステムから受け取ることとを行わせ、ビークルのユーザの顔の少なくとも１つの画像は、ビークルの少なくとも部分に接続される画像キャプチャデバイスによってキャプチャされ、さらに、第１の特徴データと、モバイルコンピューティングデバイスの以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、ビークルのユーザと以前に登録されたユーザとの間のマッチを決定することと、マッチに基づいて、ビークルのユーザを認証することと、ビークルのユーザについての認証データをビークルコンピューティングシステムに送信することとを行わせ、認証データは、マッチを示す。
別の例において、モバイルコンピューティングデバイスは、少なくとも１つのプロセッサと、少なくとも１つのコンピュータ読取可能記憶デバイスとを含んでいる。少なくとも１つのコンピュータ読取可能記憶デバイスは、命令を格納しており、命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ビークルのビークルコンピューティングシステムとの接続を確立することと、接続を確立した後、ビークルのユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データをビークルコンピューティングシステムから受け取ることとを行わせ、ビークルのユーザの顔の少なくとも１つの画像は、ビークルの少なくとも部分に接続される画像キャプチャデバイスによってキャプチャされ、さらに、第１の特徴データと、モバイルコンピューティングデバイスの以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、ビークルのユーザと以前に登録されたユーザとの間のマッチを決定することと、マッチに基づいて、ビークルのユーザを認証することと、ビークルのユーザについての認証データをビークルコンピューティングシステムに送信することとを行わせ、認証データは、マッチを示す。
別の例において、方法は、ビークルのビークルコンピューティングシステムが、モバイルコンピューティングデバイスとの接続を確立することを含み、ビークルコンピューティングシステムは、インフォテインメントヘッドユニットを含み、さらに、ビークルコンピューティングシステムが、ビークルの内部におけるユーザの存在を決定することと、ビークルの内部におけるユーザの存在を決定した後、ビークルコンピューティングシステムが、ビークルの少なくとも部分に接続される画像キャプチャデバイスを使用して、ユーザの顔の少なくとも１つの画像をキャプチャすることとを含む。当該例示的な方法はさらに、ビークルコンピューティングシステムが、ユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データを決定することと、ビークルコンピューティングシステムが、ユーザについての認証データを受け取ることとを含み、認証データは、第１の特徴データと、以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、ユーザと、以前に登録されたユーザとの間のマッチを示し、さらに、ビークルコンピューティングシステムが、ユーザについての認証データに基づいて、インフォテインメントヘッドユニットにユーザをログインするよう、ユーザアカウント情報にアクセスすることを含む。
別の例において、コンピュータ読取可能記憶媒体は、命令を格納しており、命令は、実行されると、少なくとも１つのプロセッサに、モバイルコンピューティングデバイスとの接続を確立することと、ビークルの内部におけるユーザの存在を決定することと、ビークルの内部におけるユーザの存在を決定した後、ビークルの少なくとも部分に接続される画像キャプチャデバイスを使用して、ユーザの顔の少なくとも１つの画像をキャプチャすることと、ユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データを決定することと、ユーザについての認証データを受け取ることとを行わせ、認証データは、第１の特徴データと、以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、ユーザと、以前に登録されたユーザとの間のマッチを示し、さらに、ユーザについての認証データに基づいて、インフォテインメントヘッドユニットにユーザをログインするよう、ユーザアカウント情報にアクセスすることを行わせる。
別の例において、ビークルコンピューティングシステムは、少なくとも１つのプロセッサと、少なくとも１つのコンピュータ読取可能記憶デバイスとを含む。少なくとも１つのコンピュータ読取可能記憶デバイスは命令を格納しており、命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、モバイルコンピューティングデバイスとの接続を確立することを行わせ、ビークルコンピューティングシステムは、インフォテインメントヘッドユニットを含み、さらに、ビークルの内部におけるユーザの存在を決定することと、ビークルの内部におけるユーザの存在を決定した後、ビークルの少なくとも部分に接続される画像キャプチャデバイスを使用して、ユーザの顔の少なくとも１つの画像をキャプチャすることと、ユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データを決定することと、ユーザについての認証データを受け取ることとを行わせ、認証データは、第１の特徴データと、以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、ユーザと、以前に登録されたユーザとの間のマッチを示し、さらに、ユーザについての認証データに基づいて、インフォテインメントヘッドユニットにユーザをログインするよう、ユーザアカウント情報にアクセスすることを行わせる。
１つ以上の例の詳細を添付の図面および以下の説明で述べる。本開示の他の特徴、目的および利点は、記載および図面ならびに添付の請求の範囲から明白になるであろう。
本開示の１つ以上の局面に従った、ビークルのユーザを認証するためにモバイルコンピューティングデバイスと通信するように構成される例示的なビークルコンピューティングシステムを含むビークルの内部の側面図を示す概念図である。 本開示の１つ以上の局面に従った、ビークルの内部のさらなる詳細を示す概念図である。 本開示の１つ以上の局面に従った、顔登録動作を行なう例示的なコンピューティングデバイスを示す概念図である。 本開示の１つ以上の局面に従った、例示的なコンピューティングシステムを示すブロック図である。 本開示の１つ以上の局面に従った、例示的な運転者乗込および認証プロセスを示す図である。 本開示の１つ以上の局面に従った例示的な顔登録プロセスを示す図である。 本開示の１つ以上の局面に従った、例示的なコンピューティングシステムによって行なわれる例示的な動作を示すフローチャートである。 本開示の１つ以上の局面に従った、例示的なビークルコンピューティングシステムによって行なわれる例示的な動作を示すフローチャートである。
詳細な説明
上述したように、現代のビークルは、ディスプレイデバイス（たとえば存在感知ディスプレイ）と、オペレーティングシステムおよび１つ以上のアプリケーションを実行するように構成される計算エンジンとを有するインフォテインメントヘッドユニット（ＩＨＵ）を備えている。ＩＨＵは、ユーザが運転中にリッチでパーソナライズされたエクスペリエンスを有することを可能にする。いくつか例示すると、ＩＨＵによって提供されるアプリケーションによって、ユーザは、好みの音楽を聞いたり、Ｅメールをブラウズしたり、または、お気に入りの行き先および／もしくは頻繁な行き先を選択したりすることが可能になり得る。ユーザのパーソナライズされたエクスペリエンスは、ＩＨＵ上のユーザごとのアカウントにユーザ固有のプロファイルが格納されることにより達成され得る。
いくつかの場合において、アカウントが最初に作成された時にビークルとペアリングされるキーフォブまたは外部デバイス（たとえば携帯電話）は、ユーザを識別し、ＩＨＵにログインさせ得る。しかしながら、キーフォブまたは外部デバイスが単に存在するだけでは必ずしも、ビークルの特定のユーザ、既知のユーザまたは以前に識別されたユーザの認証が達成されない。ある場合において、ＩＨＵはさらに、ＩＨＵへのログインのための明示的な許可を可能にするために、既知の信頼されたデバイスのユーザが当該ユーザのデバイス上にパーソナルパスコードまたはパスワードを入力することを促し得る。しかしながら、このアプローチは潜在的に、シームレスな「乗り込んで運転（get-in-and drive）」というエクスペリエンスについてのユーザの期待を打ち消し得る。
現代の自動車は、異なるレベルの自律運転をサポートする。いくつかの自動車は、運転者の注意深さを監視するために、または、自律モードへの安全なハンドオフ（handoff）および／または自律モードからの安全なハンドオフを決定するために、車内カメラを使用する。１つのアプローチは、パーソナルモバイルデバイス上でのフェイスアンロック機能と同様の顔ベースの識別を提供するために車内カメラを活用することである。しかしながら、この顔ベースの認証プロセスは典型的に、カメラが異なるポーズのユーザの顔特徴／バイオメトリック特徴をキャプチャするために、方向付けされたパターンでユーザが顔を移動させることを伴い得る登録ステップを伴う。各ポーズは、そのポーズに関連付けられる顔特徴または他のバイオメトリック特徴の別個のグループに関連付けられ得る。ビークル内においてビークルのカメラを使用して登録を直接的に行なうことには、ある困難が存在し得る。ユーザは、運転者に対向するカメラを見ている間、同時に、ユーザの頭を移動させるためにビークルから任意の視覚的指示または他の指示を受け取り得ないからである。
本願は、ビークル内カメラと、ビークルに通信可能に結合される信頼されたモバイルコンピューティングデバイスとを用いて、ビークルの運転者のシームレスな認証を行なうための技術を記載する。当該技術は、顔画像情報のユーザプライバシーを保証しつつ、信頼性のある認証メカニズムおよびシームレスなユーザエクスペリエンスを提供し得る。信頼されたモバイルコンピューティングデバイスは最初に、さまざまな異なるポーズの既知のユーザの顔の画像データ（たとえば、顔特徴データのような計算されたデータ）をキャプチャするために、登録プロセスを行ない得る。本願明細書において使用されるように、「画像データ」という用語は、たとえばユーザの顔のキャプチャされた画像から計算されるかまたは別の態様で決定されるデータ（たとえば特徴データ）を指す。信頼されたデバイスは、既知のユーザの画像データの各グループをポーズバケットのグループのうちのそれぞれのポーズバケットに割り当て得る。信頼されたデバイスは、既知のユーザについてのユーザアカウントに既知のユーザの画像データを関連付けることによって画像データを登録する。次いで、信頼されたデバイスは、ビークルの内部に位置している未知のユーザの認証画像データ（たとえば画像に関連付けられる計算された顔特徴データのようなテスト画像データ）を受け取り得る。認証画像は、ビークルのビークル内カメラを使用してキャプチャされ、計算された画像データ（たとえば特徴データ）は、画像から得られるとともに、信頼されたデバイスによって使用される。信頼されたデバイスは、当該未知のユーザについての認証特徴データを、既知のユーザの登録された特徴データと比較することにより、未知のユーザを認証し得る。当該比較に基づいて、信頼されたデバイスは、ビークルへ認証プロセスの結果を送信し、次いで、ビークルは、ＩＨＵにおいて、認証されたユーザのために（たとえば、そのユーザのプロファイルおよび／またはアカウント情報に基づいて）カスタマイズされるログイン動作を行ない得る。いくつかの場合、信頼されたモバイルコンピューティングデバイスは、登録された特徴データをビークルコンピューティングシステムに送信し得、ビークルコンピューティングシステムは次いで、未知のユーザについての認証特徴データを既知のユーザの受け取られた登録された特徴データと比較することによって、ビークルにおいて未知のユーザの認証を行なうように構成され得る。
いくつかの例では、コンピューティングデバイスは、未知のユーザの顔の認証特徴データに関連付けられるポーズバケットを決定し得、認証特徴データに関連付けられるポーズバケットと同じポーズバケットに含まれる既知のユーザの特徴データを選択し得、かつ、未知のユーザが既知のユーザであるか否かを決定するために、選択された特徴データを認証特徴データと比較し得る。別の例として、コンピューティングデバイスは、既知のユーザの登録された特徴データのどれが未知のユーザについての認証特徴データに最も類似しているか決定するために、認証特徴データを登録された特徴データのグループの各々と比較し得る。コンピューティングデバイスは、ポーズバケットにかかわらず、既知のユーザの最も類似した登録された特徴データに基づいて、未知のユーザが既知のユーザであるか否かを決定し得る。
いくつかの異なるポーズバケットに含まれる特徴データを登録することによって、信頼されたデバイスは、ビークルの現在のユーザのような未知のユーザを認証するためにより正確に顔認識を行ない得る。たとえば、いくつかのポーズバケットに含まれる既知のユーザの特徴データを登録することによって、認証特徴データに関連付けられるポーズバケット（たとえば未知のユーザの顔のポーズ）が、既知のユーザの登録された特徴データを含むポーズバケット（たとえば登録された特徴データにおける既知のユーザのポーズ）に類似する確率が増加し得る。未知のユーザの認証特徴データのポーズが既知のユーザの１つ以上の登録された特徴データのポーズに類似する確率を増加させることによって、未知のユーザが実際は既知の承認されたユーザである場合に当該未知のユーザを誤って拒絶する確率が低減され得る。いくつかの場合において、未知のユーザの認証特徴データのポーズが既知のユーザの１つ以上の登録された特徴データのポーズに類似する確率を増加させることによって、未知のユーザが既知の承認されたユーザでない場合に当該未知のユーザを誤って受け入れる確率が低減され得る。これにより、コンピューティングデバイスは、未知のユーザのポーズにかかわらず、未知のユーザの特徴データをより正確に認証し得る。
図１は、例示的なビークルコンピューティングシステム１００を含むビークル（たとえば自動車）の内部の側面図を示す概念図である。図１は、ビークルコンピューティングシステム１００のコンポーネントに加えて、ビークル内部の断面視図を示す。ビークルコンピューティングシステム１００は、ユーザ入力を検出および処理するように構成される。
図１に示されるビークルは自動車であってもよいが、本開示の局面はさらに、トラック、モータサイクル、航空機、ウォータークラフト、電車または他のビークルを含む他のタイプのビークルに適用可能であってもよい。図１では、運転者１５０は通常、シート１５２を占有し得る。自動車のシート１５２は、シート１５２の乗員が物理的にハンドル１５４を制御し得るように、ビークルのハンドル１５４の直接的に後ろに位置決めされ得る。シート１５２は、図１に示されるビークル内において、ルーフ１５８の下に位置決めされる。ハンドル１５４は、ダッシュボード１５６から突出し得る。少なくとも１つの搭乗者シートは、シート１５２に横方向に隣接して位置決めされ得る。他の搭乗者シートは、シート１５２の後ろに位置決めされ得るか、または、シート１５２の前に位置決めされ得る。
各々がビークルコンピューティングシステム１００に含まれ得るデバイス、コンポーネントおよびモジュールの集合がさらに図１に示される。ビークルコンピューティングシステム１００は、存在感知パネル１０２およびカメラ１０４ならびにディスプレイ１１２および制御ユニット１０６を含み得るが、これらに限定されない。存在感知パネル１０２およびカメラ１０４のようなビークルコンピューティングシステム１００の１つ以上のコンポーネントは、自動車の前側の運転者シートおよび前側の搭乗者シートにおいて着座する乗員に直接的かつ物理的にアクセス可能であり得、センターコンソール１０１内、センターコンソール１０１の近傍、またはセンターコンソール１０１上に位置し得る。そのようなコンポーネントは、そのような乗員の容易に手の届くところにあり得、さらにまたは代替的には、バックシートのようなビークルの別の搭乗者エリアに位置決めされ得る。いくつかの例において、コンポーネントは、腕を伸ばしてコンポーネントに到達するためにビークルの乗員が自身のシートにおける位置を変える必要がない場合に、容易に手の届くところにあり得る。換言すると、たとえば、多くの運転者の場合、ハンドル、スティックシフトおよびセンターコンソールの通常の位置が、運転者の容易に手の届くところにあると考えられ得る。さらに以下に記載するように、存在感知パネル１０２およびカメラ１０４は、ビークルコンピューティングシステム１００のための入力デバイスとして機能し得る。いくつかの例において、ビークルの乗員によって必ずしも物理的なアクセスを必要し得ないビークルコンピューティングシステム１００の１つ以上のコンポーネント（いくつかの例では、たとえばディスプレイ１１２および制御ユニット１０６）は、ダッシュボード１５６内に位置決めされ得るか、ダッシュボード１５６上に位置決めされ得るか、または、ダッシュボード１５６へ統合され得る。そのようなコンポーネントは、ビークルの乗員に対向するかまたは近傍に位置する自動車ダッシュボードおよび／またはコンソールの部分として統合され得る。この開示においてさらに記載されるように、ビークルコンピューティングシステム１００は、グラフィカルユーザインターフェイスを出力し得るディスプレイ１１２を含み得る。いくつかの場合、付加的なカメラがビークル内に設けられ得る。たとえば、図１に示されるように、ハンドル１５４は、ユーザ対向カメラ１１１を含み得る。いくつかの場合において、付加的なユーザ対向カメラは、ダッシュボード１５６上、ルーフ１５８上、コンソール１０１もしくはパネル１０２上および／またはディスプレイ１１２上といった、ビークルの他の要素またはコンポーネント上に位置決めされ得る。いくつか場合において、付加的なカメラは、ビークルのバックミラーまたはウインドシールド上に位置決めされ得る。一般に、車内カメラ（たとえば１０４／１１１）は、ビークルの１つ以上の部分またはコンポーネントにマウントされ得るか、または、別の態様で接続され得る。
ユーザ１５０はシート１５２に着座する。ユーザ１５０は、運転者であり得るが、ユーザ１５０はさらに搭乗者または他のビークル乗員であり得る。図１において、ユーザ１５０は、しばしば（たとえば、ハンドル１５４およびダッシュボード１５６によって特徴付けられる）フロントシートと考えられ得る位置に存在するのが示されるが、ユーザ１５０は、バックシートを含むビークル内の別の位置に着座し得る。
図１の例では、ユーザ１５０は、ビークルを運転または動作し得、ビークルの１つ以上のコンポーネントとインタラクションし得、および／または、入力デバイスあるいは存在感知パネル１０２もしくカメラ１０４において入力を提供し得る。図１では、ユーザ１５０が存在感知パネル１０２とインタラクションしているのが示される。
存在感知パネル１０２は、存在感知パネル１０２の位置において、１つ以上のタップ、ジェスチャおよび／または他のユーザ入力を検出し得る。そのようなタップ、ジェスチャ、または他の入力は、ユーザ１５０の１本以上の指に由来し得るか、または、ユーザ１５０によって使用されるスタイラスもしくは他のデバイスに由来し得る。そのような入力は、存在感知パネル１０２の表面上にて与えられるか、または、存在感知パネル１０２の表面のしきい値距離内にて与えられる。図１の例示において、しきい値距離は、ルーフ１５８に向かって存在感知パネル１０２の上を延在し得る。
存在感知パネル１０２の位置において１つ以上の入力を検出することに応答して、存在感知パネル１０２は、存在感知パネル１０２によって検出される入力の指示をＵＩモジュール１０８に出力し得る。いくつかの例において、ＵＩモジュール１０８は、入力の指示に基づいて、当該入力に関する情報を決定し得る。そのような情報はたとえば、当該入力に対応する１つ以上のライン、文字または形状を示し得る。ＵＩモジュール１０８は、当該入力に関する情報を１つ以上のアプリケーションモジュール１１０に出力し得る。当該入力に関する情報に応答して、１つ以上のアプリケーションモジュール１１０は、入力に対応する動作を決定し得、および／または、動作を行ない得る。いくつかの例において、当該入力に関する情報に応答して、１つ以上のアプリケーションモジュール１１０は、当該入力、当該動作、または、行なわれるべき動作に関する情報をディスプレイ１１２に出力し得る。
記載および図示されるように、ビークルコンピューティングシステム１００のうちのいくつかまたはすべてがダッシュボード１５６内に収容され得る。ダッシュボード１５６は、いくつかの例において、プラスチック、ビニール、ゴム、アルミニウム、鋼または任意の他の好適な材料から構成され得る。制御ユニット１０６は、少なくとも１つのプロセッサおよび／または少なくとも１つの記憶デバイスを含み得、筐体１０５内に収容され得る。筐体１０５も、プラスチック、ビニール、ゴム、アルミニウム、鋼または任意の他の好適な材料から構成され得る。いくつかの例において、筐体１０５はさらに、ビークルコンピューティングシステム１００のために機能を提供する１つ以上の電気コンポーネントを包含するかまたは別の態様で保護する剛性ケースであってもよい。いくつかの例において、筐体１０５は、自動車ダッシュボードまたはコンソールに取り付けられ得るか、マウントされ得るか、または、別の態様で統合され得る。
制御ユニット１０６は、図４にさらに示すように、ハードウェア、ファームウェアおよびソフトウェアの組み合わせといった１つまたは１つの以上のモジュールのための動作環境またはプラットホームを提供し得る。たとえば、制御ユニット１０６は、命令を実行するとともに１つ以上のモジュールのデータを格納し得る１つ以上のプロセッサおよび記憶デバイスを含み得る。制御ユニット１０６はさらに、いくつかの動作を例示すると、コンポーネントを制御し、コンポーネントを構成し、および／またはコンポーネントと情報を通信するように、存在感知パネル１０２、カメラ１０４およびディスプレイ１１２を含む１つ以上の他のソフトウェアおよび／またはハードウェアコンポーネントに動作可能に結合され得る。
ディスプレイ１１２は、ユーザまたはビークル乗員に視覚情報を出力することができる、液晶ディスプレイ（ＬＣＤ）、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ｅ−インク、または、同様のモノクロームもしくはカラーディスプレイのうちのいずれか１つ以上を使用するディスプレイデバイスのような出力デバイスとして機能し得る。いくつかの例において、ディスプレイ１１２はさらに、入力デバイスとして機能し得る。そのため、ディスプレイ１１２は入力デバイスおよび出力デバイスの両方として機能する。そのような例において、ディスプレイ１１２は、統合された存在感知入力デバイスと、ディスプレイデバイスとを含み得る。たとえば、ディスプレイ１１２は、抵抗型タッチスクリーン、表面音響波タッチスクリーン、容量型タッチスクリーン、投射型容量タッチスクリーン、感圧スクリーン、音響パルス認識タッチスクリーン、または、別の存在感知スクリーン技術といった存在感知スクリーンを使用する存在感知入力デバイスとして機能し得る。ユーザ入力に基づいて、ディスプレイ１１２はユーザに出力を提示し得る。たとえば、ディスプレイ１１２は、ビークルコンピューティングシステム１００において実行されるアプリケーション（たとえばナビゲーションアプリケーション）のさまざまなユーザインターフェイスを提示し得る。運転者のようなビークルの乗員は、そのようなアプリケーションのうちの１つ以上とインタラクションするようユーザ入力を提供し得る。
ビークルコンピューティングシステム１００は、支援、通知、エンターテインメント、または、ビークルの乗員とのユーザインタラクションを必要とする他のタスクを行うよう動作し得る。ビークルコンピューティングシステム１００は、いくつかの例において、インフォテインメントヘッドユニット（ＩＨＵ）、インフォテインメントシステムまたはそのサブコンポーネントと称され得る。たとえば、ビークルコンピューティングシステム１００は、ビークルの１人以上の乗員のために機能を実行または情報を処理する１つ以上のアプリケーションモジュール１１０を含み得る。たとえば、ビークルコンピューティングシステム１００は、目的地への方向を提供するナビゲーションサービスを提供し得る。ビークルコンピューティングシステム１００はさらに、クエリに応答しておよび／またはプリエンプティブな支援または推奨として、情報を提供する情報抽出サービスを提供し得る。ビークルコンピューティングシステム１００はさらに、ビークルに関するビークルデータ、または、オーディオもしくはビデオのようなマルチメディアを提供し得る。ビークルコンピューティングシステム１００によって提供され得る機能のいくつかの例のみが言及されており、ビークルコンピューティングシステム１００は多くの付加的な能力を提供してもよい。この態様および他の態様により、ビークルコンピューティングシステム１００は、ビークルの１人以上の乗員のための運転エクスペリエンスまたはライドエクスペリエンスを向上させ得る。
いくつかの例において、ビークルコンピューティングシステム１００は、存在感知パネル１０２によって検出される入力、カメラ１０４によって検出される入力、および／または、存在感知パネル１０２およびカメラ１０４の組み合わせによって検出される入力を通じて、制御され得る。ビークルコンピューティングシステム１００はさらに、１つ以上の付加的な入力デバイス（たとえばマイクロフォン、物理的なボタンもしくはスイッチ、または、他のタイプの入力デバイス）によって検出される入力を通じて制御され得る。
いくつかの例において、存在感知パネル１０２は単に、存在感知パネル１０２において直接的かつ物理的に生じ得るユーザ入力によって提供されるタッチ入力のための入力デバイスとして機能し得る。たとえば、存在感知パネル１０２は、存在感知デバイスを使用するマルチタッチ存在感知入力デバイスとして機能し得、その例としては、抵抗型タッチスクリーンもしくはタッチパネル、表面音響波タッチスクリーンもしくはタッチパネル、容量型タッチスクリーンもしくはタッチパネル、投射型容量タッチスクリーンもしくはタッチパネル、感圧スクリーンもしくはタッチパネル、音響パルス認識タッチスクリーンもしくはタッチパネル、または、別の存在感知スクリーンもしくはタッチパネル技術がある。いくつかの例において、存在感知パネル１０２は、存在感知パネル１０２に関連付けられる存在感知コンポーネントにおける対象、当該存在感知コンポーネントの近傍の対象、当該存在感知コンポーネントの範囲内における対象を検出し得る。１つの例示的な範囲として、存在感知パネル１０２は、存在感知パネル１０２の２ｃｍ以内にある指またはスタイラスのような対象を検出し得る。存在感知パネル１０２は、対象が検出された存在感知入力デバイスの位置（たとえば（ｘ，ｙ）座標）を決定し得る。別の例示的な範囲では、存在感知パネル１０２は、存在感知パネル１０２から６インチ以下の対象を検出し得る。他の範囲も可能である。存在感知パネル１０２は、容量技術、誘導技術、および／または、光学認識技術を用いてユーザの指またはスタイラスなどを検出し得る。
図１に示される例において、存在感知パネル１０２は、カメラ１０４の上のセンターコンソール１０１に位置決めされ得、センターコンソール１０１は、存在感知パネル１０２がカメラ１０４のレンズまたは視野を物理的に不明瞭であっても、カメラ１０４が存在感知パネル１０２の直上の画像をキャプチャするようにカメラ１０４に対して透過的であり得る。たとえば、カメラ１０４は、赤外線を受け取ることにより画像をキャプチャする赤外線カメラであり得、存在感知パネル１０２は、カメラ１０４がルーフ１５８と存在感知パネル１０２との間に由来する赤外線を受け取ることができるように、赤外線に透過的であり得る。他の例において、カメラ１０４は、存在感知パネル１０２の直下に位置決めされなくてもよく、カメラ１０４はビークル内のどこか他のところに位置決めされてもよい。たとえば、図１に示されるように、ハンドル１５４はユーザ対向カメラ１１１を含み得る。ある場合には、付加的なユーザ対向カメラは、ダッシュボード１５６、ルーフ１５８、コンソール１０１もしくはパネル１０２、および／または、ディスプレイ１１２上といった、ビークルの他の要素またはコンポーネント上に位置決めされ得る。
いくつかの例において、存在感知パネル１０２は、入力デバイスおよび出力デバイスの両方として機能し得る。そのような例において、存在感知パネル１０２は、統合された存在感知入力デバイスおよびディスプレイデバイスを含み得、ユーザまたはビークル乗員に視覚情報を出力することができる、液晶ディスプレイ（ＬＣＤ）、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ｅ−インク、または、同様のモノクロームもしくはカラーディスプレイのうちのいずれか１つ以上であり得る。存在感知パネル１０２が入力デバイス機能および出力デバイス機能の両方を含んでいる他の例において、存在感知パネル１０２は、入力を受け取るための存在感知入力デバイスと、出力を提供するためのディスプレイデバイスという２つの別個のコンポーネントによって実現され得る。存在感知パネル１０２が入力デバイス機能および出力デバイス機能の両方を含んでいる例において、存在感知パネル１０２はそれでも、カメラ１０４の上のセンターコンソール１０１に位置決めされ得、センターコンソール１０１は、存在感知パネル１０２の下に位置決めされる場合であっても、カメラ１０４が存在感知パネル１０２の直上の画像をキャプチャするようにカメラ１０４に対して透過的であり得る。
カメラ１０４および／またはカメラ１１１は、カメラまたは電荷結合素子のような任意の適切なタイプの画像取得デバイスまたは画像キャプチャデバイスのうちのの１つ以上であり得る。いくつかの例において、カメラ１０４は、高い視野および浅い焦点深度を有する１つ以上の赤外線カメラであってもよく、特定の視野を有する、ビークル内において概して上方を向くよう方位付けされるバックライト赤外線カメラであってもよい。他の例において、カメラ１０４は、１つ以上の他の赤外線カメラ、サーモグラフィックカメラ、熱画像カメラ、光感応カメラ、レンジセンサ、トモグラフィデバイス、レーダデバイス、赤緑青（ＲＧＢ）カメラ、または、超音波カメラを含み得る１つ以上の他のタイプのカメラまたは画像センサであり得るか、または、当該１つ以上の他のタイプのカメラまたは画像センサを含み得る。いくつかの例において、カメラ１０４は、コンピュータビジョン技術の用途に適切な任意の画像キャプチャデバイスであり得る。使用されるセンサまたはカメラのタイプに依存して、結果得られる画像は、２次元画像、３次元ボリュームまたは画像シーケンスを含み得る。ピクセル値は典型的に１つ以上のスペクトルバンドにおける光強度に対応するが、音波もしくは電磁波の深さ、吸収もしくは反射率、または、核磁気共鳴のようなさまざまな物理的測定値にも関係付けられ得る。
カメラ１０４は、運転者のようなビークルの乗員がたとえば視野内でジェスチャをする際に当該乗員が腕、手首、手、スタイラスおよび／または指を動かすと、乗員の動作をキャプチャするように構成され得る。カメラ１０４は、ユーザ１５０の顔の画像をキャプチャするように構成され得る。
上述したように、ビークルコンピューティングシステム１００はユーザインターフェイス（ＵＩ）モジュール１０８およびアプリケーションモジュール１１０を含み得る。ＵＩモジュール１０８およびアプリケーションモジュール１１０は、ビークルコンピューティングシステム１００または１つ以上の他のリモートコンピューティングデバイスに存在するとともにビークルコンピューティングシステム１００または１つ以上の他のリモートコンピューティングデバイスによって実行されるソフトウェア、ハードウェア、ファームウェア、または、ハードウェア、ソフトウェアおよびファームウェアの混合を使用して、本願明細書において記載される動作を行ない得る。したがって、ＵＩモジュール１０８およびアプリケーションモジュール１１０は、ハードウェア、ソフトウェア、ならびに／または、ハードウェアおよびソフトウェアの組み合わせとして、実現され得る。ビークルコンピューティングシステム１００は、存在するハードウェア上で実行されるバーチャルマシンとして、または、当該バーチャルマシン内で、ＵＩモジュール１０８、アプリケーションモジュール１１０、または、１つ以上の他のモジュールを実行し得る。ＵＩモジュール１０８およびアプリケーションモジュール１１０はさまざまな態様で実現され得る。たとえば、ＵＩモジュール１０８およびアプリケーションモジュール１１０は、ダウンロード可能なアプリケーションもしくは「アプリ」、または、プリインストールされたアプリケーションもしくは「アプリ」として実現され得る。別の例では、ＵＩモジュール１０８およびアプリケーションモジュール１１０は、ビークルコンピューティングシステム１００のオペレーティングシステムの部分として実現され得る。
アプリケーションモジュール１１０は、ビークルコンピューティングシステム１００上で任意のさまざまな動作を行なう機能を含み得る。たとえば、アプリケーションモジュール１１０は、いくつか例示すると、ナビゲーションアプリケーション、天候アプリケーション、電話ダイヤラーアプリケーション、情報抽出アプリケーション、マルチメディアアプリケーション、ビークル情報アプリケーション、Ｅメールアプリケーション、テキストメッセージングアプリケーション、インスタントメッセージングアプリケーション、ソーシャルネットワーキングアプリケーション、天候アプリケーション、株式市場アプリケーション、緊急警戒アプリケーション、スポーツアプリケーションを含み得る。一般に、ビークルコンピューティングシステム１００は、アプリケーションモジュール１１０を通じてまたは別の態様でに関わらず、動作を行なうように構成され得る。当該動作は、温度制御システム（たとえば、暖房およびエアコンディショニング）、オーディオまたはインフォテインメントシステム、シート、ウィンドウ、サンシェードまたはウインドシールドワイパー、クルーズ制御、キャビン内ディスプレイシステム、ハンドル制御、ヘッドレスト、アームレスト、サイドミラーまたはバックミラー、衝突センサに関係する動作を含む。そのような動作は、１つ以上のアプリケーションモジュール１１０によって制御され得、または、ビークル内の他のシステムによって制御され得る。いくつかの例において、そのような動作はビークルの非セーフティ機能に限定され得る。他の例において、そのような動作は、セーフティに関連する（たとえば、方向指示器を作動させること、ミラーを調節すること、シートベルトを調節することまたはシートベルトを締める／外すこと、クルーズ制御機能を調節すること、加速すること、ブレーキをかけること）と考えられ得るビークルの１つ以上の特徴を包含し得る。
アプリケーションモジュール１１０のうちの１つ以上は、ビークルコンピューティングシステム１００の制御ユニット１０６内で動作可能であると示されているが、ビークルコンピューティングシステム１００に通信可能に結合されるリモートコンピューティングデバイス（たとえばモバイルコンピューティングデバイス１７０）によって動作可能であってもよい。そのような例において、リモートコンピューティングデバイスにおいて実行されるアプリケーションモジュールは、任意の好適な形態のデータ通信（たとえば有線または無線のネットワーク、ニアフィールド通信またはブルートゥース（登録商標）のような短距離無線通信など）を使用して、リモートコンピューティングデバイスにコンテンツおよび意図する情報の送信を行わせる。いくつかの例において、リモートコンピューティングデバイスは、ビークルコンピューティングシステム１００に含まれるコンピューティングデバイスとは別個のコンピューティングデバイスであり得る。たとえば、リモートコンピューティングデバイスは、ネットワークによってビークルコンピューティングシステム１００に動作可能に結合され得る。リモートコンピューティングデバイスの例は、サーバ、スマートフォン、タブレットコンピューティングデバイス、スマートウォッチおよびデスクトップコンピュータを含むがこれらに限定されない。いくつかの例において、リモートコンピューティングデバイスは、ビークルコンピューティングシステム１００の統合されたコンポーネントであってもよく、統合されたコンポーネントでなくてもよい。図１に示されるように、１つのそのような例示的なリモートデバイスは、ディスプレイデバイス１７２および１つ以上の画像キャプチャデバイス１７３を含み得るとともに１つ以上のアプリケーション１７４を実行し得るモバイルコンピューティングデバイス１７０である。モバイルコンピューティングデバイス１７０の例は、携帯電話、タブレットコンピュータ、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ、ポータブルゲーミングデバイス、ポータブルメディアプレイヤー、ｅブックリーダ、ウェアラブルデバイス（たとえばウォッチ、手首にマウントされるコンピューティングデバイス、ヘッドマウント型コンピューティングデバイス）、または、他のタイプのモバイルコンピューティングデバイスを含み得るがこれらに限定されない。モバイルコンピューティングデバイス１７０は、１つ以上のプロセッサであり得るか、または、１つ以上のプロセッサを含み得る。図１はさらに、ユーザ１５０によって着用されるとともにモバイルコンピューティングデバイス１７０および／またはシステム１００に（たとえば１つ以上の無線接続を介して）通信可能に結合され得るモバイルウェアラブルデバイス１０７（たとえばスマートウォッチ）を示す。ＩＨＵシステム１００は、無線通信プロトコル（たとえばブルートゥース、ＷＩＦＩ（登録商標）、ブルートゥースローエナジー（ＢＬＥ： BLUETOOTH（登録商標） Low Energy））を使用して、ウェアラブルデバイス１０７および／またはモバイルコンピューティングデバイス１７０と通信し得る。モバイルコンピューティングデバイス１７０および／またはウェアラブルデバイス１０７は、ＩＨＵシステム１００とペアリングされると、当該デバイスは、ＩＨＵシステム１００に関して信頼されたデバイスと認識され得、ＩＨＵシステム１００によって一意識別子が割り当てられる。この信頼されたデバイスおよびその対応する一意識別子は、ＩＨＵシステム１００によって、ビークルのユーザ１５０とユーザ１５０についての任意のプロファイルおよび／またはアカウント情報と関連付けられる。
ビークルコンピューティングシステム１００のＵＩモジュール１０８は、存在感知パネル１０２から存在感知パネル１０２において検出されるユーザ入力の１つ以上の指示を受け取り得る。一般に、存在感知パネル１０２が存在感知パネル１０２の特定の位置におけるユーザ入力を検出する毎に、ＵＩモジュール１０８は、存在感知パネル１０２からユーザ入力の指示またはユーザ入力に関する情報を受け取り得る。ＵＩモジュール１０８は、存在感知パネル１０２から受け取った情報を、１つ以上のタッチイベントまたはジェスチャイベントのシーケンスのような１つ以上のイベントのセットへとアセンブルし得る。シーケンスにおける各ジェスチャイベントは、存在感知パネル１０２での入力の存在および／または動きを特徴付けるパラメータ（たとえば、時、場所、由来する方向）を表わすデータまたはコンポーネントを含み得る。シーケンスにおける各ジェスチャイベントは、存在感知パネル１０２の位置に対応する位置コンポーネント、存在感知パネル１０２がその位置においていつユーザ入力を検出したかに関係する時間コンポーネント、および／または、ジェスチャイベントがその位置におけるリフトアップまたはプッシュダウンに対応するか否かに関係するアクションコンポーネントを含み得る。
ＵＩモジュール１０８は、ジェスチャイベントのシーケンスに基づいてユーザ入力の１つ以上の特性を決定し得、かつ、ジェスチャイベントのシーケンスにおける各ジェスチャイベント内のこれらの１つ以上の特徴に関する情報を含む。たとえば、ＵＩモジュール１０８は、ユーザ入力の開始位置と、ユーザ入力の終了位置、ユーザ入力の部分の密度と、ユーザ入力の部分のスピードと、ユーザ入力の部分の方向と、ユーザ入力の部分の曲率とを決定し得る。ＵＩモジュール１０８は、存在感知パネル１０２からアプリケーションモジュール１１０のような他のモジュールにユーザ入力の指示を送信し得る。ＵＩモジュール１０８は、ユーザによって提供される１つ以上のシングルタッチジェスチャまたはマルチタッチジェスチャを決定し得る。ＵＩモジュール１０８はさらに、存在感知パネル１０２によって検出される入力に基づいて決定を行うよう、ビークルコンピューティングシステム１００のさまざまなコンポーネント間の仲介者として機能し得、ディスプレイ１１２によって提示される出力を生成し得る。たとえば、ＵＩモジュール１０８は、１つ以上のアプリケーションモジュール１１０からデータを受け取り得、グラフィカルユーザインターフェイスのようなコンテンツの出力を表示のためにディスプレイ１１２に行わせ得る。
ビークルコンピューティングシステム１００のＵＩモジュール１０８はさらに、カメラ１０４によって検出されるユーザ入力の１つ以上の指示をカメラ１０４から受け取り得る。一般に、カメラ１０４がユーザジェスチャまたは動きを検出する毎に、ＵＩモジュール１０８は、ユーザ入力の指示またはユーザ入力に関する情報をカメラ１０４から受け取り得る。ＵＩモジュール１０８は、カメラ１０４から受け取った情報を、動きまたはジェスチャイベントのシーケンスのような１つ以上のイベントのセットへとアセンブルし得る。シーケンスにおける各ジェスチャイベントは、視野内でカメラ１０４によってキャプチャされる存在、ジェスチャおよび／または動きを特徴付けるパラメータ（たとえば、時、３次元空間における場所、由来する方向、３次元空間における方向、手もしくは腕の方位、または、姿勢）を表わすデータまたはコンポーネントを含み得る。シーケンスにおける各ジェスチャイベントは、視野内の３次元位置に対応する位置コンポーネント、３次元空間内においてカメラ１０４がユーザ入力をいつ検出したのかに関係する時間コンポーネント、どのようなタイプのジェスチャがなされたのかに関係するアクションコンポーネント、および／または、カメラ１０４によってキャプチャされる１つ以上の画像を含み得る。
さらに、いくつかの例において、ビークル内での存在感知パネル１０２およびカメラ１０４の構成および／または配置は、ビークルコンピューティングシステム１００とインタラクションするために、運転者（または他のビークル乗員）にとって人間工学的かつ快適な態様を提供し得る。存在感知パネル１０２およびカメラ１０４は、異なるタイプの入力を検出し得るが、この開示の１つ以上の局面に従った存在感知パネル１０２およびカメラ１０４の位置決めは、存在感知パネル１０２によって検出される入力が、カメラ１０４によって検出される入力の自然な拡張であるとビークル乗員によって知覚され得るような位置決めであり得る。同様に、カメラ１０４によって検出される入力は、存在感知パネル１０２によって検出される入力の自然な拡張であるとビークル乗員によって知覚され得る。言いかえれば、そのようなシステムは、ビークル乗員が使用するために特に自然または容易なユーザインターフェイスを提供し得る。いくつか場合において、ビークルの乗員は、ビークルコンピューティングシステム１００とインタラクションすることが相対的に直観的であると発見し得る。
以下にさらに記載されるように、さまざまな例に従うと、モバイルコンピューティングデバイス（たとえばモバイルコンピューティングデバイス１７０、ウェアラブルデバイス１０７）は、図１に示されるビークルのビークルコンピューティングシステム１００との接続を確立し得る。接続を確立した後、モバイルコンピューティングデバイスは、ビークルのユーザ１５０の顔の少なくとも１つの画像に関連付けられる第１の特徴データをビークルコンピューティングシステム１００から受け取り得る。ビークルのユーザ１５０の顔の少なくとも１つの画像は、ビークルの少なくとも部分に接続される画像キャプチャデバイス（たとえばカメラ１０４／１１１）によってキャプチャされる。以下に図３をさらに参照して記載されるように、モバイルコンピューティングデバイスは、第１の特徴データと、モバイルコンピューティングデバイスの以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、ビークルのユーザと以前に登録されたユーザとの間のマッチを決定し得る。モバイルコンピューティングデバイスは、マッチに基づいて、ビークルのユーザ１５０を認証する。モバイルコンピューティングデバイスは、ビークルコンピューティングシステム１００にビークルのユーザ１５０についての認証データを送信する。認証データは、マッチを示す。
さまざまな例に従うと、ビークルコンピューティングシステム１００は、モバイルコンピューティングデバイス（たとえばモバイルコンピューティングデバイス１７０、ウェアラブルデバイス１０７）との接続を確立し得、ビークルコンピューティングシステムは、インフォテインメントヘッドユニットを含み、かつ、ビークルの内部におけるユーザの存在を決定する。ビークルの内部におけるユーザの存在を決定した後、ビークルコンピューティングシステム１００は、ビークルの少なくとも部分に接続される画像キャプチャデバイス（たとえばカメラ１０４／１１１）を使用して、ユーザの顔の少なくとも１つの画像をキャプチャし得、ユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データを決定し得る。ビークルコンピューティングシステム１００は、ユーザについての認証データを受け取り得、認証データは、第１の特徴データと、以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、ユーザと、以前に登録されたユーザとの間のマッチを示す。ビークルコンピューティングシステム１００は、ユーザについての認証データに基づいて、インフォテインメントヘッドユニットにユーザをログインするよう、ユーザアカウント情報にアクセスし得る。
いくつかの場合において、ビークルコンピューティングシステム１００は、ユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データをモバイルコンピューティングデバイスに送信し得る。第１の特徴データを送信した後、ビークルコンピューティングシステム１００は、モバイルコンピューティングデバイスからユーザについての認証データを受け取る。
他の代替的な場合において、信頼されたモバイルコンピューティングデバイスは、登録された特徴データをビークルコンピューティングシステム１００に送信し得、ビークルコンピューティングシステムは次いで、未知のユーザについての認証特徴データを既知のユーザの受け取られた登録された特徴データと比較することによって、ビークルにおいて未知のユーザの認証を行なうように構成され得る。これらの場合において、ビークルコンピューティングシステム１００は、以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データをモバイルコンピューティングデバイスから受け取り、第１の特徴データと第２の特徴データとを比較する。次いで、ビークルコンピューティングシステム１００は、比較に基づいて、当該ユーザと以前に登録されたユーザとの間のマッチを決定する。認証データはマッチの指示を含む。
本開示の全体にわたって、コンピューティングデバイスが、コンピューティングデバイスおよびコンピューティングデバイスのユーザに関連付けられる情報（たとえば顔画像情報など）を分析する許可をコンピューティングデバイスのユーザから受け取る場合のみ、コンピューティングデバイスおよび／またはコンピューティングシステムが当該情報を分析する例が記載される。たとえば、以下に議論される状況では、コンピューティングデバイスまたはコンピューティングシステムが、ユーザに関連付けられる情報を収集または使用し得る前に、コンピューティングデバイスおよび／もしくはコンピューティングシステムのプログラムもしくは機能がユーザ情報（たとえばユーザの現在の位置、現在のスピードなどに関する情報）を収集および使用できるか否かをコントロールする入力を提供する機会、または、デバイスおよび／もしくはシステムがユーザに関連し得るコンテンツを受け取り得るか否かもしくはどのように受け取り得るかを指示する機会が、ユーザに提供され得る。さらに、あるデータは、コンピューティングデバイスおよび／またはコンピューティングシステムによって格納または使用される前に、個人が識別可能な情報が除去されるように１つ以上の態様で処理され得る。たとえば、個人が識別可能な情報がユーザに関して決定され得ないように、ユーザのアイデンティティが処理され得るか、または、ユーザの特定の位置が決定され得ないように位置情報が得られるユーザの地理的な位置が一般化され得る（たとえば都市レベル、郵便番号レベルまたは州レベル）。したがって、ユーザは、コンピューティングデバイスおよびコンピューティングシステムによってユーザに関して情報がどのように収集および使用されるかに対してコントロールを有し得る。
図２は、本開示の１つ以上の局面に従った、ビークルの内部のさらなる詳細を示す概念図である。図２において、図１からのハンドル１５４の部分が示されており、ユーザ１５０の指がコンソール１０１のパネル１０２とインタラクションしている。本開示の技術によれば、カメラ１０４は、ユーザ１５０の顔画像を取得し、これらの画像に関連付けられる情報をモバイルコンピューティングデバイス１７０に提供している。モバイルコンピューティングデバイス１７０は、受け取った顔特徴データと、モバイルコンピューティングデバイス１７０によって格納された承認された既知のユーザの格納された顔特徴データとの比較に基づいて、ユーザ１５０を認証しており、これにより、ユーザ１５０の格納された顔の特徴データとのマッチを識別する。モバイルコンピューティングデバイス１７０は、ユーザ１５０についての認証データをシステム１００に送信する。システム１００は、モバイルコンピューティングデバイス１７０に特徴データを送信し得る。当該特徴データは、実際の画像情報を含むか、または、さまざまな例において、画像キャプチャデバイス１７３によってキャプチャされるユーザ１５０の画像のさまざまな特徴についての特徴データ（たとえば特徴ベクトルデータ）を含む。
いくつかの例において、この認証データは、ユーザ１５０および／またはモバイルコンピューティングデバイス１７０に関連付けられる一意識別子を含み得る。システム１００は、この受け取られた認証データを使用して、（たとえばＩＨＵシステム１００へユーザ１５０をログインさせるために）システム１００に格納されるユーザ１５０についてのユーザプロファイル、ユーザプレファレンス、ログインクレデンシャルおよび／またはアカウントデータにアクセスし得る。次いで、システム１００は、ユーザ１５０に固有であるアクセスされた情報（たとえばプレファレンス）に基づいて、ユーザ１５０のためにパーソナライズまたはカスタマイズされたデータをシステム１００のディスプレイ１１２に表示する。このパーソナライズされた情報は、ユーザインターフェイス要素２０８および２０４を含み得る。カーソル２０６は、ユーザインターフェイス要素２０４のうちの１つにオーバーラップし得る。カーソル２０６がユーザインターフェイス要素２０４の１つ以上の上に存在する場合、存在感知パネル１０２は、存在感知パネル１０２における１つ以上のタップまたは入力を検出し得、システム１００は、この入力に基づいて、当該入力が、カーソル２０６がオーバーラップするユーザインターフェイス要素２０４の選択に対応すると決定し得る。
いくつかの例において、ディスプレイ１１２は、入力デバイスおよび出力デバイスの両方として動作する存在感知パネルであり得る。そのような例において、ディスプレイ１１２は、ディスプレイ１１２がユーザインターフェイス要素２０４を提示するディスプレイ１１２上の位置において、または、当該位置の近傍において、１つ以上の入力を検出し得る。システム１００は、入力に基づいて、入力に対応する選択されたユーザインターフェイス要素２０４を識別し得る。ユーザインターフェイス要素２０４を選択する入力に応答して、システム１００は、ディスプレイ１１２において情報を表示することまたはグラフィカルユーザインターフェイスをアップデートすることを含み得る動作を行ない得る。存在感知パネル１０２がディスプレイとしても機能するいくつかの例において、コンピューティングデバイス２００は付加的または代替的に、存在感知パネル１０２に情報を表示し得るか、または、存在感知パネル１０２に表示されるグラフィカルユーザインターフェイスをアップデートし得る。
ＩＨＵシステム１００のディスプレイ１１２は、システム１００に通信可能に結合されるモバイルコンピューティングデバイス１７０によって認証される任意の特定のユーザのためのパーソナライズまたはカスタマイズされた情報を表示するように構成され得る。したがって、ユーザ１５０を含むさまざまな異なる承認されたユーザがビークルを使用する場合、ディスプレイ１１２は、モバイルコンピューティングデバイス１７０によって認証される各ユーザについてのユーザプロファイルまたはアカウントのセットアップに依存して、各ユーザのための異なるカスタマイズされた情報を表示するように構成され得る。いくつか場合において、システム１００は、ビークルおよび／またはＩＨＵシステム１００の動作に関連付けられるビークルのさまざまな他の設定（たとえば温度設定、無線設定、ビークル環境設定など）をカスタマイズし得る。
図３は、本開示の１つ以上の局面に従った、顔登録動作を行なう例示的なコンピューティングデバイス３１０を示す概念図である。コンピューティングデバイス３１０は、承認されたユーザの登録された画像データを保存するように構成される、図１に示されるモバイルコンピューティングデバイス１７０の一例であり得る。本願明細書において使用されるように、「画像データ」という用語は、たとえばユーザの顔のキャプチャされた画像から計算されるかまたは別の態様で決定されるデータ（たとえば特徴データ）を指す。
コンピューティングデバイス３１０は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、コンピュータウォッチ、コンピュータアイウエア、コンピュータグローブまたは任意の他のタイプのポータブルコンピューティングデバイスのようなモバイルデバイスであってもよい。コンピューティングデバイス３１０の付加的な例は、他のモバイルデバイスおよび非モバイルデバイスを含んでおり、その例としては、デスクトップコンピュータ、テレビジョン、携帯情報端末（ＰＤＡ）、ポータブルゲーミングシステムおよび非ポータブルゲーミングシステム、デジタルメディアプレイヤーもしくはマイクロコンソール、ｅブックリーダ、モバイルテレビジョンプラットフォーム、自動車ナビゲーションおよびエンターテインメントシステム、または、任意の他のタイプのウェアラブル、非ウェアラブル、モバイルまたは非モバイルのコンピューティングデバイスがある。
図３に示されるように、コンピューティングデバイス３１０は、存在感知ディスプレイ（ＰＳＤ： presence-sensitive display）３１２と、１つ以上の画像キャプチャデバイス３１４と、顔認識モジュール（ＦＲＭ： facial recognition module）３２２と、登録された情報３２８とを含む。登録された情報３２８はデータストアを含み得る。ＦＲＭ３２２は、コンピューティングデバイス３１０において存在しおよび／または実行されるソフトウェア、ハードウェア、ファームウェア、または、ハードウェア、ソフトウェアおよびファームウェアの混合を使用して記述される動作を行ない得る。コンピューティングデバイス３１０は、複数のプロセッサまたは複数のデバイスによりＦＲＭ３２２を実行し得る。コンピューティングデバイス３１０は、存在するハードウェア上で実行されるバーチャルマシンとしてＦＲＭ３２２を実行し得る。ＦＲＭ３２２は、オペレーティングシステムまたはコンピューティングプラットフォームの１つ以上のサービスとして実行され得る。ＦＲＭ３２２は、コンピューティングプラットフォームのアプリケーション層において１つ以上の実行可能プログラムとして実行され得る。
コンピューティングデバイス３１０のＰＳＤ３１２は、コンピューティングデバイス３１０のためのそれぞれの入力デバイスおよび／または出力デバイスとして機能し得る。ＰＳＤ３１２はさまざまな技術を使用して実現され得る。たとえば、ＰＳＤ３１２は、抵抗型タッチスクリーン、表面音響波タッチスクリーン、容量型タッチスクリーン、投射型容量タッチスクリーン、感圧スクリーン、音響パルス認識タッチスクリーン、または、別の存在感知ディスプレイ技術といった存在感知入力スクリーンを使用して入力デバイスとして機能し得る。ＰＳＤ３１２は、コンピューティングデバイス３１０のユーザからの入力を検出し得る。たとえば、ＰＳＤ３１２は、ＰＳＤ３１２のしきい値距離上で、または、当該しきい値距離内で行なわれる１つ以上のジェスチャ（たとえば、ユーザが指もしくはスタイラスでＰＳＤ３１２にタッチする、または、ＰＳＤ３１２の表面のしきい値距離内で指もしくはスタイラスを動かす）を検出し得る。
ＰＳＤ３１２はさらに、任意の１つ以上のディスプレイデバイスを使用する出力（たとえば表示）デバイスとして機能し得、当該ディスプレイデバイスの例としては、コンピューティングデバイス３１０のユーザに視覚情報を出力することができる、液晶ディスプレイ（ＬＣＤ）、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ｅ−インク、または、同様のモノクロームもしくはカラーディスプレイがある。ＰＳＤ３１２は、コンピューティングデバイス３１０によって提供される機能に関連付けられ得る情報をユーザインターフェイス（たとえばグラフィカルユーザインターフェイス）として（たとえばユーザに）出力し得る。たとえば、ＰＳＤ３１２は、コンピューティングデバイス３１０において実行されるかまたはコンピューティングデバイス３１０からアクセス可能であるコンピューティングプラットフォーム、オペレーティングシステム、アプリケーションおよび／またはサービスのアプリケーションモジュールまたは他の機能に関係するさまざまなユーザインターフェイスを表示し得る。
画像キャプチャデバイス３１４は、画像キャプチャデバイス１７３（図１）の一例であり得、デジタルカメラ、スチールカメラおよび動画カメラなどのような１つ以上のカメラを含み得る。画像キャプチャデバイス３１４は、静止画または動画をキャプチャおよび格納することが可能な任意の他のデバイスを含み得る。いくつかの例において、画像キャプチャデバイス３１４は、電子画像センサを介して画像をデジタルで記録することが可能であり得る。画像キャプチャデバイス３１４は、可視光（たとえば約３８０ナノメートルから約７４０ナノメートルの間の波長を有する、人間に可視である光）または近赤外線（ＮＩＲ： near infrared）光（たとえば約７５０ナノメートルと約３４００ナノメートルとの間の波長を有する光のような、可視光スペクトルに隣接している光）を検出することに応答して、画像を示すデータを生成するように構成され得る。いくつかの例において、コンピューティングデバイス３１０は、２次元画像を示すデータを生成するように構成される画像キャプチャデバイス３１４を含む。別の例において、コンピューティングデバイス３１０は、３次元画像を示すデータを生成するように構成される複数の画像キャプチャデバイス３１４を含む。これにより、複数の画像キャプチャデバイス３１４は、２次元画像、３次元画像またはその両方を示すデータを生成し得る。
この開示の技術に従うと、ＦＲＭ３２２は、コンピューティングデバイス３１０のユーザを認証するために顔認識を行ない得る。一般に、ＦＲＭ３２２は、登録プロセス（たとえばコンピューティングデバイス３１０の初期設定中に一度）を行ない得、未知のユーザが実際は既知のユーザであるか否かを決定するために認証プロセスを周期的に実行し得る。登録プロセス中において、画像キャプチャデバイス３１４は、既知のユーザ３３８（たとえば、関連付けられるユーザアカウントにログインしたユーザ）の１つ以上の特徴データ３３０Ａ〜３３０Ｈ（集合的に「特徴データ３３０」またはより一般的に「画像データ３３０」と称される）を決定し得、ＰＳＤ３１２は、既知のユーザ３３８の１つ以上の画像３３３を含むグラフィカルユーザインターフェイス（ＧＵＩ）を出力し得る。既知のユーザ３３８は、登録されたユーザとも称され得る。いくつかの例において、特徴データ３３０の各々は、ユーザ３３８の特定のポーズに関連付けられる（たとえば、ユーザ３３８の「ポーズＡ」についての特徴データ３３０Ａ、ユーザ３３８の「ポーズＢ」についての特徴データ３３０Ｂ）。既知のユーザ３３８は、キャプチャ画像デバイス３１４によってデータがキャプチャされると、ＧＵＩ内で画像３３３を見ることが可能であり得る。既知のユーザ３３８は、自身の頭および／またはコンピューティングデバイス３１０を調節して、画像キャプチャデバイス３１４がさまざまな異なるポーズの既知のユーザ３３８の顔の画像３３３をキャプチャすることを可能にする。画像キャプチャデバイス３１４は、画像３３３に関連付けられるデータをＦＲＭ３２２に出力し得る。一例として、ユーザ３３８は、画像キャプチャデバイス３１４に対向し得、ボタン（たとえば物理的なボタンまたはＰＳＤ３１２によって表示されるグラフィカルボタン）を押し得、これにより、キャプチャ画像デバイス３１４が画像３３３をキャプチャし得る。別の例として、画像キャプチャデバイス３１４は、ユーザが画像キャプチャデバイス３１４に対向することに応答して、画像３３３を自動的にキャプチャし得る。
ＦＲＭ３２２は、画像キャプチャデバイス３１４から受け取られるデータを分析し、計算された特徴データ３３０の各々を１つ以上のポーズバケット３３２ＡＡ〜３３２ＥＥ（集合的にポーズバケット３３２）に割り当てる。特徴データ３３０は、画像３３３の特徴または特性を含む。各ポーズバケット３３２は、ユーザの顔のピッチ角（チルト角とも称される）およびヨー角（パン角とも称される）の範囲に関連付けられる。本願明細書において使用されるように、ピッチ角は、水平軸に対するユーザの顔の角度を指し、ヨー角は、水平軸に垂直な垂直軸に対するユーザの顔の角度を指す。たとえば、ポーズバケット３３２の各々は、それぞれのヨーおよびピッチ範囲に関連付けられ得る。図３の例において、ポーズバケット３３２の各々のサイズは等しい（たとえば１０°）。たとえば、ポーズバケット３３２の各々は、１０°の範囲のピッチ角および１０°の範囲のヨー角に関連付けられる。しかしながら、いくつかの例において、ポーズバケット３３２のサイズは異なり得る。たとえば、あるポーズバケットは、８°の範囲のピッチ角（および／またはその範囲のヨー角）に関連付けられ得、別のポーズバケットは、１０°の範囲のピッチ角（および／またはその範囲のヨー角）に関連付けられ得る。
例示目的のために、ポーズバケット３３２はテーブル３３１の部分として図３に示される。図３の例に示されるように、テーブル３３１に示されるヨー角およびピッチ角は、各それぞれのポーズバケット３３２の中心を表わす。たとえば、ポーズバケット３３２ＡＡの中心はヨーにおいて−２０°であり、ピッチにおいて２０°である。言いかえれば、ポーズバケット３３２ＡＡは、ヨーにおいて−１５°〜−２５°を表し得、ピッチにおいて１５°〜２５°を表し得る。同様に、図３の例において、ポーズバケット３３２ＡＮの中心は、ヨーにおいて２０°でありピッチにおいて２０°であるため、ポーズバケット３３２ＡＮは、ヨーにおいて１５°から２５°を表し、ピッチにおいて１５°から２５°を表す。テーブル３３１は、２５個のポーズバケット３３２を含んでいるが、いくつかの例において、テーブル３３１は、異なる数のポーズバケット３３２を含んでもよい。理解を支援するために、ポーズバケット３３２はテーブル３３１の部分として示されているが、ポーズバケット３３２はテーブルに格納されなくてもよい。ポーズバケット３３２は、任意のデータ構造で格納されてもよく、任意の態様でオーガナイズされてもよい。
ＦＲＭ３２２は、画像３３３についてのデータに含まれる既知のユーザ３３８の顔の特徴またはランドマークに基づいて、ポーズバケット３３２のどれが特徴データに関連付けられるかを決定し得る。たとえば、ＦＲＭ３２２は、ユーザの目、鼻および口のようなユーザの顔の画像３３３のランドマークを検出し得、当該ランドマークに基づいてユーザの顔のヨー角およびピッチ角を決定し得る。たとえば、ＦＲＭ３２２は、特徴データ３３０Ａにおけるユーザの顔のヨー角およびピッチ角と、ポーズバケット３３２ＣＣに関連付けられるヨー角およびピッチ角の範囲とに基づいて、特定のポーズ（たとえば「ポーズＡ」）に関連付けられる特徴データ３３０Ａがポーズバケット３３２ＣＣに含まれると決定し得る。たとえば、ＦＲＭ３２２は、特徴データ３３０Ａにおけるユーザの顔のヨー角が０°であり、既知のユーザの顔のピッチ角が０°であるということを決定し得る。ＦＲＭ３２２は、ポーズバケット３３２ＣＣが−５°から５°までの範囲のヨー角と−５°から５°までの範囲のピッチ角とに関連付けられると決定し得る（たとえば、ポーズバケット３３２ＣＣは、０°のヨーおよび０°のピッチにて、中心に位置する）。そのような例において、ＦＲＭ３２２は、特徴データ３３０Ａにおけるユーザの顔のヨー角およびピッチ角が、ポーズバケット３３２ＣＣに関連付けられるヨー角およびピッチ角の範囲内にあると決定することに応答して、ポーズバケット３３２ＣＣが特徴データ３３０Ａを含むと決定し得る。
別の例として、ＦＲＭ３２２は、特徴データ３３０Ｂにおけるユーザの顔のヨー角が０°（たとえば、左方向および右方向において中心に位置する）であり、かつ、ユーザの顔のピッチ角が２３°（たとえば、既知のユーザが見上げている）であることを決定し得る。ＦＲＭ３２２は、ポーズバケット３３２ＡＣが、−５°から５°までの範囲のヨー角と１５°から２５°までの範囲のピッチ角とに関連付けられることを決定し得る（たとえば、ポーズバケット３３２ＣＣは０°のヨーおよび２０°のピッチにて中心に位置する）。そのような例において、ＦＲＭ３２２は、特徴データ３３０Ｂにおけるユーザの顔のヨー角およびピッチ角が、ポーズバケット３３２ＡＣに関連付けられるヨー角およびピッチ角の範囲内にあると決定することに応答して、ポーズバケット３３２ＡＣが特徴データ３３０Ｂを含むと決定し得る。
ＦＲＭ３２２は、特徴データ３３０を決定し、しきい値数のポーズバケット３３２が特徴データ３３０のうちの１つを含むか否かを決定し得る。たとえば、ＦＲＭ３２２は、既知のユーザの顔の特徴データ３３０を含んでいるポーズバケット３３２の数を決定し得る。図３の例では、ＦＲＭ３２２は、特徴データ３３０が、２５個の可能なポーズバケット３３２のうち１９個のポーズバケット（たとえば、３３２ＡＢ，３３２ＡＣ，３３２ＢＡ，３３２ＢＢ，３３２ＢＣ，３３２ＢＤ，３３２ＢＥ，３３２ＣＡ，３３２ＣＢ，３３２ＣＣ，３３２ＣＤ，３３２ＣＥ，３３２ＤＢ，３３２ＤＣ，３３２ＤＤ，３３２ＤＥ，３３２ＥＢ，３３２ＥＣおよび３３２ＥＤ）内に含まれると決定する。いくつかの例において、ＦＲＭ３２２は、特徴データ３３０を含むポーズバケットの数がしきい値数（たとえば１５個のポーズバケット、１７個のポーズバケット、１９個のポーズバケットであるかなど、または、ポーズバケット３３２の６５％、ポーズバケット３３２の７５％、ポーズバケット３３２の８５％であるかなど）を満たすか否か（たとえば、しきい値数以上であるか否か）を決定する。たとえば、ＦＲＭ３２２は、特徴データ３３０がポーズバケット３３２の少なくとも７５％以内に含まれていると決定することに応答して、特徴データ３３０を含むポーズバケット３３２の数がポーズバケットのしきい値数を満たすと決定し得る。特徴データ３３０を含むポーズバケット３３２の数がポーズバケットのしきい値数を満たすと決定することは、特徴データ３３０が、より正確にユーザを認証するのに十分な異なるポーズの既知のユーザの顔を表わすということを示し得る。
特徴データ３３０を含むポーズバケットの数は、ポーズバケットのしきい値数を満たさないと決定することに応答して、画像キャプチャデバイス３１４は、登録プロセスのために１つ以上の画像３３３をキャプチャし得る。たとえば、ＦＲＭ３２２は、既知のユーザ３３８の顔の異なる角度の画像３３３をキャプチャするために、既知のユーザ３３８の頭を移動するように既知のユーザ３３８に指示するグラフィカルユーザインターフェイスを出力し得る。
特徴データ３３０を含むポーズバケットの数がポーズバケットのしきい値数を満たすと決定することに応答して、ＦＲＭ３２２は、既知のユーザ３３８についてのユーザアカウントに特徴データ３３０を関連付け得る。いくつかの例において、特徴データ３３０は、各それぞれの画像について画像テンプレート（エンベッディング（embedding）とも称される）を含み得る。一例として、画像テンプレートは一般的に、ユーザの顔の１つ以上の特徴（たとえばバイオメトリック特徴）の統計モデルに対応し得る。たとえば、ＦＲＭ３２２は、複数の要素値（たとえば５０個の値、１００個の値、５００個の値など）を有するベクトルを含む画像テンプレートを生成し得る。いくつかの例において、ベクトルの各要素値は、ユーザの顔の特徴（たとえば両目の間の距離、鼻形状など）に対応する。代替的または付加的には、ベクトルの要素値はたとえば、顔のアイデンティティを示す出力を生成するように学習された非線形マシンラーニングモデルによって生成され得る。たとえば、ＦＲＭ３２２は、学習された顔認識モデルを複数の特徴データ３３０に適用し得、各それぞれの特徴データ３３０についての画像テンプレート（たとえばエンベッディング）をベクトルとして出力し得る。いくつかの例において、ＦＲＭ３２２は、画像テンプレート識別子にデータを割り当て、かつ、既知のユーザ３３８についてのユーザアカウントのためのユーザアカウント識別子にそれぞれの画像テンプレート識別子を関連付けることにより、ユーザアカウントに特徴データ３３０を関連付ける。
ＦＲＭ３２２は、ユーザ３３８の画像３３３に関連付けられる特徴データ３３０を含むデータストアを含む登録された情報３２８のデータ画像を特徴とし得る。いくつかの例において、ＦＲＭ３２２は、登録された情報３２８に特徴データ３３０を格納する前に、特徴データ３３０を暗号化する。いくつかの例において、登録された情報３２８は、情報がネットワークを通じて任意の他のデバイスに送信されない（たとえば、図１のビークルのシステム１００に送信されない）ように、コンピューティングデバイス３１０上にローカルに格納され得る。さらに、コンピューティングデバイス３１０は、登録された情報に格納される特徴データ３３０の１つ以上の部分を削除する機会をユーザに提供し得る。
ＦＲＭ３２２は、既知のユーザ３３８の登録プロセスを完了した後、未知のユーザ（たとえば図１のビークルのユーザ１５０）について認証プロセスを行ない得る。言いかえれば、ＦＲＭ３２２は、ビークルにおけるカメラ（たとえばカメラ１０４および／または１１１）のうちの１つによってキャプチャされる画像３３３から決定されるとともに図１のモバイルコンピューティングデバイス１７０の一例であり得るコンピューティングデバイス３１０にＩＨＵシステム１００によって送信されるユーザ１５０の特徴データに基づいて、図１のビークルの未知のユーザ１５０を認証する要求を受け取り得る。システム１００は、たとえば画像キャプチャデバイス１７３によってキャプチャされるユーザ１５０の画像のさまざまな特徴についての特徴ベクトルデータを含む特徴データ３３０をコンピューティングデバイス３１０に送信し得る。
認証画像に関連付けられる特徴データを受け取るかまたは決定することに応答して、ＦＲＭ３２２は、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定し得る。いくつかの例において、ＦＲＭ３２２は、未知のユーザ１５０の顔の認証画像を示す特徴データと、既知のユーザ３３８の顔の画像３３３を示す特徴データ３３０との比較に基づいて、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定する。たとえば、ＦＲＭ３２２は、ポーズ独立（pose-independent）技術（ポーズ不変（pose invariant）技術とも称される）またはポーズ依存（pose-dependent）技術を使用して、未知のユーザ１５０の顔の認証画像を示す特徴データと、既知のユーザ３３８の顔の画像３３３から計算または決定される特徴データ３３０とを比較し得る。
いくつかの例において、ポーズ依存技術では、ＦＲＭ３２２は、ユーザ１５０の認証画像における未知のユーザの顔のポーズに最も近いポーズの既知のユーザ３３８の顔に関連付けられる認証特徴データおよび特徴データ３３０に基づいて、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定する。一例では、ＦＲＭ３２２は、未知のユーザ１５０の認証特徴データに関連付けられるポーズバケット３３２のポーズバケットを決定する。たとえば、ＦＲＭ３２２は、未知のユーザの顔の特徴またはランドマークに基づいて、特徴データ３３０に関連付けられるポーズバケットを決定するのと同様の態様で、未知のユーザ１５０の特徴データに関連付けられるポーズバケットを決定し得る。たとえば、ＦＲＭ３２２は、ユーザ１５０の認証特徴データにおける顔のヨー角およびピッチ角を決定し得る。認証特徴データにおける顔のヨー角およびピッチ角を決定することに応答して、ＦＲＭ３２２は、認証特徴データにおいてポーズバケット３３２のどれが顔のヨー角およびピッチ角を含むか決定し得る。たとえば、ＦＲＭ３２２は、特徴データにおける顔のヨー角およびピッチ角はそれぞれ２０°および０°であると決定し得る。ＦＲＭ３２２は、ポーズバケット３３２ＣＤが１５°から２５°までの範囲のヨー角と、−５°から５°までの範囲のピッチ角とに関連付けられると決定し得る。そのような場合において、ＦＲＭ３２２は、認証特徴データにおける顔のヨー角およびピッチ角がポーズバケット３３２ＣＤに関連付けられるヨー角およびピッチ角の範囲に含まれると決定することに応答して、未知のユーザ１５０の認証特徴データがポーズバケット３３２ＣＤに関連付けられると決定し得る。
ＦＲＭ３２２は、未知のユーザ１５０の顔の特徴データに関連付けられるポーズバケット内に含まれる既知のユーザ３３８の顔の特徴データ３３０から特徴データを決定し得る。言いかえれば、ＦＲＭ３２２は、ユーザ１５０の認証特徴データのポーズに最も近いポーズを特徴データ３３０のどれが有しているかを決定し得る。一例では、ＦＲＭ３２２は、ユーザ１５０の特徴データがポーズバケット３３２ＣＤに関連付けられると決定し、ポーズバケット３３２ＣＤ内に含まれる特徴データ３３０の特徴データ（たとえばポーズＧについての特徴データ３３０Ｇ）を選択する。ＦＲＭ３２２は、選択された特徴データ３３０Ｇについての類似性スコアを決定することにより、ユーザ１５０が既知のユーザ３３８であるか否かを決定し得る。類似性スコアは、特徴データ３３０Ｇと認証特徴データとの間の類似性を示す。
選択された特徴データ３３０Ｇ（たとえば未知のユーザ１５０の１つ以上の画像に関連付けられるポーズバケット３３２ＣＤに含まれる特徴データ）についての類似性スコアを決定することに応答して、いくつかの例において、ＦＲＭ３２２は、特徴データ３３０Ｇについての類似性スコアがしきい値類似性スコアを満たすか否か（たとえば、しきい値類似性スコア以上であるか否か）を決定する。ＦＲＭ３２２は、特徴データ３３０Ｇについての類似性スコアがしきい値類似性スコアを満たすと決定することに応答して、未知のユーザ１５０が既知のユーザ３３８であると決定し得、特徴データ３３０Ｇについての類似性スコアがしきい値類似性スコアを満たさないと決定することに応答して、未知のユーザ１５０が既知のユーザではないと決定し得る。
いくつかの例において、ＦＲＭ３２２は、ポーズにかかわらず、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定する。言いかえれば、いくつかの例において、ＦＲＭ３２２は、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定するようポーズ不変技術を利用する。たとえば、ＦＲＭ３２２は、特徴データ３３０の各特徴データについてのそれぞれの類似性スコアを決定し得る。それぞれの類似性スコアは、特徴データ３３０の対応する特徴データと未知のユーザ１５０の認証特徴データとの間の類似性を示す。
１つのシナリオでは、ＦＲＭ３２２は、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定するために、特徴データ３３０についてのそれぞれの類似性スコアに基づいて特徴データ３３０の特徴データを選択する。ＦＲＭ３２２は、特徴データ３３０のうち、認証特徴データに最も近いマッチを示す類似性スコアを有する特徴データを選択する。最も近いマッチを示すスコアは、最も低い類似性スコアまたは最も高い類似性スコアであり得る。
いくつかのシナリオでは、ＦＲＭ３２２は、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定するために、それぞれの類似性スコアに基づいて、特徴データ３３０のうちの２つ以上の特徴データを選択する。１つのシナリオでは、ＦＲＭ３２２は、２つ以上の特徴データ３３０についての複合類似性スコアを決定する。たとえば、ＦＲＭ３２２は、特徴データ３３０のうちの２以上についてのそれぞれの類似性スコアの平均に基づいて、複合類似性スコアを決定し得、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定するために複合類似性スコアをしきい値類似性スコアと比較し得る。
別の例として、ＦＲＭ３２２は、２つ以上の特徴データについての各それぞれの類似性スコアをしきい値類似性スコアと比較し得る。そのような例において、選択された特徴データのしきい値数（たとえば１００％、８０％、６０％など）がしきい値類似性スコアを満たす類似性スコアを有すると決定することに応答して、ＦＲＭ３２２は、未知のユーザ１５０が既知のユーザ３３８であると決定し得る。たとえば、選択された特徴データのセットが、特徴データ３３０のうち最も高い類似性スコアを有する３つの特徴データを含んでいる場合、いくつかの例において、ＦＲＭ３２２は、これら３つの選択された特徴データのうちの２つについての類似性スコアがしきい値類似性スコアを満たすと決定することに応答して、未知のユーザ１５０が既知のユーザ３３８であると決定する。
未知のユーザ１５０が既知のユーザ３３８であると決定することに応答して、コンピューティングデバイス３１０は、ビークルのＩＨＵシステム１００に認証データを送信し得る。たとえば、コンピューティングデバイス３１０は、既知のユーザ３３８として未知のユーザ１５０を認証することの成功を示すデータを送信し得、これによりユーザ１５０の認証を示す。いくつかの場合において、コンピューティングデバイス３１０は、ユーザ３３８（たとえば認証されたユーザ１５０）についてカスタマイズまたはパーソナライズされるユーザプロファイルおよび／またはアカウント情報をシステム１００に送信し得る。いくつかの場合には、コンピューティングデバイス３１０はさらに、ユーザ３３８および／またはコンピューティングデバイス３１０の一意識別子をビークルのシステム１００に送信し得る。
いくつかの場合において、コンピューティングデバイス３１０はさらに１つ以上のモデル３２９を格納し得る。たとえば、いくつかの場合において、コンピューティングデバイス３１０は、上述したように、個人を識別する助けとなる顔のランドマークを抽出するためにディープラーニングモデルを利用し得る。これらのモデルは、パーソナルデバイスの専用のニューラルエンジンまたはプロセッサ上で実行するように調整され得る。上述したように、いくつかの例において、画像テンプレートは一般に、ユーザの顔の１つ以上の特徴（たとえばバイオメトリック特徴）の統計モデルに対応し得る。たとえば、ＦＲＭ３２２は、複数の要素値（たとえば５０個の値、１００個の値、５００個の値など）を有するベクトルを含む画像テンプレートを生成し得る。いくつかの例において、ベクトルの各要素値は、ユーザの顔の特徴（たとえば両目の間の距離、鼻形状など）に対応する。代替的または付加的には、ベクトルの要素値はたとえば、顔のアイデンティティを示す出力を生成するように学習された非線形マシンラーニングモデルによって生成され得る。たとえば、ＦＲＭ３２２は、学習された顔認識モデルを画像３３３に適用し得、それぞれの特徴データ３３０についての画像テンプレート（たとえばエンベッディング）をベクトルとして出力し得る。代替的または付加的には、ベクトルの要素値は、顔のアイデンティティを示す出力を生成するように学習された非線形マシンラーニングモデルによって生成され得る。一例として、登録モジュールは、学習された顔認識モデルを画像３３３に適用し得、それぞれの特徴データ３３０について画像テンプレート（たとえばベクトル）を出力し得る。そのような画像テンプレートはベクトルとして表わされてもよく、学習された顔認識モデルによって生成されてもよい。ベクトルは、ユーザの顔のそれぞれの特徴（たとえば両目の間の距離、鼻形状など）に各々が対応する複数の要素値を含み得る。
コンピューティングデバイス３１０が、既知のユーザ３３８の特徴データ３３０を登録するとともに未知のユーザ１５０を認証するものとして記載されているが、いくつかの例において、１つ以上のリモートコンピューティングデバイスが、本願明細書において記載される機能のすべてまたは当該機能のサブセットを行ない得る。ある代替的な例において、コンピューティングデバイス３１０は、登録された特徴データをビークルコンピューティングシステム（たとえばビークルコンピューティングシステム１００）に送信し得、次いで、ビークルコンピューティングシステムは、未知のユーザの認証特徴データと、既知のユーザの受け取られた登録された特徴データとを比較することによって、ビークルにおいて未知のユーザの認証を行なうように構成され得る。
いくつかの例において、コンピューティングデバイス（たとえばコンピューティングデバイス３１０または別のコンピューティングデバイス）は、コンピューティングデバイスがデータを利用する許可をコンピューティングデバイスのユーザから受け取る場合のみ、コンピューティングデバイス３１０のユーザに関連付けられるユーザデータを利用し得る。たとえば、コンピューティングデバイスまたはコンピューティングシステムが、ユーザに関連付けられる情報を収集または使用し得る前に、コンピューティングデバイスおよび／またはコンピューティングシステムのプログラムまたは機能がユーザ情報を収集および使用し得るか否かをコントロールするために入力を提供する機会がユーザに提供され得る。さらに、ある情報は、コンピューティングデバイスおよび／またはコンピューティングシステムによって格納または使用される前に、個人が識別可能な情報が除去されるように１つ以上の態様で処理され得る。たとえば、個人が識別可能な情報がユーザに関して決定され得ないように、ユーザのアイデンティティが処理され得る。たとえば、コンピューティングデバイスは、画像自体を格納することなく、当該画像についての特徴データおよび／または画像テンプレートを格納し得、任意の他のユーザ情報に関連付けられないユーザ識別子に特徴データおよび／または画像テンプレートを関連付け得る。したがって、ユーザは、コンピューティングデバイスおよびコンピューティングシステムによってユーザに関して情報がどのように収集および使用されるかに対してコントロールを有し得る。
これにより、この開示の技術は、コンピューティングデバイス３１０が、いくつかの異なるポーズバケット内に含まれる既知のユーザ３３８の特徴データをキャプチャすることを可能にし得る。いくつかの異なるポーズバケットにおける特徴データをキャプチャおよび登録することによって、コンピューティングデバイス３１０は、既知のユーザ３３８の特徴データを含むポーズバケットの数を増加し得、これにより、コンピューティングデバイス３１０は、未知のユーザ（たとえばユーザ１５０）についての認証特徴データのポーズバケットにかかわらず、より正確に未知のユーザの特徴データを認証し得ることが可能になり得る。たとえば、登録された特徴データを含むポーズバケットの数を増加することは、未知のユーザの認証特徴データに関連付けられるポーズバケットが、既知のユーザ３３８の登録された特徴データのグループのうちの１つ以上の登録された特徴データを含むポーズバケットと同様である確率を増加し得、これにより、未知のユーザが実際は既知の承認されたユーザである場合に誤って当該未知のユーザを拒絶する確率が低減され得る。したがって、ユーザエクスペリエンスが潜在的に向上される。さらに誤った拒絶の確率を低減することは、コンピューティングデバイスが増加アクセスモード（increased access mode）に入るために使用される認証の試み（たとえば顔認識、指紋認識、ＰＩＮまたはパスコードなど）の数を低減し得、これにより、プロセッサによって利用される処理サイクルの量が低減され得、バッテリ寿命が向上され得る。ある場合において、記載された技術は、未知のユーザが既知の承認されたユーザでない場合に当該未知のユーザを誤って認証する確率を低減し得、これにより、コンピューティングデバイス３１０のセキュリティが増加され得る。
図４は、本開示の１つ以上の局面に従った、例示的なコンピューティングシステム４１０を示すブロック図である。いくつかの場合において、コンピューティングシステム４１０は、図３のコンピューティングデバイス３１０、図１のモバイルコンピューティングデバイス１７０、および／または、図１のビークルコンピューティングシステム１００のより詳細な例であり得る。図４は、コンピューティングシステム４１０の１つの特定の例のみを示しており、他の場合において、コンピューティングシステム４１０の他の多くの例が使用されてもよく、例示的なコンピューティングシステム４１０に含まれるコンポーネントのサブセットを含んでもよく、または、図４に示されない付加的なコンポーネントを含んでもよい。本願明細書において使用されるように、「画像データ」という用語は、たとえばユーザの顔のキャプチャされた画像から計算されるかまたは別の態様で決定されるデータ（たとえば特徴データ）を指す。
図４の例において示されるように、コンピューティングシステム４１０は、ＰＳＤ４１２と、１つ以上の画像キャプチャデバイス４１４と、１つ以上のプロセッサ４３０と、１つ以上の入力コンポーネント４４２と、１つ以上の出力コンポーネント４４４と、１つ以上の通信ユニット４４６と、１つ以上の記憶デバイス４４８とを含む。コンピューティングシステム４１０の記憶デバイス４４８はＦＲＭ４２２および登録された情報４２８を含む。
通信チャンネル４４９は、コンポーネント間通信のためにコンポーネント４１２，４１４，４３０，４４２，４４４，４４６および／または４４８の各々を（物理的に、通信可能に、および／または動作可能に）相互接続し得る。いくつかの例では、通信チャンネル４４９は、システムバス、ネットワーク接続、１つ以上のプロセス間通信データ構造、または、データ（情報とも称される）を通信するための任意の他のコンポーネントを含み得る。
画像キャプチャデバイス４１４は、デジタルカメラ、スチールカメラ、動画カメラといった１つ以上のカメラを含み得る。画像キャプチャデバイス４１４は、静止画または動画をキャプチャおよび格納することが可能な任意の他のデバイスを含み得る。いくつかの例において、画像キャプチャデバイス４１４は、電子画像センサを介して画像をデジタルで記録することが可能であり得る。画像キャプチャデバイス４１４は、可視光を検出するように構成される１つ以上のデバイス（たとえば可視光カメラ）、近赤外線光を検出するように構成される１つ以上のデバイス（たとえば近赤外線カメラ）、または、その組み合わせを含み得る。いくつかの例において、画像キャプチャデバイス４１４は２次元画像を示す画像データ、３次元画像を示すデータまたはその組み合わせを生成し得る。これにより、複数の画像キャプチャデバイス４１４が可視光、近赤外線またはその組み合わせをキャプチャし得、２次元画像、３次元画像またはその両方を示す画像データを生成し得る。
コンピューティングシステム４１０の１つ以上の通信ユニット４４６は、データを送信および／または受信することにより外部デバイスと通信し得る。たとえば、コンピューティングシステム４１０は、通信ユニット４４６のうちの１つ以上を使用して、セルラー無線ネットワークのような無線ネットワーク上で無線信号を送信および／または受信し得る。いくつかの例において、通信ユニット４４６は、グローバルポジショニングシステム（ＧＰＳ）ネットワークのような衛星ネットワーク上で衛星信号を送信および／または受信し得る。通信ユニット４４６の例は、（たとえばイーサネット（登録商標）カードのような）ネットワークインターフェイスカード、光学トランシーバ、無線周波数トランシーバ、ＧＰＳレシーバ、または、情報を送信および／もしくは受信し得る任意の他のタイプのデバイスを含む。通信ユニット４４６の他の例は、モバイルデバイスにおいて見つかる短波無線（たとえばＮＦＣ、ブルートゥース（ＢＬＥを含む））、ＧＰＳ、３Ｇ、４Ｇ、５ＧおよびＷＩＦＩ無線と、ユニバーサルシリアルバス（ＵＳＢ）コントローラなどとを含み得る。
コンピューティングシステム４１０の１つ以上の入力コンポーネント４４２は入力を受信し得る。入力の例は、たとえば、触覚入力、音声入力、運動入力、および光入力である。コンピューティングシステム４１０の入力コンポーネント４４２は、一例において、マウス、キーボード、音声応答システム、ビデオカメラ、ボタン、コントロールパッド、マイクロフォン、または、人間もしくはマシンからの入力を検出するための任意の他のタイプのデバイスを含む。いくつかの例において、入力コンポーネント４４２は、存在感知スクリーン、タッチ感知スクリーンなどを含み得る存在感知入力コンポーネントであり得る。
コンピューティングシステム４１０の１つ以上の出力コンポーネント４４４は出力を生成し得る。出力の例は、触覚出力、音声出力、およびビデオ出力である。いくつかの例において、コンピューティングシステム４１０の出力コンポーネント４４４は、存在感知スクリーン、サウンドカード、ビデオグラフィックスアダプタカード、スピーカ、陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤ）、または、人間もしくはマシンへの出力を生成するための任意の他のタイプのデバイスを含む。出力コンポーネントは、陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）といったディスプレイコンポーネント、または、触覚出力、音声出力、および／もしくは視覚出力を生成するための任意の他のタイプのデバイスを含み得る。
いくつかの例において、コンピューティングシステム４１０のＰＳＤ４１２は、入力コンポーネント４４２および／または出力コンポーネント４４４の機能を含み得る。図４の例では、ＰＳＤ４１２は、存在感知スクリーンまたはタッチ感知スクリーンのような存在感知入力コンポーネント４６４を含み得る。いくつかの例において、存在感知入力コンポーネント４６４は、存在感知入力コンポーネントにおいておよび／または存在感知入力コンポーネントの近傍において、対象を検出し得る。１つの例示的な範囲として、存在感知入力コンポーネント４６４は、存在感知入力コンポーネント４６４の２インチ以内にある指またはスタイラスのような対象を検出し得る。存在感知入力コンポーネント４６４は、対象が検出された存在感知入力コンポーネントの位置（たとえば（ｘ，ｙ）座標）を決定し得る。別の例示的な範囲では、存在感知入力コンポーネント４６４は、存在感知入力コンポーネント４６４から２インチ以下で対象を検出し得、他の範囲も可能である。存在感知入力コンポーネント４６４は、容量認識技術、誘導認識技術または光学認識技術を用いて、ユーザの指によって選択された存在感知入力コンポーネント４６４の位置を決定し得る。
いくつかの例では、ＰＳＤ４１２はさらに、出力コンポーネント４４４に関して記載されたような触覚刺激、音声刺激、またはビデオ刺激を使用して、ユーザに出力を提供し得る。たとえば、ＰＳＤ４１２は、グラフィカルユーザインターフェイスを表示すディスプレイコンポーネント４６２を含み得る。ディスプレイコンポーネント４６２は、出力コンポーネント４４４に関して記載したような視覚出力を提供する任意のタイプの出力コンポーネントであり得る。コンピューティングシステム４１０の統合されたコンポーネントとして示されているが、ＰＳＤ４１２は、いくつかの例では、入力および出力を送信および／または受信するためにコンピューティングシステム４１０の他のコンポーネントとデータまたは情報パスを共有する外部コンポーネントであり得る。たとえば、ＰＳＤ４１２は、コンピューティングシステム４１０の外部パッケージング内に位置し物理的に接続されるコンピューティングシステム４１０の内蔵のコンポーネントであり得る（たとえば携帯電話上のスクリーン）。別の例では、ＰＳＤ４１２は、コンピューティングシステム４１０のパッケージングの外に位置し物理的に分離されているコンピューティングシステム４１０の外部コンポーネントであり得る（たとえば、タブレットコンピュータと有線および／または無線データパスを共有するモニタ、プロジェクタなど）。いくつかの例において、コンピューティングシステム４１０のパッケージングの外部に位置するとともに物理的にパッケージングから分離された場合のＰＳＤ４１２は、入力を受け取るための存在感知入力コンポーネント４６４と、出力を提供するためのディスプレイコンポーネント４６２という２つの別個のコンポーネントによって実現され得る。
コンピューティングシステム４１０内の１つ以上の記憶コンポーネント４４８は、コンピューティングシステム４１０の動作の間の処理のための情報を格納し得る（たとえば、コンピューティングシステム４１０は、コンピューティングシステム４１０における実行の間にＦＲＭ４２２によってアクセスされるデータを格納し得る）。いくつかの例において、記憶コンポーネント４４８は一時メモリであり、これは、記憶コンポーネント４４８の主目的が長期間の格納ではないことを意味する。コンピューティングシステム４１０上の記憶コンポーネント４４８は、揮発性メモリとして、情報の短期間の格納のために構成され得、したがって、電源オフにされると、格納されたコンテンツを保持しない。揮発性メモリの例は、ランダムアクセスメモリ（ＲＡＭ）と、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）と、スタティックランダムアクセスメモリ（ＳＲＡＭ）と、当該技術において公知の揮発性メモリの他の形態とを含む。
記憶コンポーネント４４８はさらに、いくつかの例において、１つ以上のコンピュータ読取可能記憶媒体を含む。いくつかの例における記憶コンポーネント４４８は、１つ以上の一時的でないコンピュータ読取可能記憶媒体を含んでいる。記憶コンポーネント４４８は揮発性メモリによって典型的に格納されるより大きな量の情報を格納するように構成され得る。記憶コンポーネント４４８はさらに、不揮発性メモリスペースとして情報の長期間の格納のために構成され得、電源オン／オフサイクルの後でも情報を保持し得る。不揮発性メモリの例は、磁気ハードディスク、光学ディスク、フラッシュメモリ、または、電気的プログラム可能メモリ（ＥＰＲＯＭ： electrically programmable memory）または電気的消去可能プログラム可能メモリ（ＥＥＰＲＯＭ： electrically erasable and programmable）の形態を含む。記憶コンポーネント４４８は、ＦＲＭ４２２に関連付けられるプログラム命令および／または情報（たとえばデータ）を格納し得る。記憶コンポーネント４４８は、ＦＲＭ４２２に関連付けられるデータまたは他の情報と、登録された情報４２８とを格納するように構成されるメモリを含み得る。
１つ以上のプロセッサ４３０は、機能を実現し、および／または、コンピューティングシステム４１０に関連付けられる命令を実行し得る。プロセッサ４３０の例は、アプリケーションプロセッサ、ディスプレイコントローラ、補助プロセッサ、１つ以上のセンサハブ、および、プロセッサ、処理ユニットまたは処理デバイスとして機能するように構成される任意の他のハードウェアを含む。ＦＲＭ４２２は、コンピューティングシステム４１０のさまざまなアクション、動作または機能を行なうプロセッサ４３０によって動作可能であり得る。
ある例において、コンピューティングシステム４１０がビークルコンピューティングシステム１００の例を含む場合、記憶デバイス４４８は、（たとえば、図１および／もしくは図５に示され、ならびに／または、図１および／もしくは図５におけるシステム１００を参照して記載されるように）ビークルコンピューティングシステム１００の対応する機能を実現するプロセッサ４３０によって実行可能である情報および／またはモジュールを含み得る。他の例において、コンピューティングシステム４１０が図３のコンピューティングデバイス３１０の例を含む図４に示すように、コンピューティングシステム４１０のプロセッサ４３０は、ＦＲＭ４２２に起因し本願明細書において記載される動作をプロセッサ４３０に行なわせる、記憶コンポーネント４４８によって格納される命令を抽出および実行し得る。プロセッサ４３０によって実行される際の命令は、コンピューティングシステム４１０に記憶コンポーネント４４８内に情報を格納させ得る。
ＦＲＭ４２２は、図３のコンピューティングデバイス３１０のＦＲＭ３２２のすべての機能を含み得、コンピューティングシステム４１０のユーザを認証するために顔認識を行なうためのＦＲＭ３２２と同様の動作を行ない得る。ＦＲＭ４２２は、登録モジュール４２４および認証モジュール４２６を含み得る。
いくつかの例において、登録モジュール４２４は、コンピューティングシステム４１０の既知のユーザの画像データを既知のユーザについてのユーザアカウントに関連付けるために、登録プロセスを行ない得る。いくつかの例において、たとえば、新しいアカウントをセットアップする場合、登録モジュール４２４は、所与のユーザアカウントについて１回、登録プロセスを行ない得る。
登録フェーズ中、画像キャプチャデバイス４１４は、コンピューティングシステム４１０の既知のユーザ（たとえば、関連付けられるユーザアカウントにログインしたユーザ）の（図１の）１つ以上の画像データ３３０をキャプチャし、画像の各々を示す画像データを生成する。ＦＲＭ４２２の登録モジュール４２４は、画像キャプチャデバイス４１４から画像データを受け取り得、（図１の）１つ以上のポーズバケット３３２に画像データ３３０の各々を割り当てるよう画像データを分析し得る。
登録モジュール４２４は、画像データに含まれる既知のユーザの顔の特徴またはランドマークに基づいて、ポーズバケット３３２のどれが画像データに関連付けられるかを決定し得る。たとえば、登録モジュール４２４は、ユーザの目、鼻および口のような未知のユーザの顔の画像データのランドマークを検出し得、ランドマークに基づいて顔のヨー角およびピッチ角を決定し得る。たとえば、登録モジュール４２４は、画像データ３３０Ａを受け取り得、画像データ３３０Ａにおけるランドマークに基づいて、画像データ３３０Ａにおけるユーザの顔のヨー角が約０°であるとともに画像データ３３０Ａにおけるユーザの顔のピッチ角が約０°であると決定し得る。登録モジュール４２４は、ポーズバケット３３２ＣＣが−５°から５°までの範囲のヨー角と−５°から５°までの範囲のピッチ角とを含むと決定し得る（たとえば、ポーズバケット３３２ＣＣは、０°のヨーおよび０°のピッチにて、中心に位置する）。そのような例において、登録モジュール４２４は、画像データ３３０Ａにおけるユーザの顔のヨーおよびピッチ角がポーズバケット３３２ＣＣについてのピッチ角およびヨー角の範囲内にあると決定し得るため、登録モジュール４２４は、画像データ３３０Ａがポーズバケット３３２ＣＣ内に含まれると決定する。いくつかの例において、登録モジュール４２４は、画像データ３３０Ａにおけるユーザの顔のロールの量を決定し得る。たとえば、登録モジュール４２４は、画像データ３３０Ａにおけるユーザの顔のヨー角、ピッチ角およびロールに基づいて、ポーズバケット３３２のどれが画像データ３３０Ａを含むか決定し得る。
いくつかの例において、登録モジュール４２４は、画像データ３３０Ａが複数のポーズバケット３３２に含まれるか否かを決定する。たとえば、登録モジュール４２４は、画像データ３３０Ａのヨー角およびピッチ角が所与のポーズバケット３３２の中心の予め規定された距離（たとえば１０°の半径）内にある場合、所与のポーズバケット内に画像データ３３０Ａを含み得る。たとえば、登録モジュール４２４は、画像データ３３０Ａにおけるユーザの顔のヨー角およびピッチ角がそれぞれ０°および０°であると決定し得る。１つの場合では、予め規定された距離は１０°であり得、ポーズバケット３３２ＢＣは０°のヨーおよび１０°のピッチにて中心に位置し得るため、登録モジュール４２４は、ポーズバケット３３２ＢＣの中心の予め規定された距離内に画像データ３３０Ａのヨー角およびピッチ角が位置すると決定し得る。そのような場合では、登録モジュール４２４は、ポーズバケット３３２ＢＣに画像データ３３０Ａを含み得る。同様に、登録モジュール４２４は、画像データ３３０Ａについてのヨー角およびピッチ角がポーズバケット３３２ＣＢ、３３２ＣＤおよび３３２ＤＣの中心の予め規定された距離内にあると決定し得、ポーズバケット３３２ＣＣおよび３３２ＢＣに加えてポーズバケット３３２ＣＢ、３３２ＣＤおよび３３２ＤＣに画像データ３３０Ａを含み得る。
いくつかの例において、登録モジュール４２４は画像データ３３０Ａを受け取った後に画像データ３３０Ｂを受け取る。登録モジュール４２４は、ポーズバケット３３２のうちのいずれにおいても画像データ３３０Ｂを含むか否かを決定し得る。登録モジュール４２４は、画像データ３３０Ｂにおけるランドマークに基づいて、画像データ３３０Ｂにおけるユーザの顔のヨー角が約０°であるとともに画像データ３３０Ｂにおけるユーザの顔のピッチ角が約１９°であると決定し得る。登録モジュール４２４は、ポーズバケット３３２ＡＣが−５°から５°までの範囲のヨー角と１５°から２５°までの範囲のピッチ角とに関連付けられると決定し得る（たとえば、ポーズバケット３３２ＡＣは、０°のヨーおよび２０°のピッチにて、中心に位置する）。そのような例において、登録モジュール４２４は、画像データ３３０Ｂにおけるユーザの顔のヨー角およびピッチ角がポーズバケット３３２ＡＣについてのピッチ角およびヨー角の範囲内にあると決定し得る。登録モジュール４２４は、ポーズバケット３３２ＡＣが画像データ３３０のうちの１つを含むか否かを決定し得、ポーズバケット３３２ＡＣがまだ画像データを含んでいないと決定することに応答して、ポーズバケット３３２ＡＣに画像データ３３０Ｂを含み得る。
登録モジュール４２４は、任意の他のポーズバケット３３２に画像データ３３０Ｂを含むか否かを決定し得る。たとえば、登録モジュール４２４は、画像データ３３０Ｂについてのヨー角およびピッチ角が他のポーズバケット３３２の中心の予め規定された距離内にあるか否かを決定し得る。たとえば、登録モジュール４２４は、予め規定された距離が１０°であるとともにポーズバケット３３２ＢＣが０°のヨーおよび１０°のピッチで中心に位置すると決定し得るため、登録モジュール４２４は、画像データ３３０Ｂのヨー角およびピッチ角（たとえば０°のヨー、１９°のピッチ）は、ポーズバケット３３２ＢＣの中心の予め規定された距離内に位置すると決定し得る。登録モジュール４２４は、画像データ３３０Ｂについてのヨー角およびピッチ角がポーズバケット３３２ＢＣの中心の予め規定されたしきい値の内にあると決定することに応答して、ポーズバケット３３２ＢＣに画像データ３３０Ｂを含むか否かを決定し得る。
いくつかの例において、登録モジュール４２４は、ポーズバケット３３２ＢＣが既に画像データ３３０Ａを含んでいると決定し、ポーズバケット３３２ＢＣにおいて画像データ３３０Ａを画像データ３３０Ｂに置換するか否かを決定する。一例において、登録モジュール４２４は、ポーズバケット３３２ＢＣの中心と、画像データ３３０Ａ，３３０Ｂについてのそれぞれのヨー角およびピッチ角との間の距離に基づいて、ポーズバケット３３２ＢＣにおいて画像データ３３０Ａを画像データ３３０Ｂに置換するか否かを決定し得る。たとえば、登録モジュール４２４は、画像データ３３０Ａについてのヨー角およびピッチ角が０°、０°であり、画像データ３３０Ｂについてのヨー角およびピッチ角が０°、１９°であり、ポーズバケット３３２ＢＣの中心についてのヨー角およびピッチ角が０°、１０°であると決定し得る。そのような例において、登録モジュール４２４は、画像データ３３０Ｂが画像データ３３０Ａよりポーズバケット３３２ＢＣの中心に近いとを決定し得、ポーズバケット３３２ＢＣ内において画像データ３３０Ａを画像データ３３０Ｂに置換し得る。
いくつかの例において、登録モジュール４２４は、画像データ３３０Ａ，３３０Ｂを受け取る順序に基づいて、ポーズバケット３３２ＢＣ内に画像データ３３０Ａまたは画像データ３３０Ｂを含むか否かを決定し得る。たとえば、登録モジュール４２４は、ポーズバケット３３２ＢＣ内に最も古い画像データ（たとえば最初に受け取られた画像データ）を含み得る。そのような例において、登録モジュール４２４は、画像データ３３０Ａは最初に受け取られたので、画像データ３３０Ａがポーズバケット３３２ＢＣ内に含まれると決定し得る。別の例において、登録モジュール４２４は、ポーズバケット３３２ＢＣ内に最も最近の画像データを含み得る。これらの例において、登録モジュール４２４は、画像データ３３０Ｂがポーズバケット３３２ＢＣ内に含まれると決定し得る。
登録モジュール４２４は、画像キャプチャデバイス４１４からの画像データ３３０を示すデータを受け取り得、しきい値数のポーズバケット３３２が画像データ３３０のうちの１つを含むか否かを決定し得る。たとえば、登録モジュール４２４は、既知のユーザの顔の画像データ３３０を含むポーズバケット３３２の数を決定し得る。ポーズバケット３３２の数を決定することに応答して、登録モジュール４２４は、画像データ３３０を含むポーズバケットの数がポーズバケットのしきい値数を満たすか否か（たとえば、しきい値数以上であるか否か）を決定し得る。たとえば、登録モジュール４２４は、画像データ３３０がポーズバケット３３２の少なくとも７５％内に含まれていると決定することに応答して、画像データ３３０を含むポーズバケットの数がポーズバケットのしきい値数を満たすと決定する。画像データ３３０を含むポーズバケットの数がポーズバケットのしきい値数を満たさないと決定することに応答して、登録モジュール４２４は、登録プロセスのために１つ以上の付加的な画像データ３３０を画像キャプチャデバイス４１４にキャプチャさせ得る。
いくつかの例において、登録モジュール４２４は、画像データ３３０を含むポーズバケットの数がポーズバケットのしきい値数を満たすと決定することに応答して、画像データ３３０を示すデータを既知のユーザについてのユーザアカウントに関連付け得る。いくつかの例において、画像データ３３０は、画像自体を含み得るか、または、各それぞれの画像（たとえば計算された顔特徴データ）についての画像テンプレートを含み得る。画像テンプレートは、複数の要素値（たとえば５０個の値、１００個の値、５００個の値など）を有するベクトルを含み得る。いくつかの例において、ベクトルの各要素値は、ユーザの顔の特徴（たとえば両目の間の距離、鼻形状など）に対応する。代替的または付加的には、ベクトルの要素値は、顔のアイデンティティを示す出力を生成するように学習された非線形マシンラーニングモデルによって生成され得る。一例として、登録モジュール４２４は、学習された顔認識モデルを複数の画像データ３３０に適用し得、各それぞれの画像データ３３０についての画像テンプレート（たとえばベクトル）を出力し得る。いくつかの例において、登録モジュール４２４は、各画像テンプレートに画像テンプレート識別子を割り当て、かつ、既知のユーザについてのユーザアカウントのためのユーザアカウント識別子にそれぞれの画像テンプレート識別子を関連付けることにより、ユーザアカウントに画像データ３３０を示すデータを関連付ける。
登録モジュール４２４は、登録された情報４２８に画像データ３３０を示すデータ（たとえば画像自体または画像テンプレート）を格納し得る。いくつかの例において、登録モジュール４２４は、画像データ３３０を示すデータを格納する前に、画像データ３３０を示すデータを暗号化する。画像データ３３０は、データがネットワークを通じて任意の他のデバイスに送信されないように、コンピューティングシステム４１０上にローカルに格納され得る。さらに、コンピューティングシステム４１０は、画像データ３３０を示すデータを削除する機会をユーザに提供し得る。
いくつかのシナリオにおいて、認証モジュール４２６は、（図１の）未知のユーザ１５０の顔の認証画像を示すデータを受け取ることに応答して、認証モジュール４２６を使用して認証プロセスを行なう。未知のユーザの顔の画像を示すデータは、画像自体を含み得るか、または、未知のユーザの顔の特徴を表わす画像テンプレートを含み得る。
認証画像データを示すデータを受け取ることに応答して、認証モジュール４２６は、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定し得る。認証モジュール４２６は、ユーザ１５０の認証画像データおよび１つ以上の登録画像データ３３０に基づいて、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定し得る。いくつかの場合において、認証モジュール４２６は、ポーズ独立技術（ポーズ不変技術とも称される）またはポーズ依存技術を使用して、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定する。
いくつかのポーズ依存例において、認証モジュール４２６は、認証画像データと、画像データ３３０のうち認証画像における未知のユーザ１５０の顔のポーズに最も近いポーズの既知のユーザの顔を含む特定の画像データとに基づいて、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定する。一例において、認証画像データにおける顔のポーズに最も近いポーズの既知のユーザ３３８の顔を含む特定の画像データ３３０は、認証画像データに関連付けられるポーズバケット３３２と同じポーズバケットに含まれる画像データ３３０の特定の画像であり得る。
認証モジュール４２６は、未知のユーザ１５０の認証画像データに関連付けられるポーズバケット３３２のポーズバケットを決定し得る。たとえば、認証モジュール４２６は、未知のユーザの顔の特徴またはランドマークに基づいて、この画像データに関連付けられるポーズバケットを決定し得る。たとえば、認証モジュール４２６は、認証画像データにおける顔のヨー角およびピッチ角を決定し得る。認証画像データにおける顔のヨー角およびピッチ角を決定することに応答して、認証モジュール４２６は、認証画像データにおいてポーズバケット３３２のどれが顔のヨー角およびピッチ角を含むか決定し得、ポーズバケット（たとえばポーズバケット３３２ＣＤ）が認証画像データに関連付けられるポーズバケットであると決定し得る。いくつかの場合において、認証モジュール４２６は、認証画像データにおける未知のユーザ１５０の顔のロールを決定し得る。認証モジュール４２６は、認証画像データにおける顔のヨー角、ピッチ角、およびロールに基づいて、ポーズバケット３３２のどれが認証画像データに関連付けられるか決定し得る。
認証モジュール４２６は、認証画像データ（たとえばポーズバケット３３２ＣＤ）に関連付けられるポーズバケット内に画像データ３３０のどれが含まれるかを決定し得る。ポーズバケット３３２ＣＤが認証画像データに関連付けられる例において、認証モジュール４２６は、登録された情報４２８をクエリ送信し、画像データ３３０Ｇがポーズバケット３３２ＣＤ内に含まれると決定し得る。画像データ３３０Ｇが認証画像データに関連付けられるポーズバケット内に含まれると決定することに応答して、認証モジュール４２６は、選択された画像データ３３０Ｇについての類似性スコアを決定することにより、ユーザ１５０が既知のユーザ３３８であるか否かを決定し得る。いくつかの例において、画像データ３３０Ｇについての類似性スコアは、画像データ３３０Ｇと認証画像データとの間の類似性を示す。
認証モジュール４２６は、画像データ３３０Ｇを示すデータおよび認証画像データを示すデータに基づいて、画像データ３３０Ｇについての類似性スコアを決定し得る。いくつかの例において、画像データ３３０Ｇを示すデータは、画像データ３３０Ｇについての画像テンプレートを含む。そのような画像テンプレートはベクトルとして表わされ得、学習された顔認識モデルによって生成され得る。ベクトルは、ユーザの顔のそれぞれの特徴（たとえば両目の間の距離、鼻形状など）に各々対応する複数の要素値を含み得る。同様に、認証画像データは、同様の態様で生成されるベクトルを含み得る。いくつかの例において、認証モジュール４２６は、画像データ３３０Ｇを表わすベクトルと、認証画像データを表わすベクトルとの間の角度を計算することによって、類似性スコアを決定する。別の例として、認証モジュール４２６は、画像データ３３０Ｇを表わすベクトルと認証画像データを表わすベクトルとの間のコサイン類似性を決定することによって、画像データ３３０Ｇについての類似性スコアを決定し得る。
いくつかの例において、認証モジュール４２６は、画像データ３３０Ｇについての類似性スコアがしきい値類似性スコアを満たすか否かを決定する。一例として、認証モジュール４２６は、画像データ３３０Ｇを表わすベクトルと、認証画像データを表わすベクトルとの間の角度を決定することによって、画像データ３３０Ｇについての類似性スコアを決定し、かつ、類似性スコアがしきい値類似性スコア未満であると決定することに応答して、画像データ３３０Ｇについての類似性スコアがしきい値類似性スコアを満たすと決定する。別の例として、認証モジュール４２６は、画像データ３３０Ｇを表わすベクトルと、認証画像データを表わすベクトルとの間のコサイン類似性を決定することによって、画像データ３３０Ｇについての類似性スコアを決定し、かつ、類似性スコアがしきい値類似性スコアより大きいと決定することに応答して、画像データ３３０Ｇについての類似性スコアがしきい値類似性スコアを満たすと決定する。
認証モジュール４２６は、画像データ３３０Ｇについての類似性スコアがしきい値類似性スコアを満たすと決定することに応答して、未知のユーザ１５０が既知のユーザ３３８であると決定し得る。同様に、認証モジュール４２６は、画像データ３３０Ｇについての類似性スコアがしきい値類似性スコアを満たさないと決定することに応答して、未知のユーザ１５０が既知のユーザ３３８ではないと決定し得る。
いくつかのポーズ独立例において、認証モジュール４２６は、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定するために、画像データ３３０の各々についてのそれぞれの類似性スコアを決定する。それぞれの類似性スコアは、画像データ３３０の対応する画像データと認証画像データとの間の類似性を示す。上で論じたように、認証モジュール４２６は、それぞれの画像データ３３０を示すデータおよび認証画像データを示すデータに基づいて、画像データ３３０の各々についてのそれぞれの類似性スコアを決定し得る。いくつかの例において、画像データ３３０を示すデータは、それぞれの画像テンプレートを含む。そのような画像テンプレートは、ベクトルとして表わされてもよく、学習された顔認識モデルによって生成されてもよい。ベクトルは、ユーザの顔のそれぞれの特徴に各々対応する複数の要素値を含み得る。そのような例において、認証画像データを示すデータは、未知のユーザ１５０の顔のそれぞれの特徴に各々対応する複数の要素値を含むベクトルを含み得る。いくつかのシナリオでは、認証モジュール４２６は、それぞれのベクトルと認証画像データを表わすベクトルとの間の角度を計算することによって、画像データ３３０の各々についてのそれぞれの類似性スコアを決定する。別の例として、認証モジュール４２６は、画像データ３３０の各々についてのそれぞれのベクトルと、認証画像データを表わすベクトルとの間のコサイン類似性を決定することによって、画像データ３３０の各々についてのそれぞれの類似性スコアを決定し得る。
１つのポーズ独立例において、認証モジュール４２６は、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定するために、画像データ３３０についてのそれぞれの類似性スコアに基づいて、画像データ３３０の画像データを選択する。認証モジュール４２６は、認証画像データに最も近いマッチを示す類似性スコアを有する画像データ３３０の単一の画像データを選択する。いくつかの例において、認証モジュール４２６は、画像データ３３０のうちのそれぞれの画像データを表わす各ベクトルと、認証画像データを表わすベクトルとの間の角度に基づいて、画像データ３３０についてのそれぞれの類似性スコアを決定し、最も近いマッチを示すスコアが最も低い類似性スコアであると決定する（たとえば２つのベクトル間の角度が小さいほど、ベクトルが互いにより近くなる）。別の例において、認証モジュール４２６は、画像データ３３０のうちのそれぞれの画像データを表わす各ベクトルと、認証画像データを表わすベクトルとの間のコサイン類似性に基づいて、画像データ３３０についてのそれぞれの類似性スコアを決定し、最も近いマッチを示すスコアが最も高い類似性スコアであると決定する（たとえば、２つのベクトル間のコサイン値が大きいほど、当該ベクトル同士がより類似する）。
いくつかのシナリオでは、認証モジュール４２６は、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定するために、それぞれの類似性スコアに基づいて画像データ３３０のうち２つ以上の画像データを選択する。１つのシナリオでは、認証モジュール４２６は、２つ以上の画像データ３３０についての複合類似性スコアを決定する。いくつかの場合において、認証モジュール４２６は、２つ以上の画像データ３３０についての最も高い類似性スコアまたは２つ以上の画像データ３３０についての最も低い類似性スコアに基づいて、複合類似性スコアを決定し得る。１つの場合において、認証モジュール４２６は、画像データ３３０のうちの２つ以上についてのそれぞれの類似性スコアの平均に基づいて、複合類似性スコアを決定し得、未知のユーザ１５０が既知のユーザ３３８であるか否かを決定するために複合類似性スコアをしきい値類似性スコアと比較し得る。
別の例として、認証モジュール４２６は、２つ以上の画像データについての各それぞれの類似性スコアをしきい値類似性スコアと比較し得る。そのような例において、選択された画像データのしきい値数（たとえば１００％、８０％、６０％など）がしきい値類似性スコアを満たす類似性スコアを有すると決定することに応答して、認証モジュール４２６は、未知のユーザ１５０が既知のユーザ３３８であると決定し得る。たとえば、認証モジュール４２６は、選択された画像データのセットが、画像データ３３０のうち最も高い類似性スコアを有する３つの画像データを含んでいると決定し得、かつ、これら３つの選択された画像データのうちの２つについての類似性スコアがしきい値類似性スコアを満たすと決定することに応答して、未知のユーザ１５０が既知のユーザ３３８であると決定し得る。
いくつかの場合において、記憶デバイス４４８はさらに１つ以上のモデル４２９を格納し得る。たとえば、いくつかの場合において、コンピューティングデバイス３１０は、上述したように、個人を識別する助けとなる顔のランドマークを抽出するためにディープラーニングモデルを利用し得る。これらのモデルは、パーソナルデバイスの専用のニューラルエンジンまたはプロセッサ上で実行するように調整され得る。上述したように、いくつかの例において、画像テンプレートは一般に、ユーザの顔の１つ以上の特徴（たとえばバイオメトリック特徴）の統計モデルに対応し得る。たとえば、ＦＲＭ３２２は、複数の要素値（たとえば５０個の値、１００個の値、５００個の値など）を有するベクトルを含む画像テンプレートを生成し得る。いくつかの例において、ベクトルの各要素値は、ユーザの顔の特徴（たとえば両目の間の距離、鼻形状など）に対応する。代替的または付加的には、ベクトルの要素値はたとえば、顔のアイデンティティを示す出力を生成するように学習された非線形マシンラーニングモデルによって生成され得る。たとえば、ＦＲＭ３２２は、学習された顔認識モデルを複数の画像データ３３０に適用し得、各それぞれの画像データ３３０についての画像テンプレート（たとえばエンベッディング）をベクトルとして出力し得る。代替的または付加的には、ベクトルの要素値は、顔のアイデンティティを示す出力を生成するように学習された非線形マシンラーニングモデルによって生成され得る。一例として、登録モジュール４２４は、学習された顔認識モデルを複数の特徴データ３３０に適用し得、各それぞれの画像データ３３０についての画像テンプレート（たとえばベクトル）を出力し得る。そのような画像テンプレートは、ベクトルとして表わされてもよく、学習された顔認識モデルによって生成されてもよい。ベクトルは、ユーザの顔のそれぞれの特徴（たとえば両目の間の距離、鼻形状など）に各々対応する複数の要素値を含み得る。
いくつかの場合において、既知のユーザに関連付けられるバイオメトリック特徴情報または識別子は、画像データ３３０についてのさまざまな異なるポーズについての画像データおよび／または特徴情報を含み得る登録された情報４２８に格納されるそのユーザについてのさまざまな登録された画像データおよび／または特徴を含み得る。登録された情報４２８に格納されるこのバイオメトリック情報は、いくつかの場合において、ユーザの一意識別子および／またはユーザに固有のユーザプロファイルもしくはアカウントについての情報をさらに含み得る。マシンモデルは、ローカルに（たとえばコンピューティングデバイス４１０のモデル４２９に）格納され得るか、または、デバイス４１０からリモートに（たとえば１つ以上のリモートサーバに）格納され得る。
未知のユーザ１５０が既知のユーザ３３８であると決定することに応答して、コンピューティングデバイス３１０は、ビークルのＩＨＵシステム１００に認証データを送信し得る。たとえば、コンピューティングデバイス３１０は、既知のユーザ３３８としての未知のユーザ１５０の認証の成功を示すデータを送信し得、これによりユーザ１５０の認証を示す。いくつかの場合において、コンピューティングデバイス３１０は、ユーザ３３８（たとえば認証されたユーザ１５０）についてカスタマイズまたはパーソナライズされるユーザプロファイルおよび／またはアカウント情報をシステム１００に送信し得る。ある場合には、コンピューティングデバイス３１０はさらに、ユーザ３３８および／またはコンピューティングデバイス３１０の一意識別子をビークルのシステム１００に送信し得る。
図５は、本開示の１つ以上の局面に従った、例示的な運転者乗込および認証プロセスを示す図であり、図６は、本開示の１つ以上の局面に従った例示的な顔登録プロセスを示す図である。運転者のようなユーザ１５０を登録または乗り込ませることは、ＩＨＵシステム１００上のアカウント作成の時といった、ユーザのパーソナルデバイス（たとえば図１のモバイルコンピューティングデバイス１７０、図３のコンピューティングデバイス３１０）上で行われ得る。このプロセスは、たとえば図３を参照して上で説明されたように、デバイス上の前方対向カメラを使用して、ユーザの顔のバイオメトリック特徴をキャプチャする登録アプリケーションをパーソナルデバイス上で実行することを伴う。これらの対応する顔の特徴は、パーソナルデバイス（たとえば登録された情報３２８）上に特徴データとして格納される。パーソナルデバイスは、ＩＨＵ（たとえば図１のＩＨＵシステム１００）と信頼されたデバイスとして登録／ペアリングされる。パーソナルデバイス（たとえばコンピューティングデバイス３１０の画像キャプチャデバイス３１４の１つ以上）のカメラは、近赤外線（ＮＩＲ）フレームおよび／または赤緑青（ＲＧＢ）フレームをキャプチャするカメラといったさまざまな異なるタイプのカメラのいずれかであり得る。パーソナルデバイスがＩＨＵとペアリングされると、パーソナルデバイスはＩＨＵに対して信頼されたデバイスと認識され、ＩＨＵによって一意識別子を割り当てられる。この信頼されたデバイスおよびその対応する一意識別子は、ＩＨＵによってビークルのユーザ（たとえばユーザ１５０）ならびにそのユーザについての任意のプロファイルおよび／またはアカウント情報に関連付けられる。
さまざまな例において、登録プロセスは次の局面を含み得る。モバイルコンピューティングデバイス１７０および／またはコンピューティングデバイス３１０のようなさまざまなパーソナルコンピューティングデバイスまたはシステムは、カメラのような前方対向画像キャプチャデバイス１７３または３１４を備え得る。これらのカメラは、ＮＩＲおよび／またはＲＧＢフレーム５５１を顔識別の目的のために使用または提供し得る。これらのフレーム５５１は図３に示される画像３３３の一例であり得る。ＮＩＲスペクトルは、いくつかの場合において、異なる光の条件に対してより良好な適応性を提供する。いくつかの例において、パーソナルデバイスは、上述したように、個人を識別する助けとなる顔のランドマークを抽出するためにディープラーニングモデルを利用し得る。これらのモデルは、パーソナルデバイスの専用のニューラルエンジンまたはプロセッサ上で実行するように調整され得る。上述したように、いくつかの例において、画像テンプレートは一般に、ユーザの顔の１つ以上の特徴（たとえばバイオメトリック特徴）５５３の統計モデルに対応し得る。特徴５５３は特徴データ３３０の一例であり得る。いくつかの場合において、コンピューティングデバイス３１０は、学習された画像および／またはＮＩＲカメラおよび／またはＲＧＢカメラにより得られる画像についての特徴データに基づくモデル情報をモデル３２９内に含み得る。いくつかの場合において、コンピューティングデバイス３１０がモデル３２９における情報（たとえば特徴データ）を１つの色空間（ＲＧＢ空間）から別の色空間（ＮＩＲ空間）に抜き出し（distill）得る。結果として、図１のビークル内で使用されるカメラは必ずしも、コンピューティングデバイス３１０において使用される画像キャプチャデバイス（たとえばカメラ）３１４と同じタイプである必要がない。たとえば、ビークルはＮＩＲカメラを含み得るが、画像キャプチャデバイス３１４はＲＧＢカメラを含み得る。さまざまな例において、図１のビークル内で使用されるカメラは、コンピューティングデバイス３１０に含まれる画像キャプチャデバイス３１４と同じタイプであり得る。
たとえば、ＦＲＭ３２２は、複数の要素値（たとえば５０個の値、１００個の値、５００個の値など）を有するベクトルを含む画像テンプレートを生成し得る。いくつかの例において、ベクトルの各要素値は、ユーザの顔の特徴（たとえば両目の間の距離、鼻形状など）に対応する。代替的または付加的には、ベクトルの要素値はたとえば、顔のアイデンティティを示す出力を生成するように学習された非線形マシンラーニングモデルによって生成され得る。たとえば、ＦＲＭ３２２は、学習された顔認識モデルをフレーム５５１に適用し得、特徴５５３におけるそれぞれの顔特徴についての画像テンプレート（たとえばエンベッディング）をベクトルとして出力し得る。代替的または付加的には、ベクトルの要素値は、顔のアイデンティティを示す出力を生成するように学習された非線形マシンラーニングモデルによって生成され得る。
一例として、登録モジュール４２４は、学習された顔認識モデルをフレーム５５１に適用し得、特徴５５３における顔のそれぞれの特徴について画像テンプレート（たとえばベクトル）を出力し得る。そのような画像テンプレートはベクトルとして表わされてもよく、学習された顔認識モデルによって生成されてもよい。ベクトルは、ユーザの顔のそれぞれの特徴（たとえば両目の間の距離、鼻形状など）に各々が対応する複数の要素値を含み得る。いくつかの場合において、既知のユーザに関連付けられるバイオメトリック特徴情報または識別子５５５は、信頼されたデバイス上において（たとえば登録された情報３２８に）格納される、そのユーザについてのさまざまな登録された特徴を含み得、格納された情報は、さまざまな異なるポーズについて特徴情報を含み得る。登録された情報３２８に格納されるこのバイオメトリック情報は、ユーザの一意識別子および／またはユーザに固有のユーザプロファイルもしくはアカウントについての情報をさらに含み得る。マシンモデルは、ローカルに（たとえばモバイルコンピューティングデバイス１７０、コンピューティングデバイス３１０、コンピューティングデバイス４１０、ＩＨＵシステム上に）格納され得るか、または、これらのデバイスからリモートに（たとえば１つ以上のリモートサーバ上に）格納され得る。
図５に示される例に対する１つ以上の代替例において、信頼されたモバイルコンピューティングデバイスは、登録された特徴データをビークルコンピューティングシステム（たとえばビークルコンピューティングシステム１００）に送信し得、次いで、ビークルコンピューティングシステムは、未知のユーザの認証特徴データと、既知のユーザの受け取られた登録された特徴データとを比較することによって、ビークルにおいて未知のユーザの認証を行なうように構成され得る。これらの場合では、ビークルコンピューティングシステム１００は、以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる特徴データ（たとえば特徴データまたは識別子５５５）をモバイルコンピューティングデバイスから受け取る。次いで、ビークルコンピューティングシステム１００は、この受け取られた特徴データを、ビークル内部のユーザの顔のキャプチャされた画像に関連付けられる特徴データ（たとえば特徴５５９）に関連付けるように構成され得る。次いで、ビークルコンピューティングシステム１００は、比較に基づいて、当該ビークルのユーザと以前に登録されたユーザとの間のマッチを決定し得る。ビークルコンピューティングシステム１００によって処理される認証データはマッチの指示を含む。
図３を参照して以前に記載されたように、かつ、さらに図５に示されるように、登録プロセス中において、コンピューティングデバイス（たとえばモバイルコンピューティングデバイス１７０、コンピューティングデバイス３１０）は、同じユーザ（たとえば既知のユーザ３３８）の異なる顔ポーズに対して顔画像データ（たとえば特徴データ）のギャラリを作成し得る。顔ポーズの推定は、顔のパン値およびチルト値により構成される。顔の特徴が登録されるポーズは、パーソナルデバイスにパターンとして現われ得る。これらのパターンは、図６に示されるように、ユーザの頭を移動させるようにユーザをガイドして、顔の異なるポーズをキャプチャする。
図６は、パーソナルデバイス上のアプリケーション内部でどのようにこれが遂行され得るかについての画面表示を示す。既知のユーザ３３８は、ＰＳＤ３１２において出力されるユーザ３３８の１つ以上の画像を見るために画像キャプチャデバイス３１４の１つ以上を利用し得る。これらの画像の表現が、ユーザ３３８が見ることができるグラフィカルフレーム６００内のＰＳＤ３１２において表示され得る。コンピューティングデバイス３１０は、図６に示されるように、ＰＳＤ３１２を介してユーザ３３８に命令を出力し得る。
たとえば、コンピューティングデバイス３１０は、フレーム６００内にユーザ３３８の顔を位置決めするために、画像キャプチャデバイス３１４に対してユーザ３３８の顔を移動し、その後、フレーム６００に示されるすべてのドットがある色（たとえば緑）になるまで、または、充填されていないドットから完全に充填されたドットに切り替わるまで、ユーザ３３８の頭を穏やかに回転するようユーザ３３８に指示を出力し得る。図６に示されるように、フレーム６００に含まれる９つのドットは現在充填されておらず、ドットのすべてが緑になるまで、または、充填されていない状態から充填された状態もしくはある色（たとえば黒）に切り替わるまで、ユーザ３３８がユーザ３３８の頭を回転させるべきであることを示す。ひとたびユーザ３３８がそうし終えると、画像キャプチャデバイス３１４は、登録された情報（たとえばデータストア）３２８においてその所与のポーズについての画像をキャプチャおよび格納する。コンピューティングデバイス３１０は、さまざまな異なるポーズについての特徴データ３３０をキャプチャする際に、以前に図３を参照して記載したように、異なるピッチ角およびヨー角に基づいて、さまざまな異なるポーズをとるようにユーザ３３８に指示し得る。図６を参照して、コンピューティングデバイス３１０は、ユーザ３３８のこれらの異なるポーズの各々について上記のプロセスを繰り返し得る。次いで、さまざまな異なる顔のポーズについての対応する特徴／ランドマークの顔特徴データは、登録された情報３２８における登録されたギャラリに格納され得る。いくつかの場合には、登録された情報３２８は、パーソナルデバイス３１０のセキュアな領域（enclave）を含み得る。
モバイルコンピューティングデバイス１７０の一例であるコンピューティングデバイス３１０は、図１に示されるビークルのＩＨＵシステム１００に登録され得、登録の際、ビークルに対して信頼されたコンパニオンデバイスになり得る。ＩＨＵシステム１００は、ＩＨＵシステム１００上のユーザのアカウントに関連付けられ得る一意識別子をコンピューティングデバイス３１０および／または既知のユーザ３３８に割り当て得る。たとえば、ビークルのユーザ１５０は、ユーザ１５０についてのパーソナルプロファイルを含むユーザのアカウントをＩＨＵシステム１００上に有し得る。ユーザ１５０についてのパーソナルプロファイルは、図１〜図２を参照して以前に記載されたように、ＩＨＵシステム１００のディスプレイ１１２に示され得るとともにユーザ１５０のためにカスタマイズまたはパーソナライズされる情報に関連付けられる。ＩＨＵシステム１００によってコンピューティングデバイス３１０および／または既知のユーザ３３８に割り当てられる一意識別子は、ユーザ１５０がデバイス３１０の既知のユーザ３３８として認証されると、ユーザ１５０のユーザアカウントまたはプロファイルに関連付けられる。
いくつかの場合には、ユーザ１５０はさらにウェアラブルデバイス１０７（たとえばスマートウォッチ）を有し得る。これらの場合において、モバイルコンピューティングデバイス１７０は、いくつかの例では、ウェアラブルデバイス１０７上での格納のために、登録された情報３２８に含まれる情報を提供するよう、ウェアラブルデバイス１０７と通信する。これらの例において、ウェアラブルデバイス１０７は、登録された情報３２８に含まれる情報を格納するように構成され得る。結果として、ウェアラブルデバイス１０７がひとたびこの情報を格納すると、ウェアラブルデバイス１０７は以前に図３を参照して記載された認証機能を行ない得る。たとえば、ウェアラブルデバイス１０７は、図３に示されるコンピューティングデバイス３１０の一例であり得る。これらの場合では、ビークルのユーザ１５０は必ずしも、ビークル内またはＩＨＵシステム１００に近接して別個のモバイルコンピューティングデバイス１７０を有さなくてもよい。その代わりに、ＩＨＵシステム１００は、認証するユーザ１５０のためにウェアラブルデバイス１０７と直接的に通信し得る。以前に示したように、ＩＨＵシステム１００は、無線通信プロトコル（たとえばブルートゥース、ＷＩＦＩ、ＢＬＥ）を使用して、ウェアラブルデバイス１０７および／またはモバイルコンピューティングデバイス１７０と通信し得る。
図５を再び参照して、図１に示されるビークルのユーザ１５０を認証するとき、車内運転者対向カメラ１０４／１１１（たとえばＮＩＲカメラまたはＲＧＢカメラ）からの画像フレーム５５７が、運転席に着座し得るユーザ１５０の顔のバイオメトリック特徴５５９を計算するために使用される。その後、これらの特徴５５９は、ＩＨＵシステム１００からコンピューティングデバイス３１０（たとえばモバイルコンピューティングデバイス１７０、ウェアラブルデバイス１０７）に送信される（５６３）。当該送信は、さらに以下に記載されるようなたとえばなりすましされていない（non-spoofed）特徴のためのセキュアなチャンネルを介して行われ得る。コンピューティングデバイス３１０は、システム１００に対して信頼され、以前に登録されたデバイスであり得る。
上述したように、コンピューティングデバイス３１０上のソフトウェアは、現在の運転者１５０の顔の特徴と登録された既知のユーザ３３８の顔の特徴とにマッチが存在するか否かを決定する。マッチが存在する場合、コンピューティングデバイス３１０は、ＩＨＵシステム１００に当該マッチを示すデータを送信し、ＩＨＵシステム１００は、登録されたユーザの認証を表わすものとしてマッチを示すこのデータを受け取り（５６５）、登録されたユーザ（たとえばビークルのユーザ１５０）のログインに進む。
顔特徴推定に関して、登録モデルに類似するモデルがＩＨＵシステム１００によって使用され得る。上述したように、コンピューティングデバイス３１０は、画像キャプチャデバイス３１４によって撮られる既知のユーザ３３８の画像についての特徴ベクトルデータを識別するために、１つ以上のモデル３２９（たとえば登録モデル）を利用し得る。ＩＨＵシステム１００は、ビークルにおいてカメラ１０４および／または１１１によって撮られたユーザ１５０の画像についての特徴ベクトルデータを識別するために同様のモデルを利用し得る。ＩＨＵシステム１００は、たとえばカメラ１０４，１１１によって取得されるＮＩＲ画像に基づいて、ユーザ１５０の顔の特徴を決定するためにこれらのモデルを利用し得る。いくつかの場合において、これらの特徴は、ユーザ１５０を認証するために、信頼されたデバイス（たとえばコンピューティングデバイス３１０、モバイルコンピューティングデバイス１７０）にＩＨＵシステム１００によって暗号化および送信され得る。ＩＨＵシステムおよび信頼されたデバイスは、これらのエンティティ同士間で交換される特徴データの機密性を維持するために、さまざまな異なる暗号化／復号化技術を使用して通信し得る。いくつかの例において、ＩＨＵシステム１００は、以前に登録された信頼されたデバイスとセキュアな通信チャネルを確立し得る。このチャンネルは、たとえばブルートゥース／ＢＬＥまたは他の無線インターフェイスを介して確立され得る。
信頼されたデバイス（たとえばコンピューティングデバイス３１０）に対する認証に関して、信頼されたデバイスは、ＩＨＵシステム１００から入力される特徴データ（たとえば特徴ベクトルデータ）を受け取る際に、以前に（たとえば図３を参照して）記載されたように、保存された特徴ベクトルのギャラリに対してそのようなデータを比較し得、マッチが決定される。マッチが存在する場合、このマッチの指示、および／または、ユーザについての認証データ（たとえば、登録されたトークン）がセキュアなチャンネルを介してＩＨＵシステム１００に送信され、これは、ＩＨＵシステム１００にユーザ１５０をログインするトリガーとして使用されるか、または、別の態様で当該トリガーとして機能し得る。
いくつかの場合、盗まれたパーソナルデバイス（たとえばコンピューティングデバイス３１０）を有する侵入者が、たとえば所有者（たとえばユーザ１５０）の３次元マスクまたは所有者の顔の他の画像（たとえば紙画像）を使用してＩＨＵシステム１００をアンロックすることを試み得ることがあり得る。ＩＨＵシステムおよび／またはコンピューティングデバイス３１０によって使用されるディープラーニングモデルは、そのようななりすましの試みをなりすまし検出５６１の部分として特定または別の態様で検出することが可能であり得、認証手順を中止し得る。たとえば、これらのモデルは、さまざまな異なる対象およびさまざまな異なるタイプの対象（たとえば人間の対象、紙の対象、プラスチックの対象）により学習され得る。結果として、モデルは、これらの異なるタイプの対象の画像に関連付けられる特徴を含むさまざまな異なる特徴データ（たとえば特徴ベクトル）を含み得、当該モデルは、たとえば所有者の３次元マスクまたは紙画像の特徴を、そのようななりすましの試みに関連付けられる如何なる認証手順も中止することを試みるよう、識別するために使用され得る。
さらに、さまざまな例において、ＩＨＵシステム１００は、ユーザ１５０の存在を決定するために、および／または、カメラ１０４／１１１を使用してユーザ１５０の顔画像をキャプチャする適切または最適な時間を決定するために、ディープラーニングモデルおよび／または他の信号からの入力を利用し得る。たとえば、ＩＨＵシステム１００は、ユーザ１５０の視線を決定するために、対応する特徴ベクトル情報を格納するさまざまな画像情報で学習されているラーニングモデルを利用し得る。ＩＨＵシステム１００は、ユーザ１５０の視線がカメラに向かっている場合、または、ユーザ１５０のポーズがユーザ１５０を認証する際に使用される増加した数の顔特徴情報をキャプチャするのに最適な場合、ユーザ１５０の顔画像をキャプチャするよう決定し得る。さらに、システム１００は、ビークルによって提供される付加的な信号を利用し得る。たとえば、ユーザ１５０のシートベルトが締められていることを示す信号、ユーザ１５０の手がハンドル１５４上にあることを示す信号、または、パークからドライブへのビークルのギアの変更を示す信号をビークルがシステム１００に提供する場合、システム１００は、カメラ１０４／１１１を使用してユーザ１５０の顔画像をキャプチャするために適切または最適な時間を決定するために、（カメラから集められた視線情報から独立してまたは関連して）これらの信号を使用し得る。
上述したように、多くの場合において、ＩＨＵシステム１００（たとえばカメラ１０４／１１１）によって使用されるカメラおよび／またはコンピューティングデバイス３１０（たとえば画像キャプチャデバイス３１４）によって使用されるカメラは、環境の光およびサングラスのような着用されたアイテムへの向上した適応性を提供し得るＮＩＲカメラを含み得る。しかしながら、これらのシステムおよびデバイスは、任意数の他の異なるタイプのカメラ（たとえばＲＧＢカメラ、ＮＩＲカメラなど）を使用し得る。
本開示の技術は、異なるカメラ（たとえばＩＨＵシステム１００のカメラおよびコンピューティングデバイス３１０のカメラ）によってキャプチャされるフレームから計算されるバイオメトリック特徴を使用して、ユーザ（たとえばユーザ１５０）の信頼性のある認証の困難さに取り組む。そのような比較および認証は、不変であり得、または、さまざまな異なる光条件に適応可能であり得る。上述したように、ＩＨＵシステム１００およびコンピューティングデバイス３１０のカメラは、同じタイプであってもよく、付加的なフレキシビリティを提供する異なるタイプであってもよい。システム１００および／またはコンピューティングデバイス３１０において使用されるモデルは、異なるカメラを使用してキャプチャされる同じ個人の顔についてのマッチ可能な特徴を生成し得るアプローチを使用して学習され得る。開示された技術はさらに、堅牢なプロセスと、コンピューティングデバイス３１０において異なるユーザポーズについて格納される登録特徴データとにより、ＩＨＵシステム１００の車内カメラからの異なる距離／ポーズにて顔を確実に処理する。
これらの局面は、ユーザ１５０によるユーザ介在なしで潜在的に達成され得、ユーザ１５０のために、シームレスな「乗り込んで運転」というエクスペリエンスを提供する。ＩＨＵシステム１００によって使用されるモデルおよび／またはバイオメトリック特徴を計算するコンピューティングデバイス３１０により、上記ワークフローは、異なるパーソナルデバイス（たとえばさまざまな異なるオペレーティングシステムを実行するパーソナルデバイス）と協働することが可能になる。さらに、ユーザのパーソナルデバイス（たとえば、信頼されたデバイス３１０）上に任意のユーザの顔の特徴が残る場合、ユーザの個人的なバイオメトリックアイデンティティおよび情報は、さまざまな異なる個人によって潜在的に使用されるシェアビークルに含まれ得るＩＨＵシステム上ではなく、ユーザのパーソナルデバイス上にのみ存在する。
いくつかの例において、開示された技術はさらに、ユーザがレンタル／シェア／リースされた車にログインし得、ユーザがビークルを使用するのを終えた後に如何なる個人的情報も消さなければならないことについて心配することなく同じパーソナライズされたエクスペリエンスを有し得るユースケースを可能にする。これらの例において、個人情報はそのようなビークルのＩＨＵシステム１００に格納されないが、その代りに、ユーザのパーソナルデバイス（たとえばデバイス３１０）上にのみ格納される。
他のいくつかの例において、開示された技術の別の使用は、登録された運転者（たとえばユーザ１５０）のアイデンティティを確認し、登録された運転者のパーソナルデバイスを盗んだか、または、別の態様で携帯している登録されていない個人が、ＩＨＵシステム１００を使用して、任意のライド要求を受け入れることを可能にすることを防止するライドシェア用途のためのものであり得る。ある他の例において、開示された技術は、承認されていない個人がビークルを動作させるのを防止するために、ユーザ１５０がビークルを動作することが可能になる前に、ビークルのユーザ１５０のアイデンティティを確認、または、別の態様でビークルのユーザ１５０を認証し得る。
図７は、本開示の１つ以上の局面に従った、例示的なコンピューティングシステムによって行なわれる例示的なプロセスを示すフローチャートである。たとえば、図７に示されるプロセスは、モバイルコンピューティングデバイス１７０（図１）、ウェアラブルデバイス１０７（図１）、コンピューティングデバイス３１０（図３）、および／または、コンピューティングシステム４１０（図４）によって行なわれ得る。例示目的のためにのみ、図７のプロセスは、コンピューティングデバイス３１０によって行なわれる動作を参照して記載される。
コンピューティングデバイス３１０は、ビークルのビークルコンピューティングシステム（たとえばＩＨＵシステム１００）との接続を確立し得る（７０２）。たとえば、コンピューティングデバイス３１０は、この接続を確立するために１つ以上の通信ユニット（たとえば通信ユニット４４６）を利用し得る。接続を確立した後、コンピューティングデバイス３１０は、ビークルコンピューティングシステムから、ビークルのユーザ（たとえばユーザ１５０）の顔の少なくとも１つの画像に関連付けられる第１の特徴データを受け取り得る（７０４）。ビークルのユーザの顔の少なくとも１つの画像は、ビークルの少なくとも部分に接続される画像キャプチャデバイス（たとえばカメラ１０４，１１１）によってキャプチャされ得る。
その後、コンピューティングデバイス３１０は、第１の特徴データと、以前に登録されたユーザ（たとえばユーザ３３８）の顔の少なくとも１つの画像に関連付けられる第２の特徴データ（たとえば登録された情報３２８に格納される画像３３０に関連付けられる特徴データ）との間の比較に基づいて、ビークルのユーザと以前に登録されたユーザとの間のマッチを決定し得る（７０６）。コンピューティングデバイス３１０は、マッチに基づいて、ビークルのユーザを認証し得（７０８）、ビークルのユーザについての認証データをビークルコンピューティングシステムに送信し得（７１０）、認証データは、マッチを示す。
図８は、本開示の１つ以上の局面に従った、例示的なビークルコンピューティングシステムによって行なわれる例示的なプロセスを示すフローチャートである。たとえば、図８に示されるプロセスは、図１のビークルコンピューティングシステム１００および／またはコンピューティングシステム４１０（図４）によって行なわれ得る。例示目的のためにのみ、図８のプロセスは、ビークルコンピューティングシステム１００によって行なわれる動作を参照して記載される。
ビークルコンピューティングシステム１００は、モバイルコンピューティングデバイス（たとえば図１のモバイルコンピューティングデバイス１７０、図１のウェアラブルデバイス１０７、図３のコンピューティングデバイス３１０）との接続を確立し得る（８０２）。ビークルコンピューティングシステムは、インフォテインメントヘッドユニットを含む。ビークルコンピューティングシステム１００は、ビークルの内部におけるユーザ（たとえばユーザ１５０）の存在を決定し得る（８０４）。ビークル内部におけるユーザの存在を決定した後、ビークルコンピューティングシステム１００は、ビークルの少なくとも部分に接続される画像キャプチャデバイス（たとえばカメラ１０４および／または１１１）を使用して、ユーザの顔の少なくとも１つの画像をキャプチャする（８０６）。
ビークルコンピューティングシステム１００は、ユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データを決定し（８０８）、ユーザについての認証データを受け取る（８１０）。認証データは、ユーザと以前に登録されたユーザとの間のマッチを示す。その後、ビークルコンピューティングシステム１００は、インフォテインメントヘッドユニットへユーザをログインするために、ユーザについての認証データに基づいて、ユーザアカウント情報にアクセスする（８１２）。
以下の例は例示のみの目的で提供される。
例１：モバイルコンピューティングデバイスが、ビークルのビークルコンピューティングシステムとの接続を確立することと、上記接続を確立した後、上記モバイルコンピューティングデバイスが、上記ビークルのユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データを上記ビークルコンピューティングシステムから受け取ることとを含み、上記ビークルの上記ユーザの上記顔の上記少なくとも１つの画像は、上記ビークルの少なくとも部分に接続される画像キャプチャデバイスによってキャプチャされ、さらに、上記モバイルコンピューティングデバイスが、上記第１の特徴データと、上記モバイルコンピューティングデバイスの以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、上記ビークルの上記ユーザと上記以前に登録されたユーザとの間のマッチを決定することと、上記モバイルコンピューティングデバイスが、上記マッチに基づいて上記ビークルの上記ユーザを認証することと、上記モバイルコンピューティングデバイスが、上記ビークルの上記ユーザについての認証データを上記ビークルコンピューティングシステムに送信することとを含み、上記認証データは、上記マッチを示す、方法。
例２：上記ビークルコンピューティングシステムは、インフォテインメントヘッドユニットを含み、上記モバイルコンピューティングデバイスが、上記ビークルの上記ユーザについての上記認証データを上記ビークルコンピューティングシステムに送信することは、上記インフォテインメントヘッドユニットへ上記ビークルの上記ユーザをログインするよう、ユーザアカウント情報にアクセスすることを上記ビークルコンピューティングシステムに行わせる、例１に記載の方法。
例３：上記ビークルの上記ユーザについての上記認証データは、上記モバイルコンピューティングデバイスまたは上記ビークルの上記ユーザのうちの少なくとも１つに関連付けられる一意識別情報を含む、例１〜２のいずれか１項に記載の方法。
例４：上記接続を確立することは、上記ビークルの上記ビークルコンピューティングシステムと上記モバイルコンピューティングデバイスとをセキュアにペアリングすることを含み、上記モバイルコンピューティングデバイスは、上記ビークルコンピューティングシステム上の上記ビークルの上記ユーザのユーザアカウントに関連付けられる信頼されたデバイスを含む、例１〜３のいずれか１項に記載の方法。
例５：上記ビークルの上記ユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記特徴データを受け取ることは、上記モバイルコンピューティングデバイスが、上記ビークルコンピューティングシステムから、上記ビークルの上記ユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記特徴データの暗号化されたコピーを受け取ることを含む、例１〜４のいずれか１項に記載の方法。
例６：上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記第２の特徴データは少なくとも１つの特徴ベクトルに関連付けられ、かつ、複数のポーズバケットからの少なくとも１つのポーズバケットに含まれ、
上記複数のポーズバケットからの各ポーズバケットは、上記以前に登録されたユーザの上記顔のピッチ角のそれぞれの範囲と、上記以前に登録されたユーザの上記顔のヨー角のそれぞれの範囲とに関連付けられる、例１〜５のいずれか１項に記載の方法。
例７：上記モバイルコンピューティングデバイスが、上記複数のポーズバケットのうちの特定のポーズバケットに含まれる特徴データを上記第２の特徴データから選択することをさらに含み、上記特定のポーズバケットは、上記ビークルの上記ユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記第１の特徴データに関連付けられ、上記ビークルの上記ユーザと上記以前に登録されたユーザとの間の上記マッチを決定することは、上記第１の特徴データと、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる選択された上記特徴データとに基づく、例６に記載の方法。
例８：上記モバイルコンピューティングデバイスが、上記ビークルの上記ユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記第１の特徴データと、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる選択された上記特徴データとの間の類似性を示す類似性スコアを決定することをさらに含み、
上記ビークルの上記ユーザと上記以前に登録されたユーザとの間の上記マッチを決定することは、上記類似性スコアがしきい値類似性スコアを満たすと決定することに応答して行われる、例７に記載の方法。
例９：上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記第２の特徴データは、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる複数の特徴データを含み、上記方法はさらに、上記モバイルコンピューティングデバイスが、上記ビークルの上記ユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記第１の特徴データと、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記複数の特徴データの各特徴データとに基づいて、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記複数の特徴データの各特徴データについてのそれぞれの類似性スコアを決定することを含み、各類似性スコアは、上記ビークルの上記ユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記第１の特徴データと、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記複数の特徴データの上記それぞれの特徴データとの間の類似性を示し、上記ビークルの上記ユーザと上記以前に登録されたユーザとの間の上記マッチを決定することは、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記複数の特徴データについての上記それぞれの類似性スコアに基づく、例１〜８のいずれか１項に記載の方法。
例１０：上記モバイルコンピューティングデバイスが、上記それぞれの類似性スコアに基づいて、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記複数の特徴データのうちの最も高くランク付けされた特徴データを決定することをさらに含み、上記ビークルの上記ユーザと上記以前に登録されたユーザとの間の上記マッチを決定することは、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記複数の特徴データのうちの上記最も高くランク付けされた特徴データに基づく、例９に記載の方法。
例１１：上記モバイルコンピューティングデバイスが、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記複数の特徴データのうちの２つ以上の特徴データについての上記類似性スコアに基づいて、複合類似性スコアを決定することをさらに含み、上記ビークルの上記ユーザと上記以前に登録されたユーザとの間の上記マッチを決定することは、上記複合類似性スコアがしきい値類似性スコアを満たすと決定することに応答する、例９に記載の方法。
例１２：上記ビークルの上記ユーザと上記以前に登録されたユーザとの間の上記マッチを決定することは、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる２つ以上の特徴データの各々についての上記それぞれの類似性スコアが、しきい値類似性スコアを満たすと決定することに応答する、例９に記載の方法。
例１３：上記モバイルコンピューティングデバイスが、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像の上記第２の特徴データを、マシンラーニングモデルを使用して登録フェーズ中に決定することをさらに含む、例１〜１２のいずれか１項に記載の方法。
例１４：上記モバイルコンピューティングデバイスはウェアラブルデバイスを含む、例１〜１３のいずれか１項に記載の方法。
例１５：ビークルのビークルコンピューティングシステムが、モバイルコンピューティングデバイスとの接続を確立することを含み、上記ビークルコンピューティングシステムは、インフォテインメントヘッドユニットを含み、さらに、上記ビークルコンピューティングシステムが、上記ビークルの内部におけるユーザの存在を決定することと、上記ビークルの内部における上記ユーザの上記存在を決定した後、上記ビークルコンピューティングシステムが、上記ビークルの少なくとも部分に接続される画像キャプチャデバイスを使用して、上記ユーザの顔の少なくとも１つの画像をキャプチャすることと、上記ビークルコンピューティングシステムが、上記ユーザの上記顔の上記少なくとも１つの画像に関連付けられる第１の特徴データを決定することと、上記ビークルコンピューティングシステムが、上記ユーザについての認証データを受け取ることとを含み、上記認証データは、上記第１の特徴データと、以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、上記ユーザと、上記以前に登録されたユーザとの間のマッチを示し、さらに、上記ビークルコンピューティングシステムが、上記ユーザについての上記認証データに基づいて、上記インフォテインメントヘッドユニットに上記ユーザをログインするよう、ユーザアカウント情報にアクセスすることを含む、方法。
例１６：上記ビークルコンピューティングシステムが、上記ユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記第１の特徴データを上記モバイルコンピューティングデバイスに送信することをさらに含み、上記ユーザについての上記認証データを受け取ることは、上記第１の特徴データを送信した後、上記ビークルコンピューティングシステムが、上記ユーザについての上記認証データを上記モバイルコンピューティングデバイスから受け取ることを含む、例１５に記載の方法。
例１７：上記ビークルコンピューティングシステムが、上記以前に登録されたユーザの上記顔の上記少なくとも１つの画像に関連付けられる上記第２の特徴データを上記モバイルコンピューティングデバイスから受け取ることと、上記ビークルコンピューティングシステムが上記第１の特徴データと上記第２の特徴データとを比較することと、上記ビークルコンピューティングシステムが、上記比較に基づいて、上記ユーザと上記以前に登録されたユーザとの間の上記マッチを決定することとをさらに含み、上記認証データは上記マッチの指示を含む、例１５に記載の方法。
例１８：少なくとも１つのプロセッサと、命令を格納する少なくとも１つのコンピュータ読取可能記憶デバイスとを含み、上記命令は、上記少なくとも１つのプロセッサによって実行されると、例１〜１７のいずれか１項に記載の方法を上記少なくとも１つのプロセッサに行なわせる、システム。
例１９：命令を格納するコンピュータ読取可能記憶媒体であって、上記命令は、少なくとも１つのプロセッサによって実行されると、例１〜１７のいずれか１項に記載の方法を上記少なくとも１つのプロセッサに行なわせる、コンピュータ読取可能記憶媒体。
１つ以上の例において、記載される機能は、ハードウェア、ハードウェアおよびソフトウェア、ハードウェアおよびファームウェア、または、その任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいて実現される場合、これらの機能は、１つ以上の命令またはコードとして、コンピュータ読取可能媒体上に格納または送信され得、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ読取可能媒体は、データ記憶媒体のような有形的な媒体に対応するコンピュータ読取可能記憶媒体、または、たとえば通信プロトコルに従ってある場所から別の場所までコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含み得る。このように、コンピュータ読取可能媒体は一般に、（１）一時的でない有形的なコンピュータ読取可能記憶媒体か、または、（２）信号もしくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、この開示に記載される技術の実現のために、命令、コードおよび／またはデータ構造を抽出するよう、１つ以上のコンピュータまたは１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラムプロダクトはコンピュータ読取可能媒体を含み得る。
限定としてではなく例として、そのようなコンピュータ読取可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光学ディスクストレージ、磁気ディスクストレージ、もしくは、他の磁気ストレージデバイス、フラッシュメモリ、または、命令またはデータ構造の形態で所望のプログラムコードを格納するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の記憶媒体を含み得る。さらに、任意の接続が適切にコンピュータ読取可能媒体と称される。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または、赤外線、無線およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバまたは他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または、赤外線、無線およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ読取可能記憶媒体およびデータ記憶媒体は、接続、搬送波、信号または他の一時的な媒体を含んでおらず、その代りに、一時的でない有形的な記憶媒体に向けられているということが理解されるべきである。本願明細書において使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ： compact disc）、レーザーディスク（登録商標）（laser disc）、光ディスク（optical disc）、デジタルバーサタイルディスク（ＤＶＤ： digital versatile disc）、フロッピー（登録商標）ディスク（floppy disk）およびブルーレイ（登録商標）ディスク（Blu-ray（登録商標）disc)を含んでおり、ディスク（disk）は通常磁気的にデータを再生する一方、ディスク（disc）はレーザーによりデータを光学的に再生する。上記のものの組み合わせも、コンピュータ読取可能媒体の範囲内に含まれるべきである。
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ： digital signal processor）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ： application specific integrated circuit）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ：field programmable logic array）、または、他の同等な集積論理回路または離散論理回路といった１つ以上のプロセッサによって実行され得る。したがって、本願明細書において使用される「プロセッサ」という用語は、本願明細書において記載される技術の実現例に好適である前述の構造または任意の他の構造のうちのいずれかを指し得る。さらに、いくつかの局面では、本願明細書において記載される機能は、専用ハードウェアおよび／またはソフトウェアモジュール内で提供され得る。さらに、１つ以上の回路または論理素子において当該技術が完全に実現され得る。
この開示の技術は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえばチップセット）を含むさまざまなデバイスまたは装置において実現され得る。開示される技術を実行するように構成されるデバイスの機能的な局面を強調するために、さまざまなコンポーネント、モジュールまたはユニットがこの開示において記載されているが、必ずしも異なるハードウェアユニットによる実現を必要とはしない。むしろ、上述したように、さまざまなユニットは、ハードウェアユニットにおいて組み合わせられ得るか、または、好適なソフトウェアおよび／またはファームウェアと共に上述したように１つ以上のプロセッサを含む相互動作するハードウェアユニットの集合によって提供され得る。
さまざまな実施形態が記載された。これらの実施形態および他の実施形態は添付の請求の範囲の範囲内である。

Claims (19)

  1. モバイルコンピューティングデバイスが、ビークルのビークルコンピューティングシステムとの接続を確立することと、
    前記接続を確立した後、前記モバイルコンピューティングデバイスが、前記ビークルのユーザの顔の少なくとも１つの画像に関連付けられる第１の特徴データを前記ビークルコンピューティングシステムから受け取ることとを含み、前記ビークルの前記ユーザの前記顔の前記少なくとも１つの画像は、前記ビークルの少なくとも部分に接続される画像キャプチャデバイスによってキャプチャされ、さらに、
    前記モバイルコンピューティングデバイスが、前記第１の特徴データと、前記モバイルコンピューティングデバイスの以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、前記ビークルの前記ユーザと前記以前に登録されたユーザとの間のマッチを決定することと、
    前記モバイルコンピューティングデバイスが、前記マッチに基づいて前記ビークルの前記ユーザを認証することと、
    前記モバイルコンピューティングデバイスが、前記ビークルの前記ユーザについての認証データを前記ビークルコンピューティングシステムに送信することとを含み、前記認証データは、前記マッチを示す、方法。
  2. 前記ビークルコンピューティングシステムは、インフォテインメントヘッドユニットを含み、
    前記モバイルコンピューティングデバイスが、前記ビークルの前記ユーザについての前記認証データを前記ビークルコンピューティングシステムに送信することは、前記インフォテインメントヘッドユニットへ前記ビークルの前記ユーザをログインするよう、ユーザアカウント情報にアクセスすることを前記ビークルコンピューティングシステムに行わせる、請求項１に記載の方法。
  3. 前記ビークルの前記ユーザについての前記認証データは、前記モバイルコンピューティングデバイスまたは前記ビークルの前記ユーザのうちの少なくとも１つに関連付けられる一意識別情報を含む、請求項１〜２のいずれか１項に記載の方法。
  4. 前記接続を確立することは、前記ビークルの前記ビークルコンピューティングシステムと前記モバイルコンピューティングデバイスとをセキュアにペアリングすることを含み、前記モバイルコンピューティングデバイスは、前記ビークルコンピューティングシステム上の前記ビークルの前記ユーザのユーザアカウントに関連付けられる信頼されたデバイスを含む、請求項１〜３のいずれか１項に記載の方法。
  5. 前記ビークルの前記ユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記特徴データを受け取ることは、前記モバイルコンピューティングデバイスが、前記ビークルコンピューティングシステムから、前記ビークルの前記ユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記特徴データの暗号化されたコピーを受け取ることを含む、請求項１〜４のいずれか１項に記載の方法。
  6. 前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記第２の特徴データは少なくとも１つの特徴ベクトルに関連付けられ、かつ、複数のポーズバケットからの少なくとも１つのポーズバケットに含まれ、
    前記複数のポーズバケットからの各ポーズバケットは、前記以前に登録されたユーザの前記顔のピッチ角のそれぞれの範囲と、前記以前に登録されたユーザの前記顔のヨー角のそれぞれの範囲とに関連付けられる、請求項１〜５のいずれか１項に記載の方法。
  7. 前記モバイルコンピューティングデバイスが、前記複数のポーズバケットのうちの特定のポーズバケットに含まれる特徴データを前記第２の特徴データから選択することをさらに含み、
    前記特定のポーズバケットは、前記ビークルの前記ユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記第１の特徴データに関連付けられ、
    前記ビークルの前記ユーザと前記以前に登録されたユーザとの間の前記マッチを決定することは、前記第１の特徴データと、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる選択された前記特徴データとに基づく、請求項６に記載の方法。
  8. 前記モバイルコンピューティングデバイスが、前記ビークルの前記ユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記第１の特徴データと、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる選択された前記特徴データとの間の類似性を示す類似性スコアを決定することをさらに含み、
    前記ビークルの前記ユーザと前記以前に登録されたユーザとの間の前記マッチを決定することは、前記類似性スコアがしきい値類似性スコアを満たすと決定することに応答して行われる、請求項７に記載の方法。
  9. 前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記第２の特徴データは、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる複数の特徴データを含み、前記方法はさらに、
    前記モバイルコンピューティングデバイスが、前記ビークルの前記ユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記第１の特徴データと、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記複数の特徴データの各特徴データとに基づいて、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記複数の特徴データの各特徴データについてのそれぞれの類似性スコアを決定することを含み、各類似性スコアは、前記ビークルの前記ユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記第１の特徴データと、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記複数の特徴データの前記それぞれの特徴データとの間の類似性を示し、
    前記ビークルの前記ユーザと前記以前に登録されたユーザとの間の前記マッチを決定することは、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記複数の特徴データについての前記それぞれの類似性スコアに基づく、請求項１〜８のいずれか１項に記載の方法。
  10. 前記モバイルコンピューティングデバイスが、前記それぞれの類似性スコアに基づいて、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記複数の特徴データのうちの最も高くランク付けされた特徴データを決定することをさらに含み、
    前記ビークルの前記ユーザと前記以前に登録されたユーザとの間の前記マッチを決定することは、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記複数の特徴データのうちの前記最も高くランク付けされた特徴データに基づく、請求項９に記載の方法。
  11. 前記モバイルコンピューティングデバイスが、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記複数の特徴データのうちの２つ以上の特徴データについての前記類似性スコアに基づいて、複合類似性スコアを決定することをさらに含み、
    前記ビークルの前記ユーザと前記以前に登録されたユーザとの間の前記マッチを決定することは、前記複合類似性スコアがしきい値類似性スコアを満たすと決定することに応答する、請求項９に記載の方法。
  12. 前記ビークルの前記ユーザと前記以前に登録されたユーザとの間の前記マッチを決定することは、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる２つ以上の特徴データの各々についての前記それぞれの類似性スコアが、しきい値類似性スコアを満たすと決定することに応答する、請求項１１に記載の方法。
  13. 前記モバイルコンピューティングデバイスが、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像の前記第２の特徴データを、マシンラーニングモデルを使用して登録フェーズ中に決定することをさらに含む、請求項１〜１２のいずれか１項に記載の方法。
  14. 前記モバイルコンピューティングデバイスはウェアラブルデバイスを含む、請求項１〜１３のいずれか１項に記載の方法。
  15. ビークルのビークルコンピューティングシステムが、モバイルコンピューティングデバイスとの接続を確立することを含み、前記ビークルコンピューティングシステムは、インフォテインメントヘッドユニットを含み、さらに、
    前記ビークルコンピューティングシステムが、前記ビークルの内部におけるユーザの存在を決定することと、
    前記ビークルの内部における前記ユーザの前記存在を決定した後、前記ビークルコンピューティングシステムが、前記ビークルの少なくとも部分に接続される画像キャプチャデバイスを使用して、前記ユーザの顔の少なくとも１つの画像をキャプチャすることと、
    前記ビークルコンピューティングシステムが、前記ユーザの前記顔の前記少なくとも１つの画像に関連付けられる第１の特徴データを決定することと、
    前記ビークルコンピューティングシステムが、前記ユーザについての認証データを受け取ることとを含み、前記認証データは、前記第１の特徴データと、以前に登録されたユーザの顔の少なくとも１つの画像に関連付けられる第２の特徴データとの間の比較に基づいて、前記ユーザと、前記以前に登録されたユーザとの間のマッチを示し、さらに、
    前記ビークルコンピューティングシステムが、前記ユーザについての前記認証データに基づいて、前記インフォテインメントヘッドユニットに前記ユーザをログインするよう、ユーザアカウント情報にアクセスすることを含む、方法。
  16. 前記ビークルコンピューティングシステムが、前記ユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記第１の特徴データを前記モバイルコンピューティングデバイスに送信することをさらに含み、
    前記ユーザについての前記認証データを受け取ることは、前記第１の特徴データを送信した後、前記ビークルコンピューティングシステムが、前記ユーザについての前記認証データを前記モバイルコンピューティングデバイスから受け取ることを含む、請求項１５に記載の方法。
  17. 前記ビークルコンピューティングシステムが、前記以前に登録されたユーザの前記顔の前記少なくとも１つの画像に関連付けられる前記第２の特徴データを前記モバイルコンピューティングデバイスから受け取ることと、
    前記ビークルコンピューティングシステムが前記第１の特徴データと前記第２の特徴データとを比較することと、
    前記ビークルコンピューティングシステムが、前記比較に基づいて、前記ユーザと前記以前に登録されたユーザとの間の前記マッチを決定することとをさらに含み、
    前記認証データは前記マッチの指示を含む、請求項１５に記載の方法。
  18. 少なくとも１つのプロセッサと、
    命令を格納する少なくとも１つのコンピュータ読取可能記憶デバイスとを含み、前記命令は、前記少なくとも１つのプロセッサによって実行されると、請求項１〜１７のいずれか１項に記載の方法を前記少なくとも１つのプロセッサに行なわせる、システム。
  19. 命令を格納するコンピュータ読取可能記憶媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されると、請求項１〜１７のいずれか１項に記載の方法を前記少なくとも１つのプロセッサに行なわせる、コンピュータ読取可能記憶媒体。
JP2020529580A 2019-06-17 2019-11-18 信頼されたモバイルコンピューティングデバイスに関連してビークル内カメラを使用するシームレスな運転者の認証 Active JP7049453B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962862581P 2019-06-17 2019-06-17
US62/862,581 2019-06-17
PCT/US2019/062035 WO2020256765A1 (en) 2019-06-17 2019-11-18 Seamless driver authentication using an in-vehicle camera in conjunction with a trusted mobile computing device

Publications (2)

Publication Number Publication Date
JP2021531521A true JP2021531521A (ja) 2021-11-18
JP7049453B2 JP7049453B2 (ja) 2022-04-06

Family

ID=68848453

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529580A Active JP7049453B2 (ja) 2019-06-17 2019-11-18 信頼されたモバイルコンピューティングデバイスに関連してビークル内カメラを使用するシームレスな運転者の認証

Country Status (6)

Country Link
US (1) US20210229673A1 (ja)
EP (1) EP3771314B1 (ja)
JP (1) JP7049453B2 (ja)
KR (1) KR102504746B1 (ja)
CN (1) CN112399935B (ja)
WO (1) WO2020256765A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386678B2 (en) * 2018-11-13 2022-07-12 Denso International America, Inc. Driver authentication for vehicle-sharing fleet
US20220070235A1 (en) 2020-08-28 2022-03-03 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US20220070236A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S. À R.L. Graphical representation-based user authentication system and method
US11861041B2 (en) * 2021-02-08 2024-01-02 Capital One Services, Llc Methods and systems for automatically preserving a user session on a public access shared computer

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置
JP2007128262A (ja) * 2005-11-02 2007-05-24 Omron Corp 顔照合装置
JP2009284442A (ja) * 2008-05-26 2009-12-03 Fujitsu Ten Ltd 人物認証装置および人物認証方法
JP2009286342A (ja) * 2008-05-30 2009-12-10 Fujitsu Ten Ltd 生体情報照合装置、生体情報照合システムおよび生体情報照合方法
JP2014203353A (ja) * 2013-04-08 2014-10-27 オムロン株式会社 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
WO2015001791A1 (ja) * 2013-07-03 2015-01-08 パナソニックＩｐマネジメント株式会社 物体認識装置及び物体認識方法
JP2016055789A (ja) * 2014-09-10 2016-04-21 トヨタ自動車株式会社 車両用認証装置
JP2019032694A (ja) * 2017-08-08 2019-02-28 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP2019083015A (ja) * 2017-10-31 2019-05-30 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571826B1 (ko) * 2003-12-02 2006-04-17 삼성전자주식회사 대용량 얼굴 인식 장치 및 방법
JP5001028B2 (ja) * 2007-03-02 2012-08-15 株式会社デンソー 運転環境設定システム、車載装置及び車載装置用プログラム
US10169646B2 (en) * 2007-12-31 2019-01-01 Applied Recognition Inc. Face authentication to mitigate spoofing
US20100039224A1 (en) * 2008-05-26 2010-02-18 Okude Kazuhiro Biometrics information matching apparatus, biometrics information matching system, biometrics information matching method, person authentication apparatus, and person authentication method
WO2013130036A1 (en) * 2012-02-27 2013-09-06 Hewlett-Packard Development Company, L.P. Method and system for vehicle personalization
CN103434484B (zh) * 2013-08-20 2016-04-27 安科智慧城市技术（中国）有限公司 车载识别认证装置、移动终端、智能车钥控制系统及方法
KR20160059793A (ko) * 2014-11-19 2016-05-27 현대자동차주식회사 사용자 인증을 이용한 차량 제어장치 및 방법
CN105096528B (zh) * 2015-08-05 2017-07-11 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
KR20170017111A (ko) * 2015-08-05 2017-02-15 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105644500B (zh) * 2016-02-05 2018-02-23 重庆广播电视大学 基于无线安防系统的车门开启控制方法
US11072311B2 (en) * 2017-09-05 2021-07-27 Future Mobility Corporation Limited Methods and systems for user recognition and expression for an automobile
EP3456592A1 (en) * 2017-09-15 2019-03-20 Nxp B.V. Automobile-person interaction
CN107800708B (zh) * 2017-11-06 2022-07-01 上海擎感智能科技有限公司 一种车机账户自动登录方法和车机装置
US10676067B2 (en) * 2018-01-05 2020-06-09 Byton Limited User capture device configuration for a vehicle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置
JP2007128262A (ja) * 2005-11-02 2007-05-24 Omron Corp 顔照合装置
JP2009284442A (ja) * 2008-05-26 2009-12-03 Fujitsu Ten Ltd 人物認証装置および人物認証方法
JP2009286342A (ja) * 2008-05-30 2009-12-10 Fujitsu Ten Ltd 生体情報照合装置、生体情報照合システムおよび生体情報照合方法
JP2014203353A (ja) * 2013-04-08 2014-10-27 オムロン株式会社 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
WO2015001791A1 (ja) * 2013-07-03 2015-01-08 パナソニックＩｐマネジメント株式会社 物体認識装置及び物体認識方法
JP2016055789A (ja) * 2014-09-10 2016-04-21 トヨタ自動車株式会社 車両用認証装置
JP2019032694A (ja) * 2017-08-08 2019-02-28 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP2019083015A (ja) * 2017-10-31 2019-05-30 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム

Also Published As

Publication number Publication date
EP3771314A1 (en) 2021-02-03
EP3771314B1 (en) 2022-08-03
CN112399935B (zh) 2023-05-02
JP7049453B2 (ja) 2022-04-06
US20210229673A1 (en) 2021-07-29
KR20200145826A (ko) 2020-12-30
CN112399935A (zh) 2021-02-23
WO2020256765A1 (en) 2020-12-24
KR102504746B1 (ko) 2023-03-02

Similar Documents

Publication Publication Date Title
JP7049453B2 (ja) 信頼されたモバイルコンピューティングデバイスに関連してビークル内カメラを使用するシームレスな運転者の認証
US9530265B2 (en) Mobile terminal and vehicle control
CN209044516U (zh) 用于汽车的用户识别装置
KR101854633B1 (ko) 인터랙티브 차량 제어 시스템을 위한 통합된 웨어러블 용품
KR101659027B1 (ko) 이동 단말기 및 차량 제어 장치
US9800717B2 (en) Mobile terminal and method for controlling the same
KR101711835B1 (ko) 차량, 차량의 동작 방법 및 웨어러블 디바이스의 동작 방법
CN107757553B (zh) 识别用户的方法、装置、系统及相关车辆
US8659433B2 (en) Locking mechanism based on unnatural movement of head-mounted display
US10209832B2 (en) Detecting user interactions with a computing system of a vehicle
US20180174450A1 (en) A notification system of a car and method of controlling therefor
US11928895B2 (en) Electronic device and control method therefor
KR101659033B1 (ko) 이동 단말기 및 이의 제어 방법
US10471965B2 (en) Securing guest access to vehicle
KR101578741B1 (ko) 이동 단말기 및 그 제어 방법
EP3906499B1 (en) User authentication using pose-based facial recognition
KR101602265B1 (ko) 이동 단말기 및 이의 제어 방법
KR20160023755A (ko) 이동 단말기 및 그 제어 방법
US20220114248A1 (en) Device access using a head-mounted device
KR102220367B1 (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220325

R150 Certificate of patent or registration of utility model

Ref document number: 7049453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150