JP2022516843A - 登録不要のオフラインでのデバイスのパーソナライズ - Google Patents

Abstract

デバイスのパーソナライズのための方法及び装置である。デバイスは、１以上のセンサから第１センサデータを受信し、第１センサデータ内の生体認証情報を検出し、デバイスに記憶された１以上のニューラルネットワークモデルを用いて生体認証情報を第１ベクトルとして符号化し、第１ベクトルに少なくとも部分的に基づいて、デバイスのユーザインタフェースを設定する、ように構成される。例えば、プロファイル情報は、設定、セッティング、嗜好、又は、ユーザインタフェースを介して表示又は描写されるべきコンテンツ、を含み得る。いくつかの実装では、第１センサデータは、シーンの画像と、シーン内のユーザの顔面の特徴を含む生体認証情報と、を含み得る。【選択図】 図３

Description

本実施形態は、一般には、デバイスのパーソナライズに関する。

いくつかの電子デバイスは、パーソナライズされたユーザ体験を提供し得る場合がある。例えば、スマートテレビ（ＴＶ）は、ユーザの嗜好及び／又は視聴習慣に基づいて、映画、音楽、番組、又は、その他のコンテンツの推薦リストを表示する場合がある。スマートＴＶは、ユーザ入力に基づいて、表示する推薦事項を決定する場合がある。例えば、スマートＴＶにおいて、夫と妻がそれぞれのユーザプロファイルを設定する場合がある。スマートＴＶは、そして、各ユーザプロファイルについてカスタマイズされた推薦リストを表示する場合がある。例えば、夫のユーザプロファイルがコメディを嗜好することを示している場合、スマートＴＶは夫のユーザプロファイルが選択されたときにコメディのリストを表示する場合がある。一方、妻のユーザプロファイルがアクション映画を嗜好することを示している場合、スマートＴＶは妻のユーザプロファイルが選択されたときにアクション映画のリストを表示する場合がある。

本概要は、以下の詳細な説明で更に説明される概念の選択を、単純化した形態で紹介するために提供される。本概要は、請求項に記載された対象のうちの鍵となる構成や必須の構成を特定すること、及び、請求項に記載された対象を限定することを意図していない。

デバイスをパーソナライズするための方法及び装置が開示される。本開示の対象の革新的な一側面は、デバイスを作動させる方法として実装され得る。いくつかの実施形態では、当該方法は、１以上のセンサから第１センサデータを受信することと、第１センサデータ内の生体認証情報を検出することと、デバイスに記憶された１以上のニューラルネットワークモデルを用いて生体認証情報を第１ベクトルとして符号化することと、第１ベクトルに少なくとも部分的に基づいて、デバイスのユーザインタフェースを設定することと、のステップを含む場合がある。

本開示の対象の革新的な他の側面は、メモリ、１以上のセンサ、ベクトル生成器、及び、ディスプレイを備えるシステムとして実装され得る。メモリは、１以上のニューラルネットワークモデルを記憶するように構成される。１以上のセンサは、センサデータをキャプチャするように構成される。ベクトル生成器は、キャプチャされたセンサデータ内の生体認証情報を検出し、メモリに記憶された１以上のニューラルネットワークモデルを用いて生体認証情報をベクトルとして符号化する、ように構成される。ディスプレイは、符号化されたベクトルに少なくとも部分的に基づいてパーソナライズされたユーザインタフェースを表示するように構成される。

実施形態は、例として図示されており、添付の図面の図によって限定されることを意図されたものでは無い。

図１は、いくつかの実施形態に係る、機械学習システムのブロック図を示す。

図２は、本実施形態を実施し得る例示的な環境を示す。

図３は、いくつかの実施形態に係る、スマートデバイスのブロック図を示す。

図４は、オフライン使用のためのニューラルネットワークの学習のためのプロセス例を示す例示的な図である。

図５は、いくつかの実施形態に係る、スマートデバイスの他のブロック図を示す。

図６は、いくつかの実施形態に係る、例示的なデバイスのパーソナライズ動作を示す例示的なフローチャートである。

図７は、いくつかの実施形態に係る、例示的なデバイスのパーソナライズ動作を示す他の例示的なフローチャートである。

以下の説明では、本開示の十分な理解を提供するために、具体的なコンポーネント、回路、及び、処理の例のような、多くの具体的な詳細が示される。ここで使われる「接続された」という言葉は、直接に接続されている、又は、仲介する１以上のコンポーネント又は回路を介して接続されていることを意味する。更に、以下の説明において、及び、説明を目的として、本開示の態様の十分な理解を提供するために、特定の命名法が用いられる。しかし、例示的な実施形態を実施するためには、これらの具体的な詳細が必要でない場合があることが当業者には明らかであろう。他の例では、本開示が不明確になることを避けるために、周知の回路及びデバイスがブロック図の形式で示される。以下の詳細な説明のいくつかの部分は、過程、論理ブロック、処理、及び、コンピュータのメモリ内のデータビットへの操作を他の記号で表現したもの、という形で提示されている。回路素子又はソフトウェアブロック間の相互接続は、バス又は単一の信号線として示される場合がある。バスのそれぞれは、代替的に、単一の信号線であってもよく、単一の信号線のそれぞれは、代替的に、バスであっても良く、単一の信号線又はバスは、コンポーネント間の通信のための無数の物理的又は論理的なメカニズムのうちの任意の１以上を表し得る。

後述の議論から明らかなように、特にそうでないと述べられていない場合には、本出願を通して、「アクセスする」、「受信する」、「送信する」、「用いる」、「選択する」、「決定する」、「正規化する」、「乗算する」、「平均する」、「モニタする」、「比較する」、「適用する」、「更新する」、「計測する」、「導出する」、等のような表現を用いて行われる議論は、コンピュータシステム（又は同様の電子計算デバイス）によるアクション及び処理を参照していると認められる。これらのアクション及び処理は、コンピュータシステムのレジスタ及びメモリ内の物理（電気）量として示されるデータを、コンピュータシステムのメモリまたはレジスタ、又は他のそのような情報ストレージ、伝送器、又は表示デバイス内の物理量として同様に示される他のデータに操作及び変換する。

本明細書で説明されている技術は、特定の方法で実施されると特に記載されない限り、ハードウェア、ソフトウェア、ファームウェア、又は、それらの任意の組み合わせで実施され得る。モジュール又はコンポーネントとして説明されている任意の構成は、集積ロジックデバイスにまとめて実装されるか、又は、個別に分離されているが相互運用が可能なロジックデバイスとして実装される場合もある。ソフトウェアで実装される場合、本技術は、実行されたときに上述の１以上の方法を実現する命令を含む、コンピュータ読取り可能な非一時的記憶媒体によって少なくとも部分的に実現される場合がある。コンピュータ読取り可能な非一時的記憶媒体は、コンピュータプログラム製品の一部を形成する場合がある。なお、コンピュータプログラム製品は、梱包材を含む場合がある。

非一時的なプロセッサ読取り可能な記憶媒体は、同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＲＡＭ）、リードオンリーメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）（ＮＶＲＡＭ）、電子的消去可能プログラマブルリードオンリーメモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）（ＥＥＰＲＯＭ）、フラッシュメモリ、他の既知の記憶媒体等、を備える場合がある。本技術は追加的に、あるいは代替的に、少なくとも一部が、コードを命令又はデータ構造の形で伝達または通信し、かつ、コンピュータ又は他のプロセッサによってアクセス、読取り、及び／又は、実行が可能な、プロセッサ読取り可能な通信媒体によって実現され得る。

本明細書で開示される実施形態に関して説明される様々な例示的な論理ブロック、モジュール、回路、及び、命令は、１以上のプロセッサによって実行され得る。本明細書で用いられる「プロセッサ」という言葉は、任意の汎用プロセッサ、従来のプロセッサ、コントローラ、マイクロコントローラ、特定用途のプロセッサ、及び／又は、メモリに記憶された１以上のソフトウェアプログラムのスクリプト又は命令を実行可能な状態機械、を示す場合がある。本明細書で用いられる「スマートデバイス」という言葉は、パーソナライズされたユーザ体験を提供することができる任意のデバイスを指す場合がある。スマートデバイスの例には、パーソナルコンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレット、ウェブブラウザ、電子書籍リーダ、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）（ＰＤＡ））、データ入力デバイス（例えば、リモートコントロール及びマウス）、データ出力デバイス（例えば、表示スクリーン及びプリンタ）、リモート端末、キオスク、ビデオゲーム機（例えば、ビデオゲームコンソール、携帯ゲームデバイス、等）、通信デバイス（例えば、スマートフォンのような携帯電話）、メディアデバイス（例えば、レコーダ、エディタ、及び、テレビ、セットトップボックス、音楽プレーヤ、デジタルフォトフレーム、及び、デジタルカメラ等のプレーヤ）等が含まれ得るが、これに限定されない。

図１は、いくつかの実施形態に係る、機械学習システム１００のブロック図を示す。システム１００は、ディープラーニング環境１０１と、スマートデバイス１１０を含む。ディープラーニング環境１０１は、１以上のニューラルネットワークモデル１０２を生成または学習させるためのメモリ、及び／又は、処理リソースを備える場合がある。いくつかの実施形態では、ニューラルネットワークモデル１０２は、スマートデバイス１１０上に実装される場合がある。例えば、スマートデバイス１１０は、ニューラルネットワークモデル１０２を用いて、ユーザの生体署名によって該ユーザを認識し得る。生体署名の例には、ユーザの顔、声、指紋、目、又は、一意に識別可能なユーザのその他の生物学的特性が含まれ得るが、これらに限定されない。

ディープラーニング環境１０１は、ディープラーニングを通じて１以上のニューラルネットワークモデル１０２を生成するように構成される場合がある。ディープラーニングは、学習フェーズが複数のレイヤにわたって実行され、連続するレイヤのそれぞれにおいてより抽象的なルールのセットを生成する、機械学習の特定の形式である。ディープラーニングアーキテクチャは、情報が処理される（例えば、生物学的な神経系と同様の）方法により、しばしば、人工ニューラルネットワークと呼ばれる場合がある。例えば、ディープラーニングアーキテクチャの各層は、いくつかの人工ニューロンで構成されている場合がある。ニューロンは、入力データ（例えば、生データ）がある層から別の層に伝達され得るように、様々な層にわたって相互接続され得る。より具体的には、ニューロンの各層は入力データに対して、異なるタイプの変換を実行して、最終的に所望の出力（例えば、答え）をもたらし得る。相互接続されたニューロンのフレームワークは、ニューラルネットワークモデルと呼ばれる場合がある。したがって、ニューラルネットワークモデル１０２は、例えば、人間の顔といった特定のオブジェクトまたは特徴を記述するために用いることが出来るルールのセットを含む場合がある。

ディープラーニング環境１０１は、大量の生データにアクセスすることができ、生データと関連付けられたルールのセット（例えば、特定のオブジェクト、特徴、受信された信号又はピクセルデータの品質といったサービス品質、及び／又は、他の検出可能な属性）を認識するように学習される場合がある。例えば、いくつかの態様では、ディープラーニング環境１０１は、人間の顔を認識するように学習される場合がある。学習フェーズの間に、ディープラーニング環境１０１は、人間の顔を含む多数の写真、及び／又は、動画を処理又は解析する場合がある。ディープラーニング環境１０１は、更に、提供されたメディアコンテンツが人間の顔を含んでいるという指標を（例えば、ユーザ、又は、メディア及び／又はメディアと共に提供されるデータ若しくはメタデータをレビューするオペレータからのユーザ入力の形式で）受信する場合がある。ディープラーニング環境１０１は、そして、画像、及び／又は、動画に対する統計的な分析を実行して、人間の顔に関連付けられる共通の特徴のセットを決定する場合がある。いくつかの態様では、決定された特徴（またはルール）は、抽象化の層の複数にわたる人工ニューラルネットワークを形成し得る。ディープラーニング環境１０１は、そして、ルールのセットを、例えばニューラルネットワークモデル１０２として、推論のためにスマートデバイス１１０に提供する場合がある。

いくつかの態様では、デバイスの製造工程において、１以上のニューラルネットワークモデル１０２がスマートデバイス１１０に供給される（及び、スマートデバイス１１０に記憶される）場合がある。例えば、スマートデバイス１１０は、エンドユーザに出荷される前に、ニューラルネットワークモデル１０２がプレロードされる場合がある。他のいくつかの態様では、スマートデバイス１１０は、ディープラーニング環境１０１から１以上のニューラルネットワークモデル１０２を実行時に受信する場合がある。例えば、ディープラーニング環境１０１は、ネットワーク（例えば、クラウド）を介してスマートデバイス１１０に通信可能に接続される場合がある。これに応じて、スマートデバイス１１０は、ネットワークを介して、いつでも、ディープラーニング環境１０１からニューラルネットワークモデル１０２（更新されたニューラルネットワークモデルを含む）を受信し得る。

スマートデバイス１１０は、所与のユーザの好み、アクティビティ、又は、習慣に基づいて、（パーソナライズされたユーザインタフェースのような）カスタマイズ可能なユーザ体験を提供可能な任意のデバイスであり得る。スマートデバイスの例には、セットトップボックス（ｓｅｔ－ｔｏｐ ｂｏｘ）（ＳＴＢ）、コンピュータ、携帯電話、タブレット、テレビ（ＴＶ）、等が含まれ得るが、これらに限定されない。スマートデバイス１１０は、センサ１１２、ニューラルネットワークアプリケーション１１４、プロファイルデータベース１１６、及び、ユーザインタフェース１１８を備える場合がある。センサ１１２は、ユーザの生体認証情報を検出及び／又は識別するために使用可能なデータ（例えば、画像、ビデオ、音声録音等）を収集するように構成される場合がある。適切なセンサの例には、カメラ、静電容量センサ、音声認識システム等が含まれるが、これらに限定されない。

ニューラルネットワークアプリケーション１１４は、センサ１１２によってキャプチャされたセンサデータについての１以上の推論を生成するように構成される場合がある。例えば、いくつかの態様では、ニューラルネットワークアプリケーション１１４は、センサデータを分析して、そこに含まれる対象のオブジェクトを推論または識別する場合がある。対象のオブジェクトの例には、顔、ロゴ、宛先等が含まれるが、これらに限定されない。いくつかの実施形態では、ニューラルネットワークアプリケーション１１４は、ディープラーニング環境１０１によって供給されたニューラルネットワークモデル１０２に基づいて推論を生成する場合がある。例えば、推論フェーズの間に、ニューラルネットワークアプリケーション１１４は、例えば、人工ニューラルネットワーク内の人工ニューロンをトラバースすることによって、ニューラルネットワークモデル１０２をセンサ１１２によってキャプチャされた新たなセンサデータ（例えば、画像又は動画）に適用して、データに関する情報を推論する場合がある。

本開示の態様は、例えば、ユーザの生体署名に基づいてニューラルネットワークモデル１０２を更に改良するために、及び／又は、追加のニューラルネットワークモデルを生成するために、ある種のユーザデータをディープラーニング環境１０１（又は、スマートデバイス１１０の外部）に送信することが望ましくない場合があることを認識している。そのため、いくつかの実施形態では、ニューラルネットワークアプリケーション１１４は、（例えば、スマートデバイス１１０の外部にいかなるセンサデータまたは生体認証情報を送信することなく）オフライン方式で動作する場合がある。スマートデバイス１１０自体においてセンサデータに対してローカルに推論を実行することによって、本明細書が開示する実施形態は、ユーザのプライバシーも保護する方法で、機械学習をより効率的に実行することができる。

プロファイルデータベース１１６は、スマートデバイス１１０の一人以上のユーザのプロファイル情報を格納する場合がある。プロファイル情報は、スマートデバイス１１０を特定のユーザにパーソナライズするために使用可能な設定、セッティング、嗜好、及び／又は、コンテンツを含む場合がある。いくつかの実施形態では、プロファイルデータベース１１６は、スマートデバイス１１０が初期化されるとき（例えば、電源がオンになるか、または初めて起動されるとき）は空である場合があり、新しいユーザがスマートデバイス１１０とインタラクションするにつれて成長する場合がある。言い換えると、スマートデバイス１１０は、そのユーザの嗜好及び／又は習慣を学習するにつれて、プロファイルデータベース１１６内のプロファイル情報を動的に更新する場合がある。

いくつかの態様では、スマートデバイス１１０は、ユーザの以前のデバイスのセッティング及び／又は設定をそのユーザのプロファイル情報として記憶または記録する場合がある。例えば、スマートデバイス１１０は、ユーザがスマートデバイス１１０を操作又はインタラクションするたびに、スマートデバイス１１０のパーソナライズのセッティングをモニタする場合がある。パーソナライズのセッティングの例には、ディスプレイの明るさ、音量レベル、およびコントラスト比が含まれる場合があるが、これらに限定されない。スマートデバイス１１０は、そして、ユーザのパーソナライズのセッティングを、そのユーザについてのプロファイル情報と共にプロファイルデータベース１１６に記憶する場合がある。他のいくつかの態様では、スマートデバイス１１０は、ユーザの以前のアクティビティ、デモグラフィック情報、及び／又は、ユーザ入力に少なくとも部分的に基づいて、ユーザに関するプロファイル情報を推論する場合がある。例えば、スマートデバイス１１０は、ユーザの視聴習慣をモニタして、特定のユーザがロマンチックコメディを楽しんでいると推論する場合がある。スマートデバイス１１０は、そして、ロマンチックコメディに対するユーザの嗜好を、そのユーザのプロファイル情報と共にプロファイルデータベース１１６に記憶することがある。

ユーザインタフェース１１８は、それによってユーザがスマートデバイス１１０を操作、又は、別の方法で使用可能であるところのインタフェースを提供する場合がある。いくつかの態様では、ユーザインタフェース１１８は、スマートデバイス１１０にプロファイル情報を表示、描写、又は、他の方法で明示して、パーソナライズされたユーザ体験を提供する場合がある。例えば、ユーザインタフェース１１８は、ユーザのパーソナライズのセッティングに基づいて、ディスプレイの明るさ、音量レベル、コントラスト比、及び／又は、スマートデバイス１１０の他の設定を動的に調整する場合がある。ユーザインタフェース１１８はまた、特定の映画又は映画のジャンル（例えば、コメディ）についてのユーザの嗜好に基づいて、映画の推奨を表示する場合がある。

いくつかの実施形態では、スマートデバイス１１０は、ニューラルネットワークアプリケーション１１４によってユーザについて決定された情報に少なくとも部分的に基づいて、どのユーザのプロファイル情報がユーザインタフェース１１８によって実装されるべきかを決定する場合がある。例えば、スマートデバイス１１０は、ニューラルネットワークアプリケーション１１４からのユーザに関する推論を、プロファイルデータベース１１６からのユーザの嗜好に関する推論とマッチさせる場合がある。これに応じて、スマートデバイス１１０は、ユーザインタフェース１１８を動的に更新して、任意の所与の時点で、スマートデバイス１１０のユーザに対してパーソナライズされたユーザ体験を提供する場合がある。

本開示の態様は、ユーザに自らの生体署名を登録する、又は、ユーザプロファイルを登録することを要求せずに、パーソナライズされたユーザ体験を提供し得る。例えば、本実施形態は、ユーザプロファイルを設定するために、ユーザによるいかなる形式での明示的または意図的なアクション（専用の登録フェーズ中に複数回の生体認証入力を提供するといった）を必要としない場合がある。したがって、ユーザは常に、スマートデバイス１１０を、それが意図された態様（例えば、メディアコンテンツの閲覧又は聴取、電話の発信、メッセージの送信又は受信、等）で使用可能であり得る。

いくつかの実施形態では、スマートデバイス１１０は、ユーザにとってトランスペアレントな方法で生体認証データを取得する場合がある。例えば、スマートデバイス１１０は、ユーザがその意図された用途（例えば、メディアコンテンツの閲覧又は聴取、電話の発信、メッセージの送信又は受信、等）のためにスマートデバイス１１０を操作している間に、センサデータをキャプチャするようにセンサ１１２を作動させる場合がある。スマートデバイス１１０は、更に、キャプチャされたセンサデータに基づいて一意の生体認証識別子を生成するようにニューラルネットワークアプリケーション１１４を作動させる場合がある。例えば、ニューラルネットワークアプリケーション１１４は、特定のユーザについての生体認証情報を含むセンサデータの各フレームに対して同じ（または実質的に同様の）生体認証識別子を生成する場合がある。さらに、特定のユーザの生体認証識別子は、他のユーザの生体認証識別子とは実質的に異なるか、一意に識別可能である必要がある。いくつかの実施形態では、生体認証識別子は、ユーザの身元またはユーザに関する個人情報（例えば、名前、位置、等）を明らかにするようなものではない場合がある。

スマートデバイス１１０は、そして、生体認証識別子を、プロファイルデータベース１１６に記憶されたプロファイル情報とマッチさせる場合がある。いくつかの実施形態では、プロファイルデータベース１１６は、既知の生体認証識別子を対応するユーザのプロファイル情報と関連付けて記憶する場合がある。いくつかの実施形態では、生体認証識別子もプロファイル情報も、ユーザに関する個人情報を明らかにするようなものではない場合がある。次に、スマートデバイス１１０は、ユーザインタフェース１１８にプロファイル情報を実装して、スマートデバイス１１０の現在のユーザに対してパーソナライズされたユーザ体験を提供する場合がある。ユーザ入力が不要であり、個人情報がスマートデバイス１１０の外部に通信されないため、スマートデバイス１１０は、ユーザのプライバシーを保護しながら、ユーザにとってトランスペアレントな方法で、ユーザインタフェース１１８を特定のユーザに対してパーソナライズし得る。

図２は、本実施形態が実施されることがある例示的な環境２００を示している。環境２００は、スマートデバイス２１０、ユーザ２２０、及び、非ユーザのオブジェクト２３０を含む。スマートデバイス２１０は、図１のスマートデバイス１１０の一実施形態である場合がある。図２の実施形態では、スマートデバイス２１０は、ユーザ２２０に対してメディアコンテンツ（例えば、画像、動画、及び、音声等）を表示又は再生可能なメディアデバイス（例えば、テレビ）として示されている。スマートデバイス２１０は、更に、カメラ２１２およびディスプレイ２１４を備える。

カメラ２１２は、図１のセンサ１１２の一実施形態である場合がある。より具体的には、カメラ２１２は、スマートデバイス２１０の前方のシーン２０１の画像（例えば、静止フレーム画像及び／又は動画）をキャプチャするように構成される場合がある。例えば、カメラ２１２は、１以上の光学センサを備える場合がある。光学センサの例には、フォトダイオード、ＣＭＯＳイメージセンサーアレイ、ＣＣＤアレイ、及び／又は、可視スペクトル、赤外線スペクトル、並びに／若しくは、紫外線スペクトルの光の波長を検出可能な他のセンサが含まれ得るが、これに限定されない。

ディスプレイ２１４は、メディアコンテンツをユーザ２２０に表示するように構成される場合がある。例えば、ディスプレイ２１４は、メディアコンテンツが描写、及び／又は、投影され得るスクリーン又はパネルを備える場合がある。適切なディスプレイ技術の例には、発光ダイオード（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）（ＬＥＤ）、有機ＬＥＤ（ｏｒｇａｎｉｃ ＬＥＤ）（ＯＬＥＤ）、ブラウン管（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）（ＣＲＴ）、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）（ＬＣＤ）、エレクトロルミネセンス（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）（ＥＬ）、プラズマ、または他のディスプレイ技術が含まれ得るが、これらに限定されない。いくつかの実施形態では、ディスプレイ２１４はまた、ユーザ２２０がスマートデバイス２１０とインタラクションする又はスマートデバイス２１０を使用することがあるユーザインタフェース（例えば、図１のユーザインタフェース１１８）に対応及び／又は提供する場合がある。

いくつかの実施形態では、スマートデバイス２１０は、ユーザ２２０の嗜好、アクティビティ、又は、習慣に少なくとも部分的に基づいて、パーソナライズされたユーザ体験を提供する場合がある。例えば、スマートデバイス２１０は、カメラ２１２によってキャプチャされたシーン２０１内のユーザ２２０の顔を検出する場合がある。いくつかの態様では、カメラ２１２は、ユーザ２２０によるどのような入力もなしに、シーン２０１の画像を連続的に（または周期的に）キャプチャする場合がある。これに応じて、スマートデバイス２１０は、ユーザ２２０がカメラの視野に足を踏み入れることに応答して、ユーザの顔の存在を検出する場合がある。

シーン２０１の画像内でユーザの顔を検出すると、スマートデバイス２１０は、キャプチャされた画像を顔ベクトルのような生体認証識別子に変換する場合がある。例えば、スマートデバイス２１０はキャプチャされた画像を、ユーザ２２０の顔に一意にマッピングする多次元ベクトルとして符号化する場合がある。符号化プロセスの間に、スマートデバイス２１０は、画像内にもまた存在し得る（オブジェクト２３０のような）非ユーザのオブジェクトを無視又はフィルタリングする場合がある。言い換えると、スマートデバイス２１０は、ポーズ、顔の位置、及び／又は、シーン２０１内の他のオブジェクトの存否に関係なく、同じユーザの顔を含む異なる画像を同じ（又は実質的に類似した）顔ベクトルとして符号化する場合がある。いくつかの実施形態では、スマートデバイス２１０は、ローカルに記憶された１以上のニューラルネットワークモデルを用いて顔ベクトルを生成する場合がある。

次に、スマートデバイス２１０は、顔ベクトルを、関連するプロファイル情報とマッチングして、ユーザ２２０に対して、パーソナライズされたユーザインタフェースをディスプレイ２１４上で提示する場合がある。プロファイル情報は、ユーザの視聴履歴、及び／又は、自己申告された興味や嗜好に基づいて決定される場合がある。したがって、いくつかの実施形態では、スマートデバイス２１０は、ユーザが関心を持ち得る他のメディアコンテンツについての推奨を表示する場合がある。例えば、いくつかの態様では、プロファイル情報は、ユーザ２２０が好む１以上のジャンルのメディアコンテンツ（例えば、スポーツ、コメディ、アクション、ホラー等）を示し得る。このように、スマートデバイス２１０は、好まれるジャンルに属する他のメディアコンテンツについての推奨を表示する場合がある。

他のいくつかの態様では、プロファイル情報は、特定のテレビ局またはネットワークから配信されるテレビ番組についての嗜好を示す場合がある。これに応じて、スマートデバイス２１０は、同じテレビネットワーク又は制作スタジオからの他の番組を、ユーザに推奨する場合がある。いくつかの実装では、メディアコンテンツの所有者又は作成者は、メディアコンテンツをスマートデバイス２１０にストリーミング又はブロードキャストするコンテンツ配信ネットワーク（ｃｏｎｔｅｎｔ ｄｅｌｉｖｅｒｙ ｎｅｔｗｏｒｋ）（ＣＤＮ）とは異なる場合がある。たとえば、コンテンツ所有者が放送テレビネットワークまたは制作スタジオであるのに対し、ＣＤＮはストリーミングビデオオンデマンド（ｖｉｄｅｏ－ｏｎ－ｄｅｍａｎｄ）（ＶｏＤ）又はペイパービュー（ｐａｙ－ｐｅｒ－ｖｉｅｗ）（ＰＰＶ）のサービスであり得る。そのため、いくつかの態様では、スマートデバイス２１０は、ユーザ２２０に、嗜好するコンテンツの作成者又は所有者からの追加のコンテンツを表示するオプションを提供する場合がある。ここで、このような追加のコンテンツは、そこからユーザが嗜好すると推論されたコンテンツをストリーミングしたところの同じＣＤＮによるストリーミングにより取得可能である。

いくつかの他の実施形態では、スマートデバイス２１０は、ユーザが購入に興味を持ち得る製品の広告を表示する場合がある。例えば、プロファイル情報は、ユーザ２２０が特定のブランド又は製品の種類への嗜好あるいは関心を有することを示す場合がある。これに応じて、スマートデバイス２１０は、ユーザに対して、特定のブランド若しくはタイプの製品、及び／又は、関連するブランド若しくは製品についてのターゲット広告を提示する場合がある。いくつかの態様では、ターゲット広告は、識別された製品を、スマートデバイス２１０を介して購入するオプションを含む場合がある。

シーン２０１の画像から複数の顔ベクトルが抽出されるいくつかの実施形態では、スマートデバイス２１０は、検出された顔ベクトルのうちのひとつのみについて推奨を表示する場合がある。いくつかの態様では、スマートデバイス２１０は、デバイス２１０の前で検出された顔ベクトルの全てに適した推奨のみを表示する場合がある。例えば、顔ベクトルのうち一つに関連付けられたプロファイル情報がより若い視聴者には不適切であり得るメディアコンテンツ（例えば、Ｒレーティングのコンテンツ）の嗜好を示し、一方で別の顔ベクトルのプロファイル情報がすべての年齢層に適したメディアコンテンツの嗜好（例えば、Ｇレーティングのコンテンツ）を示す場合、スマートデバイス２１０は、すべての年齢層に適した他のメディアコンテンツについての推奨のみを表示する場合がある。

いくつかの他の実施形態では、スマートデバイス２１０は、検出された顔ベクトルのそれぞれについての推奨を同時に表示する場合がある。例えば、スマートデバイス２１０は、第１の顔ベクトルに関連付けられたプロファイル情報に基づく少なくともいくつかの推奨と、第２の顔ベクトルに関連付けられたプロファイル情報に基づく少なくともいくつかの推奨と、を表示する場合がある。更にその上、いくつかの実施形態では、スマートデバイス２１０は、複数の顔ベクトルを単一のユニットまたはユーザのグループとして解釈する場合がある。例えば、スマートデバイス２１０は、グループに共通する興味に基づいて推奨を表示する場合がある。例示的な推奨には、ゲームショー、スポーツ、及び／又は、顔ベクトルの組合せが楽しむと知られている他のショー若しくは番組が含まれる場合がある。

図３は、いくつかの実施形態に係る、スマートデバイス３００のブロック図を示す。スマートデバイス３００は、図１のスマートデバイス１１０、及び／又は、図２のスマートデバイス２１０の一実施形態であり得る。スマートデバイス３００は、カメラ３１０、ベクトル生成器３２０、プロファイルフィルタ３３０、ベクトルルックアップテーブル（ＬＵＴ）３４０、ユーザインタフェース３５０、及び、ディスプレイ３６０を備える。

カメラ３１０は、スマートデバイス３００を取り巻く環境の画像３０１（例えば、図２のシーン２０１）をキャプチャするように構成される。カメラ３１０は、図２のカメラ２１２の一実施形態である場合がある。そのため、カメラ３１０は、スマートデバイス３００の前方のシーンの画像（例えば、静止フレーム画像及び／又は動画）をキャプチャするように構成される場合がある。

ディスプレイ３６０は、スマートデバイス１１０のユーザにメディアコンテンツを表示するように構成される。ディスプレイ３６０は、図２のディスプレイ２１４の一実施形態である場合がある。そのため、ディスプレイ３６０は、その上でメディアコンテンツが描写及び／又は投影され得るところのディスプレイスクリーン又はパネルを備える場合がある。いくつかの実施形態では、ディスプレイ３６０はまた、ユーザインタフェース３５０の視覚的な表示を提供又は提示する場合がある。

ベクトル生成器３２０は、画像３０１を顔ベクトル３０２として符号化するように構成される。ベクトル生成器３２０は、図１のニューラルネットワークアプリケーション１１４の一実施形態である場合がある。そのため、ベクトル生成器３２０は、スマートデバイス３００に記憶された１以上のニューラルネットワークモデルを用いて、画像３０１に関する推論を生成する場合がある。例えば、図１に関連して説明したように、ベクトル生成器３２０は、カメラ３１０から画像３０１を受信する前に、学習されたニューラルネットワークモデルを受信する場合がある。いくつかの実施形態では、ベクトル生成器３２０は、顔検出モジュール３２２と、顔符号化モジュール３２４と、を備える場合がある。顔検出モジュール３２２は、キャプチャされた画像３０１内の顔を検出する場合がある。例えば、顔検出モジュール３２２は、（Ｈａａｒ特徴に基づく顔検出器のような）任意の既知の顔検出アルゴリズム及び／又は技術を使用して顔を検出する場合がある。

顔が検出されると、顔符号化モジュール３２４は、画像３０１を一意の顔ベクトル３０２にはめ込む（例えば、マップする、又は、符号化する）場合がある。顔符号化モジュール３２４は、画像内のポーズ、顔の位置、または他の非ユーザオブジェクトにかかわらず、同じユーザの顔を含む各画像に対して同じ（または実質的に同様の）顔ベクトルを生成すべきである。さらに、特定のユーザについての顔ベクトルは、他の如何なるユーザについての顔ベクトルと実質的に異なっているべきである。これに応じて、顔ベクトルは、Ｎ次元ベクトルである場合がある（例えば、Ｎは、そのような一意に識別可能なベクトルの要件を満たすために必要な次元の数である）。いくつかの実施形態では、顔符号化モジュール３２４は、顔を含む画像の大規模なデータセットにより学習されたニューラルネットワークモデルを用いて、はめ込みを実行する場合がある。ニューラルネットワークモデルの学習のための例示的なプロセスについては、図４に関連して、後に説明する。

プロファイルフィルタ３３０は、ベクトル生成器３２０によって生成された顔ベクトル３０２と関連付けられたプロファイル情報３０３を取得するように構成される。例えば、プロファイルフィルタ３３０は、顔ベクトル３０２を、ベクトルＬＵＴ３４０に記憶された既知の顔ベクトルと比較する場合がある。マッチが検出されない場合、プロファイルフィルタ３３０は、顔ベクトル３０２をベクトルＬＵＴ３４０の新たなエントリとして記憶する場合がある。しかしながら、マッチするものが検出された場合、プロファイルフィルタ３３０は、マッチする顔ベクトル３０２に関連付けられたプロファイル情報３０３を取得する場合がある。いくつかの実施形態では、プロファイルフィルタ３３０は、マッチする顔ベクトル３０２が閾値回数検出された後にのみ、プロファイル情報３０３を取得する場合がある。例えば、ベクトルＬＵＴ３４０は、その中に記憶された各顔ベクトル３０２に関連付けられたカウント値をさらに記憶する場合がある。これに応じて、プロファイルフィルタ３３０は、同じ顔ベクトルでマッチが検出されるたびに、特定の顔ベクトル３０２のカウント値をインクリメントする場合がある。

ユーザインタフェース３５０は、顔ベクトル３０２に関連付けられたプロファイル情報３０３に基づいて、コンテンツ３０４をディスプレイ３６０上に表示するように構成される。いくつかの態様では、ユーザインタフェース３５０は、ユーザがスマートデバイス３００を操作あるいは他の方法で使用可能なインタフェースを提供する場合がある。例えば、ユーザインタフェース３５０は、スマートデバイス３００上で表示するために利用可能なメディアコンテンツのリストを表示する場合がある。ユーザインタフェース３５０はまた、再生のために利用可能なメディアコンテンツの選択に対応するユーザ入力３０５を処理する場合がある。例えば、ユーザ入力３０５は、スマートデバイス３００上で提供されるか、またはスマートデバイス３００に接続された入力メカニズム（シンプルにするために図示せず）を介して受信される場合がある。いくつかの実装では、ユーザインタフェース３５０は、コンテンツストア３５２と、コンテンツ取得モジュール３５４と、を備える場合がある。コンテンツストア３５２は、ディスプレイ３６０、及び／又は、スマートデバイス３００に接続されたディスプレイデバイス（図示せず）上で再生するためのメディアコンテンツを記憶又はバッファリングすることができる。コンテンツ取得モジュール３５４は、スマートデバイス３００の外部にある１以上のコンテンツ配信ネットワーク（ＣＤＮ）からメディアコンテンツを取得する場合がある。例えば、コンテンツストア３５２は、コンテンツ取得モジュール３５４によって取得されたメディアコンテンツを記憶またはバッファリングすることができる。

いくつかの実施形態では、ユーザインタフェース３５０は、プロファイル情報３０３を実装して、スマートデバイス３００の現在のユーザにパーソナライズされたユーザ体験を提供する場合がある。上記で説明したように、プロファイル情報３０３は、パーソナライズされたユーザ体験を作成するために用いられ得る設定、セッティング、嗜好、及び／又は、コンテンツを含む場合がある。いくつかの態様では、プロファイル情報３０３は、ユーザの閲覧履歴及び／又は自己報告された興味または嗜好に基づいて決定される場合がある。そのため、ユーザインタフェース３５０は、プロファイル情報３０３に基づいて（例えば、図２に関連して上記で説明したように）推奨されたメディアコンテンツ及び／又はターゲット広告を表示する場合がある。

いくつかの他の実施形態では、ユーザインタフェース３５０は、受信したユーザ入力３０５に基づいて、プロファイル情報３０３を更新するか、又は、新たなプロファイル情報を生成する場合がある。例えば、ユーザインタフェース３５０は、ユーザの視聴履歴及びスマートデバイス３００との他のインタラクションに基づいて、該ユーザの嗜好を決定及び／又は推論する場合がある。プロファイルフィルタ３３０は、そして、現在の顔ベクトル３０２と関連付けて、新規のプロファイル情報３０３又は更新されたプロファイル情報３０３をベクトルＬＵＴ３４０に記憶する場合がある。

図３に示すように、画像３０１、顔ベクトル３０２、及び、プロファイル情報３０３はすべて、スマートデバイス３００上でローカルに生成及び／又は記憶される。より具体的には、パーソナライズされたユーザ体験を提供するために、ユーザのデータ３０１－３０３のいずれもスマートデバイス３００の外部に送信する必要はない。さらに、スマートデバイス３００は、画像３０１をキャプチャし、そのため、ユーザによる明示的な入力及び／又はアクションを必要とせずに（例えば、ユーザ登録プロセスなしで）、特定のユーザについてのプロファイル情報３０３を取得する場合がある。したがって、スマートデバイス３００は、ユーザのプライバシーを保護しつつユーザにとってトランスペアレントな方法で、特定のユーザのためにパーソナライズされたユーザインタフェース３５０を表示し得る。

本実施形態では、パーソナライズ可能なスマートデバイスの特定の例としてメディアデバイスを挙げて説明してきたが、本明細書に記載の実施形態はまた、様々な他のデバイス上でパーソナライズされたユーザ体験を提供するために用いられ得る。例示的なユースケースには、任意の所与のユーザについての、コーヒーマシンの設定のカスタマイズや、車の座席の調節、エアコン、及び／又は、音楽の設定の調節等が含まれ得るが、これらに限定されない。より一般的には、本開示の態様は、（カメラ、マイクロフォン、指紋センサといった）生体認証センサを有する、ユーザ体験を当該デバイスのユーザに調節可能な任意のデバイスに適用可能であり得る。

図４は、オフライン使用のためのニューラルネットワークの学習のための例示的なプロセス４００を示す例示的な図である。いくつかの実施形態では、プロセス４００が、顔を含む画像を一意に識別可能なベクトル（例えば、顔ベクトル）に符号化するために使用可能なニューラルネットワークモデル４２０を学習するために用いられる場合がある。このように、学習プロセス４００は、人間の顔を含む数千ではなくとも数百の画像へのアクセスを有する（図１のディープラーニング環境１０１のような）ディープラーニング環境で実施される場合がある。例えば、顔はさまざまなポーズ、照明、化粧、及び、現実世界におけるその他の条件で提示される場合がある。

ニューラルネットワークモデル４２０は、その入力として画像を受け取り、その出力としてＮ次元ベクトルを生成する任意のニューラルネットワークアーキテクチャであり得る。例えば、図４に示すように、ニューラルネットワークモデル４２０は、深層畳み込みニューラルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）（ＤＣＮＮ）である場合がある。画像４１２－４１６の各トリプレットを処理する間は、ニューラルネットワーク４２０の重みが同一に保たれる場合がある。ただし、個々の重みはランダムに初期化される場合がある。

ニューラルネットワークモデル４２０は、（例えば、スマートデバイスに記憶された後には、更なる学習又はリファインなしで）スマートデバイス上にオフライン形式で実装されるべきものであるから、ニューラルネットワークモデル４２０は任意のユーザの顔の画像から一意な顔ベクトルを生成可能であるべきである。より具体的には、ニューラルネットワークモデル４２０は、ポーズ、顔の位置、または環境にかかわらず、同じユーザの顔を含む各画像に対して同じ（または実質的に同様の）顔ベクトルを生成すべきである。更に、特定のユーザの顔ベクトルは、他のユーザの顔ベクトルとは実質的に異なっているべきである。

学習プロセス４００の間に、ニューラルネットワークモデル４２０は、アンカー画像４１２をポジティブ画像４１４およびネガティブ画像４１６と比較する場合がある。アンカー画像４１２は、比較の基礎を形成する顔を含み、ポジティブ画像４１４は、実世界における多少の変化（例えば、ポーズ、位置、又は、環境が異なる）を伴いつつもアンカー画像４１２と同じ人物の顔を含み、ネガティブ画像４１６は、別の人物の顔を含む。ニューラルネットワークモデル４２０は、画像４１２、４１４、及び、４１６のそれぞれを、Ｎ次元ベクトル４３２、４３４、及び、４３６にそれぞれ符号化する。

そして、結果として得られるベクトル４３２－４３６について、トリプレット損失４４０が計算される。トリプレット損失４４０は、アンカーベクトル４３２とポジティブベクトル４３４との間の距離、及び、アンカーベクトル４３２とネガティブベクトル４３５との間の距離の関数である。例えば、トリプレット損失の関数は、

のように示し得る。ここで、

はアンカー画像４１２から生成されたベクトル（例えば、アンカーベクトル４３２）を表し、

はポジティブ画像４１４から生成されたベクトル（例えば、ポジティブベクトル４３４）を表し、

はネガティブ画像４１６から生成されたベクトル（例えば、ネガティブベクトル４３６）を表し、Ｎはデータトリプレット４１２－４１６の総数であり、αはニューラルネットワークモデル４２０へのペナルティを回避するために維持されるべきポジティブサンプルとネガティブサンプルの間の最小分離マージンである。

学習プロセス４００は、トリプレット損失４４０を低減または最小化するように構成され得る。そのため、トリプレット損失４４０は、アンカーベクトル４３２とポジティブベクトル４３４の間の距離が大きすぎる（例えば、閾値距離よりも大きい）場合、又は、アンカーベクトル４３２とネガティブベクトル４３６との間の距離が小さすぎる（例えば、閾値距離未満）場合にニューラルネットワークモデル４２０にペナルティを課すために使用される場合がある。一方で、トリプレット損失４４０は、アンカーベクトル４３２とポジティブベクトル４３４の間の距離が十分に小さく（例えば、閾値距離未満）、アンカーベクトル４３２とネガティブベクトル４３６の間の距離が十分に大きい（例えば、閾値距離よりも大きい）場合にニューラルネットワークモデル４２０が妥当であると確認するために使用される場合がある。

学習プロセス４００は、トリプレット損失４４０が（例えば、最小量に）収束するまで反復的に継続される場合がある。例えば、各反復において、ニューラルネットワークモデル４２０は、データトリプレット４１２－４１６の新しいバッチを提供される場合がある。トリプレット損失４４０が最小量に達すると、学習プロセス４００は終了され、ニューラルネットワークモデルがスマートデバイスに実装されるための準備が整い得る。いくつかの実施形態では、学習されたニューラルネットワークモデル４２０は、スマートデバイス上で実行されるよう、公的に利用可能なツール（ＴＯＣＯなど）を用いて量子化及び変換される場合がある。

図５は、いくつかの実施形態に係る、スマートデバイス５００のブロック図を示す。スマートデバイス５００は、図１－３を参照して本明細書で説明されたスマートデバイス１１０、２１０、又は３００のいずれかについての一実施形態である場合がある。スマートデバイス５００は、デバイスインタフェース５１０、プロセッサ５２０、及び、メモリ５３０を備える。

デバイスインタフェース５１０は、カメラインタフェース５１２、ディスプレイインタフェース５１４、およびセンサインタフェース５１６を備える場合がある。カメラインタフェース５１２は、（図２のカメラ２１２、及び／又は、図３のカメラ３１０のような）スマートデバイスのカメラと通信するために使用される場合がある。例えば、カメラインタフェース５１２は、カメラに信号を送信し、カメラから信号を受信して、スマートデバイスが面するシーンの画像をキャプチャする場合がある。ディスプレイインタフェース５１４は、（図２のディスプレイ２１４、及び／又は、図３のディスプレイ３６０のような）スマートデバイスのディスプレイと通信するために使用される場合がある。例えば、ディスプレイインタフェース５１４は、メディアコンテンツ及び／又はユーザインターフェースのデータをディスプレイに転送する場合がある。センサインタフェース５１６はまた、スマートデバイスの１以上の追加的なセンサと通信するために使用される場合がある。例えば、センサインタフェース５１６は、追加的なセンサからユーザ入力を受信する場合がある。

メモリ５３０は、スマートデバイスの様々なユーザのプロファイル情報を記憶するためのプロファイルデータベース５３１を含む場合がある。いくつかの実施形態では、各ユーザのプロファイル情報は、そのユーザの生体認証識別子（例えば、顔ベクトル）に関連付けて記憶される場合がある。メモリ５３０はまた、少なくとも次のソフトウェア（ＳＷ）モジュールを記憶可能な非一時的なコンピュータ読取り可能な媒体（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ハードドライブといった１以上の不揮発性メモリ素子）を備える場合がある。
ＳＷモジュールは以下を備える：
●キャプチャされた画像に少なくとも部分的に基づいて、生体認証識別子又はベクトルを生成するベクトル符号化ＳＷモジュール５３２であり、このベクトル符号化ＳＷモジュール５３２は更に以下を備える：
〇キャプチャされた画像内の１以上の人間の顔を検出する顔検出サブモジュール５３３
〇キャプチャされた画像内を一意に識別可能なベクトルに符号化する顔符号化サブモジュール５３４
●プロファイルデータベース５３１からの生体認証識別子、又は、ベクトルと関連付けられたプロファイル情報を取得するプロファイルマッチングＳＷモジュール５３５
●スマートデバイス上にプロファイル情報（又はプロファイル情報に関連付けられたコンテンツ）を表示、描写、又は、その他の方法で示すユーザインタフェースＳＷモジュール５３６
各ソフトウェアモジュールは、プロセッサ５２０によって実行されると、スマートデバイス５００に対応する機能を実行させる命令を含む。メモリ５３０の非一時的なコンピュータ読取り可能な媒体は、そのため、図６及び７を参照して以下で説明される操作のうち全部または一部を実行するための命令を含む。

プロセッサ５２０は、スマートデバイス５００に記憶された１以上のソフトウェアプログラムのスクリプト又は命令を実行可能な、１以上の任意の適切なプロセッサである場合がある。例えば、プロセッサ５２０は、ベクトル符号化ＳＷモジュール５３２を実行して、生体認証識別子又はベクトルをキャプチャされた画像に少なくとも部分的に基づいて生成する場合がある。ベクトル符号化ＳＷモジュール５３２を実行するにあたって、プロセッサ５２０はまた、顔検出サブモジュール５３３を実行して、キャプチャされた画像内の１以上の人間の顔を検出し、また、顔符号化サブモジュール５３４を実行して、キャプチャされた画像を一意に識別可能なベクトルに符号化する場合がある。プロセッサ５２０はまた、プロファイルマッチングＳＷモジュール５３５を実行して、プロファイルデータベース５３１から生体認証識別子又はベクトルと関連付けられたプロファイル情報を取得する場合がある。その上更に、プロセッサ５２０は、ユーザインタフェースＳＷモジュール５３６を実行して、プロファイル情報（又はプロファイル情報と関連付けられたコンテンツ）をスマートデバイス上に表示、描写、又は、他の方法で示す場合がある。

図６は、いくつかの実施形態に係る、例示的なデバイスのパーソナライズ動作６００を示す例示的なフローチャートである。例えば図１を参照して、例示的な動作６００は、デバイスのユーザにパーソナライズされたユーザ体験を提供するために、スマートデバイス１１０によって実行される場合がある。

スマートデバイスは、１以上のセンサからセンサデータを受信する場合がある（６１０）。いくつかの実施形態では、スマートデバイスは、ユーザにとってトランスペアレントな方法でセンサデータを取得する場合がある。例えば、スマートデバイスは、それが意図された用途（例えば、メディアコンテンツの閲覧又は聴取、電話の発信、メッセージの送信又は受信、等）のためにスマートデバイスをユーザが操作している間に、センサデータをキャプチャするようにセンサを作動させる場合がある。

スマートデバイスは、更に、センサデータ内の生体認証情報を検出する場合がある（６２０）。例えば、生体認証情報は、特定のユーザの、一意に識別可能な任意の生物学的特徴を含む場合がある。生物学的特徴の例には、ユーザの顔、声、指紋、及び、目などの特徴が含まれるが、これらに限定されない。

スマートデバイスは、デバイスに記憶された１以上のニューラルネットワークモデルを用いて、生体認証情報をベクトルに符号化する場合がある（６３０）。例えば、ニューラルネットワークモデルは、検出された生体認証情報を含むセンサデータに基づいて、固有の生体認証識別子（例えば、ベクトル）を生成するように学習される場合がある。いくつかの実施形態では、ニューラルネットワークモデルは、大量の学習データへのアクセスを有するディープラーニング環境で学習される場合があり、動作６００を実行する前にデバイスに記憶される場合がある。しかし、センサデータの符号化は、（たとえば、いかなるセンサデータをディープラーニング環境やその他の外部デバイス及び／又はネットワークに送信することなく）スマートデバイス上でローカルに実行される。

スマートデバイスは、そして、該ベクトルに少なくとも部分的に基づいて、デバイスのユーザインタフェースを設定する場合がある（６４０）。例えば、スマートデバイスは、ベクトルをプロファイルデータベースに記憶されたプロファイル情報にマッチさせる場合がある。プロファイル情報は、特定のユーザに対してスマートデバイスをパーソナライズするために使用可能な設定、セッティング、嗜好／又は、コンテンツが含まれる場合がある。いくつかの態様では、ユーザインタフェースは、パーソナライズされたユーザ体験を提供するために、スマートデバイス上にプロファイル情報を表示、描写、又は、他の方法で示す場合がある。

図７は、いくつかの実施形態に係る、例示的なデバイスのパーソナライズ動作７００を示す他の例示的なフローチャートである。例えば図３を参照して、例示的な動作７００は、スマートデバイス３００によって実行され、デバイスのユーザにパーソナライズされたユーザ体験を提供する場合がある。

スマートデバイスは、最初に、シーンの画像をキャプチャする（７１０）。例えば、スマートデバイスは、（図２のシーン２０１のような）スマートデバイスを取り巻く環境の画像をキャプチャするようにカメラを作動させる場合がある。

スマートデバイスは、画像を顔ベクトルに符号化する場合がある（７２０）。例えば、スマートデバイスは、キャプチャされた画像内の顔を検出し、画像をその顔を示す一意の顔ベクトルにはめ込む（たとえば、マップする）ための１以上のニューラルネットワークモデルを実装している場合がある。顔ベクトルは、Ｎ次元ベクトルである場合がある（例えば、Ｎは、そのような一意に識別可能なベクトルの要件を満たすために必要な次元の数である）。

次に、スマートデバイスは、プロファイルデータベース内の顔ベクトルを検索する場合がある（７３０）。例えば、スマートデバイスは、顔ベクトルに関連付けられたプロファイル情報を取得する場合がある。

いくつかの態様では、スマートデバイスは、顔ベクトルをベクトルＬＵＴに記憶された既知の顔ベクトルと比較して、マッチするものを探索する場合がある（７４０）。（７４０でテストされたときに）マッチするものが検出されない場合、スマートデバイスはこの顔ベクトルをベクトルＬＵＴの新たなエントリとして記憶する場合がある（７４５）。スマートデバイスは、続いて、ユーザアクティビティに少なくとも部分的に基づいて、ベクトルＬＵＴの新しいエントリにプロファイル情報を記録する場合がある（７６０）。例えば、スマートデバイスは、ユーザの閲覧履歴及びスマートデバイスとの他のインタラクションに基づいて、該ユーザの嗜好を決定及び／又は推論する場合がある。

（７４０でテストされたときに）マッチするものが検出された場合、スマートデバイスは、マッチする顔ベクトルに関連付けられたプロファイル情報を取得する場合がある（７５０）。いくつかの実施形態では、スマートデバイスは、一致する顔ベクトルが閾値回数検出された後にのみプロファイル情報を取得する場合がある。例えば、スマートデバイスは、同一の顔ベクトルについてマッチするものが検出されるたびに、特定の顔ベクトルのカウント値をインクリメントする場合がある。スマートデバイスは更に進んで、ユーザのアクティビティに少なくとも部分的に基づいて、マッチする顔ベクトルに関連付けられたプロファイル情報を更新する場合がある（７６０）。

当業者は、様々な異なる任意のテクノロジー及び技術を用いて、情報及び信号が表し得ることを理解するであろう。例えば、上述の説明を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、記号、及び、チップは、電圧、電流、電磁波、磁界又は粒子、光場又は粒子、あるいは、これらの任意の組合せによって表し得る。

さらに、当業者は、本開示の態様に関連して説明された様々な例示的な論理ブロック、モジュール、回路、及び、アルゴリズムのステップが、電気的なハードウェア、コンピュータソフトウェア、又は、両者の組合せとして実装し得ることを理解しよう。このハードウェアとソフトウェアの交換可能性を明確に図示するために、例示的な様々なコンポーネント、ブロック、モジュール、回路、及び、ステップが、一般に、その機能の観点で上述のように説明されてきた。このような機能がハードウェア又はソフトウェアの何れで実装されるかは、システム全体に要求される特定のアプリケーションとデザイン上の制約に依存する。当業者は説明された機能を特定のアプリケーション毎に様々な方法で実装し得るが、そのような実装上の決定が、本開示の範囲からの逸脱を引き起こすと解釈されてはならない。

本開示の態様に関連して説明された方法、手順、又はアルゴリズムは、ハードウェアにより、プロセッサによって実行されるソフトウェアモジュールにより、あるいは、両者の組合せにより、直接的に具体化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、又は、当技術分野において既知の他の形式の記憶媒体に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに接続される。あるいは、記憶媒体はプロセッサに統合されてもよい。

前述の明細書では、その具体的な例を参照して実施形態が説明されてきた。しかしながら、添付の特許請求の範囲に提示されているように、本開示のより広い範囲を逸脱することなく、それらに対して様々な変形や変更が成し得ることは明らかであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で解釈される。

Claims (20)

1. デバイスをパーソナライズする方法であり、
   １以上のセンサから第１センサデータを受信することと、
   前記第１センサデータ内の生体認証情報を検出することと、
   前記デバイスに記憶された１以上のニューラルネットワークモデルを用いて前記生体認証情報を第１ベクトルとして符号化することと、
   前記第１ベクトルに少なくとも部分的に基づいて、前記デバイスのユーザインタフェースを設定することと、
   を含む、
   方法。
2. 前記設定することが、
   前記第１ベクトルにマッチするエントリについて、各エントリに関連するプロファイル情報を記憶するように構成されたルックアップテーブルをサーチする、
   ことを更に含む、
   請求項１の方法。
3. 前記設定することが、
   前記第１ベクトルを、前記ルックアップテーブルに記憶された第１エントリとマッチングすることと、
   前記第１エントリに関連付けられたプロファイル情報を、前記第１エントリで前記ルックアップテーブルから取得することと、
   をさらに含み、
   前記ユーザインタフェースが、前記第１エントリに関連付けられた前記プロファイル情報に少なくとも部分的に基づいて設定される、
   請求項２の方法。
4. 前記マッチングすることが、
   前記第１ベクトルから、前記ルックアップテーブルに記憶された前記第１エントリを含む複数の各エントリまでの距離をそれぞれに計算することと、
   前記第１エントリまでの前記距離が前記計算された距離のうちで最も短いかを決定することと、
   を含む、
   請求項３の方法。
5. 前記第１エントリについてマッチすると検出された回数を示すカウント値をインクリメントすること、
   を更に含み、
   前記カウント値が閾値に達する場合にのみ、前記プロファイル情報が取得される、
   請求項３の方法。
6. 前記プロファイル情報が、設定、セッティング、嗜好、又は、前記ユーザインタフェースを介して表示又は描写されるべきコンテンツを含む、
   請求項２の方法。
7. 前記デバイスとのユーザのインタラクションをモニタすることと、
   前記ユーザのインタラクションに少なくとも部分的に基づいて、前記プロファイル情報を生成することと、
   を更に含む、
   請求項２の方法。
8. マッチするエントリが検出されなかった場合に、前記第１ベクトルを新たなエントリとして前記ルックアップテーブルに記憶することを更に含む、
   請求項２の方法。
9. 前記第１センサデータが、シーンの画像と、前記シーン内のユーザの顔面の特徴を含む生体認証情報と、を含む、
   請求項１の方法。
10. 前記１以上のセンサから第２センサデータを受信することと、
    前記第２センサデータ内の生体認証情報を検出することと、
    前記１以上のニューラルネットワークモデルを用いて、前記第２センサデータの生体認証情報を、前記第１ベクトルから少なくとも閾値距離より離れた第２ベクトルとして符号化することと、
    前記第２ベクトルに少なくとも部分的に基づいて、前記ユーザインタフェースを変更することと、
    を含む、
    請求項１の方法。
11. デバイスであり、
    処理回路部と、
    メモリであって、前記処理回路部によって実行されたときに、前記デバイスに、
    １以上のセンサから第１センサデータを受信することと、
    前記第１センサデータ内の生体認証情報を検出することと、
    前記デバイスに記憶された１以上のニューラルネットワークモデルを用いて前記生体認証情報を第１ベクトルとして符号化することと、
    前記第１ベクトルに少なくとも部分的に基づいて、前記デバイスのユーザインタフェースを設定することと、
    を実行させる命令を記憶しているメモリと、
    を備える、
    デバイス。
12. 各エントリに関連するプロファイル情報を記憶するように構成されたルックアップテーブルを更に備え、
    前記ユーザインタフェースを構成するための命令を実行することが、前記デバイスに、前記第１ベクトルにマッチするエントリについて、前記ルックアップテーブルをサーチすることを実行させる、
    請求項１１のデバイス。
13. 前記ユーザインタフェースを構成するための命令を実行することが、前記デバイスに、
    前記第１ベクトルを、前記ルックアップテーブルに記憶された第１エントリとマッチングすることと、
    前記第１エントリに関連付けられたプロファイル情報を、前記第１エントリで前記ルックアップテーブルから取得することと、
    を更に実行させ、
    前記ユーザインタフェースが、前記第１エントリに関連付けられたプロファイル情報に少なくとも部分的に基づいて設定される、
    請求項１２のデバイス。
14. 前記第１ベクトルを前記第１エントリとマッチングするための命令を実行することが、前記デバイスに、
    前記第１ベクトルから、前記ルックアップテーブルに記憶された前記第１エントリを含む複数の各エントリまでの距離をそれぞれに計算することと、
    前記第１エントリまでの前記距離が前記計算された距離のうちで最も短いかを決定することと、
    を実行させる、
    請求項１３のデバイス。
15. 前記命令を実行することが、前記デバイスに、前記第１エントリについてマッチすると検出された回数を示すカウント値をインクリメントすることを更に実行させ、
    前記カウント値が閾値に達する場合にのみ、前記プロファイル情報が取得される、
    請求項１３のデバイス。
16. 前記命令を実行することが、前記デバイスに、
    前記デバイスとのユーザのインタラクションをモニタすることと、
    前記ユーザのインタラクションに少なくとも部分的に基づいて、前記プロファイル情報を生成することと、
    を更に実行させ、
    前記プロファイル情報が、設定、セッティング、嗜好、又は、前記ユーザインタフェースを介して表示又は描写されるべきコンテンツを含む、
    請求項１２のデバイス。
17. 前記命令を実行することが、前記デバイスに、マッチするエントリが検出されなかった場合に、前記第１ベクトルを新たなエントリとして前記ルックアップテーブルに記憶することを更に実行させる、
    請求項１２のデバイス。
18. 前記第１センサデータが、シーンの画像と、前記シーン内のユーザの顔面の特徴を含む生体認証情報と、を含む、
    請求項１１のデバイス。
19. 前記命令を実行することが、前記デバイスに、
    前記１以上のセンサから第２センサデータを受信することと、
    前記第２センサデータ内の生体認証情報を検出することと、
    前記１以上のニューラルネットワークモデルを用いて、前記第２センサデータの生体認証情報を、前記第１ベクトルから少なくとも閾値距離より離れた第２ベクトルとして符号化することと、
    前記第２ベクトルに少なくとも部分的に基づいて、前記ユーザインタフェースを変更することと、
    を更に実行させる、
    請求項１１のデバイス。
20. １以上のニューラルネットワークモデルを記憶するメモリと、
    センサデータをキャプチャするように構成された１以上のセンサと、
    ベクトル生成器であり、
    キャプチャされた前記センサデータ内の生体認証情報を検出し、
    前記メモリに記憶された前記１以上のニューラルネットワークモデルを用いて前記生体認証情報をベクトルとして符号化する、
    ように構成されたベクトル生成器と、
    符号化された前記ベクトルに少なくとも部分的に基づいてパーソナライズされたユーザインタフェースを表示するように構成されたディスプレイと、
    を備える、
    システム。
    

Images